JP5167405B2 - 閃光の影響を補正する撮像装置 - Google Patents
閃光の影響を補正する撮像装置 Download PDFInfo
- Publication number
- JP5167405B2 JP5167405B2 JP2011502627A JP2011502627A JP5167405B2 JP 5167405 B2 JP5167405 B2 JP 5167405B2 JP 2011502627 A JP2011502627 A JP 2011502627A JP 2011502627 A JP2011502627 A JP 2011502627A JP 5167405 B2 JP5167405 B2 JP 5167405B2
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- unit
- flash
- output
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Description
しかしながら、近年、撮像装置(カメラ等)に搭載されるようになった、CMOS型撮像素子(CMOS型イメージセンサ)は、CMOS型撮像素子の画素ごとに設けられたフォトダイオードの電荷(蓄積電荷)を画面(撮像素子面)の上から順にバッファとなる部分に送る。このため、CMOS型撮像素子では、画面(撮像素子面)の上部に配置されているフォトダイオードにより蓄積された電荷がバッファに転送される期間と、画面(撮像素子面)の下部に配置されているフォトダイオードにより蓄積された電荷がバッファに転送される期間と、にずれが生じる。
こうした映像に対し、特許文献1に開示されている技術(従来の撮像装置)では、映像を記録するときに、閃光による帯状の映像が含まれるフィールドを記録せず、代わりに帯状の映像の影響を受けていない前後の映像を記録するようにしている。例えば、図17(b)に示す映像で言えば、従来の撮像装置では、「フィールド2」の映像(画像)と「フィールド3」の映像(画像)の代わりに、「フィールド1」の映像(画像)を記録する。
本発明は、上記従来の課題を解決するもので、外部閃光による明るい横帯のある不自然な画面(撮像画像)を無くし、閃光が入ったかどうかもわかるようにし、動画として連続性を確保した画像(映像)を出力する撮像装置、撮像方法、プログラムおよび集積回路を提供することを目的とする。
撮像部は、撮像素子を有し、被写体から入射する光信号を電気信号に変換して映像信号を取得し、出力する。閃光検出部は、撮像部により取得される映像信号が、閃光の影響を受けているか否かを検出する。閃光補正部は、閃光検出部により、撮像部により取得される映像信号が、閃光の影響を受けていると判断された場合、閃光の影響を受けていると判断された映像信号を用いて、撮像部から出力される映像信号を補正する。
この撮像装置では、上記構成により、撮像部により取得される映像信号が、閃光の影響を受けていると判断された場合、閃光の影響を受けていると判断された映像信号を用いて、撮像部から出力される映像信号を補正する。これにより、この撮像装置では、外部閃光による明るい横帯のある不自然な画面を無くし、また、閃光が撮像装置に入ったかどうかも分かるようにしつつ、動画として連続性を確保した映像(画像)を得ることができる。
これにより、閃光の影響を受けているN番目映像信号および(N+1)番目映像信号が形成する画面(N番目の画面および(N+1)番目の画面)において、外部閃光による明るい横帯のある不自然な画面を無くし、また、閃光が撮像装置に入ったかどうかも分かるようにしつつ、動画として連続性を確保した映像(画像)を得ることができる。
なお、「置換」とは、一部を置換することを含む概念である。「置換」は、例えば、以下のような一部を置換する場合を含む。
すなわち、「単位画像」がフィールド画像である場合において、1番目のフィールド画像は、外部閃光の影響を受けておらず、2番目および3番目のフィールド画像が、外部閃光の影響を受けており、そして、4番目のフィールド画像は、外部閃光の影響を受けていない場合、
(1)2番目のフィールド画像を、外部閃光の影響を受けていない1番目のフィールド画像で置換し、
(2)3番目のフィールド画像を、外部閃光の影響を受けている2番目のフィールド画像および3番目のフィールド画像を加算することで生成した補正画像で置換する。
第3の発明は、第1または第2の発明であって、閃光補正部は、第1選択部と、遅延部と、出力選択部と、を有する。
第1選択部は、複数の映像信号を入力することができ、入力される複数の映像信号から、閃光検出部の検出結果に基づいて、いずれか1つの映像信号を選択し、出力する。遅延部は、第1選択部から出力される映像信号を、映像信号により形成される単位画像に相当する時間である単位画像時間だけ遅延させて出力する。加算部は、撮像部から出力される映像信号および遅延部から出力される映像信号に対して加算処理を行い、処理を行った映像信号を出力する。出力選択部は、加算部から出力される映像信号または遅延部から出力される映像信号のどちらか一方を選択して出力する。
この撮像装置では、上記構成により、その画面の一部(例えば、画面上部または画面下部)において閃光の影響を受けて明るくなっている単位画像(例えば、フィールド画像やフレーム画像)を検出し、当該単位画像を、閃光の影響を受けて明るくなっている画像領域(例えば、画面上部または画面下部)を用いて補正することができる。その結果、この撮像装置により取得される映像において、閃光の影響が不自然に発生することを防止することができる。
なお、「単位画像」とは、映像信号(画像信号)により形成される画像であり、表示装置において、1画面を構成する。例えば、フィールド画像(映像)やフレーム画像(映像)が、「単位画像」に該当する。
また、「単位画像時間」とは、映像信号により単位画像が形成されるのに要する時間であり、例えば、「単位画像」が「フィールド画像」である場合、「単位画像時間」は、「フィールド時間」であり、「単位画像」が「フレーム画像」である場合、「単位画像時間」は、「フレーム時間」である。
第5の発明は、第3の発明であって、加算部は、撮像部から出力される映像信号と、遅延部から出力される映像信号と、を加算して平均することで、加算処理を行う。
これにより、この撮像装置により取得される映像信号の信号値が大きくなりすぎることを防ぐことができるので、閃光の影響に発生する、いわゆる「白飛び」現象等を効果的に抑制することができる。
なお、「加算して平均する」とは、2つの映像信号を加算し、平均をとること以外に、2つの映像信号に、それぞれ、「1/2」の重付をして加算することも含む。さらに、「1/2」以外の重付による加算をも含む。
そして、閃光補正部は、第1選択部と、遅延部と、出力選択部と、を有している。
第1選択部は、複数の映像信号を入力することができ、入力される複数の映像信号から、閃光検出部の検出結果に基づいて、いずれか1つの映像信号を選択し、出力する。遅延部は、第1選択部から出力される映像信号を、1単位画像時間だけ遅延させて出力する。出力選択部は、撮像部から出力される映像信号または遅延部から出力される映像信号のどちらか一方を選択して出力する。
そして、第1選択部は、閃光検出部により、1単位画像前の映像信号により形成される単位画像の画面の下部に相当する映像信号が、閃光による影響を受けていると判断された場合、処理対象となっている単位画像において、画面の下部に相当する期間、遅延部から出力される映像信号を選択して出力し、それ以外の場合、撮像部から出力される映像信号を選択して出力する。出力選択部は、閃光検出部により、映像信号により形成される単位画像の画面の上部に相当する映像信号が、閃光による影響を受けていると判断された場合、処理対象となっている単位画像において、画面の上部に相当する期間、撮像部から出力される映像信号を選択して出力し、それ以外の場合、遅延部から出力される映像信号を選択して出力する。
これにより、この撮像装置では、外部閃光による明るい横帯のある不自然な画面を無くし、また、閃光が撮像装置に入ったかどうかも分かるようにしつつ、動画として連続性を確保した映像(画像)を得ることができる。また、閃光が入った画像の元の画像が第3の発明よりわかりやすくなる。
そして、閃光補正部は、遅延部と、選択部と、を有する。
遅延部は、閃光検出部により、1単位画像前の映像信号により形成される単位画像の画面の下部に相当する映像信号が、閃光による影響を受けていると判断された場合、処理対象となっている単位画像において、画面の下部に相当する期間、撮像部から出力される映像信号を受け付けずに、1単位画像時間前に、撮像部から受け付けた映像信号を、さらに1単位画像時間遅延させて出力し、それ以外の場合、撮像部からの映像信号を1単位画像時間遅延させて出力する。選択部は、閃光検出部により、映像信号により形成される単位画像の画面の上部に相当する映像信号が、閃光による影響をうけていると判断された場合、処理対象となっている単位画像において、画面の上部に相当する期間、撮像部から出力される映像信号を選択して出力し、それ以外の場合、遅延部から出力される映像信号を選択して出力する。
これにより、この撮像装置では、外部閃光による明るい横帯のある不自然な画面を無くし、また、閃光が撮像装置に入ったかどうかも分かるようにしつつ、動画として連続性を確保した映像(画像)を得ることができる。第6の発明より回路規模が小さくなり、閃光の影響のある画像を処理するときの電力も小さくなる。
第8の発明は、第1または第2の発明であって、閃光検出部は、撮像部により取得される映像信号が、閃光の影響を受けているか否かを検出し、映像信号により形成される単位画像に相当する時間である単位画像時間前の検出結果を保持する。
そして、閃光補正部は、第1選択部と、遅延部と、加算部と、混合部と、出力選択部と、を有する。
第1選択部は、複数の映像信号を入力することができ、入力される複数の映像信号から、閃光検出部の検出結果に基づいて、いずれか1つの映像信号を選択し、出力する。遅延部は、第1選択部から出力される映像信号を1単位画像時間遅延させた第1遅延信号と、第1遅延信号を1単位画像時間遅延させた第2遅延信号と、を出力する。加算部は、撮像部から出力される映像信号と遅延部から出力される第1遅延信号とに対して加算処理を行い、処理をおこなった映像信号を出力する。混合部は、加算部から出力される映像信号と第2遅延信号と、を所定の割合で混合し、出力する。出力選択部は、混合部から出力される映像信号または遅延部から出力される第1遅延信号のどちらか一方を選択して出力する。
この撮像装置では、上記構成により、その画面の一部(例えば、画面上部または画面下部)において閃光の影響を受けて明るくなっている単位画像(例えば、フィールド画像やフレーム画像)を検出し、当該単位画像を、閃光の影響を受けて明るくなっている画像領域(例えば、画面上部または画面下部)を用いて補正することができる。その結果、この撮像装置により取得される映像において、閃光の影響が不自然に発生することを防止することができる。
第9の発明は、第8の発明であって、遅延部は、閃光検出部により、撮像部から出力される映像信号が、閃光の影響を受けていると判断された場合のみ、第2遅延信号を出力する。
この撮像装置では、必要なときのみ、遅延部により、第2遅延信号が出力されるので、第8の発明より閃光の影響のある画像を処理するときの電力が小さくなる。
これにより、フィールド単位での閃光補正処理を行うことができる。
第11の発明は、第1から第10のいずれかの発明であって、閃光検出部は、画素単位、ライン単位、または、フィールド単位のいずれかで撮像部により取得される映像信号が、閃光の影響を受けているか否かを検出する。
また、閃光検出部は、以下の信号の生成を行う。
(1)映像信号により形成される画像の画面において、閃光の影響を受けている画面領域に相当する期間だけ、閃光の影響があることを示す値を出力する第1閃光判断信号の生成。
(2)映像信号により形成される画像の画面の開始時において、閃光の影響を受けていると判断した場合、画面全部に相当する期間だけ、閃光の影響があることを示す値を出力する第2閃光判断信号の生成。
(3)映像信号により形成される画像の画面内の下部だけに閃光の影響が有ると判断した場合、画面全部に相当する期間だけ、閃光の影響があることを示す値を出力する第3閃光判断信号の生成。
これにより、どの単位画像が閃光の影響を受けているかを示す信号、映像信号により形成される画像において画面のどの領域が閃光の影響を受けているかを示す信号を生成することができ、これらの信号を用いて、撮像装置において、適切に閃光補正処理を行うことができる。
第12の発明は、第1から第11のいずれかの発明であって、加算部および選択部は、加算部及び選択部に入力される2つの映像信号の垂直位相が互いに0.5ラインずれているとき、どちらかの映像信号を0.5ライン分シフトして垂直方向の位相を合わせた上で信号を加算及び選択する。
これにより、インターレース形式の映像信号に対しても閃光補正処理を適切に行うことができる。
第13の発明は、撮像素子を有し、被写体から入射する光信号を電気信号に変換して映像信号を取得し、出力する撮像部を備える撮像装置に用いられる撮像方法であって、閃光検出ステップと、閃光補正ステップと、を備える撮像方法である。
閃光検出ステップでは、撮像部により取得される映像信号が、閃光の影響を受けているか否かを検出する。閃光補正ステップでは、閃光検出ステップにより、撮像部により取得される映像信号が、閃光の影響を受けていると判断された場合、閃光の影響を受けていると判断された映像信号を用いて、撮像部から出力される映像信号を補正する。
第14の発明は、撮像素子を有し、被写体から入射する光信号を電気信号に変換して映像信号を取得し、出力する撮像部を備える撮像装置に用いられる撮像方法をコンピュータに実行させるプログラムである。そして、撮像方法は、閃光検出ステップと、閃光補正ステップと、を備える。
閃光検出ステップでは、撮像部により取得される映像信号が、閃光の影響を受けているか否かを検出する。閃光補正ステップでは、閃光検出ステップにより、撮像部により取得される映像信号が、閃光の影響を受けていると判断された場合、閃光の影響を受けていると判断された映像信号を用いて、撮像部から出力される映像信号を補正する。
これにより、第1の発明と同様の効果を奏する撮像方法をコンピュータに実行させるプログラムを実現することができる。
閃光検出部は、撮像部により取得される映像信号が、閃光の影響を受けているか否かを検出する。閃光補正部は、閃光検出部により、撮像部により取得される映像信号が、閃光の影響を受けていると判断された場合、閃光の影響を受けていると判断された映像信号を用いて、撮像部から出力される映像信号を補正する。
これにより、第1の発明と同様の効果を奏する集積回路を実現することができる。
[第1実施形態]
<1.1:撮像装置の構成>
図1に、第1実施形態の撮像装置1のブロック図(概略構成図)を示す。
なお、以下では、説明便宜のため、フィールド単位での処理について説明する。
図1に示すように、撮像装置1は、被写体を撮して映像信号VIを生成する撮像部101と、撮像部101で生成した映像信号VIから外部閃光の有無をフィールド単位で検出し、検出結果の情報を含む閃光検出信号FDを生成するする閃光検出部102と、閃光検出部102により生成された閃光検出信号FDに従って外部閃光の影響を受けた撮像部101の出力映像信号VIを補正する閃光補正部103と、を備える。
閃光検出部102は、撮像部101から出力される映像信号VIを入力とし、映像信号VIから外部閃光の有無をフィールド単位で検出する。具体的には、映像信号VIにより形成されるフィールドにおいて、フィールドの開始時に相当する映像信号VIが外部閃光による影響を受けていると判定した場合(フィールドの1ライン目の映像信号VIが外部閃光による影響を受けていると判定した場合)、当該フィールドフィールド期間において、「1」になり、他の場合は、「0」になる閃光検出信号FDを生成する。そして、閃光検出部102は、生成した閃光検出信号FDを閃光補正部103に出力する。
図2に示すように、閃光補正部103は、第1選択部201と、出力選択部202と、遅延部203と、加算部204と、を有する。
第1選択部201は、撮像部101から出力される映像信号VIと、加算部204から出力される映像信号VMと、閃光検出部102から出力される閃光検出信号FDと、を入力とし、閃光検出信号FDに基づいて、映像信号VIまたは映像信号VMのいずれかを選択し、映像信号VWとして、遅延部203に出力する。
具体的には、第1選択部201は、以下のようにして、選択処理を行い、映像信号VWを出力する。
(1)閃光検出信号FDが「0」のときは、撮像部101から出力される映像信号VIを選択し、映像信号VWとして、遅延部203に出力する。
(2)閃光検出信号FDが「1」のときは、加算部204から出力される映像信号VMを選択し、映像信号VWとして、遅延部203に出力する。
加算部204は、撮像部101から出力される映像信号VIと、遅延部203から出力される映像信号VRと、を入力とし、映像信号VIと映像信号VRとを加算した映像信号VMを生成する。そして、加算部204は、映像信号VMを出力選択部202に出力する。
出力選択部202は、遅延部203から出力される映像信号VRと、加算部204から出力される映像信号VMと、閃光検出部102から出力される閃光検出信号FDと、を入力とし、閃光検出信号FDに基づいて、映像信号VRまたは映像信号VMのいずれかを選択し、映像信号VOとして、出力する。
(1)閃光検出信号FDが「0」のときは、遅延部203から出力される映像信号VRを選択し、映像信号VOとして、出力する。
(2)閃光検出信号FDが「1」のときは、加算部204から出力される映像信号VMを選択し、映像信号VOとして、出力する。
<1.2:撮像装置の動作>
以上のように構成された撮像装置1について、その動作を、図3を併用し説明する。
図3は、図17で示すタイミングで閃光が、撮像装置1に入射した場合の映像信号VI、VR、VM、VO、VW、および、閃光検出信号FDの関係を、時間軸を合わせて示す図である。図3では、映像信号VI、VR、VM、VO、およびVW、のそれぞれにより形成される画像(映像)における閃光の影響の様子を模式的に示している。
まず、撮像部101では、撮像部101に含まれるレンズを通して、CMOS型撮像素子に入った光学像(被写体からの光)が電気信号に変換される。その電気信号に対して、A/D変換を行い、さらに、ホワイトバランスなどの処理が行うことで生成(取得)された信号は、映像信号VIとして、撮像部101から閃光検出部102および閃光補正部103に出力される。
そして、この映像(映像信号VIにより形成される映像)に対して、図17に示すようなタイミングで閃光が入ると、図3に示したVIのような映像(フィールド画像)になる。すなわち、閃光が入ったとき、「画面2」(フィールド2)(以下、「フィールドN」(N:整数)のことを「画面N」ということがある。)の上部は、既に映像信号として出力された後なので(「画面2」の上部に相当する部分の映像(画像)を形成する映像信号を生成するための蓄積電荷(撮像部101のCMOS型撮像素子の画素に蓄積される電荷)は、(閃光の前に)既に、撮像部101のCMOS型撮像素子から読み出されているので)、閃光の影響を受けておらず、通常の映像となる。一方、「画面2」の下部は、閃光により明るくなって、図3のVIの「画面2」(フィールド2)に示すような映像になる。これは、「画面2」の下部に相当する部分の映像(画像)を形成する映像信号を生成するための蓄積電荷(撮像部101のCMOS型撮像素子の画素に蓄積される電荷)が、閃光があった後に、撮像部101のCMOS型撮像素子から読み出されるからである。そして、「画面3」(フィールド3)は、閃光が入っている間に画面の上部の映像が生成されるので(「画面3」の上部に相当する部分の映像(画像)を形成する映像信号を生成するための蓄積電荷(撮像部101のCMOS型撮像素子の画素に蓄積される電荷)は、閃光があった後に、撮像部101のCMOS型撮像素子から読み出されるので)、「画面3」の画面上部は、明るい映像になり、「画面3」の画面下部の映像が生成されるときには、閃光がなくなっているので、「画面3」の画面下部は、閃光の影響を受けることなく通常の映像となる。
(1.2.1:閃光補正部103の動作)
次に、図3の「画面1」から「画面5」までの映像信号VIが、閃光補正部103に入力されたときの動作について、説明する。なお、ここで、「画面1」の前のフィールドの映像を「画面0」とし、「画面0」では外部閃光の影響はないものとする。
(「画面1」のとき):
映像信号VIが「画面1」のときは、外部閃光はなく(外部閃光の影響はなく)閃光検出信号FDの値が「0」なので、第1選択部201では、映像信号VIが選択される。したがって、図3に示すように、映像信号VWは、「画面1」の映像信号となり、遅延部203に出力される。
そして、出力選択部202では、閃光検出信号FDの値が「0」なので、映像信号VRが選択される。したがって、図3に示すように、出力選択部202の出力信号である映像信号VOは、「画面0」の映像信号になる。
(「画面2」のとき):
次のフィールドでは、「画面2」、すなわち、図3に示すように画面下部が閃光の影響で明るくなった映像が入力される。このとき、閃光検出信号FDの値は、「0」なので、「画面1」が入力されるときと同じ動作になり、図3に示すように、映像信号VRは、「画面1」の映像信号となり、出力選択部202の出力であり、閃光補正部103の出力でもある映像信号VOは、「画面1」の映像信号となり、1フィールド遅延させるために、遅延部203に入力される映像信号VWは、「画面2」の映像信号となる。
(「画面3」のとき):
さらに、次のフィールドでは、「画面3」、すなわち、図3に示すように画面上部が閃光の影響で明るくなった映像が入力される。このとき、閃光検出信号FDの値は、「1」なので、「画面1」が入力されるときと異なる動作になる。
(「画面4」のとき):
さらに次のフィールドでは、図3に示すような「画面4」の映像信号が入力される。このとき、閃光検出信号FDの値は、「0」なので、「画面1」が入力されるときと同じ動作になる。従って、図3に示すように、映像信号VRは、前のフィールドで映像信号VWであった「画面2」の映像信号と「画面3」の映像信号とを加算した信号となる。そして、出力選択部202の出力であり、閃光補正部103の出力でもある映像信号VOは、閃光検出信号FDの値が「0」なので、映像信号VRである「画面2」の映像信号と「画面3」の映像信号とを加算した信号を選択し、映像信号VOとする。また、遅延部203へ1フィールド遅延させるために出力される映像信号VWは、入力された映像信号VIである「画面4」の映像信号になる。
(「画面5」のとき):
さらに次も同様に、映像信号VIとして、「画面5」の信号が入力されると、図3に示すように、映像信号VRは、「画面4」の映像信号になり、映像信号VOは、「画面4」の映像信号になり、そして、映像信号VWは、「画面5」の映像信号になる。以下同様の動作が毎フィールド繰り返されていく。
以上の動作により、撮像装置1では、図3の映像信号VIのように「画面2」で画面下部が、「画面3」で画面上部が、それぞれ、閃光の影響で明るい映像になっていた映像信号を、図3の出力映像信号VOのように、映像信号VIの「画面2」および「画面3」に相当するところで、画面全部が明るい映像(「画面2」の映像信号と「画面3」の映像信号とを加算した映像信号による映像)になり、実際の被写体のように全部が均一に明るくなる映像を生成することができる。また、撮像装置1では、閃光の影響のある映像を使用することで、閃光が入ったかどうかも映像信号に残るようになる。
また、本実施形態では、撮像装置1において、閃光が入ったかどうかを判断するための情報として映像信号VIを使用したが、これに限定されることはなく、例えば、閃光そのものを検出する専用のセンサーを撮像装置1に設け、撮像装置1では、そのセンサーから得られる信号で閃光検出信号FDを生成するようにしても良い。
≪第1変形例≫
次に、本実施形態の第1変形例について、説明する。
閃光補正部103を、図4に示す閃光補正部103Aに置換した構成の撮像装置では、図3で、「画面2」及び「画面3」のところで、「画面2」の映像信号と「画面3」の映像信号とを加算した映像信号による画面(図3中では、「2+3」と表記)に置き換わっていた信号が、図5に示すように、「画面2」の映像信号と「画面3」と映像信号とを加算平均した映像信号による画面(図5中では、「(2+3)/2」と表記)になる。これにより、この撮像装置では、加算したときと同様に、画面全部が均一に明るくなる映像を得ることができ、かつ、加算したときと違い、閃光の影響を受けていない部分の映像の情報が、閃光が強すぎることにより何が写っているかわからなくなることがなくなる(閃光が強すぎることによる影響を抑制することができる)。その代わり、この撮像装置では、閃光により明るくなる効果が抑えられることになる。そこで、この撮像装置において、加算して取得した映像信号を半分にする加算平均処理ではなく、加算して取得した映像信号に4分の3をかけることで加算平均処理を行うようにしてもよい。これにより、この撮像装置では、閃光により明るくなる効果を残しつつ、閃光が強すぎることによる影響を効果的に抑制することができる。なお、上記において、加算して取得した映像信号にかける数値は、「3/4」以外の数値であってもよいことは言うまでもない。
次に、本実施形態の第2変形例について、説明する。
本変形例の撮像装置では、撮像装置1において、閃光補正部103を、図6に示す閃光補正部103Bに置換した構成となっている。なお、以下では、上記と同様の部分については、同一符号を付し、詳細な説明を省略する。
閃光補正部103Bは、図6に示すように、第1選択部201と、加算部204と、遅延部203Bと、を備える。
第1選択部201は、映像信号VIと、加算部204から出力される映像信号VMと、閃光検出信号FDとを入力とする。第1選択部201は、閃光検出信号FDに基づいて、映像信号VIおよび映像信号VMのいずれか一方を選択し、選択した映像信号を映像信号VWとして、遅延部203Bに出力する。
遅延部203Bは、閃光検出信号FDと、第1選択部201から出力される映像信号VWとを入力とする。遅延部203Bは、映像信号VWを1フィールド遅延(1フィールド期間に相当する時間だけ遅延)させた映像信号を、映像信号VRとして、加算部204に出力する。また、遅延部203Bは、閃光検出信号FDに基づいて、映像信号VOを出力する。すなわち、
(1)閃光検出信号FDが「0」のとき、遅延部203Bは、映像信号VRと同じ映像信号を、映像信号VOとして出力する。
(2)閃光検出信号FDが「1」のとき、遅延部203Bは、1フィールド前の映像信号VRと同じ映像信号を、映像信号VOとして出力する。つまり、現在処理中のフィールドがN(Nは自然数)番目のフィールドである場合、遅延部203Bは、(N−1)番目のフィールドの映像信号VRを出力する。
図7に示すように、本変形例の撮像装置では、図3の場合と比較して、以下の点が異なる。
すなわち、図3の場合、「画面3」において、映像信号VOは、「画面2」の映像信号と「画面3」の映像信号とを加算した映像信号(図3中では、「2+3」と表記)である。
一方、図7の場合、「画面3」において、映像信号VOは、「画面1」の映像信号(図7中では、「1」と表記)である。
≪第3変形例≫
次に、本実施形態の第3変形例について、説明する。
本変形例の撮像装置では、撮像装置1において、閃光補正部103を、図8に示す閃光補正部103Cに置換した構成となっている。なお、以下では、上記と同様の部分については、同一符号を付し、詳細な説明を省略する。
閃光補正部103Cは、図8に示すように、図2に示す閃光補正部103から、出力選択部202を削除し、遅延部203を遅延部203Cに置換した構成となっている。それ以外については、閃光補正部103Cは、閃光補正部103と同様である。
(1)閃光検出信号FDが「0」のとき、遅延部203Cは、映像信号VRと同じ映像信号を、映像信号VOとして出力する。
(2)閃光検出信号FDが「1」のとき、遅延部203Cは、1フィールド前の映像信号VRと同じ映像信号を、映像信号VOとして出力する。つまり、現在処理中のフィールドがN(Nは自然数)番目のフィールドである場合、遅延部203Cは、(N−1)番目のフィールドの映像信号VRを出力する。
図9に示すように、本変形例の撮像装置では、図5の場合と比較して、以下の点が異なる。
すなわち、図5の場合、「画面3」において、映像信号VOは、「画面2」の映像信号と「画面3」の映像信号とを加算平均した映像信号(図5中では、「(2+3)/2」と表記)である。
一方、図9の場合、「画面3」において、映像信号VOは、「画面1」の映像信号(図9中では、「1」と表記)である。
[第2実施形態]
本実施形態は、第1実施形態と信号の流れはほぼ同じで、主に、閃光補正部103の構成と動作とが異なるので、その異なる部分を中心に、以下説明する。
<2.1:撮像装置の構成>
図10に示すように、本実施形態の撮像装置2は、第1実施形態の撮像装置1において、閃光検出部102を閃光検出部102Aに置換し、閃光補正部103を閃光補正部103B’に置換したものであり、それ以外については、本実施形態の撮像装置は、第1実施形態の撮像装置1と同様である。
閃光検出部102Aは、撮像部101から出力される映像信号VIを入力とし、映像信号VIから閃光検出信号FDを生成し、閃光補正部103B’に出力する。なお、閃光検出信号FDは、上位ビットをFDO、下位ビットをFDWで構成される2ビットの信号であるものとする。
具体的には、閃光検出部102Aは、以下のようにして、閃光検出信号FDに生成し、出力する。
(1)閃光検出部102Aが、各フィールド画像の画面において、画面の上部だけ閃光がある(画面上部が閃光の影響を受けている)と判断したとき、閃光検出部102Aは、閃光検出信号の上位ビットFDOの値を「1」にし、それ以外のときは、閃光検出信号の上位ビットFDOの値を「0」にして、閃光補正部103B’に出力する。
(2)閃光検出部102Aが、1フィールド前のフィールド画像の画面において、画面の下部にだけ閃光がある(画面下部が閃光の影響を受けている)と判断したとき、閃光検出部102Aは、閃光検出信号の下位ビットFDWの値を「1」にし、それ以外のときは、閃光検出信号の下位ビットFDWの値を「0」にして、閃光補正部103B’に出力する。
第1選択部601は、閃光検出信号の下位ビットFDWが「0」のときは、撮像部101から出力される映像信号VIを選択し、閃光検出信号の下位ビットFDWが「1」のときは、遅延部203から出力される映像信号VRを選択し、映像信号VWを生成し、遅延部203に出力する。
遅延部203は、第1選択部601から出力される映像信号VWを1フィールド遅延させて映像信号VRを生成し、第1選択部601および出力選択部602に出力する。
出力選択部602は、閃光検出信号の上位ビットFDOが「0」のときは、遅延部203から出力される映像信号VRを選択し、閃光検出信号の上位ビットFDOが「1」のときは、撮像部101から出力される映像信号VIを選択し、映像信号VOとして出力する。
以上のように構成された撮像装置2について、その動作を、図13を併用し説明する。また、図13の「画面1」の前のフィールドの映像を「画面0」とし、「画面0」では、外部閃光の影響はないものとする。
撮像部101から出力された映像信号VIは、図13に示すように、「画面2」では、画面の下部が閃光の影響を受けて明るくなっており、「画面3」では、画面の上部が閃光の影響を受けて明るくなっている。
閃光検出部102Aでは、図13に示すように、閃光の影響を受けている「画面2」と「画面3」の映像信号に対して、画面の上部だけ閃光があると判断されるとき「1」になる閃光検出信号FDO(閃光検出信号FDの上位1ビットによる信号)と、前のフィールドで画面の下部だけ閃光があると判断されるときだけ「1」になる閃光検出信号FDW(閃光検出信号FDの下位1ビットによる信号)を生成する。
また、閃光検出部102Aは、閃光が入り始めたラインを記憶しておき、次のフィールドで記憶しておいたラインになったときに、閃光検出信号FDWの値を「1」にして、さらに、次の垂直ブランキング期間が来たときに、閃光検出信号FDWの値を「0」にする。
次に、図13の「画面1」から「画面5」までの映像信号VIが閃光補正部103B’に入力されたときの動作を説明する。
(「画面1」のとき):
閃光補正部103B’に入力された映像信号VIが「画面1」のときは、閃光検出信号FDWの値が「0」なので、第1選択部601では、映像信号VIが選択され、映像信号VWは、「画面1」の映像信号となり、遅延部203に出力される。
遅延部203では、1フィールド遅延した映像信号VRを出力するので、1フィールド前のフィールドの映像信号である「画面0」の信号を、第1選択部601および出力選択部602に出力する。
(「画面2」のとき):
次のフィールドでは、「画面2」、すなわち、図13に示すように、画面下半分が閃光の影響で明るくなった映像が入力される。このとき、閃光検出信号FDWとFDOとは、ともに「0」なので、「画面1」が入力されるときと同じ動作になり、図13に示すように、映像信号VRは、「画面1」の映像信号となり、出力選択部602の出力であり閃光補正部103B’の出力でもある映像信号VOは、「画面1」の映像信号となり、遅延部203へ1フィールド遅延させるために入力される映像信号VWは、「画面2」の映像信号になる。
(「画面3」のとき):
さらに、次のフィールドでは、「画面3」、すなわち、図13に示すように、画面上部が閃光の影響で明るくなった映像が入力される。このとき、閃光検出信号FDWの値が「1」になる期間と、閃光検出信号FDOの値が「1」になる期間とがあるので、「画面1」が入力されるときと異なる動作になる。
そして、出力選択部602では、閃光検出信号FDOの値が「1」のときは、映像信号VIである「画面3」の映像信号が選択され、閃光検出信号FDOの値が「0」のときは、映像信号VRである「画面2」の映像信号が選択される。ここで、図13に示すように、閃光検出信号FDOの値が「1」のとき、映像信号VIである「画面3」の映像信号は、閃光の影響を受けて明るい映像になっており、また、閃光検出信号FDOの値が「0」のとき、映像信号VRである「画面2」の映像信号が閃光の影響を受けて明るくなっているので、図13の映像信号VIが「画面3」のときの、映像信号VOに示すように、画面上部が「画面3」、下部が「画面2」となり、共に閃光の影響を受けて明るくなっているので、画面全部が明るい映像になる。すなわち、出力選択部602の出力、すなわち閃光補正部103B’の出力の映像信号は、画面全部が明るい映像信号になる。
(「画面4」のとき):
さらに次のフィールドでは、図13に示すように、閃光の影響を受けていない「画面4」の映像信号が入力される。このとき、閃光検出信号FDW及びFDOの値は、「0」なので、「画面1」が入力されるときと同じ動作になる。従って、図13に示すように、映像信号VRは、前のフィールドで映像信号VWであった「画面2」と「画面3」を組み合わせた画面全体が明るい映像信号になり、その映像信号が、出力選択部602にて選択され、閃光補正部103B’の出力でもある映像信号VOとなる。また、遅延部203へ1フィールド遅延させるために入力される映像信号VWは、入力された映像信号VIである「画面4」の映像信号になる。
(「画面5」のとき):
さらに次のフィールドでも同様に、映像信号VIとして、「画面5」の信号が入力されると、図13に示すように、映像信号VRは、「画面4」の映像信号になり、映像信号VOは、「画面4」の映像信号になり、そして、映像信号VWは、「画面5」の映像信号になる。そして、以下同様の動作が毎フィールド繰り返されていく。
なお、撮像部101で生成される映像信号が、インターレースの形式のときには、図11の出力選択部602で映像信号を選択するとき映像信号VIのほうを0.5ライン分垂直方向にシフトして映像信号VRと垂直の画面の位置が同じになるように補正してから選択する。このとき、上記で説明した場合とは、遅延量が変わることになるが、遅延部203から映像信号VRを読み出すタイミングを変えることで調整すれば良い。
≪変形例≫
また、撮像装置2において、閃光補正部103B’を、図12に示す閃光補正部103C’に置換してもよい。図12に示すように、閃光補正部103C’は、閃光検出信号FDWを遅延部703の制御に加えて、第1選択部601を省略した構成となっている。
この撮像装置(本変形例の撮像装置)において、遅延部703では、FDWの値が「1」のとき、1フィールド遅延させるために入力される映像信号VWを受け付けないようにして、前のフィールドの値を維持する。すなわち、遅延部703では、「画面3」の映像が入力されるフィールドにおいて、「画面3」の上部の映像信号は、1フィールド遅延すべき信号として受け付けられ(遅延部703に入力され)、1フィールド遅延されて、次のフィールドで出力される。一方、遅延部703では、「画面3」の下部の映像信号は無視され(遅延部703に入力されず)、その代わり、遅延部703は、前のフィールドで受け付けた「画面2」の下部の映像信号をそのまま維持し、次のフィールドで「画面2」の下部の映像信号を出力する。
[第3実施形態]
本実施形態は、第1実施形態と信号の流れはほぼ同じで、主に、閃光補正部103の構成と動作が異なるので、その異なる部分を中心に、以下説明する。
<3.1:撮像装置の構成>
本実施形態の撮像装置は、第1実施形態の撮像装置1において、閃光補正部103を、図14に示す閃光補正部103Dに置換したものである。
すなわち、閃光補正部103Dでは、図14に示すように、
(1)加算部204の後に混合部905が追加されたこと、
(2)その混合部905に、遅延部903により、第1選択部201の出力信号を2フィールド遅延した信号VR2を入力するようにしたこと、
(3)遅延部903が、2フィールド遅延した信号VR2を生成できるようにしたこと、
である。
ここで、混合部905は、加算部204から出力される映像信号と、映像信号VWを2フィールド遅延した映像信号VR2と、を7対1の比で混合する。
以上のように構成された閃光補正部103Dを含む本実施形態の撮像装置について、その動作を、図16を併用し説明する。また、図16の「画面1」の前のフィールドの映像を「画面0」とし、「画面0」では、外部閃光の影響はないものとする。
撮像部101から出力された映像信号VIは、図16に示すように、「画面2」では、画面の下部が閃光の影響を受けて明るくなっており、「画面3」では、画面の上部が閃光の影響を受けて明るくなっている。この映像信号VIが閃光補正部103Dに入力される。
(「画面1」、「画面2」、「画面5」のとき):
「画面1」、「画面2」、「画面5」が入力されるときは、第1実施形態と同じく、図16に示す通り、映像信号VIを1フィールド遅延させた映像信号が、閃光補正部103Dの出力信号VOになる。
(「画面3」のとき):
「画面3」が入力されるとき、加算部204では、遅延部903から映像信号VWを1フィールド遅延させた映像信号VR1である「画面2」の映像信号と、撮像部101から出力される映像信号VI、すなわち、「画面3」の映像信号が加算され、混合部905に出力される。そして、この「画面2」の映像信号と「画面3」の映像信号とが加算された映像信号は、混合部905にて、遅延部903から出力される映像信号VWを2フィールド遅延した映像信号VR2、すなわち「画面1」の映像信号と、7対1の比で混合され、映像信号VMが生成される。
((画面2)+(画面3))×(7/8)+(画面1)×(1/8)
により取得された信号値を有する信号として、閃光補正部103Dにより生成される。なお、上式において、「(画面N)」(N:整数)は、「画面N」の映像信号の信号値を示している。
そして、出力選択部202では、閃光検出信号FDの値が「1」なので、この映像信号VMを選択し、閃光補正部103Dの出力信号VOとなる。よって、閃光補正部103Dの出力信号VOは、「画面2」の映像信号および「画面3」の映像信号を加算した映像信号と、「画面1」の映像信号と、を7対1の比で混合した映像信号になる。
一方、この混合した映像信号VMは、閃光検出信号FDの値が「1」なので、第1選択部201で選択され、遅延部903に出力される。ここで、混合部で、7対1の比で混合する処理は、8分の7を乗じた信号と8分の1を乗じた信号を加算することである。なお、上記において混合比は、7対1の場合について説明したが、これに限定されず、他の混合比であってもよい。また、加算処理の代わりに、加算平均処理、重付平均処理等を用いるようにしてもよい。
(「画面4」のとき):
次に、撮像部101から「画面4」の映像信号が入力されるときは、動作自体は、「画面1」の映像信号が入力されるときと同じだが、遅延部903で1フィールド遅延された映像信号VR1が、前のフィールドで「画面2」の映像信号、および「画面3」の映像信号を加算した映像信号と、「画面1」の映像信号と、を7対1の比で混合した映像信号になる点が異なる。
一方、第1選択部201では、閃光検出信号FDの値が「0」なので、撮像部101から出力された映像信号である「画面4」の映像信号が選択され、映像信号VWとして、遅延部903に出力される。
以上の動作により、本実施形態の撮像装置では、図16の映像信号VIのように、画面下部が閃光の影響により明るい画面である「画面2」の映像信号と、画面上部が閃光の影響により明るい画面である「画面3」の映像信号を、図16の映像信号VOのように、「画面2」および「画面3」に相当するところで、画面全部が明るい映像を得ることができる。また、本実施形態の撮像装置では、加算してオーバーフローしたところ(場合)でも、およそどのような映像かがわかる映像を得ることができる。また、本実施形態の撮像装置では、閃光の影響のある映像を使用するので(閃光の影響のある映像を完全に削除することなく、使用するので)、本実施形態の撮像装置から出力される映像信号により形成される映像において、閃光が入ったかどうかも分かる。
また、本実施形態の撮像装置では、閃光が入ったかどうかを判断するための情報として映像信号VIを使用したが、これに限定されることはなく、例えば、閃光そのものを検出する専用のセンサーを本実施形態の撮像装置に設け、そのセンサーから得られる信号で閃光検出信号FDを生成するようにしても良い。
≪変形例≫
また、本実施形態の撮像装置において、閃光補正部103Dを、図15に示す閃光補正部103Eに置換してもよい。図15に示すように、閃光補正部103Eは、閃光補正部103Dにおいて、遅延部903を、遅延部1003に置換した構成となっている。つまり、遅延部1003に、閃光検出信号FDを入力するようにし、遅延部1003が閃光検出信号FDにより制御される構成とする。
また、図14、図15の加算部204の処理を加算平均に置き換えても良い。これにより、閃光が当てられた被写体がどのようなものかが、より分かるようになる。但し、閃光の影響が少なくなるので、強い光が入ったという印象が小さくなる。
また、本実施形態では、「画面1」の映像を混合する場合について述べたが、「画面4」の映像を混合しても同様の効果を得ることができる。
また、本実施形態では、3つの画面(フィールド)を混合(上記では、「画面1」、「画面2」および「画面3」を混合)する場合について説明したが、これに限定されることはなく、さらに多くの画面(フィールド)を混合するようにしてもよい。
なお、上記においては、フィールド単位での処理について説明したが、これに限定されることはなく、例えば、撮像装置が、フレーム単位での処理を行うものであってもよい。
また、上記実施形態で説明した撮像装置において、各ブロックは、LSIなどの半導体装置により個別に1チップ化されても良いし、一部又は全部を含むように1チップ化されても良い。
なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア(OS(オペレーティングシステム)、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。)により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る撮像装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
101 撮像部
102 閃光検出部
103、103A、103B、103C、103D、103E 閃光補正部
201、601 第1選択部
202、602 出力選択部
203、703、903、1003 遅延部
204 加算部
404 加算平均部
905 混合部
Claims (14)
- 撮像素子を有し、被写体から入射する光信号を電気信号に変換して映像信号を取得し、出力する撮像部と、
前記撮像部により取得される映像信号が、閃光の影響を受けているか否かを検出する閃光検出部と、
前記閃光検出部により、前記撮像部により取得される単位画像を形成する映像信号が、閃光の影響を受けていると判断された場合、前記撮像部から出力される映像信号を補正する閃光補正部と、
を備え、
前記閃光検出部により、N番目(Nは整数)の単位画像を形成する映像信号であるN番目映像信号が、閃光の影響を受けていると判断された場合、
前記閃光補正部は、前記N番目映像信号およびN+1番目(Nは整数)の単位画像を形成する映像信号である(N+1)番目映像信号を用いて補正映像信号を生成し、前記撮像部から出力される映像信号を、前記補正映像信号に置換することにより補正する、
撮像装置。 - 前記閃光補正部は、
複数の映像信号を入力することができ、入力される複数の映像信号から、前記閃光検出部の検出結果に基づいて、いずれか1つの映像信号を選択し、出力する第1選択部と、
前記第1選択部から出力される映像信号を、映像信号により形成される単位画像に相当する時間である単位画像時間だけ遅延させて出力する遅延部と、
前記撮像部から出力される映像信号および前記遅延部から出力される映像信号に対して加算処理を行い、前記処理を行った映像信号を前記補正映像信号として出力する加算部と、
前記加算部から出力される映像信号または前記遅延部から出力される映像信号のどちらか一方を選択して出力する出力選択部と、
を有し、
前記第1選択部は、前記撮像部から出力される映像信号および前記加算部から出力される映像信号を入力とし、前記閃光検出部により、前記撮像部から出力される映像信号が、閃光の影響を受けていないと判断された場合、前記撮像部から出力される映像信号を選択して出力し、前記閃光検出部により、前記撮像部から出力される映像信号が、閃光の影響を受けていると判断された場合、前記加算部から出力される映像信号を選択して出力し、
前記出力選択部は、前記閃光検出部により、前記撮像部から出力される映像信号が、閃光の影響を受けていないと判断された場合、前記遅延部から出力される映像信号を選択して出力し、前記閃光検出部により、前記撮像部から出力される映像信号が、閃光の影響を受けていると判断された場合、前記加算部から出力される映像信号を選択して出力する、
請求項1に記載の撮像装置。 - 前記加算部は、前記撮像部から出力される映像信号と、前記遅延部から出力される映像信号と、を加算することで、前記加算処理を行う、
請求項2に記載の撮像装置。 - 前記加算部は、前記撮像部から出力される映像信号と、前記遅延部から出力される映像信号と、を加算して平均することで、前記加算処理を行う、
請求項2に記載の撮像装置。 - 前記閃光検出部は、前記撮像部により取得される映像信号が、閃光の影響を受けているか否かを検出し、映像信号により形成される単位画像に相当する時間である単位画像時間前の検出結果を保持し、
前記閃光補正部は、
複数の映像信号を入力することができ、入力される複数の映像信号から、前記閃光検出部の検出結果に基づいて、いずれか1つの映像信号を選択し、出力する第1選択部と、
前記第1選択部から出力される映像信号を、1単位画像時間だけ遅延させて出力する遅延部と、
前記撮像部から出力される映像信号または前記遅延部から出力される映像信号のどちらか一方を選択して出力する出力選択部と、
を有し、
前記第1選択部は、前記閃光検出部により、1単位画像前の映像信号により形成される単位画像の画面の下部に相当する映像信号が、閃光による影響を受けていると判断された場合、処理対象となっている単位画像において、前記画面の下部に相当する期間、前記遅延部から出力される映像信号を選択して出力し、それ以外の場合、前記撮像部から出力される映像信号を選択して出力し、
前記出力選択部は、前記閃光検出部により、映像信号により形成される単位画像の画面の上部に相当する映像信号が、閃光による影響を受けていると判断された場合、処理対象となっている単位画像において、前記画面の上部に相当する期間、前記撮像部から出力される映像信号を選択して出力し、それ以外の場合、前記遅延部から出力される映像信号を選択して出力する、
請求項1に記載の撮像装置。 - 前記閃光検出部は、前記撮像部により取得される映像信号が、閃光の影響を受けているか否かを検出し、映像信号により形成される単位画像に相当する時間である単位画像時間前の検出結果を保持し、
前記閃光補正部は、
前記閃光検出部により、1単位画像前の映像信号により形成される単位画像の画面の下部に相当する映像信号が、閃光による影響を受けていると判断された場合、処理対象となっている単位画像において、前記画面の下部に相当する期間、前記撮像部から出力される映像信号を受け付けずに、1単位画像時間前に、前記撮像部から受け付けた映像信号を、さらに1単位画像時間遅延させて出力し、それ以外の場合、前記撮像部からの映像信号を1単位画像時間遅延させて出力する遅延部と、
前記閃光検出部により、映像信号により形成される単位画像の画面の上部に相当する映像信号が、閃光による影響を受けていると判断された場合、処理対象となっている単位画像において、前記画面の上部に相当する期間、前記撮像部から出力される映像信号を選択して出力し、それ以外の場合、前記遅延部から出力される映像信号を選択して出力する選択部と、
を有する、
請求項1に記載の撮像装置。 - 前記閃光検出部は、前記撮像部により取得される映像信号が、閃光の影響を受けているか否かを検出し、映像信号により形成される単位画像に相当する時間である単位画像時間前の検出結果を保持し、
前記閃光補正部は、
複数の映像信号を入力することができ、入力される複数の映像信号から、前記閃光検出部の検出結果に基づいて、いずれか1つの映像信号を選択し、出力する第1選択部と、
前記第1選択部から出力される映像信号を1単位画像時間遅延させた第1遅延信号と、前記第1遅延信号を1単位画像時間遅延させた第2遅延信号と、を出力する遅延部と、
前記撮像部から出力される映像信号と前記遅延部から出力される前記第1遅延信号とに対して加算処理を行い、前記処理をおこなった映像信号を出力する加算部と、
前記加算部から出力される映像信号と前記第2遅延信号と、を所定の割合で混合し、前記補正映像信号として出力する混合部と、
前記混合部から出力される映像信号または前記遅延部から出力される前記第1遅延信号のどちらか一方を選択して出力する出力選択部と、
を有し、
前記第1選択部は、前記撮像部から出力される映像信号および前記混合部から出力される映像信号を入力とし、前記閃光検出部により、前記撮像部から出力される映像信号が、閃光の影響を受けていないと判断された場合、前記撮像部から出力される映像信号を選択して出力し、前記閃光検出部により、前記撮像部から出力される映像信号が、閃光の影響を受けていると判断された場合、前記混合部から出力される映像信号を選択して出力し、
前記出力選択部は、前記閃光検出部により、前記撮像部から出力される映像信号が、閃光の影響を受けていないと判断された場合、前記第1遅延信号を選択して出力し、前記閃光検出部により、前記撮像部から出力される映像信号が、閃光の影響を受けていると判断された場合、前記混合部から出力される映像信号を選択して出力する、
請求項1に記載の撮像装置。 - 前記遅延部は、前記閃光検出部により、前記撮像部から出力される映像信号が、閃光の影響を受けていると判断された場合のみ、前記第2遅延信号を出力する、
請求項7に記載の撮像装置。 - 前記単位画像は、フィールド画像であり、
前記単位画像時間は、フィールド時間である、
請求項1から8のいずれかに記載の撮像装置。 - 閃光検出部は、
画素単位、ライン単位、または、フィールド単位のいずれかで前記撮像部により取得される映像信号が、閃光の影響を受けているか否かを検出し、
前記撮像部により取得される単位画像を形成する映像信号において、閃光の影響を受けている領域に相当する期間だけ、閃光の影響があることを示す値を出力する第1閃光判断信号の生成と、
前記撮像部により取得される単位画像を形成する映像信号の取得開始時において、閃光の影響を受けていると判断した場合、前記単位画像領域全部に相当する期間だけ、閃光の影響があることを示す値を出力する第2閃光判断信号の生成と、
前記撮像部により取得される単位画像を形成する映像信号の下部だけに閃光の影響が有ると判断した場合、前記単位画像領域全部に相当する期間だけ、閃光の影響があることを示す値を出力する第3閃光判断信号の生成と、
を行い、
前記第1閃光判断信号、前記第2閃光判断信号および前記第3閃光判断信号を、それぞれ、所定時間遅延させることができ、
前記第1閃光判断信号、前記第2閃光判断信号および前記第3閃光判断信号、並びに、第1閃光判断信号、前記第2閃光判断信号および前記第3閃光判断信号を所定時間遅延させた信号のうちのいずれか1つまたは複数の信号を出力することができ、
前記閃光補正部は、前記閃光検出部からの出力に応じて前記撮像部から出力される映像信号を補正する、
請求項1から9のいずれかに記載の撮像装置。 - 前記加算部または前記選択部は、前記加算部または前記選択部に入力される2つの映像信号の垂直位相が互いに0.5ラインずれているとき、どちらかの映像信号を0.5ライン分シフトして垂直方向の位相を合わせた上で信号を加算及び選択する、
請求項1から10のいずれかに記載の撮像装置。 - 撮像素子を有し、被写体から入射する光信号を電気信号に変換して映像信号を取得し、出力する撮像部を備える撮像装置に用いられる撮像方法であって、
前記撮像部により取得される映像信号が、閃光の影響を受けているか否かを検出する閃光検出ステップと、
前記閃光検出ステップにより、前記撮像部により取得される単位画像を形成する映像信号が、閃光の影響を受けていると判断された場合、前記撮像部から出力される映像信号を補正する閃光補正ステップと、
を備え、
前記閃光検出ステップにおいて、N番目(Nは整数)の単位画像を形成する映像信号であるN番目映像信号が、閃光の影響を受けていると判断された場合、
前記閃光補正ステップにおいて、前記N番目映像信号およびN+1番目(Nは整数)の単位画像を形成する映像信号である(N+1)番目映像信号を用いて補正映像信号を生成し、前記撮像部から出力される映像信号を、前記補正映像信号に置換することにより補正する、
撮像方法。 - 撮像素子を有し、被写体から入射する光信号を電気信号に変換して映像信号を取得し、出力する撮像部を備える撮像装置に用いられる撮像方法をコンピュータに実行させるプログラムであって、
前記撮像部により取得される映像信号が、閃光の影響を受けているか否かを検出する閃光検出ステップと、
前記閃光検出ステップにより、前記撮像部により取得される単位画像を形成する映像信号が、閃光の影響を受けていると判断された場合、前記撮像部から出力される映像信号を補正する閃光補正ステップと、
を備え、
前記閃光検出ステップにおいて、N番目(Nは整数)の単位画像を形成する映像信号であるN番目映像信号が、閃光の影響を受けていると判断された場合、
前記閃光補正ステップにおいて、前記N番目映像信号およびN+1番目(Nは整数)の単位画像を形成する映像信号である(N+1)番目映像信号を用いて補正映像信号を生成し、前記撮像部から出力される映像信号を、前記補正映像信号に置換することにより補正する、
撮像方法をコンピュータに実行させるプログラム。 - 撮像素子を有し、被写体から入射する光信号を電気信号に変換して映像信号を取得し、出力する撮像部を備える撮像装置に用いられる集積回路であって、
前記撮像部により取得される映像信号が、閃光の影響を受けているか否かを検出する閃光検出部と、
前記閃光検出部により、前記撮像部により取得される単位画像を形成する映像信号が、閃光の影響を受けていると判断された場合、前記撮像部から出力される映像信号を補正する閃光補正部と、
を備え、
前記閃光検出部により、N番目(Nは整数)の単位画像を形成する映像信号であるN番目映像信号が、閃光の影響を受けていると判断された場合、
前記閃光補正部は、前記N番目映像信号およびN+1番目(Nは整数)の単位画像を形成する映像信号である(N+1)番目映像信号を用いて補正映像信号を生成し、前記撮像部から出力される映像信号を、前記補正映像信号に置換することにより補正する、
集積回路。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011502627A JP5167405B2 (ja) | 2009-03-03 | 2010-02-24 | 閃光の影響を補正する撮像装置 |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009049361 | 2009-03-03 | ||
| JP2009049361 | 2009-03-03 | ||
| JP2011502627A JP5167405B2 (ja) | 2009-03-03 | 2010-02-24 | 閃光の影響を補正する撮像装置 |
| PCT/JP2010/001252 WO2010100866A1 (ja) | 2009-03-03 | 2010-02-24 | 閃光の影響を補正する撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2010100866A1 JPWO2010100866A1 (ja) | 2012-09-06 |
| JP5167405B2 true JP5167405B2 (ja) | 2013-03-21 |
Family
ID=42709436
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011502627A Active JP5167405B2 (ja) | 2009-03-03 | 2010-02-24 | 閃光の影響を補正する撮像装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8976272B2 (ja) |
| EP (1) | EP2405647B1 (ja) |
| JP (1) | JP5167405B2 (ja) |
| CN (1) | CN102342091B (ja) |
| WO (1) | WO2010100866A1 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5129182B2 (ja) * | 2009-03-12 | 2013-01-23 | 富士フイルム株式会社 | 撮像装置及び撮像制御方法 |
| JP5634901B2 (ja) * | 2010-05-10 | 2014-12-03 | パナソニック株式会社 | 撮像装置、外部閃光補正方法、プログラム、および、集積回路 |
| JP5928290B2 (ja) * | 2012-02-14 | 2016-06-01 | 株式会社Jvcケンウッド | 画像処理装置、画像処理方法、画像処理プログラム |
| JP5928319B2 (ja) * | 2012-12-03 | 2016-06-01 | 株式会社Jvcケンウッド | 画像処理装置及び方法 |
| JP6156686B2 (ja) * | 2013-02-20 | 2017-07-05 | パナソニックIpマネジメント株式会社 | 画像処理装置 |
| JP6145746B2 (ja) | 2013-03-08 | 2017-06-14 | パナソニックIpマネジメント株式会社 | 撮像装置 |
| JP5826229B2 (ja) * | 2013-08-30 | 2015-12-02 | 東芝テック株式会社 | 商品認識装置およびその制御プログラム |
| JP2015149691A (ja) * | 2014-02-10 | 2015-08-20 | ソニー株式会社 | 画像補正装置、画像補正方法、及び、撮像装置 |
| US9332179B2 (en) * | 2014-06-30 | 2016-05-03 | Qualcomm Incorporated | Flash collision detection, compensation, and prevention |
| CN111710061B (zh) * | 2020-06-28 | 2021-04-13 | 北京嘀嘀无限科技发展有限公司 | 图像采集系统、方法、装置及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06205374A (ja) * | 1992-03-31 | 1994-07-22 | Toshiba Corp | 画像補間回路 |
| JP2006246400A (ja) * | 2005-03-07 | 2006-09-14 | Nec Corp | 映像データ修復装置と修復方法、及びそれを用いた映像圧縮符号化システム |
| JP2007306225A (ja) * | 2006-05-10 | 2007-11-22 | Sony Corp | 撮像装置および方法、並びにプログラム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5912699A (en) | 1992-02-18 | 1999-06-15 | Neopath, Inc. | Method and apparatus for rapid capture of focused microscopic images |
| CN101179663A (zh) * | 2006-11-07 | 2008-05-14 | 明基电通股份有限公司 | 拍照方法及系统及其机器可读取介质 |
| US9036977B2 (en) | 2007-03-22 | 2015-05-19 | Microsoft Technology Licensing, Llc | Automatic detection, removal, replacement and tagging of flash frames in a video |
-
2010
- 2010-02-24 CN CN201080010516.4A patent/CN102342091B/zh active Active
- 2010-02-24 EP EP10748468.5A patent/EP2405647B1/en active Active
- 2010-02-24 JP JP2011502627A patent/JP5167405B2/ja active Active
- 2010-02-24 WO PCT/JP2010/001252 patent/WO2010100866A1/ja not_active Ceased
- 2010-02-24 US US13/254,311 patent/US8976272B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06205374A (ja) * | 1992-03-31 | 1994-07-22 | Toshiba Corp | 画像補間回路 |
| JP2006246400A (ja) * | 2005-03-07 | 2006-09-14 | Nec Corp | 映像データ修復装置と修復方法、及びそれを用いた映像圧縮符号化システム |
| JP2007306225A (ja) * | 2006-05-10 | 2007-11-22 | Sony Corp | 撮像装置および方法、並びにプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2405647A4 (en) | 2014-01-01 |
| US20110317029A1 (en) | 2011-12-29 |
| EP2405647B1 (en) | 2019-06-12 |
| CN102342091B (zh) | 2014-12-10 |
| JPWO2010100866A1 (ja) | 2012-09-06 |
| WO2010100866A1 (ja) | 2010-09-10 |
| CN102342091A (zh) | 2012-02-01 |
| EP2405647A1 (en) | 2012-01-11 |
| US8976272B2 (en) | 2015-03-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5167405B2 (ja) | 閃光の影響を補正する撮像装置 | |
| JP5935876B2 (ja) | 画像処理装置、撮像素子、および画像処理方法、並びにプログラム | |
| US9124809B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and program | |
| JP5634901B2 (ja) | 撮像装置、外部閃光補正方法、プログラム、および、集積回路 | |
| JP6082274B2 (ja) | 撮像装置、及びその制御方法 | |
| JP2010136224A (ja) | 撮像装置及び撮像方法 | |
| JP2013165487A (ja) | 画像処理装置、撮像装置、およびプログラム | |
| JP5520704B2 (ja) | 撮像装置、閃光判定方法およびプログラム | |
| JP2007006021A (ja) | 撮像装置および画像処理プログラム | |
| US8218021B2 (en) | Image capture apparatus, method of controlling the same, and program | |
| JP5320245B2 (ja) | 撮像装置、撮像方法、プログラムおよび集積回路 | |
| KR20120024448A (ko) | 촬상 장치, 신호 처리 방법 및 프로그램 | |
| JP2006293009A (ja) | 自動焦点調節装置及び焦点調節方法 | |
| JP5959194B2 (ja) | 撮像装置 | |
| US8908060B2 (en) | Imaging apparatus generating evaluation values at a high frame rate and having a live view function of displaying a video smoothly at a low frame rate | |
| JP5446847B2 (ja) | 画像処理装置及び方法、並びにプログラム | |
| JP2007235342A (ja) | 撮像装置 | |
| JP5947625B2 (ja) | 撮像装置、及びその制御方法 | |
| JP2010273147A (ja) | 撮像信号特定状態検出装置、撮像装置、撮像信号特定状態検出方法、プログラムおよび集積回路 | |
| JP4781147B2 (ja) | 撮像装置及び画像処理方法 | |
| JP2010206591A (ja) | 固体撮像装置、集積回路及びプログラム | |
| JP2010193061A (ja) | 画像処理装置 | |
| JP2010273079A (ja) | 閃光の影響を補正する撮像装置 | |
| JP2007336092A (ja) | 撮像装置、撮像方法 | |
| JP2006339689A (ja) | 撮像装置およびその駆動方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120911 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121211 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121221 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151228 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5167405 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |