JP6149826B2

JP6149826B2 - 撮像装置及びシーン判定方法

Info

Publication number: JP6149826B2
Application number: JP2014176743A
Authority: JP
Inventors: 加藤　秀弘; 秀弘加藤; 崇末田
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2014-09-01
Filing date: 2014-09-01
Publication date: 2017-06-21
Anticipated expiration: 2034-09-01
Also published as: US20160065823A1; US9615031B2; JP2016052019A

Description

本発明は、撮像装置及びシーン判定方法に関する。

撮像装置においては、外部の状況（例えば明るさ）が変化しても、被写体を撮像して生成する映像信号の状態（例えば輝度）が極力変化しないように制御するのが一般的である。

特開２０１３−１５０１５３号公報

撮像装置の１つとして、車両内に設置して外部を撮像する、いわゆる車載カメラがある。車両が例えば高速道路を昼間に走行している場合、車両がトンネルに入ると急激に暗くなり、車両がトンネルを出ると急激に明るくなる。車載カメラが被写体を撮像する際には、明るさが急激に変化することがある。

ここでは車載カメラを例にしたが、一般的なビデオカメラで車両内より外部を撮像する場合でも同様である。なお、トンネルとは、撮像装置が昼間に被写体を撮影している状況で、光が一時的に遮断される特定の状態の例である。

撮像装置が、出力する映像信号の状態を極力変化させないよう制御するためには、従来よりも応答性の高い制御が必要であるが、制御の安定性を悪化させることは好ましくない。そこで、制御の安定性を悪化させることなく、トンネルのような特定の状態であることを的確に判定して、出力する映像信号の状態を変化させないよう制御することが求められる。

本発明はこのような要望に対応するため、昼間に被写体を撮影している状況で、光が一時的に遮断される特定の状態であるか否かを的確に判定して、出力する映像信号の状態を安定的に制御することができる撮像装置を提供することを目的とする。また、夜間、昼間、昼間であって光が一時的に遮断される特定の状態を的確に判定することができるシーン判定方法を提供することを目的とする。

本発明は、上述した従来の技術の課題を解決するため、被写体を撮像する撮像部と、明るさを検出するセンサと、前記センサによって所定の明るさがあると検出された期間が第１の時間継続するか否かを検出する第１の検出部と、前記センサによって所定の明るさがあると検出された期間が前記第１の時間よりも短い第２の時間継続するか否かを検出する第２の検出部と、前記第１の検出部による第１の検出結果と前記第２の検出部による第２の検出結果とに基づいて、前記撮像部が昼間であって光が一時的に遮断された特定の状態で前記被写体を撮像している状況であることを判定する判定部とを備えることを特徴とする撮像装置を提供する。

また、本発明は、上述した従来の技術の課題を解決するため、明るさを検出するセンサによって所定の明るさがあると検出された期間が第１の時間継続するか否かを検出し、前記センサによって所定の明るさがあると検出された期間が前記第１の時間よりも短い第２の時間継続するか否かを検出し、前記所定の明るさがあると検出された期間が前記第１の時間継続しなければ、夜間であると判定し、前記所定の明るさがあると検出された期間が前記第１の時間継続し、前記所定の明るさがあると検出された期間が前記第２の時間継続すれば、昼間であると判定し、前記所定の明るさがあると検出された期間が前記第１の時間継続し、前記所定の明るさがあると検出された期間が前記第２の時間継続しなければ、昼間であって光が一時的に遮断された特定の状態であると判定することを特徴とするシーン判定方法を提供する。

本発明の撮像装置によれば、昼間に被写体を撮影している状況で、光が一時的に遮断される特定の状態であるか否かを的確に判定して、出力する映像信号の状態を安定的に制御することができる。本発明のシーン判定方法によれば、夜間、昼間、昼間であって光が一時的に遮断される特定の状態を的確に判定することができる。

一実施形態の撮像装置を示すブロック図である。一実施形態の撮像装置における自動露出制御モデルを示すブロック図である。図１中の赤外線センサ６の具体的な構成を示す回路図である。図１中のシーン判定部１０３の機能的な内部構成を示すブロック図である。図４に示すシーン判定部１０３の動作を説明するための波形図である。一実施形態のシーン判定方法によるシーンの判定基準であり、図４に示すシーン判定部１０３によるシーンの判定を説明するための図である。多重露光の動作を説明するための図である。

以下、一実施形態の撮像装置及びシーン判定方法について、添付図面を参照して説明する。本実施形態の撮像装置は、車載カメラであるとする。

図１において、撮像部２には、レンズ１を介して、外部より入力光Ｌinが入力される。ここではレンズ１を１つとしているが、実際には撮像装置は複数のレンズを有する。撮像部２は、撮像素子２１と、撮像素子２１における露光のさせ方を設定するための露光設定回路２２とを含む。

撮像素子２１は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサである。撮像素子２１は、ＣＣＤ（Charge Coupled Device）センサであってもよい。

撮像素子２１は、入力光Ｌinを光電変換して、例えばＲＧＢ信号を出力する。ＲＧＢ信号は、映像信号処理部３に入力される。映像信号処理部３は、ＲＧＢ信号に基づいて輝度信号（Ｙ信号）と色信号（Ｃ信号）を生成して、各種の信号処理を施す。映像信号処理部３は、映像信号を表示部４に供給する。

映像信号処理部３は、Ｙ信号とＣ信号とを表示部４に供給してもよいし、信号処理を施したＹ信号とＣ信号とをＲＧＢ信号に戻して、ＲＧＢ信号を表示部４に供給してもよい。映像信号処理部３は、コンポジット映像信号を表示部４に供給してもよいし、HDMI（登録商標）規格（HDMI: High-Definition Multimedia Interface）に準拠したデジタル映像信号を表示部４に供給してもよい。

映像信号処理部３は、多重露光合成部３１を有する。多重露光合成部３１の動作については後に詳述する。

映像信号処理部３の具体的な構成または動作は特に限定されない。表示部４の代わりに、映像信号処理部３より出力された映像信号を記録する記録部を設けてもよい。

Ｙ信号は、露出評価値生成部５に入力される。露出評価値生成部５は、入力されたＹ信号に基づいて、各フレームの輝度の平均値を露出評価値として生成し、制御部１０に供給する。

露出評価値生成部５は、１フレーム内の輝度を単純に平均して露出評価値としてもよい。露出評価値生成部５は、１フレームを複数の領域に分割して、それぞれの領域で平均値を求め、中央部の領域の平均値に重み付けした後に均して露出評価値としてもよい。

露出評価値生成部５によって生成された露出評価値は、制御部１０に入力される。制御部１０は、ＣＰＵによって構成することができる。制御部１０は、機能的な内部構成として、露出制御部１０１と、光源判定部１０２と、シーン判定部１０３とを有する。

露出制御部１０１は、露出評価値が一定となるように、露光設定回路２２を制御する。露出制御部１０１は、撮像素子２１における露光の設定として、シャッタスピードを設定する。

露出制御部１０１は、１／６０秒や１／２５０秒等のシャッタスピードを設定するための制御値を露光設定回路２２に供給する。露光設定回路２２は、入力された制御値が示すシャッタスピードで撮像するよう撮像素子２１を動作させる。

図２は、以上説明した撮像装置における自動露出制御モデルを示している。制御部１０には、目標とする輝度値が制御目標値として保持されている。制御目標値は、所定のグレーレベルでよい。

制御部１０内の仮想的な減算器１０４は、制御目標値から露出評価値生成部５より出力された露出評価値を減算する。制御目標値と露出評価値との差分値が、露出制御部１０１に入力される。露出制御部１０１は、露光設定回路２２が設定するシャッタスピードを制御する。

撮像部２内の仮想的な加算器２３は、入力光Ｌinに対して、露光設定回路２２によって設定されたシャッタスピードによる撮像の処理を加える。加算器２３の出力は、露出評価値生成部５に入力され、表示部４へと供給される。

図２に示す自動露出制御モデルは、フィードバック制御ループを構成する。よって、露出評価値は常に制御目標値と一致する。入力光Ｌinが外乱となって輝度値が変動しても、露出評価値が一定となるように制御される。

このように、図１に示す撮像装置は、外部の状況として明るさが変化しても、表示部４に表示する映像信号の状態（ここでは輝度）が極力変化しないように制御する。

図１に戻り、赤外線センサ（ＩＲセンサ）６は、赤外線を検出する。ＩＲセンサ６が赤外線を検出した検出値は、Ａ／Ｄ変換器７によってデジタル値に変換される。Ａ／Ｄ変換器７より出力されるデジタル値をIRoutと称することとする。ここでのデジタル値IRoutは２値ではなく、多値である。デジタル値IRoutは、制御部１０及びバンドパスフィルタ８に入力される。

図３に示すように、ＩＲセンサ６はフォトトランジスタ６ｐｔで構成することができる。フォトトランジスタ６ｐｔのコレクタ端子には電源電圧Vccが供給され、エミッタ端子は抵抗Ｒ６を介して接地されている。Ａ／Ｄ変換器７にも、一端に電源電圧Vccが供給され、他端が接地されている。

バンドパスフィルタ８は、入力されたデジタル値IRoutに含まれる１１０Ｈｚの周波数成分を抽出する。検出部９は、１１０Ｈｚの周波数成分の有無を検出する。検出部９による検出結果を示す検出値は、制御部１０に入力される。検出値は、例えば、検出部９が１１０Ｈｚの周波数成分があると検出したときに１、ないと検出したときに０でよい。

検出部９が１１０Ｈｚの周波数成分があると検出したとき、ＩＲセンサ６が検出した光にはフリッカが含まれるということである。検出部９が１１０Ｈｚの周波数成分があると検出しなかったとき、ＩＲセンサ６が検出した光にはフリッカが含まれていないということである。

光源判定部１０２には、Ａ／Ｄ変換器７からのデジタル値IRoutと、検出部９からの検出値とが入力される。光源判定部１０２は、入力されたデジタル値IRoutが所定の値以上で赤外線があると判定し、検出値によってフリッカが含まれると判定したとき、光源は電球であると判定する。

光源判定部１０２は、入力されたデジタル値IRoutが所定の値未満で赤外線がないと判定し、検出値によってフリッカが含まれると判定したとき、光源は蛍光灯であると判定する。

光源判定部１０２は、入力されたデジタル値IRoutが所定の値以上で赤外線があると判定し、検出値によってフリッカが含まれないと判定したとき、光源は太陽であると判定する。

光源判定部１０２による光源の判定結果を示す判定値は、映像信号処理部３に入力される。光源の種類によって光の色温度が異なることから、映像信号処理部３で生成される映像信号の白バランスを光源の種類によって調整するのがよい。

映像信号処理部３は、入力された判定値に応じて映像信号の白バランスを調整する。図１に示す撮像装置は、外部の状況として光源が変化しても、表示部４に表示する映像信号の状態（ここでは白バランス）が極力変化しないように制御する。

次に、図４〜図６を参照して、シーン判定部１０３の具体的構成及び動作を説明する。図４に示すように、シーン判定部１０３は、機能的な内部構成として、長時定数積算部1031と、短時定数積算部1032と、比較部1033，1034と、判定部1035とを有する。

図４において、Ａ／Ｄ変換器７から出力されたデジタル値IRoutは、長時定数積算部1031及び短時定数積算部1032に入力される。

図５の（ａ）は、デジタル値IRoutの波形の一例を示している。時刻ｔ０で撮像装置の電源がオンされ、時刻ｔ１で、シーン判定部１０３がシーンの判定を開始したとする。車両が時刻ｔ２〜ｔ３でトンネルを通過したとする。デジタル値IRoutにおけるＮ１，Ｎ２は、ビルの谷間等で発生するノイズ成分である。

長時定数積算部1031は、入力されたデジタル値IRoutを第１の時定数で積算して第１の積算値を生成する。第１の時定数は例えば３０分である。短時定数積算部1032は、入力されたデジタル値IRoutを第２の時定数で積算して第２の積算値を生成する。第２の時定数は例えば１秒である。

比較部1033は、第１の積算値と所定の閾値ＴＨ１とを比較し、第１の積算値が閾値ＴＨ１より小さければロー、第１の積算値が閾値ＴＨ１以上であればハイの第１の検出値Ｄ１を出力する。図５の（ｂ）は、比較部1033が２値化した第１の検出値Ｄ１の一例を示す。

比較部1034は、第２の積算値と所定の閾値ＴＨ２とを比較し、第２の積算値が閾値ＴＨ２より小さければロー、第２の積算値が閾値ＴＨ１以上であればハイの第２の検出値Ｄ２を出力する。図５の（ｃ）は、比較部1034が２値化した第２の検出値Ｄ２の一例を示す。図５の（ｃ）において、第２の検出値Ｄ２がローとなる期間は、時刻ｔ２〜ｔ３に対して時間的にずれることがあるが、ここでは時間的なずれを無視している。

判定部1035は、第１の検出値Ｄ１と第２の検出値Ｄ２とに基づいて、シーンを判定する。図６に示すように、判定部1035は、第１の検出値Ｄ１がロー（Ｌ）であれば、第２の検出値Ｄ２の値にかかわらず、撮像装置（撮像部２）は、夜間に被写体を撮影していると判定する。

判定部1035は、第１及び第２の検出値Ｄ１，Ｄ２の双方がハイ（Ｈ）であれば、撮像装置は、昼間に被写体を撮影していると判定する。

判定部1035は、第１の検出値Ｄ１がＨであり、第２の検出値Ｄ２がＬであれば、撮像装置は、昼間に被写体を撮影しているものの、車両がトンネル内部を走行していると判定する。第１の検出値Ｄ１がＨであり、第２の検出値Ｄ２がＬである状況は、撮像装置が、昼間であって光が一時的に遮断された特定の状態で被写体を撮像している状況である。

本実施形態においては、シーン判定部１０３は、光源の種別を検出するために設けられているＩＲセンサ６が赤外線を検出した検出値に基づくデジタル値IRoutを用いてシーンを判別している。シーン判定部１０３は、ＩＲセンサ６の代わりに、照度センサが検出した明るさの検出値に基づくデジタル値を用いてシーンを判別してもよい。

シーン判定部１０３は、ＩＲセンサ６の代わりに、ダイナミックレンジの広いイメージセンサが検出した明るさの検出値に基づくデジタル値を用いてシーンを判別してもよい。

シーン判定部１０３は、ＩＲセンサ６、照度センサ、イメージセンサ等、外部の明るさを検出するセンサが検出した明るさの検出値に基づくデジタル値を用いてシーンを判別すればよい。なお、ＩＲセンサ６を用いれば、光源の種別の検出と、シーンの判別との双方が可能になるので、ＩＲセンサ６を用いるのが好ましい。

図４においては、長時定数積算部1031及び比較部1033によって、センサによって所定の明るさがあると検出された期間が第１の時間である３０分継続するか否かを検出している。短時定数積算部1032と及び比較部1034によって、センサによって所定の明るさがあると検出された期間が第２の時間である１秒継続するか否かを検出している。

長時定数積算部1031及び比較部1033や、短時定数積算部1032と及び比較部1034の代わりに、時間をカウントするカウンタを用いることも可能である。

シーン判定部１０３は、センサによって所定の明るさがあると検出された期間が第１の時間継続するか否かを検出する第１の検出部と、センサによって所定の明るさがあると検出された期間が第１の時間よりも短い第２の時間継続するか否かを検出する第２の検出部とを備えればよい。

シーン判定部１０３が、撮影している状況が、夜間と昼間と昼間でトンネル内部とのいずれであるかを判定したら、次のように露光を制御するのがよい。

露出制御部１０１は、判定結果が昼間であれば、比較的速いシャッタスピードの制御値を露光設定回路２２に供給する。露出制御部１０１は、判定結果が夜間であれば、比較的遅いシャッタスピードの制御値を露光設定回路２２に供給する。このようにすれば、夜間でも輝度を明るくすることができ、被写体を撮像して生成する映像信号の輝度が極力変化しないように制御することができる。

露出制御部１０１は、判定結果が昼間でトンネル内部であれば、比較的遅いシャッタスピードの制御値を露光設定回路２２に供給する。このようにすれば、光が一時的に遮断されて暗くなっても、輝度を明るくすることができ、被写体を撮像して生成する映像信号の輝度が極力変化しないように制御することができる。

露出制御部１０１は、判定結果が夜間または昼間でトンネル内部であるとき、単にシャッタスピードを遅くして輝度を明るくするのではなく、露光設定回路２２によって多重露光を実行させて、ダイナミックレンジを広げるようにしてもよい。

具体的には、露出制御部１０１は、撮像素子２１が、比較的遅いシャッタスピードと比較的速いシャッタスピードとで交互に撮影するよう、露光設定回路２２を制御する。比較的遅いシャッタスピードは例えば１／６０秒であり、比較的速いシャッタスピードは例えば１／２５０秒である。

すると、図７に示すように、撮像部２からは、長時間露光フレームFLE1，FLE2…と短時間露光フレームFSE1，FSE2…とが交互に出力される。

多重露光合成部３１は、長時間露光フレームFLE1と短時間露光フレームFSE1とを合成して合成フレームFMX1を生成する。多重露光合成部３１は、次のフレームのタイミングで、合成フレームFMX1を繰り返し出力する。

多重露光合成部３１は、長時間露光フレームFLE2と短時間露光フレームFSE2とを合成して合成フレームFMX2を生成する。多重露光合成部３１は、次のフレームのタイミングで、合成フレームFMX2を繰り返し出力する。多重露光合成部３１は、以降、同様の動作を繰り返す。

露出制御部１０１は、判定結果が昼間であれば、多重露光ではなく、通常の露光を実行させるよう、露光設定回路２２を制御する。

このとき、露出制御部１０１は、比較的遅いシャッタスピードとして設定するシャッタスピードと、比較的速いシャッタスピードとして設定するシャッタスピードとを同じにすることによって、実質的に通常の露光とすることができる。

多重露光合成部３１が同じシャッタスピードで撮影した２つのフレームを合成して合成フレームFMX1，FMX2…を生成すれば、多重露光ではなく、通常の露光と同等となる。このようにすれば、判定結果が昼間であっても、夜間または昼間でトンネル内部であっても、多重露光合成部３１における動作を共通化することができる。

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。

２撮像部
３１多重露光合成部
６赤外線センサ（センサ）
１０１露出制御部
１０３シーン判定部
1031 長時定数積算部（第１の検出部）
1032 短時定数積算部（第２の検出部）
1033 比較部（第１の検出部）
1034 比較部（第２の検出部）
1035 判定部

Claims

被写体を撮像する撮像部と、
明るさを検出するセンサと、
前記センサによって所定の明るさがあると検出された期間が第１の時間継続するか否かを検出する第１の検出部と、
前記センサによって所定の明るさがあると検出された期間が前記第１の時間よりも短い第２の時間継続するか否かを検出する第２の検出部と、
前記第１の検出部による第１の検出結果と前記第２の検出部による第２の検出結果とに基づいて、前記撮像部が昼間であって光が一時的に遮断された特定の状態で前記被写体を撮像している状況であることを判定する判定部と、
を備えることを特徴とする撮像装置。
前記第１の検出部は、
前記センサの出力を第１の時定数で積算して第１の積算値を生成する第１の積算部と、
前記第１の積算値を、第１の閾値との比較に基づいて２値化する第１の比較部と、
を有し、
前記第２の検出部は、
前記センサの出力を前記第１の時定数よりも短い第２の時定数で積算して第２の積算値を生成する第２の積算部と、
前記第２の積算値を、第２の閾値との比較に基づいて２値化する第２の比較部と、
を有する
ことを特徴とする請求項１記載の撮像装置。
前記判定部による判定結果に従って、前記撮像部における露出を制御する露出制御部をさらに備えることを特徴とする請求項１または２に記載の撮像装置。
前記露出制御部は、前記判定部が、前記撮像部が前記特定の状態で前記被写体を撮像している状況であると判定したとき、前記撮像部によって、第１のシャッタスピードによる長時間露光と、前記第１のシャッタスピードよりも短い短時間露光とを交互に実行させ、
前記長時間露光による長時間露光フレームと、前記短時間露光による短時間露光フレームとを合成して合成フレームを生成する多重露光合成部をさらに備える
ことを特徴とする請求項３記載の撮像装置。
前記センサは、光源の種別を検出するために設けられている赤外線センサであることを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
明るさを検出するセンサによって所定の明るさがあると検出された期間が第１の時間継続するか否かを検出し、
前記センサによって所定の明るさがあると検出された期間が前記第１の時間よりも短い第２の時間継続するか否かを検出し、
前記所定の明るさがあると検出された期間が前記第１の時間継続しなければ、夜間であると判定し、
前記所定の明るさがあると検出された期間が前記第１の時間継続し、前記所定の明るさがあると検出された期間が前記第２の時間継続すれば、昼間であると判定し、
前記所定の明るさがあると検出された期間が前記第１の時間継続し、前記所定の明るさがあると検出された期間が前記第２の時間継続しなければ、昼間であって光が一時的に遮断された特定の状態であると判定する
ことを特徴とするシーン判定方法。