JP4724767B2

JP4724767B2 - 撮像装置のフリッカ検出方法及びフリッカ検出装置、フリッカ検出プログラム

Info

Publication number: JP4724767B2
Application number: JP2009190032A
Authority: JP
Inventors: 英樹久保田; 勲山田; 靖史佐光
Original assignee: Acutelogic Corp
Current assignee: Acutelogic Corp
Priority date: 2009-08-19
Filing date: 2009-08-19
Publication date: 2011-07-13
Anticipated expiration: 2029-08-19
Also published as: JP2011044786A

Description

本発明は、例えば蛍光灯のように電源周波数に起因して明るさが変化する光源で照明した被写体を、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）で構成した撮像装置のように、撮像素子における画像データの読み出しを画素行単位の走査で行う撮像装置で撮像したときに画像に生じるフリッカを、精度良く検出できるようにした撮像装置のフリッカ検出方法及びフリッカ検出装置、フリッカ検出プログラムに関する。

従来、デジタルカメラなどの撮像装置において、レンズを介して固体撮像素子（例えば、ＣＭＯＳ：ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒやＣＣＤ：ＣｈａｒｇａＣｏｕｐｌｅｄＤｅｖｉｃｅである。以下、撮像素子という）に被写体像を結像して、この撮像素子によって被写体像を光電変換し、画像信号を生成する画像処理装置及び画像処理方法が知られている。

また、ＣＭＯＳを用いた撮像素子は、ＣＣＤを用いた撮像素子に較べて、ＬＳＩと同様の製造プロセスを用いることができるので量産性が優れ、増幅器等の様々な機能を画素毎に設けることができ、さらには小型化や軽量化にも優れているので、主に用いられている。

しかしながら、ＣＭＯＳセンサーは、２次元画素配列の撮像画素部を各画素行単位で順次走査することによって露光動作や信号読み出し動作を行なうことから、基本的に全画素同時露光のＣＣＤセンサーに比べて、照明光の周期的変動の影響を受けて出力画面上にノイズが生じ易いという問題がある。

例えば、垂直同期周波数が６０Ｈｚのデジタルカメラでは、５０Ｈｚの周波数変動をする照明光源下で撮影した場合、１画面分の露光走査中に照明光のレベルが変動し、各画素行のレベルがばらついてフリッカと呼ばれる横縞状の明暗が生じる場合がある。

つまり、図６に表したように、商用交流電源で点滅する一般的な蛍光灯は、電源の周波数が５０Ｈｚの場合１／１００秒、６０Ｈｚの場合１／１２０秒の周期で明滅を繰り返す。このような入射光を撮像素子で電気信号に変換し読み出すときに、図７に表したように、ＣＭＯＳセンサーを使用した場合には、読み出すライン（画素行）毎に露光タイミングが異なって、露光時間が光源点滅周期の整数倍でない場合、同一のフレーム内においても各画素行の露光時間内に入射する光量の総和は異なることとなる。そのため、同一フレーム内においても１／１００秒または１／１２０秒の周期で明るい部分と暗い部分が生じる。このような現象がフリッカである。

また、蛍光灯は、白色光を発光するため、通常、複数の蛍光体、例えばＲ（赤）、Ｇ（緑）、Ｂ（青）等の蛍光体が用いられ、夫々が固有の残光特性を有して、放電停止から次の放電開始までの期間は夫々の残光特性によって減衰発光することになるので、前述のように露光タイミングがずれると、明暗変化だけでなく色相変化を伴って明暗の縞模様に色が付くことになる。また、１回目の露光時における照明光のレベルと２回目の露光時における照明光のレベルに差がある場合には、信号レベルが時間軸方向に変化し、画素単位の細かいノイズが生じる場合がある。

次に、図８を用いて、光源周波数が１００Ｈｚの場合を例として、フリッカを防止する原理の一例を説明する。

光源周波数が１００Ｈｚの場合は、（ａ）に表したように（１／１００）秒の周期で照明の明るさが変動する。このとき、シャッター速度（撮像素子の露光時間）を（１／１００）秒の整数倍（図示は１倍の例であるが、２倍または３倍等の整数倍であればよい）に設定する。このように設定すると、図８（ｂ）〜（ｅ）に表したように、露光タイミングに係らず各ラインの露光量が等しくなって、フリッカの発生を防止できる（例えば、特許文献１、２参照）。

しかしながら、前述のようにフリッカの発生を防止する際には、予め、フリッカの有無及びフリッカ光源の点滅周期を正確に検出する必要がある。

そこで、フレームまたはフィールド内の所定の領域毎の画素レベルを積算する積算手段と、複数フレームまたはフィールドにおける同一の画像位置の領域毎の積算結果を平均化する平均手段と、積算手段の領域毎の積算結果を平均手段の領域毎の平均化結果で除算する除算手段と、除算手段の除算結果を周波数分析してフリッカの有無を判定するフリッカ判定手段とを備えたフリッカ検出装置の構成が開示されている（例えば、特許文献３参照）。

また、画像を垂直走査方向に分割して複数の検波枠を設定して検波枠毎に輝度データの検波を行い、さらに、検波枠毎に前後２つのフレームの輝度データの差分をとってフリッカ成分を検出することにより、フリッカの周波数を算出する方法が開示されている（例えば、特許文献４参照）。

また、画素値を画面水平方向に積算して、背景（絵柄）の影響を弱めたフリッカ成分データを生成して、その積算データを複数画面に渡って平均化して、背景成分に相当する値を算出し、次いで、この平均値で上記の積算データを正規化して、背景の影響を取り除いたフリッカ成分データを算出し、次いで、このフリッカ成分データを画面垂直方向にフーリエ変換して、フリッカ周波数成分のみのスペクトルを抽出し、そのスペクトルのレベルを閾値と比較して、フリッカが発生しているか否か、すなわち蛍光灯照明下にあるか否か、および蛍光灯駆動電源周波数が５０Ｈｚであるか６０Ｈｚであるかを判定するフリッカ検出方法が開示されている（例えば、特許文献５参照）。

特開２００５−０３３６１６号公報特開２０００−１７５１０５号公報特開２００１−１１９７０８号公報特開２００３−１８９１２９号公報特開２００１−１１１８８７号公報

しかしながら、特許文献３〜特許文献５に記載のフリッカ検出方法によれば、演算の簡素化や精度の一定化などの点で、さらに改善の余地があった。

そこで本願発明は、フレーム又はフィールド内で発生するフリッカを簡素な演算と一定の精度で精度良く検出できる撮像装置のフリッカ検出方法及びフリッカ検出装置、フリッカ検出プログラムを提供することを目的とする。

かかる目的を達成するためになされた請求項１に記載の発明は、撮像素子を介して、マトリクス状に配置された各画素への信号の読み出しを画素行単位の走査で行って出力された映像信号に基づいて、時間的に連続する複数フレーム間の輝度信号の差分をとり、点滅する照明光源下で発生するフリッカ成分を検出する撮像装置のフリッカ検出方法であって、時間的に連続する複数のフレームの夫々毎に、各画素に対応付けて輝度信号を生成する輝度生成ステップと、前記複数のフレームの夫々毎に、画素行に直交する画素列方向に一つのフレームを複数の領域に分割して、所定の画素行の数を一単位とする複数の画素領域を生成するフレーム領域分割ステップと、前記複数のフレームにおける同一領域毎に、ローパスフィルタを掛けて該同一領域の輝度信号を平滑して平滑フレームを生成する時間方向平滑ステップと、前記複数の領域の夫々毎に、前記平滑フレームと前記複数のフレームに隣接する最新フレームとの輝度信号の差分を求め、前記輝度信号に代えて前記輝度信号の差分値を表した差分画素領域を生成するフリッカ評価値生成ステップと、前記フレーム生成の周期毎に、前記差分値の前記画素列方向の位相変化を検出してフリッカ周波数成分のベクトルを導出するベクトル導出ステップと、前記フレーム生成の周期毎に、時間的に隣接して導出された一対の前記ベクトル間の内積値を順次算出する内積値算出ステップと、前記内積値算出ステップで生成された複数の内積値に対して、ローパスフィルタを掛けて平滑化した内積値を算出する内積値平滑ステップと、前記平滑化した内積値と前記内積値算出ステップで算出された内積値との差分を求めて、該差分をフリッカ位相加速度として生成するフリッカ位相加速度生成ステップと、前記フリッカ位相加速度を所定の閾値と比較することにより、フリッカの有無を判定するフリッカ判定ステップと、を備えることを特徴とする

請求項１に記載の撮像装置のフリッカ検出方法によれば、時間的に連続する複数のフレームの夫々毎に、各画素に対応付けて輝度信号を生成する輝度生成ステップと、複数のフレームの夫々毎に、画素行に直交する画素列方向に一つのフレームを複数の領域に分割して、所定の画素行の数を一単位とする複数の領域を生成するフレーム領域分割ステップと、複数のフレームにおける同一領域毎に、ローパスフィルタを掛けて同一領域の輝度信号を平滑して平滑フレームを生成する時間方向平滑ステップと、複数の領域の夫々毎に、平滑フレームと複数のフレームに隣接する最新フレームとの輝度信号の差分を求め、輝度信号に代えて輝度信号の差分値を表した差分画素領域を生成するフリッカ評価値生成ステップと、フレーム生成の周期毎に、差分値の画素列方向の位相変化を検出してフリッカ周波数成分のベクトルを導出するベクトル導出ステップと、フレーム生成の周期毎に、時間的に隣接して導出された一対のベクトル間の内積値を順次算出する内積値算出ステップと、内積値算出ステップで生成された複数の内積値に対して、ローパスフィルタを掛けて平滑化した内積値を算出する内積値平滑ステップと、平滑化した内積値と前記内積値算出ステップで算出された内積値との差分を求めて、この差分をフリッカ位相加速度として生成するフリッカ位相加速度生成ステップと、フリッカ位相加速度を所定の閾値と比較することにより、フリッカの有無を判定するフリッカ判定ステップと、を備えることことにより、簡素な演算と一定の精度で精度良くフリッカを検出できる。

また、請求項１に記載の撮像装置のフリッカ検出方法は、請求項２に記載の発明のように、前記フレーム領域分割ステップで分割された複数の領域の夫々毎に、輝度信号の集計値を生成する領域輝度信号集計ステップを備え、前記時間方向平滑ステップ及びフリッカ評価値生成ステップにおいて、前記輝度信号に代えて前記輝度信号の集計値を用いるこが好ましい。これにより、領域毎の輝度信号を集計値で代表し、時間方向平滑ステップ及びフリッカ評価値生成ステップにおける演算を簡素化できる。

また、請求項１又は請求項２に記載の撮像装置のフリッカ検出方法は、請求項３に記載の発明のように、前記フリッカ判定ステップにおいて、前記複数のフリッカ位相加速度の絶対値に対して、時間方向にローパスフィルタを掛けて平滑化したフリッカ位相加速度を生成し、該平滑化したフリッカ位相加速度を前記所定の閾値と比較してフリッカの有無を判定することにより、一層、精度良くフリッカの有無を判定できる。

次に、請求項４に記載の発明は、撮像素子を介して、マトリクス状に配置された各画素への信号の読み出しを画素行単位の走査で行って出力された映像信号に基づいて、時間的に連続する複数フレーム間の輝度信号の差分をとり、点滅する照明光源下で発生するフリッカ成分を検出する撮像装置のフリッカ検出装置であって、時間的に連続する複数のフレームの夫々毎に、各画素に対応付けて輝度信号を生成する輝度生成手段と、前記複数のフレームの夫々毎に、画素行に直交する画素列方向に一つのフレームを複数の領域に分割して、所定の画素行の数を一単位とする複数の領域を生成するフレーム領域分割手段と、前記複数のフレームにおける同一領域毎に、ローパスフィルタを掛けて該同一領域の輝度信号を平滑して平滑フレームを生成する時間方向平滑手段と、前記複数の領域の夫々毎に、前記平滑フレームと前記複数のフレームに隣接する最新フレームとの輝度信号の差分を求め、前記輝度信号に代えて前記輝度信号の差分値を表した差分画素領域を生成するフリッカ評価値生成手段と、前記フレーム生成の周期毎に、前記差分値の前記画素列方向の位相変化を検出してフリッカ周波数成分のベクトルを導出するベクトル導出手段と、前記フレーム生成の周期毎に、時間的に隣接して導出された一対の前記ベクトル間の内積値を順次算出する内積値算出手段と、前記内積値算出手段で生成された複数の内積値に対して、ローパスフィルタを掛けて平滑化した内積値を算出する内積値平滑手段と、前記平滑化した内積値と前記内積値算出手段で算出された内積値との差分を求めて、該差分をフリッカ位相加速度として生成するフリッカ位相加速度生成手段と、前記フリッカ位相加速度を所定の閾値と比較することにより、フリッカの有無を判定するフリッカ判定手段と、を備えることを特徴とする。

請求項４に記載の撮像装置のフリッカ検出装置によれば、時間的に連続する複数のフレームの夫々毎に、各画素に対応付けて輝度信号を生成する輝度生成手段と、複数のフレームの夫々毎に、画素行に直交する画素列方向に一つのフレームを複数の領域に分割して、所定の画素行の数を一単位とする複数の領域を生成するフレーム領域分割手段と、複数のフレームにおける同一領域毎に、ローパスフィルタを掛けて同一領域の輝度信号を平滑して平滑フレームを生成する時間方向平滑手段と、複数の領域の夫々毎に、平滑フレームと複数のフレームに隣接する最新フレームとの輝度信号の差分を求め、輝度信号に代えて輝度信号の差分値を表した差分画素領域を生成するフリッカ評価値生成手段と、フレーム生成の周期毎に、差分値の画素列方向の位相変化を検出してフリッカ周波数成分のベクトルを導出するベクトル導出手段と、フレーム生成の周期毎に、時間的に隣接して導出された一対のベクトル間の内積値を順次算出する内積値算出手段と、内積値算出手段で生成された複数の内積値に対して、ローパスフィルタを掛けて平滑化した内積値を算出する内積値平滑手段と、前記平滑化した内積値と前記内積値算出手段で算出された内積値との差分を求めて、この差分をフリッカ位相加速度として生成するフリッカ位相加速度生成手段と、フリッカ位相加速度を所定の閾値と比較することにより、フリッカの有無を判定するフリッカ判定手段と、を備えているので、請求項１に記載の発明と同様に、簡素な演算と一定の精度で精度良くフリッカを検出できる。

また、請求項４に記載の撮像装置のフリッカ検出装置は、請求項５に記載の発明のように、前記フレーム領域分割手段で分割された複数の領域の夫々毎に、輝度信号の集計値を生成する領域輝度信号集計手段を備え、前記時間方向平滑手段及びフリッカ評価値生成手段において、前記輝度信号に代えて前記輝度信号の集計値を用いるように構成されていることにより、請求項２に記載の発明と同様に、領域毎の輝度信号を集計値で代表し、時間方向平滑手段及びフリッカ評価値生成手段における演算を簡素化できる。

また、請求項４又は請求項５に記載の撮像装置のフリッカ検出装置は、請求項６に記載の発明のように、前記フリッカ判定手段において、前記複数のフリッカ位相加速度の絶対値に対して、時間方向にローパスフィルタを掛けて平滑化したフリッカ位相加速度を生成し、該平滑化したフリッカ位相加速度を前記所定の閾値と比較してフリッカの有無を判定するように構成されていることにより、請求項３の発明と同様に、一層、精度良くフリッカの有無を判定できる。

次に、請求項７に記載の発明は、撮像素子を介して、マトリクス状に配置された各画素への信号の読み出しを画素行単位の走査で行って出力された映像信号に基づいて、時間的に連続する複数フレーム間の輝度信号の差分をとり、点滅する照明光源下で発生するフリッカ成分を検出する撮像装置のフリッカ検出プログラムであって、時間的に連続する複数のフレームの夫々毎に、各画素に対応付けて輝度信号を生成する輝度生成ステップと、前記複数のフレームの夫々毎に、画素行に直交する画素列方向に一つのフレームを複数の領域に分割して、所定の画素行の数を一単位とする複数の領域を生成するフレーム領域分割ステップと、前記複数のフレームにおける同一領域毎に、ローパスフィルタを掛けて該同一領域の輝度信号を平滑して平滑フレームを生成する時間方向平滑ステップと、前記複数の領域の夫々毎に、前記平滑フレームと前記複数のフレームに隣接する最新フレームとの輝度信号の差分を求め、前記輝度信号に代えて前記輝度信号の差分値を表した差分画素領域を生成するフリッカ評価値生成ステップと、前記フレーム生成の周期毎に、前記差分値の前記画素列方向の位相変化を検出してフリッカ周波数成分のベクトルを導出するベクトル導出ステップと、前記フレーム生成の周期毎に、時間的に隣接して導出された一対の前記ベクトル間の内積値（位相差）を順次算出する内積値算出ステップと、前記内積値算出ステップで生成された複数の内積値に対して、ローパスフィルタを掛けて平滑化した内積値を算出する内積値平滑ステップと、前記平滑化した内積値と前記内積値算出ステップで算出された内積値との差分を求めて、該差分をフリッカ位相加速度として生成するフリッカ位相加速度生成ステップと、前記フリッカ位相加速度を所定の閾値と比較することにより、フリッカの有無を判定するフリッカ判定ステップと、をコンピュータに実行させることを特徴とする。

請求項７に記載のフリッカ検出プログラムによれば、時間的に連続する複数のフレームの夫々毎に、各画素に対応付けて輝度信号を生成する輝度生成ステップと、複数のフレームの夫々毎に、画素行に直交する画素列方向に一つのフレームを複数の領域に分割して、所定の画素行の数を一単位とする複数の領域を生成するフレーム領域分割ステップと、複数のフレームにおける同一領域毎に、ローパスフィルタを掛けて同一領域の輝度信号を平滑して平滑フレームを生成する時間方向平滑ステップと、複数の領域の夫々毎に、平滑フレームと複数のフレームに隣接する最新フレームとの輝度信号の差分を求め、輝度信号に代えて輝度信号の差分値を表した差分画素領域を生成するフリッカ評価値生成ステップと、フレーム生成の周期毎に、差分値の画素列方向の位相変化を検出してフリッカ周波数成分のベクトルを導出するベクトル導出ステップと、フレーム生成の周期毎に、時間的に隣接して導出された一対のベクトル間の内積値を順次算出する内積値算出ステップと、内積値算出ステップで生成された複数の内積値に対して、ローパスフィルタを掛けて平滑化した内積値を算出する内積値平滑ステップと、平滑化した内積値と内積値算出ステップで算出された内積値との差分を求めて、この差分をフリッカ位相加速度として生成するフリッカ位相加速度生成ステップと、前記フリッカ位相加速度を所定の閾値と比較することにより、フリッカの有無を判定するフリッカ判定ステップとをコンピュータに実行させることにより、請求項１に記載の発明と同様に、簡素な演算と一定の精度で精度良くフリッカを検出できる。

また、請求項７に記載の撮像装置のフリッカ検出プログラムは、請求項８に記載の発明のように、前記フレーム領域分割ステップで分割された複数の領域の夫々毎に、輝度信号の集計値を生成する領域輝度信号集計ステップを備え、前記時間方向平滑ステップ及びフリッカ評価値生成ステップにおいて、前記輝度信号に代えて前記輝度信号の集計値を用いることにより、請求項２に記載の発明と同様に、領域毎の輝度信号を集計値で代表し、時間方向平滑ステップ及びフリッカ評価値生成ステップにおける演算を簡素化できる。

また、請求項７又は請求項８に記載の撮像装置のフリッカ検出プログラムは、請求項９に記載の発明のように、前記フリッカ判定ステップにおいて、前記複数のフリッカ位相加速度の絶対値に対して、時間方向にローパスフィルタを掛けて平滑化したフリッカ位相加速度を生成し、該平滑化したフリッカ位相加速度を前記所定の閾値と比較してフリッカの有無を判定することにより、請求項３に記載の発明と同様に、一層、精度良くフリッカの有無を判定できる。

本発明の撮像装置のフリッカ検出方法、フリッカ検出方法及びフリッカ検出プログラムは、時間的に連続する複数のフレームの夫々毎に、各画素に対応付けて輝度信号を生成し、次いで、複数のフレームの夫々毎に、画素行に直交する画素列方向に一つのフレームを複数の領域に分割して所定の画素行の数を一単位とする複数の画素領域を生成し、次いで、複数のフレームにおける同一領域毎に、ローパスフィルタを掛けてこの同一領域の輝度信号を平滑して平滑フレームを生成し、次いで、複数の画素領域の夫々毎に、平滑フレームと複数のフレームに隣接する最新フレームとの輝度信号の差分を求め、輝度信号の代えて輝度信号の差分値を表した差分画素領域を生成し、次いで、フレーム生成の周期毎に、差分値の画素列方向の位相変化を検出してフリッカ周波数成分のベクトルを導出して、フレーム生成の周期毎に、時間的に隣接して導出された一対のベクトル間の内積値を順次算出し、次いで、算出された複数の内積値に対して、ローパスフィルタを掛けて平滑化した内積値を算出し、平滑化した内積値と算出された内積値との差分を求めて、この差分をフリッカ位相加速度として生成し、次いで、フリッカ位相加速度を所定の閾値と比較することにより、フリッカの有無を判定することにより、簡素な演算と一定の精度で精度良くフリッカを検出できる。

本発明の一実施例の、撮像装置のフリッカ検出装置の構成を表したブロック図である。同実施例の撮像装置のフリッカ検出装置における、フレーム領域分割の説明図である。同実施例の撮像装置のフリッカ検出装置における、フリッカ周波数成分のベクトル導出の説明図である。同実施例の撮像装置のフリッカ検出装置における、フリッカ位相加速度を求めた際の実験結果を表した図である。同実施例の撮像装置フリッカ検出装置における、フリッカ検出の手順を表したフローチャートである。光源電源の周期に対する光量変化の例を表した図である。ＣＭＯＳセンサーを用いた際のフリッカ発現の例を表した図である。ＣＭＯＳセンサーを用いた際のフリッカ低減の例を表した図である。

次に、本発明の撮像装置のフリッカ検出装置及びフリッカ検出方法、フリッカ検出プログラムの一実施例を図面に基づいて説明する。

図１に表したように、撮像装置３００は、光学像をＣＭＯＳセンサー３に導いてデジタル画像信号を出力する撮像部１００と、撮像部１００から出力されたデジタル画像信号に基づいて、フリッカを検出するフリッカ検出装置２００とを備えている。

撮像部１００は、撮影された光学像をＣＭＯＳセンサー３に導く結像光学系１と、入射光路上に設けられ、機械的に開閉動作して入射光の通過と遮断とを切り替える機械式シャッター２と、結像光学系１を介して結像した光学像を、光電変換して増幅し、デジタル信号に変換して出力するＣＭＯＳセンサー３とによって構成されている。

結像光学系１は、被写体光を集光してＣＭＯＳセンサー３に導く撮像レンズ１ａと、開口径が可変自在に構成されて、入射光量を調整するアイリス（絞り）１ｂとによって構成されている。

ＣＭＯＳセンサー３は、結像光学系１を介して結像した光学像を受光量に対応付けてアナログ電気信号に変換する撮像素子３ａ、撮像素子３ａから出力されたアナログ電気信号を増幅する可変利得増幅器（ＡＧＣ：ＡｕｔｏｍａｔｉｃＧａｉｎＣｏｎｔｒｏｌ）３ｂ、可変利得増幅器３ｂから出力されたアナログ電気信号をデジタル信号に変換するＡＤ変換器（ＡＤＣ：ＡｎａｌｏｇＤｉｇｉｔａｌＣｏｎｖｅｒｔｅｒ）３ｃ、等によって構成されている。また、撮像素子３ａは、マトリクス状に複数の光電変換素子（画素）が配置されて、各光電変換素子への電荷の蓄積及びフレームの読み出しを画素行単位で行うように構成され、ＣＰＵ１７の制御により電子式シャッターの機能が制御される。

次に、フリッカ検出装置２００は、撮像部１００を介して入力されたデジタル画像信号にもとづいて、時間的に連続するフレームの夫々毎に各画素に対応付けて輝度信号を生成する輝度生成手段９、複数のフレームの夫々毎に、画素行に直交する画素列方向に複数の領域に分割して複数の領域を生成するフレーム領域分割手段１０等を備えている。

また、フリッカ検出装置２００は、分割された領域毎の輝度信号を用いてフリッカ有無及びフリッカ周波数の評価値を生成するフリッカ評価値生成手段１１、フリッカ評価値生成手段１１で生成されたフリッカ評価値を用いてフリッカ周波数成分のベクトルを導出するベクトル導出手段１２、ベクトル導出手段１２で導出されたベクトルを記憶する前フレームベクトル保持手段１３、フレーム生成の周期毎に、時間的に隣接して生成される一対のベクトル（前フレームベクトル保持手段に記憶されているベクトルと現フレームのベクトルである）間の内積値を順次算出する内積値算出手段１４、内積値算出手段１４で算出された複数の内積値に基づいてフリッカの位相加速度を生成するフリッカ位相加速度生成手段１５、フリッカ位相加速度を所定の閾値と比較することによりフリッカの有無を判定して光源周波数を検出するフリッカ判定手段１６、ＣＰＵ１７、ＲＯＭ１８等を備え、ＣＰＵ１７が、ＲＯＭ１８に格納された制御プログラムに基づいて、当該フリッカ検出装置２００の各機能を制御するように構成されている。

詳しくは、フレーム領域分割手段１０は、図２に表したように画素行方向の検波対象幅に直交する検波対象高さＨをＮ分割して、高さ方向のサイズがＨ／ＮとなるＮ個の領域を生成する。また、フレーム領域分割手段１０は、領域毎に輝度値を集計する輝度集計手段１０ａ（図３のＳ３００）を備え、輝度集計手段１０ａで集計された領域毎の集計値を評価値生成手段１１における時間方向平滑手段１１ａ及び差分画素領域生成手段１１ｂに入力する。

評価値生成手段１１は、複数フレームの同一領域毎に、ローパスフィルタを掛けて同一領域の輝度信号を平滑した平滑フレームを生成する時間方向平滑手段１１ａ（図３のＳ４００）と、複数の領域の夫々毎に、平滑フレームと前記複数のフレームに隣接する最新フレームとの輝度信号の差分を求め、輝度信号に代えて輝度信号の差分値を表した差分画素領域を生成する差分画素領域生成手段１１ｂ（図３のＳ５００）とによって構成されている。

時間方向平滑手段１１ａは、ＩＩＲフィルタ（Ｉｎｆｉｎｉｔｅｉｍｐｕｌｓｅｒｅｓｐｏｎｓｅｆｉｌｔｅｒ）によって構成されることが好ましい。ＩＩＲフィルタはフィードバック機能を備えているので、サンプリング次数を低減して演算処理時間を短縮でき、且つ、輝度集計手段１０ａで算出された集計値にノイズとして含まれる量子化誤差を効果的に除去できる。

ベクトル導出手段１２（図３のＳ６００）は、フレーム毎のフリッカ評価値を、式１を用いてＦＦＴ（ＦａｓｔＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ）演算し、光源周波数（１００Ｈｚ又は１２０Ｈｚ）に対応付けたインデックスｉのフリッカ周波数成分Ｘ_ｉ＝ａ_ｉ＋ｊｂ_ｉ（所謂、ベクトル（ａ_ｉ，ｂ_ｉである）を導出する。

・・・式１
（式１）において、Χ_ｋが周波数成分、χ _ｎがフーリエ変換されるサンプリングデータである。また、Ｎはサンプリング次数であって、領域分割手段１０で分割された領域の数Ｎに相当する。また、ｋは光源周波数の折り返し周波数である。

次に、内積値演算手段１４は、時間的に隣接する２つのフレームで夫々導出されたベクトルをＡ及びＢと表した際に、内積値ＡＢをＡＢ＝｜Ａ｜｜Ｂ｜ｃｏｓθの演算式を用いて算出する。

次に、フリッカ位相加速度生成手段１５は、内積値算出手段１４で生成された複数の内積値に対してローパスフィルタを掛けて平滑化した内積値（以下、内積平滑値という）を算出する内積値平滑手段１５ａと、内積平滑値と内積値算出手段１４で算出された内積値との差分を算出する内積値差分演算手段１５ｂによって構成され、内積値差分演算手段１５ｂによって求められた差分をフリッカ位相加速度として生成する。

次に、フリッカ判定手段１６は、フリッカ位相加速度生成手段１５で生成されたフリッカ位相加速度の絶対値を取得するフリッカ位相加速度絶対値取得手段１６ａと、フリッカ位相加速度絶対値取得手段１６ａを介して出力された複数のフリッカ位相加速度の絶対値に対して時間方向にローパスフィルタを掛けて平滑化したフリッカ位相加速度を生成する時間方向平滑手段１６ｂと、平滑化されたフリッカ位相加速度を所定の閾値と比較してフリッカに有無を判定する閾値判定手段１６ｃと、閾値判定手段１６ｃでフリッカ有りと判定された際にフリッカの光源周波数を検出する光源周波数検出手段１６ｄとによって構成されている。

光源周波数検出手段１６ｄは、時間方向平滑手段１６ｂで生成された、光源周波数１００Ｈｚ、１２０Ｈｚの夫々に対応付けられた平滑化後のフリッカ位相加速度絶対値を両者間で比較して、より小さな値が得られた光源周波数をフリッカ光源周波数とする。

次に、本願発明者が実験によって求めたフリッカ位相加速度を、図４を用いて説明する。図４において、横軸がフリッカ周波数インデックス（光源周波数の指標）、縦軸がフリッカ位相加速度の指標である。本実験では、評価値生成手段１１を介して得られたフリッカ評価値に対して、前述の（式１）を用い、フリッカ周波数インデックスに対応付けてフリッカ周波数成分のベクトル（ａ_ｉ，ｂ_ｉ）を求め、フリッカ位相加速度生成手段１５において、夫々のインデックスに対応するフリッカ位相加速度を算出したものである。また、撮影の際に実際に用いた光源の周波数は、インデックス４に相当する。

図４に表したように、実際に用いた光源周波数（インデックス４）のフリッカ位相加速度は略０に近似して表れる。そして、フリッカ位相加速度が０に近いほど、フリッカ周波数の検出精度が高いものとなる。

次に、ＣＰＵ１７は、光源周波数検出手段１６ｄを介して検出された光源周波数に対応付けて、フリッカを低減するように、機械式シャッター２の速度、撮像素子３ａの電荷蓄積及び読み出し時間を制御する。つまり、光源周波数が１００Ｈｚである場合は、露光時間が（１／１００）秒の整数倍、光源周波数が１２０Ｈｚである場合は、露光時間が（１／１２０）秒の整数倍になるように制御する。

以上のように本実施例の撮像装置のフリッカ検出装置２００は、フレーム生成の周期毎に、差分画素領域の差分値の画素列方向の位相変化を検出してフリッカ周波数成分のベクトルを導出するベクトル導出手段１２と、フレーム生成の周期毎に、時間的に隣接して導出された一対のベクトル間の内積値を順次算出する内積値算出手段１４と、内積値算出手段１４で生成された複数の内積値に対して、ローパスフィルタを掛けて平滑化した内積値を算出する内積値平滑手段１５ａと、平滑化した内積値と内積値算出手段１４で算出された内積値との差分を求めて、この差分をフリッカ位相加速度として生成するフリッカ位相加速度生成手段１５と、フリッカ位相加速度を所定の閾値と比較することにより、フリッカの有無を判定するフリッカ判定手段１６と、を備えているので、フレーム又はフィールド内で発生するフリッカを精度良く検出できる。また、一対のベクトルの内積値を求めてフリッカの位相変化量を求めることにより、簡素な演算と一定の精度でフリッカを検出できる。

次に、図５に基づいて、撮像装置３００のフリッカ検出方法及びフリッカ検出プログラムの手順を説明する。この手順は、ＣＰＵ１７がＲＯＭ１８に格納されたプログラムに基づいて、各機能部に指令信号を与えて実行する。また、図５におけるＳは、ステップを表している。

まず、この手順は、ユーザによってフリッカ検出装置２００及び撮像装置３００に起動信号が入力された際にスタートする。

次いで、Ｓ１００において、撮像部１００を介してフレーム映像信号をフリッカ検出装置２００に読み込む。

次いで、Ｓ２００において、輝度生成手段９を用い、時間的に連続するフレームの夫々毎に、各画素に対応付けて輝度信号を生成し、その後、Ｓ３００に移る。

次いで、Ｓ３００において、領域分割手段１０を用い、複数のフレームの夫々毎に画素行に直交する画素列方向に複数の領域に分割して複数の領域を生成し、その後、Ｓ４００に移る。

次いで、Ｓ４００において、輝度集計手段１０ａを用いて、領域毎の輝度の集計値をもとめ、その後、Ｓ５００に移る。

次いで、Ｓ５００において、時間方向平滑手段１１ａを用い、複数のフレームの同一領域毎にローパスフィルタを掛けて、同一領域の輝度信号を平滑して平滑フレームを生成し、その後、Ｓ６００に移る。

次いで、Ｓ６００において、差分画素領域生成手段１１ｂを用い、複数の領域の夫々毎に、平滑フレームとローパスフィルタを掛けた複数のフレームに隣接する最新フレームとの輝度信号の差分を求め、輝度信号に代えて輝度信号の差分値を表す差分画素領域を生成し、その後、Ｓ７００に移る。

次いで、Ｓ７００において、ベクトル導出手段１２を用い、フレーム生成の周期毎に、差分画素領域の差分値の画素列方向の位相変化を検出してフリッカ周波数成分のベクトルを導出し、その後、Ｓ８００に移る。

次いで、Ｓ８００において、内積値算出手段１４を用い、フレーム生成の周期毎に、時間的に隣接して導出された一対のベクトル間の内積値を算出し、その後、Ｓ９００に移る。

次いで、Ｓ９００において、内積値平滑手段１５ａを用い、Ｓ９００で生成された複数の内積値に対してローパスフィルタを掛けて平滑化した内積値を算出し、その後、Ｓ１０００に移る。

次いで、Ｓ１０００において、内積値差分演算手段１５ｂを用い、Ｓ９００で平滑化した内積値と８００で算出された内積値との差分を求めてフリッカ位相加速度を算出し、その後、Ｓ１１００に移る。

次いで、Ｓ１１００において、時間方向平滑手段１６ｂを用い、フリッカ位相加速度の絶対値に対して時間方向にローパスフィルタを掛けてフリッカ位相加速度を平滑化し、その後、Ｓ１２００に移る。

次いで、Ｓ１２００において、閾値判定手段１６ｃを用い、Ｓ１１００で平滑化されたフリッカ位相加速度を所定の閾値と比較し、平滑化されたフリッカ位相加速度が閾値よりも小さい（Ｙｅｓ）の場合にはＳ１３００に移り、一方、平滑化されたフリッカ位相加速度が閾値以上（Ｎｏ）の場合にはＳ１４００に移る。

次いで、Ｓ１３００において、光源周波数検出手段１６ｄを用い、フリッカの光源周波数が１００Ｈｚ又は１２０Ｈｚの何れであるかを検出し、その光源周波数に対応付けてフリッカを低減すべく適性露光時間を取得し、その後、Ｓ１４００に移る。

次いで、Ｓ１４００において、ＣＰＵ１７を用い、Ｓ１３００で取得した適性露光時間を満足するように機械式シャッター２のシャッター速度、撮像素子３ａの電荷蓄積及び電荷読み出し時間等の制御信号を生成し、本フリッカ検出方法及びフリッカ検出プログラムの処理を終了する。

なお、本発明の輝度生成ステップがＳ２００に相当し、本発明のフレーム領域分割ステップがＳ３００に相当し、本発明の領域輝度信号集計ステップがＳ４００に相当し、本発明の時間方向平滑ステップがＳ５００に相当し、本発明のフリッカ評価値生成ステップがＳ６００に相当し、本発明のベクトル導出ステップがＳ７００に相当し、本発明の内積値算出ステップがＳ８００に相当し、本発明の内積値平滑ステップがＳ９００に相当し、本発明のフリッカ位相加速度生成ステップがＳ１０００に相当し、本発明のフリッカ判定ステップがＳ１１００及びＳ１２００に相当する。

以上のように、本実施例の撮像装置３００のフリッカ検出方法及びフリッカ検出プログラムは、Ｓ７００において、フレーム生成の周期毎に、差分画素領域の差分値の画素列方向の位相変化を検出してフリッカ周波数成のベクトルを導出し、次いで、Ｓ８００において、フレーム生成の周期毎に、時間的に隣接して導出された一対のベクトル間の内積値（所謂、位相差である）を順次算出し、次いで、Ｓ９００において、複数の内積値に対して、ローパスフィルタを掛けて平滑化した内積値を算出し、次いで、Ｓ１０００において、平滑化した内積値とＳ８００（内積値算出ステップ）で算出された内積値との差分を求めて、この差分をフリッカ位相加速度として生成し、次いで、Ｓ１１００において、複数のフリッカ位相加速度を平滑化し、次いで、Ｓ１２００において、Ｓ１１００で平滑化したフリッカ位相加速度を所定の閾値と比較することにより、フレーム又はフィールド内で発生するフリッカを精度良く検出できる。また、Ｓ８００を介して一対のベクトルの内積値を求めてフリッカの位相変化量を求めることにより、簡素な演算と一定の精度でフリッカを検出できる。

以上、本発明の一実施例について説明したが、本発明は前記実施例に限定されるものでなく、各種の態様をとることができる。

本発明に係る撮像装置のフリッカ検出方法、フリッカ検出装置、フリッカ検出プログラムは、蛍光灯のように電源周波数に起因して明るさが変化する光源で照明した被写体を、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）で構成した撮像装置のように、撮像素子における画像データの読み出しを画素行単位の走査で行う撮像装置で撮像したときに画像に生じるフリッカを、確実に検出して低減を図る際に好適である。

１…結像光学系、１ａ…撮像レンズ、１ｂ…Ｉｒｉｓ（絞り）、２…機械式シャッター、３…ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）センサー、３ａ…撮像素子、３ｂ…可変利得増幅器（ＡＧＣ：ＡｕｔｏｍａｔｉｃＧａｉｎＣｏｎｔｒｏｌ）、３ｃ…Ａ／Ｄ変換器、９…輝度生成手段、１０…フレーム領域分割手段、１０ａ…輝度集計手段、１１…フリッカ評価値生成手段、１１ａ…時間方向平滑手段、１１ｂ…差分画素領域生成手段、１２…ベクトル導出手段、１３…前フレームベクトル保持手段、１４…内積値算出手段、１５…フリッカ位相加速度生成手段、１５ａ…内積値平滑手段、１５ｂ…内積値差分演算手段、１６…フリッカ判定手段、１６ａ…フリッカ位相加速度絶対値取得手段、１６ｂ…時間方向平滑手段、１６ｃ…閾値判定手段、１６ｄ…光源周波数検出手段、１７…ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、１８…ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、１００…撮像部、２００…撮像装置、３００…フリッカ検出装置。

Claims

撮像素子を介して、マトリクス状に配置された各画素への信号の読み出しを画素行単位の走査で行って出力された映像信号に基づいて、時間的に連続する複数フレーム間の輝度信号の差分をとり、点滅する照明光源下で発生するフリッカ成分を検出する撮像装置のフリッカ検出方法であって、
時間的に連続する複数のフレームの夫々毎に、各画素に対応付けて輝度信号を生成する輝度生成ステップと、
前記複数のフレームの夫々毎に、画素行に直交する画素列方向に一つのフレームを複数の領域に分割して、所定の画素行の数を一単位とする複数の領域を生成するフレーム領域分割ステップと、
前記複数のフレームにおける同一領域毎に、ローパスフィルタを掛けて該同一領域の輝度信号を平滑して平滑フレームを生成する時間方向平滑ステップと、
前記複数の領域の夫々毎に、前記平滑フレームと前記複数のフレームに隣接する最新フレームとの輝度信号の差分を求め、前記輝度信号に代えて前記輝度信号の差分値を表した差分画素領域を生成するフリッカ評価値生成ステップと、
前記フレーム生成の周期毎に、前記差分値の前記画素列方向の位相変化を検出してフリッカ周波数成分のベクトルを導出するベクトル導出ステップと、
前記フレーム生成の周期毎に、時間的に隣接して導出された一対の前記ベクトル間の内積値を順次算出する内積値算出ステップと、
前記内積値算出ステップで生成された複数の内積値に対して、ローパスフィルタを掛けて平滑化した内積値を算出する内積値平滑ステップと、
前記平滑化した内積値と前記内積値算出ステップで算出された内積値との差分を求めて、該差分をフリッカ位相加速度として生成するフリッカ位相加速度生成ステップと、
前記フリッカ位相加速度を所定の閾値と比較することにより、フリッカの有無を判定するフリッカ判定ステップと、
を備えることを特徴とする撮像装置のフリッカ検出方法。
前記フレーム領域分割ステップで分割された複数の領域の夫々毎に、輝度信号の集計値を生成する領域輝度信号集計ステップを備え、
前記時間方向平滑ステップ及びフリッカ評価値生成ステップにおいて、前記輝度信号に代えて前記輝度信号の集計値を用いる、
ことを特徴とする請求項１に記載の撮像装置のフリッカ検出方法。
前記フリッカ判定ステップにおいて、前記複数のフリッカ位相加速度の絶対値に対して、時間方向にローパスフィルタを掛けて平滑化したフリッカ位相加速度を生成し、該平滑化したフリッカ位相加速度を前記所定の閾値と比較することにより、フリッカの有無を判定する、
ことを特徴とする請求項１又は請求項２に記載の撮像装置のフリッカ検出方法。
撮像素子を介して、マトリクス状に配置された各画素への信号の読み出しを画素行単位の走査で行って出力された映像信号に基づいて、時間的に連続する複数フレーム間の輝度信号の差分をとり、点滅する照明光源下で発生するフリッカ成分を検出する撮像装置のフリッカ検出装置であって、
時間的に連続する複数のフレームの夫々毎に、各画素に対応付けて輝度信号を生成する輝度生成手段と、
前記複数のフレームの夫々毎に、画素行に直交する画素列方向に一つのフレームを複数の領域に分割して、所定の画素行の数を一単位とする複数の領域を生成するフレーム領域分割手段と、
前記複数のフレームにおける同一領域毎に、ローパスフィルタを掛けて該同一領域の輝度信号を平滑して平滑フレームを生成する時間方向平滑手段と、
前記複数の領域の夫々毎に、前記平滑フレームと前記複数のフレームに隣接する最新フレームとの輝度信号の差分を求め、前記輝度信号に代えて前記輝度信号の差分値を表した差分画素領域を生成するフリッカ評価値生成手段と、
前記フレーム生成の周期毎に、前記差分値の前記画素列方向の位相変化を検出してフリッカ周波数成分のベクトルを導出するベクトル導出手段と、
前記フレーム生成の周期毎に、時間的に隣接して導出された一対の前記ベクトル間の内積値を順次算出する内積値算出手段と、
前記内積値算出手段で生成された複数の内積値に対して、ローパスフィルタを掛けて平滑化した内積値を算出する内積値平滑手段と、
前記平滑化した内積値と前記内積値算出手段で算出された内積値との差分を求めて、該差分をフリッカ位相加速度として生成するフリッカ位相加速度生成手段と、
前記フリッカ位相加速度を所定の閾値と比較することにより、フリッカの有無を判定するフリッカ判定手段と、
を備えることを特徴とする撮像装置のフリッカ検出装置。
前記フレーム領域分割手段で分割された複数の領域の夫々毎に、輝度信号の集計値を生成する領域輝度信号集計手段を備え、
前記時間方向平滑手段及びフリッカ評価値生成手段において、前記輝度信号に代えて前記輝度信号の集計値を用いるように構成されている、
ことを特徴とする請求項４に記載の撮像装置のフリッカ検出装置。
前記フリッカ判定手段において、前記複数のフリッカ位相加速度の絶対値に対して、時間方向にローパスフィルタを掛けて平滑化したフリッカ位相加速度を生成し、該平滑化したフリッカ位相加速度を前記所定の閾値と比較することにより、フリッカの有無を判定するように構成されている、
ことを特徴とする請求項４又は請求項５に記載の撮像装置のフリッカ検出装置。
撮像素子を介して、マトリクス状に配置された各画素への信号の読み出しを画素行単位の走査で行って出力された映像信号に基づいて、時間的に連続する複数フレーム間の輝度信号の差分をとり、点滅する照明光源下で発生するフリッカ成分を検出する撮像装置のフリッカ検出プログラムであって、
時間的に連続する複数のフレームの夫々毎に、各画素に対応付けて輝度信号を生成する輝度生成ステップと、
前記複数のフレームの夫々毎に、画素行に直交する画素列方向に一つのフレームを複数の領域に分割して、所定の画素行の数を一単位とする複数の領域を生成するフレーム領域分割ステップと、
前記複数のフレームにおける同一領域毎に、ローパスフィルタを掛けて該同一領域の輝度信号を平滑して平滑フレームを生成する時間方向平滑ステップと、
前記複数の領域の夫々毎に、前記平滑フレームと前記複数のフレームに隣接する最新フレームとの輝度信号の差分を求め、前記輝度信号に代えて前記輝度信号の差分値を表した差分画素領域を生成するフリッカ評価値生成ステップと、
前記フレーム生成の周期毎に、前記差分値の前記画素列方向の位相変化を検出してフリッカ周波数成分のベクトルを導出するベクトル導出ステップと、
前記フレーム生成の周期毎に、時間的に隣接して導出された一対の前記ベクトル間の内積値を順次算出する内積値算出ステップと、
前記内積値算出ステップで生成された複数の内積値に対して、ローパスフィルタを掛けて平滑化した内積値を算出する内積値平滑ステップと、
前記平滑化した内積値と前記内積値算出ステップで算出された内積値との差分を求めて、該差分をフリッカ位相加速度として生成するフリッカ位相加速度生成ステップと、
前記フリッカ位相加速度を所定の閾値と比較することにより、フリッカの有無を判定するフリッカ判定ステップと、
をコンピュータに実行させることを特徴とする撮像装置のフリッカ検出プログラム。
前記フレーム領域分割ステップで分割された複数の領域の夫々毎に、輝度信号の集計値を生成する領域輝度信号集計ステップを備え、
前記時間方向平滑ステップ及びフリッカ評価値生成ステップにおいて、前記輝度信号に代えて前記輝度信号の集計値を用いる、
ようにコンピュータに実行させることを特徴とする請求項７に記載の撮像装置のフリッカ検出プログラム。
前記フリッカ判定ステップにおいて、前記複数のフリッカ位相加速度の絶対値に対して、時間方向にローパスフィルタを掛けて平滑化したフリッカ位相加速度を生成し、該平滑化したフリッカ位相加速度を前記所定の閾値と比較することにより、フリッカの有無を判定する、
ようにコンピュータに実行させることを特徴とする請求項７又は請求項８に記載の撮像装置のフリッカ検出プログラム。