JP6156686B2 - 画像処理装置 - Google Patents

Description

本開示は、連続画像を撮像するデジタルカメラ、ビデオカメラ等の撮像装置に代表される画像処理装置に関するものである。

ＣＭＯＳ撮像素子では、水平ライン（以下、「ライン」という。）毎に順次露光を開始し、ライン毎に映像信号を順次読み出してフレームを生成するローリングシャッタ方式を採用するものが多い。ローリングシャッタ方式の撮像素子では、ライン毎に露光期間の始期及び終期が異なる。このため、１フレーム期間より短い期間に外部から閃光（フラッシュ）等が焚かれると、撮像素子の出力映像中に輝度レベルの高い帯状部分（フラッシュバンド）が生じることがある。

特許文献１は、フラッシュの影響を受けた連続２フレームの映像信号を加算することでフラッシュバンドを補正する技術を開示する。

国際公開第２０１０／１００８６６号

本開示は、シャッタ動作の有無にかかわらずフラッシュによる悪影響を緩和することができる画像処理装置を提供する。

本開示における画像処理装置は、連続画像を処理する画像処理装置であって、連続画像中の個々の画像について当該画像が一部に閃光の影響を受けたフラッシュバンド画像であるか否かを判定する判定部と、当該判定部により第１の画像がフラッシュバンド画像であると判定された場合には、フラッシュバンド画像でないと判定された第２の画像を用いて、全部に閃光の影響を受けた場合に想定される第３の画像を生成し、第１の画像に代えて第３の画像を出力する補正部とを備える。

本開示における画像処理装置によれば、シャッタ動作の有無にかかわらずフラッシュバンド現象を回避することが可能である。

実施の形態１に係る画像処理装置の一例である撮像装置の全体構成図である。 図１中のフラッシュバンド補正部の詳細構成図である。 図１の撮像装置の動作例１であって、シャッタ動作有りの場合に図１中の映像信号Ｉｎにて１フレームにのみフラッシュバンドが発生するケースを示すタイミング図である。 （ａ）、（ｂ）、（ｃ）及び（ｄ）は、動作例１の場合の図１中のフラッシュバンド補正部の動作を説明するための図である。 図１の撮像装置の動作例２であって、シャッタ動作無しの場合に図１中の映像信号Ｉｎにて連続２フレームにフラッシュバンドが発生するケースを示すタイミング図である。 図１の撮像装置の動作例２であって、シャッタ動作有りの場合に図１中の映像信号Ｉｎにて連続２フレームにフラッシュバンドが発生するケースを示すタイミング図である。 （ａ）、（ｂ）、（ｃ）及び（ｄ）は、動作例２の場合の図１中のフラッシュバンド補正部の動作を説明するための図である。 （ａ）、（ｂ）、（ｃ）及び（ｄ）は、図１中の映像信号Ｉｎにて２つのフラッシュバンドフレームの間に１つの全面フラッシュフレームが発生する動作例３の場合の図１中のフラッシュバンド補正部の動作を説明するための図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
［１−１．構成］
［１−１−１．撮像装置の全体構成］
まず、実施の形態１における撮像装置について説明する。本開示のフラッシュバンド補正技術は画像処理装置に適用するものであるが、本実施の形態では、撮像装置は画像処理装置の一例との位置付けで説明する。

図１は、実施の形態１における撮像装置１００の構成を示す図である。図１において、撮像装置１００は、被写体を映して映像信号を生成する撮像部１１０と、フラッシュバンドの有無を検出するフラッシュバンド検出部１２０と、フラッシュバンド検出情報からフラッシュバンドを補正するフラッシュバンド補正部１３０とで構成される。

撮像部１１０は、ＣＭＯＳイメージセンサ（撮像素子）と、センサ駆動回路と、アナログ／デジタル変換器とを有し、被写体からの光を光電変換により電気信号に変換し、デジタルの画像信号として、フラッシュバンド検出部１２０及びフラッシュバンド補正部１３０に映像信号Ｉｎを供給する。

フラッシュバンド検出部１２０は、撮像部１１０から入力された映像信号Ｉｎからフラッシュバンドの有無を検知し、フラッシュバンドの有無を示すフラッシュバンド判定情報Ｊに加えてフラッシュバンドレベルＬをフラッシュバンド補正部１３０に出力する。フラッシュバンドレベルＬとは、フラッシュバンドの明るさのことを示す。本実施の形態ではフラッシュバンド判定情報Ｊは、フラッシュバンド有りの場合をＪ＝１、フラッシュバンド無しの場合をＪ＝０とする。なお、フラッシュバンド検出部１２０は、閾値を設けてフラッシュバンドの有無を検知を検知するので、薄いフラッシュバンドは無視してＪ＝０とすることができる。

フラッシュバンド補正部１３０は、撮像部１１０の映像信号Ｉｎと、フラッシュバンド検出部１２０のフラッシュバンド判定情報Ｊ及びフラッシュバンドレベルＬとを用いて、フラッシュバンドの有無に応じた映像Ｏｕｔを出力する。

［１−１−２．フラッシュバンド補正部の構成］
図２は、フラッシュバンド補正部１３０の詳細構成を示す図である。フラッシュバンド補正部１３０は、メモリ部１３１と、擬似フラッシュ生成部１３２とを備える。

メモリ部１３１は、フラッシュバンド検出部１２０から出力されたフラッシュバンド判定情報Ｊを参照し、過去フレームの中でフラッシュバンドが発生していない最新のフレーム映像信号Ｍを保存し出力する。

擬似フラッシュ生成部１３２は、メモリ部１３１から出力されるフラッシュバンド無しのフレーム映像信号Ｍと、フラッシュバンド検出部１２０から出力されるフラッシュバンド判定情報Ｊ及びフラッシュバンドレベルＬとをもとに、フラッシュバンドが補正された映像Ｏｕｔを出力する。

フラッシュバンド判定情報Ｊが０であった場合、擬似フラッシュ生成部１３２は何も処理を行わず、メモリ部１３１から出力された映像信号Ｍをそのまま出力する。

フラッシュバンド判定情報Ｊが１であった場合、擬似フラッシュ生成部１３２はメモリ部１３１の出力Ｍに対して擬似的なフラッシュを生成する。

擬似的なフラッシュ映像を生成するため、擬似フラッシュ生成部１３２はメモリ部１３１から出力される信号Ｍに対して、オフセット処理とゲイン処理とを行う。

ここで乗算するゲイン値、加算するオフセット値は入力された映像Ｍの輝度によって変化させる。物体に光を当てたとき、黒い物体は光を反射しにくく、白い物体は光を反射しやすい特性を考慮し、乗算するゲインは輝度に応じて輝度の小さいものは小さく、輝度の大きいものは大きくする。画素毎に、この輝度信号のレベルに応じたゲインを映像の輝度信号に乗算する。また、フラッシュバンド検出部１２０から出力されるフラッシュバンドレベルＬに応じても前記ゲインを変化させる。各画素の出力値は下記のように表せる。

ＹＯ＝ＹＩ×ＧＹ×ＧＬ＋ＯＹ
ここでＹＩは各入力画素の輝度レベル、ＹＯは各出力画素の輝度レベル、ＧＹは輝度によるゲイン、ＧＬはフラッシュバンドレベルＬによるゲイン、ＯＹは輝度レベルによるオフセットを示す。

［１−２．撮像装置の動作］
次に、撮像装置の動作例について説明する。

［１−２−１．動作例１］
図３は、シャッタ動作有りの場合に映像信号Ｉｎにて１フレームにのみフラッシュバンドが発生するケースを示す。ローリングシャッタ方式の撮像素子では、図示のとおり、ライン番号が大きくなるほどライン１に対して露光期間のずれが大きくなる。また、図３中の左下がりのハッチングは、シャッタ動作による非露光期間を示す。このような条件下で図３に示すようなタイミングでフラッシュが焚かれた場合は、１フレーム画像中に右下がりのハッチングで示すように、フラッシュバンドが下半分の映像のみに生じる。

このような１フレームのみのフラッシュバンドは、連続２フレームの映像信号を加算する特許文献１の技術では解消できなかったものである。

図４（ａ）〜図４（ｄ）は、フラッシュバンドが１フレームのみ発生した場合の本開示によるフラッシュバンド補正の具体例を示す。なお、図４（ａ）に示す数字は入力信号のフレームの番号を示している。

撮像部１１０から出力されるＩｎ１〜Ｉｎ４に対して、フラッシュバンド検出部１２０はフラッシュバンド判定情報Ｊ１〜Ｊ４を出力する。図４（ｂ）の場合、フラッシュバンドが発生しているのはフレーム番号２のみなので、Ｊ２＝１となり、他のＪ１、Ｊ３，Ｊ４は０を出力する。

フラッシュバンド補正部１３０は、メモリ部１３１でフラッシュバンド検出部１２０から出力されるフラッシュバンド判定情報Ｊを参照し、フラッシュバンドの無い映像Ｍを出力する。図４（ｃ）の場合、Ｊ２＝１なので、Ｍ２＝Ｉｎ１となり、その他はＪ＝０なので、Ｍ１＝Ｉｎ１、Ｍ３＝Ｉｎ３、Ｍ４＝Ｉｎ４となる。

メモリ部１３１から出力されたフラッシュバンドの無い映像Ｍは擬似フラッシュ生成部１３２に入力される。図４（ｄ）の場合、Ｊ２＝１で他のＪ１、Ｊ３、Ｊ４は０なので、Ｍ２だけ擬似フラッシュ処理が行われてＯｕｔ２（＝Ｍ１´）が出力される。ここで「´」の記号は擬似フラッシュ処理を受けたことを示す。Ｍ１、Ｍ３、Ｍ４はＯｕｔ１、Ｏｕｔ３、Ｏｕｔ４としてそのまま出力される。

以上の結果、図４（ｄ）の出力に示すようにフラッシュバンドの無い映像を得ることができる。

［１−２−２．動作例２］
図５は、シャッタ動作無しの場合に映像信号Ｉｎにて連続２フレームにフラッシュバンドが発生するケースを示す。センサ読み出しタイミングとシャッタタイミングとが一致しており、センサはフラッシュの映像を全て露光できるため、フラッシュバンドは上下で相補的となる。

図６は、シャッタ動作有りの場合に映像信号Ｉｎにて連続２フレームにフラッシュバンドが発生するケースを示す。この場合には、フラッシュ映像がセンサに露光しない時間があるため、上下に非相補的なフラッシュバンドが生じる。

連続２フレームの映像信号を加算する特許文献１の技術では、図５のような相補的なフラッシュバンドは解消できるが、図６のような非相補的なフラッシュバンドは解消できない。つまり、シャッタ動作有りの場合ではブラッシュバンドは必ずしも相補的にはならず、加算すると一部分が暗くなる課題がある。

本開示によれば、この課題を解決できることを説明する。

図７（ａ）〜図７（ｄ）は、フラッシュバンドが２フレーム生じた時の本開示によるフラッシュバンド補正の例を示した図である。

撮像部１１０から出力されるＩｎ１〜Ｉｎ４（図７（ａ））に対して、フラッシュバンド検出部１２０はフラッシュバンド判定情報Ｊ１〜Ｊ４を出力する。図７（ｂ）の場合、フラッシュバンドが発生しているのはフレーム番号２、３なので、Ｊ２＝１、Ｊ３＝１となり、他のＪ１、Ｊ４は０を出力する。

フラッシュバンド補正部１３０は、メモリ部１３１でフラッシュバンド検出部１２０から出力されるフラッシュバンド判定情報Ｊを参照し、フラッシュバンドの無い映像Ｍを出力する。図７（ｃ）の場合、Ｊ２＝１、Ｊ３＝１なので、Ｍ２＝Ｉｎ１、Ｍ２＝Ｉｎ１となり、その他はＪ＝０なので、Ｍ１＝Ｉｎ１、Ｍ４＝Ｉｎ４となる。

メモリ部１３１から出力されたフラッシュバンドの無い映像Ｍは擬似フラッシュ生成部１３２に入力される。図７（ｄ）の場合、Ｊ２＝１、Ｊ３＝１で他のＪ１、Ｊ４は０なので、Ｍ２、Ｍ３に対して擬似フラッシュ処理が行われ、Ｏｕｔ２（＝Ｍ１´）、Ｏｕｔ３＝（Ｍ１´）が出力される。Ｍ１、Ｍ４は、Ｏｕｔ１、Ｏｕｔ４としてそのまま出力される。

以上の結果、シャッタ動作の有無にかかわらず、図７（ｄ）の出力に示すようにフラッシュバンドの無い映像を得ることができる。

［１−２−３．動作例３］
図８（ａ）〜図８（ｄ）は、２つのフラッシュバンドフレームの間に全面フラッシュのフレームがある場合を示す。全面フラッシュとは、フラッシュの効果が１フレーム全体に出ていることを指す。この例は、記者会見等のように多くの報道人が特定のシーンの前後に対してフラッシュを焚く場合に起こり得る。

撮像部１１０から出力されるＩｎ１〜Ｉｎ４（図８（ａ））に対して、フラッシュバンド検出部１２０はフラッシュバンド判定情報Ｊ１〜Ｊ４を出力する。図８（ｂ）の場合、フラッシュバンドが発生しているのはフレーム番号２、４なので、Ｊ２＝１、Ｊ４＝１となり、他のＪ１、Ｊ３は０を出力する。

フラッシュバンド補正部１３０は、メモリ部１３１でフラッシュバンド検出部１２０から出力されるフラッシュバンド判定情報Ｊを参照し、フラッシュバンドの無い映像Ｍを出力する。図８（ｃ）の場合、Ｊ２＝１、Ｊ４＝１なので、Ｍ２＝Ｉｎ１、Ｍ４＝Ｉｎ３となり、その他はＪ＝０なので、Ｍ１＝Ｉｎ１、Ｍ３＝Ｉｎ３となる。

メモリ部１３１から出力されたフラッシュバンドの無い映像Ｍは、擬似フラッシュ生成部１３２に入力される。図８（ｄ）の場合、Ｊ２＝１、Ｊ４＝１であり、Ｊ１、Ｊ３は０なので、Ｍ２、Ｍ４に対して擬似フラッシュ処理が行われ、Ｏｕｔ２（＝Ｍ１´）、Ｏｕｔ４（＝Ｍ３´）が出力される。Ｍ１、Ｍ３はＯｕｔ１、Ｏｕｔ３としてそのまま出力される。

以上の結果、図８（ｄ）の出力に示すようにフラッシュバンドの無い映像を得ることができる。

［１−３．効果等］
本実施の形態で示した撮像装置１００は、シャッタ環境下で発生する非相補的なフラッシュバンドであっても補正することが可能である。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略等を行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態を例示する。

実施の形態１では本開示のフラッシュバンド補正技術を画像処理装置の一例として撮像装置に適用した例を示したが、本開示のフラッシュバンド補正技術はコンピュータ等の画像処理装置に適用することも可能である。

実施の形態１では輝度とフラッシュバンドレベルＬとに応じたゲイン値を乗算し又はオフセット値を加算する場合を説明したが、ゲイン値又はオフセット値が一定であってもよい。また、加算又は乗算ではなくルックアップテーブルを用いて閃光映像を生成してもよい。また、ＧＹは輝度信号に応じたレベルとしたが、輝度信号ではなくＲＧＢ等の色信号等に応じたレベルであってもよい。

実施の形態１ではフラッシュバンド検出部１２０が全面フラッシュを検知しない場合を説明したが、全面フラッシュを検知できる場合はメモリ部１３１からの出力映像Ｍが全面フラッシュだったとき、擬似フラッシュ処理を行わなくてもよい。

実施の形態１ではフラッシュバンド補正部１３０はＪ＝１となったフレームについては全て擬似フラッシュ処理を行ったが、全てのＪ＝１のフレームに対して擬似フラッシュ処理を行う必要はない。例えば、Ｊ＝１のフレームが３以上のフレームに渡って連続する場合には、連続画像の一時停止による違和感の緩和を優先するように、３フレーム目からは擬似フラッシュ処理を行わずにそのまま出力することとしてもよい。

擬似フラッシュ処理に使用するフレームの数は任意である。補正対象のフレームよりも後のフレームを使用することも可能であるが、リアルタイム処理のためには、補正対象のフレームよりも前のフレームを使用するのが好都合である。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。

したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略等を行うことができる。

本開示は、フラッシュバンド画像に代わる擬似的なフラッシュ画像を作成するため、ニュース場面等におけるフラッシュの臨場感を残す画像処理装置に適用可能である。また、本開示は、フリッカ対策等のためにシャッタを装備した場合でもフラッシュバンドを補正する画像処理装置に適用可能である。

１００ 撮像装置
１１０ 撮像部
１２０ フラッシュバンド検出部
１３０ フラッシュバンド補正部
１３１ メモリ部
１３２ 擬似フラッシュ生成部

Claims (6)

1. 連続画像を処理する画像処理装置であって、
   前記連続画像中の個々の画像について、当該画像が一部に閃光の影響を受けたフラッシュバンド画像であるか否かを判定する判定部と、
   前記判定部により第１の画像がフラッシュバンド画像であると判定された場合には、フラッシュバンド画像でないと判定された第２の画像を用いて、全部に閃光の影響を受けた
   場合に想定される第３の画像を生成し、前記第１の画像に代えて前記第３の画像を出力する補正部と、
   を備え、
   前記補正部は、前記第２の画像へのゲイン値の乗算及び前記第２の画像へのオフセット値の加算のうち少なくとも一方により前記第３の画像を生成する、
   画像処理装置。
2. 前記補正部は、
   前記判定部によりフラッシュバンド画像でないと判定された最新の画像を順次記憶するメモリ部と、
   前記メモリ部に記憶された画像を用いて前記第３の画像を生成する生成部と、
   を有する、
   請求項１に記載の画像処理装置。
3. 前記ゲイン値及び前記オフセット値のうち少なくとも一方は、画素毎に画素値に応じて可変である、
   請求項１に記載の画像処理装置。
4. 前記ゲイン値及び前記オフセット値のうち少なくとも一方は、閃光の影響度に応じて可変である、
   請求項１に記載の画像処理装置。
5. 前記補正部は、ルックアップテーブルを用いて前記第２の画像から前記第３の画像を生成する、
   請求項１に記載の画像処理装置。
6. 前記補正部は、連続するフラッシュバンド画像の数が所定数に達した場合には、以後の更に連続するフラッシュバンド画像をそのまま出力する、
   請求項１に記載の画像処理装置。

Images