JP5928319B2 - 画像処理装置及び方法 - Google Patents

Description

本発明は、動画像の撮影時に撮影者以外の他者のフラッシュ等によって、画像の明るさが不連続となった画面の違和感を、フラッシュが発光している状況で撮影したという臨場感を損ねることなく軽減することができる画像処理装置及び方法に関する。

近年、ビデオカメラ等の撮像装置においては、CMOS（Complementary Metal Oxide Semiconductor）センサが数多く採用されている。CMOSセンサにおける撮像信号の読み出しは、全画素で同一タイミングでなく、ライン単位で順次、リセット、露光、読み出しを行うことにより、読み出しタイミングがライン方向に順次ずれていくローリングシャッタ方式にて行われる。

このため、例えば結婚式等において多数のビデオカメラやスチルカメラが、同一の被写体を同時に撮影する場合において、他者のフラッシュによる発光期間が短く強い光が一部のラインのみの露光期間中にCMOSセンサに入射することがある。この場合、撮像する画面の一部で露光量が異なり、画面内に白帯状の明るい領域が発生して不連続な画像となってしまう。この問題点はフラッシュに限らず、フラッシュと同様の発光期間が短く強い光がCMOSセンサに入射した場合も同様に発生する。

この問題点の解決策が例えば特許文献１〜３に記載されているように種々提案されている。

特開２０１０−２１３２２０号公報 特開２０１１−１５２２２号公報 特開２０１１−１０１２０８号公報

フラッシュの発光によって画像の明るさが不連続となった部分を補正すると、画像は実質的にフラッシュが発光しなかった状態となる。ところが、画像を実質的にフラッシュが発光しなかった状態に補正してしまうと、フラッシュが発光している状況で撮影したという臨場感を損ねてしまう。そこで、フラッシュが発光している状況で撮影したという臨場感を損ねないように、フラッシュが発光している状態の画像を意図的に保ちたいという要望がある。

一方で、フラッシュの発光によって画像の明るさが不連続となった画面には違和感があり、違和感を軽減させたいという要望もある。

本発明はこのような要望に対応するため、フラッシュの発光によって画像の明るさが不連続となった画面の違和感を、フラッシュが発光している状況で撮影したという臨場感を損ねることなく軽減することができる画像処理装置及び方法を提供することを目的とする。

本発明は、上述した従来の技術の課題を解決するため、画像データで構成される画面内にフラッシュの発光によって高輝度となっている領域が含まれるか否かを検出するフラッシュ検出部と、前記画像データの過去の画面を保持する保持部と、前記フラッシュ検出部によって高輝度となっている領域が含まれていることが検出された場合、前記保持部に保持された部分的に高輝度となっている第１の領域を含む第１の画面における前記第１の領域の画像データと、前記第１の画面に隣接する部分的に高輝度となっている第２の領域を含む第２の画面における前記第２の領域の画像データとを１画面に集約するよう画像データを補正する補正処理部とを備え、前記フラッシュ検出部は、検出対象画面におけるそれぞれのラインのライン平均輝度を算出するライン平均輝度算出部と、前記ライン平均輝度算出部で算出された１画面におけるそれぞれのラインのライン平均輝度に基づいて、前記検出対象画面の少なくとも１画面前の画面である過去の画面の全画面平均輝度を算出する全画面平均輝度算出部と、前記検出対象画面におけるそれぞれのラインの前記ライン平均輝度と前記全画面平均輝度とを比較することによって、前記検出対象画面内のラインがフラッシュの発光によって高輝度となっているか否かを判定するフラッシュ判定部とを有することを特徴とする画像処理装置を提供する。
また、本発明は、上述した従来の技術の課題を解決するため、画像データで構成される画面内にフラッシュの発光によって高輝度となっている領域が含まれるか否かを検出するフラッシュ検出部と、前記画像データの過去の画面を保持する保持部と、前記フラッシュ検出部によって高輝度となっている領域が含まれていることが検出された場合、前記保持部に保持された部分的に高輝度となっている第１の領域を含む第１の画面における前記第１の領域の画像データと、前記第１の画面に隣接する部分的に高輝度となっている第２の領域を含む第２の画面における前記第２の領域の画像データとを１画面に集約するよう画像データを補正する補正処理部とを備え、前記フラッシュ検出部は、検出対象画面におけるラインを複数のブロックに分割したそれぞれのブロックのブロック平均輝度を算出するブロック平均輝度算出部と、前記ブロック平均輝度算出部で算出された１ラインにおけるブロック平均輝度に基づいて、前記検出対象画面におけるそれぞれのラインのライン平均輝度を算出するライン平均輝度算出部と、前記ライン平均輝度算出部で算出された１画面におけるそれぞれのラインのライン平均輝度に基づいて、前記過去の画面の全画面平均輝度を算出する全画面平均輝度算出部と、前記ブロック平均輝度と前記全画面平均輝度との差分と、前記ライン平均輝度と前記全画面平均輝度との差分とをそれぞれ算出する差分算出部と、前記ライン平均輝度と前記全画面平均輝度との差分が第１の閾値以上であり、前記ブロック平均輝度と前記全画面平均輝度との差分が第２の閾値以上である条件が所定ライン以上継続した場合にフラッシュの発光によって高輝度となっていると判定するフラッシュ判定部とを有することを特徴とする記載の画像処理装置を提供する。

本発明は、上述した従来の技術の課題を解決するため、画像データで構成される検出対象画面におけるそれぞれのラインのライン平均輝度を算出し、算出された１画面におけるそれぞれのラインのライン平均輝度に基づいて、前記検出対象画面の少なくとも１画面前の画面である過去の画面の全画面平均輝度を算出し、前記検出対象画面におけるそれぞれのラインの前記ライン平均輝度と前記全画面平均輝度とを比較することによって、前記検出対象画面内のラインがフラッシュの発光によって高輝度となっているか否かを判定することによって、前記検出対象画面内にフラッシュの発光によって高輝度となっている領域が含まれるか否かを検出し、前記画像データの過去の画面を保持部に保持し、前記検出対象画面内に高輝度となっている領域が含まれていることが検出された場合、前記保持部に保持された部分的に高輝度となっている第１の領域を含む第１の画面における前記第１の領域の画像データと、前記第１の画面に隣接する部分的に高輝度となっている第２の領域を含む第２の画面における前記第２の領域の画像データとを１画面に集約するよう画像データを補正することを特徴とする画像処理方法を提供する。
また、本発明は、上述した従来の技術の課題を解決するため、画像データの過去の画面を保持部に保持し、前記画像データで構成される検出対象画面におけるラインを複数のブロックに分割したそれぞれのブロックのブロック平均輝度を算出し、算出された１ラインにおけるブロック平均輝度に基づいて、前記検出対象画面におけるそれぞれのラインのライン平均輝度を算出し、算出された１画面におけるそれぞれのラインのライン平均輝度に基づいて、前記過去の画面の全画面平均輝度を算出し、前記ブロック平均輝度と前記全画面平均輝度との差分と、前記ライン平均輝度と前記全画面平均輝度との差分とをそれぞれ算出し、前記ライン平均輝度と前記全画面平均輝度との差分が第１の閾値以上であり、前記ブロック平均輝度と前記全画面平均輝度との差分が第２の閾値以上である条件が所定ライン以上継続した場合にフラッシュの発光によって高輝度となっていると判定することによって、前記検出対象画面内にフラッシュの発光によって高輝度となっている領域が含まれるか否かを検出し、前記検出対象画面内に高輝度となっている領域が含まれていることが検出された場合、前記保持部に保持された部分的に高輝度となっている第１の領域を含む第１の画面における前記第１の領域の画像データと、前記第１の画面に隣接する部分的に高輝度となっている第２の領域を含む第２の画面における前記第２の領域の画像データとを１画面に集約するよう画像データを補正することを特徴とする画像処理方法を提供する。

本発明の画像処理装置及び方法によれば、フラッシュの発光によって画像の明るさが不連続となった画面の違和感を、フラッシュが発光している状況で撮影したという臨場感を損ねることなく軽減することができる。

第１実施形態の画像処理装置を示すブロック図である。 CMOSセンサを用いた動画像の撮影時にフラッシュの発光によって発生する画像の明るさが不連続となる現象を説明するための図である。 第１実施形態の画像処理装置における撮影及び記録処理の全体的な流れを示すフローチャートである。 第１実施形態におけるフラッシュ検出処理の詳細を示すフローチャートである。 第１実施形態によるフラッシュ補正処理の第１例を示すフローチャートである。 第１実施形態におけるフラッシュ補正処理の第１例を説明するための図である。 第１実施形態によるフラッシュ補正処理の第２例を示すフローチャートである。 第１実施形態におけるフラッシュ補正処理の第２例を説明するための図である。 第２実施形態の画像処理装置における撮影及び記録処理の全体的な流れを示すフローチャートである。 第２実施形態によるフラッシュ補正処理を示すフローチャートである。 第２実施形態におけるフラッシュ補正処理を説明するための図である。 第３実施形態の画像処理装置を示すブロック図である。 第３実施形態におけるフラッシュ検出処理の詳細を示すフローチャートである。 第３実施形態による効果を説明するための図である。 第４実施形態の画像処理装置における撮影及び記録処理の全体的な流れを示すフローチャートである。 第５実施形態の画像処理装置における撮影及び記録処理の全体的な流れを示すフローチャートである。

以下、画像処理装置及び方法の各実施形態について、添付図面を参照して説明する。各実施形態においては、画像処理装置をビデオカメラに適用し、ビデオカメラで行われる画像処理方法を例として説明する。

＜第１実施形態＞
図１を用いて、第１実施形態の画像処理装置であるビデオカメラ１０１の全体構成について説明する。ビデオカメラ１０１は、撮像部１，フラッシュ検出部２，画像信号処理部３，バッファメモリ４，圧縮伸張処理部５，出力信号処理部６，表示部７，フラッシュ補正部８０，制御部９，メモリ１０，記録再生部１１，操作スイッチ１２を備える。記録再生部１１は、半導体メモリ，ハードディスク・ドライブ等の任意の記録媒体を有する。記録媒体はビデオカメラ１０１に対して着脱自在であってもよい。

撮像部１は、レンズや絞り等の光学系（図示せず）、CMOSセンサ１ｓ、露出やピントの制御機構（図示せず）等を有する。一例として、撮像部１は３つのCMOSセンサ１ｓを有し、３つのCMOSセンサ１ｓから赤，緑，青それぞれの色信号であるＲ，Ｇ，Ｂ信号を示す電気信号を出力する。勿論、CMOSセンサ１ｓは１つであってもよい。撮像部１は、レンズを介してCMOSセンサ１ｓに入力された光情報を所定のタイミングで電気信号として取り出し、電気信号をフラッシュ検出部２及び画像信号処理部３に供給する。

フラッシュ検出部２は、ライン平均輝度算出部２１，ライン平均輝度保持部２２，全画面平均輝度算出部２３，全画面平均輝度保持部２４，差分算出部２５，フラッシュ判定部２６を有する。フラッシュ検出部２は、制御部９による制御に従って以下のようにフラッシュの発光を検出する。

ライン平均輝度算出部２１は、撮像部１から供給された電気信号におけるラインごとの明るさの平均を算出する。第１実施形態においては、Ｒ，Ｇ，Ｂ信号の内、Ｇ信号に基づいてラインごとの明るさの平均を算出する。具体的には、ライン平均輝度算出部２１は、Ｇ信号の値を１ラインの有効画素分に渡って加算し、有効画素数で除算することによって１ラインの明るさの平均（ライン平均輝度）を算出する。ライン平均輝度を算出する基にする信号はＧ信号に限定されるものではない。

ライン平均輝度算出部２１によって算出されたライン平均輝度は、ライン平均輝度保持部２２及び全画面平均輝度算出部２３に入力される。ライン平均輝度保持部２２は、ライン平均輝度算出部２１によって算出されたライン平均輝度を一時的に保持する。全画面平均輝度算出部２３は、１画面（１フレーム）全体の明るさの平均を算出する。具体的には、全画面平均輝度算出部２３は、順次入力されるライン平均輝度を１画面の有効ラインに渡って加算し、有効ライン数で除算することによって１画面全体の明るさの平均（全画面平均輝度）を算出する。全画面平均輝度保持部２４は、全画面平均輝度を一時的に保持する。

差分算出部２５には、ライン平均輝度保持部２２で保持されたライン平均輝度と、全画面平均輝度保持部２４で保持された全画面平均輝度とが入力される。なお、全画面平均輝度を算出した画面とライン平均輝度を算出した画面とは１画面ずれており、全画面平均輝度を算出した画面は、ライン平均輝度を算出した画面の１画面前の画面である。１画面前の画面の全画面平均輝度を１画面の期間保持しておき、２画面前の画面の全画面平均輝度として用いてもよい。また、１画面前の画面の全画面平均輝度と２画面前の画面の全画面平均輝度との双方を保持し、１画面前の画面がフラッシュの発光の影響を受けている場合に、２画面前の画面の全画面平均輝度を用いるようにしてもよい。

第１実施形態では、ライン平均輝度を算出している画面を現在の画面、全画面平均輝度を算出した画面を１画面前の画面とする。即ち、現在の画面が、フラッシュの発光によって高輝度となっているラインを含むか否かの検出対象となっている対象画面である。差分算出部２５は、現在の画面におけるそれぞれのライン平均輝度と１画面前の画面における全画面平均輝度との差分を順次算出する。差分算出部２５は差分の絶対値をとり、差分値として出力する。

差分算出部２５によって算出された差分値は、フラッシュ判定部２６に入力される。フラッシュ判定部２６は、ラインごとの差分値が設定された閾値以上であるか否かを判定するとともに、差分値が閾値以上である状態が予め設定したライン数以上継続するか否かを判定する。フラッシュ判定部２６は、差分値が閾値以上である状態が予め設定したライン数以上継続したと判定した場合に、フラッシュの発光によって画像の明るさが不連続となったと検出する。

フラッシュ判定部２６は、フラッシュが発光したことを示す検出信号と併せて、フラッシュの発光の開始時点である差分値が閾値以上となった最初のライン番号を示すデータと、差分値が閾値未満となった最初のライン番号を示すデータとを出力する。差分値が閾値未満となった最初のラインの１ライン前のラインがフラッシュの発光の最終ラインである。

なお、フラッシュ判定部２６は、例えば、フラッシュが発光したと判定した場合にはフラッシュが発光したことを示す検出信号として“１”を、フラッシュが発光しなかったと判定した場合にはフラッシュが発光しなかったことを示す検出信号として“０”を生成すればよい。

以上の説明より分かるように、フラッシュ検出部２は、ライン平均輝度、全画面平均輝度、差分値を算出し、差分値を判定してフラッシュの発光を検出するだけであるので、フレームメモリのような大容量のメモリリソースを備える必要はない。なお、ここではフラッシュの発光を検出としたが、上記のように、フラッシュと同様の発光期間が短く強い光がCMOSセンサ１ｓに入射した場合にもフラッシュ検出部２は画像の明るさが不連続となったことを検出する。このような場合も含めてフラッシュの発光の検出とする。

フラッシュ検出部２は、現在の画面におけるそれぞれのラインのライン平均輝度と、例えば１画面前の画面である過去の画面の全画面平均輝度とを比較するので、画面の一部のラインがフラッシュの発光によって高輝度となっている場合には、高輝度となっている全てのラインで差分値が閾値以上となる。仮に現在の画面内で隣接するラインのライン平均輝度を比較した場合には、正常なラインと高輝度となったラインの境界のみしか差分値が閾値以上とならない。従って、本実施形態においては、画面内で画像の明るさが不連続となったことを誤検出少なく検出することが可能である。

画像信号処理部３は、撮像部１から供給された電気信号を所定の信号方式に変換する。上記のように第１実施形態においては、電気信号はＲ，Ｇ，Ｂ信号であるため、ホワイトバランスやゲインを調整し、ガンマ処理等を行った後に、輝度信号Ｙと色差信号Ｃｂ，Ｃｒに変換する。フラッシュ検出部２は、輝度信号Ｙに基づいてライン平均輝度及び全画面平均輝度を算出してもよい。

バッファメモリ（保持部）４は、画像信号処理部３より出力された輝度信号Ｙと色差信号Ｃｂ，Ｃｒの画像データを一時的に保持する。色差信号Ｃｂ，Ｃｒを帯域制限して輝度信号Ｙと時間軸多重すれば、画像処理に必要なメモリや演算リソースを少なくすることができる。

フラッシュの発光が検出された場合には、画像信号処理部３からバッファメモリ４へと入力されて保持された画像データが後述するフラッシュ補正部８による画像データの補正処理の際に用いられる。

圧縮伸張処理部５は、バッファメモリ４より読み出した画像データをMPEG-2，MPEG-4 AVC/H.264，JPEG等の圧縮方式によって圧縮処理して符号化データを生成するとともに、記録再生部１１に記録された符号化データを再生して読み出した場合に符号化データを伸張処理する。

出力信号処理部６は、バッファメモリ４より読み出した画像データを外部機器（図示せず）に出力するとともに、後段の表示部７の入力フォーマットに合わせて例えばＮＴＳＣ信号方式に変換し、表示部７の表示画面の大きさに合わせて画像データのサイズを変更する。これによって、画像データは表示部７に表示可能なデータとなり、表示部７に供給されて表示される。出力信号処理部６には制御部９から出力されたオンスクリーン信号も入力され、出力信号処理部６はオンスクリーン信号を画像データに重畳する。

フラッシュ補正部８には、フラッシュ判定部２６より出力された検出信号が入力される。フラッシュ補正部８は、補正制御部８１と補正処理部８２とを有する。

フラッシュ補正部８は、制御部９による制御に従って、フラッシュの発光によって明るさが不連続となった画像データを補正する。フラッシュ補正部８は、後述するように、画像を実質的にフラッシュが発光しなかった状態に補正するのではなく、フラッシュが発光している状態の画像を保ちつつ、画像の明るさが不連続となった画像データを補正する。フラッシュ補正部８は、フラッシュの発光によって部分的に高輝度となっている画像データが記録再生部１１に記録されている場合に、画像データの再生時に画像データを補正する。

フラッシュ補正部８は、補正した画像データをバッファメモリ４へと供給する。

制御部９は、ＣＰＵを有するマイクロコンピュータによって構成することができる。制御部９はビデオカメラ１０１の全体を制御する制御プログラムを記憶した記憶部を有し、制御プログラムに基づいてビデオカメラ１０１の全体を制御する。第１実施形態による画像処理を画像処理プログラムによって実現する場合には、制御プログラムの一部として第１実施形態の画像処理を実行させる画像処理プログラムを含むようにすればよい。この場合、制御部９は画像処理プログラムを実行させてフラッシュの発光を検出し、フラッシュが発光した場合に画像データを補正する。

制御部９には、制御部９の作業用メモリとしてのメモリ１０が接続されている。また、制御部９には、記録再生部１１と操作スイッチ１２とが接続されている。制御部９は操作スイッチ１２によって撮像した動画像を記録する指示がなされたら、圧縮伸張処理部５より出力された符号化データを記録再生部１１に記録するよう制御する。

また、制御部９は操作スイッチ１２によって撮像した動画像を記録する指示がなされたら、記録再生部１１に符号化データを再生させて読み出し、圧縮伸張処理部５へと供給するよう制御する。制御部９は、操作スイッチ１２による操作に従ってオンスクリーン信号を発生して、出力信号処理部６へと供給する。

図１では、フラッシュ検出部２をハードウェアにて構成した例を示しているが、ソフトウェアによって構成してもよい。即ち、第１実施形態の画像処理プログラムの一部であるフラッシュ検出プログラムを実行させることによって、フラッシュ検出部２と同等の構成を実現してもよい。また、フラッシュ補正部８もソフトウェアによって構成してもよい。即ち、第１実施形態の画像処理プログラムの一部であるフラッシュ補正プログラムを実行させることによって、フラッシュ補正部８と同等の構成を実現してもよい。

ここで、図２を用いて、動画像の撮影時に撮影者以外の他者のフラッシュが発光した場合に発生する画像の明るさが不連続となる現象について説明する。ローリングシャッタ方式を採用するCMOSセンサ１ｓはラインＬｎ単位で撮像した画素データを読み出していくので、撮像部１による被写体の撮像ＳＴ１，ＳＴ２，ＳＴ３，ＳＴ４…は、図２の（ｂ）に示すように、画面の最初のラインＬｎから最後のラインＬｎまでタイミングが時間方向に順次ずれていく。１つのラインＬｎの撮像は、図２の（ａ）に示すように、露光時間と画素データの読み出し時間とを含む。

撮像部１による撮像ＳＴ１，ＳＴ２，ＳＴ３，ＳＴ４…によって、撮像部１からは図２の（ｃ）に示すように、有効データＤ１，Ｄ２，Ｄ３，Ｄ４…が出力される。時刻ｔ１にて他者のフラッシュによる発光ＦＬがあり、CMOSセンサ１ｓに入射したとする。この場合、撮像ＳＴ２の一点鎖線で示す位置から最後のラインＬｎまでの各ラインＬｎと、撮像ＳＴ３の最初のラインＬｎから一点鎖線で示す位置までの各ラインＬｎは発光ＦＬによる影響を受けることになる。

第１実施形態による画像データの補正を行わないとすると、記録再生部１１に記録されて再生され、表示部７に表示される画像Ｉｍ１，Ｉｍ２，Ｉｍ３，Ｉｍ４…は図２の（ｄ）に示すようになる。画像Ｉｍ１，Ｉｍ４は発光ＦＬによる影響を受けておらず、画面の明るさが連続して正常な画像である。画像Ｉｍ２は、一点鎖線以降の下端部で白帯状に明るくなっており、画像の明るさが不連続となった正常でない画像である。ハッチングを付した部分が高輝度の部分を示す。画像Ｉｍ３は、上端から一点鎖線までの上端部で同様に白帯状に明るくなっており、画像の明るさが不連続となった正常でない画像である。

発光ＦＬによる影響を受ける範囲は露光時間の長さによって決まる。露光時間はシャッタスピードによって決まる。ＮＴＳＣ信号方式の場合には、シャッタスピードが１／６０秒であれば、図２の（ｄ）に示す画像Ｉｍ２，Ｉｍ３のハッチングを付した高輝度の部分は、ほぼ１画面の期間となる。ＰＡＬ信号方式の場合には、シャッタスピードが１／５０秒であれば、図２の（ｄ）に示す画像Ｉｍ２，Ｉｍ３の高輝度の部分は、ほぼ１画面の期間となる。

なお、撮影者が所有するビデオカメラ１０１のフラッシュを発光させる場合には、フラッシュの発光のタイミングを図２の（ｂ）に示す撮像のタイミングと合わせるので、図２の（ｄ）に示すような画像の明るさが不連続となる現象は発生しない。

図３〜図８を用いて、第１実施形態によるビデオカメラ１０１の動作についてさらに詳細に説明する。図３は、ビデオカメラ１０１による撮影及び記録処理の全体的な流れを示している。図３において、制御部９は、ステップＳ１にて、操作スイッチ１２による撮影開始の指示があったか否かを判定する。撮影開始の指示があったと判定されれば（YES）、制御部９は、ステップＳ２にて、絞り及びシャッタースピード等の条件に合わせて撮像部１を制御して撮影を開始させる。なお、操作スイッチ１２によるビデオカメラ１０１の電源投入の指示を撮影開始の指示としてもよい。撮影開始の指示があったと判定されなければ（NO）、制御部９は処理をステップＳ１に戻してステップＳ１を繰り返す。

制御部９は、ステップＳ３０にて、フラッシュ検出部２によるフラッシュ検出処理を実行させる。また、制御部９は、ステップＳ３０と並行して、ステップＳ４にて、画像信号処理部３による画像信号処理を実行させる。ステップＳ３０のフラッシュ検出処理の詳細については後述する。制御部９は、ステップＳ５にて、出力信号処理部６を制御して表示部７に撮影した画像を表示させる。

制御部９は、ステップＳ６にて、操作スイッチ１２による記録開始の指示があったか否かを判定する。記録開始の指示があったと判定されれば（YES）、制御部９は、ステップＳ７にて、圧縮伸張処理部５より出力された符号化データを記録再生部１１に記録させる。記録開始の指示があったと判定されなければ（NO）、制御部９は、処理をステップＳ１１に移行させる。

制御部９は、ステップＳ８にて、記録終了の指示があったか否かを判定する。記録終了の指示があったと判定されれば（YES）、制御部９は、ステップＳ９にて、記録再生部１１への記録を停止させる。記録終了の指示があったと判定されなければ（NO）、制御部９は処理をステップＳ７に戻してステップＳ７を繰り返す。

制御部９は、ステップＳ９に続き、ステップＳ１１にて、操作スイッチ１２によって、記録再生部１１に記録された所定の画像データの再生を開始する指示があったか否かを判定する。再生開始の指示があったと判定されれば（YES）、制御部９は、ステップＳ121にて、記録再生部１１に記録された画像データ（符号化データ）を再生させる。この際、制御部９は、記録再生部１１より読み出した画像データをフレームメモリ（図示せず）によって１フレーム遅延させた状態で再生させる。

記録再生部１１から読み出された符号化データは、圧縮伸張処理部５によって伸張処理され、バッファメモリ４に入力されて保持される。再生開始の指示があったと判定されなければ（NO）、制御部９は、処理をステップＳ１０に移行させる。

制御部９は、ステップＳ131にて、フラッシュ検出領域があるか否かを判定する。フラッシュ検出領域とは、再生する画像データ内でフラッシュの発光によって高輝度となっていることが検出された領域である。画像データにおけるどの部分がフラッシュ検出領域であるかは、後述するように、符号化データに付加したメタデータ（付加情報）を参照することによって判別することができる。

フラッシュ検出領域があると判定されれば（YES）、制御部９は、ステップＳ141a（またはＳ141b）にて、フラッシュ補正部８によるフラッシュ補正処理を実行させる。ステップＳ141a（Ｓ141b）におけるフラッシュ補正処理は、前述のように、フラッシュが発光している状態の画像を保ちつつ、画像の明るさが不連続となった画像データを補正する補正処理である。

制御部９は、ステップＳ１５にて、ステップＳ141a（Ｓ141b）にて補正された画像データを表示部７に表示させる。

この場合、バッファメモリ４に保持された伸張処理後の画像データがフラッシュ補正部８へと入力され、ステップＳ141a（Ｓ141b）によるフラッシュ補正処理が実行される。補正された画像データはバッファメモリ４に入力されて保持され、出力信号処理部６を介して表示部７へと供給される。

ステップＳ131にてフラッシュ検出領域があると判定されなければ（NO）、制御部９は、処理をステップＳ１５に移行させる。制御部９は、ステップＳ１５にて、ステップＳ１２にて再生された画像データをそのまま表示部７に表示させる。この場合、バッファメモリ４に保持された伸張処理後の画像データは、バッファメモリ４から出力信号処理部６へとそのまま出力され、表示部７へと供給される。

制御部９は、ステップＳ１６にて、再生停止の指示があったか否かを判定する。再生停止の指示があったと判定されれば（YES）、制御部９は、ステップＳ１７にて、画像データの再生を停止させて、処理をステップＳ１０に移行させる。再生停止の指示があったと判定されなければ（NO）、制御部９は処理をステップＳ１２に戻してステップＳ１２以降を繰り返す。

制御部９は、ステップＳ１０にて、操作スイッチ１２による撮影終了の指示があったか否かを判定する。撮影終了の指示があったと判定されれば（YES）、制御部９は処理を終了させる。撮影終了の指示があったと判定されなければ（NO）、制御部９は、処理をステップＳ２に戻してステップＳ２以降を繰り返す。操作スイッチ１２によるビデオカメラ１０１の電源切断の指示を撮影終了の指示としてもよい。

図４を用いて、図３に示すステップＳ３０のフラッシュ検出処理の詳細について説明する。第１実施形態におけるステップＳ３０をステップＳ３０_１とする。以下の各ステップは、制御部９による制御に基づいてフラッシュ検出部２によって実行される。

図４において、フラッシュ検出部２は、ステップＳ3101にて、有効ラインにおける有効画素の画素値を加算する処理を有効ラインごとに順次実行する。フラッシュ検出部２は、ステップＳ3102にて、ステップＳ3101にて得た画素値の加算値を有効画素数で除算してライン平均輝度を算出し、ライン平均輝度を保持する。

フラッシュ検出部２は、ステップＳ3103にて、ライン平均輝度を順次加算する処理を実行する。フラッシュ検出部２は、ステップＳ3104にて、ステップＳ3102で算出したライン平均輝度と１画面前の全画面平均輝度との差分演算処理を実行する。ステップＳ3104における差分演算処理は、ステップＳ3102でライン平均輝度を算出するたびに実行される。

フラッシュ検出部２は、ステップＳ3105にて、フラッシュの発光を検出していない通常状態であるか否かを判定する。通常状態であると判定されれば（YES）、フラッシュ検出部２は、ステップＳ3106にて、差分値が閾値以上のラインを検出したか否かを判定する。差分値が閾値以上のラインを検出したと判定されれば（YES）、フラッシュ検出部２は、処理をステップＳ3107に移行させる。この際、フラッシュ検出部２は、検出したラインがフレームの最初のラインから何ライン目かを示す検出ライン情報を記憶しておく。

一方、差分値が閾値以上のラインを検出したと判定されなければ（NO）、フラッシュ検出部２は、既に検出ライン情報を記憶している場合は、それを消去するとともに、処理をステップＳ3111に移行させる。

フラッシュ検出部２は、ステップＳ3107にて、差分値が閾値以上である状態が所定ライン数以上継続したか否かを判定する。所定ライン数以上継続したと判定されれば（YES）、フラッシュ検出部２は、処理をステップＳ3108に移行させ、所定ライン数以上継続したと判定されなければ（NO）、フラッシュ検出部２は、処理をステップＳ3111に移行させる。

ステップＳ3105にて通常状態であると判定され、ステップＳ3106にて差分値が閾値以上のラインが検出され、ステップＳ3107にて差分値が閾値以上である状態が所定ライン数以上継続したと判定された場合は、フラッシュの発光の影響を受けていない状態からフラッシュの発光の影響を受けて高輝度の状態へと変化したことを検出したということである。

そこで、フラッシュ検出部２は、ステップＳ3108にて、フラッシュの発光を検出していない状態からフラッシュの発光を検出した状態へとフラッシュ検出状態を変更する。第１実施形態においては、フラッシュ検出部２は、フラッシュ発光の開始ラインを示す検出ライン情報を制御部９に供給し、記憶した検出ライン情報を消去する。

一方、ステップＳ3105にて通常状態であると判定されなければ（NO）、フラッシュ検出部２は、ステップＳ3109にて、差分値が閾値未満のラインを検出したか否かを判定する。差分値が閾値未満のラインを検出したと判定されれば（YES）、フラッシュ検出部２は、処理をステップＳ3110に移行させる。この際、フラッシュ検出部２は、検出したラインがフレームの最初のラインから何ライン目かを示す検出ライン情報を記憶しておく。

フラッシュ検出部２は、ステップＳ3110にて、差分値が閾値未満である状態が所定ライン数以上継続したか否かを判定する。所定ライン数以上継続したと判定されれば（YES）、フラッシュ検出部２は、処理をステップＳ3108に移行させ、所定ライン数以上継続したと判定されなければ（NO）、フラッシュ検出部２は、処理をステップＳ3111に移行させる。

ステップＳ3105にて通常状態ではないと判定され、ステップＳ3109にて差分値が閾値未満のラインが検出され、ステップＳ3110にて差分値が閾値未満である状態が所定ライン数以上継続したと判定された場合は、フラッシュの発光の影響を受けて高輝度の状態からフラッシュの発光の影響を受けていない状態へと変化したことを検出したということである。

そこで、フラッシュ検出部２は、ステップＳ3108にて、フラッシュの発光を検出している状態からフラッシュの発光を検出していない状態へとフラッシュ検出状態を変更する。第１実施形態においては、フラッシュ検出部２は、フラッシュ発光の終了ラインを示す検出ライン情報を制御部９に供給し、記憶した検出ライン情報を消去する。

フラッシュ検出部２は、ステップＳ3111にて、全有効ラインに対する判定が終了したか否かを判定する。全有効ラインに対する判定が終了したと判定されなければ（NO）、フラッシュ検出部２は、処理をステップＳ3101に戻し、ステップＳ3101以降の処理を繰り返す。全有効ラインに対する判定が終了したと判定されれば（YES）、フラッシュ検出部２は、ステップＳ3112にて、ライン平均輝度の加算値を有効ライン数で除算して全画面平均輝度を算出し、全画面平均輝度を保持する。

制御部９は、図３のステップＳ７にて、圧縮伸張処理部５より出力された符号化データを記録再生部１１に記録させる際に、フラッシュ検出部２で検出したフラッシュ発光の開始ライン及び終了ラインを示す検出ライン情報を符号化データに付加するメタデータとして記録させる。

図５及び図６を用いて、図３に示すステップＳ141aのフラッシュ補正処理の詳細について説明する。図６は、第１実施形態におけるフラッシュ補正処理の第１例であるステップＳ141aによる補正動作を示している。図６において、ハッチングを付した部分がフラッシュの発光によって高輝度となっている部分である。図８，図１１でも同様である。

以下の各ステップは、制御部９による制御に基づいてフラッシュ補正部８によって実行される。制御部９は、符号化データに付加されているメタデータに基づいてフラッシュ補正部８によるフラッシュ補正処理を実行させる。

図６において、（ａ）は記録再生部１１より読み出された画像データの補正前の画像Ｉｍ１，Ｉｍ２，Ｉｍ３，Ｉｍ４…を示している。図３のステップＳ121にて、１画面遅延されて再生されるので、図６の（ｂ）に示すように、画像Ｉｍ１のタイミングで画像Ｉｍ１の１画面前の画像である画像Ｉｍ０が再生され、画像Ｉｍ２のタイミングで画像Ｉｍ１が再生される。

画像Ｉｍ２においては、図４で説明したステップＳ３０_１のフラッシュ検出処理において、フラッシュ発光の開始ラインであるフラッシュ開始ラインＬｎfsが検出されている。フラッシュの発光による高輝度の部分は、画像Ｉｍ２のフラッシュ開始ラインＬｎfsより下端部まで、画像Ｉｍ３の上端部からフラッシュ終了ラインＬｎfeまでとなっている。

本実施形態では、画像データの信号方式をＮＴＳＣ信号方式として、シャッタスピードを１／６０秒としている。従って、画像Ｉｍ２のフラッシュ開始ラインＬｎfsより下端部までと、画像Ｉｍ３の上端部からフラッシュ終了ラインＬｎfeまでとを合わせたフラッシュの発光による高輝度の部分は、ほぼ１画面の期間となる。

画像Ｉｍ２におけるフラッシュ開始ラインＬｎfsより上方の部分を領域Ar21、フラッシュ開始ラインＬｎfs以降の部分を領域Ar22とし、画像Ｉｍ３におけるフラッシュ終了ラインＬｎfeを含めて上方の部分を領域Ar31、フラッシュ終了ラインＬｎfeの次のライン以降の部分を領域Ar32とする。

図５に示すように、ステップＳ141aは、ステップＳ1411〜Ｓ1413を含む。フラッシュ補正部８は、制御部９による制御に基づいて、ステップＳ1411にて、フラッシュの発光開始を検出した画面の高輝度部分と、次の画面の高輝度部分とを合成した合成画面の画像データを生成する。図６の例では、フラッシュ補正部８は、領域Ar22の画像データと領域Ar31の画像データとを合成した合成画面の画像データを生成する。

フラッシュ補正部８は、ステップＳ1412にて、図６の（ａ）における画像Ｉｍ３のタイミングでは画像Ｉｍ２を再生するのではなく、画像Ｉｍ２に代えて、ステップＳ1411にて生成した領域Ar22の画像データと領域Ar31の画像データとを合成した合成画面の画像Ｉｍ３’である画像データを再生出力する。

次の図６の（ａ）における画像Ｉｍ４のタイミングでは、フラッシュ補正部８は、ステップＳ1413にて、１画面前の画像Ｉｍ３を再生するのではなく、画像Ｉｍ３に代えて、現在の画面である画像Ｉｍ４を遅延させずそのまま再生出力する。以上のステップＳ1411〜Ｓ1413よりなるステップＳ141aの後、ステップＳ１５，Ｓ１６を経て、ステップＳ121に戻るので、図６の（ａ）の画像Ｉｍ５のタイミングからは１画面前の画像である画像Ｉｍ４以降が再生されることになる。

図６に示すフラッシュ補正処理の第１例では、フラッシュの発光による高輝度の部分が画像Ｉｍ３’の１画面に集約され、画像の明るさが不連続となった画面がないので、違和感が軽減される。しかも、第１例では、画像Ｉｍ３’によってフラッシュが発光している状態の画像が保たれているので、フラッシュが発光している状況で撮影したという臨場感を損ねることがない。

シャッタスピードを１／６０秒とした場合には、バッファメモリ４に保持されている画像Ｉｍ２における領域Ar22の画像データと、画像Ｉｍ２に隣接する画像Ｉｍ３における領域Ar31の画像データとを合わせると、ほぼ１画面の期間となることが予め分かっている。そこで、制御部９は、フラッシュ検出部２によってフラッシュの発光が検出された場合に、画像Ｉｍ２，Ｉｍ３に分割された高輝度となっている領域を１画面に集約するよう画像データを補正すればよい。

フラッシュの発光時間が長い場合には、領域Ar22の画像データと画像Ｉｍ３における領域Ar31の画像データとを合わせると、１画面の全領域（全垂直有効期間）よりも長くなる。この場合にも、若干の余りが発生するものの、高輝度となっている領域を１画面に集約してよい。

高輝度となっている領域が２つの画面に分割されているとき、時間的に前側の画面を部分的に高輝度となっている第１の領域を含む第１の画面とし、後側の画面を部分的に高輝度となっている第２の領域を含む第２の画面とする。第１の領域と第２の領域とを合わせた領域が１画面の全領域以上であるとき、第１の領域の画像データと第２の領域の画像データとを１画面に集約するよう画像データを補正することが好ましい。

シャッタスピードが１／６０秒より短い場合には、領域Ar22の画像データと画像Ｉｍ３における領域Ar31の画像データとを合わせても、１画面の全期間（全垂直有効期間）には足らない。この場合には、高輝度となっている領域を集約する補正をしないようにしてもよい。

シャッタスピードが予め定めた所定の範囲内にあるときのみ、フラッシュ補正部８によって高輝度となっている領域を１画面に集約するよう画像データを補正してもよい。シャッタスピードが予め定めた所定の範囲内とは、フレーム周波数が６０Ｈｚであれば１／６０秒、フレーム周波数が５０であれば１／５０秒のように特定の１つのシャッタスピードのみである場合を含む。

図７及び図８を用いて、図３に示すステップＳ141bのフラッシュ補正処理の詳細について説明する。図８は、第１実施形態におけるフラッシュ補正処理の第２例であるステップＳ141bによる補正動作を示している。

図７に示すように、ステップＳ141bは、ステップＳ1411，Ｓ1412，Ｓ1414，Ｓ1415を含む。ステップＳ141bのステップＳ1411，Ｓ1412は、ステップＳ141aのステップＳ1411，Ｓ1412と同じである。従って、図６と同様に、フラッシュ補正部８は、ステップＳ1412にて、図８の（ａ）における画像Ｉｍ３のタイミングでは画像Ｉｍ２を再生するのではなく、ステップＳ1411にて生成した領域Ar22と領域Ar31とを合成した合成画面の画像Ｉｍ３’である画像データを再生出力する。

画像Ｉｍ４において、画像Ｉｍ３のフラッシュ終了ラインＬｎfeと同じラインＬｎfe4を含めて上方の部分を領域Ar41、ラインＬｎfe4の次のライン以降の部分を領域Ar42とする。

図７に示すように、フラッシュ補正部８は、制御部９による制御に基づいて、ステップＳ1414にて、フラッシュの発光終了後の現在の画面の正常な部分と、前の画面の正常な部分とを合成した合成画面の画像データを生成する。図８の例では、フラッシュ補正部８は、領域Ar41と領域Ar32とを合成した合成画面の画像Ｉｍ４’である画像データを生成する。

フラッシュ補正部８は、ステップＳ1415にて、図８の（ａ）における画像Ｉｍ４のタイミングでは画像Ｉｍ３を再生するのではなく、画像Ｉｍ３に代えて、ステップＳ1414にて生成した合成画面の画像Ｉｍ４’である画像データを再生出力する。

以上のステップＳ1411，Ｓ1412，Ｓ1414，Ｓ1415よりなるステップＳ141bの後、ステップＳ１５，Ｓ１６を経て、ステップＳ121に戻るので、図８の（ａ）の画像Ｉｍ５のタイミングからは１画面前の画像である画像Ｉｍ４以降が再生されることになる。

図８に示すフラッシュ補正処理の第２例でも、フラッシュが発光している状況で撮影したという臨場感を損ねることがなく、フラッシュの発光による画像の違和感を軽減することができる。第１例では、同じ画像Ｉｍ４が２画面連続するので、画像の動きによっては若干の違和感が発生する場合がある。一方、第２例では、画像Ｉｍ４の代わりに画像Ｉｍ４’が再生されて同じ画像が２画面連続することはないので、第１例よりも画像の動きによる違和感が発生しにくい。

＜第２実施形態＞
第２実施形態の画像処理装置の構成は、図１に示す第１実施形態のビデオカメラ１０１と同様である。図９を用いて、第２実施形態における動作について説明する。図９において、図３と同一のステップには同一の符号を付し、その説明を適宜省略する。

図９において、制御部９は、ステップＳ１１にて再生開始の指示があったと判定されれば（YES）、ステップＳ122にて、記録再生部１１に記録された画像データを再生させる。この際、制御部９は、記録再生部１１より読み出した画像データを１フレーム遅延させることなく再生させる。

制御部９は、ステップＳ132にて、フラッシュ検出領域があるか否かを判定する。フラッシュ検出領域があると判定されれば（YES）、制御部９は、ステップＳ142にて、フラッシュ補正部８によるフラッシュ補正処理を実行させる。ステップＳ142におけるフラッシュ補正処理は、第１実施形態と同様、フラッシュが発光している状態の画像を保ちつつ、画像の明るさが不連続となった画像データを補正する補正処理である。制御部９は、ステップＳ１５にて、ステップＳ142にて補正された画像データを表示部７に表示させる。

図１０及び図１１を用いて、図９に示すステップＳ142のフラッシュ補正処理の詳細について説明する。図１１において、（ａ）は記録再生部１１より読み出された画像データの補正前の画像Ｉｍ１，Ｉｍ２，Ｉｍ３，Ｉｍ４…を示している。第２実施形態においては、ステップＳ122にて画像データをフレーム遅延させることなく再生させるので、図６の（ｂ）に示すように、読み出された画像Ｉｍ１，Ｉｍ２，Ｉｍ３，Ｉｍ４…の画像データは１フレーム遅延なく再生される。但し、厳密には、画像データは、バッファメモリ４及び圧縮伸張処理部５等での処理に要する時間である複数ライン分の遅延をもって再生される。

図１１の（ａ）に示す画像Ｉｍ１において、画像Ｉｍ２のフラッシュ開始ラインＬｎfsと同じラインＬｎfs1より上方の部分を領域Ar11、ラインＬｎfs1以降の部分を領域Ar12とする。

図１０に示すように、ステップＳ142は、ステップＳ1421，Ｓ1422を含む。フラッシュ補正部８は、ステップＳ1421にて、フラッシュ発光の開始ライン以降を前の画面の画像データに置換する。図１１の例では、フラッシュ補正部８は、画像Ｉｍ２の高輝度部分である領域Ar22のラインを画像Ｉｍ１の領域Ar12のラインに置換することによって、領域Ar21と画像Ｉｍ１の領域Ar12とを１画面に集約した合成画面の画像Ｉｍ２’である画像データを生成する。

そして、フラッシュ補正部８は、ステップＳ1422にて、フラッシュ発光の終了ライン以降を前の画面の画像データに置換する。図１１の例では、フラッシュ補正部８は、Ｉｍ３の領域Ar32のラインを画像Ｉｍ２の領域Ar22のラインに置換することによって、領域Ar31と領域Ar22とを１画面に集約した合成画面の画像Ｉｍ３’である画像データを生成する。図１０の（ａ）の画像Ｉｍ４のタイミングからは画像Ｉｍ４以降がフレーム遅延なく再生される。

第２実施形態においても、フラッシュが発光している状況で撮影したという臨場感を損ねることがなく、フラッシュの発光による画像の違和感を軽減することができる。

＜第３実施形態＞
図１２に示す第３実施形態において、図１と同一部分には同一符号を付し、その説明を適宜省略することとする。第３実施形態の画像処理装置であるビデオカメラ１０３は、フラッシュ検出部２の代わりにフラッシュ検出部２０を備える。

第３実施形態は、フラッシュ検出部２の代わりにフラッシュ検出部２０を備えることによって、第１及び第２実施形態よりもフラッシュが発光したか否かの検出精度を向上させるように構成したものである。フラッシュ補正部８によるフラッシュ補正処理は、図６で説明した第１実施形態における第１例、図８で説明した第１実施形態における第２例、図１１で説明した第２実施形態のいずれかである。よって、フラッシュ検出部２０の構成及び動作を中心に説明することとする。

フラッシュ検出部２０は、ブロック平均輝度算出部２０１，ブロック平均輝度保持部２０２，ライン平均輝度算出部２０３，ライン平均輝度保持部２０４，全画面平均輝度算出部２０５，全画面平均輝度保持部２０６，差分算出部２０７，フラッシュ判定部２０８を有する。

フラッシュ検出部２０は、制御部９による制御に従って以下のようにフラッシュの発光を検出する。ブロック平均輝度算出部２０１は、撮像部１から供給された電気信号における１ラインの有効画素を複数のブロックに分割しブロックごとの明るさの平均を算出する。ブロックの数は２のべき乗であることが好ましい。具体的には、ブロック平均輝度算出部２０１は、Ｇ信号の値を各ブロックの有効画素分に渡って加算し、有効画素数で除算することによって１ブロックの明るさの平均（ブロック平均輝度）を算出する。

ブロック平均輝度算出部２０１によって算出されたブロック平均輝度は、ブロック平均輝度保持部２０２及びライン平均輝度算出部２０３に入力される。ライン平均輝度算出部２０３は、１ラインにおけるブロック平均輝度を加算し、１ラインのブロック数で除算することによって１ラインの明るさの平均（ライン平均輝度）を算出する。ライン平均輝度算出部２０３によって算出されたライン平均輝度は、ライン平均輝度保持部２０４及び全画面平均輝度算出部２０５に入力される。ライン平均輝度保持部２０４は、ライン平均輝度算出部２０３によって算出されたライン平均輝度を一時的に保持する。

全画面平均輝度算出部２０５は、順次入力されるライン平均輝度を１画面の有効ラインに渡って加算し、有効ライン数で除算することによって１画面全体の明るさの平均（全画面平均輝度）を算出する。全画面平均輝度保持部２０６は、全画面平均輝度を一時的に保持する。

差分算出部２０７には、ブロック平均輝度保持部２０２で保持されたブロック平均輝度と、ライン平均輝度保持部２０４で保持されたライン平均輝度と、全画面平均輝度保持部２０６で保持された全画面平均輝度とが入力される。差分算出部２０７は、ブロック平均輝度と全画面平均輝度との差分と、ライン平均輝度と全画面平均輝度との差分とをそれぞれ順次算出する。差分算出部２０７は差分の絶対値をとり、差分値として出力する。

差分算出部２０７によって算出されたそれぞれの差分値は、フラッシュ判定部２０８に入力される。フラッシュ判定部２０８は、ライン平均輝度と全画面平均輝度との差分値が設定された閾値（閾値１）以上であるか否かを判定する。フラッシュ判定部２０８は、ライン平均輝度と全画面平均輝度との差分値が閾値以上の場合には、それぞれのブロック平均輝度と全画面平均輝度との差分値が設定された閾値（閾値２）以上であるか否かを判定する。閾値１と閾値２とは異なる値であってよい。閾値１と閾値２とは異なる値とする場合には、閾値１よりも閾値２の値を大きくすることが好ましい。

フラッシュ判定部２０８は、ラインごとの差分値が閾値１以上であり、ブロックごとの差分値が閾値２以上である状態が予め設定したライン数以上継続するか否かを判定する。フラッシュ判定部２０８は、それぞれの差分値が閾値１，２以上である状態が予め設定したライン数以上継続したと判定した場合に、フラッシュの発光によって画像の明るさが不連続となったと検出する。

フラッシュ判定部２０８は、フラッシュが発光したと判定した場合には、フラッシュの発光の開始時点である、ライン平均輝度と全画面平均輝度との差分値が閾値１以上であり、かつそれぞれのブロック平均輝度と全画面平均輝度との差分値が閾値２以上となった最初のライン番号を示すデータと、ライン平均輝度と全画面平均輝度との差分値が閾値１以上と、それぞれのブロック平均輝度と全画面平均輝度との差分値が閾値２以上との少なくとも一方の条件を満たさなくなった最初のライン番号を示すデータとを出力する。フラッシュ判定部２０８は、フラッシュが発光したことを示す検出信号も出力する。

第３実施形態においては、図３または図９に示すステップＳ３０のフラッシュ検出処理を図１３に示すステップＳ３０_３とする。図１３を用いて、ステップＳ３０_３のフラッシュ検出処理の詳細について説明する。以下の各ステップは、制御部９による制御に基づいてフラッシュ検出部２０によって実行される。

図１３において、フラッシュ検出部２０は、ステップＳ3301にて、有効ラインにおける各ブロックの有効画素の画素値を加算する処理を有効ラインごとに順次実行する。フラッシュ検出部２０は、ステップＳ3302にて、ステップＳ3301にて得た各ブロックの画素値の加算値をブロック内の有効画素数で除算してブロック平均輝度を算出し、ブロック平均輝度を保持する。

フラッシュ検出部２０は、ステップＳ3303にて、ステップＳ3302で算出したブロック平均輝度と１画面前の全画面平均輝度との差分演算の処理を実行する。ステップＳ3303における差分演算処理は、ステップＳ3302でブロック平均輝度を算出するたびに実行される。フラッシュ検出部２０は、ステップＳ3304にて、１ライン内のブロック平均輝度を加算し、ステップＳ3305にて、ブロック平均輝度の加算値をブロック数で除算してライン平均輝度を算出し、ライン平均輝度を保持する。

フラッシュ検出部２０は、ステップＳ3306にて、ライン平均輝度を順次加算する処理を実行する。フラッシュ検出部２０は、ステップＳ3307にて、ステップＳ3305で算出したライン平均輝度と１画面前の全画面平均輝度との差分演算の処理を実行する。ステップＳ3307における差分演算処理は、ステップＳ3305でライン平均輝度を算出するたびに実行される。

フラッシュ検出部２０は、ステップＳ3308にて、フラッシュの発光を検出していない通常状態であるか否かを判定する。通常状態であると判定されれば（YES）、フラッシュ検出部２０は、ステップＳ3309にて、ライン平均輝度と全画面平均輝度との差分値が閾値（閾値１）以上のラインを検出したか否かを判定する。

ライン平均輝度と全画面平均輝度との差分値が閾値以上のラインを検出したと判定されれば（YES）、フラッシュ検出部２０は、処理をステップＳ3310に移行させ、ライン平均輝度と全画面平均輝度との差分値が閾値以上のラインを検出したと判定されなければ（NO）、フラッシュ検出部２０は、処理をステップＳ3315に移行させる。ライン平均輝度と全画面平均輝度との差分値が閾値以上のラインを検出しなければ、フラッシュは発光していないということである。

フラッシュ検出部２０は、ライン平均輝度と全画面平均輝度との差分値が閾値以上のラインを検出した場合、さらに、ステップＳ3310にて、そのライン内のそれぞれのブロック平均輝度と全画面平均輝度との差分値が閾値（閾値２）以上であるか否かを判定する。フラッシュ検出部２０は、それぞれのブロック平均輝度と全画面平均輝度との差分値が閾値以上であると判定されれば（YES）、フラッシュ検出部２０は、処理をステップＳ3311に移行させる。なお、この際、フラッシュ検出部２は、検出したラインがフレームの最初のラインから何ライン目かを示す検出ライン情報を記憶しておく。

一方、それぞれのブロック平均輝度と全画面平均輝度との差分値が閾値以上であると判定されなければ（NO）、フラッシュ検出部２０は、既に検出ライン情報を記憶している場合は、それを消去するとともに、処理をステップＳ3315に移行させる。

フラッシュ検出部２０は、ステップＳ3311にて、ライン平均輝度と全画面平均輝度との差分値が閾値以上であり、それぞれのブロック平均輝度と全画面平均輝度との差分値が閾値以上であるという２つの条件を満たすラインが所定ライン数以上継続したか否かを判定する。所定ライン数以上継続したと判定されれば（YES）、フラッシュ検出部２０は処理をステップＳ3314に移行させ、所定ライン数以上継続したと判定されなければ（NO）、フラッシュ検出部２０は処理をステップＳ3315に移行させる。

フラッシュ検出部２０は、ステップＳ3314にて、フラッシュの発光を検出していない状態からフラッシュの発光を検出した状態へとフラッシュ検出状態を変更する。また、フラッシュ検出部２０は、記憶している検出ライン情報をフラッシュ補正部８０に供給し、検出ライン情報を消去する。

一方、ステップＳ3308にて通常状態であると判定されなければ（NO）、フラッシュ検出部２０は、ステップＳ3312にて、ライン平均輝度と全画面平均輝度との差分値が閾値未満であるか、または、それぞれのブロック平均輝度と全画面平均輝度との差分値が閾値未満であるラインを検出したか否かを判定する。少なくとも一方を満たさないラインが現れたと判定されれば（YES）、フラッシュ検出部２０は処理をステップＳ3313に移行させる。この際、フラッシュ検出部２０は、検出したラインがフレームの最初のラインから何ライン目かを示す検出ライン情報を記憶しておく。

少なくとも一方を満たさないラインが現れたと判定されなければ（NO）、フラッシュ検出部２０は、処理をステップＳ3315に移行させる。

フラッシュ検出部２０は、ステップＳ3313にて、上記の２つの条件の少なくとも一方を満たさない状態が所定ライン数以上継続したか否かを判定する。所定ライン数以上継続したと判定されれば（YES）、フラッシュ検出部２０は処理をステップＳ3314に移行させ、所定ライン数以上継続したと判定されなければ（NO）、フラッシュ検出部２０は処理をステップＳ3315に移行させる。

フラッシュ検出部２０は、ステップＳ3314にて、フラッシュの発光を検出した状態からフラッシュの発光を検出していない状態へとフラッシュ検出状態を変更する。また、フラッシュ検出部２０は、記憶している検出ライン情報をフラッシュ補正部８０に供給し、検出ライン情報を消去する。

フラッシュ検出部２０は、ステップＳ3315にて、全有効ラインに対する判定が終了したか否かを判定する。全有効ラインに対する判定が終了したと判定されれば（YES）、フラッシュ検出部２０は、処理をステップＳ3316に移行させ、全有効ラインが終了したと判定されなければ（NO）、フラッシュ検出部２０は、処理をステップＳ3301に戻してステップＳ3301以降を繰り返す。フラッシュ検出部２０は、ステップＳ3316にて、ライン平均輝度の加算値を有効ライン数で除算して全画面平均輝度を算出し、全画面平均輝度を保持する。

第３実施形態によれば、第１及び第２実施形態よりもフラッシュが発光したか否かの検出精度を向上させることができる。図１４を用いて、検出精度を向上させることができる理由について説明する。

図１４は、画面内に部分的に矩形状の高輝度領域Ａｒｈが含まれる画像Ｉｍｉの例を示している。ハッチングを付した高輝度領域Ａｒｈは例えば白レベルであるとする。高輝度領域Ａｒｈは矩形状でなくてもよい。有効ラインＬｎｅにおいては、ライン平均輝度は比較的高い値となる。有効ラインＬｎｅ以外のラインでも高輝度領域Ａｒｈが存在している垂直方向の範囲では同様である。従って、第１実施形態においては、高輝度領域Ａｒｈが存在している垂直方向の範囲でフラッシュが発光したと誤判定する可能性がある。

図１４では、１ラインを４つのブロックＢ１〜Ｂ４に分割した例を示している。ブロック平均輝度算出部２０１で算出されるブロック平均輝度は、ブロックＢ１ではさほど高い値とはならない。ブロック平均輝度はブロックＢ２，Ｂ３では高い値となり、ブロックＢ４ではブロックＢ２，Ｂ３よりも小さな値となる。有効ラインＬｎｅにおいて、図１３のステップＳ3309にて、ライン平均輝度と全画面平均輝度との差分値が閾値以上であると判定されたとしても、ステップＳ3310にて、少なくともブロックＢ１で、ブロック平均輝度と全画面平均輝度との差分値が閾値以上であると判定されない。

従って、第３実施形態によれば、図１４の例のように部分的な高輝度領域Ａｒｈを含む画像Ｉｍｉであっても、フラッシュが発光したと誤判定する可能性を大幅に低減させることができる。

第３実施形態によれば、フラッシュ補正部８を有することによる第１及び第２実施形態と同じ効果を奏するとともに、フラッシュ検出部２の代わりにフラッシュ検出部２０を設けたことによるフラッシュが発光したか否かの検出精度を向上させることができるという効果を奏する。

＜第４実施形態＞
第４実施形態の画像処理装置の構成は、図１に示す第１実施形態のビデオカメラ１０１または図１２に示す第３実施形態のビデオカメラ１０３と同様である。第４実施形態は、フラッシュの発光によって部分的に高輝度となったとしても画像データを補正しない状態で表示部７に表示させる一方で、フラッシュ補正部８によって補正された画像データを記録再生部（記録部）１１に記録させるように構成している。

図１５を用いて、第４実施形態によるビデオカメラの動作について説明する。図１５において、図３または図９と同一部分には同一符号を付し、その説明を適宜省略することとする。図１５のステップＳ１，Ｓ２，Ｓ４〜Ｓ６，Ｓ３０は、図３または図９のステップＳ１，Ｓ２，Ｓ４〜Ｓ６，Ｓ３０と同じである。第４実施形態においては、図１５に示すように、制御部９は、ステップＳ６に続き、ステップＳ134にて、フラッシュ検出領域があるか否かを判定する。

フラッシュ検出領域があると判定されれば（YES）、制御部９は、ステップＳ144にて、フラッシュ補正部８によるフラッシュ補正処理を実行させて、処理をステップＳ７に移行させる。フラッシュ検出領域があると判定されなければ（NO）、制御部９は、処理をステップＳ７に移行させる。制御部９は、ステップＳ７にて、圧縮伸張処理部５より出力された符号化データを記録再生部１１に記録させる。図１５のステップＳ８〜Ｓ１０は、図３または図９のステップＳ８〜Ｓ１０と同じである。

ステップＳ144によるフラッシュ補正処理は、図６，図８，図１１のいずれでもよい。

第４実施形態によれば、図６，図８，図１１のように補正した画像データを記録再生部１１に記録させるので、フラッシュが発光している状況で撮影したという臨場感を損ねることがなく、フラッシュの発光による画像の違和感を軽減した画像データを再生することができる。

＜第５実施形態＞
第３実施形態の画像処理装置の構成は、図１に示す第１実施形態のビデオカメラ１０１または図１２に示す第３実施形態のビデオカメラ１０３と同様である。第５実施形態は、フラッシュ検出部２またはフラッシュ検出部２０によってフラッシュの発光が検出された場合には、フラッシュ補正部８によって補正した画像データを表示部７に表示させるとともに、記録再生部１１に記録させるように構成している。

図１６を用いて、第５実施形態における動作について説明する。図１６において、図３，図９，図１５と同一のステップには同一の符号を付し、その説明を適宜省略する。図１５は、画像処理装置の構成を、フラッシュ検出部２を有する図１のビデオカメラ１０１と同様の構成とした場合の処理を示している。

図１６において、制御部９は、ステップＳ２に続き、ステップＳ305にて、フラッシュ検出部２によるフラッシュ検出処理及びフラッシュ補正部８によるフラッシュ補正処理を実行させる。制御部９は、ステップＳ305と並行して、ステップＳ４にて、画像信号処理部３による画像信号処理を実行させる。ステップＳ305によるフラッシュ補正処理は、図６，図８，図１１のいずれでもよい。

制御部９は、ステップＳ５にて、出力信号処理部６を制御して、フラッシュ補正部８によってフラッシュ補正処理を施した画像を表示部７に表示させる。

制御部９は、ステップＳ６にて、操作スイッチ１２による記録開始の指示があったか否かを判定する。記録開始の指示があったと判定されれば（YES）、制御部９は、ステップＳ７にて、フラッシュ補正部８によってフラッシュ補正処理が施され、圧縮伸張処理部５によって圧縮処理された符号化データを記録再生部１１に記録させる。なお、フラッシュ補正部８によってフラッシュ補正処理が施された画像データはバッファメモリ４に一旦保持されて、圧縮伸張処理部５によって圧縮処理される。

記録開始の指示があったと判定されなければ（NO）、制御部９は、処理をステップＳ１０に移行させる。

制御部９は、ステップＳ８にて、記録終了の指示があったか否かを判定する。記録終了の指示があったと判定されれば（YES）、制御部９は、ステップＳ９にて、記録再生部１１への記録を停止させる。記録終了の指示があったと判定されなければ（NO）、制御部９は処理をステップＳ７に戻してステップＳ７を繰り返す。

そして、制御部９は、ステップＳ１０にて、操作スイッチ１２による撮影終了の指示があったか否かを判定する。撮影終了の指示があったと判定されれば（YES）、制御部９は処理を終了させる。撮影終了の指示があったと判定されなければ（NO）、制御部９は、処理をステップＳ２に戻してステップＳ２以降を繰り返す。

第５実施形態によれば、図６，図８，図１１のように補正した画像データを表示部７に表示させるので、フラッシュの発光による画像の違和感を軽減するよう補正した画像データを確認することができる。また、第４実施形態と同様、補正した画像データを記録再生部１１に記録させるので、フラッシュが発光している状況で撮影したという臨場感を損ねることがなく、フラッシュの発光による画像の違和感を軽減した画像データを再生することができる。

以上説明した第１〜第５実施形態によれば、次のような効果も奏する。上述したフラッシュ検出部２またはフラッシュ検出部２０によれば、比較的誤検出少なく、フラッシュの発光を検出することができる。しかしながら、例えば画面全体が明るい画像の場合には、フラッシュの発光でなくても、フラッシュの発光と誤検出する可能性がある。

第１〜第５実施形態においては、単に複数の画面の部分的な領域の画像データを集約して合成画面を生成するだけであるので、仮にフラッシュの発光以外の画像をフラッシュの発光と誤検出した場合でも、合成画面を生成したことによる違和感はほとんどない。第１〜第５実施形態によれば、フラッシュ発光の誤検出が発生した場合でも、画像データの補正による悪影響を与えにくいという効果も奏する。

本発明は以上説明した各実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。各実施形態ではビデオカメラを例としたが、画像データを扱う任意の電子機器において本発明の画像処理装置及び方法を用いることができる。例えば、画像表示装置やコンピュータ等の情報処理装置において各実施形態の画像処理装置を搭載し、画面の一部が高輝度となっている画像データを画像表示装置や情報処理装置の内部で補正するようにしてもよい。

また、各実施形態においては、画像信号処理部３での処理を終了した映像データを補正する構成を示したが、画像信号処理部３で処理する前の映像データを補正してもよい。各実施形態においては、画像信号処理部３や圧縮伸張処理部５とは独立して設けたバッファメモリ４を用いる構成を示したが、画像信号処理部３や圧縮伸張処理部５で使用するバッファメモリを用いてもよく、回路（ブロック）構成は適宜に変更が可能である。

本発明の画像処理装置及び方法と同等の構成をコンピュータプログラム（画像処理プログラム）によって実現することも可能である。画像処理プログラムを記録媒体に記録して提供してもよく、インターネット等の通信回線にて画像処理プログラムを配信してもよい。記録媒体に記録された画像処理プログラムや通信回線にて配信された画像処理プログラムを画像処理装置に記憶させて、上述した画像処理方法を実行させるようにしてもよい。

１ 撮像部
１ｓ CMOSセンサ
２，２０ フラッシュ検出部
３ 画像信号処理部
４ バッファメモリ（保持部）
５ 圧縮伸張処理部
６ 出力信号処理部
７ 表示部
８ フラッシュ補正部
９ 制御部
１０ メモリ
１１ 記録再生部（記録部）
１２ 操作スイッチ
２１，２０３ ライン平均輝度算出部
２３，２０５ 全画面平均輝度算出部
２５，２０７ 差分算出部
２６，２０８ フラッシュ判定部
８１ 補正制御部
８２ 補正処理部
１０１，１０３ ビデオカメラ
２０１ ブロック平均輝度算出部

Claims (7)

1. 画像データで構成される画面内にフラッシュの発光によって高輝度となっている領域が含まれるか否かを検出するフラッシュ検出部と、
   前記画像データの過去の画面を保持する保持部と、
   前記フラッシュ検出部によって高輝度となっている領域が含まれていることが検出された場合、前記保持部に保持された部分的に高輝度となっている第１の領域を含む第１の画面における前記第１の領域の画像データと、前記第１の画面に隣接する部分的に高輝度となっている第２の領域を含む第２の画面における前記第２の領域の画像データとを１画面に集約するよう画像データを補正する補正処理部と、
   を備え、
   前記フラッシュ検出部は、
   検出対象画面におけるそれぞれのラインのライン平均輝度を算出するライン平均輝度算出部と、
   前記ライン平均輝度算出部で算出された１画面におけるそれぞれのラインのライン平均輝度に基づいて、前記検出対象画面の少なくとも１画面前の画面である過去の画面の全画面平均輝度を算出する全画面平均輝度算出部と、
   前記検出対象画面におけるそれぞれのラインの前記ライン平均輝度と前記全画面平均輝度とを比較することによって、前記検出対象画面内のラインがフラッシュの発光によって高輝度となっているか否かを判定するフラッシュ判定部と、
   を有することを特徴とする画像処理装置。
2. 画像データで構成される画面内にフラッシュの発光によって高輝度となっている領域が含まれるか否かを検出するフラッシュ検出部と、
   前記画像データの過去の画面を保持する保持部と、
   前記フラッシュ検出部によって高輝度となっている領域が含まれていることが検出された場合、前記保持部に保持された部分的に高輝度となっている第１の領域を含む第１の画面における前記第１の領域の画像データと、前記第１の画面に隣接する部分的に高輝度となっている第２の領域を含む第２の画面における前記第２の領域の画像データとを１画面に集約するよう画像データを補正する補正処理部と、
   を備え、
   前記フラッシュ検出部は、
   検出対象画面におけるラインを複数のブロックに分割したそれぞれのブロックのブロック平均輝度を算出するブロック平均輝度算出部と、
   前記ブロック平均輝度算出部で算出された１ラインにおけるブロック平均輝度に基づいて、前記検出対象画面におけるそれぞれのラインのライン平均輝度を算出するライン平均輝度算出部と、
   前記ライン平均輝度算出部で算出された１画面におけるそれぞれのラインのライン平均輝度に基づいて、前記過去の画面の全画面平均輝度を算出する全画面平均輝度算出部と、
   前記ブロック平均輝度と前記全画面平均輝度との差分と、前記ライン平均輝度と前記全画面平均輝度との差分とをそれぞれ算出する差分算出部と、
   前記ライン平均輝度と前記全画面平均輝度との差分が第１の閾値以上であり、前記ブロック平均輝度と前記全画面平均輝度との差分が第２の閾値以上である条件が所定ライン以上継続した場合にフラッシュの発光によって高輝度となっていると判定するフラッシュ判定部と、
   を有することを特徴とする記載の画像処理装置。
3. 前記補正処理部は、前記第１の領域と前記第２の領域とを合わせた領域が１画面の全領域以上であるとき、前記第１の領域の画像データと前記第２の領域の画像データとを１画面に集約するよう画像データを補正することを特徴とする請求項１または２に記載の画像処理装置。
4. 画像データを記録再生する記録再生部をさらに備え、
   前記補正処理部は、前記記録再生部より再生された画像データを補正する
   ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記補正処理部によって補正された画像データを記録する記録部をさらに備えることを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
6. 画像データで構成される検出対象画面におけるそれぞれのラインのライン平均輝度を算出し、
   算出された１画面におけるそれぞれのラインのライン平均輝度に基づいて、前記検出対象画面の少なくとも１画面前の画面である過去の画面の全画面平均輝度を算出し、
   前記検出対象画面におけるそれぞれのラインの前記ライン平均輝度と前記全画面平均輝度とを比較することによって、前記検出対象画面内のラインがフラッシュの発光によって高輝度となっているか否かを判定することによって、前記検出対象画面内にフラッシュの発光によって高輝度となっている領域が含まれるか否かを検出し、
   前記画像データの過去の画面を保持部に保持し、
   前記検出対象画面内に高輝度となっている領域が含まれていることが検出された場合、前記保持部に保持された部分的に高輝度となっている第１の領域を含む第１の画面における前記第１の領域の画像データと、前記第１の画面に隣接する部分的に高輝度となっている第２の領域を含む第２の画面における前記第２の領域の画像データとを１画面に集約するよう画像データを補正する
   ことを特徴とする画像処理方法。
7. 画像データの過去の画面を保持部に保持し、
   前記画像データで構成される検出対象画面におけるラインを複数のブロックに分割したそれぞれのブロックのブロック平均輝度を算出し、
   算出された１ラインにおけるブロック平均輝度に基づいて、前記検出対象画面におけるそれぞれのラインのライン平均輝度を算出し、
   算出された１画面におけるそれぞれのラインのライン平均輝度に基づいて、前記過去の画面の全画面平均輝度を算出し、
   前記ブロック平均輝度と前記全画面平均輝度との差分と、前記ライン平均輝度と前記全画面平均輝度との差分とをそれぞれ算出し、
   前記ライン平均輝度と前記全画面平均輝度との差分が第１の閾値以上であり、前記ブロック平均輝度と前記全画面平均輝度との差分が第２の閾値以上である条件が所定ライン以上継続した場合にフラッシュの発光によって高輝度となっていると判定することによって、前記検出対象画面内にフラッシュの発光によって高輝度となっている領域が含まれるか否かを検出し、
   前記検出対象画面内に高輝度となっている領域が含まれていることが検出された場合、前記保持部に保持された部分的に高輝度となっている第１の領域を含む第１の画面における前記第１の領域の画像データと、前記第１の画面に隣接する部分的に高輝度となっている第２の領域を含む第２の画面における前記第２の領域の画像データとを１画面に集約するよう画像データを補正する
   ことを特徴とする画像処理方法。

Images