JP4600684B2

JP4600684B2 - 撮影装置及び撮影方法

Info

Publication number: JP4600684B2
Application number: JP2006223095A
Authority: JP
Inventors: 洋子三次
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2006-08-18
Filing date: 2006-08-18
Publication date: 2010-12-15
Anticipated expiration: 2026-08-18
Also published as: JP2008048251A

Description

本発明は撮影装置及び撮影方法に係り、監視システム等において、逆光や過順光等の高コントラスト状態となる照明条件であっても、注目すべき被写体や背景を見易い画像にして出力させるための画像処理技術に関する。

従来から、監視システムでは人や車等の被写体に注目した撮影を行うことが多いが、被写体に対する撮影環境が常に良好な照明条件になるとは限らない。例えば、屋外での過順光や、建物内から外を撮影する際の逆光等に代表される高コントラスト状態のシーンでは、画像全体の露光を適正にするためにシャッタスピードや絞り・ゲインを調整しても、被写体や背景が白とび状態や黒つぶれ状態で撮影されてしまうことがある。

それらの現象を防止する対策として、撮影画角を矩形等の複数の領域に分割し、各分割領域についてそれぞれ検出した光量に対して重み付けを行って全体の露光を決定する自動露光制御（Automatic Exposure：ＡＥ）や、画面全体又は画面の中央付近の予め設定した注目領域に合わせた露光制御を行う逆光補正機能（Back Light Control：ＢＬＣ）等の調整機能が知られているが、全体の光量バランスによって被写体部分が暗く又は明るくなり過ぎる場合や、任意の位置に出現・移動する被写体に対して適正な測光ができないという問題があり、充分な効果が得られないことがある。また、逆に被写体に対してのみ露光を合わせると、背景が白とびや黒つぶれになって見えなくなることがある。

これに対して、ダイナミックレンジの広い撮像素子を用いれば、高コントラストになる照明条件にも適応でき、ＳＮ比も良くなるが、当然に撮像素子が高価なものになる。そこで、下記特許文献１では、高輝度被写体と低輝度被写体が存在するダイナミックレンジの大きな画像において、高輝度被写体が白とびしないように露光制御を行い、黒つぶれした低輝度被写体はガンマ補正により輝度レベルを持ち上げることで、各被写体を良好な画像で表示する画像処理技術が開示されており、また、下記特許文献２では、撮像素子の受光量を変化させて同一被写体を撮像し、それらの長時間露光信号と短時間露光信号に別々の特性をもつガンマ補正を施して合成することにより、ダイナミックレンジを拡大した映像信号を得る技術が開示されている。
特開２００４−２３６０５号公報特開２００１−１６４９９号公報

ところで、前記特許文献１の画像処理によると、各被写体のコントラスト差が大きい状態において高輝度被写体に合わせた露光調整を行った場合には、低輝度被写体の領域が黒つぶれして画像データから色・輪郭等の情報が消失し、ガンマ補正等の後処理を施しても復元できないことがある。仮に、画像データに色・輪郭等の情報が残っていたとしても、後処理を施した画像はＳＮ比が悪いものとなる。また、画像全体を補正するため、適正露光で撮影した被写体であっても、その高輝度部分が明るくなり過ぎたり、画質の劣化を招いたりすることも想定される。一方、前記特許文献２の画像処理は、同一被写体について露光時間が異なる２つの画像信号を得ているために前記特許文献１の場合のような問題はないが、同一のダイナミックレンジの撮像素子で撮影した高輝度信号と低輝度信号とを補正後に加算しているだけであるため、低輝度領域でのノイズが増大する可能性がある。更に、加算処理が画像全体を対象とした処理であるため、全体的にコントラストの低い画像になってしまうという問題もある。

そこで、本発明は、被写体と背景に着目した露光及び重み付けを加味した画像処理により、前記従来技術での各問題点を解消させて、逆光や過順光等のように高コントラスト状態になる照明条件でも良好な画像データを得ることが可能な撮影装置及び撮影方法を提供することを目的とする。

第１の発明は、自動露光制御機能を有した撮影装置において、撮像された画像のフレームデータを逐次記憶するフレーム記憶手段と、前記フレーム記憶手段が記憶した第１番目のフレームデータから目的とする被写体を検出する被写体検出手段と、前記被写体検出手段が被写体を検出した場合に、その被写体領域の輝度ヒストグラムを作成する第１のヒストグラム作成手段と、前記第１のヒストグラム作成手段が作成した被写体領域の輝度ヒストグラムにおける累積画素数の分布が、予め適正露光状態とみなす輝度範囲として設定した中間輝度範囲内に所定割合以上含まれているかを判定する判定手段と、前記判定手段の判定結果が否定的であった場合に、前記被写体領域の輝度ヒストグラムにおける累積画素数の分布がほぼ前記中間輝度範囲内に納まるように露光制御を行う第１の露光制御手段と、前記判定手段の判定結果が否定的であった場合に、前記フレーム記憶手段が記憶した第１番目のフレームデータにおける前記被写体領域以外の領域（以下、「背景領域」という）の輝度ヒストグラムを作成する第２のヒストグラム作成手段と、前記背景領域の輝度ヒストグラムにおける累積画素数の分布がほぼ前記中間輝度範囲内に納まるように露光制御を行う第２の露光制御手段と、前記第１の露光制御手段と前記２の露光制御手段による各露光制御状態でそれぞれ得られる第２番目のフレームと第３番目のフレームを前記フレーム記憶手段が記憶した段階で、前記第２番目のフレームについては前記被写体領域の画素データと前記背景領域における前記中間輝度範囲の画素データに対して他の画素データよりも大きい重み付けを施し、また前記第３番目のフレームについては前記背景領域の前記中間輝度範囲の画素データに対して他の画素データよりも大きい重み付けを施す重み付け手段と、前記重み付け手段により重み付け処理がなされた前記第２番目のフレームと前記第３番目のフレームの各フレームデータを合成するフレーム合成手段とを具備し、前記被写体検出手段が被写体を検出し、且つ前記判定手段の判定結果が否定的であった場合には、前記フレーム合成手段が合成したフレームを出力させ、それ以外の場合には、フレーム全体の光量に基づいて露光状態を設定する自動露光制御を行ってフレームを出力させることを特徴とする撮影装置に係る。

この発明では、フレーム記憶手段が記憶した第１番目のフレームを被写体の検出と露光状態の解析に用い、目的とする被写体が検出された場合には、被写体領域の輝度ヒストグラムを作成して被写体が適正露光状態で撮影されているか否かを判定する。その判定結果において、適正露光状態で撮影されていないと判定されると、先ず、被写体領域の露光状態を適正化するように露光制御して第２番目のフレームをフレーム記憶手段に記憶させる。また、第１番目のフレームから背景領域の輝度ヒストグラムを作成し、背景領域の露光状態を適正化するように露光制御して第３番目のフレームをフレーム記憶手段が記憶させる。ここで、第２番目のフレームは被写体領域だけに合わせた露光制御によるものであり、第３番目のフレームは背景領域だけに合わせた露光制御であるため、それぞれ画像全体としては露光が適正でない領域が存在する。そこで、各フレームの適正な露光領域にある画素データに対して大きな重み付けを施す重み付け処理を行い、その重み付け後の各フレームを合成させて出力している。従って、たとえ過順光や逆光のような照明条件になっていても、合成フレームでは被写体領域と背景領域のいずれにおいても黒つぶれや白とびのない良好な画像データが得られる。一方、被写体が検出されない場合や検出されても適正露光状態で撮影されている場合には、フレーム全体の光量に基づいて露光状態を設定する自動露光制御を行っており、この場合にも、少なくとも前記合成フレームで得られる程度の画質の画像データが得られる。

尚、前記第２の露光制御手段としては、前記第１のヒストグラム作成手段が作成した輝度ヒストグラムにおける累積画素数の分布が前記中間輝度範囲に対して低輝度範囲側又は高輝度範囲側のいずれに偏在するかを確認し、前記低輝度範囲側に偏在していた場合には、前記第２のヒストグラム作成手段が作成した輝度ヒストグラムにおける背景領域の高輝度範囲にある累積画素数の分布が中間輝度範囲内に納まるように露光制御を行い、前記高輝度範囲側に偏在していた場合には、前記第２のヒストグラム作成手段が作成した輝度ヒストグラムにおける背景領域の低輝度範囲にある累積画素数の分布が中間輝度範囲内に納まるように露光制御を行う手段とすることが合理的である。

第２の発明は、第１の発明を撮影方法として捉えたものであり、自動露光制御機能を有した撮影装置による撮影方法であって、撮影された画像の第１番目のフレームデータをフレーム記憶手段に記憶させる第１のステップと、前記フレーム記憶手段の第１番目のフレームデータから目的とする被写体を検出する第２のステップと、前記第２のステップで被写体を検出した場合に、その被写体領域の輝度ヒストグラムを作成する第３のステップと、前記第３のステップで作成した被写体領域の輝度ヒストグラムにおける累積画素数の分布が、予め適正露光状態とみなす輝度範囲として設定した中間輝度範囲内に所定割合以上含まれているか否かを判定する第４のステップと、前記第４のステップでの判定結果が否定的であった場合に、前記被写体領域の輝度ヒストグラムにおける累積画素数の分布がほぼ前記中間輝度範囲内に納まるように露光制御を行い、前記フレーム記憶手段に第２番目のフレームを記憶させる第５のステップと、前記第４のステップでの判定結果が否定的であった場合に、前記フレーム記憶手段が記憶した第１番目のフレームデータにおける背景領域の輝度ヒストグラムを作成する第６のステップと、前記第６のステップで作成した背景領域の輝度ヒストグラムにおける累積画素数の分布がほぼ前記中間輝度範囲内に納まるように露光制御を行い、前記フレーム記憶手段に第３番目のフレームを記憶させる第７のステップと、前記第５のステップで前記フレーム記憶手段に記憶させた前記第２番目のフレームについて前記被写体領域の画素データと前記背景領域における前記中間輝度範囲の画素データに対して他の画素データよりも大きい重み付けを施し、第７のステップで前記フレーム記憶手段に記憶させた前記第３番目のフレームについて前記背景領域の前記中間輝度範囲の画素データに対して他の画素データよりも大きい重み付けを施す第８のステップと、前記第８のステップで重み付け処理がなされた前記第２番目のフレームと前記第３番目のフレームの各フレームデータを合成して出力させる第９のステップと、前記第２のステップで被写体を検出しない場合、又は前記第４のステップでの判定結果が肯定的であった場合に、フレーム全体の光量に基づいて露光状態を設定する自動露光制御を行ってフレームを出力させる第１０のステップとを有することを特徴とする撮影方法に係る。

尚、前記第７のステップにおける露光制御は、前記第３のステップで作成した輝度ヒストグラムにおける累積画素数の分布が前記中間輝度範囲に対して低輝度範囲側又は高輝度範囲側のいずれに偏在するかを確認するステップと、前記低輝度範囲側に偏在していた場合に、前記第６のステップで作成した輝度ヒストグラムにおける背景領域の高輝度範囲にある累積画素数の分布が中間輝度範囲内に納まるように露光制御を行うステップと、前記高輝度範囲側に偏在していた場合に、前記第６のステップで作成した輝度ヒストグラムにおける背景領域の低輝度範囲にある累積画素数の分布が中間輝度範囲内に納まるように露光制御を行うステップによって実行されることが望ましい。

本発明によれば、逆光状態や可順光状態等の高コントラストになる照明条件であっても、フレームにおける被写体領域と背景領域のいずれにも黒つぶれや白とびが発生せずに全体として分解能の高い撮影画像を得ることが可能になり、特に監視システムに好適な撮影装置と撮影方法を提供する。

以下、本発明の撮影装置及び撮影方法の実施形態を図面に基づいて説明する。先ず、図１は監視カメラのブロック図であり、１１は対物レンズと絞り・焦点調節機構を含んだ結像光学系部、１２はＣＣＤ（Charge Coupled Devices）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサで構成された撮像素子、１３は撮像信号の雑音除去［ＣＤＳ（Correllated Double Sampling）回路］やゲイン調整［ＡＧＣ（Auto Gain Control）回路］等のアナログ信号処理を行うＡＦＥ（Analogue Front End）、１４はＡＦＥ１３で処理されたアナログ信号をデジタル信号へ変換するＡ/Ｄ変換器、１５はメモリ、１６はメモリ１５にセーブさせたフレームデータを解析して焦点・露光制御データを作成すると共に各種データ処理を行うデジタル信号処理部（ＤＳＰ）、１７はＤＳＰ１６で処理された画像データのデジタル信号をアナログ信号に変換するＤ/Ａ変換器、１８はＤＳＰ１６が作成した焦点・露光制御データに基づいて結像光学系部１１の絞り・焦点調節機構を駆動するレンズ・絞り駆動部、１９はＤＳＰ１６が作成した焦点・露光制御データに基づいて撮像素子１２のシャッタスピードやＣＤＳ回路のサンプルホールドタイミングを設定するためのパルスを生成するタイミングジェネレータ、２０はシステム全体の動作を制御（ＡＦＥ１３のＡＧＣ回路は直接制御）するマイクロコンピュータ回路、２１はネットワークを介して画像データを集中監視室（図示せず）へ伝送すると共に集中監視室側から受信した制御信号をマイクロコンピュータ回路２０へ出力する通信制御部である。

以上の監視カメラの基本的構成は格別な特徴を有するものではないが、この実施形態では、撮影時の照明条件が逆光や過順光等の高コントラスト状態になっている可能性がある場合に、ＤＳＰ１６がフレーム画像を解析して露光制御と特有の画像処理を行うことにより出力フレームを生成させる点に特徴がある。以下、その動作手順を図２のフローチャートを参照しながら説明する。

先ず、監視エリアの撮影画像が結像光学系部１１により撮像素子１２に結像せしめられ、撮像素子１２で光電変換された撮像信号はＡＦＥ１３で信号処理を経た後、Ａ/Ｄ変換器１４でデジタル信号へ変換されてＤＳＰ１６へ入力される。ＤＳＰ１６では、入力画像データのフレームＦ(i)をメモリ１５にセーブさせ、被写体検出アルゴリズムを実行してフレームＦ(i)に被写体が含まれているか否かを確認する（S1,S2）。この実施形態では、人物を被写体に設定しており、その検出には次のようなアルゴリズムを採用できる。
(1) 人物の顔を検出して人物の位置と領域を求める方法：入力されたフレームから所定サイズ毎の画像データをサンプリングし、予め登録されている人物の顔の特徴データを参照して、人物の顔の画像データがあるか否かを判別することにより人物の位置と領域を求める。
(2) 予め登録してある背景画像と撮像画像の差分を計算し、差分画像を解析することにより人物の位置と領域を求める方法：予め背景画像フレームを取得して登録しておき、撮像画像フレームと背景画像フレームとの差分画像データの輝度情報や色情報を解析してフレーム内における人物の位置と領域を求める。
(3) 動き検出により人物の領域と位置を求める方法：前フレームと現フレームにおける対応する位置の画素について輝度や色の差を求め、その差が大きい領域を動きのない背景と区別することにより人物の位置と領域を求める。

前記被写体検出アルゴリズムの実行により被写体が検出されると、メモリ１５のフレームＦ(i)における被写体領域の輝度ヒストグラムを作成して、メモリ１５にセーブする（S3,S4）。そして、その輝度ヒストグラムにおける累積画素数の分布状態（以下、「輝度分布」という）を解析し、被写体に係る全画素の内の２０％以上が予め定めた２つの輝度レベル閾値間の範囲である中間輝度範囲内に含まれているか否かを判定する（S5）。この中間輝度範囲は適正露光状態とみなす輝度範囲であって、この実施形態では、輝度レベルを０〜２５５の２５６段階で表した場合に８０〜２００の範囲とされている。被写体に係る画素の２０％以上が前記中間輝度範囲内にあるような場合には、少なくとも被写体自体については良好なコントラストで高い画素分解能の画像が得られるが、逆に、被写体に係る画素の８０％以上が低輝度範囲（０〜７９）又は高輝度範囲（２０１〜２５５）にある場合には、撮像素子１２のダイナミックレンジ内に納まらずに、被写体の画像に白とびや黒つぶれが発生してしまう可能性がある。

前記ステップS5において、被写体に係る全画素の内の２０％以上が中間輝度範囲内に含まれていた場合には、ＤＳＰ１６は、フレームＦ(i)全体の光量に合わせた露光制御データを作成してレンズ・絞り駆動部１８とタイミングジェネレータ１９とマイクロコンピュータ回路２０へ出力し、結像光学系部１１の絞り量と撮像素子１２のシャッタスピードとＡＧＣのゲインをそれぞれ前記露光制御データに基づいて調整設定させる（S5→S6）。そして、ＤＳＰ１６はその制御状態で得られる次フレームＦ(i+1)をＤ/Ａ変換器１７へ出力させるが、フレームＦ(i+1)の画像信号は通信制御部２１からネットワークを介して集中監視室側へ伝送される（S7）。

例えば、図３（Ａ）は屋外を背景として出入口付近に居る被写体（人物）と屋内の造花や観葉植物とを屋内側から順光状態で撮影したフレーム画像であるが、画像全体と背景領域（造花や観葉植物を含む）と被写体領域に係る輝度ヒストグラムはそれぞれ図４の（Ａ）と（Ｂ）と（Ｃ）のようになる。この場合、被写体領域の輝度ヒストグラム［図４（Ｃ）］では輝度分布が全て中間輝度範囲にあり、当然に前記ステップS6,S7で処理されることになるが、フレームＦ(i)全体の光量に合わせた露光制御がなされても、平均的に良好なコントラストと視認性が確保できる。尚、ステップ6の露光制御は標準的なものであり、ステップS2において被写体が検出されなかった場合にもステップS6,S7が実行される（S3→S6,S7）。

一方、被写体に係る全画素の内で中間輝度範囲内に含まれているものが２０％より小さい場合には、ＤＳＰ１６は、直ちに背景領域（被写体以外の領域）の輝度ヒストグラムを作成すると共に、その背景領域を高輝度範囲と中間輝度範囲と低輝度範囲とに分けておく（S5→S8,S9）。また、ＤＳＰ１６は、前記ステップS4で作成した被写体領域の輝度ヒストグラムに基づいて、その輝度分布を適正化するための露光制御データを作成し、前記と同様に、レンズ・絞り駆動部１８とタイミングジェネレータ１９によって結像光学系部１１の絞り量と撮像素子１２のシャッタスピードとＡＧＣのゲインを調整設定させ、その制御状態でＡ/Ｄ変換器14から得られる次フレームＦ(i+1)をメモリ１５にセーブさせる（S10,S11）。

次に、前記ステップS10で被写体領域の適正化前の輝度分布（即ち、ステップS4で作成した被写体領域の輝度ヒストグラムの輝度分布）が低輝度範囲側と高輝度範囲側のいずれの側に偏在していたかを確認し、低輝度側に偏在していた場合には、ステップS9で分割した背景領域に係る高輝度範囲と中間輝度範囲の輝度分布を適正化する露光状態を設定し、逆に高輝度側に偏在していた場合には、背景領域に係る低輝度範囲と中間輝度範囲の輝度分布を適正化する露光状態を設定する（S12→S13orS14）。そして、それぞれの場合に応じてＤＳＰ１６が露光制御データを出力させ、レンズ・絞り駆動部１８とタイミングジェネレータ１９によって結像光学系部１１の絞り量と撮像素子１２のシャッタスピードが調整設定されＡＧＣのゲインがマイクロコンピュータ回路２０によって調整されるが、その制御状態でＡ/Ｄ変換器14から得られる次フレームＦ(i+2)をメモリ１５にセーブさせる（S15）。

ここで、被写体に係る輝度分布が前記判定結果（被写体に係る全画素の内で中間輝度範囲内に含まれているものが２０％より小さい）になった場合について考察する。この場合には、被写体がフレーム画像内の高輝度領域又は低輝度領域に存在している可能性があり、特に前記パーセンテージが小さくなればなるほどその可能性は高くなる。例えば、図３（Ａ）と同一の撮影シーンにおいて逆光状態になった場合を想定すると同図（Ｂ）のようなフレーム画像となり、そのフレームの画像全体と背景領域と被写体領域に係る輝度ヒストグラムはそれぞれ図５の（Ａ）と（Ｂ）と（Ｃ）のようになる。即ち、この例によれば、被写体は屋外の白とびを生じている高輝度領域の中で完全に黒つぶれした状態で撮影されており、造花は屋内の黒つぶれした低輝度領域の中に中間輝度領域の部分として撮像されているが、観葉植物は低輝度領域の中で黒つぶれしている。従って、フレーム画像全体と背景領域に係る各輝度ヒストグラムでは、それぞれ図５の（Ａ）と（Ｂ）ように輝度分布が低輝度範囲と高輝度範囲に偏った傾向になっており、被写体領域に係る各輝度ヒストグラムは図５（Ｃ）のように輝度分布の大半が低輝度範囲に集中している。

前記ステップS10,S11によると、図５（Ｃ）に示した被写体の輝度分布状態（被写体領域の適正化前の輝度分布が低輝度範囲側に偏在している場合に相当）を、露光制御によって図６（Ａ）に示すように中間輝度範囲側へ持ち上げて、図３（Ｃ）に示すような画像のフレームＦ(i+1)を得ており、そのフレームＦ(i+1)の画像全体に係る輝度ヒストグラムは図６（Ｂ）に示すような輝度分布となる。ここで、図３（Ｂ）と同図（Ｃ）とを比較すると明らかなように、図３（Ｂ）で黒つぶれになっていた低輝度領域が露光制御によって図３（Ｃ）では中間輝度に補正され、画像のコントラストと画素分解能が高くなって被写体と造花や観葉植物を視認できるようになっている。しかし、被写体の背景になっている高輝度領域（屋外）で白とびが発生している状態はそのままであり、図６（Ｂ）の輝度ヒストグラムの輝度分布でみれば、白とびは更に進行していることになる。尚、図示していないが、被写体領域の適正化前の輝度分布が高輝度範囲側に偏在している場合においては、逆の露光制御を行って中間輝度範囲側へ引き下げる。

また、前記ステップS12〜S15において、被写体領域の適正化前の輝度分布が低輝度範囲側に偏在していたために、背景領域の高輝度領域と中間輝度領域の輝度分布を適正化する露光制御を行った場合を例にとると、図３（Ｄ）に示すような画像のフレームＦ(i+2)が得られ、そのフレームＦ(i+2)の画像全体に係る輝度ヒストグラムは図６（Ｃ）に示すような輝度分布となる。具体的には、図３（Ｂ）の撮像画像に対応する図５（Ａ）の輝度ヒストグラムにおける高輝度範囲と中間輝度範囲にある輝度分布を引き下げており、図３（Ｂ）において被写体の背景になっている高輝度領域は中間輝度に変化しており、高輝度領域で生じていた白とびが図３（Ｄ）では消失している。但し、屋内側の中間輝度領域である造花部分と低輝度領域の黒つぶれはそのままであり、図６（Ｃ）の輝度ヒストグラムの輝度分布でみれば、むしろ黒つぶれは更に進行していることになる。

図２のフローチャートに戻って、ステップS15でのフレームＦ(i+2)のセーブが完了すると、メモリ１５にはフレームＦ(i+1)とフレームＦ(i+2)があるが、ＤＳＰ１６は各フレームの画素データに重み付け処理を施す（S15,S16）。具体的には、フレームＦ(i+1)については、被写体領域の画素データと背景領域における中間輝度範囲の画素データに対してより大きい重み付けをする傾向で重み付け処理を行い（S15）、フレームＦ(i+2)については、背景領域の中間輝度範囲の画素データに対してより大きい重み付けをする傾向で重み付け処理を行う（S16）。尚、フレームＦ(i+1)についての背景領域に関しては、中間輝度範囲における被写体領域の輝度範囲側寄りの画素データにだけより大きい重み付けを行う傾向で重み付け処理を行い、またフレームＦ(i+2)についての背景領域に関しては、中間輝度範囲における被写体領域の輝度範囲と反対側寄りの画素データにだけより大きい重み付けを行う傾向で重み付け処理を行うようにしてもよい。

前記の例でみれば、図３（Ｃ）のフレーム画像［フレームＦ(i+1)］については、被写体領域の画像データと背景領域の屋内側画像データに対して大きな重み付けがなされ、被写体の背景になっている高輝度領域は白とびにより画像としての情報量が少ないために小さい重み付けがなされる。一方、図３（Ｄ）のフレーム画像［フレームＦ(i+2)］については、中間輝度領域である屋内側の造花部分と屋外側の被写体の背景部分に大きな重み付けがなされ、他の黒つぶれが生じている低輝度領域は画像としての情報量が殆ど得られないために小さい重み付けがなされる。

このようにして各フレームＦ(i+1)，Ｆ(i+2)に対して重み付け処理を行うと、ＤＳＰ１６はそれらフレームＦ(i+1)，Ｆ(i+2)の画像データを合成したフレームＦcomを作成してＤ/Ａ変換器１７へ出力させ、前記ステップS7の場合と同様に、通信制御部２１からネットワークを介して集中監視室側へ伝送される（S18,S19）。このフレームの合成を、前記の例でみれば、実際の画像に関しては図３の（Ｃ）と（Ｄ）の撮像画像に前記重み付け処理を施したものを合成して同図の（Ｅ）に示す合成画像を得ていることになり、また、輝度ヒストグラムに関しては、図６の（Ｂ）と（Ｃ）の輝度分布が前記重み付けによって変化することも考慮して、合成後の輝度ヒストグラムは同図（Ｄ）のようになる。そして、図６（Ｄ）によると、低輝度範囲と高輝度範囲には殆ど輝度分布が無く、大半が中間輝度範囲に納まっていることから、図３（Ｅ）の合成フレーム画像［フレームＦcom］では、被写体と造花や観葉植物が黒つぶれや白とびになることなく、良好なコントラストと分解能で表示される状態になっている。

以降、以上の手順を繰り返し実行すると（S1〜S7→S20→S1又はS1〜S19→S21→S1）、フレーム画像から被写体を検出しない状態及び被写体が適正露光にある状態が連続している場合には、画面全体の光量に合わせて露光制御がなされたフレームが２フレームにつき１フレームずつ出力され、前記の場合に該当せず、逆光や過順光によって黒つぶれや白とびが生じている可能性のある状態が連続している場合については、被写体領域と背景領域のいずれにも黒つぶれや白とびが生じていないフレームが３フレームに１フレームずつ出力されることになる。

尚、以上の実施形態では、フレームＦ(i)を被写体検出と輝度分布解析用に用い、被写体領域の輝度分布を適正化したフレームＦ(i+1)と背景領域の輝度分布を適正化したフレームＦ(i+2)を得て、それらのフレームを合成するようにしているが、フレームＦ(i)を用いた背景領域の輝度分布解析により適正な露光状態であることが確認できた場合には、フレームＦ(i+1)だけを得てフレームＦ(i)と合成するようにしてもよい。また、図２のフローチャートでは単一の被写体であることを前提にしているが、複数の被写体を検出した場合には、それぞれの被写体について輝度ヒストグラムを作成して輝度分布から露光状態を判定し、各被写体の輝度分布がほぼ同一であったときには、たとえ領域的には離隔していても単一の被写体として扱い、各被写体の輝度分布が異なっていたときには、それぞれについて露光を適正化したフレームを取得するようにして、それぞれのフレーム毎にステップS16での重み付け処理を施すようにすればよい。

本発明は、露光制御機能を備えた監視カメラ等の撮影装置に適用できる。

本発明の実施形態に係る監視カメラのブロック図である。監視カメラの露光制御・出力フレーム生成動作を示すフローチャートである。監視カメラによる撮像画像と出力画像の例を示す図であり、（Ａ）は順光状態での撮像画像、（Ｂ）は逆光状態での撮像画像、（Ｃ）は被写体（人物）領域の輝度分布を適正化した露光状態での撮像画像、（Ｄ）は背景領域の輝度分布を適正化した露光状態での撮像画像、（Ｅ）は（Ｃ）と（Ｄ）の撮像画像に重み付け処理を施して合成した出力画像である。監視カメラが順光状態で撮影した場合における輝度ヒストグラムであり、（Ａ）は撮像画像（フレーム）全体の輝度ヒストグラム、（Ｂ）は背景領域の輝度ヒストグラム、（Ｃ）は被写体の輝度ヒストグラムである。監視カメラが逆光状態で撮影した場合における輝度ヒストグラムであり、（Ａ）は撮像画像（フレーム）全体の輝度ヒストグラム、（Ｂ）は背景領域の輝度ヒストグラム、（Ｃ）は被写体の輝度ヒストグラムである。（Ａ）は露光を適正化した状態での被写体領域の輝度ヒストグラム、（Ｂ）は被写体領域の輝度分布を適正化した露光状態での撮像画像の輝度ヒストグラム、（Ｃ）は背景領域の輝度分布を適正化した露光状態での撮像画像の輝度ヒストグラム、（Ｄ）は合成画像の輝度ヒストグラムである。

符号の説明

１１…結像光学系部、１２…撮像素子、１３…ＡＦＥ（Analogue Front End）、１４…Ａ/Ｄ変換器、１５…メモリ、１６…ＤＳＰ（デジタル信号処理部）、１７…Ｄ/Ａ変換器、１８…レンズ・絞り駆動部、１９…タイミングジェネレータ、２０…マイクロコンピュータ回路、２１…通信制御部。

Claims

自動露光制御機能を有した撮影装置において、
撮像された画像のフレームデータを逐次記憶するフレーム記憶手段と、
前記フレーム記憶手段が記憶した第１番目のフレームデータから目的とする被写体を検出する被写体検出手段と、
前記被写体検出手段が被写体を検出した場合に、その被写体領域の輝度ヒストグラムを作成する第１のヒストグラム作成手段と、
前記第１のヒストグラム作成手段が作成した被写体領域の輝度ヒストグラムにおける累積画素数の分布が、予め適正露光状態とみなす輝度範囲として設定した中間輝度範囲内に所定割合以上含まれているかを判定する判定手段と、
前記判定手段の判定結果が否定的であった場合に、前記被写体領域の輝度ヒストグラムにおける累積画素数の分布がほぼ前記中間輝度範囲内に納まるように露光制御を行う第１の露光制御手段と、
前記判定手段の判定結果が否定的であった場合に、前記フレーム記憶手段が記憶した第１番目のフレームデータにおける前記被写体領域以外の領域（以下、「背景領域」という）の輝度ヒストグラムを作成する第２のヒストグラム作成手段と、
前記背景領域の輝度ヒストグラムにおける累積画素数の分布がほぼ前記中間輝度範囲内に納まるように露光制御を行う第２の露光制御手段と、
前記第１の露光制御手段と前記２の露光制御手段による各露光制御状態でそれぞれ得られる第２番目のフレームと第３番目のフレームを前記フレーム記憶手段が記憶した段階で、前記第２番目のフレームについては前記被写体領域の画素データと前記背景領域における前記中間輝度範囲の画素データに対して他の画素データよりも大きい重み付けを施し、また前記第３番目のフレームについては前記背景領域の前記中間輝度範囲の画素データに対して他の画素データよりも大きい重み付けを施す重み付け手段と、
前記重み付け手段により重み付け処理がなされた前記第２番目のフレームと前記第３番目のフレームの各フレームデータを合成するフレーム合成手段と
を具備し、前記被写体検出手段が被写体を検出し、且つ前記判定手段の判定結果が否定的であった場合には、前記フレーム合成手段が合成したフレームを出力させ、それ以外の場合には、フレーム全体の光量に基づいて露光状態を設定する自動露光制御を行ってフレームを出力させることを特徴とする撮影装置。
前記第２の露光制御手段は、前記第１のヒストグラム作成手段が作成した輝度ヒストグラムにおける累積画素数の分布が前記中間輝度範囲に対して低輝度範囲側又は高輝度範囲側のいずれに偏在するかを確認し、前記低輝度範囲側に偏在していた場合には、前記第２のヒストグラム作成手段が作成した輝度ヒストグラムにおける背景領域の高輝度範囲にある累積画素数の分布が中間輝度範囲内に納まるように露光制御を行い、前記高輝度範囲側に偏在していた場合には、前記第２のヒストグラム作成手段が作成した輝度ヒストグラムにおける背景領域の低輝度範囲にある累積画素数の分布が中間輝度範囲内に納まるように露光制御を行う手段である請求項１に記載の撮影装置。
自動露光制御機能を有した撮影装置による撮影方法であって、
撮影された画像の第１番目のフレームデータをフレーム記憶手段に記憶させる第１のステップと、
前記フレーム記憶手段の第１番目のフレームデータから目的とする被写体を検出する第２のステップと、
前記第２のステップで被写体を検出した場合に、その被写体領域の輝度ヒストグラムを作成する第３のステップと、
前記第３のステップで作成した被写体領域の輝度ヒストグラムにおける累積画素数の分布が、予め適正露光状態とみなす輝度範囲として設定した中間輝度範囲内に所定割合以上含まれているか否かを判定する第４のステップと、
前記第４のステップでの判定結果が否定的であった場合に、前記被写体領域の輝度ヒストグラムにおける累積画素数の分布がほぼ前記中間輝度範囲内に納まるように露光制御を行い、前記フレーム記憶手段に第２番目のフレームを記憶させる第５のステップと、
前記第４のステップでの判定結果が否定的であった場合に、前記フレーム記憶手段が記憶した第１番目のフレームデータにおける背景領域の輝度ヒストグラムを作成する第６のステップと、
前記第６のステップで作成した背景領域の輝度ヒストグラムにおける累積画素数の分布がほぼ前記中間輝度範囲内に納まるように露光制御を行い、前記フレーム記憶手段に第３番目のフレームを記憶させる第７のステップと、
前記第５のステップで前記フレーム記憶手段に記憶させた前記第２番目のフレームについて前記被写体領域の画素データと前記背景領域における前記中間輝度範囲の画素データに対して他の画素データよりも大きい重み付けを施し、第７のステップで前記フレーム記憶手段に記憶させた前記第３番目のフレームについて前記背景領域の前記中間輝度範囲の画素データに対して他の画素データよりも大きい重み付けを施す第８のステップと、
前記第８のステップで重み付け処理がなされた前記第２番目のフレームと前記第３番目のフレームの各フレームデータを合成して出力させる第９のステップと、
前記第２のステップで被写体を検出しない場合、又は前記第４のステップでの判定結果が肯定的であった場合に、フレーム全体の光量に基づいて露光状態を設定する自動露光制御を行ってフレームを出力させる第１０のステップと
を有することを特徴とする撮影方法。
前記第７のステップにおける露光制御が、前記第３のステップで作成した輝度ヒストグラムにおける累積画素数の分布が前記中間輝度範囲に対して低輝度範囲側又は高輝度範囲側のいずれに偏在するかを確認するステップと、前記低輝度範囲側に偏在していた場合に、前記第６のステップで作成した輝度ヒストグラムにおける背景領域の高輝度範囲にある累積画素数の分布が中間輝度範囲内に納まるように露光制御を行うステップと、前記高輝度範囲側に偏在していた場合に、前記第６のステップで作成した輝度ヒストグラムにおける背景領域の低輝度範囲にある累積画素数の分布が中間輝度範囲内に納まるように露光制御を行うステップとからなる請求項３に記載の撮影方法。