JP4397766B2

JP4397766B2 - 撮像装置

Info

Publication number: JP4397766B2
Application number: JP2004264859A
Authority: JP
Inventors: 浩二岡
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2004-09-13
Filing date: 2004-09-13
Publication date: 2010-01-13
Anticipated expiration: 2024-09-13
Also published as: JP2006081049A

Description

本発明は、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置に関する。

近年のデジタルスチルカメラ等の撮像装置には、ＣＣＤ（Charge Coupled Diode）等の固体撮像素子の出力を液晶画面等の表示装置に表示して、逐次、視認できるものがある。

被写体から撮像レンズを介してＣＣＤで受光した光学像は、ＣＣＤによって電気信号に変換されてアナログ／デジタル（Ａ／Ｄ）変換部に送られる。そしてデジタル化された画像データは、信号処理をおこなうＤＳＰ（Digital Signal Processor）に送られる。

ＤＳＰでは、Ａ／Ｄ変換部から送られてきた電気信号の補間、アパーチャ強調、ホワイトバランス処理等を行い、更に輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒに変換してメモリに一時保管する。

以上の動作がデジタルスチルカメラの内部でモニタリング中繰り返されると共に、メモリに一時的に保存されたデータが、逐次ＤＳＰ内のビデオエンコーダに読み出されて、ビデオエンコーダ内でビデオ信号に変換された後に液晶画面に表示される（特許文献１、２参照）。

一方、デジタルスチルカメラに搭載されるバッテリを有効に活用するために、モニタリング中の消費電力を低下させることが望まれる。

そこで、特許文献２には、画面の更新周期であるフレームレートを下げる発明について開示されている。例えば、フレームレートを低下させても支障がなさそうな撮影モードがユーザによって選択された場合にフレームレートを低下させる。また、被写体が暗く露光時間が所定時間よりも長い場合は、被写体の同じ状態が繰り返されると想定してフレームレートを低下させる。

さらに、ユーザによる操作入力が一定時間行なわれなかった場合に、省電力モードに切り替えて、フレームレートを低下させる。
特開２００３−９２６９８号公報（図１）特開２００４−１５５９５号公報（０００２段落乃至０００８段落、００７３段落乃至０１６０段落）

上記デジタルスチルカメラでは、撮影状況を予め想定して、フレームレートを下げても問題がないと想定される場合に一律にフレームレートを下げる。このため、実際は被写体に動きがある場合や、カメラを左右に動かして広い範囲を撮影する場合（いわゆる、パン）など、被写体の実際の変化に対応するものではないので、被写体の動きに追従できない場合や、被写体に動きがないにも関わらずフレームレートが下がらず消費電力を低減できない場合がある。

本発明は、上記の問題に鑑みて為されたもので、被写体を表す光学像の状態によって自動的に追従の必要性を判断することで、操作性能や表示性能を低下させることなく省電力化を図ることが可能な撮像装置を提供することを課題としている。

上記課題を解決するため、本発明は、被写体を表す光学像を電気信号に変換する撮像手段と、該電気信号に基づいた画像データの信号処理をおこなう信号処理手段と、前記信号処理した画像データを記憶する記憶手段と、該記憶手段に記憶した撮像時期の異なる画像データを比較して変化量を抽出する変化量抽出手段と、前記変化量に従って前記撮像手段が光学像を電気信号に変換する周期または画像データを表示する表示手段に出力するためにデータを更新する周期の少なくとも一方の周期を制御するクロック制御手段とを備え、前記クロック制御手段は、前記変化量に従って画像データに変化が有ると判断したときに前記周期を短くするか否かの判定を行なう短周期判定部と、前記変化量に従って画像データに変化が無いと判断したときに周期を長くするか否かの判定をおこなう長周期判定部とを有し、前記短周期判定部は、前記変化量が所定値以上の場合に画像データに変化が有ると判断し、画像データに変化が有ると判断した回数（又は判断し続けた期間）が第１の所定回数（又は第１の所定期間）を超えた場合に前記周期を短くすると判定し、前記長周期判定部は、前記変化量が所定値より小さい場合に画像データに変化が無いと判断し、画像データに変化が無いと判断した回数（又は判断し続けた期間）が第２の所定回数（又は第２の所定期間）を超えた場合に前記周期を長くすると判定し、前記第１の所定回数と前記第２の所定回数（又は前記第１の所定期間と前記第２の所定期間）は異なることを特徴とする。
ここで、前記第１の所定回数は、前記第２の所定回数より少ない（又は前記第１の所定期間は、前記第２の所定期間より短い）設定とすることができる。

また、前記変化量抽出手段は、前記画像データのうち明るさのデータを基準に変化量を抽出することを特徴とするものであってもよい。

さらに、前記変化量抽出手段は、前記画像データのうちコントラストを基準に変化量を抽出することを特徴とするものであってもよい。

本発明の撮像装置は、撮像時期の異なる画像データを比較して変化量を抽出し、その変化量に従って撮像手段が光学像を電気信号に変換する周期等をクロック制御手段によって制御する。このため、被写体を表す光学像の変化の状態に応じて周期を制御することができる。

また、変化量を抽出するためのデータとして、画像データの明るさのデータ、コントラスト、ホワイトバランスのデータ等を使用する。このため、画像データの変化の有無を精度良く判断できる。

また、周期を短くするか否かの判定をおこなう短周期判定部と、周期を長くするか否かの判定をおこなう長周期判定部とを備えた構成とすることで、追従性を良くするために周期を短くする場合と、周期を長くして追従性が悪くなる場合の判定基準を使い分けることができる。

本発明によれば、被写体を表す光学像の状態によって自動的に追従の必要性を判断することで、操作性能や表示性能を低下させることなく省電力化を図ることができる。

本発明を実施するための最良の形態を図面に基づいて説明する。

図２は、本発明の一実施例による撮像装置としてのデジタルスチルカメラのブロック図である。

被写体から撮像レンズを介して撮像手段としてのＣＣＤ１で受光した光は、被写体を表す光学像としてＣＣＤ１によって光電変換されて電気信号となる。この変換された電気信号は、サンプリング（ＣＤＳ）・アナログ／デジタル（Ａ／Ｄ）変換部２に送られる。ＣＤＳ・Ａ／Ｄ変換部２は、ＣＣＤ１の出力信号を相関二重サンプリングによってノイズ成分の除去をしながらサンプリングし、逐次、１０ビットのデータにＡ／Ｄ変換して信号処理手段としてのＤＳＰ３へ送る。

ＤＳＰ３は、ＣＤＳ・Ａ／Ｄ変換部２から送られてきたデジタル画像データの補間、アパーチャ強調、ホワイトバランス処理などの処理を行う。そして、前記処理を行なった画像データを、更に輝度信号（Ｙ）及び色差信号（Ｃb、Ｃr）に変換して記憶手段としてのフレームバッファ４に一時的に保存する。この動作がモニタリング中繰返されると共に、フレームバッファ４に蓄えられたデータが逐次ＤＳＰ３内のビデオ信号処理部５に読み出される。

ここで、モニタリングとは、ＣＣＤ１による撮像、ＤＳＰ３による信号処理等の周期的におこなう処理動作をいう。

ビデオ信号処理部５では、ＮＴＳＣ方式やＰＡＬ方式等のビデオ信号に変換された後に、表示手段としての液晶ディスプレイや外部のテレビジョン受信機等の表示装置６に出力される。

ＣＣＤ１は、タイミングジェネレータ（ＴＧ）７からＣＣＤ１へ出力される水平駆動パルスと、垂直ドライバー（ＶＤr）８からＣＣＤ１へ出力される垂直駆動パルスと電子シャッタパルスとにより駆動される。

制御手段としてのＣＰＵ９は、電子シャッタパルスによりタイミングジェネレータ７やＣＤＳ・Ａ／Ｄ変換部２を制御する。また、変化量抽出手段としてのＣＰＵ９は、フレームバッファ４に記憶した前回のモニタリング時の画像データと、今回の画像データを比較して変化量を抽出する。この変化量を抽出する際に使用する画像データについては後述する。

ＣＰＵ９内のクロック制御手段としてのクロック制御部１４は、クロックジェネレータ１０を制御する。すなわち、本実施の形態では、モニタリング中のフレーム（一画面）の更新周期を変更可能にするため、クロック制御部１４によってクロックジェネレータ１０を制御して、クロックジェネレータ１０からタイミングジェネレータ７へ出力するクロック（ＣＣＤ駆動用パルス）の周波数を変える。このため、モニタリング中のフレームの更新スピードが遅くて（すなわち、更新周期が長い）追従性が悪くなる場合には、更新スピードを変更することができる。

また、タイミングジェネレータ７は、ＶＤr８へＣＣＤ１の垂直駆動パルスを出力するとともにＣＤＳ・Ａ／Ｄ変換部２へクロックを出力する。タイミングジェネレータ７の周波数の発振源は、クロックジェネレータ１０から出力されるＣＣＤ駆動用パルスであり、このＣＣＤ駆動用パルスはタイミングジェネレータ７内の分周器で分周されてＤＳＰ３に送られる。

一方、ＤＳＰ３は、タイミングジェネレータ７から出力されて受信したＣＣＤ駆動用パルスをカウントするカウンタが内蔵されており、このカウンタのカウント数が所定のカウント数に達した際に、タイミングジェネレータ７に水平リセット信号、垂直リセット信号等を出力する。

ここで、ＣＣＤ駆動用パルスはクロックジェネレータ１０から出力される。これはクロックジェネレータ１０に取りつけられたＣＣＤ駆動用水晶発振子１１の発振周波数のクロックを分周する回路を、クロックジェネレータ１０の内部に比較的簡単に内蔵できるからである。このようにＣＣＤ駆動用パルスを分周することにより、モニタリング中の低消費電力化などが可能になる。

この実施の形態では、クロックジェネレータ１０は、ＣＣＤ駆動用水晶発振子１１を用いた水晶発振回路で発生したクロックと、これを分周器で２分周したクロックの二種類のクロックを、ＣＣＤ駆動用パルスとして選択的に出力する。もちろん、ＣＣＤ駆動用水晶発振子１１を用いた水晶発振回路で発生したクロックを分周する分周器は、複数段用意してもよいが、ここでは説明の簡略化と、ＣＣＤ駆動用パルスを遅くすれば（低周波数化すれば）するほどモニタリングのフレームの更新スピードも遅くなってしまうことから、現実性を考えてクロックを２分周する分周器とした。

実際にＣＣＤ駆動用パルスを分周することによって得られる低消費電力化の効果として顕著なものは、タイミングジェネレータ７の内部のロジック系の低消費電力化、ＣＣＤ１の水平、垂直駆動出力用バッファの低消費電力化であり、およそＣＣＤ駆動用パルスを２分周する場合であれば消費電力が半分になるというようにＣＣＤ駆動用パルスを分周する分周器の分周比に比例する。この他、上述のブロック（ロジック系、ＣＣＤ１の水平、垂直駆動出力用バッファ）ほどの効果はないものの、ＣＤＳ・Ａ／Ｄ変換部２の消費電力も減少する。

本実施の形態では、モニタリング中のフレームの更新周期をクロック制御部１４によって最適な状態に制御することで、操作性能や表示性能を低下させることなく省電力化を図ることができる。すなわち、クロック制御部１４において被写体を表す光学像の状態に応じて追従の必要性を自動的に判断する。

クロック制御部１４での判断は、変化量抽出手段によって抽出された画像データの変化量に基づいておこなう。画像データの変化量を抽出するために使用するデータは、ＤＳＰ３内で生成する。図３は、ＤＳＰ３内の具体的構成の一例を示す図である。

ＣＤＳ・Ａ／Ｄ変換部２から入力したデジタル画像データは、色分離部１６においてＲ（赤），Ｇ（緑），Ｂ（青）の各色成分に分離される。そして、信号補間部１７において分離されたＲ，Ｇ，Ｂの各画像データを補間し、ペデスタル調整部１８でＲ，Ｇ，Ｂの各画像データの黒レベルを調整する。

また、ホワイトバランス調整部１９では、Ｒ，Ｂの各画像データの白レベルを調整し、デジタルゲイン調整部２０では、ＣＰＵ９により設定されたゲイン（増幅度）でＲ，Ｇ，Ｂの各画像データを補正する。

さらに、ガンマ変換部２１において、Ｒ，Ｇ，Ｂの各画像データのγ変換を行い、マトリクス部２２でＲ，Ｇ，Ｂの画像データを色差信号（Ｃｂ、Ｃｒ）と輝度信号（Ｙ）とに分離する。ビデオ信号処理部５では、分離された色差信号（Ｃｂ、Ｃｒ）と輝度信号（Ｙ）とに基づいてビデオ信号を生成して表示装置６に出力する。

また、ＤＳＰ３内には、ペデスタル調整部１８によるペデスタル調整後のＲ，Ｇ，Ｂの各画像データのうちのＧ画素について、隣接する画素間で差分を求めてコントラストとしてＣＰＵ９に出力するコントラスト算出回路２５を備えている。ここで、Ｇ画素の値が、画素間で大きく異なるということは、その画素間でＧ成分が大きく異なるということであり、言い換えればコントラストが高いということである。

さらに、ＤＳＰ３内には、画像データの輝度データ（Ｙ）を検出するＹ演算部２３と、そこで検出した輝度データ（Ｙ）に応じてデジタルカウント値をＡＥ（自動露出）評価値としてＣＰＵ９に出力するＡＥ評価値回路２６とを備えている。

またＤＳＰ３は、ホワイトバランス調整部１９による調整後のＲ，Ｇ，Ｂの各画像データの輝度データ（Ｙ）を検出するＹ演算部２７と、Ｙ演算部２７で検出した各色の輝度データ（Ｙ）をそれぞれカウントして各色のＡＷＢ（自動ホワイトバランス）評価値としてＣＰＵ９に出力するＡＷＢ評価値回路２８と、ＣＰＵ９とのインターフェースであるＣＰＵ・Ｉ／Ｆ２９を備えている。

マトリクス部２２で分離された画像データの色差信号（Ｃｂ、Ｃｒ）と輝度信号（Ｙ）は、画像データを周波数成分に変換するＤＣＴ（Discrete Cosine Transform）１５にＤＣＴ・Ｉ／Ｆ３０を介して送信される。

また、ＣＣＤ１を使用して合焦位置を検出する場合もあり、これをＣＣＤ−ＡＦ（内部ＡＦ）という。ＣＣＤ−ＡＦでは、フォーカスレンズ系を移動して、ＣＣＤ１から出力される画像信号に応じた被写体のコントラストを示すＡＦ（自動合焦）評価値をサンプリングし、ＡＦ評価値のピーク位置を合焦位置とする山登りサーボ方式を使用する。

以上において説明した構成によって抽出された画像データの変化量に従って、ＣＣＤ１が被写体を表す光学像を電気信号に変換する周期を、クロック制御部１４によって制御する。以下、より具体的な制御の流れを実施例により説明する。

図１は、モニタリング中の基本的な制御の流れを示したフローチャートである。

まず、モニタリング開始時のフレームの更新周期を設定するために、クロックジェネレータ１０にモニタリング用の初期値を設定する（Ｓ１）。

モニタリングが開始されると、上述したようにＣＣＤ１が被写体の光学像を電気信号に変換し、変換した電気信号に基づいてＤＳＰ３で信号処理が行なわれる（Ｓ２）。この処理は、初期値設定した周期に従って繰り返される。

そして、ＤＳＰ３内の信号処理によって得られた画像データのコントラスト、ＡＥ評価値またはＡＷＢ評価値を、それ以前に撮像された画像データを基にした値と比較して変化量を抽出する。変化量を抽出するために現在の画像データと比較する画像データは、現在の画像データの一フレーム前に撮像した画像データであっても、任意の回数または時間を遡った数フレーム前の画像データであってもよい。ここで、以前の画像データはフレームバッファ４に記憶されている。

抽出された変化量は、予め設定した所定値と比較して、所定値以上に達しているか否かを判定する（Ｓ３）。変化量が大きければ、被写体が動いていたり、カメラをパンしたりして、被写体を表す光学像が短時間で変化していると判断できる。また、変化量が小さければ、被写体が静止していたり、カメラが固定されていたりして光学像に変化がない状態と判断できる。

そこで、変化量が所定値以上となる場合は、動きの追従性を良くするために高いクロック（短い周期）をクロックジェネレータ１０に設定する（Ｓ４）。また、変化量が所定値を下回る場合は、動きが少ない画像と判断し低いクロック（長い周期）をクロックジェネレータ１０に設定する（Ｓ５）。例えば、短い周期としては、１／３０秒（フレームレート１／３０）として１秒間にフレームを３０回更新させる。また、長い周期としては、１／１５秒（フレームレート１／１５）として１秒間にフレームを１５回更新させる。

クロックジェネレータ１０を設定した後は、再びモニタリング処理（Ｓ２）まで戻って画像データの変化量の抽出を繰り返す。実施例１では、変化量に従ってクロックジェネレータ１０の設定を変更したり、変更せずにそのまま維持したりしてモニタリングを続けるため、光学像の変化が大きいときはフレームの更新周期を短くして追従性を良くする事で高い操作性能を維持でき、光学像の変化が小さいときはフレームの更新周期を長くして追従性を低下させることで消費電力を低減することができる。

以上において周期の異なるクロックを選択する基準となる変化量は、ＡＥ評価値、画像データのコントラストまたはＡＷＢ評価値のいずれであってもよい。

例えば、前回のモニタリング（フレーム）で抽出したＡＥ評価値と今回のモニタリング（フレーム）で抽出したＡＥ評価値を比較し、２つの評価値の差が所定値以上となった場合、画像データは「変化有り」の状態であるとする。このＡＥ評価値は露出に関する評価値であり、画像データの明るさを示すデータの一つである。

また、画像データのコントラストを、前回モニタリングした画像データと比較すれば、コントラストを基準に変化量を抽出したことになる。そして、前回のモニタリングで抽出したコントラストと今回のモニタリングで抽出したコントラストの差が所定値以上の場合、画像データは「変化有り」の状態であるとする。

さらに、前回のモニタリングで抽出したＡＷＢ評価値と今回のモニタリングで抽出したＡＷＢ評価値を比較して変化量を抽出することもできる。ホワイトバランスに関する評価値であるＡＷＢ評価値を基準にすれば、ホワイトバランスのデータを基準に画像データの変化の有無を判断したことになる。

これら３種類の評価値は、組み合わせて使用することができる。例えば、３種類すべての評価値の変化量が所定値以上になったときに画像データを「変化有り」の状態であると判断することができる。また、３種類のうち、例えばＡＥ評価値とＡＷＢ評価値の変化量が所定値以上であれば、コントラストの変化量が所定値を下回っていても画像データを「変化有り」の状態であるとすることができる。このように複数の評価値を組み合わせることで、画像データの変化の有無の判断精度を向上させることができる。

実施例２では、画像データの変化量を抽出する基準として、ＡＥ評価値を使用する具体的な実施例について説明する。

図４（ａ）は自動合焦動作を行った直後の画面イメージであり、図４（ｂ）は自動合焦動作を行った後に被写体までの距離が変化した状態の画面イメージを示している。

この実施例２においては、図４（ａ），（ｂ）に示すように、画面を縦１２×横１６のブロックに分割し、分割されたブロック毎に、Ｙ演算部２３により、輝度データ（Ｙ）を作成する。

ここで、Ｒ，Ｇ，Ｂ各画像データから、輝度データ（Ｙ）への変換は次式によってできることが知られている。
Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂ

そして、このようにして作成された輝度データ（Ｙ）の値を、ＡＥ評価値回路２６において、値の大きさによって「Ａ」，「Ｂ」，「Ｃ」の３つの輝度カテゴリ（ＡＥ評価値）に分類する。ここで、平均輝度値が１８４以上のブロックを輝度カテゴリ「Ａ」とし、平均輝度値が９２以上で且つ１８４未満のブロックを輝度カテゴリ「Ｂ」とし、平均輝度値が９２未満のブロックをカテゴリ「Ｃ」として表示する。

図５（ａ）は、図４（ａ）の画面イメージを輝度カテゴリに置き換えた図であり、カメラが描かれている部分に「Ｂ」と「Ｃ」が分布し、その周りの被写体がない部分には「Ａ」が分布している。

また、図５（ｂ）は、図４（ｂ）の画面イメージを輝度カテゴリに置き換えた図であり、画面全体に占めるカメラの比率が小さくなった分だけ「Ｂ」と「Ｃ」の分布範囲が小さくなっている。

このような輝度データの作成は、フレーム更新毎に行い、作成した結果をフレームバッファ４に保存する。そして、フレームバッファ４に保存した新しい輝度カテゴリのデータと、古い輝度カテゴリのデータとをクロック制御部１４（ＣＰＵ９）で比較する。

なお、フレームバッファ４に保存する度に輝度カテゴリのデータを比較すると、変化量が顕著に現れないおそれがあるため、例えば200msec間隔で比較する。

図６には、図５（ａ）と図５（ｂ）を比較した際に、輝度カテゴリが変化したブロックを塗りつぶした図を示す。この図では２８個のブロックが塗りつぶされている。

そして、輝度カテゴリが変化したブロック数が、例えば、全体のブロック数の１０％を超えた場合には、画像データの変化量が所定値以上であると判定する。

実施例２では、28／192×100＝14.6％の輝度カテゴリが変化しているので、被写体までの距離が変化することによって被写体を表す光学像が短時間で変化していると判断して、追従性が良くなるクロックを選択して、クロックジェネレータ１０を設定する。

実施例３では、画像データの変化量を抽出する基準として、コントラストを使用する具体的な実施例について説明する。

この実施例３では、自動合焦動作を行った直後と被写体までの距離が変化した状態の画面イメージには、実施例２と同じ図４を使用する。

そして、この実施例３では、画面を縦１２×横１６に分割したブロックごとに、ブロック内に複数存在するＧ（緑）画素について、隣接した画素間で値の差分をとってブロック内の平均値を求める。

例えば、１ブロック内の画素数が１５０画素であるとすると、Ｒ，Ｇ，Ｂにより画像データが構成されているので、Ｇ画素の画素数はその１／３の５０画素となる。コントラスト算出回路２５では、この５０画素に対して、隣接する画素間で差分を求め、求めた差分を全て加算し、加算した結果を画素数の５０で割ることでブロック毎のＧ画素の差分平均値を求めることができる。

なお、このブロック毎のＧ画素の差分平均値は、ＣＰＵ９により演算して求めても良い。

ここで、Ｇ画素の値が、画素間で大きく異なるということは、その画素間でＧ成分が大きく異なるということであり、言い換えればコントラストが高いということである。すなわち、ブロック毎のＧ画素の差分平均値を求めることは、ブロック毎のコントラストを求めていることといえる。

そこで、実施例３では、このブロック毎のＧ画素の差分平均値をコントラストと称することにする。

図７（ａ）は、図４（ａ）の画面イメージのコントラストが所定値以上の値であるブロックに「○」を付した図であり、図７（ｂ）は、図４（ｂ）の画面イメージのコントラストが所定値以上の値であるブロックに「○」を付した図である。ここで、「○」は、コントラストが１２８以上の値であるブロックに付した。

そして、実施例３では、「○」を付したブロックの位置が、フレームの更新によって移動したか否かによって、被写体の状態の変化を検出するようにしている。このようなブロック毎のコントラストの検出は、輝度カテゴリの変化に合わせて、例えば200msecでおこない、更新前後の値を比較するとよい。

すなわち、コントラストの値が１２８以上のブロックの位置を示す情報をフレームバッファ４に保存し、新たにコントラストを検出した時に、前回のコントラストの値が１２８以上のブロックの位置との比較をクロック制御部１４（ＣＰＵ９）で行う。

図８には、図７（ａ）と図７（ｂ）を比較した際に、コントラストが高いブロック（「○」を付したブロック）の位置が変化したブロックを塗りつぶして示したものである。この図では３４個のブロックが塗りつぶされている。

そして、コントラストが高いブロックの位置が変化したブロック数が、例えば全体のブロック数の１０％を越えた場合には、画像データの変化量が所定値以上であると判定する。

実施例３では、34／192×100＝17.7％のコントラストの高いブロックの位置が変化しているので、被写体までの距離が変化することによって被写体を表す光学像が短時間で変化していると判断して、追従性が良くなるクロックを選択して、クロックジェネレータ１０を設定する。

図９は、周期を変更するクロック制御部１４の中に、周期を短くするか否かの判定をおこなう短周期判定部と、周期を長くするか否かの判定をおこなう長周期判定部とを有する撮像装置の制御の流れを示したフローチャートである。

まず、実施例１と同様にモニタリング用の初期値をクロックジェネレータ１０に設定する（Ｓ１１）。

また、実施例２では、モニタリングの現在の状態を示すフラグを設ける。フラグは、追従性が良くなるクロック（短周期）を使用する「追従性モード」と、追従性が悪くなるクロック（長周期）を使用する「省電力モード」の２種類とする。最初のフラグは「追従性モード」に設定しておく（Ｓ１２）。

そして、実施例１と同様にモニタリング処理をおこない（Ｓ１３）、画像データの変化量に従って今回のモニタリングした画像データは「変化有り」の状態であるのか、「変化無し」の状態であるのかを判断する（Ｓ１４）。例えば、前回のモニタリングしたフレームと今回のモニタリングしたフレームを比較して、画像データの変化量が所定値以上であれば「変化有り」、所定値より小さければ「変化無し」とする。

画像データが「変化有り」であった場合、短周期判定部に移行する。そして、現在のフラグが「追従性モード」と「省電力モード」のいずれであるかを確認する（Ｓ１５）。フラグが「追従性モード」であれば、「変化有り」の状態とフラグが一致しているので、そのままモニタリング処理（Ｓ１３）まで戻って引き続きモニタリングを続ける。

フラグが「省電力モード」の場合は、「変化有り」という今回の画像データの状態とフラグが異なることになる。そこで、「変化有り」が今回のモニタリングに至るまで何回あったかを計測する（Ｓ１６）。「変化有り」の計測は、カウンタによる回数の計測であっても、タイマによる時間の計測であってもよい。

ここで、「変化有り」と判定された今回までのモニタリング（フレーム）の合計が、所定回数を超えていなければ、画像データの変化は一時的なものと考えて「省電力モード」のままモニタリング処理（Ｓ１３）に戻る。

これに対して、「変化有り」と判定されたフレームの合計が所定回数を超えていれば、「省電力モード」のままでは追従性が悪くなると判断して、追従性が良くなるクロックを選択するようにクロックジェネレータ１０を設定する（Ｓ１７）。そして、クロックの変更に合わせてフラグを「追従性モード」に変更し（Ｓ１８）、追従性が良くなるクロックによってモニタリングを続ける。

以上が短周期判定部の処理であるが、モードを切り替えるための判定基準となる「変化有り」の所定回数は、充分に少ない回数である方がよい。例えば、カメラをパンしたり、被写体が動いたりする場合などは、ユーザは直ぐに被写体に追従して撮影を行ないたい場合が多いからである。

一方、ステップ１４（Ｓ１４）において、画像データの変化量が所定値より小さく「変化無し」と判定された場合は、長周期判定部へ移行する。

ここでもまず、現在のフラグの確認をおこなう（Ｓ１９）。フラグが「省電力モード」の場合、「変化無し」という状態とフラグが一致しているので、そのままモニタリング処理（Ｓ１３）に戻る。

フラグが「追従性モード」の場合は、「変化無し」という今回の画像データの状態とフラグが異なるため、「変化無し」が今回のモニタリングに至るまで何回あったかを計測する（Ｓ２０）。「変化無し」の計測は、回数の計測であっても、時間の計測であってもよい。

そして、「変化無し」と判定された今回までのモニタリングの合計が、所定回数を超えていなければ、一時的に変化量が少ないだけであると考えて「追従性モード」のままモニタリング処理（Ｓ１３）に戻る。

これに対して、「変化無し」と判定されたモニタリングの合計が所定回数を超えていれば、「追従性モード」のままでは変化が少ない光学像に対して同じ画像データの更新を繰り返し、電力が浪費されると判断して、追従性が悪くなるクロックを選択するようにクロックジェネレータ１０を設定する（Ｓ２１）。そして、クロックの変更に合わせてフラグを「省電力モード」に変更し（Ｓ２２）、追従性が悪くなるクロックによってモニタリングを続ける。

以上の長周期判定部では、モードを切り替えるための判定基準となる「変化無し」の所定回数は、充分に多い回数である方がよい。例えば、動物などの被写体は、今は動きが止まっている場合であっても直ぐに動き出す可能性もあるなど、省電力モードへの移行を遅らせた方が良いケースがあるからである。すなわち、一度、省電力モードに変更されると、フレームの更新周期が長くなるため、被写体の動きに追従できなくて操作性能や表示性能が低下する場合があるからである。

このように、短周期判定部と長周期判定部では、周期を変更する判定を行なう際に基準とする所定回数や所定期間を使い分けるのが好ましい。追従性が必要であると判定する短周期判定部の判定期間を短くし、追従性が必要ないと判定する長周期判定部の判定期間を長くすることで、操作性能や表示性能を落とすことなく低消費電力の撮像装置とすることができる。

以上、図面を参照して、本発明の最良の実施の形態を詳述してきたが、具体的な構成は、この実施の形態に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。

例えば、以上においてはＣＣＤ１のフレームの更新周期を制御することによってデジタルスチルカメラの内部処理に使用される消費電力を低減させたが、表示装置６に画像データを出力するためにＤＳＰ３で行なわれるデータを更新するための周期を制御しても良い。

例えば、クロックジェネレータ１０は、内部のＰＬＬ回路にてＵＳＢ用のクロックをＤＳＰ３へ出力する。また、構成によっては、クロックジェネレータ１０はＣＰＵ用のクロックやビデオ信号処理部５用（ＤＳＰ３用）クロックを生成することも可能である。また、ＤＳＰ３は、ＵＳＢドライバーを介してパーソナルコンピュータと画像データのやりとりを行うこともできる。

このようなクロックジェネレータ１０においてＰＬＬ回路によって生成するＵＳＢ用のクロックは、限られた場合にのみ使用される可能性があるクロックであるという特徴はあるが、これらのクロックも画像データの変化量に従って制御することで、操作性能や表示性能を低下させることなく撮像装置の低消費電力化を図ることができる。

また、表示装置６にビデオ信号を送信するビデオ信号処理部５へのフレームバッファ４からの読み出し周期や、ビデオ信号への変換周期や、表示装置６にビデオ信号を転送する周期を、画像データの変化量に従って制御することで、表示性能を維持したまま消費電力を低減することができる。

さらに、撮像装置としてデジタルビデオカメラに適用することもできる。

本発明の最良の実施の形態の撮像装置におけるモニタリング中の判断の流れを示すフローチャートである。撮像装置の構成の概略を示すブロック図である。撮像装置のＤＳＰ内部の構成の実施例を示すブロック図である。撮像装置の表示画面及び画面分割イメージを模式的に示す図であって、（ａ）は光学像が変化する前、（ｂ）は被写体までの距離が変化することにより光学像が変化した後を示す図である。光学像の輝度カテゴリを示す図であって、（ａ）は光学像が変化する前、（ｂ）は被写体までの距離が変化することにより光学像が変化した後の図である。図５（ａ）と図５（ｂ）を比較した際に、輝度カテゴリが変化したブロックを示す図である。光学像のコントラストの高いブロックを示す図であって、（ａ）は光学像が変化する前、（ｂ）は被写体までの距離が変化することにより光学像が変化した後の図である。図７（ａ）と図７（ｂ）を比較した際に、コントラストが高い位置が変化したブロックを示す図である。周期を短くするときと長くするときで判定部が異なる場合のモニタリング中の判断の流れを示すフローチャートである。

符号の説明

１ＣＣＤ（撮像手段）
３ＤＳＰ（信号処理手段）
４フレームバッファ（記憶手段）
６表示装置（表示手段）
９ＣＰＵ
１４クロック制御部（クロック制御手段）
２５コントラスト算出回路
２６ＡＥ評価値回路

Claims

被写体を表す光学像を電気信号に変換する撮像手段と、
該電気信号に基づいた画像データの信号処理をおこなう信号処理手段と、
前記信号処理した画像データを記憶する記憶手段と、
該記憶手段に記憶した撮像時期の異なる画像データを比較して変化量を抽出する変化量抽出手段と、
前記変化量に従って前記撮像手段が光学像を電気信号に変換する周期または画像データを表示する表示手段に出力するためにデータを更新する周期の少なくとも一方の周期を制御するクロック制御手段とを備え、
前記クロック制御手段は、前記変化量に従って画像データに変化が有ると判断したときに前記周期を短くするか否かの判定を行なう短周期判定部と、前記変化量に従って画像データに変化が無いと判断したときに周期を長くするか否かの判定をおこなう長周期判定部とを有し、
前記短周期判定部は、前記変化量が所定値以上の場合に画像データに変化が有ると判断し、画像データに変化が有ると判断した回数が第１の所定回数を超えた場合に前記周期を短くすると判定し、
前記長周期判定部は、前記変化量が所定値より小さい場合に画像データに変化が無いと判断し、画像データに変化が無いと判断した回数が第２の所定回数を超えた場合に前記周期を長くすると判定し、
前記第１の所定回数と前記第２の所定回数は異なることを特徴とする撮像装置。
前記第１の所定回数は、前記第２の所定回数より少ないことを特徴とする請求項１に記載の撮像装置。
被写体を表す光学像を電気信号に変換する撮像手段と、
該電気信号に基づいた画像データの信号処理をおこなう信号処理手段と、
前記信号処理した画像データを記憶する記憶手段と、
該記憶手段に記憶した撮像時期の異なる画像データを比較して変化量を抽出する変化量抽出手段と、
前記変化量に従って前記撮像手段が光学像を電気信号に変換する周期または画像データを表示する表示手段に出力するためにデータを更新する周期の少なくとも一方の周期を制御するクロック制御手段とを備え、
前記クロック制御手段は、前記変化量に従って画像データに変化が有ると判断したときに前記周期を短くするか否かの判定を行なう短周期判定部と、前記変化量に従って画像データに変化が無いと判断したときに周期を長くするか否かの判定をおこなう長周期判定部とを有し、
前記短周期判定部は、前記変化量が所定値以上の場合に画像データに変化が有ると判断し、画像データに変化が有ると判断し続けた期間が第１の所定期間を超えた場合に前記周期を短くすると判定し、
前記長周期判定部は、前記変化量が所定値より小さい場合に画像データに変化が無いと判断し、画像データに変化が無いと判断し続けた期間が第２の所定期間を超えた場合に前記周期を長くすると判定し、
前記第１の所定期間と前記第２の所定期間は異なることを特徴とする撮像装置。
前記第１の所定期間は、前記第２の所定期間より短いことを特徴とする請求項３に記載の撮像装置。
前記変化量抽出手段は、前記画像データのうち明るさのデータを基準に変化量を抽出することを特徴とする請求項１乃至４のいずれか一項に記載の撮像装置。
前記変化量抽出手段は、前記画像データのうちコントラストを基準に変化量を抽出することを特徴とする請求項１乃至５のいずれか一項に記載の撮像装置。