JP5376314B2 - 撮像装置、フレームレート制御方法、プログラム及び記録媒体 - Google Patents

Description

本発明は、フレームレートを切り替え可能な撮像素子を用いる撮像装置に係り、特に、かかる撮像装置におけるフレームレート制御に関する。

撮像装置において、環境照度の変化に応じてフレームレートの切り替えを行う技術が知られている。例えば、ＣＭＯＳ型やＣＣＤ型の撮像素子に撮像される光学像の照度レベルを検出し、この照度レベルをあらかじめ設定しておいた閾値と比較してフレームレートの切り替えを必要と判断したときに、フレームレートを増加又は減少させる動画撮像装置が知られている（例えば特許文献１参照）。

しかし、環境照度が頻繁に変化する環境下で使用される撮像装置の場合、照度レベルの変化に敏感に反応してフレームレートの切り替えが連続して行われると、撮像画像の明度が高くなったり、低くなったりを繰り返し、大変見づらい画像となるという問題がある。このような現象（ハンチング）は、例えば車載カメラの場合に起こりやすい。車載カメラの場合、日陰を通過する時と日向を通過する時とで大幅に照度が変化し、しかも、そのような急激な照度変化が頻繁に生じるからである。

本発明の目的は、前述したようなハンチングが発生しないようにした撮像装置を提供すること、及び、かかる撮像装置を実現するためのフレームレート制御方法を提供することにある。

本発明は、フレームレートを増加又は減少させるフレームレート切り替えが可能な撮像素子を用いる撮像装置において、
前記撮像素子より出力される各フレームの画像信号に基づいて撮像画像の明るさの指標（画面明度と記す）を検出する画面明度検出手段と、
前記撮像素子のフレームレート切り替えを制御するフレームレート制御手段と、
を有し、
前記フレームレート制御手段は、
フレームレート切り替えに伴うハンチングの発生可能性の判断に利用される、フレームレート切り替えの履歴が反映された情報（以下、履歴情報と記す）を管理する履歴情報管理手段と、
各フレームについて検出された前記画面明度と所定の上限閾値又は下限閾値との比較判定を行う画面明度判定手段と、
直前フレームについて検出された前記画面明度が前記上限閾値以上であると前記画面明度判定手段により判定されたフレームにおいて、フレームレートを増加させるフレームレート切り替えを実行したならばハンチングが発生する可能性があるか否かを前記履歴情報に基づいて判断し、ハンチング発生可能性がないと判断したときにフレームレートを増加させるフレームレート切り替えを前記撮像素子に指示するフレームレート増加切り替え制御手段と、
直前フレームについて検出された前記画面明度が前記下限閾値未満であると前記画面明度判定手段により判定されたフレームにおいて、フレームレートを減少させるフレームレート切り替えを実行したならばハンチングが発生する可能性があるか否かを前記履歴情報に基づいて判断し、ハンチング発生可能性がないと判断したときにフレームレートを減少させるフレームレート切り替えを前記撮像素子に指示するフレームレート減少切り替え制御手段と、
を有することを基本とする。

そして、前記履歴情報は一つの変数値で表現され、
前記履歴情報管理手段は、フレームレート切り替えが行われないフレームでは前記履歴情報に対し、その所定の標準値に近づけるように所定の第１の定数を加算又は減算し、フレームレートを増加させるフレームレート切り替えとフレームレートを減少させるフレームレート切り替えのうちの一方のフレームレート切り替えが行われるフレームでは前記履歴情報に所定の第２の定数を加算し、もう一方のフレームレート切り替えが行われるフレームでは前記履歴情報から前記第２の定数を減算し、
前記フレームレート増加切り替え制御手段及び前記フレームレート減少切り替え制御手段は、前記履歴情報の値と前記標準値とを比較することによりハンチング発生可能性を判断する、ことを特徴とする。

あるいは、前記履歴情報は第１のフラグ及び第２のフラグにより表現され、
前記履歴情報管理手段は、フレームレート切り替えが行われないフレームでは、前記第２のフラグの値が所定の最大値に達するまでは、前記第２のフラグの値に所定値を加算し、フレームレートを増加させるフレームレート切り替えが行われるフレームでは、前記第１のフラグに所定の第１の定数を設定するとともに前記第２のフラグに０を設定し、フレームレートを減少させるフレームレート切り替えが行われるフレームでは、前記第１のフラグに所定の第２の定数を設定するとともに前記第２のフラグに０を設定し、
前記フレームレート増加切り替え制御手段は、前記第２のフラグの値が前記最大値と等しいとき、又は、前記第２のフラグの値が前記最大値と異なり、かつ、前記第１のフラグの値が前記第１の定数に等しいときに、ハンチング発生可能性がないと判断し、
前記フレームレート減少切り替え制御手段は、前記第２のフラグの値が前記最大値と等しいとき、又は、前記第２のフラグの値が前記最大値と異なり、かつ、前記第１のフラグの値が前記第２の定数に等しいときに、ハンチング発生可能性がないと判断する、ことを特徴とする。

本発明は、フレームレートを増加又は減少させるフレームレート切り替えが可能な撮像素子を用いる撮像装置におけるフレームレート制御方法において、
前記撮像素子より出力される各フレームの画像信号に基づいて撮像画像の明るさの指標（画面明度と記す）を検出する画面明度検出工程と、
前記撮像素子のフレームレート切り替えを制御するフレームレート制御工程と、
を有し、
前記フレームレート制御工程は、
フレームレート切り替えに伴うハンチングの発生可能性の判断に利用される、フレームレート切り替えの履歴が反映された情報（以下、履歴情報と記す）を管理する履歴情報管理工程と、
各フレームについて検出された前記画面明度と所定の上限閾値又は下限閾値との比較判定を行う画面明度判定工程と、
直前フレームについて検出された前記画面明度が前記上限閾値以上であると前記画面明度判定工程により判定されたフレームにおいて、フレームレートを増加させるフレームレート切り替えを実行したならばハンチングが発生する可能性があるか否かを前記履歴情報に基づいて判断し、ハンチング発生可能性がないと判断したときにフレームレートを増加させるフレームレート切り替えを前記撮像素子に指示するフレームレート増加切り替え制御工程と、
直前フレームについて検出された前記画面明度が前記下限閾値未満であると前記画面明度判定工程により判定されたフレームにおいて、フレームレートを減少させるフレームレート切り替えを実行したならばハンチングが発生する可能性があるか否かを前記履歴情報に基づいて判断し、ハンチング発生可能性がないと判断したときにフレームレートを減少させるフレームレート切り替えを前記撮像素子に指示するフレームレート減少切り替え制御工程と、を有することを基本とする。

そして、前記履歴情報は一つの変数値で表現され、
前記履歴情報管理工程は、フレームレート切り替えが行われないフレームでは前記履歴情報に対し、その所定の標準値に近づけるように所定の第１の定数を加算又は減算し、フレームレートを増加させるフレームレート切り替えとフレームレートを減少させるフレームレート切り替えのうちの一方のフレームレート切り替えが行われるフレームでは前記履歴情報に所定の第２の定数を加算し、もう一方のフレームレート切り替えが行われるフレームでは前記履歴情報から前記第２の定数を減算し、
前記フレームレート増加切り替え制御工程及び前記フレームレート減少切り替え制御工程は、前記履歴情報の値と前記標準値とを比較することによりハンチング発生可能性を判断する、ことを特徴とする。

あるいは、前記履歴情報は第１のフラグ及び第２のフラグにより表現され、
前記履歴情報管理工程は、フレームレート切り替えが行われないフレームでは、前記第２のフラグの値が所定の最大値に達するまでは、前記第２のフラグの値に所定値を加算し、フレームレートを増加させるフレームレート切り替えが行われるフレームでは、前記第１のフラグに所定の第１の定数を設定するとともに前記第２のフラグに０を設定し、フレームレートを減少させるフレームレート切り替えが行われるフレームでは、前記第１のフラグに所定の第２の定数を設定するとともに前記第２のフラグに０を設定し、
前記フレームレート増加切り替え制御工程は、前記第２のフラグの値が前記最大値と等しいとき、又は、前記第２のフラグの値が前記最大値と異なり、かつ、前記第１のフラグの値が前記第１の定数に等しいときに、ハンチング発生可能性がないと判断し、
前記フレームレート減少切り替え制御工程は、前記第２のフラグの値が前記最大値と等しいとき、又は、前記第２のフラグの値が前記最大値と異なり、かつ、前記第１のフラグの値が前記第２の定数に等しいときに、ハンチング発生可能性がないと判断する、ことを特徴とする。

本発明によれば、画面明度と上下限閾値との比較判定によりフレームレートを切り替える状況であると判断されるようなフレームであっても、履歴情報に基づいてハンチング発生可能性がないと判断したときに限ってフレームレート切り替えを実行するため、環境照度の急変が頻繁に起きるような条件下で利用される車載カメラのような撮像装置におけるハンチングの発生を防止することができる。また、履歴情報を一つの変数値として表現することにより、履歴情報の保存に必要なメモリ容量を最小にすることができる。また、フレームレート制御の処理を、各フレームの垂直同期信号の立ち上がりをトリガとして処理を開始し、最小垂直ブランキング期間内に終了するので、撮像画像にフレームレート切り替えによるノイズが乗らなくなる、等々の効果を奏することができる。

本発明の一実施形態に係る撮像装置の要部構成を説明するためのブロック図である。 フレームレート制御部の処理タイミングの説明図である。 フレームレート制御部のブロック図である。 画面明度判定部の処理説明用フローチャートである。 実施例１におけるケース１対応部の処理説明用フローチャートである。 実施例１におけるケース２対応部の処理説明用フローチャートである。 実施例１におけるケース３対応部の処理説明用フローチャートである。 実施例１におけるハンチング防止効果の説明図である。 実施例２におけるケース１対応部の処理説明用フローチャートである。 実施例２におけるケース２対応部の処理説明用フローチャートである。 実施例２におけるケース３対応部の処理説明用フローチャートである。

図１は、本発明の一実施形態に係る撮像装置の要部構成を説明するためのブロック図である。

この撮像装置１００は、光学系１０１と、この光学系１０１を介して結像される光学像を撮像する撮像素子１０２を有する。この撮像素子１０２は、フレームレートを増加又は減少させるフレームレート切り替えが可能なもので、例えばＣＭＯＳ型やＣＣＤ型の一般的な撮像素子が用いられる。撮像素子１０２からは、垂直同期信号(Vsync)、水平同期信号(Href)、各フレームの画像信号が出力される。

撮像装置１００は信号処理回路１０４を有する。撮像素子１０２から出力される垂直同期信号、水平同期信号及び画像信号は信号処理回路１０４に入力され、信号処理回路１０４において各フレームの画像信号のデジタル信号への変換等の処理が行われる。

撮像装置１００は、撮像素子１０２のフレームレートを制御する機能を有するが、ここに示す実施形態においてはＦＰＧＡ（Field Programmable Gate Array）１０３を用いて当該機能のための画面明度検出部１０５とフレームレート制御部１０６が実現されている。なお、画面明度検出部１０５とフレームレート制御部１０６をＡＳＩＣ等の専用ハードウェアを用いて実現することも可能である。撮像素子１０２から出力される垂直同期信号、水平同期信号及び画像信号はＦＰＧＡ１０３にも入力される。

画面明度検出部１０５は、撮像素子１０２から出力される各フレームの画像信号から、撮像画像の明るさの指標（画面明度と呼ぶ）を検出する手段である。具体的には、画像信号がＲＧＢ信号の場合、例えば、画素ごとにＲＧＢ信号から輝度値を算出し、１画面（垂直同期信号から次の垂直同期信号まで）について輝度平均値を算出し、この輝度平均値を画面明度として求めることができる。輝度値の代わりにＧ信号値を用い、１画面についてのＧ信号平均値を画面明度として算出するようにしてもよい。

フレームレート制御部１０６は、フレーム毎に、画面明度検出部１０５により検出された直前フレームの画面明度と、フレームレート切り替え履歴情報とに基づいて、撮像素子１０２のフレームレートを増加又は減少させるフレームレート切り替えを制御する手段であり、フレームレート切り替えを行うと判断した場合に、そのフレームレート切り替え指示データ（レジスタ設定）を撮像素子１０２へ送信する。また、フレームレート制御部１０６においては、フレームレート切り替え履歴情報を管理している。

なお、フレームレート切り替え履歴情報とは、フレームレート切り替えに伴うハンチングの発生可能性の判断に利用される、フレームレート切り替えの履歴が反映された情報であり、その具体例は後述する。

図２により、フレームレート制御部１０６の処理タイミングについて説明する。例えば垂直同期信号１１１で開始するフレームを例にとると、当該垂直同期信号１１１の立ち上がりをトリガとして、当該フレームに対する処理を開始する。この処理で用いられる画面明度は直前フレームについて検出された画面明度である。フレームレート切り替えを行うか否かの判断と、フレームレート切り替えを行う場合のフレームレート切り替え指示データの撮像素子１０２への送信は、当該フレームの最小垂直ブランキング期間内に完了させる。図２の例では、垂直同期信号１１１で始まるフレームにおいて、フレームレートを１／２に下げるフレームレート切り替えが行われ、したがって、当該フレームより垂直ブランキング期間が２倍に伸びる。他のフレームについても同様の処理タイミングとなる。このような処理タイミングとすることにより、フレームレート切り替え操作によるノイズが撮像画像に乗ることがなくなる。

図３に、フレームレート制御部１０６のブロック構成を示す。ただし、このブロック構成は一例に過ぎず、フレームレート制御部１０６の機能を他のブロック構成で実装することも可能であることは云うまでもない。

図３において、画面照度判定部２０１は、処理対象フレームの直前フレームについて画面明度検出部１０５で検出された画面明度が所定の上限閾値以上であるか（ケース１）、所定の下限閾値未満であるか（ケース２）、あるいは上限閾値未満かつ下限閾値以上であるか（ケース３）を判定する手段である。

図４に、画面照度判定部２０１の処理フローの一例を示す。まず、画面明度を上限閾値と比較し（ステップＳ１０１）、画面明度が上限閾値以上であるならば（ステップＳ１０１，ＹＥＳ）、最終的な判定結果をケース１とする（ステップＳ１０３）。画面明度が上限閾値未満ならば（ステップＳ１０１，ＮＯ）、画面明度を下限閾値と比較する（ステップＳ１０２）。そして、画面明度が下限閾値未満ならば（ステップＳ１０２，ＹＥＳ）、最終的な判定結果をケース２とし（ステップＳ１０４）、そうでないならば最終的な判定結果をケース３とする（ステップＳ１０５）。

図３に戻る。フレームレート制御部１０６は、画面明度判定部２０１の判定結果に対応した３つのブロック、すなわち、ケース１対応部２０２、ケース２対応部２０３、ケース３対応部２０４を有し、また、フレームレート切り替え履歴情報等の記憶手段としてのメモリ２０５を有する。フレームレート切り替え履歴情報の管理機能はケース１，２，３対応部２０２，２０３，２０４に分散して組み込まれているため、これら３ブロックはそれぞれメモリ２０５をアクセス可能である。撮像素子１０２に対するフレームレート切り替え指示データ（レジスタ設定）は、ケース１対応部２０２又はケース２対応部２０３から出される。

ケース１対応部２０２は、直前フレームの画面明度についての画面明度判定部２０１の判定結果がケース１となったフレームで作動し、メモリ２０５に記憶されているフレームレート切り替え履歴情報に基づいて、フレームレートを増加させるフレームレート切り替えを行ったならばハンチングが発生する可能性があるか否かを判断する。ハンチング発生可能性がないと判断したときに、フレームレート増加切り替えの指示データ（レジスタ設定）を撮像素子１０２へ送信し、撮像素子１０２においてフレームレートを１段階増加させる。ハンチング発生可能性があると判断したときには、フレームレート切り替えを行わない。フレームレート切り替え履歴情報の更新も行われる。

ケース２対応部２０３は、直前フレームの画面明度についての画面明度判定部２０１の判定結果がケース２となったフレームで作動し、メモリ２０５に記憶されているフレームレート切り替え履歴情報に基づいて、フレームレートを減少させるフレームレート切り替えを行ったならばハンチングが発生する可能性があるか否かを判断する。ハンチング発生可能性がないと判断したときに、フレームレート減少切り替えの指示データを撮像素子１０２へ送信し、撮像素子１０２においてフレームレートを１段階減少させる。ハンチング発生可能性があると判断したときには、フレームレート切り替えを行わない。フレームレート切り替え履歴情報の更新も行われる。

ケース３対応部２０４は、直前フレームの画面明度につていの画面明度判定部２０１の判定結果がケース３となったフレームで作動し、フレームレート切り替え履歴情報の更新のみを行う。

次に、ケース１，２，３対応部２０２，２０３，２０４の処理内容及びフレームレート切り替え履歴情報について、２つの実施例により具体的に説明する。

本実施例においては、フレームレート切り替え履歴情報は一つの変数値により表現されるが、この変数値には予め標準値Ｓが定められている。そして、この標準値Ｓとフレームレート切り替え履歴情報の値との比較によって、フレームレート切り替えによるハンチング発生可能性の有無が判断される。過去数フレームでフレームレート増加切り替えが行われた場合にフレームレート切り替え履歴情報が標準値Ｓを超えるようにするため、フレームレート増加切り替えが実行された時にフレームレート切り替え履歴情報に定数αを加算する更新処理が行われる。逆に、過去数フレームでフレームレート減少切り替えが行われた場合にフレームレート切り替え履歴情報が標準値Ｓ以下となるようにするため、フレームレート減少切り替えが実行された時にフレームレート切り替え履歴情報から定数αを減算する更新処理が行われる。フレームレートの切り替えが行われないフレームでは、フレームレート切り替え履歴情報を標準値Ｓに近づけるように、フレームレート切り替え履歴情報に対し定数βを加算又は減算する更新処理が行われる。定数βは定数αより十分小さな値に選ばれる。

標準値Ｓ、定数α，βは例えば、Ｓ＝８０（１０進数）、α＝１０（１０進数）、β＝１（１０進数）に選ばれる。

ケース１対応部２０２の処理フローを図５に示す。図５を参照し、ケース１対応部２０２の処理内容を説明する。

ケース１対応部２０２が作動するケース１のフレームでは基本的にはフレームレート増加切り替えを行う状況であるが、ハンチングの発生を防止するため、フレームレート切り替え履歴情報に基づきハンチング発生可能性の有無を判断する。すなわち、メモリ２０５に記憶されているフレームレート切り替え履歴情報を読み出し（ステップＳ２０１）、読み出したフレームレート切り替え履歴情報の値が標準値Ｓ以上であるか調べる（ステップＳ２０２）。

フレームレート切り替え履歴情報の値が標準値Ｓ以上であるならば（ステップＳ２０２，ＹＥＳ）、過去数フレームにおいてフレームレート増加切り替えが実行されているということであり、当該フレームでフレームレートをさらに増加させてもハンチングが発生する可能性はない判断される。そこで、読み出したフレームレート切り替え履歴情報に定数αを加算し（ステップＳ２０４）、加算後のフレームレート切り替え履歴情報でメモリ２０５内の同情報を書き換え（ステップＳ２０５）、フレームレートを１段階増加させる指示データ（レジスタ設定）を撮像素子１０２へ送信し（ステップＳ２０６）、当該フレームにおいてフレームレートを１段階増加させる。ただし、現在のフレームレートが設定可能な最高フレームレートであるならば（ステップＳ２０３，ＹＥＳ）、フレームレートをそれ以上増加させることはできないため、何もしないで処理を終わる。

一方、ステップＳ２０２でフレームレート切り替え履歴情報の値が標準値Ｓ以上でない、つまり標準値Ｓ未満であると判定されたならば（ステップＳ２０２，ＮＯ）、過去数フレームでフレームレート減少切り替えが実行されているということであり、当該フレームでフレームレート増加切り替えを行うとハンチングが発生する可能性があると判断され、フレームレート増加切り替えは行われない。この場合、フレームレート切り替え履歴情報に定数βを加算し（ステップＳ２０７）、加算後のフレームレート切り替え履歴情報でメモリ２０５内のフレームレート切り替え履歴情報を書き換え（ステップＳ２０８）、処理を終わる。

ここまでの説明から理解されるように、図５におけるステップ２０２、Ｓ２０６などはフレームレート増加切り替え制御手段に相当している。ステップＳ２０４，Ｓ２０５，Ｓ２０７，Ｓ２０８等はフレームレート履歴情報管理手段に相当している。

ケース２対応部２０３の処理フローを図６に示す。図６を参照し、ケース２対応部２０３の処理内容を説明する。

ケース２対応部２０３が作動するケース２のフレームでは基本的にはフレームレート減少切り替えを行う状況であるが、ハンチングの発生を防止するため、フレームレート切り替え履歴情報に基づきハンチング発生可能性の有無を判断する。すなわち、メモリ２０５に記憶されているフレームレート切り替え履歴情報を読み出し（ステップＳ３０１）、読み出したフレームレート切り替え履歴情報の値が標準値Ｓ以下であるか調べる（ステップＳ３０２）。

フレームレート切り替え履歴情報の値が標準値Ｓ以下であるならば（ステップＳ３０２，ＹＥＳ）、過去数フレームにおいてフレームレート減少切り替えが実行されているということであり、当該フレームでフレームレートをさらに減少させてもハンチングが発生する可能性はない判断される。そこで、読み出したフレームレート切り替え履歴情報から定数αを減算し（ステップＳ３０４）、減算後のフレームレート切り替え履歴情報でメモリ２０５内の同情報を書き換え（ステップＳ３０５）、フレームレートを１段階減少させる指示データ（レジスタ設定）を撮像素子１０２へ送信し（ステップＳ３０６）、当該フレームにおいてフレームレートを１段階減少させる。ただし、現在のフレームレートが設定可能な最低フレームレートであるならば（ステップＳ３０３，ＹＥＳ）、フレームレートをそれ以上減少させることはできないため、何もしないで処理を終わる。

一方、ステップＳ３０２でフレームレート切り替え履歴情報の値が標準値Ｓ以下でない、つまり標準値Ｓを超えている判定されたならば（ステップＳ３０２，ＮＯ）、過去数フレームでフレームレート増加切り替えが実行されているということであり、当該フレームでフレームレート減少切り替えを行うとハンチングが発生する可能性があると判断され、フレームレート減少切り替えは行われない。この場合、フレームレート切り替え履歴情報から定数βを減算し（ステップＳ３０７）、減算後のフレームレート切り替え履歴情報でメモリ２０５内のフレームレート切り替え履歴情報を書き換え（ステップＳ３０８）、処理を終わる。

以上の説明から明らかなように、図６におけるステップＳ３０２，Ｓ３０６などはフレームレート減少切り替え制御手段に相当する。ステップＳ３０４，Ｓ３０６，Ｓ３０７，Ｓ３０８などはフレームレート切り替え履歴情報管理手段に相当する。

ケース３対応部２０４の処理フローを図７に示す。図７を参照し、ケース３応部２０４の処理内容を説明する。

ケース３対応部２０４は、ケース３と判定されたフレームで、フレームレート切り替え履歴情報に対し、定数βを加算し又は減算することにより、フレームレート切り替え履歴情報をその標準値Ｓに近づけるように更新する処理を行う。

すなわち、メモリ２０５からフレームレート切り替え履歴情報を読み出し（ステップＳ４０１）、その値が標準値Ｓに等しいか判定する（ステップＳ４０２）。標準値Ｓに等しいならば処理を終了する。

読み出したフレームレート切り替え履歴情報が標準値Ｓと等しくないならば（ステップＳ４０２，ＮＯ）、フレームレート切り替え履歴情報と標準値Ｓの比較判定をする（ステップＳ４０３）。フレームレート切り替え履歴情報の値が標準値Ｓより大きければ（ステップＳ４０３，ＹＥＳ）、フレームレート切り替え履歴情報から定数βを減算し（ステップＳ４０４）、標準値Ｓより小さければ（ステップＳ４０３，ＮＯ）、フレームレート切り替え履歴情報に定数βを加算する（ステップＳ４０５）。そして、定数βを減算又は加算された後のフレームレート切り替え履歴情報でメモリ２０５に記憶されているフレームレート切り替え履歴情報を書き換え（ステップＳ４０６）、処理を終了する。

以上の説明から明らかなように、図７に示す処理ステップはフレームレート切り替え履歴情報管理手段に相当する。

ここで、フレームレート切り替え履歴情報と関連付けてハンチング防止効果について説明する。図８はその説明図である。図８において、縦軸は画面明度を表し、横軸はフレーム数（時間経過と同等）を表わし、横軸の下側に示した数字はフレームレート切り替え履歴情報の値を表わしている。なお、前述の通り、標準値Ｓ＝８０（１０進数）、定数α＝１０（１０進数）、定数β＝１（１０進数）としている。

図８に示す例では、最初の（左端の）フレームで画面照度が下限閾値を下回り、その時点でのフレームレート切り替え履歴情報の値は８０であるため、次フレームでフレームレート減少切り替え操作（黒丸印で示されている）が実行され、フレームレート切り替え履歴情報の値は定数αが減算され７０に更新される。

フレームレートが１段階減少した分だけ画面明度は明るくなるのであるが、この例では環境照度が突如明るくなったために画面明度が急激に上昇して上限閾値を超える。画面明度が上限閾値を超えたということのみでフレームレート増加切り替えを行うような単純な制御方式では、当該時点でフレームレート増加切り替え操作が実行されるために、ハンチングが起きてしまう。

しかし、本実施例では、直前フレームの画面明度が上限閾値を超えたフレームであっても、フレームレート切り替え履歴情報の値が８０以上でないとフレーム増加切り替えは実行されない。すなわち、図示のように、フレームレート低下切り替え操作（黒丸印）が実行されたフレームから、フレーム毎にフレームレート切り替え履歴情報から定数βが減算され、フレームレート切り替え履歴情報の値が８０まで増加したフレームの次フレームまで、フレームレート増加切り替え操作（白抜き丸印で示す）は実行されない。このようにフレームレート低下切り替えからフレームレート増加切り替えの間に時間を空けることにより、ハンチングの発生を防止することができる。図示の例では、フレームレート増加切り替え操作を１回実行しても画面明度が上限閾値を超えるため、次フレームでもフレームレート増加切り替え操作が実行される。最初のフレームレート増加切り替え操作でフレームレート切り替え履歴情報は定数αを加算されて９０に更新され、次のフレームレート増加切り替え操作でフレームレート切り替え履歴情報は１００に更新される。次フレームからはフレームレート切り替え操作は実行されないため、フレームレート切り替え履歴情報は９９，９８，９７，．．．．と標準値へ向かって更新される。

フレームレート低下切り替え操作に続いてフレームレート増加切り替え操作が行われる場合のハンチング発生防止にについて説明した。フレームレート増加切り替え操作の後に環境照明が急に暗くなったために画面明度が下限閾値を下回った場合も同様に、フレームレート低下切り替え操作までに時間が空けられるため、ハンチングが起こらないことは以上の説明から明らかである。

ここまでの説明から理解されるように、本実施例においては、フレームレート切り替え履歴情報としての一つの変数値により、過去数フレームのフレームレート増加切り替え、もしくは、フレームレート低下切り替えの履歴を記録していると考えることができる。このような態様は、過去数フレームのそれぞれのフレームレートを別々の変数値として保存するような態様に比べ、フレームレート切り替え履歴情報を記憶するためのメモリ容量が最小限で済むとい利点がある。

なお、本実施例においては、フレームレート増加切り替えを行う場合にはフレームレート履歴情報に定数αを加算し（図５、ステップＳ２０４）、フレームレート減少切り替えを行う場合にはフレームレート切り替え履歴情報から定数αを減算した（図５、ステップＳ３０４）。しかし、この加算と減算の関係を逆にすることも可能である。ただし、この場合、図５のステップＳ２０２でフレームレート切り替え履歴情報の値が「標準値Ｓ以下」であるか判定し、図６のステップＳ３０２でフレームレート切り替え履歴情報の値が「標準値Ｓ以上」であるか判定するなど、若干の処理の修正が必要である。

本実施例においては、フレームレート切り替え履歴情報は２つのフラグ（フラグ１とフラグ２）により表現される。フラグ１はフレームレート増加切り替えとフレームレート減少切り替えのいずれが実行されたかを表わし、フラグ２はフレームレートを切り替えた時点を表わす。

各フラグの更新は次の通りである。フラグ１は、フレームレート増加切り替えを行うフレームで定数＋ｕを設定し、フレームレート減少切り替えを行うフレームで定数−ｕを設定する。フラグ２は、フレームレート切り替え操作を行うフレームで０にリセットし、その後、フレームレート切り替えが行われないフレーム毎に１ずつ増加させる。ただし、フラグ２は所定の最大値ｍ（ｍ＞０）まで増加した後は、フレームレート切り替え操作が行われない限り、最大値のまま維持される。

以下、本実施例におけるケース１，２，３対応部２０２，２０３，２０４の処理内容について説明する。

図９はケース１対応部２０２の処理フローを示す。図９を参照し、ケース１対応部２０２の処理内容を詳細に説明する。

画面明度判定部２０１でケース１と判定されたフレームでケース１対応部２０２は作動し、まず、メモリ２０５からフラグ１とフラグ２を読み出し（ステップＳ１００１）、フラグ２が最大値ｍに等しいか調べる（ステップＳ１００２）。

フラグ２がｍならば（ステップＳ１００２，ＹＥＳ）、前回のフレームレート切り替え操作実行から十分なフレーム数が経過しており、当該フレームでフレームレートを増加させるフレームレート切り替え操作を行ったとしてもハンチングが発生する可能性はないと判断される。そこで、フレームレート増加切り替え操作を実行したことを記録するため、読み出したフラグ１を定数＋ｕを設定し、フラグ２を０にリセットし、更新したフラグ１とフラグ２でメモリ２０５内のフラグ１とフラグ２をそれぞれ書き換える（ステップＳ１００４）。そして、フレームレート増加切り替えの指示データ（レジスタ設定）を撮像素子１０２へ送信させ（ステップＳ１００５）、撮像素子１０２において当該フレームでフレームレートを１段階増加させる。ただし、すでにフレームレートが最高レートである場合は（ステップＳ１００３，ＹＥＳ）、フレームレート増加切り替え操作を行わず処理を終了する。

フラグ２が最大値ｍでない場合（ステップＳ１００２，ＮＯ）、前回のフレームレート切り替え操作実行から十分なフレーム数が経過していないため、前回のフレームレート切り替えがフレームレート減少切り替えならば、当該フレームでフレームレート増加切り替えを行うとハンチングが発生する可能性がある。そこで、フラグ１の値が＋ｕであるか調べる（ステップＳ１００７）。

フラグ１の値が＋ｕならば（ステップＳ１００７，ＹＥＳ）、前回のフレームレート切り替えはフレームレート増加切り替えであるから、当該フレームでフレームレート増加切り替え操作を実行したとしてもハンチングが発生する可能性はないと判断され、ステップＳ１００３の処理に進む。

フラグ１の値が＋ｕでない、つまり−ｕであるならば（ステップＳ１００７，ＮＯ）、
前回フレームレート減少切り替えが行われたということであり、かつ、前回のフレームレート減少切り替えからのフレーム数が最大値ｍより少ないということであり（ステップＳ１００２がＮＯゆえ）、当該フレームでフレームレート増加切り替え操作を実行するとハンチング発生可能性があると判断される。そこで、フレームレート切り替え操作は実行せず、フラグ２の値に１を加算し、加算後の値でメモリ２０５内のフラグ２を書き換え（ステップＳ１００９）、処理を終了する。ただし、フラグ２の値が最大値ｍに達しているならば（ステップＳ１００８，ＹＥＳ）、フラグ２を更新することなく処理を終了する。

以上の説明から理解されるように、図９におけるステップＳ１００２，Ｓ１００７，Ｓ１００５などは、フレームレート増加切り替え制御手段に相当する。また、ステップＳ１００４，Ｓ１００９などはフレームレート切り替え履歴情報管理手段に相当する。

図１０はケース２対応部２０３の処理フローを示す。図１０を参照し、ケース２対応部２０３の処理内容を詳細に説明する。

画面明度判定部２０１でケース２と判定されたフレームでケース２対応部２０３は作動し、まず、メモリ２０５からフラグ１とフラグ２を読み出し（ステップＳ１１０１）、フラグ２が最大値ｍに等しいか調べる（ステップＳ１１０２）。

フラグ２がｍならば（ステップＳ１１０２，ＹＥＳ）、前回のフレームレート切り替え操作実行から十分なフレーム数が経過しており、当該フレームでフレームレートを減少させるフレームレート切り替え操作を行ったとしてもハンチング発生可能性はないと判断される。そこで、フレームレート減少切り替え操作を実行したことを記録するため、読み出したフラグ１に定数−ｕを設定し、フラグ２を０にリセットし、更新したフラグ１とフラグ２でメモリ２０５内のフラグ１とフラグ２をそれぞれ書き換える（ステップＳ１１０４）。そして、フレームレート階減少切り替えの指示データ（レジスタ設定）を撮像素子１０２へ送信させ（ステップＳ１１０５）、撮像素子１０２において当該フレームでフレームレートを１段階減少させる。ただし、すでにフレームレートが最低レートである場合は（ステップＳ１１０３，ＹＥＳ）、フレームレート減少切り替え操作を行わず処理を終了する。

フラグ２が最大値ｍでない場合（ステップＳ１１０２，ＮＯ）、前回のフレームレート切り替え操作実行から十分なフレーム数が経過していないため、前回のフレームレート切り替えがフレームレート増加切り替えであならば、当該フレームでフレームレート減少切り替えを行うとハンチングが発生する可能性がある。そこで、フラグ１の値が−ｕであるか調べる（ステップＳ１１０７）。

フラグ１の値が−ｕならば（ステップＳ１１０７，ＹＥＳ）、前回のフレームレート切り替えはフレームレート減少切り替えであるから、当該フレームでフレームレート減少切り替え操作を実行したとしてもハンチングが発生する可能性はないと判断され、ステップＳ１１０３の処理に進む。

フラグ１の値が−ｕでない、つまり＋ｕであるならば（ステップＳ１１０７，ＮＯ）、
前回フレームレート増加切り替えが行われたということであり、かつ、前回のフレームレート増加切り替えからのフレーム数が最大値ｍより少ないということであり（ステップＳ１１０２がＮＯゆえ）、当該フレームでフレームレート減少切り替え操作を実行するとハンチングが発生する可能性があると判断される。そこで、フレームレート切り替え操作は実行せず、フラグ２の値に１を加算し、加算後の値でメモリ２０５内のフラグ２を書き換え（ステップＳ１１０９）、処理を終了する。ただし、フラグ２の値が最大値ｍに達しているならば（ステップＳ１１０８，ＹＥＳ）、フラグ２を更新することなく処理を終了する。

以上の説明から明らかなように、図１０におけるステップＳ１１０２，Ｓ１１０７，Ｓ１１０５などはフレームレート減少切り替え制御手段に相当し、ステップＳ１１０４，Ｓ１１０９などはフレームレート切り替え履歴情報管理手段に相当する。

図１１にケース３対応部２０４の処理フローを示す。ケース３対応部２０４は、画面明度判定部２０１でケース３と判定されたフレームで作動し、まず、メモリ２０５よりフラグ２を読み出し（ステップＳ１２０１）、フラグ２の値が最大値ｍに等しいか調べる（ステップＳ１２０２）。フラグ２の値がｍに等しいときは（ステップＳ１２０２，ＹＥＳ）、そのまま処理を終了する。フラグ２の値がｍに等しくないときは（ステップＳ１２０２，ＮＯ）、フラグ２の値に１を加算し、加算後の値でメモリ２０５内のフラグ２を書き替え（ステップＳ１２０３）、処理を終了する。

このように図１１のステップ群はフレームレート切り替え履歴情報管理手段に相当する。

以上の説明から明らかなように、本実施例においても前記実施例１と同様に、フレームレート減少切り替え操作からフレームレート増加切り替え操作までに必要な時間を空けることにより、また、フレームレート増加切り替え操作からフレームレート減少切り替え操作までに必要な時間を空けることにより、フレームレート切り替え操作に伴うハンチングの発生を防止することができる。

なお、以上の説明は本発明に係るフレームレート制御方法の実施形態の説明でもあることは明らかである。

また、図１に示した画面明度検出部１０５に相当する手段及びフレームレート制御部１０６に含まれる各手段としてマイクロコンピュータ等のコンピュータを機能させるプログラム、及び、そのようなプロクラムが記録された半導体記憶素子、磁気ディスク、光ディスク、光磁気ディスクなどのコンピュータが読み取り可能な各種記録（記憶）媒体も本発明に包含される。

１００ 撮像装置
１０１ 光学系
１０２ 撮像素子
１０４ 信号処理回路
１０５ 画面明度検出部
１０６ フレームレート制御部
２０１ 画面明度判定部
２０２ ケース１対応部
２０３ ケース２対応部
２０４ ケース３対応部
２０５ メモリ

特開２００３−８７６３０号公報

Claims (8)

1. フレームレートを増加又は減少させるフレームレート切り替えが可能な撮像素子を用いる撮像装置であって、
   前記撮像素子より出力される各フレームの画像信号に基づいて撮像画像の明るさの指標（画面明度と記す）を検出する画面明度検出手段と、前記撮像素子のフレームレート切り替えを制御するフレームレート制御手段とを有し、
   前記フレームレート制御手段は、
   フレームレート切り替えに伴うハンチングの発生可能性の判断に利用される、フレームレート切り替えの履歴が反映された情報（以下、履歴情報と記す）を管理する履歴情報管理手段と、
   各フレームについて検出された前記画面明度と所定の上限閾値又は下限閾値との比較判定を行う画面明度判定手段と、
   直前フレームについて検出された前記画面明度が前記上限閾値以上であると前記画面明度判定手段により判定されたフレームにおいて、フレームレートを増加させるフレームレート切り替えを実行したならばハンチングが発生する可能性があるか否かを前記履歴情報に基づいて判断し、ハンチング発生可能性がないと判断したときにフレームレートを増加させるフレームレート切り替えを前記撮像素子に指示するフレームレート増加切り替え制御手段と、
   直前フレームについて検出された前記画面明度が前記下限閾値未満であると前記画面明度判定手段により判定されたフレームにおいて、フレームレートを減少させるフレームレート切り替えを実行したならばハンチングが発生する可能性があるか否かを前記履歴情報に基づいて判断し、ハンチング発生可能性がないと判断したときにフレームレートを減少させるフレームレート切り替えを前記撮像素子に指示するフレームレート減少切り替え制御手段とを有し、
   前記履歴情報は一つの変数値で表現され、
   前記履歴情報管理手段は、フレームレート切り替えが行われないフレームでは前記履歴情報に対し、その所定の標準値に近づけるように所定の第１の定数を加算又は減算し、フレームレートを増加させるフレームレート切り替えとフレームレートを減少させるフレームレート切り替えのうちの一方のフレームレート切り替えが行われるフレームでは前記履歴情報に所定の第２の定数を加算し、もう一方のフレームレート切り替えが行われるフレームでは前記履歴情報から前記第２の定数を減算し、
   前記フレームレート増加切り替え制御手段及び前記フレームレート減少切り替え制御手段は、前記履歴情報の値と前記標準値とを比較することによりハンチング発生可能性を判断する、
   ことを特徴とする撮像装置。
2. フレームレートを増加又は減少させるフレームレート切り替えが可能な撮像素子を用いる撮像装置であって、
   前記撮像素子より出力される各フレームの画像信号に基づいて撮像画像の明るさの指標（画面明度と記す）を検出する画面明度検出手段と、前記撮像素子のフレームレート切り替えを制御するフレームレート制御手段とを有し、
   前記フレームレート制御手段は、
   フレームレート切り替えに伴うハンチングの発生可能性の判断に利用される、フレームレート切り替えの履歴が反映された情報（以下、履歴情報と記す）を管理する履歴情報管理手段と、
   各フレームについて検出された前記画面明度と所定の上限閾値又は下限閾値との比較判定を行う画面明度判定手段と、
   直前フレームについて検出された前記画面明度が前記上限閾値以上であると前記画面明度判定手段により判定されたフレームにおいて、フレームレートを増加させるフレームレート切り替えを実行したならばハンチングが発生する可能性があるか否かを前記履歴情報に基づいて判断し、ハンチング発生可能性がないと判断したときにフレームレートを増加させるフレームレート切り替えを前記撮像素子に指示するフレームレート増加切り替え制御手段と、
   直前フレームについて検出された前記画面明度が前記下限閾値未満であると前記画面明度判定手段により判定されたフレームにおいて、フレームレートを減少させるフレームレート切り替えを実行したならばハンチングが発生する可能性があるか否かを前記履歴情報に基づいて判断し、ハンチング発生可能性がないと判断したときにフレームレートを減少させるフレームレート切り替えを前記撮像素子に指示するフレームレート減少切り替え制御手段とを有し、
   前記履歴情報は第１のフラグ及び第２のフラグにより表現され、
   前記履歴情報管理手段は、フレームレート切り替えが行われないフレームでは、前記第２のフラグの値が所定の最大値に達するまでは、前記第２のフラグの値に所定値を加算し、フレームレートを増加させるフレームレート切り替えが行われるフレームでは、前記第１のフラグに所定の第１の定数を設定するとともに前記第２のフラグに０を設定し、フレームレートを減少させるフレームレート切り替えが行われるフレームでは、前記第１のフラグに所定の第２の定数を設定するとともに前記第２のフラグに０を設定し、
   前記フレームレート増加切り替え制御手段は、前記第２のフラグの値が前記最大値と等しいとき、又は、前記第２のフラグの値が前記最大値と異なり、かつ、前記第１のフラグの値が前記第１の定数に等しいときに、ハンチング発生可能性がないと判断し、
   前記フレームレート減少切り替え制御手段は、前記第２のフラグの値が前記最大値と等しいとき、又は、前記第２のフラグの値が前記最大値と異なり、かつ、前記第１のフラグの値が前記第２の定数に等しいときに、ハンチング発生可能性がないと判断する、
   ことを特徴とする撮像装置。
3. 前記フレームレート制御手段は、各フレームの垂直同期信号の立ち上がりをトリガとして処理を開始し、最小垂直ブランキング期間内に処理を終了することを特徴する請求項１もしくは２に記載の撮像装置。
4. フレームレートを増加又は減少させるフレームレート切り替えが可能な撮像素子を用いる撮像装置におけるフレームレート制御方法であって、
   前記撮像素子より出力される各フレームの画像信号に基づいて撮像画像の明るさの指標（画面明度と記す）を検出する画面明度検出工程と、前記撮像素子のフレームレート切り替えを制御するフレームレート制御工程とを有し、
   前記フレームレート制御工程は、
   フレームレート切り替えに伴うハンチングの発生可能性の判断に利用される、フレームレート切り替えの履歴が反映された情報（以下、履歴情報と記す）を管理する履歴情報管理工程と、
   各フレームについて検出された前記画面明度と所定の上限閾値又は下限閾値との比較判定を行う画面明度判定工程と、
   直前フレームについて検出された前記画面明度が前記上限閾値以上であると前記画面明度判定工程により判定されたフレームにおいて、フレームレートを増加させるフレームレート切り替えを実行したならばハンチングが発生する可能性があるか否かを前記履歴情報に基づいて判断し、ハンチング発生可能性がないと判断したときにフレームレートを増加させるフレームレート切り替えを前記撮像素子に指示するフレームレート増加切り替え制御工程と、
   直前フレームについて検出された前記画面明度が前記下限閾値未満であると前記画面明度判定工程により判定されたフレームにおいて、フレームレートを減少させるフレームレート切り替えを実行したならばハンチングが発生する可能性があるか否かを前記履歴情報に基づいて判断し、ハンチング発生可能性がないと判断したときにフレームレートを減少させるフレームレート切り替えを前記撮像素子に指示するフレームレート減少切り替え制御工程とを有し、
   前記履歴情報は一つの変数値で表現され、
   前記履歴情報管理工程は、フレームレート切り替えが行われないフレームでは前記履歴情報に対し、その所定の標準値に近づけるように所定の第１の定数を加算又は減算し、フレームレートを増加させるフレームレート切り替えとフレームレートを減少させるフレームレート切り替えのうちの一方のフレームレート切り替えが行われるフレームでは前記履歴情報に所定の第２の定数を加算し、もう一方のフレームレート切り替えが行われるフレームでは前記履歴情報から前記第２の定数を減算し、
   前記フレームレート増加切り替え制御工程及び前記フレームレート減少切り替え制御工程は、前記履歴情報の値と前記標準値とを比較することによりハンチング発生可能性を判断する、
   ことを特徴とするフレームレート制御方法。
5. フレームレートを増加又は減少させるフレームレート切り替えが可能な撮像素子を用いる撮像装置におけるフレームレート制御方法であって、
   前記撮像素子より出力される各フレームの画像信号に基づいて撮像画像の明るさの指標（画面明度と記す）を検出する画面明度検出工程と、前記撮像素子のフレームレート切り替えを制御するフレームレート制御工程とを有し、
   前記フレームレート制御工程は、
   フレームレート切り替えに伴うハンチングの発生可能性の判断に利用される、フレームレート切り替えの履歴が反映された情報（以下、履歴情報と記す）を管理する履歴情報管理工程と、
   各フレームについて検出された前記画面明度と所定の上限閾値又は下限閾値との比較判定を行う画面明度判定工程と、
   直前フレームについて検出された前記画面明度が前記上限閾値以上であると前記画面明度判定工程により判定されたフレームにおいて、フレームレートを増加させるフレームレート切り替えを実行したならばハンチングが発生する可能性があるか否かを前記履歴情報に基づいて判断し、ハンチング発生可能性がないと判断したときにフレームレートを増加させるフレームレート切り替えを前記撮像素子に指示するフレームレート増加切り替え制御工程と、
   直前フレームについて検出された前記画面明度が前記下限閾値未満であると前記画面明度判定工程により判定されたフレームにおいて、フレームレートを減少させるフレームレート切り替えを実行したならばハンチングが発生する可能性があるか否かを前記履歴情報に基づいて判断し、ハンチング発生可能性がないと判断したときにフレームレートを減少させるフレームレート切り替えを前記撮像素子に指示するフレームレート減少切り替え制御工程とを有し、
   前記履歴情報は第１のフラグ及び第２のフラグにより表現され、
   前記履歴情報管理工程は、フレームレート切り替えが行われないフレームでは、前記第２のフラグの値が所定の最大値に達するまでは、前記第２のフラグの値に所定値を加算し、フレームレートを増加させるフレームレート切り替えが行われるフレームでは、前記第１のフラグに所定の第１の定数を設定するとともに前記第２のフラグに０を設定し、フレームレートを減少させるフレームレート切り替えが行われるフレームでは、前記第１のフラグに所定の第２の定数を設定するとともに前記第２のフラグに０を設定し、
   前記フレームレート増加切り替え制御工程は、前記第２のフラグの値が前記最大値と等しいとき、又は、前記第２のフラグの値が前記最大値と異なり、かつ、前記第１のフラグの値が前記第１の定数に等しいときに、ハンチング発生可能性がないと判断し、
   前記フレームレート減少切り替え制御工程は、前記第２のフラグの値が前記最大値と等しいとき、又は、前記第２のフラグの値が前記最大値と異なり、かつ、前記第１のフラグの値が前記第２の定数に等しいときに、ハンチング発生可能性がないと判断する、
   ことを特徴とするフレームレート制御方法。
6. 前記フレームレート制御工程は、各フレームの垂直同期信号の立ち上がりをトリガとして処理を開始し、最小垂直ブランキング期間内に処理を終了することを特徴する請求項4もしくは５に記載のフレームレート制御方法。
7. 請求項１乃至３のいずれか１項に記載の撮像装置の各手段としてコンピュータを機能させるプログラム。
8. 請求項１乃至３のいずれか１項に記載の撮像装置の各手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な記録媒体。
   

Images