Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7763200B2 - カメラ制御装置、カメラ制御プログラム及びカメラ制御方法 - Google Patents
[go: Go Back, main page]

JP7763200B2 - カメラ制御装置、カメラ制御プログラム及びカメラ制御方法 - Google Patents

カメラ制御装置、カメラ制御プログラム及びカメラ制御方法

Info

Publication number
JP7763200B2
JP7763200B2 JP2023029106A JP2023029106A JP7763200B2 JP 7763200 B2 JP7763200 B2 JP 7763200B2 JP 2023029106 A JP2023029106 A JP 2023029106A JP 2023029106 A JP2023029106 A JP 2023029106A JP 7763200 B2 JP7763200 B2 JP 7763200B2
Authority
JP
Japan
Prior art keywords
image sensor
deterioration
exposure
degree
camera control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023029106A
Other languages
English (en)
Other versions
JP2024121890A (ja
Inventor
憲太朗 小暮
隼 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2023029106A priority Critical patent/JP7763200B2/ja
Priority to US18/442,237 priority patent/US20240292107A1/en
Publication of JP2024121890A publication Critical patent/JP2024121890A/ja
Application granted granted Critical
Publication of JP7763200B2 publication Critical patent/JP7763200B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Description

本発明は、カメラ制御装置、カメラ制御プログラム及びカメラ制御方法に関する。
一般的に、カメラは、自動露出(AE:Auto Exposure)制御が搭載されている。自動露出制御は、主に、シャッタースピード、絞り、ゲイン等の露出に関する要素を被写体の明るさに応じて制御する機能である。また、近年、カメラに搭載されている撮像素子の一つであるフォトンカウンティング方式のSPAD(Single Photon Avalanche Diode)センサの多画素化が進んでおり、低照度性能を重視した監視カメラへの応用が期待されている。撮像素子としてSPADセンサが採用されているカメラも、露出の概念を有しており、露出に関して好適な制御が実行されることが好ましい。
露出に関する要素を制御する技術を開示している文献として、例えば、特許文献1及び特許文献2が挙げられる。特許文献1に開示されているカメラは、撮像手段の特性と撮影光学系の特性とに基づいてプログラム線図を変更し、変更したプログラム線図によって絞り値とシャッター速度の組み合わせを決定する。特許文献2に開示されている撮像装置は、CMОS(Complementary Metal-Oxide-Semiconductor)に入射する光量を下げることによってCMОSの消費電力を低減させる。この撮像装置は、絞り羽根の開口面積を小さくし、又はシャッター幕の露光時間を短くすることにより、フォトダイオードに入射する光量を小さくする。
特開2006-178075号公報 特開2014-96714号公報
しかし、特許文献1に係るカメラ及びでは、撮像手段の劣化が考慮されていない。同様に、特許文献2に係る撮像装置では、CMОSの劣化が考慮されていない。一方、SPADセンサは、カメラを使用した時間が増加するに伴い、暗電流及び直流抵抗(DCR:Direct Current Resistance)が増加してしまうことがある。
そこで、本発明は、カメラに搭載されている撮像素子の劣化を抑制することができるカメラ制御装置、カメラ制御プログラム及びカメラ制御方法を提供することを課題とする。
上述した課題を解決するために、本発明のカメラ制御装置は、
被写体からの光を電気信号に変換して画像を生成する撮像素子に入射した光子の数を計数する光子数計数処理、または前記撮像素子に入射した光子の数を所定の期間にわたって積算する光子数積算処理、を実行する光子計数手段と、
前記光子数計数処理により計数された光子の数、または前記光子数積算処理により積算された光子の数、に基づいて前記撮像素子の劣化の度合いを示す劣化度を推定する劣化度推定手段と、
前記劣化度が所定の値よりも大きい場合前記劣化度が所定の値以下の場合よりも前記撮像素子への露光量を小さくするように前記撮像素子への露光量に関するパラメータを制御する露光制御手段と、
を備える。
本発明によれば、カメラに搭載されている撮像素子の劣化を抑制することができる。
第一実施形態に係るカメラの構成の例を示す図である。 図1に示した撮像部の詳細な構成の例を示す図である。 図1に示したカメラ制御装置のハードウェア構成の例を示す図である。 第一実施形態に係るカメラにより生成された画像の例を示す図である。 図4に示した画像においてカメラ制御装置により設定された各領域に対応する領域の例と、当該領域ごとに計測された輝度の平均の例とを示す図である。 第一実施形態に係るカメラ制御装置により推定された撮像素子の劣化度と、図4に示した領域ごとに計測された輝度の平均と、露光量の補正量との関係の例を示す図である。 第一実施形態に係るカメラ制御装置により実行される処理の例を示すフローチャートである。 第二実施形態に係る通常プログラム線図の例を示す図である。 第二実施形態に係る劣化抑制プログラム線図の例を示す図である。 第二実施形態に係る劣化抑制プログラム線図の例を示す図である。 第二実施形態に係るカメラ制御装置により推定された短期劣化度及び長期劣化度と、カメラ制御装置により選択されるプログラム線図との関係の例を示す図である。 第二実施形態に係るカメラ制御装置が撮像素子への露光量に関するパラメータを制御する際に使用するプログラム線図を切り替える際に実行される処理の例を示す図である。 第二実施形態に係るカメラ制御装置により撮像素子への露光量に関するパラメータを制御する際に優先する事項を選択するためのグラフィカルユーザインターフェースの例を示す図である。 第二実施形態に係る画像に設定された複数の領域の例と、領域ごとに計測された輝度の平均の例とを示す図である。 第二実施形態に係るカメラ制御装置により推定された短期劣化度及び長期劣化度と、露光量の補正量との関係の例を示す図である。 第二実施形態に係るカメラ制御装置により実行されるガンマ値の補正を説明するための図である。 第二実施形態に係るカメラ制御装置により実行されるガンマ値の補正を説明するための図である。 第二実施形態に係るカメラ制御装置により実行される処理の例を示すフローチャートである。 第二実施形態に係るカメラ制御装置により実行される処理の例を示すフローチャートである。
<第一実施形態>
図1から図7を参照しながら第一実施形態に係るカメラ制御装置について説明する。図1は、第一実施形態に係るカメラの構成の例を示す図である。カメラ1は、例えば、デジタルスチルカメラ、デジタルビデオカメラである。図1に示すように、カメラ1は、撮像部10と、カメラ制御装置20とを備える。
撮像部10は、カメラ1の外部から光を取り込むことにより画像を生成する。図2は、図1に示した撮像部の詳細な構成の例を示す図である。図2に示すように、撮像部10は、レンズ101と、絞り102と、フィルタ103と、撮像素子104と、コントロールアンプ回路(AGC:Automatic Gain Control)105とを備える。
レンズ101は、カメラ1の外部から光を取り込み、被写体の画像を撮像素子104の受光面に結像させる光学系に含まれている。絞り102は、開口の面積を調整することにより当該光学系に取り込む光の量を調整し、撮像素子104への露光量を調整する。フィルタ103は、例えば、ND(Neutral Density)フィルタであり、撮像素子104への露光量を減少させる。フィルタ103は、固有の透過率特性を有しており、撮像素子104の受光面までの光路上で挿抜されることにより撮像素子104への露光量を減少させてもよい。或いは、フィルタ103は、透過率特性が電気的に制御されることにより撮像素子104への露光量を減少させてもよい。
撮像素子104は、例えば、SPADセンサであり、被写体の画像を電気信号に変換する。撮像素子104は、レンズ101、絞り102及びフィルタ103を通過した光子が入射する受光面を有する。撮像素子104は、入射した光子の数を計数する光子計数処理又は入射した光子を所定の期間に亘って積算する光子数積算処理を実行する光子計数部を備える。また、光子計数部は、撮像素子104の受光面に設定された領域ごとに光子数計数処理又は光子数積算処理を実行してもよい。この領域は、撮像素子104により電気信号に変換された画像の画素一個に相当する領域であってもよいし、当該画素を複数個含む領域に相当する領域であってもよい。例えば、撮像素子104は、SPADセンサである場合、アバランシェフォトダイオード(APD:Avalanche Photodiode)に入射した光子の数を計数し、計数した光子の数をデジタル信号として出力する。
コントロールアンプ回路105は、カメラ1の自動利得制御を実行する。具体的には、コントロールアンプ回路105は、撮像素子104により出力されたデジタル信号を増幅するゲインを調整する。また、カメラ1は、撮像素子104により出力されたデジタル信号をアナログデジタル変換回路(Analog-to-digital converter)を使用してアナログ信号に変換してもよい。この場合、コントロールアンプ回路105は、アナログデジタル変換回路により出力されたアナログ信号を増幅するゲインを調整する。
図3は、図1に示したカメラ制御装置のハードウェア構成の例を示す図である。カメラ制御装置20は、図3に示すように、CPU(Central Processing Unit)201と、ROM(Read Only Memory)202と、RAM(Random Access Memory)と、入力装置204と、出力装置205とを備える。
CPU201は、プログラムを読み出して実行することによりカメラ制御装置20が有する機能を実現させる。ROM202は、CPU201により読み出されて実行されるプログラム等が格納されている。RAM203は、CPU201によりプログラムが実行される際に当該プログラム及びこれに関連するデータが展開される。入力装置204は、例えば、タッチパネル、ボタン等であり、カメラ制御装置20を操作するために必要な指示の入力に使用される。出力装置205は、例えば、ディスプレイ、スピーカ等であり、カメラ1のユーザに提示すべき情報が出力される。
カメラ制御装置20は、図1に示すように、画像生成部21と、劣化度推定部22と、露光制御部23と、明るさ調整部24と、階調調整部25と、出力部26とを備える。画像生成部21、劣化度推定部22、露光制御部23、明るさ調整部24、階調調整部25及び出力部26は、図3に示したCPU201がROM202に格納されているプログラムをRAM203に展開して実行することにより実現される。
画像生成部21は、コントロールアンプ回路105により出力された電気信号から被写体の画像を生成する。
劣化度推定部22は、撮像素子104により電気信号に変換された画像の輝度を計測する輝度計測処理を実行し、輝度計測処理により計測された輝度に基づいて劣化度を推定する。この場合、劣化度推定部22は、撮像素子104の受光面に設定された領域ごとに輝度計測処理を実行し、当該領域ごとに劣化度を推定してもよい。
図4は、第一実施形態に係るカメラにより生成された画像の例を示す図である。図4に示した画像Pは、カメラ1により生成された夜間の風景を映し出している。図4に示した領域A1は、街灯が映っている領域であるため、画像Pの他の領域よりも明るくなっている。同様に、図4に示した領域A2は、明るい場所にいる複数の人物が映っている。
図5は、図4に示した画像においてカメラ制御装置により設定された各領域に対応する領域の例と、当該領域ごとに計測された輝度の平均の例とを示す図である。劣化度推定部22は、例えば、撮像素子104の矩形の受光面に四行五列に配置された矩形の領域を設定し、当該領域ごとに輝度計測処理を実行する。これらの領域は、図5に示すように、画像P上の二十個の領域各々に対応している。また、これらの領域各々における輝度は、例えば、図5に示した各数値となる。図5に示した各数値は、画像Pの輝度を0から255の合計256段階に正規化した場合における領域ごとの輝度の平均を示している。例えば、この数値が200を超えている領域は、他の領域よりも撮像素子104の受光面に入射した光子の数が多いため、他の領域よりも撮像素子104の劣化度が高いといえる。
劣化度推定部22は、図5に示した合計二十個の輝度の平均の最大値に基づいて劣化度を推定する。なお、劣化度推定部22は、図5に示した合計二十個の輝度の平均の加算平均又は加重平均に基づいて劣化度を推定してもよい。
図6は、第一実施形態に係るカメラ制御装置により推定された撮像素子の劣化度と、図に示した領域ごとに計測された輝度の平均と、露光量の補正量との関係の例を示す図である。図6に示した表の上から一行目は、劣化度推定部22により推定された劣化度の区分けの例を示している。図6に示した表の上から二行目は、図5に示した合計二十個の輝度の平均の最大値の区分けの例を示している。図6に示した表の上から三行目は、露光制御部93により実行される露光量の補正量の例を示している。
劣化度推定部22は、図6に示すように、輝度の平均の最大値が150以下であると推定した場合、劣化度が「低」に該当すると推定する。また、劣化度推定部22は、図6に示すように、輝度の平均の最大値が151以上200未満であると推定した場合、劣化度が「中」に該当すると推定する。また、劣化度推定部22は、図6に示すように、輝度の平均の最大値が200以上であると推定した場合、劣化度が「高」に該当すると推定する。劣化度推定部22は、図5に示した場合、輝度の平均の最大値が「180」であるため、撮像素子104の劣化度が「」に該当すると推定する。なお、劣化度推定部22は、図6に示した「低」、「中」及び「高」の三段階以外の尺度、例えば、四段階以上又は二段階で劣化度を推定してもよい。
また、劣化度推定部22は、撮像素子104により電気信号に変換された画像の輝度を所定の期間に亘って積算する輝度積算処理を実行し、輝度積算処理により積算された輝度に基づいて劣化度を推定する。この場合、劣化度推定部22は、撮像素子104の受光面に設定された領域ごとに輝度積算処理を実行し、当該領域ごとに劣化度を推定してもよい。
なお、劣化度推定部22は、撮像素子104の劣化の度合いを示す劣化度を推定してもよい。例えば、劣化度推定部22は、上述した光子数計数処理により計数された光子の数に基づいて劣化度を推定してもよい。また、劣化度推定部22は、光子数計数処理が撮像素子104の受光面に設定された領域ごとに実行されている場合、当該領域ごとに劣化度を推定してもよい。また、例えば、劣化度推定部22は、上述した光子数積算処理により積算された光子の数に基づいて劣化度を推定してもよい。また、劣化度推定部22は、光子数積算処理が撮像素子104の受光面に設定された領域ごとに実行されている場合、当該領域ごとに劣化度を推定してもよい。
或いは、劣化度推定部22は、撮像素子104により電気信号に変換された画像の明るさに関する評価値を算出する評価値算出処理を実行し、評価値算出処理により算出された評価値に基づいて劣化度を推定してもよい。この場合、劣化度推定部22は、撮像素子104の受光面に設定された領域ごとに評価値算出処理を実行し、当該領域ごとに劣化度を推定してもよい。
また、劣化度推定部22は、撮像素子104により電気信号に変換された画像の明るさに関する評価値を所定の期間に亘って積算する評価値積算処理を実行し、評価値積算処理により積算された評価値に基づいて劣化度を推定してもよい。この場合、劣化度推定部22は、撮像素子104の受光面に設定された領域ごとに評価値積算処理を実行し、当該領域ごとに劣化度を推定してもよい。
露光制御部23は、劣化度が所定の条件を満たしている場合、撮像素子104への露光量を所定の露光量以下とするように撮像素子104への露光量に関するパラメータを制御する。ここで言う所定の条件は、例えば、劣化度が所定の閾値以上であることである。また、撮像素子104への露光量に関するパラメータは、例えば、シャッター速度、絞り値、フィルタの透過率及びゲインの少なくとも一つである。
例えば、露光制御部23は、図6の上から三行目に示すように、撮像素子104の劣化度を「低」と推定した場合、撮像素子104への露光量の補正量が0.0EV(Exposure Value)となるように撮像素子104への露光量に関するパラメータを制御する。この補正量は、負の値である場合、画像の明るさを減少させることを表しており、正の値である場合、画像の明るさを増加させることを表している。
同様に、露光制御部23は、図6の上から三行目に示すように、撮像素子104の劣化度を「中」と推定した場合、撮像素子104への露光量の補正量が-0.5EVとなるように撮像素子104への露光量に関するパラメータを制御する。また、露光制御部23は、図6の上から三行目に示すように、撮像素子104の劣化度を「高」と推定した場合、撮像素子104への露光量の補正量が-1.0EVとなるように撮像素子104への露光量に関するパラメータを制御する。露光制御部23は、図5に示した場合、輝度の平均の最大値が「180」と推定されているため、撮像素子104への露光量の補正量が-0.5EVとなるように撮像素子104への露光量に関するパラメータを制御する。
また、露光制御部23は、劣化度が所定の劣化度以上である領域の明るさに基づいて撮像素子104への露光量に関するパラメータを制御してもよい。
明るさ調整部24は、撮像素子104への露光量に関するパラメータが露光制御部23により制御された後に生成される画像の明るさを増加させる。例えば、明るさ調整部24は、露光制御部23により減少された露光量の分だけ当該画像を明るくするようにゲインを調整して信号を増幅させる。なお、明るさ調整部24による処理は、実行されることが好ましいものの、実行されなくてもよい。
階調調整部25は、撮像素子104への露光量に関するパラメータが露光制御部23により制御された後に生成される画像の階調を調整する。例えば、階調調整部25は、露光制御部23により減少された露光量の分だけ当該画像を明るくするようにガンマ値を調整する。なお、階調調整部25による処理は、実行されることが好ましいものの、実行されなくてもよい。
出力部26は、撮像素子104への露光量に関するパラメータが露光制御部23により制御された後に生成される画像を出力する。また、出力部26は、明るさ調整部24による処理が実行されている場合、当該処理が適用された画像を出力する。また、出力部26は、階調調整部25による処理が実行されている場合、当該処理が適用された画像を出力する。
次に、図7を参照しながら第一実施形態に係るカメラ制御装置により実行される処理について説明する。図7は、第一実施形態に係るカメラ制御装置により実行される処理の例を示すフローチャートである。
ステップS701において、カメラ1は、画像を撮影する処理を実行する。
ステップS702において、光子計数部は、撮像素子104に入射した光子の数を計数する。
ステップS703において、劣化度推定部22は、撮像素子104の劣化度を推定する。
ステップS704において、露光制御部23は、ステップS702で推定された劣化度が所定の条件を満たしているか否かを判定する。露光制御部23は、ステップS702で推定された劣化度が所定の条件を満たしていると判定した場合(ステップS704:YES)、処理をステップS705に進める。一方、露光制御部23は、ステップS702で推定された劣化度が所定の条件を満たしていないと判定した場合(ステップS704:NO)、処理をステップS707に進める。
ステップS705において、露光制御部23は、撮像素子104への露光量を所定の露光量以下とするように撮像素子104への露光量に関するパラメータを制御する。
ステップS706において、明るさ調整部24は、画像の明るさを増加させる。
ステップS707において、露光制御部23は、撮像素子104への露光量を通常の露光量とするように撮像素子104への露光量に関するパラメータを制御する。
ステップS708において、出力部26は、画像を出力する。
<第二実施形態>
図8から図19を参照しながら第二実施形態に係るカメラ制御装置について説明する。第二実施形態の説明では、第一実施形態と異なる内容を中心に説明し、第一実施形態と同じ内容の説明を適宜省略する。また、第二実施形態の説明では、第一実施形態と同じ構成に第一実施形態と同じ符号を付すものとする。
露光制御部23は、撮像素子104への露光量に関するプログラム線図であって、劣化度に基づいて選択されたプログラム線図に基づいて撮像素子104への露光量に関するパラメータを制御する。プログラム線図は、撮像素子104への露光量に関するパラメータ各々と、被写体及びその周辺の明るさとの関係を示す図であり、各パラメータを制御する順番と、各パラメータを制御する範囲とを定義している。なお、露光制御部23は、撮像素子104への露光量に関するプログラム線図を選択する処理を実行してもよい。また、プログラム線図は、例えば、ROM202に少なくとも一つ格納されており、使用される際にCPU201により読み出される。
露光制御部23は、劣化度が上述した所定の条件を満たしていない場合、通常プログラム線図をプログラム線図として選択し、通常プログラム線図に基づいて撮像素子104への露光量に関するパラメータを制御する。図8は、第二実施形態に係る通常プログラム線図の例を示す図である。通常プログラム線図は、撮像素子104により電気信号に変換された画像の画質を所定の水準以上とするプログラム線図である。
例えば、通常プログラム線図は、画像の信号雑音比(Signal-Noise Ratio)等の画質を考慮し、被写体及びその周辺の明るさが所定の明るさ以上である場合、コントロールアンプ回路105によりゲインを積極的に掛けないプログラム線図であってもよい。或いは、通常プログラム線図は、被写界深度、被写体のぶれ、光源フリッカー等の補正を考慮し、絞り102又は撮像素子104で設定されるシャッター速度を制御する順番及び範囲を規定するプログラム線図であってもよい。
図8の横軸は、被写体及びその周辺の明るさを示しており、撮像素子104への露光量と正の相関を有するBV(Brightness Value)値を示している。図8に示した線8aは、コントロールアンプ回路105により調整されるゲインと、被写体及びその周辺の明るさとの関係を定義している。図8に示した線8bは、シャッター速度と、被写体及びその周辺の明るさとの関係を定義している。また、シャッター速度は、撮像素子104の蓄積時間と相関を有する。図8に示した線8cは、絞り102の絞り値と、被写体及びその周辺の明るさとの関係を定義している。
露光制御部23は、図8に示した通常プログラム線図に基づいて撮像素子104への露光量に関するパラメータを制御する場合、+10BVの明るさを得るためにゲインを0dBとし、シャッター速度を1/2000秒とし、絞り値をF11.0とする。また、露光制御部23は、この場合、撮像素子104N蓄積時間を1/60秒とするように撮像素子104を制御する。
そして、露光制御部23は、+10BVの明るさから減少させていく場合、図8に示すように、初めに絞り値をF11.0からF2.0まで変化させる。BV値は、絞り値がF2.0となった時点で+5BVとなる。次に、露光制御部23は、+5BVの明るさから減少させていく場合、図8に示すように、シャッター速度を1/2000秒から1/60秒まで変化させる。BV値は、シャッター速度1/60秒」となった時点で0BVとなる。最後に、露光制御部23は、0BVの明るさから減少させていく場合、図8に示すように、ゲインを0dBから60dBまで変化させる。BV値は、ゲインが60dBとなった時点で-10dBとなる。
露光制御部23は、図8に示した通常プログラム線図に基づいて撮像素子104への露光量に関するパラメータを制御することにより、+10BVから-10BVの範囲において好適な画質を有する画像を生成することができる。なお、露光制御部23は、図8に示した通常プログラム線図ではなく、互いに重複しない複数のBV値の範囲各々において少なくとも一つのパラメータを変化させる通常プログラム線図に従ってもよい。また、露光制御部23は、例えば、ゲイン、シャッター速度及び絞り値のうちの一つ又は二つを変化させない通常プログラム線図に従ってもよい。
露光制御部23は、劣化度が上述した所定の条件を満たしている場合、劣化抑制プログラム線図をプログラム線図として選択し、劣化抑制プログラム線図に基づいて撮像素子104への露光量に関するパラメータを制御する。図9は、第二実施形態に係る劣化抑制プログラム線図の例を示す図である。劣化抑制プログラム線図は、撮像素子104への露光量を所定の露光量以下とするプログラム線図である。
図9の横軸は、BV値を示している。図9に示した線9aは、コントロールアンプ回路105により調整されるゲインと、被写体及びその周辺の明るさとの関係を定義している。図9に示した線9bは、シャッター速度と、被写体及びその周辺の明るさとの関係を定義している。また、シャッター速度は、撮像素子104の蓄積時間と相関を有する。図9に示した線9cは、絞り102の絞り値と、被写体及びその周辺の明るさとの関係を定義している。
露光制御部23は、図9に示した劣化抑制プログラム線図に基づいて撮像素子104への露光量に関するパラメータを制御する場合、-10BVの明るさを得るためにゲインを60dBとし、シャッター速度を1/60秒とし、絞り値をF2.0とする。そして、露光制御部23は、-10BVの明るさから増加させていく場合、初めにゲインを60dBから12dBまで変化させる。次に、露光制御部23は、明るさを更に増加させていく場合、シャッター速度を1/60秒から1/2000秒まで変化させる。次に、露光制御部23は、明るさを更に増加させていく場合、絞り値をF2.0からF11.0まで変化させる。最後に、露光制御部23は、明るさを更に増加させていく場合、ゲインを12dBから0dBまで変化させる。
図9に示した劣化抑制プログラム線図は、シャッター速度が制御されるBV値の範囲が図8に示した通常プログラム線図の場合よりも暗い範囲となっている。また、図9に示した劣化抑制プログラム線図は、絞りが制御されるBV値の範囲が図8に示した通常プログラム線図の場合よりも暗い範囲となっている。したがって、図9に示した劣化抑制プログラム線図は、図8に示した通常プログラム線図よりも撮像素子104の劣化を抑制することができる。
なお、露光制御部23は、図9に示した劣化抑制プログラム線図に従ってシャッター速度及び絞り値を変化させる代わりに、フィルタ103を所定のBV値において挿抜してもよい。露光制御部23は、このような処理によっても、図9に示した劣化抑制プログラム線図に従ってシャッター速度及び絞り値を変化させた場合と同様の効果を奏することができる。
露光制御部23は、劣化度が上述した所定の条件を満たしている場合、劣化抑制プログラム線図をプログラム線図として選択し、劣化抑制プログラム線図に基づいて撮像素子104への露光量に関するパラメータを制御する。図10は、第二実施形態に係る劣化抑制プログラム線図の例を示す図である。
図10の横軸は、BV値を示している。図10に示した線10aは、コントロールアンプ回路105により調整されるゲインと、被写体及びその周辺の明るさとの関係を定義している。図10に示した線10bは、シャッター速度と、被写体及びその周辺の明るさとの関係を定義している。また、シャッター速度は、撮像素子104の蓄積時間と相関を有する。図10に示した線10cは、絞り102の絞り値と、被写体及びその周辺の明るさとの関係を定義している。
露光制御部23は、図10に示した劣化抑制プログラム線図に基づいて撮像素子104への露光量に関するパラメータを制御する場合、-10BVの明るさを得るためにゲインを60dBとし、シャッター速度を1/60秒とし、絞り値をF2.0とする。そして、露光制御部23は、-10BVの明るさから増加させていく場合、初めにゲインを60dBから24dBまで変化させる。次に、露光制御部23は、明るさを更に増加させていく場合、シャッター速度を1/60秒から1/2000秒まで変化させる。次に、露光制御部23は、明るさを更に増加させていく場合、絞り値をF2.0からF11.0まで変化させる。最後に、露光制御部23は、明るさを更に増加させていく場合、ゲインを24dBから0dBまで変化させる。
図10に示した劣化抑制プログラム線図は、シャッター速度が制御されるBV値の範囲が図9に示した劣化抑制プログラム線図の場合よりも暗い範囲となっている。また、図10に示した劣化抑制プログラム線図は、絞りが制御されるBV値の範囲が図9に示した劣化抑制プログラム線図の場合よりも暗い範囲となっている。したがって、図10に示した劣化抑制プログラム線図は、図9に示した劣化抑制プログラム線図よりも撮像素子104の劣化を抑制することができる。
なお、露光制御部23は、入力装置204を使用して入力された指示に基づいてプログラム線図を選択し、目標とする撮像素子104への露光量を実現させるために、当該プログラム線図に基づいて複数のパラメータを順番に制御してもよい。
劣化度推定部22は、第一期間における劣化度である短期劣化度と、第一期間よりも長い第二期間における劣化度である長期劣化度とを推定してもよい。第一期間は、例えば、現在時刻から所定の時間まで遡った期間である。また、この所定の時間は、例えば、数分、数十分、数時間である。第二期間は、例えば、第一期間よりも前の所定の期間である。また、この所定の期間は、例えば、一日から数か月である。劣化度推定部22は、光子数計測処理、光子数積算処理、輝度計測処理、輝度積算処理、評価値算出処理又は評価値積算処理により短期劣化度及び長期劣化度を推定する。例えば、劣化度推定部22は、図5に示した領域における輝度の平均の最大値を所定の時間ごとに記録し、これらの最大値から短期劣化度及び長期劣化度の少なくとも一方を推定してもよい。また、劣化度推定部22は、例えば、撮像フレームごとのタイミング、カメラ1に搭載されている記憶媒体の容量を考慮したタイミング等でこれらの最大値を記録する。
図11は、第二実施形態に係るカメラ制御装置により推定された短期劣化度及び長期劣化度と、カメラ制御装置により選択されるプログラム線図との関係の例を示す図である。図11に示した「通常プログラム線図」は、図8に示した通常プログラム線図を意味している。図11に示した「劣化抑制プログラム線図(レベル低)」は、図9に示した劣化抑制プログラム線図を意味している。図11に示した「劣化抑制プログラム線図(レベル高)」は、図10に示した劣化抑制プログラム線図を意味している。
露光制御部23は、短期劣化度及び長期劣化度の少なくとも一方に基づいてプログラム線図を選択する。露光制御部23は、例えば、図11に示すように、長期劣化度が「低」、「中」及び「高」のいずれであっても、短期劣化度が高い程、撮像素子104の劣化を抑制する効果が大きなプログラム線図を選択する。また、露光制御部23は、例えば、図11に示すように、短期劣化度が「低」、「中」及び「高」のいずれであっても、長期劣化度が高い程、撮像素子104の劣化を抑制する効果が大きなプログラム線図を選択する。さらに、露光制御部23は、短期劣化度及び長期劣化度の少なくとも一方が変化することにより選択すべきプログラム線図が変化した場合、例えば、図11に従ってプログラム線図を切り替える。
図12は、第二実施形態に係るカメラ制御装置が撮像素子への露光量に関するパラメータを制御する際に使用するプログラム線図を切り替える際に実行される処理の例を示す図である。図12の横軸は、劣化度を示している。露光制御部23は、通常プログラム線図を選択した後、例えば、図12に実線の矢印で示すように、劣化度が増加していき、劣化度が第一劣化度と推定された時点で劣化抑制プログラム線図に切り替えてもよい。一方、露光制御部23は、劣化抑制プログラム線図を選択した後、例えば、図12に一点鎖線の矢印で示すように、劣化度が減少していき、劣化度が第一劣化度よりも大きい第二劣化度と推定された時点で通常プログラム線図に切り替えてもよい。また、第一劣化度と第二劣化度との差は、特に限定されない。カメラ制御装置20は、これらの処理を採用することにより、劣化度が狭い範囲で増減した場合に、プログラム線図を頻繁に切り替えてしまうことを抑制することができる。
図13は、第二実施形態に係るカメラ制御装置により撮像素子への露光量に関するパラメータを制御する際に優先する事項を選択するためのグラフィカルユーザインターフェースの例を示す図である。図13は、スライダーLを含むグラフィカルユーザインターフェース(GUI:Graphical User Interface)であり、例えば、出力装置205の例であるディスプレイに表示される。
露光制御部23は、スライダーLが中央よりも左側に位置している場合、撮像素子104の劣化度の抑制を優先させる指示を受信し、劣化度抑制プログラム線図に基づいて撮像素子104への露光量に関するパラメータを制御する。例えば、露光制御部23は、図9に示した劣化抑制プログラム線図に基づいてパラメータを制御しており、スライダーLが中央よりも左側に位置している場合、図10に示した劣化抑制プログラム線図に基づいてパラメータを制御するように切り替える。
一方、露光制御部23は、スライダーLが中央よりも右側に位置している場合、撮像素子104の劣化度の抑制を優先させる指示を受信し、通常プログラム線図に基づいて撮像素子104への露光量に関するパラメータを制御する。例えば、露光制御部23は、図9に示した劣化抑制プログラム線図に基づいてパラメータを制御しており、スライダーLが中央よりも右側に位置している場合、図8に示した通常プログラム線図に基づいてパラメータを制御するように切り替える。
図14は、第二実施形態に係る画像においてカメラ制御装置により設定された各領域に対応する領域の例と、当該領域ごとに計測された輝度の平均の例とを示す図である。劣化度推定部22は、例えば、撮像素子104の矩形の受光面に四行五列に配置された矩形の領域を設定し、当該領域ごとに輝度計測処理を実行する。これらの領域は、図14に示すように、画像P上の二十個の領域各々に対応している。また、これらの領域各々における輝度は、例えば、図14に示した各数値となる。図14に示した各数値は、画像Pの輝度を0から255の合計256段階に正規化した場合における領域ごとの輝度の平均を示している。ただし、図14に示した各数値は、図5に示した各数値が計測された時刻又は期間と異なる時刻又は期間に計測されたものである。
露光制御部23は、図14に示した輝度の平均が推定されており、例えば、図13に示したスライダーLが中央よりも左側に位置している場合、輝度の平均が所定の閾値以上である領域が存在するか否かを判定してもよい。そして、露光制御部23は、輝度の平均が所定の閾値以上である領域が存在しないと判定した場合、通常プログラム線図を選択する。一方、露光制御部23は、輝度の平均が所定の閾値以上である領域が存在すると判定した場合、劣化度抑制プログラム線図を選択する。なお、これらの場合の所定の閾値は、例えば、220である。
また、露光制御部23は、図14に示した場合において輝度の平均が所定の閾値以上である領域が存在すると判定した場合、図15に示した表に従ってプログラム線図を選択してもよい。図15は、第二実施形態に係るカメラ制御装置により推定された短期劣化度及び長期劣化度と、露光量の補正量との関係の例を示す図である。露光制御部23は、例えば、短期劣化度が「高」と推定されており、長期劣化度が「低」と推定されている場合、図15に示した表に従って、撮像素子104への露出量の補正量を-1.0EVとしてもよい。また、露光制御部23は、図13に示したスライダーLの位置に応じて、撮像素子104への露出量の補正量を調整してもよい。
階調調整部25は、撮像素子104への露光量に関するパラメータが露光制御部23により制御された後に生成される画像の階調を調整する。図16及び図17は、第二実施形態に係るカメラ制御装置により実行されるガンマ値の補正を説明するための図である。図16の横軸及び図17の横軸は、ガンマ入力を示している。図16の縦軸及び図17の縦軸は、ガンマ出力を示している。図16及び図17に示した曲線Cは、基準となるガンマ値補正カーブである。
階調調整部25は、図16に示した曲線Cに従って階調を調整した場合、コントロールアンプ回路105によりゲインを調整した場合と同じ画像を出力する。一方、階調調整部25は、図17に示した曲線Cに従って階調を調整した場合、図16に示した曲線Cに従って階調を調整した場合よりも明部の白飛び及び階調潰れを抑制することができる。また、例えば、図14に示すように、各領域の輝度の平均の最大値が220以上である場合、階調調整部25は、露光制御部23により減少された露光量の分だけ図17に示したガンマ補正カーブCに従って画像の輝度を補うように階調を調整する。
次に、図18及び図19を参照しながら第二実施形態に係るカメラ制御装置により実行される処理について説明する。図18及び図19は、第二実施形態に係るカメラ制御装置により実行される処理の例を示すフローチャートである。
ステップS1801において、カメラ1は、画像を撮影する処理を実行する。
ステップS1802において、カメラ制御装置20は、光子数計数処理等のうちの一つを実行する。具体的には、カメラ制御装置20は、光子数計数処理、光子数積算処理、輝度計測処理、輝度積算処理、評価値算出処理又は評価値積算処理を実行する。
ステップS1803において、劣化度推定部22は、撮像素子104の劣化度を推定する。
ステップS1804において、露光制御部23は、ステップS1802で推定された劣化度が所定の条件を満たしているか否かを判定する。露光制御部23は、ステップS1802で推定された劣化度が所定の条件を満たしていると判定した場合(ステップS1804:YES)、処理をステップS1806に進める。一方、露光制御部23は、ステップS1802で推定された劣化度が所定の条件を満たしていないと判定した場合(ステップS1804:NO)、処理をステップS1805に進める。
ステップS1805において、露光制御部23は、撮像素子104への露光量を通常の露光量とするように撮像素子104への露光量に関するパラメータを制御する。ここで言う通常の露光量は、撮像素子104により電気信号に変換された画像の画質を所定の水準以上とするために必要な露光量である。
ステップS1806において、露光制御部23は、画像の画質よりも撮像素子104の劣化の抑制を優先させる指示を受信しているか否かを判定する。露光制御部23は、画像の画質よりも撮像素子104の劣化の抑制を優先させる指示を受信していると判定した場合(ステップS1806:YES)、処理をステップS1809に進める。一方、露光制御部23は、画像の画質よりも撮像素子104の劣化の抑制を優先させる指示を受信していないと判定した場合(ステップS1806:NO)、処理をステップS1807に進める。
ステップS1807において、露光制御部23は、通常プログラム線図を選択する。
ステップS1808において、露光制御部23は、通常プログラム線図に基づいて撮像素子104への露光量に関するパラメータを制御する。
ステップS1809において、露光制御部23は、輝度の平均が所定の輝度以上である領域が所定の数以上存在しているか否かを判定する。露光制御部23は、輝度の平均が所定の輝度以上である領域が所定の数以上存在していると判定した場合(ステップS1809:YES)、処理をステップS1812に進める。一方、露光制御部23は、輝度の平均が所定の輝度以上である領域が所定の数以上存在していないと判定した場合(ステップS1809:NO)、処理をステップS1810に進める。
ステップS1810において、露光制御部23は、劣化抑制プログラム線図を選択する。
ステップS1811において、露光制御部23は、劣化抑制プログラム線図に基づいて撮像素子104への露光量に関するパラメータを制御する。
ステップS1812において、露光制御部23は、撮像素子104への露光量を所定の露光量以下とするように撮像素子104への露光量に関するパラメータを制御する。
ステップS1813において、階調調整部25は、画像の階調を調整する。
ステップS1814において、出力部26は、ステップS1813で階調が調整された画像を出力する。
以上、実施形態に係る符号化装置2について説明した。カメラ制御装置20は、被写体の画像を電気信号に変換する撮像素子104の劣化の度合いを示す劣化度を推定する。例えば、カメラ制御装置20は、光子数計数処理、光子数積算処理、輝度計測処理、輝度積算処理、評価値算出処理又は評価値積算処理により劣化度を推定する。そして、カメラ制御装置20は、劣化度が所定の条件を満たしている場合、撮像素子104への露光量を所定の露光量以下とするように撮像素子104への露光量に関するパラメータを制御する。これにより、カメラ制御装置20は、カメラ1に搭載されている撮像素子104の劣化を抑制することができる。
また、カメラ制御装置20は、撮像素子104の受光面に設定された領域ごとに光子数計数処理、光子数積算処理、輝度計測処理、輝度積算処理、評価値算出処理又は評価値積算処理を実行し、当該領域ごとに劣化度を推定する。或いは、カメラ制御装置20は、劣化度が所定の劣化度以上である領域の明るさに基づいて撮像素子104への露光量に関するパラメータを制御する。これにより、カメラ制御装置20は、撮像素子104の受光面の中で最も劣化が進行している部分が更に劣化してしまうことを抑制することができる。
また、カメラ制御装置20は、劣化度に基づいて選択されたプログラム線図に基づいて撮像素子104への露光量に関するパラメータを制御する。例えば、カメラ制御装置20は、劣化度が所定の条件を満たしていない場合、通常プログラム線図をプログラム線図として選択し、通常プログラム線図に基づいて撮像素子104への露光量に関するパラメータを制御する。また、例えば、カメラ制御装置20は、劣化度が所定の条件を満たしている場合、劣化抑制プログラム線図をプログラム線図として選択し、劣化抑制プログラム線図に基づいて撮像素子104への露光量に関するパラメータを制御する。したがって、カメラ制御装置20は、劣化度に応じて好適なプログラム線図を選択し、劣化度に合わせて好適にパラメータを制御することができる。
また、カメラ制御装置20は、第一期間における劣化度である短期劣化度と、第一期間よりも長い第二期間における劣化度である長期劣化度とを推定し、短期劣化度及び長期劣化度に基づいてプログラム線図を選択する。これにより、カメラ制御装置20は、第一期間における劣化の進行の度合いと第二期間における劣化の進行の度合いとの両方に合致した好適なプログラム線図を選択することができる。
また、カメラ制御装置20は、撮像素子104への露光量に関するパラメータが露光制御部23により制御された後に生成される画像の明るさを増加させる。これにより、カメラ制御装置20は、撮像素子104の劣化を抑制しつつ、必要な明るさが確保されている画像を出力することができる。
また、カメラ制御装置20は、撮像素子104への露光量に関するパラメータが露光制御部23により制御された後に生成される画像の階調を調整する。これにより、カメラ制御装置20は、撮像素子104の劣化を抑制しつつ、階調が好適に調整されている画像を出力することができる。
なお、露光制御部23は、撮像素子104に入射する光子のエネルギーが可視光領域に属している場合と、撮像素子104に入射する光子のエネルギーが赤外領域に属している場合とでプログラム線図を切り替えてもよい。これにより、露光制御部23は、撮像素子104に入射する光子のエネルギーが可視光領域に属している場合又は撮像素子104に入射する光子のエネルギーが赤外領域に属している場合に合わせた好適なプログラム線図を選択することができる。
また、露光制御部23は、撮像素子104を使用して生成される画像にフリッカーが含まれているか否かに基づいてプログラム線図を切り替えてもよい。これにより、露光制御部23は、撮像素子104を使用して生成される画像にフリッカーが含まれている場合又は撮像素子104を使用して生成される画像にフリッカーが含まれていない場合に合わせた好適なプログラム線図を選択することができる。
なお、本発明は、上述した内容を適宜組み合わせた下記のような発明を含む。
(構成1)
被写体の画像を電気信号に変換する撮像素子の劣化の度合いを示す劣化度を推定する劣化度推定手段と、前記劣化度が所定の条件を満たしている場合、前記撮像素子への露光量を所定の露光量以下とするように前記撮像素子への露光量に関するパラメータを制御する露光制御手段と、を備えるカメラ制御装置。
(構成2)
前記撮像素子に入射した光子の数を計数する光子数計数処理又は前記撮像素子に入射した光子の数を所定の期間に亘って積算する光子数積算処理を実行する光子計数手段を更に備え、前記劣化度推定手段は、前記光子数計数処理により計数された光子の数又は前記光子数積算処理により積算された光子の数に基づいて前記劣化度を推定する、構成1に記載のカメラ制御装置。
(構成3)
前記光子計数手段は、前記撮像素子の受光面に設定された領域ごとに前記光子数計数処理又は前記光子数積算処理を実行し、前記劣化度推定手段は、前記領域ごとに前記劣化度を推定する、構成2に記載のカメラ制御装置。
(構成4)
前記劣化度推定手段は、前記撮像素子により電気信号に変換された画像の輝度を計測する輝度計測処理又は前記撮像素子により電気信号に変換された画像の輝度を所定の期間に亘って積算する輝度積算処理を実行し、前記輝度計測処理により計測された輝度又は前記輝度積算処理により積算された輝度に基づいて前記劣化度を推定する、構成1から構成3のいずれか一つに記載のカメラ制御装置。
(構成5)
前記劣化度推定手段は、前記撮像素子の受光面に設定された領域ごとに前記輝度計測処理又は前記輝度積算処理を実行し、前記領域ごとに前記劣化度を推定する、構成4に記載のカメラ制御装置。
(構成6)
前記劣化度推定手段は、前記撮像素子により電気信号に変換された画像の明るさに関する評価値を算出する評価値算出処理又は前記評価値を所定の期間に亘って積算する評価値積算処理を実行し、前記評価値算出処理により算出された評価値又は前記評価値積算処理により積算された評価値に基づいて前記劣化度を推定する、構成1から構成5のいずれか一つに記載のカメラ制御装置。
(構成7)
前記劣化度推定手段は、前記撮像素子の受光面に設定された領域ごとに前記評価値算出処理又は前記評価値積算処理を実行し、前記領域ごとに前記劣化度を推定する、構成6に記載のカメラ制御装置。
(構成8)
前記露光制御手段は、前記劣化度が所定の劣化度以上である前記領域の明るさに基づいて前記撮像素子への露光量に関するパラメータを制御する、構成7に記載のカメラ制御装置。
(構成9)
前記露光制御手段は、前記撮像素子への露光量に関するプログラム線図であって、前記劣化度に基づいて選択された前記プログラム線図に基づいて前記撮像素子への露光量に関するパラメータを制御する、構成1から構成8のいずれか一つに記載のカメラ制御装置。
(構成10)
前記露光制御手段は、前記劣化度が前記所定の条件を満たしていない場合、前記撮像素子により電気信号に変換された画像の画質を所定の水準以上とする通常プログラム線図を前記プログラム線図として選択し、前記通常プログラム線図に基づいて前記撮像素子への露光量に関するパラメータを制御する、構成9に記載のカメラ制御装置。
(構成11)
前記露光制御手段は、前記通常プログラム線図を選択した後、前記劣化度が第一劣化度と推定された時点で、前記撮像素子への露光量を所定の露光量以下とする劣化抑制プログラム線図に切り替える、構成10に記載のカメラ制御装置。
(構成12)
前記露光制御手段は、前記劣化度が前記所定の条件を満たしている場合、前記撮像素子への露光量を所定の露光量以下とする劣化抑制プログラム線図を前記プログラム線図として選択し、前記劣化抑制プログラム線図に基づいて前記撮像素子への露光量に関するパラメータを制御する、構成9に記載のカメラ制御装置。
(構成13)
前記露光制御手段は、前記劣化抑制プログラム線図を選択した後、前記劣化度が第一劣化度よりも大きい第二劣化度と推定された時点で、前記撮像素子により電気信号に変換された画像の画質を所定の水準以上とする通常プログラム線図に切り替える、構成12に記載のカメラ制御装置。
(構成14)
前記劣化度推定手段は、第一期間における前記劣化度である短期劣化度と、前記第一期間よりも長い第二期間における前記劣化度である長期劣化度とを推定し、前記露光制御手段は、前記短期劣化度及び前記長期劣化度の少なくとも一方に基づいて前記プログラム線図を選択する、構成9から構成13のいずれか一つに記載のカメラ制御装置。
(構成15)
前記露光制御手段は、前記撮像素子に入射する光子のエネルギーが可視光領域に属している場合と、前記撮像素子に入射する光子のエネルギーが赤外領域に属している場合とで前記プログラム線図を切り替える、構成9から構成14のいずれか一つに記載のカメラ制御装置。
(構成16)
前記露光制御手段は、前記撮像素子を使用して生成される画像にフリッカーが含まれているか否かに基づいて前記プログラム線図を切り替える、構成9から構成15のいずれか一つに記載のカメラ制御装置。
(構成17)
前記露光制御手段は、シャッター速度、絞り値、フィルタの透過率及びゲインの少なくとも一つを制御する、構成1から構成16のいずれか一つに記載のカメラ制御装置。
(構成18)
前記撮像素子への露光量に関するパラメータが前記露光制御手段により制御された後に生成される画像の明るさを増加させる明るさ調整手段を更に備える、構成1から構成17のいずれか一つに記載のカメラ制御装置。
(構成19)
前記撮像素子への露光量に関するパラメータが前記露光制御手段により制御された後に生成される画像の階調を調整する階調調整手段を更に備える、構成1から構成18のいずれか一つに記載のカメラ制御装置。
(プログラム1)
被写体の画像を電気信号に変換する撮像素子の劣化の度合いを示す劣化度を推定し、 前記劣化度が所定の条件を満たしている場合、前記撮像素子への露光量を所定の露光量以下とするように前記撮像素子への露光量に関するパラメータを制御する、カメラ制御プログラム。
(方法1)
被写体の画像を電気信号に変換する撮像素子の劣化の度合いを示す劣化度を推定し、 前記劣化度が所定の条件を満たしている場合、前記撮像素子への露光量を所定の露光量以下とするように前記撮像素子への露光量に関するパラメータを制御する、カメラ制御方法。
<その他の実施形態>
本発明は、上述した実施形態の一つ以上の機能を実現するプログラムをネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、一つ以上の機能を実現する回路、例えば、ASIC(Application Specific Integrated Circuit)によっても実現可能である。
以上、本発明の好適な実施形態について説明した。ただし、本発明は、上述した実施形態に限定されるものではない。すなわち、本発明は、本発明の趣旨に基づき種々の変形が施された実施形態を含んでおり、これらの実施形態を本発明の範囲から除外していない。
1:カメラ
10:撮像部
20:カメラ制御装置
21:画像生成部
22:劣化度推定部
23:露光制御部
24:明るさ調整部
25:階調調整部
26:出力部

Claims (21)

  1. 被写体からの光を電気信号に変換して画像を生成する撮像素子に入射した光子の数を計数する光子数計数処理、または前記撮像素子に入射した光子の数を所定の期間にわたって積算する光子数積算処理、を実行する光子計数手段と、
    前記光子数計数処理により計数された光子の数、または前記光子数積算処理により積算された光子の数、に基づいて前記撮像素子の劣化の度合いを示す劣化度を推定する劣化度推定手段と、
    前記劣化度が所定の値よりも大きい場合に、前記劣化度が所定の値以下の場合よりも前記撮像素子への露光量を小さくするように前記撮像素子への露光量に関するパラメータを制御する露光制御手段と、
    を備えるカメラ制御装置。
  2. 前記光子計数手段は、前記撮像素子の受光面に設定された領域ごとに前記光子数計数処理又は前記光子数積算処理を実行し、
    前記劣化度推定手段は、前記領域ごとに前記劣化度を推定する、
    請求項1に記載のカメラ制御装置。
  3. 被写体からの光を電気信号に変換して画像を生成する撮像素子の劣化の度合いを示す劣化度を推定する劣化度推定手段と、
    前記劣化度が所定の値よりも大きい場合に、前記劣化度が所定の値以下の場合よりも前記撮像素子への露光量を小さくするように前記撮像素子への露光量に関するパラメータを制御する露光制御手段と、を有し、
    前記劣化度推定手段は、前記撮像素子により電気信号に変換された画像の輝度を計測する輝度計測処理又は前記撮像素子により電気信号に変換された画像の輝度を所定の期間に亘って積算する輝度積算処理を実行し、前記輝度計測処理により計測された輝度又は前記輝度積算処理により積算された輝度に基づいて前記劣化度を推定する、
    ことを特徴とするカメラ制御装置。
  4. 前記劣化度推定手段は、前記撮像素子の受光面に設定された領域ごとに前記輝度計測処理又は前記輝度積算処理を実行し、前記領域ごとに前記劣化度を推定する、
    請求項3に記載のカメラ制御装置。
  5. 前記撮像素子に入射した光子の数を計数する光子数計数処理又は前記撮像素子に入射した光子の数を所定の期間に亘って積算する光子数積算処理を実行する光子計数手段を更に備えることを特徴とする請求項3に記載のカメラ制御装置。
  6. 被写体からの光を電気信号に変換して画像を生成する撮像素子の劣化の度合いを示す劣化度を推定する劣化度推定手段と、
    前記劣化度が所定の値よりも大きい場合に、前記劣化度が所定の値以下の場合よりも前記撮像素子への露光量を小さくするように前記撮像素子への露光量に関するパラメータを制御する露光制御手段と、を有し、
    前記劣化度推定手段は、前記撮像素子により電気信号に変換された画像の明るさに関する評価値を算出する評価値算出処理又は前記評価値を所定の期間に亘って積算する評価値積算処理を実行し、前記評価値算出処理により算出された評価値又は前記評価値積算処理により積算された評価値に基づいて前記劣化度を推定する、
    ことを特徴とするカメラ制御装置。
  7. 前記劣化度推定手段は、前記撮像素子の受光面に設定された領域ごとに前記評価値算出処理又は前記評価値積算処理を実行し、前記領域ごとに前記劣化度を推定する、
    請求項6に記載のカメラ制御装置。
  8. 前記露光制御手段は、前記劣化度が所定の劣化度以上である前記領域の明るさに基づいて前記撮像素子への露光量に関するパラメータを制御する、
    請求項7に記載のカメラ制御装置。
  9. 前記撮像素子に入射した光子の数を計数する光子数計数処理又は前記撮像素子に入射した光子の数を所定の期間に亘って積算する光子数積算処理を実行する光子計数手段を更に備えることを特徴とする請求項6に記載のカメラ制御装置。
  10. 前記露光制御手段は、前記撮像素子への露光量に関するプログラム線図であって、前記劣化度に基づいて選択された前記プログラム線図に基づいて前記撮像素子への露光量に関するパラメータを制御する、
    請求項1に記載のカメラ制御装置。
  11. 前記露光制御手段は、前記劣化度が所定の閾値未満の場合、前記撮像素子により電気信号に変換された画像の画質を所定の水準以上とする通常プログラム線図を前記プログラム線図として選択し、前記通常プログラム線図に基づいて前記撮像素子への露光量に関するパラメータを制御する、
    請求項10に記載のカメラ制御装置。
  12. 前記露光制御手段は、前記通常プログラム線図を選択した後、前記劣化度が第一劣化度と推定された時点で、前記撮像素子への露光量を所定の露光量以下とする劣化抑制プログラム線図に切り替える、
    請求項11に記載のカメラ制御装置。
  13. 前記露光制御手段は、前記劣化度が所定の閾値以上の場合、前記撮像素子への露光量を所定の露光量以下とする劣化抑制プログラム線図を前記プログラム線図として選択し、前記劣化抑制プログラム線図に基づいて前記撮像素子への露光量に関するパラメータを制御する、
    請求項10に記載のカメラ制御装置。
  14. 前記劣化度推定手段は、第一期間における前記劣化度である短期劣化度と、前記第一期間よりも長い第二期間における前記劣化度である長期劣化度とを推定し、
    前記露光制御手段は、前記短期劣化度及び前記長期劣化度の少なくとも一方に基づいて前記プログラム線図を選択する、
    請求項10に記載のカメラ制御装置。
  15. 前記露光制御手段は、前記撮像素子に入射する光子のエネルギーが可視光領域に属している場合と、前記撮像素子に入射する光子のエネルギーが赤外領域に属している場合とで前記プログラム線図を切り替える、
    請求項10に記載のカメラ制御装置。
  16. 前記露光制御手段は、前記撮像素子を使用して生成される画像にフリッカーが含まれているか否かに基づいて前記プログラム線図を切り替える、
    請求項10に記載のカメラ制御装置。
  17. 前記露光制御手段は、シャッター速度、絞り値及びフィルタの透過率の少なくとも一つを制御し、
    前記シャッター速度、前記絞り値及び前記フィルタの透過率の少なくとも一つを制御したこと応じて変化する前記画像の明るさを補正するようにゲインを調整する明るさ調整手段を更に備える、
    請求項1に記載のカメラ制御装置。
  18. 前記撮像素子への露光量に関するパラメータが前記露光制御手段により制御された後に生成される画像の明るさを増加させる明るさ調整手段を更に備える、
    請求項1に記載のカメラ制御装置。
  19. 前記撮像素子への露光量に関するパラメータが前記露光制御手段により制御された後に生成される画像の階調を調整する階調調整手段を更に備える、
    請求項1に記載のカメラ制御装置。
  20. 被写体からの光を電気信号に変換して画像を生成する撮像素子に入射した光子の数を計数する光子数計数処理、または前記撮像素子に入射した光子の数を所定の期間にわたって積算する光子数積算処理、を実行
    前記光子数計数処理により計数された光子の数、または前記光子数積算処理により積算された光子の数、に基づいて前記撮像素子の劣化の度合いを示す劣化度を推定し、
    前記劣化度が所定の値よりも大きい場合に、前記劣化度が所定の値以下の場合よりも前記撮像素子への露光量を小さくするように前記撮像素子への露光量に関するパラメータを制御する、
    カメラ制御プログラム。
  21. 被写体からの光を電気信号に変換して画像を生成する撮像素子に入射した光子の数を計数する光子数計数処理、または前記撮像素子に入射した光子の数を所定の期間にわたって積算する光子数積算処理、を実行
    前記光子数計数処理により計数された光子の数、または前記光子数積算処理により積算された光子の数、に基づいて前記撮像素子の劣化の度合いを示す劣化度を推定し、
    前記劣化度が所定の値よりも大きい場合に、前記劣化度が所定の値以下の場合よりも前記撮像素子への露光量を小さくするように前記撮像素子への露光量に関するパラメータを制御する、
    カメラ制御方法。
JP2023029106A 2023-02-28 2023-02-28 カメラ制御装置、カメラ制御プログラム及びカメラ制御方法 Active JP7763200B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023029106A JP7763200B2 (ja) 2023-02-28 2023-02-28 カメラ制御装置、カメラ制御プログラム及びカメラ制御方法
US18/442,237 US20240292107A1 (en) 2023-02-28 2024-02-15 Camera control device, storage medium, and camera control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2023029106A JP7763200B2 (ja) 2023-02-28 2023-02-28 カメラ制御装置、カメラ制御プログラム及びカメラ制御方法

Publications (2)

Publication Number Publication Date
JP2024121890A JP2024121890A (ja) 2024-09-09
JP7763200B2 true JP7763200B2 (ja) 2025-10-31

Family

ID=92460311

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023029106A Active JP7763200B2 (ja) 2023-02-28 2023-02-28 カメラ制御装置、カメラ制御プログラム及びカメラ制御方法

Country Status (2)

Country Link
US (1) US20240292107A1 (ja)
JP (1) JP7763200B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12439023B2 (en) * 2023-08-24 2025-10-07 Canon Kabushiki Kaisha Imaging apparatus, method, and storage medium

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001024951A (ja) 1999-07-06 2001-01-26 Olympus Optical Co Ltd 撮像装置
JP2001054013A (ja) 1999-08-13 2001-02-23 Fuji Photo Film Co Ltd 撮像信号処理装置およびその処理方法
JP2001230976A (ja) 2000-02-17 2001-08-24 Ricoh Co Ltd 画像撮像装置、画像撮像方法、およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2006235285A (ja) 2005-02-25 2006-09-07 Fuji Photo Film Co Ltd デジタルカメラ及びレンズユニット及びレンズユニットの判別制御方法及びレンズユニットの劣化判定方法
JP2012134685A (ja) 2010-12-21 2012-07-12 Hitachi Ltd 撮像装置
JP2013074368A (ja) 2011-09-27 2013-04-22 Ricoh Co Ltd 撮像装置及び撮像方法
US20140340528A1 (en) 2013-05-14 2014-11-20 Samsung Electronics Co., Ltd Imaging apparatus and method of controlling the same
JP2017011634A (ja) 2015-06-26 2017-01-12 キヤノン株式会社 撮像装置およびその制御方法、並びにプログラム
JP2020028079A (ja) 2018-08-16 2020-02-20 キヤノン株式会社 撮像装置及、画像処理装置、それらの制御方法、プログラム、記憶媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0951481A (ja) * 1995-08-03 1997-02-18 Hitachi Ltd 撮像装置
JP2013021660A (ja) * 2011-07-14 2013-01-31 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
CN109151333B (zh) * 2018-08-22 2020-07-03 Oppo广东移动通信有限公司 曝光控制方法、装置以及电子设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001024951A (ja) 1999-07-06 2001-01-26 Olympus Optical Co Ltd 撮像装置
JP2001054013A (ja) 1999-08-13 2001-02-23 Fuji Photo Film Co Ltd 撮像信号処理装置およびその処理方法
JP2001230976A (ja) 2000-02-17 2001-08-24 Ricoh Co Ltd 画像撮像装置、画像撮像方法、およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2006235285A (ja) 2005-02-25 2006-09-07 Fuji Photo Film Co Ltd デジタルカメラ及びレンズユニット及びレンズユニットの判別制御方法及びレンズユニットの劣化判定方法
JP2012134685A (ja) 2010-12-21 2012-07-12 Hitachi Ltd 撮像装置
JP2013074368A (ja) 2011-09-27 2013-04-22 Ricoh Co Ltd 撮像装置及び撮像方法
US20140340528A1 (en) 2013-05-14 2014-11-20 Samsung Electronics Co., Ltd Imaging apparatus and method of controlling the same
JP2017011634A (ja) 2015-06-26 2017-01-12 キヤノン株式会社 撮像装置およびその制御方法、並びにプログラム
JP2020028079A (ja) 2018-08-16 2020-02-20 キヤノン株式会社 撮像装置及、画像処理装置、それらの制御方法、プログラム、記憶媒体

Also Published As

Publication number Publication date
JP2024121890A (ja) 2024-09-09
US20240292107A1 (en) 2024-08-29

Similar Documents

Publication Publication Date Title
EP1971137B1 (en) Image pickup apparatus, image pickup method, exposure control method, and program
JP4770907B2 (ja) 撮像装置、撮像方法及びプログラム
CN101035205B (zh) 具有相机抖动补偿和适应感光度转换功能的数字成像装置
CN104284096A (zh) 基于像素强度分布的多目标自动曝光及增益控制的方法及系统
JP4622629B2 (ja) 撮像装置
JP2011135152A (ja) 撮像装置及び撮像方法
JP2011049892A (ja) 撮像装置
US10270991B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP4542058B2 (ja) 撮像装置および撮像方法
JP7763200B2 (ja) カメラ制御装置、カメラ制御プログラム及びカメラ制御方法
US9525813B2 (en) Imaging apparatus and method for controlling same
JP5257487B2 (ja) 撮像装置、撮像方法及びプログラム
JP4745851B2 (ja) 撮像装置
JP6118133B2 (ja) 信号処理装置及び撮像装置
JP4672933B2 (ja) 撮像装置
JP5589284B2 (ja) 撮像装置及び補正量算出プログラム
JP6478703B2 (ja) 撮像装置及び撮像システム
JP7661086B2 (ja) 撮像装置、撮像素子、撮像装置の制御方法およびプログラム
JP2024121845A (ja) 撮像システム、撮像方法、及びコンピュータプログラム
JP6391319B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP5533059B2 (ja) 撮像装置
JP2025030679A (ja) 撮像装置、方法及びプログラム
JP2024119394A (ja) 撮像装置、撮像装置の制御方法、及びプログラム
JP2011049737A (ja) 撮像装置及びその露出制御方法
JP2012204938A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250701

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250922

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20251021

R150 Certificate of patent or registration of utility model

Ref document number: 7763200

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150