Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4748375B2 - 撮像装置、画像再生装置及びそのプログラム - Google Patents
[go: Go Back, main page]

JP4748375B2 - 撮像装置、画像再生装置及びそのプログラム - Google Patents

撮像装置、画像再生装置及びそのプログラム Download PDF

Info

Publication number
JP4748375B2
JP4748375B2 JP2007314183A JP2007314183A JP4748375B2 JP 4748375 B2 JP4748375 B2 JP 4748375B2 JP 2007314183 A JP2007314183 A JP 2007314183A JP 2007314183 A JP2007314183 A JP 2007314183A JP 4748375 B2 JP4748375 B2 JP 4748375B2
Authority
JP
Japan
Prior art keywords
image data
imaging
unit
exposure
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007314183A
Other languages
English (en)
Other versions
JP2009141538A (ja
JP2009141538A5 (ja
Inventor
淳 村木
公靖 水野
孝基 土橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2007314183A priority Critical patent/JP4748375B2/ja
Priority to US12/326,408 priority patent/US20090147125A1/en
Publication of JP2009141538A publication Critical patent/JP2009141538A/ja
Publication of JP2009141538A5 publication Critical patent/JP2009141538A5/ja
Application granted granted Critical
Publication of JP4748375B2 publication Critical patent/JP4748375B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Description

本発明は、撮像装置、画像再生装置及びそのプログラムに係り、詳しくは、動画撮像の機能を有した撮像装置、画像再生装置及びそのプログラムに関する。
撮像装置においては、動画撮像中に、画像のコントラストを評価してAF動作を行なうという技術がある(特許文献1)
公開特許公報 特開2006−295494
しかしながら、被写体の動きが滑らかな動画データを撮像する場合には、露光時間を長くして撮像することが望ましいが、上記特許文献1の技術のように、動画撮像中に、画像を評価する場合、例えば、画像のコントラストを評価して、AF処理を行う場合は、長い露光時間で撮像されたフレーム画像データでは画像がボケてしまい、高周波成分が失われてしまうため、精度良くコントラストを評価することができない。
そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、滑らかな動画データを得ることができるとともに、画像評価の精度を向上させる撮像装置、画像再生装置及びそのプログラムを提供することを目的とする。
上記目的達成のため、請求項1記載の発明による撮像装置は、撮像手段と、
この撮像手段に対し、第1の露光条件による撮像を少なくとも1回以上行わせる第1の撮像制御手段と、
この第1の撮像制御手段により撮像された画像データについて所定の画像評価を行う画像評価手段と、
この画像評価手段による評価結果に基づいて、前記撮像手段に設定される撮像条件を制御する撮影条件制御手段と、
この撮影条件制御手段によって設定された撮影条件で、且つ、第1の露光条件とは異なる第2の露光条件による撮像を少なくとも1回以上行わせる第2の撮像制御手段と、
前記第1の撮像制御手段による撮像と前記第2の撮像制御手段による撮像とを繰り返し交互に行わせ、複数の画像データを取得する画像データ取得手段と、
前記画像データ取得手段により取得された画像データのうち、前記第2の撮像制御手段による撮像により取得された複数の画像データから動画像データを生成する動画像データ生成手段と、
を備え
前記第1の露光条件とは所定の長さの露光時間であり、前記前記第2の露光条件とは前記第1の露光条件による露光時間よりも長い露光時間であることを特徴とする。
また、例えば、請求項2に記載されているように、前記第1の撮像制御手段は、第1の露光条件での撮像を1回行わせるとともに、前記第2の撮像制御手段は、第2の露光条件での撮像を1回行わせるようにしてもよい。
また、例えば、請求項3に記載されているように、前記画像評価手段は、前記第1の撮像制御手段によって撮像された画像データからAF評価値を算出する算出手段を含み、前記撮像条件とは、前記算出手段によって算出されたAF評価値に基づいて移動するフォーカスレンズのレンズ位置を含むようにしてもよい。
また、例えば、請求項4に記載されているように、前記第1の撮像制御手段によって撮像された画像データから顔領域を検出する顔検出手段を更に備え、前記算出手段は、前記顔検出手段によって検出された顔領域のAF評価値を算出するようにしてもよい。
また、例えば、請求項5に記載されているように、前記顔検出手段は、更に、前記第2の撮像制御手段によって撮像された画像データから顔を検出し、前記画像評価手段は、前記顔検出手段が前記第1の撮像制御手段によって撮像された画像データから検出された顔領域の個数と、前記第2の撮像制御手段によって撮像された画像データから検出された顔領域の個数とを比較し、検出された顔領域の個数が多いほうの画像データを前記画像評価手段が画像評価すべき画像データとして採用するようにしてもよい。
また、例えば、請求項6に記載されているように、前記動画像データと、前記顔検出手段により検出された顔領域とを表示する表示手段を更に備えるようにしてもよい。
また、例えば、請求項7に記載されているように、前記動画像データと、前記画像評価手段が採用したほうの画像データの顔領域とを表示する表示手段を更に備えるようにしてもよい。
また、例えば、請求項8に記載されているように、画像データを記録する記録手段と、前記動画像データ生成手段によって生成された動画像データと、前記画像評価手段によって評価された画像データとを関連付けて前記記録手段に記録させる記録制御手段を備えるようにしてもよい。
上記目的達成のため、請求項記載の発明によるプログラムは、撮像装置に内蔵されたコンピュータを、
撮像手段、
この撮像手段に対し、第1の露光条件による撮像を少なくとも1回以上行わせる第1の撮像制御手段、
この第1の撮像制御手段により撮像された画像データについて所定の画像評価を行う画像評価手段、
この画像評価手段による評価結果に基づいて、前記撮像手段に設定される撮像条件を制御する撮影条件制御手段、
この撮影条件制御手段によって設定された撮影条件で、且つ、第1の露光条件とは異なる第2の露光条件による撮像を少なくとも1回以上行わせる第2の撮像制御手段と、
前記第1の撮像制御手段による撮像と前記第2の撮像制御手段による撮像とを繰り返し交互に行わせ、複数の画像データを取得する画像データ取得手段、
前記画像データ取得手段により取得された画像データのうち、前記第2の撮像制御手段による撮像により取得された複数の画像データから動画像データを生成する動画像データ生成手段
として機能させ
前記第1の露光条件とは所定の長さの露光時間であり、前記前記第2の露光条件とは前記第1の露光条件による露光時間よりも長い露光時間であることを特徴とする。
本発明によれば、滑らかな動画データを得ることができるとともに、画像評価の精度を向上させることができる。
以下、本第1の実施の形態について、本発明の撮像装置をデジタルカメラに適用した一例として図面を参照して詳細に説明する。
[第1の実施の形態]
A.デジタルカメラの構成
図1は、本発明の撮像装置を実現するデジタルカメラ1の電気的な概略構成を示すブロック図である。
デジタルカメラ1は、撮像レンズ2、レンズ駆動ブロック3、絞り4、CCD5、垂直ドライバ6、TG(timing generator)7、ユニット回路8、DMAコントローラ(以下、DMAという)9、CPU10、キー入力部11、メモリ12、DRAM13、DMA14、画像生成部15、DMA16、DMA17、表示部18、DMA19、圧縮伸張部20、DMA21、フラッシュメモリ22、顔検出部23、AF制御部24、バス25を備えている。
撮像レンズ2は、図示しない複数のレンズ群から構成されるフォーカスレンズ、ズームレンズを含む。そして、撮像レンズ2には、レンズ駆動ブロック3が接続されている。レンズ駆動ブロック3は、フォーカスレンズ、ズームレンズをそれぞれ光軸方向に駆動させるフォーカスモータ、ズームモータ(図示略)と、AF制御部24から送られてくる制御信号にしたがって、フォーカスレンズ、ズームレンズを光軸方向に駆動させるフォーカスモータドライバ、ズームモータドライバ(図示略)とから構成されている。
絞り4は、図示しない駆動回路を含み、駆動回路はCPU10から送られてくる制御信号にしたがって絞り4を動作させる。
絞りとは、CCD5に入射される光の量を制御する機構のことをいう。
露出量は、この絞り値(絞りの度合い)とシャッタ速度によって定められる。
CCD5は、垂直ドライバ6によって走査駆動され、一定周期毎に被写体像のRGB値の各色の光の強さを光電変換して撮像信号としてユニット回路8に出力する。この垂直ドライバ6、ユニット回路8の動作タイミングはTG7を介してCPU10によって制御される。また、CCD5は電子シャッタとしての機能を有し、この電子シャッタは、垂直ドライバ6、TG7を介してCPU10を介して制御される。この電子シャッタのシャッタ速度によって露光時間が変わる。
ユニット回路8には、TG7が接続されており、CCD5から出力される撮像信号を相関二重サンプリングして保持するCDS(Correlated Double Sampling)回路、そのサンプリング後の撮像信号の自動利得調整を行なうAGC(Automatic Gain Control)回路、その自動利得調整後のアナログ信号をデジタル信号に変換するA/D変換器から構成されており、CCD5によって得られた撮像信号はユニット回路8を経た後、DMA9によってベイヤーデータの状態でバッファメモリ(DRAM13)に記憶される。
CPU10は、記録処理、表示処理などを行う機能を有すると共に、デジタルカメラ1の各部を制御するワンチップマイコンである。
特に、CPU10は、異なる2つの露光時間で交互に連続撮像する機能、後述する顔検出部23により検出された顔領域を識別表示させる機能を有する。
キー入力部11は、静止画撮像や動画撮像等の撮像を指示するシャッタボタン、表示モード切替キー、十字キー、SETキー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をCPU10に出力する。
メモリ12には、CPU10がデジタルカメラ1の各部を制御するのに必要な制御プログラム、及び必要なデータが記録されており、CPU10は、該プログラムに従い動作する。
DRAM13は、CCD5によって撮像された画像データを一時記憶するバッファメモリとして使用されるとともに、CPU10のワーキングメモリとしても使用される。
DMA14は、バッファメモリに記憶されたベイヤーデータの画像データを読み出して画像生成部15に出力するものである。
画像生成部15は、DMA14から送られてきた画像データに対して、画素補間処理、γ補正処理、ホワイトバランス処理などの処理を施すとともに、輝度色差信号(YUVデータ)の生成も行なう。つまり、画像処理を施す部分である。
DMA16は、画像生成部15で画像処理が施された輝度色差信号の画像データ(YUVデータ)をバッファメモリに記憶させるものである。
DMA17は、バッファメモリに記憶されているYUVデータの画像データを表示部18に出力するものである。
表示部18は、カラーLCDとその駆動回路を含み、DMA17から出力された画像データの画像を表示させる。
DMA19は、バッファメモリに記憶されているYUVデータの画像データや圧縮された画像データを圧縮伸張部20に出力したり、圧縮伸張部20により圧縮された画像データや、伸張された画像データをバッファメモリに記憶させたりするものである。
圧縮伸張部20は、画像データの圧縮・伸張(例えば、JPEGやMPEG形式の圧縮・伸張)を行なう部分である。
DMA21は、バッファッメモリに記憶されている圧縮画像データを読み出してフラッシュメモリ22に記録させたり、フラッシュメモリ22に記録された圧縮画像データをバッファメモリに記憶させるものである。
顔検出部23は、撮像された画像データ内にある顔領域を検出する顔検出処理を行うものである。つまり、顔があるか否か、顔が幾つあるか否かを評価するものである。この顔検出処理は周知技術なので詳しくは説明しないが、例えば、予め記憶されている一般的な人の顔の特徴データ(目、眉毛、鼻、口、耳、顔全体の輪郭等の特徴データ)と画像データとを比較照合することにより、該画像データの中のどの領域に顔があるか否かを検出する。
AF制御部24は、撮像された複数の画像データに基づいてオートフォーカスを行なうものである。具体的には、レンズ駆動ブロック3に制御信号を送ることによりフォーカスレンズを駆動範囲内で移動させ、レンズ位置におけるCCD5により撮像された画像データのAFエリアのAF評価値を算出し(画像を評価し)、該算出したAF評価値に基づく合焦レンズ位置にフォーカスレンズを移動させて、ピントを合わせるというものである。このAF評価値はAFエリアの高周波成分に基づいて算出され、AF評価値が高いほどピントが合っているレンズ位置ということになる。
B.動画撮像時の動作について
第1の実施の形態におけるデジタルカメラ1の動画撮像時の動作を説明する前に、本第1の実施の形態におけるデジタルカメラ1は、露光モードを2種類備えており、1つは動画撮像に適した露光時間Bで露光するモード(露光モード=1)、2つ目は静止画撮像に適した、露光モード1の露光時間Bより短い露光時間Aで露光するモード(露光モード=0)がある。この露光モードは撮像する度に切り替わる。つまり、露光モード=0で撮像すると、次は、露光モード=1で撮像するというように、露光モードが0→1→0という具合に切り替わる。
また、CCD5は、少なくとも300fpsのフレーム周期で被写体を撮像する能力を有しており、露光モード0では、1フレーム期間未満の露光時間A(ここでは、1/1200sとする)の露光を行い、露光モード1では、4フレーム期間分の露光時間B(1/75s)の露光を行うものとする。なお、1フレーム期間は1/300sとする。
図2は、動画の撮像時におけるタイムチャートを示す図である。
図2を見ると、露光モードが0での撮像と、露光モードが1での撮像とが交互に繰り返し行われているのがわかる。
また、CCD5からの画像データの読み出しから画像生成部15による輝度色差信号の生成は1フレーム期間未満(1/300s未満)で行われる。つまり、CCD5から読みだされて、ユニット回路8等を介してバッファメモリに記憶されたベイヤーデータが、画像生成部15によって輝度色差信号の画像データに生成され、該生成された輝度色差信号の画像データがバッファメモリに記憶されるという一連の動作が1フレーム期間未満(1/300s未満)で行われることになる。このとき、露光モード1で撮像されるフレーム画像データと、露光モード0で撮像されたフレーム画像データの輝度レベルが同じになるように、絞り、感度(たとえばゲイン)、NDフィルタを調節する。ここでは、ゲインのみを変えることによって調節するものとし、露光モード1で撮像するときのゲイン値を1倍とし、露光モード0で撮像するときのゲイン値を16倍とする。これによって、露光モード0で撮像された画像データと、露光モード1で撮像された画像データとの輝度レベルを同じにすることができる。
また、輝度色差信号の画像データ内にある顔を検出する顔検出処理、輝度色差信号の画像データの圧縮、該圧縮された画像データの記録もそれぞれ1フレーム期間未満で行われることになる。つまり、バッファメモリに記憶されている輝度色差信号の画像データの顔検出部23による顔検出処理、バッファメモリに記憶されている輝度色差信号の画像データが圧縮伸張部20で圧縮され、該圧縮された画像データのバッファメモリへの記憶の一連の動作、バッファメモリに記憶されている圧縮された画像データのフラッシュメモリへの記録の一連の動作は1フレーム期間未満で行われることになる。
また、ここでは便宜上、露光モードが0で撮像されたフレーム画像データをフレーム画像データAと呼び、露光モードが1で撮像されたフレーム画像データをフレーム画像データBと呼ぶ。また、撮像されたフレーム画像データが何回目に撮像された画像データであることを示すため、便宜上、該回数をフレーム画像データに付して表示させるものとする。この回数は0からカウントする。
たとえば、図2中のフレーム画像データA0というのは、0回目に撮像されたフレーム画像データあり、且つ、露光モードが0で撮像されたフレーム画像データであることを示している。また、フレーム画像データB1というのは、1回目に撮像されたフレーム画像データであり、且つ、露光モードが1で撮像されたフレーム画像データであることを示している。
また、ここでは、露光モードが0での撮像を最初に行い、その後、交互に露光モードを切り替えて撮像していくことから、露光モードが0で撮像されたフレーム画像データはフレーム画像データA(2n)であらわされ、露光モードが1で撮像されたフレーム画像データはフレーム画像データB(2n+1)であらわされる。但し、(n=0,1,2,3,・・・)とする。
また、図2を見ると、露光モード0で撮像されたフレーム画像データAは、顔検出に用いられ、露光モード1で撮像されたフレーム画像データBは、表示、記録に用いられているのがわかる。
図3は、撮像されたフレーム画像データの様子の一例を示すものである。
図3を見るとわかるように、露光モードが0で撮像されたフレーム画像データAと露光モードが1で撮像されたフレーム画像データBとが交互に撮像されているのがわかる。また、各フレーム画像データに付されて表示されている番号(数字)は、フレーム画像データが何回目で撮像されたかを表している。
なお、露光モードが0での撮像と露光モードが1での撮像を交互に行い、且つ、露光モードが0の露光時間は1フレーム期間未満であり、露光モードが1の露光時間は4フレーム期間分であることから、この露光モードが0で撮像されるフレーム画像データ(フレーム画像データAという)の撮像周期、露光モードが1で撮像されるフレーム画像データ(フレーム画像データBという)の撮像周期は、ともに1/60sとなる。
また、撮像されたフレーム画像データのリアルタイム表示は、露光モードが1で撮像されたフレーム画像データ(フレーム画像データB)のみが順々に表示される。図2を見ると、フレーム画像データBが順々に表示されているのがわかる。
また、AF処理は、露光モードが0で撮像されたフレーム画像データ(フレーム画像データA)のみに基づいて行われる。つまり、AF処理は、撮像されたフレーム画像データAのAFエリアのAF評価値に基づいて行われる。
以下、動画撮像時の動作を、動画の撮像記録と、動画の撮像記録中のリアルタイム表示と、動画撮像記録中のAF処理とに分けて説明する。
B−1.動画の撮像記録の動作について
まず、動画の撮像記録の動作を図4のフローチャートに従って説明する。
動画撮像モードにおいて、ユーザによってキー入力部11のシャッタボタンが押下されると(シャッタボタンの押下に対応する操作信号がキー入力部11から送られてくると)、動画撮像記録処理が開始されたと判断し、CPU10は、露光モード=0に設定する(ステップS1)。この設定されたモードに従ってバッファメモリの露光モード記憶領域の記憶を更新する。つまり、ステップS1では、露光モード記憶領域に0を記憶させる。
次いで、CPU10は、現在設定されている露光モードが0であるか否かを判断する(ステップS2)。この判断は、露光モード記憶領域に記憶されている情報に基づいて判断する。
ステップS2で、露光モードが0であると判断すると、CPU10は、露光時間を1/1200s、ゲイン値を通常のゲイン値の16倍に設定して(ステップS3)、ステップS5に進む。この通常のゲイン値とは、露光モード1で撮像するときのゲイン値である。ここで、露光モード0の露光時間は1/1200sであり、露光モード1の露光時間は1/75sなので、露光モード0の露光時間は露光モード1の露光時間の1/16となる。したがって、ゲイン値を16倍にすることにより、露光モード0で撮像されたフレーム画像データAと露光モード1で撮像されたフレーム画像データBとの輝度レベルを同じにすることができる。
一方、ステップS2で、露光モードが0でないと判断すると、つまり、露光モードが1であると判断すると、CPU10は、露光時間を1/75s、ゲインを通常のゲイン値の1倍に設定して(ステップS4)、ステップS5に進む。
ステップS5に進むと、CPU10は、該設定された露光時間及びゲイン値で撮像し、つまり、該設定された露光時間でCCD5に蓄積された画像データを読み出し、ユニット回路8のAGCは該読みだされた画像データを該設定されたゲイン値に従って自動利得調整し、画像生成部15によって自動利得調整された画像データから生成された輝度色差信号の画像データをバッファメモリに記憶させる。
次いで、CPU10は、現在設定されている露光モードが1であるか否かを判断する(ステップS6)。
ステップS6で、現在設定されている露光モードが1であると判断すると、CPU10は、次に表示させる画像データとして、該記憶した直近に撮像されたフレーム画像データを特定する情報(該フレーム画像データのアドレス情報等)を、バッファメモリの表示記憶領域に記憶させて(ステップS7)、ステップS8に進む。つまり、表示記憶領域の記憶を更新させる。これにより、露光モードが1で撮像されたフレーム画像データBのみが次に表示されるフレーム画像データとして特定され、フレーム画像データBのみが順々に表示されることになる。このとき、CPU10は、該特定したフレーム画像データを表示させるまでは、該フレーム画像データをバッファメモリ上に保持させておく。
そして、表示記憶領域の記憶を更新させると、CPU10は、該撮像されたフレーム画像データBの画像データを圧縮伸張部20に圧縮させ、該圧縮されたフレーム画像データをフラッシュメモリ22に記録する処理を開始させて(ステップS8)、ステップS11に進む。
一方、ステップS6で、現在設定されている露光モードが1でないと判断すると、つまり、現在設定されている露光モードが0であると判断すると、CPU10は、顔検出部23に、該直近に撮像され記憶されたフレーム画像データを出力し、顔検出部23に該フレーム画像データ内にある顔領域を検出させる顔検出処理を行わせる(ステップS9)。これにより、露光モード0で撮像されたフレーム画像データAのみが顔検出処理に用いられることになる。顔検出部23により検出された顔領域情報はCPU10に送られる。この顔領域情報とは、検出された顔領域の位置、大きさのことをいう。
次いで、CPU10は、該直近に撮像され記憶されたフレーム画像データ及び該検出された顔領域の情報(顔領域情報)をAF制御部24に出力して(ステップS10)、ステップS11に進む。
ステップS11に進むと、CPU10は、動画撮像記録処理を終了するか否かを判断する。この判断は、シャッタボタンの押下に対応する操作信号がキー入力部11から送られてきたか否かにより判断する。
ステップS11で、動画撮像記録処理を終了しないと判断すると、CPU10は、現在設定されている露光モードが0であるか否かを判断する(ステップS12)。
ステップS12で、現在設定されている露光モードが0であると判断すると、CPU10は、露光モード=1に設定して(ステップS13)、ステップS2に戻る。これに伴い露光モード記憶領域の記憶を更新する。
一方、ステップS12で、現在設定されている露光モードが0でない、つまり、1であると判断すると、CPU10は、露光モード=0に設定して(ステップS14)、ステップS2に戻る。これに伴い露光モード記憶領域の記憶を更新する。
このような動作を行うことにより、図3に示すように、露光時間1/1200sで撮像されたフレーム画像データAと、露光時間1/75sで撮像されたフレーム画像データBとが交互に撮像されていくとともに、露光時間1/75sで撮像されたフレーム画像データBのみが順々に記録されていくことになる。これにより、動きが滑らかな動画データを記録することができる。また、露光時間の短いフレーム画像データAに基づいて顔検出処理を行うので精度よく顔を検出することができる。
一方、ステップS11で、動画撮像記録処理を終了すると判断すると、CPU10は、該記録したフレーム画像データに基づいて動画像ファイルを生成する(ステップS15)。
B−2.動画の撮像記録中のリアルタイム表示の動作について
次に、動画の撮像記録中のリアルタイム表示の動作を図5(A)のフローチャートに従って説明する。
動画撮像記録処理が開始されると、CPU10は、表示タイミングが到来したか否かを判断する(ステップS21)。この表示タイミングは1/60s間隔で到来する。なお、表示タイミングが1/60s間隔で到来するとしたのは、フレーム画像データAは1/60s間隔で撮像され、フレーム画像データBは1/60s間隔で撮像されるためである。つまり、フレーム画像データBで構成される動画データBをリアルタイムで表示させていくためである。
ステップS21で、表示タイミングが到来していないと判断された場合は到来するまでステップS21に留まり、表示タイミングが到来したと判断されると、CPU10は、現在表示記憶領域に記憶されている次に表示させるフレーム画像データとして特定された情報に基づいて、バッファメモリに記憶されているフレーム画像データBの表示を開始させる(ステップS22)。ここで、図4のステップS7の動作により、次に表示させるフレーム画像データBを特定する情報が表示記憶領域に記憶されているので、該フレーム画像データBをステップS22で表示させることができる。
次いで、CPU10は、直近に検出された顔領域に基づいて、ステップS22で表示させているフレーム画像データB上に顔検出枠を重ねて表示させる処理を開始させる(ステップS23)。つまり、直近に検出されたフレーム画像データAの顔領域情報に基づいて顔検出枠をフレーム画像データB上に表示させることになる。即ち、現在表示させているフレーム画像データBの1つ前に撮像されたフレーム画像データAの顔領域情報に基づいて顔検出枠をフレーム画像データB上に表示させる。
次いで、CPU10は、動画撮像記録処理を終了するか否かを判断する(ステップS24)。この判断は、図4のステップS11と同様の判断によって行う。
ステップS24で、動画撮像記録処理を終了しないと判断するとステップS21に戻る。
このように、動画撮像記録処理においては、露光モードが0での撮像(露光時間1/1200sでの撮像)と、露光モードが1での撮像(露光時間1/75sでの撮像)とを交互に行って、露光モード1で撮像されたフレーム画像データBを順々に表示させていくとともに、露光モード0で撮像されたフレーム画像データA内にある検出された顔領域と同じ領域に顔検出枠を表示させていく。これにより、動きが滑らかな動画をリアルタイムで表示させることができるとともに、検出された顔領域を識別表示させることができる。
B−3.動画の撮像記録中のAF処理の動作について
次に、動画の撮像記録中のAF処理の動作を図5(B)のフローチャートに従って説明する。
動画撮像記録処理が開始されると、AF制御部24は、動画撮像記録処理が終了したか否かを判断する(ステップS31)。
ステップS31で、動画撮像記録処理が終了していないと判断すると、AF制御部24は、露光モード0で撮像されたフレーム画像データが新たに送られてきたか否かを判断する(ステップS32)。図4のステップS10で、フレーム画像データA及び顔領域情報が出力されると、新たにフレーム画像データが送られてきたと判断する。
ステップS32でフレーム画像データが新たに送られてきていないと判断するとステップS31に戻り、ステップS32でフレーム画像データが新たに送られてきたと判断すると、AF制御部24は、該新たに送られてきたフレーム画像データの顔領域情報に基づいて、顔領域の画像データのAF評価値を算出する(ステップS33)。つまり、検出された顔の領域がAFエリアとなる。
次いで、AF制御部24は、該算出したAF評価値が所定値より低いか否かを判断する(ステップS34)。ここで、複数の顔が検出されている場合は、全ての顔のAF評価値が所定値より低いか否かを判断するようにしてもよいし、各顔のAF評価値の平均値が所定値より低いか否かを判断するようにしてもよいし、一番大きい顔のAF評価値が所定値より低いか否かを判断するようにしてもよい。
ステップS34でAF評価値が所定値より低くないと判断するとステップS31に戻り、ステップS34でAF評価値が所定値より低いと判断すると、ピントが合っていないと判断して、AF制御部24は、該算出されたAF評価値が前回検出されたAF評価値より低いか否かを判断する(ステップS35)。
ステップS35で、算出されたAF評価値が前回検出されたAF評価値より低くないと判断すると、AF制御部24は、レンズ駆動ブロック3に制御信号を送ることによりフォーカスレンズを前回と同じ方向に1ステップ移動させて(ステップS36)、ステップS31に戻る。
一方、ステップS35で、算出されたAF評価値が前回検出されたAF評価値より低いと判断すると、AF制御部24は、レンズ駆動ブロック3に制御信号を送ることによりフォーカスレンズを前回と逆方向に1ステップ移動させて(ステップS37)、ステップS31に戻る。
このように、露光モード0で撮像されたフレーム画像データA内にある検出された顔領域のAF評価値を算出するので、精度良くAF評価値を算出することができる。また、AF処理の精度を向上させることができる。
以上のように、第1の実施の形態においては、短い露光時間での撮像と、長い露光時間での撮像を交互に連続して撮像していき、長い露光時間で撮像されたフレーム画像データを動画データとして記録、表示し、短い露光時間で撮像されたフレーム画像データを、顔検出処理、AF処理に用いるので、動きの滑らかな動画データを記録、表示することができるとともに、顔検出処理、AF評価値の算出の精度(画像評価の精度)を向上させることができる。また、AF処理の精度を向上させることができる。
[第2の実施の形態]
次に第2の実施の形態について説明する。
第1の実施の形態においては、一律に露光モード0で撮像されたフレーム画像データAに基づいて顔検出処理、AF評価値の算出を行うものとしたが、第2の実施の形態においては、露光モード0で撮像されたフレーム画像データA及び露光モード1で撮像されたフレーム画像データBに対して顔検出処理を行い、検出された顔の数が多い方のフレーム画像データを、AF評価値の算出に用いるというものである。
C.動画撮像時の動作について
第2の実施の形態も、図1に示したものと同様の構成を有するデジタルカメラ1を用いることにより本発明の撮像装置を実現する。
ここで、第2の実施の形態におけるデジタルカメラ1の動画撮像時の動作を説明する前に、第1の実施の形態と異なる動作だけを説明する。第2の実施の形態においては、露光モード0で撮像されたフレーム画像データA、露光モード1で撮像されたフレーム画像データB共に顔検出処理に用いられるものとする。
図6は、第2の実施の形態の動画の撮像時におけるタイムチャートを示す図であり、図6を見るとわかるように、フレーム画像データBに対しても顔検出処理が行われているのがわかる。
そして、フレーム画像データA及びフレーム画像データBのうち、検出された顔の多い方のフレーム画像データがAF制御部24に送られていき、該送られたフレーム画像データに基づいてAF評価値が算出されAF処理が行われる。このとき、フレーム画像データAとその直後に撮像されたフレーム画像データBのうち、検出された顔の数が多い方がAF処理に用いられる。したがって、AF処理に用いられるフレーム画像データは、フレーム画像データAであったり、フレーム画像データBであったりと、その都度変わることになる。
また、フレーム画像データA及びフレーム画像データBのうち、検出された顔の多いフレーム画像データの顔領域情報に基づいて、顔検出枠が表示される。
以下、動画撮像時の動作を、動画の撮像記録と、動画の撮像記録中の顔検出処理とに分けて説明する。なお、動画の撮像記録中のリアルタイム表示の動作、動画の撮像記録中のAF処理の動作は、第1の実施の形態で示した図5(A)、(B)とほぼ同じ動作なので最後に簡単に説明する。
C−1.動画の撮像記録の動作について
まず、動画の撮像記録の動作を図7のフローチャートに従って説明する。
動画撮像モードにおいて、ユーザによってキー入力部11のシャッタボタンが押下されると(シャッタボタンの押下に対応する操作信号がキー入力部11から送られてくると)、動画撮像記録処理が開始されたと判断し、CPU10は、露光モード=0に設定する(ステップS51)。この設定されたモードに従ってバッファメモリの露光モード記憶領域の記憶を更新する。つまり、ステップS51では、露光モード記憶領域に0を記憶させる。
次いで、CPU10は、現在設定されている露光モードが0であるか否かを判断する(ステップS52)。この判断は、露光モード記憶領域に記憶されている情報に基づいて判断する。
ステップS52で、露光モードが0であると判断すると、CPU10は、露光時間を1/1200s、ゲイン値を通常のゲイン値の16倍に設定して(ステップS53)、ステップS55に進む。
一方、ステップS52で、露光モードが0でないと判断すると、つまり、露光モードが1であると判断すると、CPU10は、露光時間を1/75s、ゲイン値を通常のゲイン値の1倍に設定して(ステップS54)、ステップS55に進む。
ステップS55に進むと、CPU10は、該設定された露光時間及びゲイン値で撮像し、つまり、該設定された露光時間でCCD5に蓄積された画像データを読み出し、ユニット回路8のAGCは該読みだされた画像データを該設定されたゲイン値に従って自動利得調整し、画像生成部15によって自動利得調整された画像データから生成された輝度色差信号の画像データをバッファメモリに記憶させる。
次いで、CPU10は、該記憶した直近に撮像されたフレーム画像データを顔検出部23に出力する(ステップS56)。
次いで、CPU10は、現在設定されている露光モードが1であるか否かを判断する(ステップS57)。
ステップS57で、現在設定されている露光モードが1であると判断すると、CPU10は、次に表示させる画像データとして、該記憶した直近に撮像されたフレーム画像データを特定する情報(該フレーム画像データのアドレス情報等)を、バッファメモリの表示記憶領域に記憶させる(ステップS58)。つまり、表示記憶領域の記憶を更新させる。これにより、露光モードが1で撮像されたフレーム画像データBのみが次に表示されるフレーム画像データとして特定され、フレーム画像データBのみが順々に表示されることになる。このとき、CPU10は、該特定したフレーム画像データを表示させるまでは、該フレーム画像データをバッファメモリ上に保持させておく。
そして、表示記憶領域の記憶を更新させると、CPU10は、該撮像されたフレーム画像データBの画像データを圧縮伸張部20に圧縮させ、該圧縮されたフレーム画像データをフラッシュメモリ22に記録する処理を開始させて(ステップS59)、ステップS60に進む。
一方、ステップS57で、現在設定されている露光モードが1でないと判断すると、そのままステップS60に進む。
ステップS60に進むと、CPU10は、動画撮像記録処理を終了するか否かを判断する。この判断は、シャッタボタンの押下に対応する操作信号がキー入力部11から送られてきたか否かにより判断する。
ステップS60で、動画撮像記録処理を終了しないと判断すると、CPU10は、現在設定されている露光モードが0であるか否かを判断する(ステップS61)。
ステップS61で、現在設定されている露光モードが0であると判断すると、CPU10は、露光モード=1に設定して(ステップS62)、ステップS52に戻る。これに伴い露光モード記憶領域の記憶を更新する。
一方、ステップS61で、現在設定されている露光モードが0でない、つまり、1であると判断すると、CPU10は、露光モード=0に設定して(ステップS63)、ステップS52に戻る。これに伴い露光モード記憶領域の記憶を更新する。
このような動作を行うことにより、図6に示すように、露光時間1/1200sで撮像されたフレーム画像データAと、露光時間1/75sで撮像されたフレーム画像データとが交互に撮像されていくとともに、露光時間1/75sで撮像されたフレーム画像データBのみが順々に記録されていくことになる。これにより、動きが滑らかな動画データを記録することができる。
一方、ステップS60で、動画撮像記録処理を終了すると判断すると、CPU10は、該記録したフレーム画像データに基づいて動画像ファイルを生成する(ステップS64)。
C−2.動画の撮像記録中の顔検出処理の動作について
次に、第2の実施の形態における動画の撮像記録中の顔検出処理の動作を図8のフローチャートに従って説明する。
動画撮像記録処理が開始されると、顔検出部24は、直近に送られてきたフレーム画像データ内にある顔領域を検出する顔検出処理を行う(ステップS71)。
次いで、CPU10は、該検出された顔領域の情報(顔領域情報)を取得する(ステップS72)。この顔領域情報とは、検出された顔領域の位置、大きさのことをいう。
次いで、CPU10は、直近に顔検出部23により検出されたフレーム画像データ(直近に顔検出部23に送られてきたフレーム画像データ)が露光モード1で撮像されたフレーム画像データBであるか否かを判断する(ステップS73)。
ステップS73で、直近に検出されたフレーム画像データが露光モード1で撮像されたフレーム画像データBであると判断すると、CPU10は、1つ前に撮像されたフレーム画像データ、つまり、フレーム画像データAの方が検出された顔の数が多いか否かを判断する(ステップS74)。つまり、フレーム画像データBと該フレーム画像データBに対応するフレーム画像データAとのどちらが検出された顔が多いかを判断する。
ステップS74で、1つ前に撮像されたフレーム画像データAの方が検出された顔の数が多いと判断すると、CPU10は、該1つ前に撮像されたフレーム画像データAを採用して(ステップS75)、ステップS77に進む。このとき、検出された顔の数が、1つ前に撮像されたフレーム画像データAと直近に顔検出部23により検出された(直近に撮像された)フレーム画像データBとが同じ場合も、1つ前に撮像されたフレーム画像データAを採用する。
一方、ステップS74で、1つ前に撮像されたフレーム画像データAの方が検出された顔の数が少ないと判断すると、CPU10は、直近に撮像されたフレーム画像データBを採用して(ステップS76)、ステップS77に進む。
ステップS77に進むと、CPU10は、該採用したフレーム画像データと該フレーム画像データの顔領域情報をAF制御部24に出力して、ステップS78に進む。
一方、ステップS73で、直近に顔検出部23により検出されたフレーム画像データが露光モード1で撮像されたフレーム画像データでないと判断するとそのままステップS78に進む。
ステップS78に進むと、CPU10は、動画撮像記録処理を終了するか否かを判断し、動画撮像記録処理を終了しないと判断するとステップS71に戻る。
C−3.次に、第2の実施の形態におけるリアルタイム表示の動作、AF処理の動作について簡単に説明する。
リアルタイム表示の動作は、図5(A)に示すフローチャートとほぼ同様であるが、第2の実施の形態においては、ステップS23では、直近に検出された顔領域に基いて顔検出を表示させるのではなく、図8のステップS75又はステップS76によって直近に採用されたフレーム画像データの顔領域情報に基づいて顔検出枠を表示させる。つまり、直近に撮像されたフレーム画像データBとその1つ前に撮像されたフレーム画像データAとのうち、顔が多く検出された方のフレーム画像データの顔領域情報に基づいて、顔検出枠を表示させることになる。
また、AF処理の動作は、図5(B)に示すフローチャートと同様であるが、第2の実施の形態においては、AF制御部24に送られてくるフレーム画像データは、採用されたフレーム画像データであるので、フレーム画像データAが送られたり、フレーム画像データBが送られたりする。つまり、多く顔が検出されたフレーム画像データがAF制御部24に送られ、該送られてきたフレーム画像データに基づいてAF処理が行なわれることになる。
以上のように、第2の実施の形態においては、短い露光時間での撮像と、長い露光時間での撮像を交互に連続して撮像していき、長い露光時間で撮像されたフレーム画像データを動画データとして記録し、短い露光時間で撮像されたフレーム画像データと長い露光時間で撮像されたフレーム画像データのうち、顔が多く検出された方のフレーム画像データを採用するので、被写体の条件にかかわらず安定した顔検出処理、AF評価値の算出を行うことができる。
[変形例]
上記各実施の形態は、以下のような変形例も可能である。
(01)上記各実施の形態においては、短い露光時間での1回の撮像と、長い露光時間での1回の撮像を交互に行うようにしたが、短い露光時間での1回の撮像又は複数回の連続撮像と、長い露光時間での1回の撮像又は複数回の連続撮像とを交互に行うものであればよい。
つまり、長い露光時間での撮像→長い露光時間での撮像→短い露光時間での撮像→長い露光時間での撮像→長い露光時間での撮像→短い露光時間での撮像、という具合に、ある露光時間で1回もしくは所定回数連続して撮像した後、他の露光時間で1回もしくは所定回数連続して撮像するといった一連の撮像動作を繰り返し実行する方法であってもよい。これにより、動きの滑らかな動画データを記録、表示することができるとともに、顔検出処理、AF評価値の算出の精度(画像評価の精度)を向上させることができる。
(02)また、上記各実施の形態においては、一律に露光モード1で撮像されたフレーム画像データBをリアルタイム表示させるようにしたが、ユーザが、どちらのフレーム画像データを表示させるか切り替え操作を行うことができるようにし、該切り替え操作に従って、露光モード0で撮像されたフレーム画像データAをリアルタイム表示させていったり、露光モード1で撮像されたフレーム画像データBをリアルタイム表示させていくようにしてもよい。
また、上記第2の実施の形態においては、図8のステップS75、ステップS76で採用された方のフレーム画像データをリアルタイム表示させていくようにしてもよい。つまり、多く顔が検出された方のフレーム画像データをリアルタイム表示させていくようにしてもよい。
(03)また、上記各実施の形態においては、短い露光時間と長い露光時間、つまり、異なる2つの露光時間で動画撮像するようにしたが、異なる複数の露光時間で動画撮像するようにしてもよい。この場合であっても、動きの滑らかな動画データを記録、表示することができるとともに、顔検出処理、AF評価値の算出の精度(画像評価の精度)を向上させることができる。
(04)また、上記各実施の形態においては、画像評価として、顔検出処理とAF評価値を例にして説明したが、これらに限られるものではなく、例えば、画像データの動きベクトルを評価する場合であってもよい。
(05)また、上記各実施の形態においては、露光時間の短い方で撮像されたフレーム画像データAに対して顔検出処理とAF処理の両方の処理を行うようにしたが、どちらか一方であってもよい。この場合は、AF処理のみを行う場合は、所定のAFエリア又は任意のAFエリアのAF評価値を算出して、AF処理を行う。この場合であっても、画像評価の精度を向上させることができる。また、AF処理の精度を向上させることができる。
(06)また、上記各実施の形態におけるAF処理は、AF評価値が所定値以上となるレンズ位置を合焦レンズ位置としたが、AF評価値がピークとなるレンズ位置を検出し、該検出したレンズ位置にフォーカスレンズを移動させるという動作をコンティニュアス的に行なうようにしてもよい。
(07)また、上記各実施の形態においては、動画撮像記録中の場合において説明したが、動画撮影モード、静止画撮影モードのスルー画像表示中にも適用してもよい。この場合は、図4のステップS8、図7のステップS59の圧縮記録動作がなくなるだけであり、また、図4のステップS11、図7のステップS60は、動画撮影記録、又は静止画撮影記録を行なうか否かを判断し、動画撮影記録、又は、静止画撮影記録を行う場合は、動画撮影記録処理、静止画撮影記録処理を行なう。つまり、フレーム画像データの記録と表示の両方でなく、表示のみを行うようにしてもよい。
(08)また、上記各実施の形態においては、フレーム画像データの記録と表示の両方を行うようにしたが、記録のみを行うようにしてもよい。
この場合は、図4のステップS7の動作、図7のステップS58の動作、及び、図5(A)に示すフローチャートの動作を省略するようにしてもよい。
(09)また、上記各実施の形態においては、動画撮像時に、露光モード0で撮像されたフレーム画像データAを記録、表示し、露光モード1で撮像されたフレーム画像データを画像評価用に用いるようにしたが、動画撮像時は、露光モード0で撮像されたフレーム画像データAを動画データとして記録するとともに、該動画データと関連付けて、露光モード1で撮像されたフレーム画像データBを画像評価用として記録するようにしてもよい。つまり、動画撮像時は画像評価を行うことなく、フレーム画像データAとフレーム画像データBとを関連付けて記録する。この場合、フレーム画像データAをリアルタイム表示させるようにしてもよいし、フレーム画像データBをリアルタイム表示させるようにしてもよい。
これにより、再生時に動きの滑らかな動画データを表示することができるとともに、再生時の顔検出処理等の画像評価の精度を向上させることができる。
そして、このように、記録された複数のフレーム画像データの再生時に、露光モード0で撮像されたフレーム画像データAから構成される動画データを再生表示させていくとともに、露光モード1で撮像されたフレーム画像データBを画像評価用に用いるようにしてもよい。つまり、フレーム画像データAを再生表示させていくとともに、フレーム画像データBに基づいて顔検出処理や動きベクトルの算出処理等を行うことになる。この場合は、顔検出処理の結果、動きベクトルの算出処理の結果に基づいて、該再生表示しているフレーム画像データA上に所定の情報を表示させるようにしてもよい。
これにより、再生時に動きの滑らかな動画データを表示することができるとともに、再生時の顔検出処理等の画像評価の精度を向上させることができる。
(10)また、上記第2の実施の形態においては、フレーム画像データBとその1つ前に撮像されたフレーム画像データAを対応するフレーム画像データとしたが、フレーム画像データBとその直後に撮像されたフレーム画像データAを対応するフレーム画像データとするようにしてもよいし、要は対応するフレーム画像データが定められていればよい。
(11)また、上記各実施の形態においては、短い露光時間と長い露光時間というように、露光時間を変えるようにしたが、露光条件を変えるようにしてもよい。これによっても、動きの滑らかな動画データを記録、表示することができるとともに、顔検出処理、AF評価値の算出の精度(画像評価の精度)を向上させることができる。
(12)また、上記変形例(01)乃至(11)を矛盾しない範囲で任意に組み合わせた態様であってもよい。
(13)また、本発明の上記各実施形態及び各変形例は、何れも最良の実施形態としての単なる例に過ぎず、本発明の原理や構造等をより良く理解することができるようにするために述べられたものであって、添付の特許請求の範囲を限定する趣旨のものでない。
したがって、本発明の上記実施形態に対してなされ得る多種多様な変形ないし修正はすべて本発明の範囲内に含まれるものであり、添付の特許請求の範囲によって保護されるものと解さなければならない。
要は、長い露光時間で撮像されたフレーム画像データを記録し、短い露光時間で撮像されたフレーム画像データを画像評価に用いるものであればよい。
最後に、上記各実施の形態においては、本発明の撮像装置をデジタルカメラ1に適用した場合について説明したが、上記の実施の形態に限定されるものではなく、要は、被写体を撮像することができる、又は画像を再生することができる機器であれば適用可能である。
本発明の実施の形態のデジタルカメラのブロック図である。 第1の実施の形態の動画の撮像時におけるタイムチャートを示す図である。 撮像されたフレーム画像データの様子の一例を示すものである。 第1の実施の形態の動画の撮像記録の動作を示すフローチャートである。 動画の撮像記録中のリアルタイム表示の動作及び動画の撮像記録中のAF処理の動作を示すフローチャートである。 第2の実施の形態の動画の撮像時におけるタイムチャートを示す図である。 第2の実施の形態の動画の撮像記録の動作を示すフローチャートである。 第2の実施の形態の動画の撮像記録中の顔検出処理の動作を示すフローチャートである。
符号の説明
1 デジタルカメラ
2 撮像レンズ
3 レンズ駆動ブロック
4 絞り
5 CCD
6 垂直ドライバ
7 TG
8 ユニット回路
9 DMA
10 CPU
11 キー入力部
12 メモリ
13 DRAM
14 DMA
15 画像生成部
16 DMA
17 DMA
18 表示部
19 DMA
20 圧縮伸張部
21 DMA
22 フラッシュメモリ
23 顔検出部
24 AF制御部
25 バス

Claims (9)

  1. 撮像手段と、
    この撮像手段に対し、第1の露光条件による撮像を少なくとも1回以上行わせる第1の撮像制御手段と、
    この第1の撮像制御手段により撮像された画像データについて所定の画像評価を行う画像評価手段と、
    この画像評価手段による評価結果に基づいて、前記撮像手段に設定される撮像条件を制御する撮影条件制御手段と、
    この撮影条件制御手段によって設定された撮影条件で、且つ、第1の露光条件とは異なる第2の露光条件による撮像を少なくとも1回以上行わせる第2の撮像制御手段と、
    前記第1の撮像制御手段による撮像と前記第2の撮像制御手段による撮像とを繰り返し交互に行わせ、複数の画像データを取得する画像データ取得手段と、
    前記画像データ取得手段により取得された画像データのうち、前記第2の撮像制御手段による撮像により取得された複数の画像データから動画像データを生成する動画像データ生成手段と、
    を備え
    前記第1の露光条件とは所定の長さの露光時間であり、前記前記第2の露光条件とは前記第1の露光条件による露光時間よりも長い露光時間であることを特徴とする撮像装置。
  2. 前記第1の撮像制御手段は、第1の露光条件での撮像を1回行わせるとともに、
    前記第2の撮像制御手段は、第2の露光条件での撮像を1回行わせることを特徴とする請求項1記載の撮像装置。
  3. 前記画像評価手段は、前記第1の撮像制御手段によって撮像された画像データからAF評価値を算出する算出手段を含み、
    前記撮像条件とは、前記算出手段によって算出されたAF評価値に基づいて移動するフォーカスレンズのレンズ位置を含むことを特徴とする請求項1又は2記載の撮像装置。
  4. 前記第1の撮像制御手段によって撮像された画像データから顔領域を検出する顔検出手段を更に備え、
    前記算出手段は、前記顔検出手段によって検出された顔領域のAF評価値を算出することを特徴とする請求項3に記載の撮像装置。
  5. 前記顔検出手段は、更に、前記第2の撮像制御手段によって撮像された画像データから顔を検出し、
    前記画像評価手段は、前記顔検出手段が前記第1の撮像制御手段によって撮像された画像データから検出された顔領域の個数と、前記第2の撮像制御手段によって撮像された画像データから検出された顔領域の個数とを比較し、検出された顔領域の個数が多いほうの画像データを前記画像評価手段が画像評価すべき画像データとして採用することを特徴とする請求項4記載の撮像装置。
  6. 前記動画像データと、前記顔検出手段により検出された顔領域とを表示する表示手段を更に備えたことを特徴とする請求項4又は5記載の撮像装置。
  7. 前記動画像データと、前記画像評価手段が採用したほうの画像データの顔領域とを表示する表示手段を更に備えたことを特徴とする請求項5記載の撮像装置。
  8. 画像データを記録する記録手段と、
    前記動画像データ生成手段によって生成された動画像データと、前記画像評価手段によって評価された画像データとを関連付けて前記記録手段に記録させる記録制御手段を備えたことを特徴とする請求項1〜7の何れかに記載の撮像装置。
  9. 撮像装置に内蔵されたコンピュータを、
    撮像手段、
    この撮像手段に対し、第1の露光条件による撮像を少なくとも1回以上行わせる第1の撮像制御手段、
    この第1の撮像制御手段により撮像された画像データについて所定の画像評価を行う画像評価手段、
    この画像評価手段による評価結果に基づいて、前記撮像手段に設定される撮像条件を制御する撮影条件制御手段、
    この撮影条件制御手段によって設定された撮影条件で、且つ、第1の露光条件とは異なる第2の露光条件による撮像を少なくとも1回以上行わせる第2の撮像制御手段と、
    前記第1の撮像制御手段による撮像と前記第2の撮像制御手段による撮像とを繰り返し交互に行わせ、複数の画像データを取得する画像データ取得手段、
    前記画像データ取得手段により取得された画像データのうち、前記第2の撮像制御手段による撮像により取得された複数の画像データから動画像データを生成する動画像データ生成手段
    として機能させ
    前記第1の露光条件とは所定の長さの露光時間であり、前記前記第2の露光条件とは前記第1の露光条件による露光時間よりも長い露光時間であることを特徴とするプログラム。
JP2007314183A 2007-12-05 2007-12-05 撮像装置、画像再生装置及びそのプログラム Expired - Fee Related JP4748375B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007314183A JP4748375B2 (ja) 2007-12-05 2007-12-05 撮像装置、画像再生装置及びそのプログラム
US12/326,408 US20090147125A1 (en) 2007-12-05 2008-12-02 Image pick-up apparatus and computer readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007314183A JP4748375B2 (ja) 2007-12-05 2007-12-05 撮像装置、画像再生装置及びそのプログラム

Publications (3)

Publication Number Publication Date
JP2009141538A JP2009141538A (ja) 2009-06-25
JP2009141538A5 JP2009141538A5 (ja) 2009-11-12
JP4748375B2 true JP4748375B2 (ja) 2011-08-17

Family

ID=40721234

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007314183A Expired - Fee Related JP4748375B2 (ja) 2007-12-05 2007-12-05 撮像装置、画像再生装置及びそのプログラム

Country Status (2)

Country Link
US (1) US20090147125A1 (ja)
JP (1) JP4748375B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010177821A (ja) * 2009-01-27 2010-08-12 Sony Corp 撮像装置及び撮像方法
CN102859995B (zh) * 2010-04-20 2015-11-25 富士胶片株式会社 成像装置和驱动固态成像器件的方法
JP5887777B2 (ja) * 2011-09-14 2016-03-16 セイコーエプソン株式会社 プロジェクター、および、プロジェクターの制御方法
JP6124538B2 (ja) 2012-09-06 2017-05-10 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
US9402073B2 (en) * 2013-08-08 2016-07-26 Sharp Kabushiki Kaisha Image processing for privacy and wide-view using error diffusion
JP6862225B2 (ja) * 2017-03-09 2021-04-21 キヤノン株式会社 撮像装置、撮像装置の制御方法、及びプログラム
WO2025197159A1 (ja) * 2024-03-18 2025-09-25 富士フイルム株式会社 撮像処理装置、撮像処理方法、及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7176962B2 (en) * 2001-03-01 2007-02-13 Nikon Corporation Digital camera and digital processing system for correcting motion blur using spatial frequency
US7015956B2 (en) * 2002-01-25 2006-03-21 Omnivision Technologies, Inc. Method of fast automatic exposure or gain control in a MOS image sensor
JP4123352B2 (ja) * 2002-08-19 2008-07-23 富士フイルム株式会社 動画撮像装置及び動画再生装置
JP4110007B2 (ja) * 2003-02-13 2008-07-02 富士フイルム株式会社 ディジタル・ムービ・ビデオ・カメラおよび動画再生装置
JP4252015B2 (ja) * 2004-06-17 2009-04-08 シャープ株式会社 画像撮像装置、画像再生装置及び画像撮像再生システム
JP2006033023A (ja) * 2004-07-12 2006-02-02 Konica Minolta Photo Imaging Inc 撮像装置
US8654201B2 (en) * 2005-02-23 2014-02-18 Hewlett-Packard Development Company, L.P. Method for deblurring an image
JP2007081732A (ja) * 2005-09-13 2007-03-29 Canon Inc 撮像装置
JP4764712B2 (ja) * 2005-12-09 2011-09-07 富士フイルム株式会社 ディジタル・カメラおよびその制御方法
JP2007235640A (ja) * 2006-03-02 2007-09-13 Fujifilm Corp 撮影装置及び方法
JP2007259085A (ja) * 2006-03-23 2007-10-04 Casio Comput Co Ltd 撮像装置、画像処理装置、画像補正方法及びプログラム
JP2007279601A (ja) * 2006-04-11 2007-10-25 Nikon Corp カメラ
JP2007310813A (ja) * 2006-05-22 2007-11-29 Nikon Corp 画像検索装置およびカメラ

Also Published As

Publication number Publication date
JP2009141538A (ja) 2009-06-25
US20090147125A1 (en) 2009-06-11

Similar Documents

Publication Publication Date Title
KR101342477B1 (ko) 동영상을 촬영하는 촬상 장치, 및 촬상 처리 방법
KR100868054B1 (ko) 촬상장치 및 상블러링 경감방법 및 그 기록매체
US7706674B2 (en) Device and method for controlling flash
JP5005570B2 (ja) 画像処理装置およびプログラム
JP4742242B2 (ja) 撮像装置及びそのプログラム
JP5387949B2 (ja) 撮像装置、再生表示装置、撮像記録方法および再生表示方法
US20040061796A1 (en) Image capturing apparatus
JP5013954B2 (ja) 撮像装置
US20090135261A1 (en) Imaging apparatus and recording medium
JP4748375B2 (ja) 撮像装置、画像再生装置及びそのプログラム
KR101423432B1 (ko) 촬상 장치, 촬상 방법 및 기록 매체
JP2009111518A (ja) 撮像装置、画像再生装置及びそのプログラム、画像ファイルのデータ構造
JP4556195B2 (ja) 撮像装置、動画再生装置及びそのプログラム
JP4605217B2 (ja) 撮影装置及びそのプログラム
JP2006033023A (ja) 撮像装置
JP5092673B2 (ja) 撮像装置及びそのプログラム
JP2005055746A (ja) 撮像装置、合焦制御方法、およびプログラム
JP5002931B2 (ja) 撮像装置及びそのプログラム
JP5012985B2 (ja) 撮像装置及びそのプログラム
US8073319B2 (en) Photographing method and photographing apparatus based on face detection and photography conditions
JP2007318292A (ja) 動きベクトル検出装置及びそのプログラム
JP5332668B2 (ja) 撮像装置および被写体検出プログラム
JP4888829B2 (ja) 動画処理装置、動画撮影装置および動画撮影プログラム
JP4534250B2 (ja) 動画撮像装置及びそのプログラム
JP2006186796A (ja) 撮影装置、撮影方法および撮影プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090924

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110421

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110504

R150 Certificate of patent or registration of utility model

Ref document number: 4748375

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140527

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees