JP3962871B2

JP3962871B2 - 電子カメラ及び電子ズーム方法

Info

Publication number: JP3962871B2
Application number: JP2005307261A
Authority: JP
Inventors: 光幸赤澤
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2005-10-21
Filing date: 2005-10-21
Publication date: 2007-08-22
Anticipated expiration: 2020-07-17
Also published as: JP2006115525A

Description

本発明はカメラのズーミング技術に関し、特に、動体を撮影する場合に適したフレーミング技術に関する。

従来、カメラで動きの激しい被写体を撮影するとき被写体を画面中央で適度な大きさにするためには、撮影者が被写体の動きに合わせてカメラを向け、ズーム操作をする必要があった。

従来のフレーミング技術では、撮影待機時に被写体の動きに合わせてカメラを向けると手ぶれが生じたり、被写体が大きく動くことによりフレームアウトしてしまうといった問題点があった。また、撮影者のカメラ操作の遅れにより正確なフレーム合わせができないといった問題点や、１回の撮影では１つの画像しか記録できないといった問題点もあった。

本発明は上述した問題点を解決するためになされたものであり、被写体がフレームアウトすることなしに正確なフレーム合わせを行うことのできる電子カメラ及び電子ズーム方法の提供を目的とする。

上記課題を解決するために、第１の発明の電子カメラは、被写体像を順次撮像する撮像手段と、この撮像手段から順次出力される動画像内の注目画像を検出する注目画像検出手段と、この注目画像検出手段により検出された注目画像の位置を検出する位置検出手段と、この位置検出手段により検出される注目画像の位置の変化量に基づいてズーム量を変更するズーム量変更制御手段と、前記位置検出手段により検出される注目画像の位置に基づいてズーム位置を変更するズーム位置変更制御手段と、を備え、前記ズーム位置変更制御手段は、前記ズーム位置の中心が前記注目画像の中心位置となるようにズーム位置を変更し、前記ズーム量変更制御手段は、前記注目画像に対してズーム量を変更することを特徴とする。また、第２の発明の電子カメラは、上述の第１の発明の電子カメラにおいて、前記ズーム量変更制御手段は、前記動画像における各フレームの切り出しサイズの変更に基づいてズーム量を変更することを特徴とする。また、第３の発明の電子カメラは、上述の第１または第２の発明の電子カメラにおいて、前記ズーム位置変更制御手段は、前記動画像における各フレームの切り出し位置の変更に基づいてズーム位置を変更することを特徴とする。また、第４の発明の電子カメラは、上述の第１から第３の何れかの発明の電子カメラにおいて、前記位置検出手段は、前記注目画像検出手段により検出された注目画像の少なくとも中心の位置を検出し、前記ズーム位置変更制御手段は、前記位置検出手段により検出された前記注目画像の中心の位置に基づいて前記ズーム位置の中心が前記注目画像の中心位置となるようにズーム位置を変更することを特徴とする。また、第５の発明の電子ズーム方法は、撮像手段から順次出力される動画像内の注目画像を検出する注目画像検出工程と、この注目画像検出工程で検出された注目画像の位置を検出する位置検出工程と、この位置検出工程で検出される注目画像の位置の変化量に基づいてズーム量を変更するズーム量変更工程と、前記位置検出工程で検出される注目画像の位置に基づいてズーム位置を変更するズーム位置変更工程と、を有し、前記ズーム位置変更工程は、前記ズーム位置の中心が前記注目画像の中心位置となるようにズーム位置を変更し、前記ズーム量変更工程は、前記注目画像に対してズーム量を変更することを特徴とする。

上記説明したように、本発明によれば、動画表示される被写体画像の位置を画像処理等の位置検出手段により自動的に検出し、これにより検出された位置の変化量（動きベクトル）に基づいてズーム量及びズーム位置を変更するので、枠外へのはみ出しが生じない上にズーム枠を移動させるための手動操作が必要なくなる。

１．カメラの構成例
図１は本発明の電子カメラの一実施例の構成を示すブロック図であり、デジタルカメラ１００は図１（ａ）に示すように、撮像部（撮像手段）２、制御部（表示制御手段、ズーム位置変更手段、移動量検出手段、ズーム量変更制御手段、移動速度算出手段、ズーム位置変更制御手段、保存記録制御手段、位置検出手段）３、操作部（位置指定手段、ズーム量指定手段）４、一次メモリ（ＤＲＡＭ（記憶手段））５、保存メモリ(フラッシュメモリ（保存記録手段））６、表示部（表示手段）７及び図示しない電源回路を有している。
また、撮像部２は図１（ｂ）に示すように、撮像レンズ２１１、ズーム機構２１２及び自動合焦機構２１３を含む光学系２１、ＣＣＤ及びＣＣＤ駆動部を含む信号変換部２２及び信号処理部２３からなっている。

撮像部２は撮像レンズ２１１で取込んだ被写体像を信号変換部２２でＣＣＤ等の撮像素子により画像信号に変換した後更にデジタルデータ（画像データ）に変換し、信号処理部２３でデジタルデータからデジタルの輝度、色差マルチプレクス信号（Ｙ、Ｃｂ、Ｃｒデータ）等の信号成分（以下、画像データ）を得て一時記憶手段としてのＤＲＡＭ５に転送する。また、ズーム機構２１２は制御部３の制御に基づいて図示しないズームレンズを移動させてズーム動作を実行し、自動合焦機構２１３は制御部３の制御に基づいて撮像レンズ２１１を移動させ自動合焦（オートフォーカス）させる。

制御部３は、ＣＰＵ、ＲＡＭ、プログラム格納用メモリ及びタイマ等の周辺回路を有したマイクロプロセッサ構成を有しており、ＣＰＵは上述の各回路及び図示しない電源切換えスイッチ等にバスラインを介して接続し、プログラム格納用メモリに格納されている制御プログラムによりデジタルカメラ全体の制御を行なうと共に、操作部４からの状態信号に対応してプログラム格納用メモリに格納されている各モード処理用のプログラムや本発明に基づく撮影待機時のフレーミング処理用プログラムを取り出して、本発明のフレーミングの実行制御及びデジタルカメラ１００の各機能の実行制御等を行なう。なお、プログラム格納メモリには上述した各プログラムのほか定数やメニューデータを格納している。

操作部４は、電源スイッチ４１、シャッターキー４２、ズームキー（ズーム量指定手段）４３、処理モード切替えスイッチ４４、後述するタッチパネルキー及び機能選択ボタン等のキーやスイッチ（位置指定手段）を構成部分としており、これらのキー或いはスイッチが操作されると状態信号が制御部３に送出される。
なお、ズームキー４３をロータリーキーとし、ズームキー４３が＋方向に回転されると回転角に応じた拡大ズーム信号を送出し、ズームキー４３が−方向に回転されると回転角に応じた縮小ズーム信号を送出するように構成してもよい。

ＤＲＡＭ５は作業用メモリ（記憶手段）として用いられ、撮影画像や再生画像を一時的に記憶する画像バッファ領域や圧縮／伸張時の作業用領域等が確保されている。
また、フラッシュメモリ６は保存メモリ（保存記録手段）として撮影した画像を保存記憶する。なお、保存メモリをフラッシュメモリ６に代えてメモリカード等の着脱可能なメモリを用いるようにしてもよい。

また、表示部７はビデオメモリ、ビデオエンコーダ及び液晶表示装置からなり、ビデオエンコーダは制御部３からビデオメモリに出力された画像データをビデオ信号に変換し、液晶表示装置に出力する。液晶表示装置はビデオエンコーダからのビデオ信号を液晶画面に表示する。
また、前述した操作部４の構成部分（位置指定手段）として表示部７の液晶画面上には感圧素子を配設した板状の透明層（タッチパネルキー）が設けられており、ポイント用の入力ペンでポイントするとその位置（座標）信号が制御部３に送られる。

図２はデジタルカメラ１００の一実施例の外観を示す図であり、図２（ａ）は背面図、図２（ｂ）は正面図、図２（ｃ）は表示画面上の所望の位置をポイントするポイントペンを示す。
図２でデジタルカメラ１００は、シャッターキー４２を上部に備え、正面には撮像レンズ２１１及び光学ファインダ８が配置され、背面には表示部７の液晶ディスプレイ（画面）７０、電源スイッチ４１、ズームキー４３、処理モード切替えスイッチ４４が配置されている。

２．動きベクトル及びフレーミング（ズーム枠合わせ）
図３は本発明のフレーミング制御方法の概要説明図であり、図４はフレーミングされた表示画像及び記録画像の説明図である。
また、図３（ａ）、（ａ’）は画角内の注目被写体像（注目画像）の動きベクトル（移動量）の説明図であり、図３（ａ）で時刻Ｔ１に左下隅位置Ｐ１（ｘ１、ｙ１）に表示されていた動画像内の注目画像１（ウサギ像）が、時刻Ｔ２には被写体の移動により図３（ａ’）に示すように同一画角内の右上隅Ｐ２（ｘ２、ｙ２）に表示された様子を示している。
このとき、画角内の注目画像１の位置Ｐ１、Ｐ２の軌跡は動きベクトルＡ（θ、Ｘ）となる。
ここで、移動距離Ｘ＝（（ｘ１−ｘ２）²＋（ｙ１−ｙ２）²）^1/2 、移動速度Ｖ＝Ｘ／（Ｔ２−Ｔ１）から、
Ｖ＝（（ｘ１−ｘ２）²＋（ｙ１−ｙ２）²）^1/2 ／（Ｔ２−Ｔ１）
となる。

そこで、図３（ｂ）に示すように動画像内の注目画像１の動き（＝速度Ｖ）が大きい場合は動画像上に表示するズーム（フレーミング）枠９０を注目画像１の速度に合わせて拡大し、ズーム枠９０’とすれば注目画像１がズーム枠９０’から外れてしまうといったことがなくなる。
また、図３（ｃ）に示すように動画像内の注目画像１の動きが小さい場合はズーム枠９０を縮小して、ズーム枠９０”としても注目画像１がズーム枠９０”から外れるといったことがなく、且つ注目画像１とズーム枠のバランスがよくなる。

なお、動画撮影の場合は所定時間間隔で画像がフラッシュメモリ６に記録されるが、図４（ａ）に示すように、画角内で表示されている注目画像１をポイントペン９等のポインティングデバイスでポイントすると画角位置（ズーム枠の位置）が入力され、上述したようにズーム枠９０内の注目画像１の動きベクトルに基づいてズーム枠９０の大きさが自動的に拡大または縮小されるので、注目画像１が移動してユーザのポイント操作（ズーム枠移動操作）が被写体像の動きについていけない場合でも、ズーム枠９０’（または９０”）の枠外に注目画像１が出るようなことは起こらず、図４（ｂ）に示すようにフレーム内に注目画像１が収まった記録画像（動画画像）を得ることができる。

３．フレーミング
図５は動画撮影モード時のフレーミング動作の一実施例を示すフローチャートであり、図５（ａ）はポインティングデバイスの操作によるポイント位置を取得してフレーム枠（ズーム枠）の移動動作を行う例、図５（ｂ）は画像処理により自動的に移動する被写体像の位置を取得してフレーム枠（ズーム枠）の移動動作を行う例、図５（ｃ）は枠の移動を自動とし、枠の大きさは手動で行う例を示す。

（１）：ポインティングデバイスによるフレーミング動作の例
ステップＳ１：（動画撮影モード選択）
図５（ａ）で、デジタルカメラ１００が起動されると制御部３は操作部４からの信号を監視し、撮影者が処理モード切替えスイッチ４４で動画撮影モードを選択し、シャッターキー４２を操作することにより動画画像の撮影を開始するとＳ２に遷移する。

ステップＳ２：（被写体画像の取り込み）
制御部３は撮像部２から送られる被写体画像(データ）を所定時間ｔ毎に１フレーム分ＤＲＡＭ５に取り込む（なお、ｔ＝1／１分間の撮影可能な動画枚数である）。

ステップＳ３：（動画画像表示）
制御部３は上記ステップＳ２でＤＲＡＭ５に取り込んだ動画像（データ）を表示部７に送り、画像メモリ上にイメージ展開して液晶画面７０に表示させる。

ステップＳ４：（ポインティングデバイスによるポイントの有無判定）
制御部３は液晶画面７０がポイント（ポイントペン９の例では表示画面７０にタッチ）されたか否かを位置（座標（ｘ２、ｙ２））信号受信の有無で監視している。
撮影者が液晶画面７０に表示された動画像内の注目画像１（図３）をポイントするとその位置信号が制御部３に送られる。制御部３は所定時間ｔ内に位置信号を受け取るとＳ５に遷移する。また、ポイントがない場合には所定時間ｔだけこのステップを繰り返してポインティングデバイスによるポイント待ちを行い、所定時間ｔを経過した場合にはＳ１１に遷移する。

ステップＳ５：（位置（座標値）及び移動時間の取得）
制御部３は上記ステップＳ４で受け取った位置信号を変換して画面７０上の座標値を取得し、制御部３のＲＡＭに保持（一時記憶）する。また、デジタルカメラ１００に内蔵されているタイマーからの信号を基に現在の時刻（Ｔ２）を取得し、ＲＡＭに保持していた前回のポイント時刻（Ｔ１）との差から移動時間Ｔを算出し、制御部３のＲＡＭに保持する。

ステップＳ６：（移動距離の算出）
制御部３は上記ステップＳ５で取得した座標値（ｘ２、ｙ２）とＲＡＭに保持していた前回の座標値（ｘ１、ｙ１）から前回のポイント位置から今回のポイント位置までの移動距離Ｘを算出する（つまり、Ｘ＝（（ｘ１−ｘ２）²＋（ｙ１−ｙ２）²）^1/2 ）。

ステップＳ７：（被写体像の速度の算出）
制御部３は上記ステップＳ６で算出した移動距離Ｘ及び上記ステップＳ５で算出した移動時間Ｔから前記電子ズーム指示手段によるズーム指示がなされない時間を計測する計測手段と、注目画像１の移動速度（被写体（動体）の移動速度）を算出する（つまり、Ｖ＝Ｘ／Ｔ）。

ステップＳ８：（ズーム比率の算出）
所定速度ｖに対応するズーム枠のサイズ（例えばズーム枠９０の対角線長さ）Ｌ０を予め設定しておき、所定速度ｖと上記ステップＳ７で算出した速度Ｖとの比率αを算出すればズーム枠９０のサイズの比率（ズーム比率(ズーム量））もαとなるので、ズーム枠９０のサイズは被写体速度に比例する（Ｌ：Ｌ０＝Ｖ：ｖ）。つまり、所定速度ｖより上記ステップＳ７で算出した速度Ｖが大きければ図３（ｂ）に示したようにズーム枠の大きさは基準のズーム枠９０より拡大され、小さければ図３（ｃ）に示したように縮小されることとなる。

ステップＳ９：（ズーム枠の表示）
制御部３は上記ステップＳ８で得た比率αで基準サイズのズーム枠を拡大（αｃ＞１のとき）または縮小（１＜αｃのとき）し、表示画像上に重畳表示する。また、この際、ステップＳ５で取得したポインティングデバイスによるポイント位置（座標）がズーム枠９０の中心となる。なお、ｃはズーム枠から移動する注目画像１がはみ出さないように設ける重み計数であり、ｃ≧１である。

ステップＳ１０：(前回のポイント位置の座標値及び時刻の更新)
制御部３は上記ステップＳ５で取得した座標値（ｘ２、ｙ２）及び時刻Ｔ２とＲＡＭに保持されている前回の座標値（ｘ１、ｙ１）及び時刻（Ｔ１）を更新(上書き記憶）し、ＲＡＭに保持されていた座標値（ｘ２、ｙ２）及び時刻（Ｔ２）をクリアする。

ステップＳ１１：（動画画像の保存記憶）
制御部３はＤＲＡＭ５に取り込まれているズーム枠内の画像データに圧縮処理を施してフラッシュメモリ６に保存記憶する。なお、ズーム枠で示された画像はそのズーム枠内の画像を１フレームの画像となるようにズーム（拡大／圧縮）してから保存記憶処理を行う。これにより、１フレームの電子ズーム画像（図４（ｂ））を保存記憶（記録）することができる。

ステップＳ１２：（動画撮影終了判定）
制御部３は撮影した動画の数を調べ、所定数になった場合には撮影処理を終了する。撮影者が撮影終了操作を行った場合も撮影処理を終了する。また、これ以外の場合には、Ｓ２に遷移して次の画像の取り込みを行う。

なお、上記説明では、画面７０を液晶画面に感圧素子を配列した透明膜を重ね合わせた構成（タッチパネルキー）としポイントペンを用いて被写体像をポイント（撮影エリアを指定）する例を示したがこの例に限定されない。例えば、デジタルカメラ１００にポイント用の操作キーを設け、この操作キーの操作によりカーソル等を画角内で移動させて被写体像をポイントするようにしてもよく、指先で操作可能なマウス状のポインティングデバイスでポイントするようにしてもよい。

上記構成により、ポインティングデバイスで画面７０に表示されている動画中の被写体画像をポイントすると、動きベクトルから被写体像の移動速度を推定し、ズーム枠の大きさを自動的に決定して被写体像に重畳表示できるので枠外へのはみ出しが生じないと同時に被写体の動きに合った画角で撮影することができる。

なお、上記図５（ａ）のフローチャートでは動画撮影時にポイント動作を行うようにしたが、動画の再生時にポイントし、その部分（再生像）を新たな動画として保存したり、動画（又は静止画）の撮影待機状態であるファインダー画像（スルー画像）表示時にポイント動作を行うようにしてもよい。

また、上記図５（ａ）のフローチャートでは、ポイント位置間の動きベクトル（速度）を求めるようにしたが、画像認識技術を用いて画角内の被写体位置を認識することにより動体認識を行い、動きベクトル（速度）を求めるようにしてもよい。このように構成した場合、被写体像の移動速度を正確に求めることができるのでより効果が大きくなる。また、上記図５（ａ）のフローチャートでは、ズーム枠９０の大きさを変化させる(電子ズーム)ようにしたが、ズーム枠を変化させず、図１のズーム機構２１２を駆動させることにより、光学ズーム量を変化させるようにしたり、電子ズーム量及び光学ズーム量の双方を変化させるようにしてもよい。

（２）：画像処理によるフレーミング動作の例
この例で、ステップＳ１、Ｓ２とステップＳ６〜Ｓ１２の動作は図５（ａ）のフローチャートと同様であり、ステップＳ２とＳ６の間を下記ステップ（Ｓ３’〜Ｓ５’）で置き換える。なお、図５（ａ）のステップＳ１２の動画撮影終了判定結果が未終了の場合の戻り先はステップＳ２であるが、図５（ｂ）ではステップＳ６’となる。また、この例では液晶画面７０上に感圧素子を配列した透明な薄膜を設ける必要はない。また、図６は画像処理によるフレーミング動作の説明図である。

ステップＳ３’：（動画（スルー）画像表示）
図５（ｂ）で、制御部３は上記ステップＳ２（図５（ａ））でＤＲＡＭ５に取り込んだ画像（データ）を表示部７に送り、画像メモリ上にイメージ展開して液晶画面７０に表示する。また、この際、画面の左右には図６（ａ）に示すようにズーム枠９０−１、９０−２が表示される。

ステップＳ４’：（ズーム対象画像の捕捉判定）
撮影者はズームアップしたい（つまり、撮影したい）被写体がある場合には画面に表示された左右のいずれかのズーム枠９０(９０−１または９０−２）が被写体像に重なるようにカメラを移動させ、ズーム枠９０が注目画像１に重なったときズーム（撮影開始）指示（例えば、シャッターキー４２の全押し操作）を行う。制御部３はズーム指示がなされたか否かを操作部４から送られてくるシャッター信号受信の有無で監視しているので、シャッター信号を受け取るとＳ５’に遷移する。
図６（ａ）の例で、撮影者が被写体１(ウサギ)をズームアップしようとした場合、被写体１は左方から右方に向かって移動しているので、撮影者は左側のズーム枠９０−１に注目画像１が重なるようにカメラを移動させ、図６（ｂ）に示すようにズーム枠９０−１と注目画像１が重なったときにシャッター４２の全押し操作を行う。

ステップＳ５’：（被写体像の位置及び比較画像の取得）
制御部３はシャッター信号を受け取ると画像認識処理により被写体像を認識し、認識した被写体画像の中心の座標値（ｘ２、ｙ２）を取得し、制御部３のＲＡＭに保持（一時記憶）し、Ｓ６に遷移する。

ステップＳ６’：（被写体画像の取り込み）
また、図５（ａ）のステップＳ１２の動画撮影終了判定結果が未終了（ＮＯ）の場合は、制御部３は撮像部２から送られる被写体画像(動画像）を所定時間ｔ毎に１フレーム分ＤＲＡＭ５に取り込む（なお、ｔ＝1／１分間の撮影可能な動画枚数である）。

ステップＳ７’：（動画画像表示）
制御部３は上記ステップＳ２でＤＲＡＭ５に取り込んだ動画像（データ）を表示部７に送り、画像メモリ上にイメージ展開して液晶画面７０に表示し、Ｓ５’に遷移する。

以下、図５（ａ）のステップＳ６〜Ｓ１１により移動距離（前回と今回の画像中の被写体（注目画像）間の距離）算出、移動速度の算出（つまり、Ｖ＝Ｘ／ｔ）、ズーム比率の算出、ズーム枠の表示（この際、注目画像１の中心がズーム枠９０の中心となるようにズーム枠９０を移動）、前回の注目画像位置の更新等を経て、図６（ｃ）に示すように、所定時間ｔ毎に表示される注目画像１（動画）に重畳して、注目画像１の速度に応じて拡大または縮小されたズーム枠９０’を自動的に表示すると同時に、注目画像１の移動に応じてズーム枠９０を移動することができる。

上記構成により、ズーム指示があると、動画表示される被写体画像を画像処理により自動的に判別し、被写体の動きベクトルから被写体像の移動速度を算出し、ズーム枠の大きさを自動的に決定して被写体像に重畳表示できるので枠外へのはみ出しが生じない上に、更に、被写体の動きベクトルに基づいてズーム枠を自動的に移動させることができるので、ズーム枠９０を移動させるための手動操作が必要なくなる。

なお、上記（１）、（２）（図５（ａ）、（ｂ））では動画撮影の場合について動画表示される画像の動きベクトルに応じてズーム枠を拡大／縮小するものとして説明したが、これに限定されない。つまり、静止画像撮影の場合もスルー表示されている画像の動きベクトルに応じてズーム枠を拡大／縮小するように構成することができる。

また、上記図５（ｂ）のフローチャートでは予め画像上に表示されているズーム枠内にカメラを動かすことにより被写体像を入れるようにしたが、このような動作を行うことなく自動的に画像内の被写体位置を検出し、この検出位置にズーム枠９０を移動させるようにしてもよい。

（３）：ズーム枠の移動を自動、枠の大きさを手動としたズーム動作例
この例で、ステップＳ１〜Ｓ５’の動作は図５（ｂ）のフローチャートと、ステップＳ９〜Ｓ１２の動作は、図５（ａ）のフローチャートと同様であり、ステップＳ５とステップＳ９の間を下記ステップ（Ｓ６”〜Ｓ８”）で置き換える。なお、図５（ａ）のステップＳ１２の動画撮影終了判定結果が未終了（ＮＯ）の場合は、図５（ｂ）のＳ６’に移行する。

ステップＳ６”：（動画像上へのズーム枠の移動）
図５（ｃ）で、制御部３はＤＲＡＭ５に保持している前回（つまり、現在−ｔ秒前）のサイズのフレーム枠(データ）を表示部７に送ってイメージ展開し、ステップＳ５’で取得し、表示されている動画像（被写体像）のポイント（中心）位置にフレーム（ズーム）枠の中心を一致させ、重畳表示する。これにより、動画像上に前回のサイズのフレーム枠が移動する。

ステップＳ７”：（ズーム操作の有無判定）
撮影者が上記ステップＳ６”で被写体像上に重畳表示されたズーム枠を見て大きさを調整する必要がある場合にはズームキー４３（ズーム量指定手段）を使用してズーム枠の拡大または縮小操作を行う。なお、この例ではズームキー４３をロータリーキーとし、ズームキー４３が＋方向に回転されると回転角に応じた拡大ズーム信号を送出し、ズームキー４３が−方向に回転されると回転角に応じた縮小ズーム信号を送出するように構成されている。
制御部３は操作部４からのズーム信号の有無を監視し、ズーム信号を受け取るとＳ８”に遷移する。また、ズームキー４３の操作が所定時間ｔ以内になされなかった場合にはＳ１１（図５（ａ））に遷移する。

ステップＳ８”：（今回のズーム比率αの算出及び保持）
ズーム信号は、ズームキー４３の＋方向の回転角に応じた値を含む拡大ズーム信号とズームキー４３の−方向の回転角に応じた値を含む縮小ズーム信号からなるので、制御部３はズームキー４３の回転角を基にズーム枠の拡大／縮小比率（前回のズーム枠のサイズを１とした場合の比率（例えば、１．２（２０％拡大）、０．８（２０％縮小））、つまり、ズーム比率を算出する。また、ＲＡＭに保持されている前回のズーム比率を今回のズーム比率で置き換えて保持する。

以下、図５（ａ）のステップＳ９〜Ｓ１１により所定時間ｔ毎に表示される注目画像１（動画）に重畳して、注目画像１の移動に応じて移動表示されるズーム枠９０’の大きさを手動操作により被写体像の大きさに合わせて拡大／縮小して表示することができる。

上記構成により、ズーム指示があると、動画表示される被写体画像中の注目画像を画像処理により自動的に判別してその位置を得て、前回のズーム枠を移動した注目画像に重畳表示し、ズーム枠の大きさが注目画像にあっていない場合は手動によりその大きさを変えて表示することができ、枠外へのはみ出しを防止できる。

（４）：ポイントより数フレーム前の画像をズームする例
図７はポイントより数フレーム前の画像をズームする例の説明図であり、図８はＤＲＡＭ５のバッファ領域に取り込まれた複数の画像（この例では１秒間に８枚、２秒分の画像１６枚）のうち、ポイントされた画像とズーム画像として保存記憶（記録）される画像の説明図である。

上記（１）〜（３）（図５（ａ）〜図５（ｃ））の例では保存記憶時に枠内の画像をズーム画像として保存記憶したが、図７（ｂ）に示すように撮影者が時刻Ｔ４に注目画像１−５をポイントしようとしても、人間は表示された被写体像を見てからポインティングデバイス９を操作するので、ポイント遅れを生じて図７（ｃ）に示すように注目画像１−５が表示されるズーム枠９０’とずれる場合がある（図７（ｂ）→図７（ｃ））。そこで、図８に示すように１回の動画撮影で撮影可能な画像数分（この例では１６枚）の画像バッファ５０−１〜５０−１６をＤＲＡＭ５に確保し、所定時間ｔ（＝撮影時間間隔ｔ（この例ではｔ＝1／８秒））毎にバッファ５０−１〜５０−１６に取り込むようにし、ポイント時のズーム枠及びズーム比率をポイントした時点のフレームより数枚分遡ったフレームの画像にフィードバックするようにする（図７（ａ）←図７（ｃ））。
図９はポイントより数フレーム前の画像をポイント時のズーム画像とする場合のフレーミング動作例を示すフローチャートである。

ステップＷ１：（動画撮影モード選択）
図９で、デジタルカメラ１００が起動されると制御部３は操作部４からの信号を監視し、撮影者が処理モード切替えスイッチ４４で動画撮影モードを選択し、シャッターキー４２を操作することにより動画撮影の開始を指示するとカウンタＪの値を１としてＷ２に遷移する。

ステップＷ２：（被写体画像の取り込み）
制御部３は撮像部２から送られる被写体画像(データ）を所定時間ｔ毎にＤＲＡＭ５に設けたバッファ５０−ｊに取り込む。なお、ｊはカウンタｊの値であり、ｔ＝１／（１分間の撮影可能な動画枚数）である。

ステップＷ３：（動画画像表示）
制御部３は上記ステップＷ２でバッファ５０−ｊに取り込んだ画像（データ）を表示部７に送り、画像メモリ上にイメージ展開して液晶画面７０に表示する。

ステップＷ４：（ポインティングデバイスによるポイントの有無判定）
制御部３は液晶画面７０がポイント（ポイントペン９の例では表示画面７０にタッチ）されたか否かを位置（座標（ｘ２、ｙ２））信号受信の有無で監視している。
撮影者が液晶画面７０に表示された被写体像をポイントするとその位置信号が制御部３に送られる。制御部３は位置信号を受け取るとＷ５に遷移する。また、ポイントがない場合には所定時間ｔだけこのステップを繰り返してポインティングデバイスによるポイント待ちを行い、所定時間ｔを経過した場合にはＷ７に遷移する。

ステップＷ５：（ズーム枠の表示処理等（Ｓ５〜Ｓ１０））
このステップでは図５（ａ）のステップＳ５〜Ｓ８と同様の処理、つまり、「位置（座標値）及び移動時間の取得」、「移動距離の算出」、「被写体像の速度の算出」を経て「ズーム比率の算出」を行い、算出されたズーム比率αで基準サイズのズーム枠を拡大（αｃ＞１のとき）または縮小（１＜αｃのとき）し、「ズーム枠の表示」で画面にズームされた枠を被写体像と共に表示し、更に、「前回のポイント位置の座標値及び時刻の更新」で、取得した座標値（ｘ２、ｙ２）及び時刻Ｔ２でＲＡＭに保持されている前回の座標値（ｘ１、ｙ１）及び時刻（Ｔ１）を更新(上書き記憶）し、ＲＡＭに保持されていた座標値（ｘ２、ｙ２）及び時刻（Ｔ２）をクリアする。
また、「ズーム枠の表示」の際、ポインティングデバイスによってポイントされた位置（座標）がズーム枠９０の中心となる。つまり、図７（ｃ）に示すように、ポイント遅れがあっても計算されたサイズのズーム枠９０’がユーザによりポイントされた位置に表示される。

ステップＷ６：（今回のズーム枠情報の遡及画像への対応付け）
次に、制御部３は現在のフレーム数、つまり、上記ステップＷ２でのカウンタＪの値jから所定数（この例では「３」）を差し引いた値ｉを求め、ＤＲＡＭ５のバッファ５０−ｉに記憶されている画像を求め、上記ステップＷ５で得たズーム枠の位置（座標値）とズーム比率を求めた画像（つまり、バッファ５０−ｉに記憶されている画像）と対応付けて記憶する。

ステップＷ７：（動画撮影枚数の判定等）
制御部３は撮影した動画の数を調べ、所定（図８の例では１６枚）になった場合、又は撮影者が記録操作を行った場合にＷ８に遷移する。また、これ以外の場合には、カウンタＪに１を加えてＷ２に遷移して次の画像の取り込みを行う。

ステップＷ８：（バッファに記憶された画像の保存記憶）
制御部３はＤＲＡＭ５のバッファ５０−１〜５０−１６に取り込まれている各画像に対応付けて記憶されているズーム枠の位置及びズーム比率に基づいて対応する部分の画像を順次取り出し、圧縮処理を施してフラッシュメモリ６に保存記憶する。これにより、ポイント時より数フレーム前の画像（図７（ａ））をポイントした位置のズーム画像として保存記憶することができる（図４（ｂ））。

上記図９のフローチャートにより、図８で撮影者が注目画像１−４をポイントしようとしたがポイント遅れでズーム枠９０’（図７（ｂ））が表示されたときには注目画像１−５が表示されていても、３フレーム分前の注目画像１−１（図７（ａ））にズーム枠９０のズーム比率α及び座標（ｘ２、ｙ２）を対応付けて記録できる。従って、再生時には、１フレーム目の動画はズームされた画像として再生表示される。

４．他のフレーミング方法
以上、フレーミング方法の実施例の幾つかについて説明したが、ポインティングデバイスでズーム枠の位置（撮影エリア）をポイントして撮影する場合、ポインティングデバイスで画面に表示されている被写体の複数の箇所（つまり、複数の注目画像）をポイントするようにし、ポイントされた複数の部分にズーム枠を重畳表示し、１回の撮影で複数の動画（又は静止画）をズーム撮影するように構成することもできる。なお、複数の動画をズーム表示する場合は複数の注目画像の動きベクトルを求めて（又は、画像処理によりそれぞれの注目画像の位置を得て）各注目画像に追従してズーム枠の位置を変更するようにする。

また、図５（ａ）及び図９のフローチャートでは動画撮影時にポインティングデバイスで画像をポイントしてその部分をズームして記録するように構成したが、撮影前に被写体の動きが分かっている場合には、撮影前にその動きに追従するようにポインティングデバイス等の位置指定手段で画面（タッチパネルキー）をポイントすると共にズームキー４３のようなズーム量指定手段でズーム比率（ズーム量）を指定してその位置及びズーム比率をＤＲＡＭ５又はフラッシュメモリ６のようなズーム位置設定手段に設定しておき、動画撮影時にズーム位置設定手段に設定されているズーム位置及びズーム比率を順次取り出して動画像のズーム位置及びズーム比率を順次変更してズーム枠を順次重畳表示し、記録時にこのズーム枠内の画像を上記ズーム位置及びズーム比率と対応付けて記録するように構成できる。撮影前に行うズーム位置の設定をポインティングデバイス等の位置指定手段で行う場合には実際の動きとは異なったズーム枠位置を指定することもでき、いわゆる面白さを演出することもできる。
なお、撮影前に被写体の動きが分かっている場合にズーム位置の設定を画像認識処理等の位置検出手段により撮影前に行って設定するようにしてもよい。この場合は実際の動きに忠実なズーム位置を設定することができる。

また、各動画の動きベクトルを撮影時にフラッシュメモリ６に記録しておき、被写体が既に撮影してある動画の被写体と同じ動きをする場合には、その動画を指定してその動きベクトルをフラッシュメモリ６から取り出し、その動画の動きベクトルを用いて撮影中にズームするようにしてもよい。
また、上記各実施例の説明ではデジタルカメラを例としたが、ビデオカメラや電子スチルカメラでもよく、本発明の適用範囲はデジタルカメラに限定されない。
以上、本発明の一実施例について説明したが本発明は上記実施例に限定されるものではなく、種々の変形実施が可能であることはいうまでもない。

本発明のカメラの一実施例の構成を示すブロック図である。デジタルカメラの一実施例の外観を示す図である。本発明のズーム撮影方法の概要説明図である。フレーミングされた表示画像及び記録画像の説明図である。動画撮影モード時のフレーミング動作の一実施例を示すフローチャートである。動画再生モード時のフレーミング動作の説明図である。ポイントより数フレーム前の画像をズームする例の説明図である。ポイントされた画像とズーム画像として保存記憶（記録）される画像の説明図である。ポイントより数フレーム前の画像をポイント時のズーム画像とする場合のフレーミング動作例を示すフローチャートである。

符号の説明

１注目画像
２撮像部（撮像手段）
３制御部（表示制御手段、ズーム位置変更手段、移動量検出手段、ズーム量変更制御手段、移動速度算出手段、ズーム位置変更制御手段、保存記録制御手段、位置検出手段）
４操作部（位置指定手段、ズーム量指定手段）
５一次メモリ（ＤＲＡＭ（記憶手段、ズーム位置設定手段））
６保存メモリ(フラッシュメモリ（保存記録手段、ズーム位置設定手段）)
７表示部（表示手段）
９ポイントペン（位置指定手段）
４３ズームキー（ズーム量指定手段）
７０液晶画面(画面)
９０，９０’９０” ズーム枠
１００デジタルカメラ（電子カメラ）

Claims

被写体像を順次撮像する撮像手段と、
この撮像手段から順次出力される動画像内の注目画像を検出する注目画像検出手段と、
この注目画像検出手段により検出された注目画像の位置を検出する位置検出手段と、
この位置検出手段により検出される注目画像の位置の変化量に基づいてズーム量を変更するズーム量変更制御手段と、
前記位置検出手段により検出される注目画像の位置に基づいてズーム位置を変更するズーム位置変更制御手段と、を備え、
前記ズーム位置変更制御手段は、前記ズーム位置の中心が前記注目画像の中心位置となるようにズーム位置を変更し、
前記ズーム量変更制御手段は、前記注目画像に対してズーム量を変更することを特徴とする電子カメラ。
前記ズーム量変更制御手段は、前記動画像における各フレームの切り出しサイズの変更に基づいてズーム量を変更することを特徴とする請求項１に記載の電子カメラ。
前記ズーム位置変更制御手段は、前記動画像における各フレームの切り出し位置の変更に基づいてズーム位置を変更することを特徴とする請求項１または２に記載の電子カメラ。
前記位置検出手段は、前記注目画像検出手段により検出された注目画像の少なくとも中心の位置を検出し、
前記ズーム位置変更制御手段は、前記位置検出手段により検出された前記注目画像の中心の位置に基づいて前記ズーム位置の中心が前記注目画像の中心位置となるようにズーム位置を変更することを特徴とする請求項１から３の何れかに記載の電子カメラ。
撮像手段から順次出力される動画像内の注目画像を検出する注目画像検出工程と、
この注目画像検出工程で検出された注目画像の位置を検出する位置検出工程と、
この位置検出工程で検出される注目画像の位置の変化量に基づいてズーム量を変更するズーム量変更工程と、
前記位置検出工程で検出される注目画像の位置に基づいてズーム位置を変更するズーム位置変更工程と、を有し、
前記ズーム位置変更工程は、前記ズーム位置の中心が前記注目画像の中心位置となるようにズーム位置を変更し、
前記ズーム量変更工程は、前記注目画像に対してズーム量を変更することを特徴とする電子ズーム方法。