Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6700826B2 - Image blur correction apparatus, control method thereof, program, and storage medium - Google Patents
[go: Go Back, main page]

JP6700826B2 - Image blur correction apparatus, control method thereof, program, and storage medium - Google Patents

Image blur correction apparatus, control method thereof, program, and storage medium Download PDF

Info

Publication number
JP6700826B2
JP6700826B2 JP2016023078A JP2016023078A JP6700826B2 JP 6700826 B2 JP6700826 B2 JP 6700826B2 JP 2016023078 A JP2016023078 A JP 2016023078A JP 2016023078 A JP2016023078 A JP 2016023078A JP 6700826 B2 JP6700826 B2 JP 6700826B2
Authority
JP
Japan
Prior art keywords
blur correction
image blur
output
detecting
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016023078A
Other languages
Japanese (ja)
Other versions
JP2017142344A (en
JP2017142344A5 (en
Inventor
龍弥 山崎
龍弥 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016023078A priority Critical patent/JP6700826B2/en
Publication of JP2017142344A publication Critical patent/JP2017142344A/en
Publication of JP2017142344A5 publication Critical patent/JP2017142344A5/ja
Application granted granted Critical
Publication of JP6700826B2 publication Critical patent/JP6700826B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Description

本発明は、撮影者の手振れ等に起因する像ブレを補正する像ブレ補正装置を用いて、流し撮りのアシストをする技術に関するものである。   The present invention relates to a technique for assisting follow shots by using an image blur correction device that corrects image blur caused by a camera shake of a photographer.

カメラによる流し撮りは、被写体(動体)を撮影する場合に、被写体を追いながら通常よりも遅いシャッター速度で撮影する手法である。この方法によれば、背景が流れ、被写体が静止している画像が得られる。撮影者は、流し撮りにより、スピード感あふれる写真を撮影することができる。しかし、露光時間の比較的長い撮影が行われるので、露光期間中に被写体のスピードとカメラを振る速度とを合わせることが難しく、熟練を要する撮影技術のひとつとなっている。   The follow shot by a camera is a method of shooting a subject (moving body) at a shutter speed slower than usual while following the subject. According to this method, an image in which the background flows and the subject is still can be obtained. The follower enables the photographer to take a photograph with a sense of speed. However, since the photographing is performed with a relatively long exposure time, it is difficult to match the speed of the subject with the speed of shaking the camera during the exposure period, which is one of the photographing techniques that requires skill.

流し撮りを簡単に実現するために、特許文献1には被写体の速度と、カメラを振る速度との差分を検出し、この差分に相当するズレ量を、像ブレ補正機能を用いて補正する方法が開示されている。撮影直前には、カメラ内の角速度センサにより、被写体を追っているカメラのパンニングの角速度が検出される。同時に主被写体像の撮像面上での移動量が検出される。検出したパンニング角速度と被写体像の撮像面上での移動量とから被写体の角速度が算出される。そして露光中には、算出した主被写体の角速度と、カメラ内の角速度センサ出力との差分量に従って像ブレ補正動作が行われる。これにより、主被写体とカメラのパンニング速度の差、および手振れ量が補正されるので、流し撮り対象である主被写体の像ブレを抑制することができる。   In order to easily realize panning, Patent Document 1 discloses a method of detecting a difference between a speed of a subject and a speed of shaking a camera, and correcting a shift amount corresponding to the difference using an image blur correction function. Is disclosed. Immediately before shooting, the angular velocity sensor in the camera detects the panning angular velocity of the camera following the subject. At the same time, the amount of movement of the main subject image on the imaging surface is detected. The angular velocity of the subject is calculated from the detected panning angular velocity and the amount of movement of the subject image on the imaging surface. During the exposure, the image blur correction operation is performed according to the difference amount between the calculated angular velocity of the main subject and the output of the angular velocity sensor in the camera. As a result, the difference in the panning speed between the main subject and the camera and the amount of camera shake are corrected, so that image blurring of the main subject, which is a panning subject, can be suppressed.

特開2006−317848号公報JP, 2006-317848, A

しかしながら、上述の特許文献1に開示された従来技術では、撮影前の段階で被写体を追う場合に、被写体像の像面上の移動量を正確に検出するために、像ブレ補正機能を停止させている。そのため、特に焦点距離が長いレンズでは、手振れの影響により主被写体を画角内に安定的に保持することが難しく、その結果、シャッターチャンスを逃してしまうといった問題が発生する。   However, in the conventional technique disclosed in the above-mentioned Patent Document 1, the image blur correction function is stopped in order to accurately detect the amount of movement of the subject image on the image plane when following the subject before shooting. ing. Therefore, particularly in a lens having a long focal length, it is difficult to stably hold the main subject within the angle of view due to the influence of camera shake, and as a result, there is a problem that a photo opportunity is missed.

本発明は上述した課題に鑑みてなされたものであり、その目的は、撮影前には被写体を追う動作を安定化させることができるとともに、撮影時には適切な流し撮りのアシストを行うことができる像ブレ補正装置を提供することである。   The present invention has been made in view of the above-mentioned problems, and an object thereof is to stabilize the operation of following a subject before shooting, and to perform an appropriate follow shot assist during shooting. An object is to provide an image stabilization device.

本発明に係わる像ブレ補正装置は、被写体の像面上の移動量を検出する移動量検出手段と、露光前の、装置の振れを検出する振れ検出手段の出力、装置の振れに起因する像ブレを補正するために、光軸と異なる方向に移動する像ブレ補正レンズの位置を検出する位置検出手段の出力、及び前記移動量検出手段の出力を用いて、動体である被写体の動きを検出する動き検出手段と、前記動き検出手段の出力と前記振れ検出手段の出力とを用いて、露光中に前記被写体が像面上で動かないようにするための前記像ブレ補正レンズの移動方向を算出する算出手段と、前記算出手段により算出された前記像ブレ補正レンズの移動方向と、前記位置検出手段の出力とを用いて、露光開始タイミングを決定する決定手段と、を備え、前記動き検出手段は、前記位置検出手段により出力されるフレーム間の前記像ブレ補正レンズの位置の平均値を前記位置検出手段の出力として用いて、前記被写体の動きを検出し、前記算出手段は、前記像ブレ補正レンズの移動方向を、前記動き検出手段の出力である被写体の角速度データαと、前記振れ検出手段の出力を所定期間平均して算出された角速度データの平均値βとの差分を用いて算出することを特徴とする。 An image blur correction device according to the present invention includes a movement amount detection unit that detects a movement amount of an object on an image plane, an output of a shake detection unit that detects shake of the device before exposure, and an image caused by the shake of the device. In order to correct the blur, the movement of the moving subject is detected by using the output of the position detection unit that detects the position of the image blur correction lens that moves in a direction different from the optical axis and the output of the movement amount detection unit. By using the output of the motion detection means and the output of the shake detection means, the movement direction of the image blur correction lens for preventing the subject from moving on the image plane during exposure. a calculating means for calculating for, with the moving direction of the image blur correction lens calculated by the calculation means, by using the output of said position detecting means, determining means for determining the exposure start timing and the motion detection The means detects the movement of the subject by using the average value of the positions of the image blur correction lens between the frames output by the position detecting means as the output of the position detecting means, and the calculating means determines the image The moving direction of the blur correction lens is calculated by using the difference between the angular velocity data α of the subject, which is the output of the motion detecting means, and the average value β of the angular velocity data calculated by averaging the outputs of the shake detecting means for a predetermined period. It is characterized in that it is calculated .

本発明によれば、撮影前には被写体を追う動作を安定化させることができるとともに、撮影時には適切な流し撮りのアシストを行うことができる像ブレ補正装置を提供することが可能となる。   According to the present invention, it is possible to provide an image blur correction device that can stabilize the operation of following a subject before shooting and can appropriately assist the follow shot during shooting.

本発明の第1の実施形態に係わる撮像装置の全体構成を示した図。The figure which showed the whole structure of the imaging device which concerns on the 1st Embodiment of this invention. 像ブレ補正制御の動作を示すフローチャート。6 is a flowchart showing the operation of image blur correction control. パンニング時の手振れ周波数解析結果を示した図。The figure which showed the shake frequency analysis result at the time of panning. 流し撮りアシスト制御の動作を示すフローチャート。The flowchart which shows operation|movement of follow shot assist control. 露光タイミングの設定動作を示すフローチャート。6 is a flowchart showing an exposure timing setting operation. 露光開始時のシフトレンズの位置と動きを示した図。The figure which showed the position and movement of the shift lens at the time of exposure start. シャッター全押し時のシフトレンズ駆動処理を示すフローチャート。9 is a flowchart showing a shift lens driving process when the shutter is fully pressed. 第2の実施形態における露光タイミングの設定動作を示すフローチャート。9 is a flowchart showing an exposure timing setting operation according to the second embodiment. 第2の実施形態における露光開始時のシフトレンズの位置と動きを示した図。FIG. 8 is a diagram showing the position and movement of a shift lens at the start of exposure in the second embodiment.

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。以下に説明する各実施形態では、撮影画像の像ブレ補正を行う像ブレ補正装置を搭載した撮像装置を例示する。光学系の可動部材等を駆動制御することにより像ブレ補正を行う像ブレ補正装置は、デジタル一眼レフ用の交換レンズに搭載可能である。また、ビデオカメラ、デジタルカメラ及び銀塩スチルカメラといった撮像装置だけでなく、双眼鏡、望遠鏡、フィールドスコープといった観察装置を含む光学機器にも搭載可能である。したがって、光学機器も本発明の一側面を構成する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In each of the embodiments described below, an image pickup apparatus equipped with an image blur correction device that performs image blur correction of a captured image will be exemplified. An image blur correction device that performs image blur correction by drivingly controlling a movable member of an optical system can be mounted on an interchangeable lens for a digital single-lens reflex camera. Further, it can be mounted not only in an image pickup device such as a video camera, a digital camera and a silver salt still camera, but also in an optical device including an observation device such as a binocular, a telescope and a field scope. Therefore, the optical device also constitutes one aspect of the present invention.

(第1の実施形態)
図1は、本発明の第1の実施例形態に係わる撮像装置の概略構成を示す図であり、流し撮りアシスト機能を搭載したレンズ一体型のコンパクトカメラ(以下、カメラ)の構成を示している。なお、本実施形態では、レンズ一体型のコンパクトカメラを例に挙げて説明するが、本発明は、一眼レフタイプのカメラのようなレンズ交換可能なカメラにも適用可能である。
(First embodiment)
FIG. 1 is a diagram showing a schematic configuration of an image pickup apparatus according to a first embodiment of the present invention, showing a configuration of a lens-integrated compact camera (hereinafter referred to as camera) having a follow shot assist function. . In the present embodiment, a lens-integrated compact camera will be described as an example, but the present invention is also applicable to a lens-replaceable camera such as a single-lens reflex type camera.

像ブレ補正機能を有するカメラ100は、撮影レンズ101内に、ズームレンズ102及び像ブレ補正機能を可能とするシフトレンズ103を有する。エンコーダ104はズームレンズ102の位置を検出し、このエンコーダ104の出力から撮影レンズ101の焦点距離がわかる。角速度センサ111は、カメラ全体の振れを検出し振れ検出信号を出力する。ドライバ112はシフトレンズ103を駆動する。位置センサ(位置検出センサ)113はシフトレンズ103の位置を検出する。なお、像ブレ補正は、例えば横方向と縦方向の2軸に対して行われるが、それぞれ同様の制御を行っており、図面を分かりやすくするために、ここでは1軸のみを記載している。   A camera 100 having an image blur correction function has a zoom lens 102 and a shift lens 103 that enables the image blur correction function in a photographing lens 101. The encoder 104 detects the position of the zoom lens 102, and the output of this encoder 104 allows the focal length of the taking lens 101 to be known. The angular velocity sensor 111 detects a shake of the entire camera and outputs a shake detection signal. The driver 112 drives the shift lens 103. A position sensor (position detection sensor) 113 detects the position of the shift lens 103. The image blur correction is performed on, for example, two axes in the horizontal direction and the vertical direction, but the same control is performed for each of them, and only one axis is shown here for the sake of clarity of the drawing. ..

撮影レンズ101を通過した光が結像されて形成された被写体像はCMOS(相補型金属酸化膜半導体)センサ等の撮像素子151により受光される。撮像素子151が出力する画像信号は、アナログ信号処理回路152で処理された後、カメラ信号処理回路153に送られる。カメラ信号処理回路153は撮像した画像の現像処理などを行い、不図示のメモリーカード等に画像を記録する。また、カメラ信号処理回路153は動きベクトルを検出するベクトル検出部171を備えており、複数のフレームの画像データに基づいて撮影画像の動きを検出(移動量検出)する。   A subject image formed by imaging the light that has passed through the taking lens 101 is received by an image sensor 151 such as a CMOS (complementary metal oxide semiconductor) sensor. The image signal output from the image sensor 151 is processed by the analog signal processing circuit 152 and then sent to the camera signal processing circuit 153. The camera signal processing circuit 153 performs development processing of the captured image and records the image on a memory card or the like (not shown). Further, the camera signal processing circuit 153 includes a vector detection unit 171 that detects a motion vector, and detects the movement of the captured image (movement amount detection) based on the image data of a plurality of frames.

タイミングジェネレータ(TG)155は、撮像素子151やアナログ信号処理回路152の動作タイミングを設定する。表示部156は、撮影者がカメラで撮影しようとしている画像をモニタし、また、撮像した画像を表示する液晶パネル(LCD)等の表示デバイスを備える。操作部157は電源スイッチ、レリーズスイッチ、流し撮りアシストモードに設定するかどうかの切り替えスイッチ等を備える。   The timing generator (TG) 155 sets the operation timing of the image sensor 151 and the analog signal processing circuit 152. The display unit 156 includes a display device such as a liquid crystal panel (LCD) that monitors an image that the photographer is about to capture with the camera and that displays the captured image. The operation unit 157 includes a power switch, a release switch, a switch for setting whether or not to set the follow shot assist mode, and the like.

カメラ制御用マイクロコンピュータ(以下、カメラ制御部)154は、角速度センサ111と通信することでカメラの振れデータを取得し、このデータに基づいて像ブレ補正制御をおこなう。また、カメラ信号処理部153内のベクトル検出部171からベクトルデータを取得し、流し撮りアシスト制御を行う。さらにカメラ制御部154は、カメラ信号処理回路153と通信して様々な評価値データを取得し、この取得したデータに基づいて、AE(自動露出)、WB(ホワイトバランス)、AF(自動焦点)等の制御も行う。ただし、図1においては図面を分かりやすくするために、像ブレ補正制御、および流し撮りアシスト制御に関連している部分以外の構成は省略している。   The camera control microcomputer (hereinafter, camera control unit) 154 communicates with the angular velocity sensor 111 to acquire camera shake data, and performs image blur correction control based on this data. Also, vector data is acquired from the vector detection unit 171 in the camera signal processing unit 153, and follow shot assist control is performed. Further, the camera control unit 154 communicates with the camera signal processing circuit 153 to acquire various evaluation value data, and based on the acquired data, AE (auto exposure), WB (white balance), AF (auto focus). It also controls such as. However, in FIG. 1, in order to make the drawing easy to understand, the configurations other than the portions related to the image blur correction control and the follow shot assist control are omitted.

カメラ制御部154において、像ブレ補正量算出部120は、主に手振れに起因する像ブレの補正に関連する部分である。カットオフ周波数を変更可能なハイパスフィルタ(HPF)121、積分器122、パンニング制御部123を備え、角速度センサ111により取得したカメラの振れデータに基づいて像ブレ補正量を算出する。パンニング速度検出部130は流し撮りアシスト制御に対応した部分であり、角速度センサ111の出力を所定期間平均して出力する平均値算出部131、差分演算部132、単純積分部133を備える。レンズ駆動制御部140はシフトレンズ103の駆動に関連する部分である。切り替えスイッチ143、加算器141、フィルタ142、位置センサ113の出力の所定期間の平均値を算出する平均値算出部144を備える。そして、フィルタ142の出力に従い、ドライバ112を介してシフトレンズ103が駆動される。流し撮りアシスト制御部160は、ヒストグラム作成部161、主被写体動きベクトル検出部162、主被写体角速度算出部163、露光時間設定部164、露光開始タイミング確認部165を備える。そして、ベクトル検出部171から出力されるベクトルデータおよびパンニング速度検出部130で算出される角速度センサの平均値データとを用いて主被写体の角速度を算出する。   In the camera control unit 154, the image blur correction amount calculation unit 120 is a portion mainly related to correction of image blur caused by camera shake. A high-pass filter (HPF) 121 whose cutoff frequency can be changed, an integrator 122, and a panning control unit 123 are provided, and an image blur correction amount is calculated based on camera shake data acquired by the angular velocity sensor 111. The panning speed detection unit 130 is a part corresponding to the follow shot assist control, and includes an average value calculation unit 131 that averages the output of the angular velocity sensor 111 for a predetermined period, a difference calculation unit 132, and a simple integration unit 133. The lens drive controller 140 is a part related to the driving of the shift lens 103. The changeover switch 143, the adder 141, the filter 142, and the average value calculation unit 144 that calculates the average value of the output of the position sensor 113 for a predetermined period are provided. Then, according to the output of the filter 142, the shift lens 103 is driven via the driver 112. The follow shot assist control unit 160 includes a histogram creation unit 161, a main subject motion vector detection unit 162, a main subject angular velocity calculation unit 163, an exposure time setting unit 164, and an exposure start timing confirmation unit 165. Then, the angular velocity of the main subject is calculated using the vector data output from the vector detection unit 171 and the average value data of the angular velocity sensor calculated by the panning velocity detection unit 130.

図2は、流し撮りアシスト制御を考慮した像ブレ補正制御に関するフローチャートである。以下、像ブレ補正制御に関して、図1および図2を用いて詳細に説明する。なお、ここでの処理は、シャッター全押し(SW2がONされる)前つまり露光前の処理である。SW2がONされた後の処理に関しては後述する。   FIG. 2 is a flowchart regarding the image blur correction control in consideration of the follow shot assist control. Hereinafter, the image blur correction control will be described in detail with reference to FIGS. 1 and 2. The process here is a process before the shutter is fully pressed (SW2 is turned on), that is, before the exposure. The process after the SW2 is turned on will be described later.

図2の処理は割り込み処理により行われ、割り込み周期は例えば12kHzである。まず、S201で角速度データを取得する。これは、割り込み周期に同期した角速度センサ111とカメラ制御部154間のシリアル通信により行われる。次にS202で角速度データのDC成分(揺らぎ成分)をカットするためのHPF121を用いたHPF処理が行われる。そしてS203で積分器122により積分処理が行われ、像ブレを補正するためのシフトレンズ103の駆動目標値が算出される。S204では位置センサ113の出力を取得する。この処理は、例えばカメラ制御部154に内蔵されているA/D変換器などで行われる。S205ではS203で算出されたシフトレンズ103の駆動目標値とS204で取得したシフトレンズの位置センサ113の出力とを用いて、加算器141で実際のシフトレンズ駆動量である制御量を算出する処理を行う。S206では、S205で算出した制御量に対し、フィルタ142を用いてフィルタリング処理が行われ、S207でフィルタリングした制御量がドライバ112に対してPWM等により出力される。S204〜S207で行われるサーボ制御により、シフトレンズ103が駆動される。   The process of FIG. 2 is performed by an interrupt process, and the interrupt cycle is, for example, 12 kHz. First, angular velocity data is acquired in S201. This is performed by serial communication between the angular velocity sensor 111 and the camera control unit 154, which is synchronized with the interrupt cycle. Next, in S202, HPF processing using the HPF 121 for cutting the DC component (fluctuation component) of the angular velocity data is performed. Then, in step S203, integration processing is performed by the integrator 122, and the drive target value of the shift lens 103 for correcting the image blur is calculated. In S204, the output of the position sensor 113 is acquired. This processing is performed by, for example, an A/D converter built in the camera control unit 154. In S205, a process of calculating a control amount, which is an actual shift lens drive amount, in the adder 141 using the drive target value of the shift lens 103 calculated in S203 and the output of the shift lens position sensor 113 acquired in S204 I do. In S206, the control amount calculated in S205 is filtered using the filter 142, and the control amount filtered in S207 is output to the driver 112 by PWM or the like. The shift lens 103 is driven by the servo control performed in S204 to S207.

S208は流し撮りアシストモードか通常モードかを判別する処理であり、これは、操作部157からの情報によって判断される。流し撮りアシストモードでない場合、S209でパンニング制御部123によりパンニング判定が行われる。例えばHPF121の出力あるいは積分器122の出力が所定のスレッショルドレベルを超えたかどうかによりパンニング動作が行われているかどうかを判定する。ここでパンニング動作中と判断されると、S212において、シフトレンズ103の駆動を停止(積分器出力を強制的に停止)させ、目標値が徐々にシフトレンズ103の可動範囲の中心位置になるように変更する。この動作を行うことにより、パンニング中は不用意な像ブレ補正動作を行わないようにして、過補正などの不具合が発生しないようにしている。S210でパンニング中でないと判定されるとS213において積分器122の出力を通常時の制御に変更する。   S208 is a process of determining whether the follow shot assist mode or the normal mode is performed, which is determined based on information from the operation unit 157. When the follow shot assist mode is not set, the panning determination is performed by the panning control unit 123 in S209. For example, it is determined whether the panning operation is being performed depending on whether the output of the HPF 121 or the output of the integrator 122 exceeds a predetermined threshold level. If it is determined that the panning operation is in progress, the drive of the shift lens 103 is stopped (the output of the integrator is forcibly stopped) in S212 so that the target value gradually becomes the center position of the movable range of the shift lens 103. Change to. By performing this operation, an inadvertent image blur correction operation is not performed during panning, and problems such as overcorrection do not occur. If it is determined in S210 that panning is not in progress, the output of the integrator 122 is changed to the normal control in S213.

さて、上述のように、通常のパンニング時は像ブレ補正動作を停止させるが、パンニング中においても手振れによる影響は発生する。図3は、パンニング時、すなわちカメラを横(Yaw)方向に動かした場合の、Yaw方向と縦(Pitch)方向それぞれの角速度センサ出力、および角速度センサ111の出力を周波数解析した結果を示した図である。図3(a)が角速度センサ111の出力を示している。A〜A’の領域がパンニング中に相当し、パンニングにより、Yaw方向の角速度センサの出力が大きく変化している。この図3(a)のA〜A’の領域をYaw、Pitch別々に周波数解析した結果が図3(b)である。この図からわかるように、パンニングしている、していないにかかわらず、5〜8Hzの同様な手振れ成分(301,302)が検出されていることがわかる。つまり、特に望遠側で撮影した場合は、手振れによる影響が大きくなり、パンニング中に被写体を追いかけるのが難しい。そこで、S208において流し撮りアシストモードと判定された場合、S211においてパンニング制御部123は流し撮りアシスト専用のパンニング制御設定を行う。HPF121、積分器122のカットオフ周波数を変化させ、角速度データのうち、低周波信号をカットする。例えばHPF121のカットオフ周波数を通常制御時の0.1Hzから1Hz程度まで上げることでパンニングにより発生する角速度センサ出力のDC的な変動を抑える。その結果、手振れ帯域のブレ補正効果は下がるものの、手振れによる被写体の画角上のブレは十分に抑えることが可能となり、フレーミングのしやすさが向上する。   As described above, the image blur correction operation is stopped during normal panning, but the effects of camera shake also occur during panning. FIG. 3 is a diagram showing the results of frequency analysis of the angular velocity sensor output in each of the Yaw direction and the vertical direction (Pitch) and the output of the angular velocity sensor 111 during panning, that is, when the camera is moved in the horizontal (Yaw) direction. Is. FIG. 3A shows the output of the angular velocity sensor 111. The area of A to A'corresponds to during panning, and the output of the angular velocity sensor in the Yaw direction largely changes due to panning. FIG. 3B shows a result of frequency analysis separately performed for Yaw and Pitch in the regions A to A'in FIG. 3A. As can be seen from this figure, similar camera shake components (301, 302) of 5 to 8 Hz are detected regardless of whether panning is performed or not. That is, especially when shooting on the telephoto side, the influence of camera shake becomes large, and it is difficult to follow the subject during panning. Therefore, when it is determined in S208 that the panning assist mode is set, the panning control unit 123 sets the panning control dedicated to the panning assist in S211. The cutoff frequencies of the HPF 121 and the integrator 122 are changed to cut the low frequency signal of the angular velocity data. For example, by increasing the cutoff frequency of the HPF 121 from about 0.1 Hz at the time of normal control to about 1 Hz, DC fluctuation of the angular velocity sensor output caused by panning is suppressed. As a result, although the shake correction effect in the camera shake band is reduced, it is possible to sufficiently suppress camera shake due to camera shake on the angle of view of the subject, and to improve easing of framing.

次に、図4はブレ補正を行いながらの流し撮りアシスト制御に関するフローチャートである。以下、流し撮りアシスト制御に関して、図1および図4を用いて詳細に説明する。   Next, FIG. 4 is a flowchart regarding the follow shot assist control while performing the shake correction. Hereinafter, the follow shot assist control will be described in detail with reference to FIGS. 1 and 4.

図4において、カメラの電源が投入されると、S401で初期設定が行われる。そしてS402で像ブレ補正制御を開始する。この開始により、図2の像ブレ補正制御の割り込みがスタートする。本実施形態は像ブレ補正ON状態での流し撮りアシストに関するものであるため、像ブレ補正機能は常にONであることを前提としている。S403で操作部157により流し撮りアシストモードが設定されているかどうかを判定し、流し撮りアシストモードが設定されていない場合は、S415へと進み、設定されたモードに関する制御が行われる。   In FIG. 4, when the power of the camera is turned on, initialization is performed in S401. Then, in step S402, image blur correction control is started. By this start, the interruption of the image blur correction control of FIG. 2 starts. Since the present embodiment relates to the follow shot assist in the image blur correction ON state, it is premised that the image blur correction function is always ON. In step S403, it is determined whether the follow shot assist mode is set by the operation unit 157. If the follow shot assist mode is not set, the process proceeds to step S415, and control relating to the set mode is performed.

流し撮りアシストモードが設定されている場合はS404へと進む。S404では流し撮りアシスト対応の露出制御が行われる。ここでは、ベクトル検出精度を上げるために、シャッター速度優先で、かつ例えば1/125秒以上のシャッター速度が選択される。S405ではベクトル検出部171で検出されたベクトルデータを取得し、S406では取得したベクトルデータからヒストグラム作成部161によりヒストグラムを作成する。次にS407ではベクトルを検出しているフレーム間の角速度データ平均値を平均値算出部131により算出し、S408では同じくベクトルを検出しているフレーム間のシフトレンズ位置の平均値を平均値算出部144により算出する。そして、S409で主被写体動きベクトル検出部162により主被写体ベクトルを決定する。   When the follow shot assist mode is set, the process proceeds to S404. In step S404, exposure control corresponding to the follow shot assist is performed. Here, in order to increase the vector detection accuracy, the shutter speed is prioritized and a shutter speed of, for example, 1/125 second or more is selected. In S405, the vector data detected by the vector detection unit 171 is acquired, and in S406, the histogram creation unit 161 creates a histogram from the acquired vector data. Next, in S407, the average value calculation unit 131 calculates the average value of the angular velocity data between the frames in which the vectors are detected, and in S408, the average value calculation unit calculates the average value of the shift lens positions between the frames in which the vectors are also detected. It is calculated according to 144. Then, in step S409, the main subject motion vector detection unit 162 determines the main subject vector.

従来の、シフトレンズ103による像ブレ補正動作が行われていない場合は、検出されたヒストグラムから、例えば角速度データ相当のものが背景であり、0に近いものが主被写体とすればよかった。しかし、像ブレ補正動作が行われている場合は、シフトレンズが移動した分だけベクトルの値を補正する必要があるため、S408でシフトレンズ位置の平均値を算出している。   In the case where the conventional image blur correction operation by the shift lens 103 is not performed, from the detected histogram, for example, the one corresponding to the angular velocity data may be the background, and the one close to 0 may be the main subject. However, when the image blur correction operation is performed, it is necessary to correct the vector value by the amount that the shift lens is moved, and therefore the average value of the shift lens positions is calculated in S408.

S409で、シフトレンズ位置を加味したベクトルデータから主被写体のベクトルを特定したら、S410で主被写体角速度算出部163により主被写体の角速度を算出する。被写体に対するベクトルデータと、ベクトルを取得したタイミングと同じ期間の角速度データ、およびシフトレンズ位置を、符号を考慮した上で加算することで、主被写体の角速度、すなわち、主被写体を止めるためにカメラをパンニングする角速度が算出できる。そして算出した角速度から、S411で露光時間設定部164により露光時間を設定する。なお、S411での露光時間は、流し撮り時の背景の流れ量が所定量となるように決定される。   After the vector of the main subject is specified from the vector data in which the shift lens position is added in S409, the main subject angular velocity calculation unit 163 calculates the angular velocity of the main subject in S410. By adding the vector data for the subject, the angular velocity data in the same period as the timing when the vector is acquired, and the shift lens position in consideration of the sign, the angular velocity of the main subject, that is, the camera for stopping the main subject is selected. The angular velocity for panning can be calculated. Then, in step S411, the exposure time setting unit 164 sets the exposure time based on the calculated angular velocity. The exposure time in S411 is determined so that the background flow amount during the follow shot is a predetermined amount.

次にS412で撮影者がシャッターを全押ししたかどうか(SW2がON状態かどうか)を確認する。SW2がONでない場合はS403へと戻り、流し撮りアシストモードが継続されていればS404〜S411を繰り返す。S412でSW2がONの場合は、S413で露光開始タイミング確認部165により露光を開始してもよいかどうかの確認を行う。ここでの処理は、アシスト制御を行うために動作させるシフトレンズ103の補正範囲が十分あるかどうかを確認する処理である。そしてS413で補正範囲が十分あることが確認されると、S414で露光を行う。撮影が終了(露光が終了)したらS403に戻り、次の流し撮りのアシストに備える。   Next, in step S412, it is confirmed whether the photographer has fully pressed the shutter (whether SW2 is in the ON state). If SW2 is not ON, the process returns to S403, and if the follow shot assist mode is continued, S404 to S411 are repeated. If SW2 is ON in S412, the exposure start timing confirmation unit 165 confirms whether or not the exposure may be started in S413. The process here is a process of confirming whether or not the correction range of the shift lens 103 operated to perform the assist control is sufficient. When it is confirmed in S413 that the correction range is sufficient, exposure is performed in S414. When shooting is completed (exposure is completed), the process returns to S403 to prepare for the next follow shot assist.

図5は、S413で行われる露光開始確認処理に関する詳細フローチャートである。このフローで示される動作により、像ブレ補正を行いながら、流し撮りアシスト効果も十分に得ることができるようになる。また、図6は、実際のシフトレンズ103の位置と露光開始の関係を示した図である。以下、露光開始の確認処理について図5、図6を用いて詳細に説明する。   FIG. 5 is a detailed flowchart of the exposure start confirmation processing performed in S413. By the operation shown in this flow, it is possible to sufficiently obtain the follow shot assist effect while performing the image blur correction. FIG. 6 is a diagram showing the relationship between the actual position of the shift lens 103 and the start of exposure. The exposure start confirmation processing will be described in detail below with reference to FIGS.

図5において、S601では主被写体角速度算出部163で算出した主被写体の角速度データαを取得する。次にS602で平均値算出部131から得られた角速度データの平均値βを取得する。そしてS603では、取得したαとβの差分を算出し、その結果から露光中のシフトレンズ103の駆動方向がわかる。S604では、シフトレンズ103の現在位置を取得し、S605で、シフトレンズ103の現在の位置と、露光中の駆動方向とから、シフトレンズ103が可動範囲の中心位置を横切る方向(通過する方向)に動くかどうかを判定する。シフトレンズ103が可動範囲の中心位置を横切るように動くのであれば、S606で露光開始通知を行う。移動方向が中心位置を横切らない場合はS604に戻り、シフトレンズ103の位置の確認と動作方向の確認を繰り返し、シフトレンズ103の位置が中心を横切る位置に到達するまで待つという処理を行う。   In FIG. 5, in step S601, the angular velocity data α of the main subject calculated by the main subject angular velocity calculation unit 163 is acquired. Next, in step S602, the average value β of the angular velocity data obtained from the average value calculation unit 131 is acquired. Then, in S603, the obtained difference between α and β is calculated, and the driving direction of the shift lens 103 during exposure is known from the result. In S604, the current position of the shift lens 103 is acquired, and in S605, the direction in which the shift lens 103 crosses the center position of the movable range (passing direction) from the current position of the shift lens 103 and the driving direction during exposure. Determine whether to move to. If the shift lens 103 moves so as to cross the center position of the movable range, an exposure start notification is issued in S606. When the moving direction does not cross the center position, the process returns to S604, and the process of checking the position of the shift lens 103 and the motion direction is repeated until the position of the shift lens 103 reaches the position crossing the center.

図6は、シフトレンズ103の位置と露光開始通知タイミングをわかりやすく示した図である。図6において、701は像ブレを補正している時のシフトレンズ103の動きをモデル化した曲線である。横軸はシフトレンズの位置、縦軸は時間を表しており、上から下に時間が進むものとする。702で示した矢印は、S603で導出した露光中のシフトレンズ103の駆動方向を示している。704はシフトレンズ103の全可動範囲を示しており、703は、露光開始時のシフトレンズ103の動く方向が702で示された方向である場合に、S606での露光開始通知が発行されるシフトレンズ103の位置範囲を示している。例えば時刻Aにおいてシャッターが全押しされると、シフトレンズ103はA’の位置にあるため、すぐに露光開始通知が行われる。一方、時刻Bにおいてシャッターが全押しされると、シフトレンズ103はB’の位置にある。このときは、S604およびS605の動作により、706で示した矢印分の時間だけ待ち、シフトレンズ103がC’の位置に移動した時、すなわち時刻Cにおいて露光開始通知が行われる。これにより、実際に露光が開始されるときには、シフトレンズ103による補正範囲が十分得られることになる。全押しから露光開始までのタイムラグは増えるが、手振れの周波数は図3からわかるように6〜8Hzであり、最大でも約80msec程度の遅れに収まる。このように、シフトレンズ103の位置に応じて露光開始時刻を変更することにより、流し撮りアシストによる補正効果を十分に得ることができる。   FIG. 6 is a diagram showing the position of the shift lens 103 and the exposure start notification timing in an easy-to-understand manner. In FIG. 6, reference numeral 701 is a curve modeling the movement of the shift lens 103 when the image blur is corrected. The horizontal axis represents the position of the shift lens and the vertical axis represents time, and the time advances from top to bottom. The arrow indicated by 702 indicates the driving direction of the shift lens 103 during exposure derived in S603. Reference numeral 704 indicates the entire movable range of the shift lens 103, and reference numeral 703 indicates a shift in which an exposure start notification is issued in S606 when the movement direction of the shift lens 103 at the start of exposure is the direction indicated by 702. The position range of the lens 103 is shown. For example, when the shutter is fully pressed at time A, the shift lens 103 is located at the position A', so that the exposure start notification is issued immediately. On the other hand, when the shutter is fully pressed at time B, the shift lens 103 is at the position B'. At this time, the operations of S604 and S605 wait for the time indicated by the arrow 706, and when the shift lens 103 moves to the position C', that is, at the time C, the exposure start notification is given. As a result, when the exposure is actually started, the correction range of the shift lens 103 is sufficiently obtained. Although the time lag from full-pressing to the start of exposure increases, the frequency of camera shake is 6 to 8 Hz, as can be seen from FIG. 3, and the delay is about 80 msec at the maximum. As described above, by changing the exposure start time according to the position of the shift lens 103, it is possible to sufficiently obtain the correction effect by the follow shot assist.

次に、図7は、シャッター全押し(SW2のON)後における露光時のシフトレンズ103の駆動制御に関するフローチャートである。以下、図7を用いて、露光時の動作について説明する。   Next, FIG. 7 is a flowchart regarding drive control of the shift lens 103 during exposure after the shutter is fully pressed (SW2 is turned on). The operation during exposure will be described below with reference to FIG.

図7において、S501では、シャッターが全押しされた後、露光を開始したか否かを判定する。露光開始前の場合は、S520で像ブレ補正制御を行う。露光が開始されると、S502で前回の積分器122による積分処理出力を記憶する。次にS503で角速度センサ111の出力を取得し、S504で流し撮りアシストモードか否かの判定を行う。流し撮りアシストモードでない場合は通常の像ブレ補正処理となる。S514でパンニング中かどうかの判定を行い、パンニング中であれば、S519で積分器122の出力をS502で記憶した積分器出力に固定する。通常の像ブレ補正制御の場合、図3で説明したように、パンニング中は積分器122の出力を徐々に中心位置に戻し、シフトレンズ103のセンタリングを行う。しかし露光開始時にまだ中心位置にいない場合、積分器出力を固定して、シフトレンズ103を中心位置に戻す動きにより予期しない動きのある画像が撮影されるのを防ぐ。パンニング中でない場合はS515において、S503で取得した角速度データに対し積分処理を行う。ここで、シャッター全押し前に行っていたHPF処理を行わないのは、HPFによる低域の周波数帯域の減衰や位相ズレを回避し、像ブレ補正の効果を高めるためである。   In FIG. 7, in S501, it is determined whether or not the exposure is started after the shutter is fully pressed. If the exposure has not been started, image blur correction control is performed in S520. When the exposure is started, the previous integration processing output by the integrator 122 is stored in S502. Next, in S503, the output of the angular velocity sensor 111 is acquired, and in S504, it is determined whether or not the follow shot assist mode is set. If the follow shot assist mode is not set, normal image blur correction processing is performed. In S514, it is determined whether or not panning is in progress. If it is in panning, the output of the integrator 122 is fixed to the integrator output stored in S502 in S519. In the case of normal image blur correction control, as described with reference to FIG. 3, the output of the integrator 122 is gradually returned to the center position and the shift lens 103 is centered during panning. However, if the center position is not yet reached at the start of exposure, the output of the integrator is fixed to prevent the movement of the shift lens 103 back to the center position from capturing an image with unexpected movement. If panning is not in progress, in S515, integration processing is performed on the angular velocity data acquired in S503. Here, the reason why the HPF processing, which was performed before the shutter is fully pressed, is not performed in order to avoid the attenuation and phase shift of the low frequency band due to the HPF and to enhance the effect of the image blur correction.

通常の像ブレ補正制御でパンニング検出時にシフトレンズの動作を停止しているのは、露光中にHPFを通さなくすることで発生する、積分器出力の大きな変動による悪影響を除去するためである。   The reason why the operation of the shift lens is stopped during the panning detection in the normal image blur correction control is to eliminate the adverse effect caused by the large fluctuation of the integrator output, which occurs when the HPF is not passed during the exposure.

その後、S516で露光開始直後か否かの判定を行い、露光開始直後の場合はS517においてS502で記憶した積分器出力と、S515での積分器出力の差分をオフセットデータとして記憶する。このオフセット量は、HPFを通さなくしたために発生するものであり、S518においてS515の積分器出力から減算することで、シフトレンズ位置のずれが起こらないようにし、その結果をシフトレンズの駆動目標値とする。   Then, in S516, it is determined whether or not it is immediately after the start of exposure. If it is immediately after the start of exposure, the difference between the integrator output stored in S502 in S517 and the integrator output in S515 is stored as offset data. This offset amount is generated because the HPF is not passed, and by subtracting it from the output of the integrator in S515 in S518, the shift lens position shift is prevented from occurring, and the result is the drive target value of the shift lens. And

流し撮りアシストモードが設定されている場合はS504からS505へと進み、S505では被写体角速度算出部163で算出した被写体の角速度データとS503で取得した角速度データの差を差分演算部132で算出する。そして、S506でS505の出力を単純積分部133により単純積分する。S507で露光開始直後か否かを確認し、露光開始直後の場合は通常の像ブレ補正制御と同様にオフセットを算出し、記憶する。そしてS509で単純積分出力からオフセットを減算し、シフトレンズの駆動目標値とする。   If the follow shot assist mode is set, the process proceeds from step S504 to step S505. In step S505, the difference calculation unit 132 calculates the difference between the angular velocity data of the subject calculated by the subject angular velocity calculation unit 163 and the angular velocity data acquired in step S503. Then, in S506, the output of S505 is simply integrated by the simple integration unit 133. In S507, it is confirmed whether or not it is immediately after the start of exposure. If it is immediately after the start of exposure, the offset is calculated and stored in the same manner as in the normal image blur correction control. Then, in S509, the offset is subtracted from the simple integral output to obtain the drive target value of the shift lens.

S510〜S513に関しては、サーボ制御を行うために必要な処理であり、図2のS204〜S207と同じ処理であるため、説明を省略する。   Steps S510 to S513 are necessary for servo control and are the same as steps S204 to S207 in FIG.

以上、説明したように、本発明の第1の実施形態によれば、像ブレ補正を効かせながらアシスト効果を十分に得ることができる。その結果、フレーミングをしやすくすることが可能となり、かつ、フレーミングした位置に狙っている被写体を静止させた流し撮り画像を得ることができる。   As described above, according to the first embodiment of the present invention, it is possible to sufficiently obtain the assist effect while effecting the image blur correction. As a result, it is possible to facilitate framing, and it is possible to obtain a follow shot image in which the target subject is stationary at the framing position.

なお、本実施形態では、像ブレ補正および流し撮りアシストを行うために、撮影レンズ101の光軸に交差する方向に移動するように配置されたシフトレンズ103を駆動していたが、シフトレンズの代わりに撮像素子をシフト駆動するようにしてもよい。   In the present embodiment, the shift lens 103 arranged so as to move in the direction intersecting the optical axis of the taking lens 101 is driven in order to perform image blur correction and follow shot assist. Alternatively, the image sensor may be shift-driven.

(第2の実施形態)
次に本発明の第2の実施形態について説明する。本実施形態では、第1の実施形態に対して、露光を開始するタイミングを、シフトレンズの位置だけでなく撮影時の露光時間、焦点距離、シフトレンズの敏感度等を用いて決定する。これにより、シャッター全押しから露光開始までのタイムラグを短くしながらも十分なアシスト効果が得られるようにしている。
(Second embodiment)
Next, a second embodiment of the present invention will be described. In the present embodiment, as compared with the first embodiment, the timing of starting exposure is determined not only by the position of the shift lens, but also by the exposure time at the time of shooting, the focal length, the sensitivity of the shift lens, and the like. This makes it possible to obtain a sufficient assist effect while shortening the time lag from the full-press of the shutter to the start of exposure.

本実施形態におけるカメラの構成は図1に示した第1の実施形態の構成と同様である。また、図8は本実施形態における、露光開始タイミング確認部165の動作に関するフローチャートである。このフローで示される動作により、像ブレ補正を行いながら、流し撮りアシスト効果も十分に得ることができるようになる。また、撮影時のタイムラグをより少なくすることも可能となる。以下、図8に従って本発明の第2の実施形態について詳細に説明する。   The configuration of the camera in this embodiment is the same as that of the first embodiment shown in FIG. Further, FIG. 8 is a flowchart regarding the operation of the exposure start timing confirmation unit 165 in the present embodiment. By the operation shown in this flow, it is possible to sufficiently obtain the follow shot assist effect while performing the image blur correction. Further, it is possible to further reduce the time lag at the time of shooting. Hereinafter, the second embodiment of the present invention will be described in detail with reference to FIG.

図8において、S801〜S805については、第1の実施形態における図5のS601〜S605と同じ処理であるため、説明を省略する。さらに、S805においてシフトレンズ103が可動範囲の中心位置を横切る方向に動く場合も第1の実施形態と同様、S809で露光開始通知を行う。   In FIG. 8, S801 to S805 are the same processes as S601 to S605 of FIG. 5 in the first embodiment, and therefore description thereof will be omitted. Further, when the shift lens 103 moves in the direction traversing the center position of the movable range in S805, the exposure start notification is issued in S809 as in the first embodiment.

さて、S805で、シフトレンズ103が可動範囲の中心位置を横切らない場合はS806へと進む。そして、露光時間設定部164により設定された露光時間、α(被写体の角速度)とβ(カメラを振っている角速度)の差分、およびエンコーダ104の出力から得られた現在の焦点距離に基づいて、露光時間中にシフトレンズ103がどの程度移動するかを予測する。S807では、S806の予測結果から、シフトレンズ103が露光期間中に十分移動できる範囲γを算出する。そしてS808において、現在のシフトレンズ103の位置が、γの範囲内か否かを判定し、範囲内であればS809で露光開始通知を行う。S808でシフトレンズ103の位置がγの範囲内でない場合、S804へと戻り、シフトレンズ103の位置の確認と動作方向の確認を繰り返し、シフトレンズ103の位置がγの範囲内になるまで待つ。   If the shift lens 103 does not cross the center position of the movable range in S805, the process proceeds to S806. Then, based on the exposure time set by the exposure time setting unit 164, the difference between α (the angular velocity of the subject) and β (the angular velocity of shaking the camera), and the current focal length obtained from the output of the encoder 104, It is predicted how much the shift lens 103 moves during the exposure time. In S807, the range γ in which the shift lens 103 can sufficiently move during the exposure period is calculated from the prediction result of S806. Then, in S808, it is determined whether or not the current position of the shift lens 103 is within the range of γ, and if it is within the range, an exposure start notification is given in S809. If the position of the shift lens 103 is not within the range of γ in S808, the process returns to S804 to repeat the confirmation of the position of the shift lens 103 and the confirmation of the operation direction, and wait until the position of the shift lens 103 is within the range of γ.

図9は、本実施形態におけるシフトレンズ103の位置と露光開始通知タイミングをわかりやすく示した図である。図6と同様に横軸はシフトレンズの位置、縦軸は時間を表しており、上から下に時間が進むものとする。   FIG. 9 is a diagram showing the position of the shift lens 103 and the exposure start notification timing in this embodiment in an easy-to-understand manner. Similar to FIG. 6, the horizontal axis represents the position of the shift lens and the vertical axis represents time, and the time advances from top to bottom.

901は像ブレを補正している時のシフトレンズ103の動きをモデル化した曲線であり、902で示した矢印は、S803で導出した露光中のシフトレンズ103の駆動方向を示している。904はシフトレンズ103の全可動範囲を示しており、908はS806で予測された露光期間中のシフトレンズ103の移動量の大きさを表している。また、903は露光開始時のシフトレンズ103の動く方向が902で示された方向である場合に、S807で算出されたγの範囲を示している。   Reference numeral 901 is a curve modeling the movement of the shift lens 103 when the image blur is being corrected, and the arrow indicated by 902 indicates the drive direction of the shift lens 103 during exposure derived in step S803. Reference numeral 904 indicates the entire movable range of the shift lens 103, and reference numeral 908 indicates the amount of movement of the shift lens 103 during the exposure period predicted in S806. Further, 903 indicates the range of γ calculated in S807 when the moving direction of the shift lens 103 at the start of exposure is the direction indicated by 902.

例えば時刻Aにおいてシャッターが全押しされると、シフトレンズ103はA’の位置にあるため、すぐに露光開始通知が行われる。一方、時刻Bにおいてシャッターが全押しされると、シフトレンズ103はB’の位置にあり、このときはγの範囲から外れている。そのため、907で示した矢印分の時間だけ待ち、シフトレンズ103がC’の位置に移動した時、すなわち時刻Cにおいて露光開始通知が行われる。これにより、実際に露光が開始されるときには、シフトレンズ103による補正範囲が十分得られるとともに、第1の実施形態に対して露光開始までのタイムラグを抑制することができる。   For example, when the shutter is fully pressed at time A, the shift lens 103 is located at the position A', so that the exposure start notification is issued immediately. On the other hand, when the shutter is fully pressed at time B, the shift lens 103 is at the position B', which is outside the range of γ at this time. Therefore, the exposure start notification is issued when the shift lens 103 moves to the position C', that is, at the time C after waiting for the time indicated by the arrow 907. As a result, when the exposure is actually started, the correction range by the shift lens 103 can be sufficiently obtained, and the time lag until the start of the exposure can be suppressed as compared with the first embodiment.

なお、本実施形態においては露光時間からシフトレンズの動き量を予測して露光開始タイミングを決定している。しかし、シフトレンズ103の移動の敏感度は焦点距離により変化することを考慮し、すぐに露光開始が可能な領域を、敏感度の高いワイド側ではより広くする等、焦点距離に応じてあらかじめ設定しておいても構わない。   In this embodiment, the exposure start timing is determined by predicting the shift lens movement amount from the exposure time. However, in consideration of the fact that the sensitivity of movement of the shift lens 103 changes depending on the focal length, the area in which exposure can be started immediately is made wider on the wide side with high sensitivity, and is set in advance according to the focal length. You can leave it.

以上、説明したように、本発明の第2の実施形態によれば、像ブレ補正を効かせながら流し撮りのアシスト効果を得る場合に、フレーミングをしやすくすることが可能である。それと同時に、発生が予想されるタイムラグを短くすることが可能となり、より撮影者の意図にあった流し撮り画像を得ることができる。   As described above, according to the second embodiment of the present invention, it is possible to facilitate framing when the follow-up shooting assist effect is obtained while the image blur correction is effective. At the same time, it is possible to shorten the time lag that is expected to occur, and it is possible to obtain a follow shot image more suited to the photographer's intention.

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。   Although the preferred embodiments of the present invention have been described above, the present invention is not limited to these embodiments, and various modifications and changes can be made within the scope of the gist thereof.

(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. It can also be realized by the processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

101:撮影レンズ、102:ズームレンズ、103:シフトレンズ、111:角速度センサ、120:像ブレ補正量算出部、130:パンニング速度検出部、131:角速度データ平均値算出部、140:レンズ駆動制御部、151:撮像素子、153:カメラ信号処理回路、154:カメラ制御部、160:流し撮りアシスト制御部 Reference numeral 101: shooting lens, 102: zoom lens, 103: shift lens, 111: angular velocity sensor, 120: image blur correction amount calculation unit, 130: panning speed detection unit, 131: angular velocity data average value calculation unit, 140: lens drive control Section, 151: image sensor, 153: camera signal processing circuit, 154: camera control section, 160: follow shot assist control section

Claims (11)

被写体の像面上の移動量を検出する移動量検出手段と、
露光前の、装置の振れを検出する振れ検出手段の出力、装置の振れに起因する像ブレを補正するために、光軸と異なる方向に移動する像ブレ補正レンズの位置を検出する位置検出手段の出力、及び前記移動量検出手段の出力を用いて、動体である被写体の動きを検出する動き検出手段と、
前記動き検出手段の出力と前記振れ検出手段の出力とを用いて、露光中に前記被写体が像面上で動かないようにするための前記像ブレ補正レンズの移動方向を算出する算出手段と、
前記算出手段により算出された前記像ブレ補正レンズの移動方向と、前記位置検出手段の出力とを用いて、露光開始タイミングを決定する決定手段と、を備え
前記動き検出手段は、前記位置検出手段により出力されるフレーム間の前記像ブレ補正レンズの位置の平均値を前記位置検出手段の出力として用いて、前記被写体の動きを検出し、
前記算出手段は、前記像ブレ補正レンズの移動方向を、前記動き検出手段の出力である被写体の角速度データαと、前記振れ検出手段の出力を所定期間平均して算出された角速度データの平均値βとの差分を用いて算出することを特徴とする像ブレ補正装置。
Movement amount detection means for detecting the movement amount of the subject on the image plane,
Output of shake detecting means for detecting shake of the apparatus before exposure, position detecting means for detecting a position of an image shake correcting lens moving in a direction different from the optical axis in order to correct an image shake caused by shake of the apparatus And a movement detecting means for detecting the movement of the subject, which is a moving body, by using the output of the moving amount detecting means,
Calculating means for calculating the moving direction of the image blur correction lens for preventing the subject from moving on the image plane during exposure by using the output of the motion detecting means and the output of the shake detecting means;
A determining unit that determines an exposure start timing using the moving direction of the image blur correction lens calculated by the calculating unit and the output of the position detecting unit ;
The motion detection unit detects the motion of the subject by using an average value of the positions of the image blur correction lens between frames output by the position detection unit as an output of the position detection unit,
The calculating unit averages the moving direction of the image blur correction lens, the angular velocity data α of the object output from the motion detecting unit and the output of the shake detecting unit for a predetermined period. An image blur correction device characterized by being calculated using a difference from β .
前記決定手段は、露光開始前の前記像ブレ補正レンズの位置に対して、前記算出手段によって算出された前記像ブレ補正レンズの移動方向が、前記像ブレ補正レンズの可動範囲の中心位置を通過する方向である場合は、露光を開始すると決定することを特徴とする請求項1に記載の像ブレ補正装置。 The determination means is configured such that, with respect to the position of the image blur correction lens before the start of exposure, the moving direction of the image blur correction lens calculated by the calculation means passes through the center position of the movable range of the image blur correction lens. The image blur correction device according to claim 1, wherein it is determined that the exposure is started when it is in the direction. 前記決定手段は、露光開始前の前記像ブレ補正レンズの位置に対して、前記算出手段によって算出された前記像ブレ補正レンズの移動方向が、前記像ブレ補正レンズの可動範囲の中心位置を通過する方向でない場合は、前記像ブレ補正レンズが前記可動範囲の中心位置に到達した後に露光を開始すると決定することを特徴とする請求項1に記載の像ブレ補正装置。 The determining means is configured such that, with respect to the position of the image blur correction lens before the start of exposure, the moving direction of the image blur correction lens calculated by the calculating means passes through the center position of the movable range of the image blur correction lens. 2. The image blur correction apparatus according to claim 1, wherein if it is not in the direction, the exposure is started after the image blur correction lens reaches the center position of the movable range. 前記決定手段は、前記振れ検出手段の出力、前記動き検出手段の出力、および露光時間から予想される露光中の前記像ブレ補正レンズの移動量と、露光開始前の前記像ブレ補正レンズの位置とに基づいて、露光を開始するタイミングを変更することを特徴とする請求項1に記載の像ブレ補正装置。 The deciding means is a movement amount of the image blur correction lens during exposure expected from an output of the shake detection means, an output of the motion detection means, and an exposure time, and a position of the image blur correction lens before exposure is started. The image blur correction device according to claim 1, wherein the timing of starting the exposure is changed based on the following. 露光前の前記振れ検出手段の出力に基づいて前記像ブレ補正レンズを制御する制御手段をさらに備え、前記制御手段は、カットオフ周波数を変更可能なフィルタを有することを特徴とする請求項1に記載の像ブレ補正装置。 The control means for controlling the image blur correction lens based on the output of the shake detection means before exposure is further provided, and the control means has a filter capable of changing a cutoff frequency. The image blur correction device described. 流し撮りモードと通常モードとを切り替える切り替え手段をさらに備え、前記切り替え手段によって前記流し撮りモードが設定されている場合は、前記フィルタのカットオフ周波数を低域の周波数帯域をカットするように変更することを特徴とする請求項5に記載の像ブレ補正装置。   Further provided is a switching means for switching between the follow shot mode and the normal mode, and when the follow shot mode is set by the switch means, the cutoff frequency of the filter is changed so as to cut a low frequency band. The image blur correction device according to claim 5, wherein: 前記移動量検出手段は、複数のフレームの画像から動きベクトルを検出するベクトル検出手段であることを特徴とする請求項1乃至のいずれか1項に記載の像ブレ補正装置。 It said moving amount detecting means, the image blur correction device according to any one of claims 1 to 6, characterized in that a vector detection means for detecting a motion vector from an image of a plurality of frames. 前記振れ検出手段は、角速度センサであることを特徴とする請求項1乃至のいずれか1項に記載の像ブレ補正装置。 It said shake detection means, the image blur correction device according to any one of claims 1 to 7, characterized in that an angular velocity sensor. 被写体の像面上の移動量を検出する移動量検出工程と、
露光前の、装置の振れを検出する振れ検出手段の出力、装置の振れに起因する像ブレを補正するために、光軸と異なる方向に移動する像ブレ補正レンズの位置を検出する位置検出手段の出力、及び前記移動量検出工程の出力を用いて、動体である被写体の動きを検出する動き検出工程と、
前記動き検出工程での出力と前記振れ検出手段の出力とを用いて、露光中に前記被写体が像面上で動かないようにするための前記像ブレ補正レンズの移動方向を算出する算出工程と、
前記算出工程において算出された前記像ブレ補正レンズの移動方向と、前記位置検出手段の出力とを用いて、露光開始タイミングを決定する決定工程と、を有し、
前記動き検出工程では、前記位置検出手段により出力されるフレーム間の前記像ブレ補正レンズの位置の平均値を前記位置検出手段の出力として用いて、前記被写体の動きを検出し、
前記算出工程では、前記像ブレ補正レンズの移動方向を、前記動き検出工程の出力である被写体の角速度データαと、前記振れ検出手段の出力を所定期間平均して算出された角速度データの平均値βとの差分を用いて算出することを特徴とする像ブレ補正装置の制御方法。
A movement amount detection step of detecting the movement amount of the object on the image plane,
Output of shake detecting means for detecting shake of the apparatus before exposure, position detecting means for detecting a position of an image shake correcting lens moving in a direction different from the optical axis in order to correct an image shake caused by shake of the apparatus And a movement detecting step of detecting the movement of a moving subject by using the output of the moving amount detecting step and the output of the moving amount detecting step,
A calculation step of calculating the moving direction of the image blur correction lens for preventing the subject from moving on the image plane during exposure, using the output of the motion detection step and the output of the shake detection means; ,
The moving direction of the image blur correction lens which is calculated in the calculation step, by using the output of said position detecting means, possess a determination step of determining an exposure start timing, and
In the motion detecting step, the average value of the positions of the image blur correction lens between the frames output by the position detecting unit is used as the output of the position detecting unit to detect the motion of the subject,
In the calculating step, the moving direction of the image blur correction lens is calculated by averaging the angular velocity data α of the object output from the motion detecting step and the output of the shake detecting means for a predetermined period of time. A method for controlling an image blur correction device, characterized in that the calculation is performed using a difference from β .
請求項に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。 A program for causing a computer to execute each step of the control method according to claim 9 . 請求項に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。 A computer-readable storage medium storing a program for causing a computer to execute each step of the control method according to claim 9 .
JP2016023078A 2016-02-09 2016-02-09 Image blur correction apparatus, control method thereof, program, and storage medium Active JP6700826B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016023078A JP6700826B2 (en) 2016-02-09 2016-02-09 Image blur correction apparatus, control method thereof, program, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016023078A JP6700826B2 (en) 2016-02-09 2016-02-09 Image blur correction apparatus, control method thereof, program, and storage medium

Publications (3)

Publication Number Publication Date
JP2017142344A JP2017142344A (en) 2017-08-17
JP2017142344A5 JP2017142344A5 (en) 2019-03-07
JP6700826B2 true JP6700826B2 (en) 2020-05-27

Family

ID=59627351

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016023078A Active JP6700826B2 (en) 2016-02-09 2016-02-09 Image blur correction apparatus, control method thereof, program, and storage medium

Country Status (1)

Country Link
JP (1) JP6700826B2 (en)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019022562A (en) * 2017-07-23 2019-02-14 株式会社三洋物産 Game machine
JP2019022569A (en) * 2017-07-23 2019-02-14 株式会社三洋物産 Game machine
JP2019022565A (en) * 2017-07-23 2019-02-14 株式会社三洋物産 Game machine
JP2019022563A (en) * 2017-07-23 2019-02-14 株式会社三洋物産 Game machine
JP2019022570A (en) * 2017-07-23 2019-02-14 株式会社三洋物産 Game machine
JP2019022567A (en) * 2017-07-23 2019-02-14 株式会社三洋物産 Game machine
JP2019022568A (en) * 2017-07-23 2019-02-14 株式会社三洋物産 Game machine
JP2019022564A (en) * 2017-07-23 2019-02-14 株式会社三洋物産 Game machine
JP2019022561A (en) * 2017-07-23 2019-02-14 株式会社三洋物産 Game machine
CN107942090B (en) * 2017-12-28 2019-10-29 北京航空航天大学 A kind of spacecraft Attitude rate estimator method for extracting Optic flow information based on fuzzy star chart
JP2020022900A (en) * 2019-11-22 2020-02-13 株式会社三洋物産 Game machine
JP2023007407A (en) * 2021-06-29 2023-01-18 キヤノン株式会社 Correction control device, imaging apparatus, control method, and program
CN116017020B (en) * 2022-12-22 2026-03-03 北京字跳网络技术有限公司 Special effect display method, device, equipment and storage medium

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0756205A (en) * 1993-06-08 1995-03-03 Nikon Corp Image stabilization camera
JP2004186901A (en) * 2002-12-02 2004-07-02 Sony Corp Imaging apparatus and method, program, and recording medium
JP2006171654A (en) * 2004-12-20 2006-06-29 Olympus Corp Photographic apparatus
JP2006317848A (en) * 2005-05-16 2006-11-24 Canon Inc Still image pickup device
JP4886418B2 (en) * 2006-08-04 2012-02-29 キヤノン株式会社 Optical device and camera system
KR102163045B1 (en) * 2014-02-17 2020-10-08 삼성전기주식회사 Apparatus and method for correcting image
JP6300569B2 (en) * 2014-02-25 2018-03-28 キヤノン株式会社 Imaging apparatus and control method thereof
JP6351335B2 (en) * 2014-03-31 2018-07-04 キヤノン株式会社 Imaging device, control method thereof, and control program
JP6401494B2 (en) * 2014-04-30 2018-10-10 キヤノン株式会社 Blur correction apparatus, blur correction method and program, and imaging apparatus
JP5954388B2 (en) * 2014-10-02 2016-07-20 株式会社ニコン Vibration correction apparatus and photographing apparatus

Also Published As

Publication number Publication date
JP2017142344A (en) 2017-08-17

Similar Documents

Publication Publication Date Title
JP6700826B2 (en) Image blur correction apparatus, control method thereof, program, and storage medium
JP6246015B2 (en) Image processing apparatus and control method thereof
CN106470317B (en) Image pickup apparatus and control method thereof
CN107040711B (en) Image stabilization device and control method thereof
JP6282152B2 (en) Imaging apparatus and control method thereof
US20170257574A1 (en) Image pickup device
JP6776062B2 (en) Imaging device and its control method
CN108668074B (en) Image blur correction device and control method thereof, imaging device and storage medium
CN101945221B (en) Camera device and control method thereof
JP2017211487A (en) Imaging apparatus and automatic focus adjustment method
JP2005215388A (en) Interchangeable lens and camera system using the same
JP2016201626A (en) Shift element control device, shift element control program, and optical apparatus
JP4671705B2 (en) Imaging device
JP6432038B2 (en) Imaging device
JP2011013645A5 (en)
JP2007288726A (en) Imaging device
US10812715B2 (en) Imaging apparatus and method of controlling imaging apparatus
JP7451152B2 (en) Imaging device, control method and computer program
JP6700874B2 (en) Image blur correction apparatus, control method thereof, program, and storage medium
JP6746473B2 (en) Imaging device and control method
JP6611585B2 (en) Zoom control device, zoom control method, and imaging device
JP2015145901A (en) Imaging apparatus
JP7073078B2 (en) Image pickup device and its control method
JP6887858B2 (en) Image blur correction device, imaging device and control method
JP6873841B2 (en) Image blur correction device, imaging device, imaging system, control method, program and storage medium

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190121

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200501

R151 Written notification of patent or utility model registration

Ref document number: 6700826

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151