Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7532076B2 - Imaging device, control method thereof, and program - Google Patents
[go: Go Back, main page]

JP7532076B2 - Imaging device, control method thereof, and program - Google Patents

Imaging device, control method thereof, and program Download PDF

Info

Publication number
JP7532076B2
JP7532076B2 JP2020076074A JP2020076074A JP7532076B2 JP 7532076 B2 JP7532076 B2 JP 7532076B2 JP 2020076074 A JP2020076074 A JP 2020076074A JP 2020076074 A JP2020076074 A JP 2020076074A JP 7532076 B2 JP7532076 B2 JP 7532076B2
Authority
JP
Japan
Prior art keywords
subject
rolling shutter
correction
distortion correction
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020076074A
Other languages
Japanese (ja)
Other versions
JP2021175046A (en
Inventor
尚佳 丸橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020076074A priority Critical patent/JP7532076B2/en
Publication of JP2021175046A publication Critical patent/JP2021175046A/en
Application granted granted Critical
Publication of JP7532076B2 publication Critical patent/JP7532076B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

本発明は、撮像装置、その制御方法、プログラムおよび記録媒体に関するものである。 The present invention relates to an imaging device, a control method thereof, a program, and a recording medium.

撮像装置に用いられるCMOSセンサは、センサの上部と下部との間で読み出しラグが生じることが知られている。このようなCMOSセンサをパンチルト駆動が可能なカメラに用いると、パン駆動させた場合には画像が斜めに歪み、チルト駆動させた場合には画像が伸び縮みする、ローリングシャッタ歪みが生じるために、ローリングシャッタ歪み補正を行うことが有効である。 It is known that CMOS sensors used in imaging devices have a readout lag between the top and bottom of the sensor. If such a CMOS sensor is used in a camera capable of pan-tilt driving, the image will be distorted diagonally when panned, and the image will stretch and shrink when tilted, resulting in rolling shutter distortion, so it is effective to perform rolling shutter distortion correction.

近年、パンチルト駆動が可能なカメラでは、被写体を自動で追尾できるような追尾機能を備えている。このようなカメラで、追尾中のカメラの動きに応じてローリングシャッタ歪み補正を行ってしまうと、追尾対象の被写体の歪みが更に増してしまう。これは、追尾中にカメラの動きに応じてローリングシャッタ歪み補正を行ったことに起因する。すなわち、追尾対象の被写体の速度と合わせるようにパンチルト駆動することで、被写体が画面内の所定位置で静止しているように見える。相対的に静止している被写体であればローリングシャッタ歪みが生じず、ローリングシャッタ歪み補正を行う必要がないにも関わらず補正を行ってしまうためである。 In recent years, cameras capable of pan-tilt driving have been equipped with a tracking function that allows them to automatically track a subject. With such a camera, if rolling shutter distortion correction is performed in accordance with the movement of the camera during tracking, the distortion of the subject being tracked will increase further. This is due to the rolling shutter distortion correction being performed in accordance with the movement of the camera during tracking. In other words, by performing pan-tilt driving to match the speed of the subject being tracked, the subject will appear to be stationary at a specified position within the screen. This is because if the subject is relatively stationary, no rolling shutter distortion will occur, and rolling shutter distortion correction will be performed even though it is not necessary.

特許文献1には、動き検出手段により検出された動き量と、合焦検出手段により検出された合焦度合いから、ローリングシャッタ方式に起因する歪みの補正量を決定し、画像の各ラインの読み出し位置を変更することで歪みの補正を行う撮像装置が開示されている。 Patent document 1 discloses an imaging device that determines the amount of correction for distortion caused by the rolling shutter method based on the amount of motion detected by a motion detection means and the degree of focus detected by a focus detection means, and corrects the distortion by changing the readout position of each line of the image.

特開2013-38482号公報JP 2013-38482 A

しかしながら、特許文献1では、合焦度合いによって追従していると判断した場合にローリングシャッタ歪み補正を行わないようにしているが、実際に追従していなかった場合には被写体が歪んでしまうおそれがある。
本発明は、上述したような問題点に鑑みてなされたものであり、被写体を追尾して撮影する場合にローリングシャッタ歪み補正をしたときの被写体の歪みを低減させることを目的とする。
However, in Patent Document 1, if it is determined that tracking is occurring based on the degree of focus, rolling shutter distortion correction is not performed, but if tracking is not actually occurring, there is a risk that the subject will be distorted.
The present invention has been made in consideration of the above-mentioned problems, and has an object to reduce distortion of a subject that occurs when rolling shutter distortion correction is performed when tracking and photographing the subject.

本発明は、ローリングシャッタ方式で画像を撮影する撮像装置であって、追尾して撮影する被写体の情報を取得する第1の取得手段と、前記撮像装置のパン駆動およびチルト駆動のうちの少なくともいずれか一つの駆動の情報を取得する第2の取得手段と、前記第1の取得手段により取得された被写体の情報と、前記第2の取得手段により取得された駆動の情報とに基づいてローリングシャッタ歪み補正の補正強度を変更する変更手段と、前記変更手段により変更された補正強度によりローリングシャッタ歪み補正を行う補正手段と、を有し、前記第1の取得手段は、追尾して撮影する被写体の速度の情報を取得し、前記第2の取得手段は、前記駆動の情報としての駆動の速度の情報を取得し、前記変更手段は、前記第1の取得手段により取得された被写体の速度と、前記第2の取得手段により取得された駆動の速度との速度差が所定以上である場合には、速度差が所定未満である場合よりもローリングシャッタ歪み補正の補正強度を増加させることを特徴とする。 The present invention is an imaging device that captures images using a rolling shutter method, comprising a first acquisition means for acquiring information about a subject to be tracked and captured, a second acquisition means for acquiring information about at least one of pan drive and tilt drive of the imaging device, a change means for changing a correction intensity of rolling shutter distortion correction based on the subject information acquired by the first acquisition means and the drive information acquired by the second acquisition means, and a correction means for performing rolling shutter distortion correction using the correction intensity changed by the change means , wherein the first acquisition means acquires information about the speed of the subject to be tracked and captured, the second acquisition means acquires information about the drive speed as the drive information, and the change means increases the correction intensity of the rolling shutter distortion correction when a speed difference between the subject speed acquired by the first acquisition means and the drive speed acquired by the second acquisition means is equal to or greater than a predetermined value, compared to when the speed difference is less than the predetermined value .

本発明によれば、被写体を追尾して撮影する場合にローリングシャッタ歪み補正をしたときの被写体の歪みを低減させることができる。 The present invention makes it possible to reduce distortion of a subject when performing rolling shutter distortion correction when tracking and photographing the subject.

カメラの構成を示す図である。FIG. 1 is a diagram illustrating a configuration of a camera. 第1の実施形態のカメラの動作を示すフローチャートである。4 is a flowchart showing the operation of the camera according to the first embodiment. 追尾対象の被写体の一例を示す図である。FIG. 2 is a diagram illustrating an example of a subject to be tracked. 追尾対象の被写体の一例を示す図である。FIG. 2 is a diagram illustrating an example of a subject to be tracked. 第2の実施形態のカメラの動作を示すフローチャートである。10 is a flowchart showing the operation of a camera according to a second embodiment. 第3の実施形態のカメラの動作を示すフローチャートである。10 is a flowchart showing the operation of a camera according to a third embodiment. 第4の実施形態のカメラの動作を示すフローチャートである。13 is a flowchart showing the operation of a camera according to a fourth embodiment. 第5の実施形態のカメラの動作を示すフローチャートである。13 is a flowchart showing the operation of a camera according to a fifth embodiment. 第6の実施形態のカメラの動作を示すフローチャートである。13 is a flowchart showing the operation of a camera according to a sixth embodiment. 第7の実施形態のカメラの動作を示すフローチャートである。13 is a flowchart showing the operation of a camera according to a seventh embodiment.

以下、本発明の好ましい実施形態について図面を参照して説明する。本実施形態では、撮像装置として、パン駆動およびチルト駆動が可能なカメラについて説明する。 A preferred embodiment of the present invention will be described below with reference to the drawings. In this embodiment, a camera capable of panning and tilting will be described as an imaging device.

<第1の実施形態>
図1は、カメラ100の構成の一例を示す図である。
カメラ100は、レンズ群101、光学フィルタ102、撮像素子103、AGC104、A/D変換部105、映像信号処理部106、露出制御部107、光学制御部108、動き情報取得部109、RS歪み補正量演算部110、映像信号出力部111を有する。また、カメラ100は、パンチルトモータ112、パンチルト駆動部113、パルス変調部114等を有する。
First Embodiment
FIG. 1 is a diagram showing an example of the configuration of a camera 100.
The camera 100 includes a lens group 101, an optical filter 102, an image sensor 103, an AGC 104, an A/D conversion unit 105, a video signal processing unit 106, an exposure control unit 107, an optical control unit 108, a motion information acquisition unit 109, an RS distortion correction amount calculation unit 110, and a video signal output unit 111. The camera 100 also includes a pan-tilt motor 112, a pan-tilt drive unit 113, a pulse modulation unit 114, and the like.

レンズ群101は、被写体からの光を撮像素子103上に集光する光学系である。レンズ群101には、被写体に対するピント合わせを行うフォーカスレンズ、画角を調整するズームレンズ等が含まれる。レンズ群101を通してカメラ100内に入射した光は光学フィルタ102を通過して撮像素子103で受光される。光学フィルタ102は、例えば赤外線カットフィルタ(IRCF)等が用いられる。映像情報は、撮像素子103の受光面の画素毎に所定の順序で配列されたカラーフィルタを通り、撮像素子103で結像される。撮像素子103は、撮影対象の映像情報をアナログ信号として出力する。撮像素子103は、ローリングシャッタ方式で撮影するCMOSセンサである。撮像素子103で出力された映像は、AGC104でゲインコントロールされて映像信号の輝度の調整が行われる。輝度の調整が行われた映像信号は、A/D変換部105でアナログ撮像信号からデジタル撮像信号に変換される。 The lens group 101 is an optical system that focuses light from a subject onto the image sensor 103. The lens group 101 includes a focus lens that focuses on the subject, a zoom lens that adjusts the angle of view, and the like. Light that enters the camera 100 through the lens group 101 passes through an optical filter 102 and is received by the image sensor 103. The optical filter 102 may be, for example, an infrared cut filter (IRCF). Image information passes through color filters arranged in a predetermined order for each pixel on the light receiving surface of the image sensor 103, and is imaged by the image sensor 103. The image sensor 103 outputs image information of the subject as an analog signal. The image sensor 103 is a CMOS sensor that captures images using a rolling shutter method. The image output by the image sensor 103 is gain-controlled by the AGC 104, and the brightness of the image signal is adjusted. The brightness-adjusted image signal is converted from an analog image signal to a digital image signal by the A/D converter 105.

映像信号処理部106は、A/D変換部105で変換されたデジタル撮像信号に所定の処理を施し、画素毎に輝度信号と色信号とを出力する。映像信号処理部106は、出力用の映像を生成すると共に、カメラ制御を行うための各パラメータを生成する。カメラ制御を行うための各パラメータとして、例えば絞りの制御、ピント合わせの制御、色味を調整するホワイトバランス制御等に用いられる。 The video signal processing unit 106 performs a predetermined process on the digital imaging signal converted by the A/D conversion unit 105, and outputs a luminance signal and a color signal for each pixel. The video signal processing unit 106 generates an image to be output, and also generates various parameters for controlling the camera. The various parameters for controlling the camera are used, for example, for aperture control, focus control, and white balance control to adjust the color tone.

露出制御部107は、映像信号処理部106から出力される輝度情報から撮影画面内の輝度情報を算出し、撮影画像を所望の明るさに調整するために絞りおよびAGC104を制御する。
また、ピント合わせは、映像信号処理部106で生成された映像信号から高周波成分を抜き出し、高周波成分の値をフォーカスピント情報(フォーカス評価値)として、フォーカス評価値が最大となるように光学制御部108によりレンズ群101を制御する。また、光学制御部108は光学フィルタ102の挿抜動作も行う。
The exposure control unit 107 calculates luminance information within the shooting screen from the luminance information output from the video signal processing unit 106, and controls the aperture and AGC 104 to adjust the shot image to a desired brightness.
For focusing, high frequency components are extracted from the video signal generated by the video signal processing unit 106, and the value of the high frequency components is used as focus information (focus evaluation value), and the optical control unit 108 controls the lens group 101 so that the focus evaluation value is maximized. The optical control unit 108 also inserts and removes the optical filter 102.

パルス変調部114は、PWM波形に変換してパンチルト駆動部113に出力する。パンチルト駆動部113は、パンチルトモータ112を駆動する。パンチルトモータ112が駆動されることによって、レンズ群101とセンサとを含む撮像光学系がパンチルト方向に移動する。 The pulse modulation unit 114 converts the signal into a PWM waveform and outputs it to the pan/tilt driving unit 113. The pan/tilt driving unit 113 drives the pan/tilt motor 112. When the pan/tilt motor 112 is driven, the imaging optical system including the lens group 101 and the sensor moves in the pan/tilt direction.

動き情報取得部109は、映像信号処理部106から出力された映像信号に基づいて、追尾する被写体の情報を取得する。被写体の情報には、例えば、追尾する被写体の移動方向や移動速度等の動き情報が含まれる。
ローリングシャッタ歪み補正量演算部110は、パンチルト駆動部113から取得したパンチルト駆動の情報と、動き情報取得部109で取得された追尾対象の被写体の情報とに基づいてローリングシャッタ歪み補正の補正強度を変更して、補正量を算出する。
映像信号出力部111は、ローリングシャッタ歪み補正量演算部110により算出された補正量に基づいて幾何変換を行うことで、ローリングシャッタ歪み補正を行う。映像信号出力部111は補正した後の映像信号を出力する。
The motion information acquisition unit 109 acquires information about the subject to be tracked based on the video signal output from the video signal processing unit 106. The subject information includes, for example, motion information such as the moving direction and moving speed of the subject to be tracked.
The rolling shutter distortion correction amount calculation unit 110 changes the correction strength of the rolling shutter distortion correction based on the pan-tilt drive information acquired from the pan-tilt drive unit 113 and the information of the subject to be tracked acquired by the movement information acquisition unit 109, and calculates the correction amount.
The video signal output unit 111 performs rolling shutter distortion correction by performing geometric transformation based on the correction amount calculated by the rolling shutter distortion correction amount calculation unit 110. The video signal output unit 111 outputs the corrected video signal.

<第1の実施形態>
第1の実施形態では、追尾対象の被写体の情報と、パンチルト駆動の情報とに基づいてローリングシャッタ歪み補正の補正強度を変更する場合について説明する。
図2は、第1の実施形態のカメラ100の動作を示すフローチャートである。図2のフローチャートは、カメラ100の電源がオンされることで開始される。
First Embodiment
In the first embodiment, a case will be described in which the correction strength of the rolling shutter distortion correction is changed based on information about a subject to be tracked and information about pan/tilt driving.
Fig. 2 is a flowchart showing the operation of the camera 100 of the first embodiment. The flowchart in Fig. 2 starts when the power of the camera 100 is turned on.

S201では、動き情報取得部109は、追尾する対象(追尾対象)の被写体を検出する。具体的に、動き情報取得部109は、画像内の人や車等の動体を物体認識で認識し、認識した動体を追尾対象の被写体として検出する。なお、動き情報取得部109は、ユーザにより手動で選択された画像内の被写体を、追尾対象の被写体として検出してもよい。 In S201, the motion information acquisition unit 109 detects a subject to be tracked (tracking target). Specifically, the motion information acquisition unit 109 recognizes a moving object such as a person or a car in an image by object recognition, and detects the recognized moving object as a subject to be tracked. Note that the motion information acquisition unit 109 may detect a subject in an image manually selected by a user as a subject to be tracked.

S202では、動き情報取得部109は、検出した追尾対象の被写体の情報を取得する。具体的には、動き情報取得部109は、現フレームと前フレームとの背景差分等を比較することで、追尾対象の被写体の画面内での動きベクトル量を算出する。また、動き情報取得部109は、算出された動きベクトル量から追尾対象の被写体の移動方向および被写体の速度を算出する。 In S202, the motion information acquisition unit 109 acquires information about the detected subject to be tracked. Specifically, the motion information acquisition unit 109 calculates the amount of motion vector of the subject to be tracked within the screen by comparing the background difference between the current frame and the previous frame. In addition, the motion information acquisition unit 109 calculates the moving direction of the subject to be tracked and the speed of the subject from the calculated amount of motion vector.

図3(a)は、前フレーム301の一例を示す図である。
前フレーム301では、パンが右から左に駆動し、パン駆動の速度と、右から左へ移動する追尾対象の被写体302の速度とが一致しているため、被写体302が画像の中央に位置している状態である。パン駆動の速度と、追尾対象の被写体302の速度とが同一速度で移動しているために追尾対象の被写体302は静止しているように見える。この場合、ローリングシャッタ歪み補正を行っていない状態であれば、追尾対象の被写体302は斜めに歪むことなく撮影されている。
FIG. 3A is a diagram showing an example of a previous frame 301. As shown in FIG.
In the previous frame 301, the pan is driven from right to left, and the speed of the pan drive matches the speed of the tracking target subject 302 moving from right to left, so the subject 302 is located at the center of the image. Since the pan drive speed and the speed of the tracking target subject 302 move at the same speed, the tracking target subject 302 appears to be stationary. In this case, if rolling shutter distortion correction is not performed, the tracking target subject 302 is captured without being distorted diagonally.

図3(b)は、現フレーム303の一例を示す図である。
現フレーム303では、パンが右から左に駆動し、追尾対象の被写体304が前フレーム301までの速度とは異なる速度、すなわちこの場合低速で移動したことによって、パン駆動の速度と、追尾対象の被写体の速度とに差異が生じている。したがって、追尾対象の被写体304が画像の中央に位置ではなく端に位置している状態である。この状態で、前フレーム301と同様にローリングシャッタ歪み補正を行わない場合には、追尾対象の被写体304が歪んで撮影されてしまう。このように歪んで撮影されるのは、パン駆動の速度と追尾対象の被写体304の速度とに差異が生じたため、追尾対象の被写体304が静止して見えなくなってしまったためである。
FIG. 3B is a diagram showing an example of the current frame 303.
In the current frame 303, the pan is driven from right to left, and the tracking target subject 304 moves at a speed different from the speed in the previous frame 301, that is, at a slow speed in this case, which causes a difference between the pan drive speed and the speed of the tracking target subject. Therefore, the tracking target subject 304 is located at the edge of the image rather than at the center. In this state, if rolling shutter distortion correction is not performed as in the previous frame 301, the tracking target subject 304 will be photographed distorted. The reason for this distorted photograph is that a difference occurs between the pan drive speed and the speed of the tracking target subject 304, causing the tracking target subject 304 to stop and become invisible.

ここで、S202において算出される、パン駆動に対して相対的な追尾対象の被写体の移動方向は、図3(a)、図3(b)の場合は右であり、被写体の速度は算出されたベクトル量とフレームレート等を用いて算出することができる。左向きをプラスの速度、右向きをマイナスの速度とすると、図3(a)、図3(b)の場合には、追尾対象の被写体が相対的に右方向に移動しているため被写体の速度はマイナスとなる。 Here, the movement direction of the subject to be tracked relative to the pan drive, calculated in S202, is to the right in the cases of Figures 3(a) and 3(b), and the speed of the subject can be calculated using the calculated vector amount and the frame rate, etc. If a leftward direction is a positive speed and a rightward direction is a negative speed, then in the cases of Figures 3(a) and 3(b), the subject to be tracked is moving relatively to the right, so the speed of the subject is negative.

S203では、RS歪み補正量演算部110は、パンチルト駆動部113からパンチルト駆動の情報を取得する。具体的には、RS歪み補正量演算部110は、パンチルト駆動部113からパン駆動の駆動方向の情報を取得する。RS歪み補正量演算部110は、パンチルト駆動部113がパンを右向きに駆動している場合には右向きの情報を取得し、パンを左向きに駆動している場合には左向きの情報を取得する。図3(a)、図3(b)の場合には右から左へ移動しており、左向きの情報が取得される。なお、左向きをプラス、右向きをマイナスとしているので、この場合の駆動速度はプラスとなる。 In S203, the RS distortion correction amount calculation unit 110 acquires pan tilt drive information from the pan tilt drive unit 113. Specifically, the RS distortion correction amount calculation unit 110 acquires information on the drive direction of the pan drive from the pan tilt drive unit 113. The RS distortion correction amount calculation unit 110 acquires rightward information when the pan tilt drive unit 113 is driving the pan to the right, and acquires leftward information when the pan tilt drive unit 113 is driving the pan to the left. In the cases of Figures 3(a) and 3(b), the movement is from right to left, and leftward information is acquired. Note that the leftward direction is positive and the rightward direction is negative, so the drive speed in this case is positive.

S204では、RS歪み補正量演算部110は、S202で取得した追尾対象の被写体の移動方向と、S203で取得したパン駆動の駆動方向とを比較する。追尾対象の被写体の移動方向と、パン駆動の駆動方向とが同一の場合には、ローリングシャッタ歪み補正の補正強度を変更せず終了する。一方、追尾対象の被写体の移動方向と、パン駆動の駆動方向とが異なる場合にはS205に進む。 In S204, the RS distortion correction amount calculation unit 110 compares the movement direction of the subject to be tracked obtained in S202 with the drive direction of the pan drive obtained in S203. If the movement direction of the subject to be tracked and the drive direction of the pan drive are the same, the correction strength of the rolling shutter distortion correction is not changed and the process ends. On the other hand, if the movement direction of the subject to be tracked and the drive direction of the pan drive are different, the process proceeds to S205.

S205では、RS歪み補正量演算部110は、パン駆動の速度から追尾対象の被写体の速度を減算した値が所定以上であるか否かを判定する。RS歪み補正量演算部110は、パンチルト駆動部113からパン駆動の速度を取得することができる。なお、RS歪み補正量演算部110は、ジャイロセンサの値を用いてパン駆動の速度を算出してもよい。パン駆動の速度から追尾対象の被写体の速度を減算した値が所定以上ではない場合には、ローリングシャッタ歪み補正の補正強度を変更せず終了する。一方、パン駆動の速度から追尾対象の被写体の速度を減算した値が所定以上の場合には、追尾対象の被写体の速度と、パン駆動の速度との差異によって被写体が静止しているようには見えなくなり歪んでしまうため、歪みを防止するためにS206に進む。 In S205, the RS distortion correction amount calculation unit 110 determines whether the value obtained by subtracting the speed of the subject to be tracked from the speed of the pan drive is equal to or greater than a predetermined value. The RS distortion correction amount calculation unit 110 can acquire the pan drive speed from the pan tilt drive unit 113. The RS distortion correction amount calculation unit 110 may calculate the pan drive speed using the value of the gyro sensor. If the value obtained by subtracting the speed of the subject to be tracked from the pan drive speed is not equal to or greater than a predetermined value, the correction strength of the rolling shutter distortion correction is not changed and the process ends. On the other hand, if the value obtained by subtracting the speed of the subject to be tracked from the pan drive speed is equal to or greater than a predetermined value, the difference between the speed of the subject to be tracked and the speed of the pan drive will cause the subject to appear distorted and not to look stationary, so the process proceeds to S206 to prevent distortion.

S206では、RS歪み補正量演算部110は、ローリングシャッタ歪み補正の補正強度を増加させて、補正量を算出する。すなわち、RS歪み補正量演算部110は、パン駆動の速度から追尾対象の被写体の速度を減算した値が所定未満である場合よりも、ローリングシャッタ歪み補正の補正強度を増加させる。映像信号出力部111は、ローリングシャッタ歪み補正量演算部110により算出された補正量に基づいて幾何変換を行うことで、ローリングシャッタ歪み補正を行う。
図4は、ローリングシャッタ歪み補正を行って表示されたフレーム401の一例を示す図である。図4に示すように、ローリングシャッタ歪み補正の補正強度を増加させることで、追尾対象の被写体の速度とパン駆動の速度とに差異が生じて被写体402が端に位置しても歪みのない被写体402を撮影することができる。
In S206, the RS distortion correction amount calculation unit 110 increases the correction strength of the rolling shutter distortion correction to calculate the correction amount. That is, the RS distortion correction amount calculation unit 110 increases the correction strength of the rolling shutter distortion correction more than when the value obtained by subtracting the speed of the subject to be tracked from the speed of the pan drive is less than a predetermined value. The video signal output unit 111 performs a geometric transformation based on the correction amount calculated by the rolling shutter distortion correction amount calculation unit 110 to perform the rolling shutter distortion correction.
Fig. 4 is a diagram showing an example of a frame 401 displayed after performing rolling shutter distortion correction. As shown in Fig. 4, by increasing the correction strength of the rolling shutter distortion correction, a difference occurs between the speed of the subject to be tracked and the speed of the pan drive, so that even if the subject 402 is located at the edge, it is possible to capture the subject 402 without distortion.

本実施形態によれば、パン駆動の情報と、追尾して撮影する被写体の情報とに基づいてローリングシャッタ歪み補正の補正強度を変更することでローリングシャッタ歪み補正をしたときの被写体の歪みを低減させることができる。 According to this embodiment, the correction strength of the rolling shutter distortion correction is changed based on the pan drive information and the information of the subject being tracked and photographed, thereby making it possible to reduce the distortion of the subject when rolling shutter distortion correction is performed.

なお、本実施形態では、追尾対象の被写体の移動方向と、パン駆動の駆動方向とが異なる場合の方が速度差が大きくなるために、ローリングシャッタ歪み補正の補正強度を増加させている。しかしながら、追尾対象の被写体の移動方向と、パン駆動の駆動方向とが同一の場合であっても速度差が生じている場合にはローリングシャッタ歪み補正の補正強度を増加させるようにしてもよい。すなわち、パン駆動の速度と、被写体の速度との速度差が所定以上である場合には、ローリングシャッタ歪み補正の補正強度を増加させるようにしてもよい。 In this embodiment, the correction strength of the rolling shutter distortion correction is increased because the speed difference is greater when the moving direction of the subject to be tracked is different from the driving direction of the pan drive. However, even if the moving direction of the subject to be tracked is the same as the driving direction of the pan drive, the correction strength of the rolling shutter distortion correction may be increased if a speed difference occurs. In other words, if the speed difference between the speed of the pan drive and the speed of the subject is equal to or greater than a predetermined value, the correction strength of the rolling shutter distortion correction may be increased.

また、本実施形態では、対象の被写体を追尾する場合について説明したが、被写体を追尾せずにパン駆動している場合には、RS歪み補正量演算部110は、被写体を追尾してパン駆動している場合よりもローリングシャッタ歪み補正の補正強度を増加させてもよい。
また、本実施形態では、パン駆動の場合について説明したが、この場合に限られず、パン駆動およびチルト駆動のうち少なくとも何れかの駆動(パンチルト駆動)の場合でも同様に適用することができる。
In addition, in this embodiment, the case where a target subject is tracked has been described, but when panning is performed without tracking a subject, the RS distortion correction amount calculation unit 110 may increase the correction strength of the rolling shutter distortion correction compared to when panning is performed while tracking a subject.
Furthermore, in this embodiment, the case of pan driving has been described, but the present invention is not limited to this case, and can be similarly applied to at least one of pan driving and tilt driving (pan-tilt driving).

<第2の実施形態>
第2の実施形態では、追尾対象の被写体の位置の情報に基づいてローリングシャッタ歪み補正の補正強度を変更する場合について説明する。
図5は、第2の実施形態のカメラ100の動作を示すフローチャートである。なお、図5のフローチャートは、カメラ100の電源がオンされることで開始される。
Second Embodiment
In the second embodiment, a case will be described in which the correction strength of the rolling shutter distortion correction is changed based on information about the position of a subject to be tracked.
Fig. 5 is a flowchart showing the operation of the camera 100 according to the second embodiment. The flowchart in Fig. 5 starts when the power of the camera 100 is turned on.

S501では、RS歪み補正量演算部110は、パンチルト駆動部113からパンチルト駆動の情報を取得する。具体的には、RS歪み補正量演算部110は、パンチルト駆動部113の状態の情報を取得して、パンチルト駆動が駆動中であるか否かを判定する。パンチルト駆動部113が駆動中ではない場合にはローリングシャッタ歪み補正の補正強度を変更することなく終了する。一方、パンチルト駆動部113が駆動中の場合にはS502に進む。 In S501, the RS distortion correction amount calculation unit 110 acquires pan/tilt drive information from the pan/tilt drive unit 113. Specifically, the RS distortion correction amount calculation unit 110 acquires information on the state of the pan/tilt drive unit 113 and determines whether or not pan/tilt drive is in operation. If the pan/tilt drive unit 113 is not in operation, the process ends without changing the correction strength of the rolling shutter distortion correction. On the other hand, if the pan/tilt drive unit 113 is in operation, the process proceeds to S502.

S502では、動き情報取得部109は、追尾対象の被写体の情報を取得する。具体的には、動き情報取得部109は、追尾対象の被写体の画像内での位置を確認する。
S503では、動き情報取得部109は、被写体の位置が画像内で同じ位置であるか否かを判定する。例えば、動き情報取得部109は動体検出や物体認識した動体の重心位置が前フレームと現フレームとを比較して所定のピクセル数以内に位置する場合に、被写体の位置が画像内で同じ位置であると判定する。被写体の位置が画像内で同じ位置である場合には追尾対象の被写体を追尾していると考えられ、被写体が静止しているように見える。被写体の位置が画像内で異なる位置である場合にはローリングシャッタ歪み補正の補正強度を変更しないで終了する。一方、被写体の位置が画像内で同じ位置である場合にはS504に進む。
In S502, the movement information acquisition unit 109 acquires information on the subject to be tracked. Specifically, the movement information acquisition unit 109 checks the position of the subject to be tracked in the image.
In S503, the motion information acquisition unit 109 judges whether the position of the subject is the same in the image. For example, when the center of gravity position of a moving object detected or recognized as a moving object is located within a predetermined number of pixels by comparing the previous frame and the current frame, the motion information acquisition unit 109 judges that the position of the subject is the same in the image. If the position of the subject is the same in the image, it is considered that the tracking target subject is being tracked, and the subject appears to be stationary. If the position of the subject is a different position in the image, the correction strength of the rolling shutter distortion correction is not changed and the process ends. On the other hand, if the position of the subject is the same in the image, the process proceeds to S504.

S504では、RS歪み補正量演算部110は、ローリングシャッタ歪み補正の補正強度を低下させて、補正量を算出する。すなわち、RS歪み補正量演算部110は、被写体の位置が画像内で異なる位置である場合よりも、ローリングシャッタ歪み補正の補正強度を低下させる。 In S504, the RS distortion correction amount calculation unit 110 calculates the correction amount by reducing the correction strength of the rolling shutter distortion correction. In other words, the RS distortion correction amount calculation unit 110 reduces the correction strength of the rolling shutter distortion correction more than when the subject is positioned at a different position within the image.

本実施形態によれば、被写体の位置が画像内で同じ位置である場合には、ローリングシャッタ歪み補正の補正強度を低下させることで、ローリングシャッタ歪み補正による被写体の歪みを防止することができる。
なお、本実施形態では、対象の被写体を追尾する場合について説明したが、被写体を追尾せずにパン駆動している場合に、被写体の位置が画像内で同じ位置である場合にも適用することができる。
また、本実施形態では、S503からNOに進むことでローリングシャッタ歪み補正の補正強度を変更しないで終了する場合について説明したが、S503からNOに進むことで図2のフローチャートを実行するなどして適宜、他の実施形態と組み合わせてもよい。
According to this embodiment, when the position of the subject is the same within an image, the correction strength of the rolling shutter distortion correction is reduced, thereby making it possible to prevent distortion of the subject due to the rolling shutter distortion correction.
In this embodiment, the case where a target subject is tracked has been described, but the present invention can also be applied to a case where the subject is not tracked but is panned and the position of the subject remains the same within the image.
In addition, in this embodiment, the case has been described where the process proceeds from S503 to NO to end the process without changing the correction intensity of the rolling shutter distortion correction. However, the process may be combined with other embodiments as appropriate, for example by proceeding from S503 to NO to execute the flowchart of FIG. 2.

<第3の実施形態>
以下の実施形態では、追尾対象の被写体の情報に基づいてローリングシャッタ歪み補正の補正強度を変更する。第3の実施形態では、追尾対象の被写体の種類に基づいてローリングシャッタ歪み補正の補正強度を変更する場合について説明する。
Third Embodiment
In the following embodiments, the correction strength of the rolling shutter distortion correction is changed based on information about the subject to be tracked. In a third embodiment, a case will be described in which the correction strength of the rolling shutter distortion correction is changed based on the type of subject to be tracked.

S601では、動き情報取得部109は、追尾対象の被写体の情報を取得する。具体的には、動き情報取得部109は、追尾対象の被写体の種類の情報を取得する。
S602では、動き情報取得部109は、被写体の種類が人であるか否かを判定する。被写体の種類が人以外(例えば、車両等の乗り物)である場合にはローリングシャッタ歪み補正の補正強度を変更しないで終了する。一方、被写体の種類が人である場合には603に進む。
In S601, the movement information acquisition unit 109 acquires information on the subject to be tracked. Specifically, the movement information acquisition unit 109 acquires information on the type of the subject to be tracked.
In S602, the motion information acquisition unit 109 determines whether the type of the subject is a person. If the type of the subject is other than a person (for example, a vehicle such as a car), the correction strength of the rolling shutter distortion correction is not changed and the process ends. On the other hand, if the type of the subject is a person, the process proceeds to 603.

S603では、RS歪み補正量演算部110は、ローリングシャッタ歪み補正の補正強度を低下させて、補正量を算出する。すなわち、RS歪み補正量演算部110は、被写体の種類が人以外である場合よりも、ローリングシャッタ歪み補正の補正強度を低下させる。 In S603, the RS distortion correction amount calculation unit 110 calculates the correction amount by reducing the correction strength of the rolling shutter distortion correction. In other words, the RS distortion correction amount calculation unit 110 reduces the correction strength of the rolling shutter distortion correction more than when the type of subject is other than a person.

本実施形態によれば、被写体が人である場合には、ローリングシャッタ歪み補正の補正強度を低下させることで、ローリングシャッタ歪み補正による被写体の歪みを少なくして人の顔を認識しやすくすることができる。
なお、図6のフローチャートは、上述した図2のフローチャートのS201とS202との間に追加し、S602からNOに分岐した場合にS202に進むなどして適宜、他の実施形態と組み合わせてもよい。
According to this embodiment, when the subject is a person, the correction strength of the rolling shutter distortion correction is reduced, thereby reducing the distortion of the subject caused by the rolling shutter distortion correction and making the person's face easier to recognize.
The flowchart in FIG. 6 may be added between S201 and S202 in the flowchart in FIG. 2 described above, and may be appropriately combined with other embodiments by, for example, proceeding to S202 when branching to NO from S602.

<第4の実施形態>
第4の実施形態では、追尾対象の被写体の大きさに基づいてローリングシャッタ歪み補正の補正強度を変更する場合について説明する。
Fourth Embodiment
In the fourth embodiment, a case will be described in which the correction strength of the rolling shutter distortion correction is changed based on the size of the subject to be tracked.

S701では、動き情報取得部109は、追尾対象の被写体の情報を取得する。具体的には、動き情報取得部109は、追尾対象の被写体の大きさの情報を取得する。
S702では、動き情報取得部109は、被写体の大きさが所定以上であるか否かを判定する。被写体の大きさが所定未満である場合にはローリングシャッタ歪み補正の補正強度を変更しないで終了する。一方、被写体の大きさが所定以上である場合にはS703に進む。
In S701, the motion information acquisition unit 109 acquires information on the subject to be tracked. Specifically, the motion information acquisition unit 109 acquires information on the size of the subject to be tracked.
In S702, the motion information acquisition unit 109 determines whether the size of the subject is equal to or larger than a predetermined size. If the size of the subject is less than the predetermined size, the process ends without changing the correction strength of the rolling shutter distortion correction. On the other hand, if the size of the subject is equal to or larger than the predetermined size, the process proceeds to S703.

S703では、RS歪み補正量演算部110は、ローリングシャッタ歪み補正の補正強度を低下させて、補正量を算出する。すなわち、RS歪み補正量演算部110は、被写体の大きさが所定未満である場合よりも、ローリングシャッタ歪み補正の補正強度を低下させる。
なお、図7のフローチャートは、上述した図2のフローチャートのS201とS202との間に追加し、S702からNOに分岐した場合にS202に進むなどして適宜、他の実施形態と組み合わせてもよい。
In S703, the RS distortion correction amount calculation unit 110 calculates the correction amount by reducing the correction strength of the rolling shutter distortion correction. That is, the RS distortion correction amount calculation unit 110 reduces the correction strength of the rolling shutter distortion correction compared to when the size of the subject is less than a predetermined value.
The flowchart in FIG. 7 may be added between S201 and S202 in the flowchart in FIG. 2 described above, and may be combined with other embodiments as appropriate by, for example, proceeding to S202 when branching to NO from S702.

<第5の実施形態>
第5の実施形態では、追尾対象の被写体の位置に基づいてローリングシャッタ歪み補正の補正強度を変更する場合について説明する。
Fifth embodiment
In the fifth embodiment, a case will be described in which the correction strength of the rolling shutter distortion correction is changed based on the position of a subject to be tracked.

S801では、動き情報取得部109は、追尾対象の被写体の情報を取得する。具体的には、動き情報取得部109は、追尾対象の被写体の位置の情報を取得する。
S802では、動き情報取得部109は、被写体の位置が画面外に外れたか否かを判定する。被写体の位置が画面外に外れておらず画面内に存在している場合には、補正強度が適切な強度になるように変更する。一方、被写体の位置が画面外に外れて存在しない場合にはS803に進む。
In S801, the movement information acquisition unit 109 acquires information on the subject to be tracked. Specifically, the movement information acquisition unit 109 acquires information on the position of the subject to be tracked.
In S802, the motion information acquisition unit 109 determines whether the subject has moved outside the screen. If the subject is not outside the screen but is present within the screen, the correction strength is changed to an appropriate strength. On the other hand, if the subject is not present outside the screen, the process proceeds to S803.

S803では、RS歪み補正量演算部110は、ローリングシャッタ歪み補正が所定以上の強度で有効になっていれば、ローリングシャッタ歪み補正の補正強度を変更しないで終了する。したがって、ローリングシャッタ歪み補正を行うことで、背景等の被写体が歪むのを抑制することができる。
なお、図8のフローチャートは、上述した図2のフローチャートのS201とS202との間に追加し、S802からNOに分岐した場合にS202に進むなどして適宜、他の実施形態と組み合わせてもよい。
In S803, if the rolling shutter distortion correction is enabled with a strength equal to or greater than a predetermined strength, the RS distortion correction amount calculation unit 110 ends the process without changing the correction strength of the rolling shutter distortion correction. Therefore, by performing the rolling shutter distortion correction, it is possible to suppress distortion of a subject such as a background.
The flowchart in FIG. 8 may be added between S201 and S202 in the flowchart in FIG. 2 described above, and may be appropriately combined with other embodiments by, for example, proceeding to S202 when branching to NO from S802.

<第6の実施形態>
第6の実施形態では、追尾対象の被写体以外の被写体に基づいてローリングシャッタ歪み補正の補正強度を変更する場合について説明する。
Sixth embodiment
In the sixth embodiment, a case will be described in which the correction strength of the rolling shutter distortion correction is changed based on a subject other than the subject to be tracked.

S901では、動き情報取得部109は、被写体の情報を取得する。具体的には、動き情報取得部109は、追尾対象の被写体以外の被写体を検出する。
S902では、動き情報取得部109は、追尾対象の被写体以外の被写体が画面内に存在するか否かを判定する。追尾対象の被写体以外の被写体が存在しない場合には、補正強度が適切な強度になるように変更する。一方、追尾対象の被写体以外の被写体が存在する場合にはS903に進む。
In S901, the motion information acquisition unit 109 acquires information on a subject. Specifically, the motion information acquisition unit 109 detects a subject other than the subject to be tracked.
In S902, the motion information acquisition unit 109 determines whether or not a subject other than the subject to be tracked exists within the screen. If a subject other than the subject to be tracked does not exist, the correction strength is changed to an appropriate strength. On the other hand, if a subject other than the subject to be tracked exists, the process proceeds to S903.

S903では、RS歪み補正量演算部110は、ローリングシャッタ歪み補正が所定以上の強度で有効になっていれば、ローリングシャッタ歪み補正の補正強度を変更しないで終了する。
なお、図9のフローチャートは、上述した図2のフローチャートのS201とS202との間に追加し、S902からNOに分岐した場合にS202に進むなどして適宜、他の実施形態と組み合わせてもよい。
In S903, if the rolling shutter distortion correction is enabled with a strength equal to or greater than a predetermined strength, the RS distortion correction amount calculation unit 110 ends the process without changing the correction strength of the rolling shutter distortion correction.
The flowchart in FIG. 9 may be added between S201 and S202 in the flowchart in FIG. 2 described above, and may be appropriately combined with other embodiments by, for example, proceeding to S202 when branching to NO from S902.

<第7の実施形態>
第7の実施形態では、追尾対象の被写体の動作に基づいてローリングシャッタ歪み補正の補正強度を変更する場合について説明する。
Seventh embodiment
In the seventh embodiment, a case will be described in which the correction strength of the rolling shutter distortion correction is changed based on the movement of a subject to be tracked.

S1001では、動き情報取得部109は、追尾対象の被写体の情報を取得する。具体的には、動き情報取得部109は、追尾対象の被写体の動作の情報を取得する。
S1002では、動き情報取得部109は、被写体の動作が歩きであるか否かを判定する。被写体の動作が歩きではない場合にはローリングシャッタ歪み補正の補正強度を変更しないで終了する。一方、被写体の動作が歩きである場合にはS1003に進む。
In S1001, the movement information acquisition unit 109 acquires information on the subject to be tracked. Specifically, the movement information acquisition unit 109 acquires information on the movement of the subject to be tracked.
In S1002, the motion information acquisition unit 109 determines whether the motion of the subject is walking. If the motion of the subject is not walking, the correction strength of the rolling shutter distortion correction is not changed and the process ends. On the other hand, if the motion of the subject is walking, the process proceeds to S1003.

S1003では、RS歪み補正量演算部110は、ローリングシャッタ歪み補正の補正強度を低下させて、補正量を算出する。すなわち、RS歪み補正量演算部110は、被写体の動作が歩き以外である場合よりも、ローリングシャッタ歪み補正の補正強度を低下させる。
なお、図10のフローチャートは、上述した図2のフローチャートのS201とS202との間に追加し、S1002からNOに分岐した場合にS202に進むなどして適宜、他の実施形態と組み合わせてもよい。
In S1003, the RS distortion correction amount calculation unit 110 calculates the correction amount by reducing the correction strength of the rolling shutter distortion correction. That is, the RS distortion correction amount calculation unit 110 reduces the correction strength of the rolling shutter distortion correction compared to when the subject's movement is other than walking.
The flowchart in FIG. 10 may be added between S201 and S202 in the flowchart in FIG. 2 described above, and may be appropriately combined with other embodiments by, for example, proceeding to S202 when branching to NO from S1002.

<その他の実施形態>
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するプログラムをネットワークまたは各種記録媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ(CPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、該プログラムおよび該プログラムを格納した記録媒体は本発明を構成する。
<Other embodiments>
The present invention can also be realized by executing the following process. That is, a program for realizing the functions of the above-described embodiment is supplied to a system or device via a network or various recording media, and a computer (CPU, MPU, etc.) of the system or device reads and executes the program code. In this case, the program and the recording media on which the program is stored constitute the present invention.

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、本発明の範囲内で変更等が可能であり、上述した実施形態を適時組み合わせてもよい。 Although the preferred embodiment of the present invention has been described in detail above, the present invention is not limited to the specific embodiment, and modifications and the like are possible within the scope of the present invention, and the above-mentioned embodiments may be combined as appropriate.

100:カメラ 103:撮像素子 109:動き情報取得部 110:RS歪み補正量演算部 111:映像信号出力部 100: Camera 103: Image sensor 109: Motion information acquisition unit 110: RS distortion correction amount calculation unit 111: Video signal output unit

Claims (11)

ローリングシャッタ方式で画像を撮影する撮像装置であって、
追尾して撮影する被写体の情報を取得する第1の取得手段と、
前記撮像装置のパン駆動およびチルト駆動のうちの少なくともいずれか一つの駆動の情報を取得する第2の取得手段と、
前記第1の取得手段により取得された被写体の情報と、前記第2の取得手段により取得された駆動の情報とに基づいてローリングシャッタ歪み補正の補正強度を変更する変更手段と、
前記変更手段により変更された補正強度によりローリングシャッタ歪み補正を行う補正手段と、を有し、
前記第1の取得手段は、追尾して撮影する被写体の速度の情報を取得し、
前記第2の取得手段は、前記駆動の情報としての駆動の速度の情報を取得し、
前記変更手段は、
前記第1の取得手段により取得された被写体の速度と、前記第2の取得手段により取得された駆動の速度との速度差が所定以上である場合には、速度差が所定未満である場合よりもローリングシャッタ歪み補正の補正強度を増加させることを特徴とする撮像装置。
An imaging device that captures images using a rolling shutter system,
A first acquisition means for acquiring information of a subject to be tracked and photographed;
a second acquisition means for acquiring information on at least one of pan driving and tilt driving of the imaging device;
a change unit that changes a correction intensity of the rolling shutter distortion correction based on the information of the object acquired by the first acquisition unit and the information of the drive acquired by the second acquisition unit;
a correction unit that performs rolling shutter distortion correction using the correction strength changed by the change unit ,
the first acquisition means acquires information on the speed of a subject to be tracked and photographed;
the second acquisition means acquires information on a speed of the drive as the drive information,
The change means is
An imaging device characterized in that, when a speed difference between the subject speed acquired by the first acquisition means and the drive speed acquired by the second acquisition means is equal to or greater than a predetermined value, the correction strength of rolling shutter distortion correction is increased compared to when the speed difference is less than the predetermined value .
前記第1の取得手段は、追尾して撮影する被写体の移動方向の情報を取得し、
前記第2の取得手段は、前記駆動の情報に基づく駆動方向の情報を取得し、
前記変更手段は、
前記第1の取得手段により取得された被写体の移動方向と、前記第2の取得手段により取得された駆動方向とに基づいてローリングシャッタ歪み補正の補正強度を変更することを特徴とする請求項1に記載の撮像装置。
the first acquisition means acquires information on a moving direction of a subject to be tracked and photographed;
the second acquisition means acquires information on a driving direction based on the information on the driving;
The change means is
2. The imaging device according to claim 1, wherein a correction strength of rolling shutter distortion correction is changed based on the moving direction of the subject acquired by the first acquisition means and the driving direction acquired by the second acquisition means.
前記変更手段は、
被写体を追尾せずに駆動する場合には被写体を追尾して駆動する場合よりもローリングシャッタ歪み補正の補正強度を増加させることを特徴とする請求項1または2に記載の撮像装置。
The change means is
3. The imaging apparatus according to claim 1, wherein when the imaging apparatus is driven without tracking the subject, the correction strength of the rolling shutter distortion correction is increased compared to when the imaging apparatus is driven with tracking the subject.
前記第1の取得手段は、追尾して撮影する被写体の位置の情報を取得し、
前記第2の取得手段は、パン駆動およびチルト駆動のうちの少なくともいずれか一つの駆動の状態の情報を取得し、
前記変更手段は、
前記第2の取得手段により取得された、前記撮像装置のパン駆動およびチルト駆動の少なくとも一方の駆動の状態が駆動中であって、前記第1の取得手段により取得された被写体の位置が画像内で同じ位置である場合には、異なる位置である場合よりもローリングシャッタ歪み補正の補正強度を低下させることを特徴とする請求項1ないしの何れか1項に記載の撮像装置。
the first acquisition means acquires information on a position of a subject to be tracked and photographed;
the second acquisition means acquires information on a state of at least one of pan driving and tilt driving,
The change means is
The imaging device according to any one of claims 1 to 3, characterized in that when the driving state of at least one of the pan drive and tilt drive of the imaging device acquired by the second acquisition means is in operation and the position of the subject acquired by the first acquisition means is the same position in the image, the correction strength of the rolling shutter distortion correction is reduced compared to when the position is different.
前記第1の取得手段は、追尾して撮影する被写体の大きさの情報を取得し、
前記変更手段は、
前記第1の取得手段により取得された被写体の大きさに基づいてローリングシャッタ歪み補正の補正強度を変更することを特徴とする請求項1ないしの何れか1項に記載の撮像装置。
the first acquisition means acquires information on the size of a subject to be tracked and photographed;
The change means is
5. The imaging apparatus according to claim 1 , wherein a correction strength of the rolling shutter distortion correction is changed based on the size of the subject acquired by the first acquisition means.
前記変更手段は、
前記第1の取得手段により取得された被写体の大きさが所定以上である場合には、所定未満である場合よりもローリングシャッタ歪み補正の補正強度を低下させることを特徴とする請求項に記載の撮像装置。
The change means is
6. The imaging device according to claim 5, wherein when the size of the subject acquired by the first acquisition means is equal to or larger than a predetermined size, the correction strength of the rolling shutter distortion correction is lowered compared to when the size is less than the predetermined size.
前記第1の取得手段は、追尾して撮影する被写体の位置の情報を取得し、
前記変更手段は、
前記第1の取得手段により取得された被写体の位置が画面外に外れた場合には、ローリングシャッタ歪み補正の補正強度を変更しないことを特徴とする請求項1ないしの何れか1項に記載の撮像装置。
the first acquisition means acquires information on a position of a subject to be tracked and photographed;
The change means is
7. The imaging device according to claim 1 , wherein when the position of the subject acquired by the first acquisition means is outside the screen, the correction strength of the rolling shutter distortion correction is not changed.
前記第1の取得手段は、追尾して撮影する被写体以外の被写体の情報を取得し、
前記変更手段は、
前記第1の取得手段により取得された、追尾して撮影する被写体以外の被写体が存在する場合には、ローリングシャッタ歪み補正の補正強度を変更しないことを特徴とする請求項1ないしの何れか1項に記載の撮像装置。
the first acquisition means acquires information of a subject other than a subject to be tracked and photographed;
The change means is
The imaging device according to any one of claims 1 to 7, characterized in that when there is a subject other than the subject to be tracked and photographed, which is acquired by the first acquisition means, the correction strength of the rolling shutter distortion correction is not changed.
ローリングシャッタ方式で画像を撮影する撮像装置の制御方法であって、
追尾して撮影する被写体の情報を取得する第1の取得ステップと、
前記撮像装置のパン駆動およびチルト駆動のうちの少なくともいずれか一つの駆動の情報を取得する第2の取得ステップと、
前記第1の取得ステップにより取得された被写体の情報と、前記第2の取得ステップにより取得された駆動の情報とに基づいてローリングシャッタ歪み補正の補正強度を変更する変更ステップと、
前記変更ステップにより変更された補正強度によりローリングシャッタ歪み補正を行う補正ステップと、を有し、
前記第1の取得ステップでは、追尾して撮影する被写体の速度の情報を取得し、
前記第2の取得ステップでは、前記駆動の情報としての駆動の速度の情報を取得し、
前記変更ステップでは、
前記第1の取得ステップにより取得された被写体の速度と、前記第2の取得ステップにより取得された駆動の速度との速度差が所定以上である場合には、速度差が所定未満である場合よりもローリングシャッタ歪み補正の補正強度を増加させることを特徴とする撮像装置の制御方法。
A method for controlling an imaging device that captures images using a rolling shutter system, comprising:
A first acquisition step of acquiring information of a subject to be tracked and photographed;
a second acquisition step of acquiring information on at least one of pan driving and tilt driving of the imaging device;
a changing step of changing a correction intensity of the rolling shutter distortion correction based on the information of the object acquired in the first acquiring step and the information of the drive acquired in the second acquiring step;
a correction step of performing rolling shutter distortion correction using the correction strength changed by the change step ,
In the first acquisition step, information on the speed of a subject to be tracked and photographed is acquired;
In the second acquisition step, information on a driving speed is acquired as the driving information,
In the changing step,
A method for controlling an imaging device, characterized in that when a speed difference between the subject speed acquired by the first acquisition step and the drive speed acquired by the second acquisition step is a predetermined value or more, the correction strength of rolling shutter distortion correction is increased compared to when the speed difference is less than the predetermined value .
コンピュータを、請求項1ないしの何れか1項に記載された撮像装置の各手段として機能させるためのプログラム。 A program for causing a computer to function as each of the means of the imaging apparatus according to any one of claims 1 to 8 . コンピュータを、請求項1ないしの何れか1項に記載された撮像装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記録媒体。 9. A computer-readable recording medium storing a program for causing a computer to function as each of the means of the imaging apparatus according to claim 1.
JP2020076074A 2020-04-22 2020-04-22 Imaging device, control method thereof, and program Active JP7532076B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020076074A JP7532076B2 (en) 2020-04-22 2020-04-22 Imaging device, control method thereof, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020076074A JP7532076B2 (en) 2020-04-22 2020-04-22 Imaging device, control method thereof, and program

Publications (2)

Publication Number Publication Date
JP2021175046A JP2021175046A (en) 2021-11-01
JP7532076B2 true JP7532076B2 (en) 2024-08-13

Family

ID=78279998

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020076074A Active JP7532076B2 (en) 2020-04-22 2020-04-22 Imaging device, control method thereof, and program

Country Status (1)

Country Link
JP (1) JP7532076B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4483580A4 (en) * 2021-12-31 2025-10-08 Qualcomm Inc IMAGE CORRECTION BASED ON ACTIVITY DETECTION

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018019293A (en) 2016-07-28 2018-02-01 キヤノン株式会社 Imaging apparatus, control method of the same, program, and storage medium
JP2019149602A (en) 2018-02-26 2019-09-05 キヤノン株式会社 Imaging apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018019293A (en) 2016-07-28 2018-02-01 キヤノン株式会社 Imaging apparatus, control method of the same, program, and storage medium
JP2019149602A (en) 2018-02-26 2019-09-05 キヤノン株式会社 Imaging apparatus

Also Published As

Publication number Publication date
JP2021175046A (en) 2021-11-01

Similar Documents

Publication Publication Date Title
US7995852B2 (en) Imaging device and imaging method
US7916182B2 (en) Imaging device and method which performs face recognition during a timer delay
US8325268B2 (en) Image processing apparatus and photographing apparatus
CN107800957B (en) Image pickup apparatus and motion vector detection method
KR101142316B1 (en) Image selection device and method for selecting image
US8717490B2 (en) Imaging apparatus, focusing method, and computer-readable recording medium recording program
KR100906166B1 (en) Digital imaging apparatus with camera shake compensation and adaptive sensitivity switching function
CN109417593B (en) Imaging device, operation method, image processing device, and image processing method
US7817911B2 (en) Photographic method and apparatus
JP5013954B2 (en) Imaging device
JP2003224761A (en) Imaging device
JP2000188713A (en) Automatic focus control device and its focusing operation determination method
JP2006058431A (en) Autofocusing system
JP4645413B2 (en) Imaging device
JP6584259B2 (en) Image blur correction apparatus, imaging apparatus, and control method
JP7532076B2 (en) Imaging device, control method thereof, and program
KR101630307B1 (en) A digital photographing apparatus, a method for controlling the same, and a computer-readable storage medium
JP2004328606A (en) Imaging device
JP5219474B2 (en) Imaging apparatus and control method thereof
KR20090071324A (en) Imaging Device and Imaging Method
JP5320937B2 (en) Focus detection apparatus and imaging apparatus
JP2008090059A (en) Imaging apparatus and autofocus control method thereof
JP2017192027A (en) Image processing apparatus, image processing method, and program
JP6778014B2 (en) Imaging device and its control method, program, storage medium
JP4326997B2 (en) Imaging apparatus, focusing method, control program, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230417

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240430

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240626

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240731

R150 Certificate of patent or registration of utility model

Ref document number: 7532076

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150