JP7532076B2 - Imaging device, control method thereof, and program - Google Patents
Imaging device, control method thereof, and program Download PDFInfo
- Publication number
- JP7532076B2 JP7532076B2 JP2020076074A JP2020076074A JP7532076B2 JP 7532076 B2 JP7532076 B2 JP 7532076B2 JP 2020076074 A JP2020076074 A JP 2020076074A JP 2020076074 A JP2020076074 A JP 2020076074A JP 7532076 B2 JP7532076 B2 JP 7532076B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- rolling shutter
- correction
- distortion correction
- acquired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明は、撮像装置、その制御方法、プログラムおよび記録媒体に関するものである。 The present invention relates to an imaging device, a control method thereof, a program, and a recording medium.
撮像装置に用いられるCMOSセンサは、センサの上部と下部との間で読み出しラグが生じることが知られている。このようなCMOSセンサをパンチルト駆動が可能なカメラに用いると、パン駆動させた場合には画像が斜めに歪み、チルト駆動させた場合には画像が伸び縮みする、ローリングシャッタ歪みが生じるために、ローリングシャッタ歪み補正を行うことが有効である。 It is known that CMOS sensors used in imaging devices have a readout lag between the top and bottom of the sensor. If such a CMOS sensor is used in a camera capable of pan-tilt driving, the image will be distorted diagonally when panned, and the image will stretch and shrink when tilted, resulting in rolling shutter distortion, so it is effective to perform rolling shutter distortion correction.
近年、パンチルト駆動が可能なカメラでは、被写体を自動で追尾できるような追尾機能を備えている。このようなカメラで、追尾中のカメラの動きに応じてローリングシャッタ歪み補正を行ってしまうと、追尾対象の被写体の歪みが更に増してしまう。これは、追尾中にカメラの動きに応じてローリングシャッタ歪み補正を行ったことに起因する。すなわち、追尾対象の被写体の速度と合わせるようにパンチルト駆動することで、被写体が画面内の所定位置で静止しているように見える。相対的に静止している被写体であればローリングシャッタ歪みが生じず、ローリングシャッタ歪み補正を行う必要がないにも関わらず補正を行ってしまうためである。 In recent years, cameras capable of pan-tilt driving have been equipped with a tracking function that allows them to automatically track a subject. With such a camera, if rolling shutter distortion correction is performed in accordance with the movement of the camera during tracking, the distortion of the subject being tracked will increase further. This is due to the rolling shutter distortion correction being performed in accordance with the movement of the camera during tracking. In other words, by performing pan-tilt driving to match the speed of the subject being tracked, the subject will appear to be stationary at a specified position within the screen. This is because if the subject is relatively stationary, no rolling shutter distortion will occur, and rolling shutter distortion correction will be performed even though it is not necessary.
特許文献1には、動き検出手段により検出された動き量と、合焦検出手段により検出された合焦度合いから、ローリングシャッタ方式に起因する歪みの補正量を決定し、画像の各ラインの読み出し位置を変更することで歪みの補正を行う撮像装置が開示されている。 Patent document 1 discloses an imaging device that determines the amount of correction for distortion caused by the rolling shutter method based on the amount of motion detected by a motion detection means and the degree of focus detected by a focus detection means, and corrects the distortion by changing the readout position of each line of the image.
しかしながら、特許文献1では、合焦度合いによって追従していると判断した場合にローリングシャッタ歪み補正を行わないようにしているが、実際に追従していなかった場合には被写体が歪んでしまうおそれがある。
本発明は、上述したような問題点に鑑みてなされたものであり、被写体を追尾して撮影する場合にローリングシャッタ歪み補正をしたときの被写体の歪みを低減させることを目的とする。
However, in Patent Document 1, if it is determined that tracking is occurring based on the degree of focus, rolling shutter distortion correction is not performed, but if tracking is not actually occurring, there is a risk that the subject will be distorted.
The present invention has been made in consideration of the above-mentioned problems, and has an object to reduce distortion of a subject that occurs when rolling shutter distortion correction is performed when tracking and photographing the subject.
本発明は、ローリングシャッタ方式で画像を撮影する撮像装置であって、追尾して撮影する被写体の情報を取得する第1の取得手段と、前記撮像装置のパン駆動およびチルト駆動のうちの少なくともいずれか一つの駆動の情報を取得する第2の取得手段と、前記第1の取得手段により取得された被写体の情報と、前記第2の取得手段により取得された駆動の情報とに基づいてローリングシャッタ歪み補正の補正強度を変更する変更手段と、前記変更手段により変更された補正強度によりローリングシャッタ歪み補正を行う補正手段と、を有し、前記第1の取得手段は、追尾して撮影する被写体の速度の情報を取得し、前記第2の取得手段は、前記駆動の情報としての駆動の速度の情報を取得し、前記変更手段は、前記第1の取得手段により取得された被写体の速度と、前記第2の取得手段により取得された駆動の速度との速度差が所定以上である場合には、速度差が所定未満である場合よりもローリングシャッタ歪み補正の補正強度を増加させることを特徴とする。 The present invention is an imaging device that captures images using a rolling shutter method, comprising a first acquisition means for acquiring information about a subject to be tracked and captured, a second acquisition means for acquiring information about at least one of pan drive and tilt drive of the imaging device, a change means for changing a correction intensity of rolling shutter distortion correction based on the subject information acquired by the first acquisition means and the drive information acquired by the second acquisition means, and a correction means for performing rolling shutter distortion correction using the correction intensity changed by the change means , wherein the first acquisition means acquires information about the speed of the subject to be tracked and captured, the second acquisition means acquires information about the drive speed as the drive information, and the change means increases the correction intensity of the rolling shutter distortion correction when a speed difference between the subject speed acquired by the first acquisition means and the drive speed acquired by the second acquisition means is equal to or greater than a predetermined value, compared to when the speed difference is less than the predetermined value .
本発明によれば、被写体を追尾して撮影する場合にローリングシャッタ歪み補正をしたときの被写体の歪みを低減させることができる。 The present invention makes it possible to reduce distortion of a subject when performing rolling shutter distortion correction when tracking and photographing the subject.
以下、本発明の好ましい実施形態について図面を参照して説明する。本実施形態では、撮像装置として、パン駆動およびチルト駆動が可能なカメラについて説明する。 A preferred embodiment of the present invention will be described below with reference to the drawings. In this embodiment, a camera capable of panning and tilting will be described as an imaging device.
<第1の実施形態>
図1は、カメラ100の構成の一例を示す図である。
カメラ100は、レンズ群101、光学フィルタ102、撮像素子103、AGC104、A/D変換部105、映像信号処理部106、露出制御部107、光学制御部108、動き情報取得部109、RS歪み補正量演算部110、映像信号出力部111を有する。また、カメラ100は、パンチルトモータ112、パンチルト駆動部113、パルス変調部114等を有する。
First Embodiment
FIG. 1 is a diagram showing an example of the configuration of a camera 100.
The camera 100 includes a
レンズ群101は、被写体からの光を撮像素子103上に集光する光学系である。レンズ群101には、被写体に対するピント合わせを行うフォーカスレンズ、画角を調整するズームレンズ等が含まれる。レンズ群101を通してカメラ100内に入射した光は光学フィルタ102を通過して撮像素子103で受光される。光学フィルタ102は、例えば赤外線カットフィルタ(IRCF)等が用いられる。映像情報は、撮像素子103の受光面の画素毎に所定の順序で配列されたカラーフィルタを通り、撮像素子103で結像される。撮像素子103は、撮影対象の映像情報をアナログ信号として出力する。撮像素子103は、ローリングシャッタ方式で撮影するCMOSセンサである。撮像素子103で出力された映像は、AGC104でゲインコントロールされて映像信号の輝度の調整が行われる。輝度の調整が行われた映像信号は、A/D変換部105でアナログ撮像信号からデジタル撮像信号に変換される。
The
映像信号処理部106は、A/D変換部105で変換されたデジタル撮像信号に所定の処理を施し、画素毎に輝度信号と色信号とを出力する。映像信号処理部106は、出力用の映像を生成すると共に、カメラ制御を行うための各パラメータを生成する。カメラ制御を行うための各パラメータとして、例えば絞りの制御、ピント合わせの制御、色味を調整するホワイトバランス制御等に用いられる。
The video
露出制御部107は、映像信号処理部106から出力される輝度情報から撮影画面内の輝度情報を算出し、撮影画像を所望の明るさに調整するために絞りおよびAGC104を制御する。
また、ピント合わせは、映像信号処理部106で生成された映像信号から高周波成分を抜き出し、高周波成分の値をフォーカスピント情報(フォーカス評価値)として、フォーカス評価値が最大となるように光学制御部108によりレンズ群101を制御する。また、光学制御部108は光学フィルタ102の挿抜動作も行う。
The
For focusing, high frequency components are extracted from the video signal generated by the video
パルス変調部114は、PWM波形に変換してパンチルト駆動部113に出力する。パンチルト駆動部113は、パンチルトモータ112を駆動する。パンチルトモータ112が駆動されることによって、レンズ群101とセンサとを含む撮像光学系がパンチルト方向に移動する。
The
動き情報取得部109は、映像信号処理部106から出力された映像信号に基づいて、追尾する被写体の情報を取得する。被写体の情報には、例えば、追尾する被写体の移動方向や移動速度等の動き情報が含まれる。
ローリングシャッタ歪み補正量演算部110は、パンチルト駆動部113から取得したパンチルト駆動の情報と、動き情報取得部109で取得された追尾対象の被写体の情報とに基づいてローリングシャッタ歪み補正の補正強度を変更して、補正量を算出する。
映像信号出力部111は、ローリングシャッタ歪み補正量演算部110により算出された補正量に基づいて幾何変換を行うことで、ローリングシャッタ歪み補正を行う。映像信号出力部111は補正した後の映像信号を出力する。
The motion
The rolling shutter distortion correction
The video
<第1の実施形態>
第1の実施形態では、追尾対象の被写体の情報と、パンチルト駆動の情報とに基づいてローリングシャッタ歪み補正の補正強度を変更する場合について説明する。
図2は、第1の実施形態のカメラ100の動作を示すフローチャートである。図2のフローチャートは、カメラ100の電源がオンされることで開始される。
First Embodiment
In the first embodiment, a case will be described in which the correction strength of the rolling shutter distortion correction is changed based on information about a subject to be tracked and information about pan/tilt driving.
Fig. 2 is a flowchart showing the operation of the camera 100 of the first embodiment. The flowchart in Fig. 2 starts when the power of the camera 100 is turned on.
S201では、動き情報取得部109は、追尾する対象(追尾対象)の被写体を検出する。具体的に、動き情報取得部109は、画像内の人や車等の動体を物体認識で認識し、認識した動体を追尾対象の被写体として検出する。なお、動き情報取得部109は、ユーザにより手動で選択された画像内の被写体を、追尾対象の被写体として検出してもよい。
In S201, the motion
S202では、動き情報取得部109は、検出した追尾対象の被写体の情報を取得する。具体的には、動き情報取得部109は、現フレームと前フレームとの背景差分等を比較することで、追尾対象の被写体の画面内での動きベクトル量を算出する。また、動き情報取得部109は、算出された動きベクトル量から追尾対象の被写体の移動方向および被写体の速度を算出する。
In S202, the motion
図3(a)は、前フレーム301の一例を示す図である。
前フレーム301では、パンが右から左に駆動し、パン駆動の速度と、右から左へ移動する追尾対象の被写体302の速度とが一致しているため、被写体302が画像の中央に位置している状態である。パン駆動の速度と、追尾対象の被写体302の速度とが同一速度で移動しているために追尾対象の被写体302は静止しているように見える。この場合、ローリングシャッタ歪み補正を行っていない状態であれば、追尾対象の被写体302は斜めに歪むことなく撮影されている。
FIG. 3A is a diagram showing an example of a
In the
図3(b)は、現フレーム303の一例を示す図である。
現フレーム303では、パンが右から左に駆動し、追尾対象の被写体304が前フレーム301までの速度とは異なる速度、すなわちこの場合低速で移動したことによって、パン駆動の速度と、追尾対象の被写体の速度とに差異が生じている。したがって、追尾対象の被写体304が画像の中央に位置ではなく端に位置している状態である。この状態で、前フレーム301と同様にローリングシャッタ歪み補正を行わない場合には、追尾対象の被写体304が歪んで撮影されてしまう。このように歪んで撮影されるのは、パン駆動の速度と追尾対象の被写体304の速度とに差異が生じたため、追尾対象の被写体304が静止して見えなくなってしまったためである。
FIG. 3B is a diagram showing an example of the
In the
ここで、S202において算出される、パン駆動に対して相対的な追尾対象の被写体の移動方向は、図3(a)、図3(b)の場合は右であり、被写体の速度は算出されたベクトル量とフレームレート等を用いて算出することができる。左向きをプラスの速度、右向きをマイナスの速度とすると、図3(a)、図3(b)の場合には、追尾対象の被写体が相対的に右方向に移動しているため被写体の速度はマイナスとなる。 Here, the movement direction of the subject to be tracked relative to the pan drive, calculated in S202, is to the right in the cases of Figures 3(a) and 3(b), and the speed of the subject can be calculated using the calculated vector amount and the frame rate, etc. If a leftward direction is a positive speed and a rightward direction is a negative speed, then in the cases of Figures 3(a) and 3(b), the subject to be tracked is moving relatively to the right, so the speed of the subject is negative.
S203では、RS歪み補正量演算部110は、パンチルト駆動部113からパンチルト駆動の情報を取得する。具体的には、RS歪み補正量演算部110は、パンチルト駆動部113からパン駆動の駆動方向の情報を取得する。RS歪み補正量演算部110は、パンチルト駆動部113がパンを右向きに駆動している場合には右向きの情報を取得し、パンを左向きに駆動している場合には左向きの情報を取得する。図3(a)、図3(b)の場合には右から左へ移動しており、左向きの情報が取得される。なお、左向きをプラス、右向きをマイナスとしているので、この場合の駆動速度はプラスとなる。
In S203, the RS distortion correction
S204では、RS歪み補正量演算部110は、S202で取得した追尾対象の被写体の移動方向と、S203で取得したパン駆動の駆動方向とを比較する。追尾対象の被写体の移動方向と、パン駆動の駆動方向とが同一の場合には、ローリングシャッタ歪み補正の補正強度を変更せず終了する。一方、追尾対象の被写体の移動方向と、パン駆動の駆動方向とが異なる場合にはS205に進む。
In S204, the RS distortion correction
S205では、RS歪み補正量演算部110は、パン駆動の速度から追尾対象の被写体の速度を減算した値が所定以上であるか否かを判定する。RS歪み補正量演算部110は、パンチルト駆動部113からパン駆動の速度を取得することができる。なお、RS歪み補正量演算部110は、ジャイロセンサの値を用いてパン駆動の速度を算出してもよい。パン駆動の速度から追尾対象の被写体の速度を減算した値が所定以上ではない場合には、ローリングシャッタ歪み補正の補正強度を変更せず終了する。一方、パン駆動の速度から追尾対象の被写体の速度を減算した値が所定以上の場合には、追尾対象の被写体の速度と、パン駆動の速度との差異によって被写体が静止しているようには見えなくなり歪んでしまうため、歪みを防止するためにS206に進む。
In S205, the RS distortion correction
S206では、RS歪み補正量演算部110は、ローリングシャッタ歪み補正の補正強度を増加させて、補正量を算出する。すなわち、RS歪み補正量演算部110は、パン駆動の速度から追尾対象の被写体の速度を減算した値が所定未満である場合よりも、ローリングシャッタ歪み補正の補正強度を増加させる。映像信号出力部111は、ローリングシャッタ歪み補正量演算部110により算出された補正量に基づいて幾何変換を行うことで、ローリングシャッタ歪み補正を行う。
図4は、ローリングシャッタ歪み補正を行って表示されたフレーム401の一例を示す図である。図4に示すように、ローリングシャッタ歪み補正の補正強度を増加させることで、追尾対象の被写体の速度とパン駆動の速度とに差異が生じて被写体402が端に位置しても歪みのない被写体402を撮影することができる。
In S206, the RS distortion correction
Fig. 4 is a diagram showing an example of a
本実施形態によれば、パン駆動の情報と、追尾して撮影する被写体の情報とに基づいてローリングシャッタ歪み補正の補正強度を変更することでローリングシャッタ歪み補正をしたときの被写体の歪みを低減させることができる。 According to this embodiment, the correction strength of the rolling shutter distortion correction is changed based on the pan drive information and the information of the subject being tracked and photographed, thereby making it possible to reduce the distortion of the subject when rolling shutter distortion correction is performed.
なお、本実施形態では、追尾対象の被写体の移動方向と、パン駆動の駆動方向とが異なる場合の方が速度差が大きくなるために、ローリングシャッタ歪み補正の補正強度を増加させている。しかしながら、追尾対象の被写体の移動方向と、パン駆動の駆動方向とが同一の場合であっても速度差が生じている場合にはローリングシャッタ歪み補正の補正強度を増加させるようにしてもよい。すなわち、パン駆動の速度と、被写体の速度との速度差が所定以上である場合には、ローリングシャッタ歪み補正の補正強度を増加させるようにしてもよい。 In this embodiment, the correction strength of the rolling shutter distortion correction is increased because the speed difference is greater when the moving direction of the subject to be tracked is different from the driving direction of the pan drive. However, even if the moving direction of the subject to be tracked is the same as the driving direction of the pan drive, the correction strength of the rolling shutter distortion correction may be increased if a speed difference occurs. In other words, if the speed difference between the speed of the pan drive and the speed of the subject is equal to or greater than a predetermined value, the correction strength of the rolling shutter distortion correction may be increased.
また、本実施形態では、対象の被写体を追尾する場合について説明したが、被写体を追尾せずにパン駆動している場合には、RS歪み補正量演算部110は、被写体を追尾してパン駆動している場合よりもローリングシャッタ歪み補正の補正強度を増加させてもよい。
また、本実施形態では、パン駆動の場合について説明したが、この場合に限られず、パン駆動およびチルト駆動のうち少なくとも何れかの駆動(パンチルト駆動)の場合でも同様に適用することができる。
In addition, in this embodiment, the case where a target subject is tracked has been described, but when panning is performed without tracking a subject, the RS distortion correction
Furthermore, in this embodiment, the case of pan driving has been described, but the present invention is not limited to this case, and can be similarly applied to at least one of pan driving and tilt driving (pan-tilt driving).
<第2の実施形態>
第2の実施形態では、追尾対象の被写体の位置の情報に基づいてローリングシャッタ歪み補正の補正強度を変更する場合について説明する。
図5は、第2の実施形態のカメラ100の動作を示すフローチャートである。なお、図5のフローチャートは、カメラ100の電源がオンされることで開始される。
Second Embodiment
In the second embodiment, a case will be described in which the correction strength of the rolling shutter distortion correction is changed based on information about the position of a subject to be tracked.
Fig. 5 is a flowchart showing the operation of the camera 100 according to the second embodiment. The flowchart in Fig. 5 starts when the power of the camera 100 is turned on.
S501では、RS歪み補正量演算部110は、パンチルト駆動部113からパンチルト駆動の情報を取得する。具体的には、RS歪み補正量演算部110は、パンチルト駆動部113の状態の情報を取得して、パンチルト駆動が駆動中であるか否かを判定する。パンチルト駆動部113が駆動中ではない場合にはローリングシャッタ歪み補正の補正強度を変更することなく終了する。一方、パンチルト駆動部113が駆動中の場合にはS502に進む。
In S501, the RS distortion correction
S502では、動き情報取得部109は、追尾対象の被写体の情報を取得する。具体的には、動き情報取得部109は、追尾対象の被写体の画像内での位置を確認する。
S503では、動き情報取得部109は、被写体の位置が画像内で同じ位置であるか否かを判定する。例えば、動き情報取得部109は動体検出や物体認識した動体の重心位置が前フレームと現フレームとを比較して所定のピクセル数以内に位置する場合に、被写体の位置が画像内で同じ位置であると判定する。被写体の位置が画像内で同じ位置である場合には追尾対象の被写体を追尾していると考えられ、被写体が静止しているように見える。被写体の位置が画像内で異なる位置である場合にはローリングシャッタ歪み補正の補正強度を変更しないで終了する。一方、被写体の位置が画像内で同じ位置である場合にはS504に進む。
In S502, the movement
In S503, the motion
S504では、RS歪み補正量演算部110は、ローリングシャッタ歪み補正の補正強度を低下させて、補正量を算出する。すなわち、RS歪み補正量演算部110は、被写体の位置が画像内で異なる位置である場合よりも、ローリングシャッタ歪み補正の補正強度を低下させる。
In S504, the RS distortion correction
本実施形態によれば、被写体の位置が画像内で同じ位置である場合には、ローリングシャッタ歪み補正の補正強度を低下させることで、ローリングシャッタ歪み補正による被写体の歪みを防止することができる。
なお、本実施形態では、対象の被写体を追尾する場合について説明したが、被写体を追尾せずにパン駆動している場合に、被写体の位置が画像内で同じ位置である場合にも適用することができる。
また、本実施形態では、S503からNOに進むことでローリングシャッタ歪み補正の補正強度を変更しないで終了する場合について説明したが、S503からNOに進むことで図2のフローチャートを実行するなどして適宜、他の実施形態と組み合わせてもよい。
According to this embodiment, when the position of the subject is the same within an image, the correction strength of the rolling shutter distortion correction is reduced, thereby making it possible to prevent distortion of the subject due to the rolling shutter distortion correction.
In this embodiment, the case where a target subject is tracked has been described, but the present invention can also be applied to a case where the subject is not tracked but is panned and the position of the subject remains the same within the image.
In addition, in this embodiment, the case has been described where the process proceeds from S503 to NO to end the process without changing the correction intensity of the rolling shutter distortion correction. However, the process may be combined with other embodiments as appropriate, for example by proceeding from S503 to NO to execute the flowchart of FIG. 2.
<第3の実施形態>
以下の実施形態では、追尾対象の被写体の情報に基づいてローリングシャッタ歪み補正の補正強度を変更する。第3の実施形態では、追尾対象の被写体の種類に基づいてローリングシャッタ歪み補正の補正強度を変更する場合について説明する。
Third Embodiment
In the following embodiments, the correction strength of the rolling shutter distortion correction is changed based on information about the subject to be tracked. In a third embodiment, a case will be described in which the correction strength of the rolling shutter distortion correction is changed based on the type of subject to be tracked.
S601では、動き情報取得部109は、追尾対象の被写体の情報を取得する。具体的には、動き情報取得部109は、追尾対象の被写体の種類の情報を取得する。
S602では、動き情報取得部109は、被写体の種類が人であるか否かを判定する。被写体の種類が人以外(例えば、車両等の乗り物)である場合にはローリングシャッタ歪み補正の補正強度を変更しないで終了する。一方、被写体の種類が人である場合には603に進む。
In S601, the movement
In S602, the motion
S603では、RS歪み補正量演算部110は、ローリングシャッタ歪み補正の補正強度を低下させて、補正量を算出する。すなわち、RS歪み補正量演算部110は、被写体の種類が人以外である場合よりも、ローリングシャッタ歪み補正の補正強度を低下させる。
In S603, the RS distortion correction
本実施形態によれば、被写体が人である場合には、ローリングシャッタ歪み補正の補正強度を低下させることで、ローリングシャッタ歪み補正による被写体の歪みを少なくして人の顔を認識しやすくすることができる。
なお、図6のフローチャートは、上述した図2のフローチャートのS201とS202との間に追加し、S602からNOに分岐した場合にS202に進むなどして適宜、他の実施形態と組み合わせてもよい。
According to this embodiment, when the subject is a person, the correction strength of the rolling shutter distortion correction is reduced, thereby reducing the distortion of the subject caused by the rolling shutter distortion correction and making the person's face easier to recognize.
The flowchart in FIG. 6 may be added between S201 and S202 in the flowchart in FIG. 2 described above, and may be appropriately combined with other embodiments by, for example, proceeding to S202 when branching to NO from S602.
<第4の実施形態>
第4の実施形態では、追尾対象の被写体の大きさに基づいてローリングシャッタ歪み補正の補正強度を変更する場合について説明する。
Fourth Embodiment
In the fourth embodiment, a case will be described in which the correction strength of the rolling shutter distortion correction is changed based on the size of the subject to be tracked.
S701では、動き情報取得部109は、追尾対象の被写体の情報を取得する。具体的には、動き情報取得部109は、追尾対象の被写体の大きさの情報を取得する。
S702では、動き情報取得部109は、被写体の大きさが所定以上であるか否かを判定する。被写体の大きさが所定未満である場合にはローリングシャッタ歪み補正の補正強度を変更しないで終了する。一方、被写体の大きさが所定以上である場合にはS703に進む。
In S701, the motion
In S702, the motion
S703では、RS歪み補正量演算部110は、ローリングシャッタ歪み補正の補正強度を低下させて、補正量を算出する。すなわち、RS歪み補正量演算部110は、被写体の大きさが所定未満である場合よりも、ローリングシャッタ歪み補正の補正強度を低下させる。
なお、図7のフローチャートは、上述した図2のフローチャートのS201とS202との間に追加し、S702からNOに分岐した場合にS202に進むなどして適宜、他の実施形態と組み合わせてもよい。
In S703, the RS distortion correction
The flowchart in FIG. 7 may be added between S201 and S202 in the flowchart in FIG. 2 described above, and may be combined with other embodiments as appropriate by, for example, proceeding to S202 when branching to NO from S702.
<第5の実施形態>
第5の実施形態では、追尾対象の被写体の位置に基づいてローリングシャッタ歪み補正の補正強度を変更する場合について説明する。
Fifth embodiment
In the fifth embodiment, a case will be described in which the correction strength of the rolling shutter distortion correction is changed based on the position of a subject to be tracked.
S801では、動き情報取得部109は、追尾対象の被写体の情報を取得する。具体的には、動き情報取得部109は、追尾対象の被写体の位置の情報を取得する。
S802では、動き情報取得部109は、被写体の位置が画面外に外れたか否かを判定する。被写体の位置が画面外に外れておらず画面内に存在している場合には、補正強度が適切な強度になるように変更する。一方、被写体の位置が画面外に外れて存在しない場合にはS803に進む。
In S801, the movement
In S802, the motion
S803では、RS歪み補正量演算部110は、ローリングシャッタ歪み補正が所定以上の強度で有効になっていれば、ローリングシャッタ歪み補正の補正強度を変更しないで終了する。したがって、ローリングシャッタ歪み補正を行うことで、背景等の被写体が歪むのを抑制することができる。
なお、図8のフローチャートは、上述した図2のフローチャートのS201とS202との間に追加し、S802からNOに分岐した場合にS202に進むなどして適宜、他の実施形態と組み合わせてもよい。
In S803, if the rolling shutter distortion correction is enabled with a strength equal to or greater than a predetermined strength, the RS distortion correction
The flowchart in FIG. 8 may be added between S201 and S202 in the flowchart in FIG. 2 described above, and may be appropriately combined with other embodiments by, for example, proceeding to S202 when branching to NO from S802.
<第6の実施形態>
第6の実施形態では、追尾対象の被写体以外の被写体に基づいてローリングシャッタ歪み補正の補正強度を変更する場合について説明する。
Sixth embodiment
In the sixth embodiment, a case will be described in which the correction strength of the rolling shutter distortion correction is changed based on a subject other than the subject to be tracked.
S901では、動き情報取得部109は、被写体の情報を取得する。具体的には、動き情報取得部109は、追尾対象の被写体以外の被写体を検出する。
S902では、動き情報取得部109は、追尾対象の被写体以外の被写体が画面内に存在するか否かを判定する。追尾対象の被写体以外の被写体が存在しない場合には、補正強度が適切な強度になるように変更する。一方、追尾対象の被写体以外の被写体が存在する場合にはS903に進む。
In S901, the motion
In S902, the motion
S903では、RS歪み補正量演算部110は、ローリングシャッタ歪み補正が所定以上の強度で有効になっていれば、ローリングシャッタ歪み補正の補正強度を変更しないで終了する。
なお、図9のフローチャートは、上述した図2のフローチャートのS201とS202との間に追加し、S902からNOに分岐した場合にS202に進むなどして適宜、他の実施形態と組み合わせてもよい。
In S903, if the rolling shutter distortion correction is enabled with a strength equal to or greater than a predetermined strength, the RS distortion correction
The flowchart in FIG. 9 may be added between S201 and S202 in the flowchart in FIG. 2 described above, and may be appropriately combined with other embodiments by, for example, proceeding to S202 when branching to NO from S902.
<第7の実施形態>
第7の実施形態では、追尾対象の被写体の動作に基づいてローリングシャッタ歪み補正の補正強度を変更する場合について説明する。
Seventh embodiment
In the seventh embodiment, a case will be described in which the correction strength of the rolling shutter distortion correction is changed based on the movement of a subject to be tracked.
S1001では、動き情報取得部109は、追尾対象の被写体の情報を取得する。具体的には、動き情報取得部109は、追尾対象の被写体の動作の情報を取得する。
S1002では、動き情報取得部109は、被写体の動作が歩きであるか否かを判定する。被写体の動作が歩きではない場合にはローリングシャッタ歪み補正の補正強度を変更しないで終了する。一方、被写体の動作が歩きである場合にはS1003に進む。
In S1001, the movement
In S1002, the motion
S1003では、RS歪み補正量演算部110は、ローリングシャッタ歪み補正の補正強度を低下させて、補正量を算出する。すなわち、RS歪み補正量演算部110は、被写体の動作が歩き以外である場合よりも、ローリングシャッタ歪み補正の補正強度を低下させる。
なお、図10のフローチャートは、上述した図2のフローチャートのS201とS202との間に追加し、S1002からNOに分岐した場合にS202に進むなどして適宜、他の実施形態と組み合わせてもよい。
In S1003, the RS distortion correction
The flowchart in FIG. 10 may be added between S201 and S202 in the flowchart in FIG. 2 described above, and may be appropriately combined with other embodiments by, for example, proceeding to S202 when branching to NO from S1002.
<その他の実施形態>
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するプログラムをネットワークまたは各種記録媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ(CPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、該プログラムおよび該プログラムを格納した記録媒体は本発明を構成する。
<Other embodiments>
The present invention can also be realized by executing the following process. That is, a program for realizing the functions of the above-described embodiment is supplied to a system or device via a network or various recording media, and a computer (CPU, MPU, etc.) of the system or device reads and executes the program code. In this case, the program and the recording media on which the program is stored constitute the present invention.
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、本発明の範囲内で変更等が可能であり、上述した実施形態を適時組み合わせてもよい。 Although the preferred embodiment of the present invention has been described in detail above, the present invention is not limited to the specific embodiment, and modifications and the like are possible within the scope of the present invention, and the above-mentioned embodiments may be combined as appropriate.
100:カメラ 103:撮像素子 109:動き情報取得部 110:RS歪み補正量演算部 111:映像信号出力部 100: Camera 103: Image sensor 109: Motion information acquisition unit 110: RS distortion correction amount calculation unit 111: Video signal output unit
Claims (11)
追尾して撮影する被写体の情報を取得する第1の取得手段と、
前記撮像装置のパン駆動およびチルト駆動のうちの少なくともいずれか一つの駆動の情報を取得する第2の取得手段と、
前記第1の取得手段により取得された被写体の情報と、前記第2の取得手段により取得された駆動の情報とに基づいてローリングシャッタ歪み補正の補正強度を変更する変更手段と、
前記変更手段により変更された補正強度によりローリングシャッタ歪み補正を行う補正手段と、を有し、
前記第1の取得手段は、追尾して撮影する被写体の速度の情報を取得し、
前記第2の取得手段は、前記駆動の情報としての駆動の速度の情報を取得し、
前記変更手段は、
前記第1の取得手段により取得された被写体の速度と、前記第2の取得手段により取得された駆動の速度との速度差が所定以上である場合には、速度差が所定未満である場合よりもローリングシャッタ歪み補正の補正強度を増加させることを特徴とする撮像装置。 An imaging device that captures images using a rolling shutter system,
A first acquisition means for acquiring information of a subject to be tracked and photographed;
a second acquisition means for acquiring information on at least one of pan driving and tilt driving of the imaging device;
a change unit that changes a correction intensity of the rolling shutter distortion correction based on the information of the object acquired by the first acquisition unit and the information of the drive acquired by the second acquisition unit;
a correction unit that performs rolling shutter distortion correction using the correction strength changed by the change unit ,
the first acquisition means acquires information on the speed of a subject to be tracked and photographed;
the second acquisition means acquires information on a speed of the drive as the drive information,
The change means is
An imaging device characterized in that, when a speed difference between the subject speed acquired by the first acquisition means and the drive speed acquired by the second acquisition means is equal to or greater than a predetermined value, the correction strength of rolling shutter distortion correction is increased compared to when the speed difference is less than the predetermined value .
前記第2の取得手段は、前記駆動の情報に基づく駆動方向の情報を取得し、
前記変更手段は、
前記第1の取得手段により取得された被写体の移動方向と、前記第2の取得手段により取得された駆動方向とに基づいてローリングシャッタ歪み補正の補正強度を変更することを特徴とする請求項1に記載の撮像装置。 the first acquisition means acquires information on a moving direction of a subject to be tracked and photographed;
the second acquisition means acquires information on a driving direction based on the information on the driving;
The change means is
2. The imaging device according to claim 1, wherein a correction strength of rolling shutter distortion correction is changed based on the moving direction of the subject acquired by the first acquisition means and the driving direction acquired by the second acquisition means.
被写体を追尾せずに駆動する場合には被写体を追尾して駆動する場合よりもローリングシャッタ歪み補正の補正強度を増加させることを特徴とする請求項1または2に記載の撮像装置。 The change means is
3. The imaging apparatus according to claim 1, wherein when the imaging apparatus is driven without tracking the subject, the correction strength of the rolling shutter distortion correction is increased compared to when the imaging apparatus is driven with tracking the subject.
前記第2の取得手段は、パン駆動およびチルト駆動のうちの少なくともいずれか一つの駆動の状態の情報を取得し、
前記変更手段は、
前記第2の取得手段により取得された、前記撮像装置のパン駆動およびチルト駆動の少なくとも一方の駆動の状態が駆動中であって、前記第1の取得手段により取得された被写体の位置が画像内で同じ位置である場合には、異なる位置である場合よりもローリングシャッタ歪み補正の補正強度を低下させることを特徴とする請求項1ないし3の何れか1項に記載の撮像装置。 the first acquisition means acquires information on a position of a subject to be tracked and photographed;
the second acquisition means acquires information on a state of at least one of pan driving and tilt driving,
The change means is
The imaging device according to any one of claims 1 to 3, characterized in that when the driving state of at least one of the pan drive and tilt drive of the imaging device acquired by the second acquisition means is in operation and the position of the subject acquired by the first acquisition means is the same position in the image, the correction strength of the rolling shutter distortion correction is reduced compared to when the position is different.
前記変更手段は、
前記第1の取得手段により取得された被写体の大きさに基づいてローリングシャッタ歪み補正の補正強度を変更することを特徴とする請求項1ないし4の何れか1項に記載の撮像装置。 the first acquisition means acquires information on the size of a subject to be tracked and photographed;
The change means is
5. The imaging apparatus according to claim 1 , wherein a correction strength of the rolling shutter distortion correction is changed based on the size of the subject acquired by the first acquisition means.
前記第1の取得手段により取得された被写体の大きさが所定以上である場合には、所定未満である場合よりもローリングシャッタ歪み補正の補正強度を低下させることを特徴とする請求項5に記載の撮像装置。 The change means is
6. The imaging device according to claim 5, wherein when the size of the subject acquired by the first acquisition means is equal to or larger than a predetermined size, the correction strength of the rolling shutter distortion correction is lowered compared to when the size is less than the predetermined size.
前記変更手段は、
前記第1の取得手段により取得された被写体の位置が画面外に外れた場合には、ローリングシャッタ歪み補正の補正強度を変更しないことを特徴とする請求項1ないし6の何れか1項に記載の撮像装置。 the first acquisition means acquires information on a position of a subject to be tracked and photographed;
The change means is
7. The imaging device according to claim 1 , wherein when the position of the subject acquired by the first acquisition means is outside the screen, the correction strength of the rolling shutter distortion correction is not changed.
前記変更手段は、
前記第1の取得手段により取得された、追尾して撮影する被写体以外の被写体が存在する場合には、ローリングシャッタ歪み補正の補正強度を変更しないことを特徴とする請求項1ないし7の何れか1項に記載の撮像装置。 the first acquisition means acquires information of a subject other than a subject to be tracked and photographed;
The change means is
The imaging device according to any one of claims 1 to 7, characterized in that when there is a subject other than the subject to be tracked and photographed, which is acquired by the first acquisition means, the correction strength of the rolling shutter distortion correction is not changed.
追尾して撮影する被写体の情報を取得する第1の取得ステップと、
前記撮像装置のパン駆動およびチルト駆動のうちの少なくともいずれか一つの駆動の情報を取得する第2の取得ステップと、
前記第1の取得ステップにより取得された被写体の情報と、前記第2の取得ステップにより取得された駆動の情報とに基づいてローリングシャッタ歪み補正の補正強度を変更する変更ステップと、
前記変更ステップにより変更された補正強度によりローリングシャッタ歪み補正を行う補正ステップと、を有し、
前記第1の取得ステップでは、追尾して撮影する被写体の速度の情報を取得し、
前記第2の取得ステップでは、前記駆動の情報としての駆動の速度の情報を取得し、
前記変更ステップでは、
前記第1の取得ステップにより取得された被写体の速度と、前記第2の取得ステップにより取得された駆動の速度との速度差が所定以上である場合には、速度差が所定未満である場合よりもローリングシャッタ歪み補正の補正強度を増加させることを特徴とする撮像装置の制御方法。 A method for controlling an imaging device that captures images using a rolling shutter system, comprising:
A first acquisition step of acquiring information of a subject to be tracked and photographed;
a second acquisition step of acquiring information on at least one of pan driving and tilt driving of the imaging device;
a changing step of changing a correction intensity of the rolling shutter distortion correction based on the information of the object acquired in the first acquiring step and the information of the drive acquired in the second acquiring step;
a correction step of performing rolling shutter distortion correction using the correction strength changed by the change step ,
In the first acquisition step, information on the speed of a subject to be tracked and photographed is acquired;
In the second acquisition step, information on a driving speed is acquired as the driving information,
In the changing step,
A method for controlling an imaging device, characterized in that when a speed difference between the subject speed acquired by the first acquisition step and the drive speed acquired by the second acquisition step is a predetermined value or more, the correction strength of rolling shutter distortion correction is increased compared to when the speed difference is less than the predetermined value .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020076074A JP7532076B2 (en) | 2020-04-22 | 2020-04-22 | Imaging device, control method thereof, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020076074A JP7532076B2 (en) | 2020-04-22 | 2020-04-22 | Imaging device, control method thereof, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021175046A JP2021175046A (en) | 2021-11-01 |
| JP7532076B2 true JP7532076B2 (en) | 2024-08-13 |
Family
ID=78279998
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020076074A Active JP7532076B2 (en) | 2020-04-22 | 2020-04-22 | Imaging device, control method thereof, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7532076B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4483580A4 (en) * | 2021-12-31 | 2025-10-08 | Qualcomm Inc | IMAGE CORRECTION BASED ON ACTIVITY DETECTION |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018019293A (en) | 2016-07-28 | 2018-02-01 | キヤノン株式会社 | Imaging apparatus, control method of the same, program, and storage medium |
| JP2019149602A (en) | 2018-02-26 | 2019-09-05 | キヤノン株式会社 | Imaging apparatus |
-
2020
- 2020-04-22 JP JP2020076074A patent/JP7532076B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018019293A (en) | 2016-07-28 | 2018-02-01 | キヤノン株式会社 | Imaging apparatus, control method of the same, program, and storage medium |
| JP2019149602A (en) | 2018-02-26 | 2019-09-05 | キヤノン株式会社 | Imaging apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021175046A (en) | 2021-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7995852B2 (en) | Imaging device and imaging method | |
| US7916182B2 (en) | Imaging device and method which performs face recognition during a timer delay | |
| US8325268B2 (en) | Image processing apparatus and photographing apparatus | |
| CN107800957B (en) | Image pickup apparatus and motion vector detection method | |
| KR101142316B1 (en) | Image selection device and method for selecting image | |
| US8717490B2 (en) | Imaging apparatus, focusing method, and computer-readable recording medium recording program | |
| KR100906166B1 (en) | Digital imaging apparatus with camera shake compensation and adaptive sensitivity switching function | |
| CN109417593B (en) | Imaging device, operation method, image processing device, and image processing method | |
| US7817911B2 (en) | Photographic method and apparatus | |
| JP5013954B2 (en) | Imaging device | |
| JP2003224761A (en) | Imaging device | |
| JP2000188713A (en) | Automatic focus control device and its focusing operation determination method | |
| JP2006058431A (en) | Autofocusing system | |
| JP4645413B2 (en) | Imaging device | |
| JP6584259B2 (en) | Image blur correction apparatus, imaging apparatus, and control method | |
| JP7532076B2 (en) | Imaging device, control method thereof, and program | |
| KR101630307B1 (en) | A digital photographing apparatus, a method for controlling the same, and a computer-readable storage medium | |
| JP2004328606A (en) | Imaging device | |
| JP5219474B2 (en) | Imaging apparatus and control method thereof | |
| KR20090071324A (en) | Imaging Device and Imaging Method | |
| JP5320937B2 (en) | Focus detection apparatus and imaging apparatus | |
| JP2008090059A (en) | Imaging apparatus and autofocus control method thereof | |
| JP2017192027A (en) | Image processing apparatus, image processing method, and program | |
| JP6778014B2 (en) | Imaging device and its control method, program, storage medium | |
| JP4326997B2 (en) | Imaging apparatus, focusing method, control program, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230417 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240327 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240430 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240626 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240702 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240731 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7532076 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |