Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6501463B2 - Image pickup apparatus and control method thereof - Google Patents
[go: Go Back, main page]

JP6501463B2 - Image pickup apparatus and control method thereof - Google Patents

Image pickup apparatus and control method thereof Download PDF

Info

Publication number
JP6501463B2
JP6501463B2 JP2014163610A JP2014163610A JP6501463B2 JP 6501463 B2 JP6501463 B2 JP 6501463B2 JP 2014163610 A JP2014163610 A JP 2014163610A JP 2014163610 A JP2014163610 A JP 2014163610A JP 6501463 B2 JP6501463 B2 JP 6501463B2
Authority
JP
Japan
Prior art keywords
flicker
detection
imaging
timing
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014163610A
Other languages
Japanese (ja)
Other versions
JP2016039596A (en
JP2016039596A5 (en
Inventor
憲治 三輪
憲治 三輪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014163610A priority Critical patent/JP6501463B2/en
Publication of JP2016039596A publication Critical patent/JP2016039596A/en
Publication of JP2016039596A5 publication Critical patent/JP2016039596A5/ja
Application granted granted Critical
Publication of JP6501463B2 publication Critical patent/JP6501463B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Exposure Control For Cameras (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Studio Devices (AREA)

Description

本発明は、デジタルカメラ等の撮像装置及びその制御方法に関し、特に、蛍光灯等の人工光源下での撮影の際にフリッカーを検知し、フリッカーによる明暗の変化の少ないタイミングで露光を行う技術に関する。   The present invention relates to an imaging apparatus such as a digital camera and a control method thereof, and more particularly to a technology for detecting flicker when photographing under an artificial light source such as a fluorescent lamp and performing exposure at a timing with little change in brightness due to flicker. .

近年、デジタルカメラの撮像素子の高感度化に伴い、室内のような比較的暗い環境下においても高速のシャッタ速度でブレのない写真を撮影することができるようになってきている。ここで、室内光源として普及している蛍光灯では、電源(一般的に、商用電源)の周波数の影響により、周期的に照明光がゆらぐフリッカーと呼ばれる現象が生じる。そして、フリッカーが生じる光源(以下「フリッカー光源」と記す)下での高速シャッタ撮影では、フリッカーの影響によって、フレーム毎に画像の露出や色温度にばらつきが生じてしまい、また、1フレーム内で露出ムラや色ムラが発生してしまうことがある。   In recent years, with the increase in sensitivity of image sensors of digital cameras, it has become possible to take photographs without blur at high shutter speeds even in relatively dark environments such as indoors. Here, in a fluorescent lamp widely used as an indoor light source, a phenomenon called flickering of illumination light periodically occurs due to the influence of the frequency of a power source (generally, a commercial power source). In high-speed shutter shooting under a light source causing flicker (hereinafter referred to as "flicker light source"), the effects of the flicker cause variations in image exposure and color temperature for each frame, and within one frame. Uneven exposure or color unevenness may occur.

ここで、フリッカー光量のピーク近傍では明暗の変化は小さい。そこで、フリッカーの周期と位相を検知し、フリッカー光源からの光量(以下「フリッカー光量」という)のピークタイミングに合わせて露光を行うようにフリッカー同期信号を生成して撮影を行うフリッカー除去システムが提案されている(特許文献1参照)。   Here, the change in brightness is small near the peak of the flicker light amount. Therefore, a flicker removal system has been proposed that detects a flicker synchronization signal so as to detect a flicker cycle and a phase, and perform exposure in accordance with the peak timing of the light amount from the flicker light source (hereinafter referred to as "flicker light amount"). (See Patent Document 1).

特開2004−193922号公報JP 2004-193922 A

しかしながら、商用電源の周波数のゆらぎは、短い時間でみると±0.2Hz程度あると言われており、フリッカー光源の明滅周波数のゆらぎは、±0.4Hz程度ある。そのため、上記特許文献1に記載されたフリッカー除去システムでは、フリッカー検知から時間が経過すると、商用電源の周波数のゆらぎの影響で、フリッカー同期信号とフリッカー光量のピークタイミングとの関係がずれてくる。   However, the fluctuation of the frequency of the commercial power source is said to be about ± 0.2 Hz in a short time, and the fluctuation of the flicker frequency of the flicker light source is about ± 0.4 Hz. Therefore, in the flicker removal system described in Patent Document 1, as time passes from the flicker detection, the relationship between the flicker synchronization signal and the peak timing of the flicker light amount deviates due to the influence of the fluctuation of the frequency of the commercial power supply.

図9は、フリッカー光量、フリッカー同期信号及びシャッタ動作の関係と、シャッタ動作によって得られる撮影像(1フレームの画像)における輝度分布を模式的に示す図である。図9(a)〜(c)において、フリッカー同期信号からシャッタ動作までの時間は一定であり、シャッタ速度(露光時間)も一定である。図9(a),(b),(c)はそれぞれ、フリッカー検知から約100ms(ミリ秒),200ms,300msが経過したときの状態を示している。図9から、一度、フリッカー検知を行ってフリッカー同期信号のタイミングを算出しても、フリッカー検知からの時間の経過と共に、フリッカー光量のピークタイミングとシャッタ動作のタイミングとがずれてしまうことで、輝度分布の異なる撮影像となってしまうことがわかる。   FIG. 9 is a view schematically showing the relationship among the flicker light amount, the flicker synchronization signal, and the shutter operation, and the luminance distribution in a photographed image (an image of one frame) obtained by the shutter operation. 9A to 9C, the time from the flicker synchronization signal to the shutter operation is constant, and the shutter speed (exposure time) is also constant. FIGS. 9A, 9B, and 9C respectively show states when about 100 ms (milliseconds), 200 ms, and 300 ms have elapsed since the flicker detection. From FIG. 9, even if flicker detection is performed once to calculate the timing of the flicker synchronization signal, the peak timing of the flicker light amount deviates from the timing of the shutter operation with the passage of time from the flicker detection, so that the luminance is obtained. It turns out that it will become a photography image from which distribution differs.

本発明は、所定の周波数の電源により点灯するフリッカー光源下において、電源周波数のゆらぎによらず、安定した露出を行うことができる技術の提供することを目的とする。   An object of the present invention is to provide a technology capable of performing stable exposure regardless of fluctuations in power supply frequency under a flicker light source which is lit by a power supply of a predetermined frequency.

本発明に係る撮像装置は、撮像手段と、前記撮像手段を用いた複数回の電荷の蓄積と読み出しによる複数の出力に基づいてフリッカーを検知する検知手段と、を備える撮像装置であって、前記検知手段は、前記撮像手段を用いた第1の回数の電荷の蓄積と読み出しによる複数の出力に基づいて、フリッカーの周期とフリッカーの光量が所定値となるタイミングを検知する第1のフリッカー検知と、前記撮像手段を用いた前記第1の回数よりも少ない第2の回数の電荷の蓄積と読み出しによる複数の出力に基づいて、前記フリッカーの光量が所定値となるタイミングを検知する第2のフリッカー検知と、を実行することができ、前記第1のフリッカー検知によりフリッカーを検知しているときに、被写体を撮像するための本露光の撮像指示から該撮像指示に応じた露光開始までの期間と重なるタイミングで前記第2のフリッカー検知を実行することを特徴とする。 An imaging apparatus according to the present invention is an imaging apparatus including an imaging unit, and a detection unit that detects a flicker based on a plurality of outputs by accumulation and readout of a plurality of charges using the imaging unit. A detection unit configured to detect a timing at which the flicker cycle and the light amount of the flicker become a predetermined value based on a plurality of outputs by accumulation and readout of the first number of charges using the imaging unit; A second flicker detecting a timing at which the light quantity of the flicker becomes a predetermined value based on a plurality of outputs by accumulation and readout of a second number of times less than the first number of times using the imaging means and detection, can be performed and when it is detected flicker by the first flicker detection, the imaging instruction of the exposure for imaging a subject And executes the second flicker detection timing overlapping the period until the exposure start in response to the imaging instruction.

本発明によれば、フリッカー光源下において、電源周波数のゆらぎによらず、安定した露出を行うことができ、これにより、安定した撮像出力を得ることができる。   According to the present invention, stable exposure can be performed under flicker light sources regardless of fluctuations in the power supply frequency, whereby stable imaging output can be obtained.

本発明の実施形態に係るデジタルカメラの概略構成を示す図である。FIG. 1 is a diagram showing a schematic configuration of a digital camera according to an embodiment of the present invention. 図1のデジタルカメラでの撮影制御のフローチャートである。It is a flowchart of imaging | photography control with the digital camera of FIG. 周波数が50Hz,60Hzの各電源で点灯させたフリッカー光源に対する測光センサの電荷蓄積制御と出力測光値の推移を示す図である。It is a figure which shows transition of the charge accumulation control of the photometry sensor with respect to the flicker light source made to light with each power supply of frequency 50 Hz and 60 Hz, and an output photometry value. フリッカー光量のピークタイミング(位相)を算出する方法の一例を説明する図である。It is a figure explaining an example of the method of calculating the peak timing (phase) of flicker light volume. フリッカー同期信号とシャッタ開始信号の関係(タイミング)を示す図である。It is a figure which shows the relationship (timing) of a flicker synchronization signal and a shutter start signal. 図1のデジタルカメラのシャッタスイッチのSW2がオンされてから撮像素子による撮影動作が行われるまでの撮影シーケンスを示す第1の図である。It is a 1st figure which shows the imaging | photography sequence from the switch SW2 of shutter switch of the digital camera of FIG. 1 being turned on until imaging operation by an image pick-up element is performed. 図1のデジタルカメラのシャッタスイッチのSW2がオンされてから撮像素子による撮影動作が行われるまでの撮影シーケンスを示す第2の図である。It is a 2nd figure which shows the imaging | photography sequence from the switch SW2 of the shutter switch of the digital camera of FIG. 図2のステップS210での絞り動作と測光値に掛けるゲインとの関係を説明する図である。FIG. 3 is a view for explaining the relationship between the aperture operation in step S210 of FIG. フリッカー光量、フリッカー同期信号及びシャッタ動作の関係と、シャッタ動作によって得られる撮影像における輝度分布を模式的に示す図である。FIG. 7 is a view schematically showing the relationship between the flicker light amount, the flicker synchronization signal, and the shutter operation, and the luminance distribution in a photographed image obtained by the shutter operation.

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。ここでは、本発明に係る撮像装置として、所謂、デジタルカメラを取り上げることとする。但し、本発明はこれに限定されるものではなく、カメラ機能を備える各種の電子機器であってもよい。例えば、本発明に係る撮像装置は、携帯電話やスマートフォン等のカメラ機能付き携帯通信端末、カメラ機能付き携帯型コンピュータ、カメラ機能付き携帯ゲーム機等であってもよい。   Hereinafter, embodiments of the present invention will be described in detail with reference to the attached drawings. Here, a so-called digital camera is taken as an imaging device according to the present invention. However, the present invention is not limited to this, and may be various electronic devices having a camera function. For example, the imaging device according to the present invention may be a mobile communication terminal with a camera function such as a mobile phone or a smartphone, a mobile computer with a camera function, a mobile game machine with a camera function, or the like.

<デジタルカメラの概略構成>
図1は、本発明の実施形態に係るデジタルカメラ100の概略構成を示す図である。デジタルカメラ100は、大略的に、カメラ本体100A及びレンズ鏡筒100Bから構成される。撮像光学系であるレンズ鏡筒100Bは、カメラ本体100Aと一体となっていてもよいし、カメラ本体100Aに対して着脱自在であってもよい。
<Schematic Configuration of Digital Camera>
FIG. 1 is a view showing a schematic configuration of a digital camera 100 according to an embodiment of the present invention. The digital camera 100 generally includes a camera body 100A and a lens barrel 100B. The lens barrel 100B, which is an imaging optical system, may be integrated with the camera body 100A, or may be detachable from the camera body 100A.

カメラ本体100Aは、CPU101、メモリ102、撮像素子103、シャッタ104、ハーフミラー105、ピント板106、表示素子107及び測光センサ(AEセンサ)108を備える。また、カメラ本体100Aは、ペンタプリズム109、不図示の光学ファインダ、AF(自動合焦)センサ110、AFミラー111、ICPU112及びメモリ113を備える。レンズ鏡筒100Bは、複数のレンズ121と、不図示の絞りと、LPU122とを備える。   The camera body 100A includes a CPU 101, a memory 102, an imaging device 103, a shutter 104, a half mirror 105, a focusing plate 106, a display device 107, and a photometric sensor (AE sensor) 108. The camera body 100A further includes a pentaprism 109, an optical finder (not shown), an AF (automatic focusing) sensor 110, an AF mirror 111, an ICPU 112, and a memory 113. The lens barrel 100B includes a plurality of lenses 121, a diaphragm (not shown), and an LPU 122.

CPU101は、デジタルカメラ100の各部を制御するマイクロコンピュータである。メモリ102は、CPU101が実行するプログラムや変数等を格納するROMと、CPU101がプログラムを展開する作業領域や一時的に画像データ等を記憶するRAMを含む。LPU122は、鏡筒内CPUであり、被写体に対する距離情報等をCPU101へ送信し、また、CPU101からの指令に基づいてレンズ121の駆動制御等を行う。撮像素子103は、赤外カットフィルタやローパスフィルタ等を含むCCDセンサ或いはCMOSセンサ等のイメージセンサである。シャッタ104は、非撮影時には閉じて撮像素子103を遮光し、撮影時には開いてレンズ鏡筒100Bを通過した入射光(光束)を撮像素子103へ導く。   The CPU 101 is a microcomputer that controls each unit of the digital camera 100. The memory 102 includes a ROM that stores programs executed by the CPU 101, variables, and the like, a work area in which the CPU 101 develops a program, and a RAM that temporarily stores image data and the like. The LPU 122 is a CPU in the lens barrel, transmits distance information and the like to the subject to the CPU 101, and performs drive control and the like of the lens 121 based on an instruction from the CPU 101. The imaging element 103 is an image sensor such as a CCD sensor or a CMOS sensor including an infrared cut filter, a low pass filter, and the like. The shutter 104 is closed when not photographing and shields the imaging element 103 from light, and is opened during photographing and guides incident light (light flux) having passed through the lens barrel 100 B to the imaging element 103.

撮像素子103の前面側(被写体側)に設けられたハーフミラー105は、非撮影時にレンズ121を通して入射する光の一部を反射して、ピント板106に光学像を結像させる。表示素子107は、PN液晶等のAF測距枠を表示し、被写体のどの位置に対してAF動作の制御が行われているかを、光学ファインダを通じて撮影者に示す。測光センサ108は、CCD或いはCOMS等の撮像素子からなり、本実施形態では、測光センサ108からの出力信号を用いて、顔検出や追尾、測光、フリッカー検知等を行う。なお、本実施形態では、フリッカー検知手段として測光センサ108を用いているが、本撮影を行うための撮像素子103をフリッカー検知手段として用いることもできる。   A half mirror 105 provided on the front side (subject side) of the image sensor 103 reflects a part of light incident through the lens 121 at the time of non-shooting, and forms an optical image on a focusing plate 106. The display element 107 displays an AF distance measurement frame such as PN liquid crystal and shows the photographer through an optical finder to which position of the object the control of the AF operation is performed. The photometric sensor 108 is composed of an imaging device such as a CCD or a COMS, and in the present embodiment, performs face detection, tracking, photometry, flicker detection and the like using an output signal from the photometric sensor 108. In the present embodiment, although the photometric sensor 108 is used as the flicker detection means, the image sensor 103 for performing the main photographing can also be used as the flicker detection means.

ペンタプリズム109は、ピント板106の被写体像を測光センサ108と光学ファインダへ導く。なお、測光センサ108は、ペンタプリズム109を介してピント板106に結像された被写体像を斜め方向の位置から見ている。AFミラー111は、レンズ鏡筒100Bから入射してハーフミラー105を通過した光束の一部をAFセンサ110へ導く。AFセンサ110は、受光した光束に基づいて、被写体に対する合焦のための測距を行う。   The pentaprism 109 guides the subject image of the focusing plate 106 to the photometric sensor 108 and the optical finder. The photometric sensor 108 is looking at an object image formed on the focusing plate 106 via the pentagonal prism 109 from an oblique position. The AF mirror 111 guides a part of the light beam which has entered from the lens barrel 100 B and passed through the half mirror 105 to the AF sensor 110. The AF sensor 110 performs distance measurement for focusing on the subject based on the received luminous flux.

ICPU112は、測光センサ108の駆動制御や測光演算、顔検知演算や追跡演算等の被写体認識処理、フリッカー検知演算等の各種の演算処理を行うCPUである。メモリ113は、ICPU112が実行するプログラムや変数等を格納するROMと、ICPU112がプログラムを展開する作業領域や一時的に演算結果を記憶するRAMを含む。なお、本実施形態では、測光センサ108のために専用CPUであるICPU112を備える構成としているが、測光センサ108の駆動制御や画像処理、演算をCPU101で行う構成としてもよい。   The ICPU 112 is a CPU that performs drive control of the photometric sensor 108, photometric calculation, object recognition processing such as face detection calculation and tracking calculation, and various calculation processing such as flicker detection calculation. The memory 113 includes a ROM for storing programs executed by the ICPU 112, variables, and the like, a work area for the ICPU 112 to deploy a program, and a RAM for temporarily storing calculation results. In the present embodiment, the ICPU 112, which is a dedicated CPU, is provided for the photometric sensor 108. However, drive control of the photometric sensor 108, image processing, and calculation may be performed by the CPU 101.

なお、図1には不図示であるが、デジタルカメラ100は、電源スイッチ及びシャッタスイッチを備える。シャッタスイッチは、半押し(第1ストローク)でオンするスイッチSW1と、全押し(第2ストローク)でオンするスイッチSW2とを備える。スイッチSW1がオンすることで、測光センサ108からの出力に基づく露出制御とAFセンサ110からの出力に基づく自動合焦制御が実行される。また、スイッチSW2がオンすることで、本撮影が行われる。本撮影では、撮像素子103に結像した光学像が撮像素子103によってアナログ電気信号に変換され、そのアナログ電気信号が不図示の画像処理手段によりデジタル画像データに変換され、不図示のメモリカード等の記憶手段に記憶される。   Although not shown in FIG. 1, the digital camera 100 includes a power switch and a shutter switch. The shutter switch includes a switch SW1 which is turned on by half pressing (first stroke) and a switch SW2 which is turned on by full pressing (second stroke). When the switch SW1 is turned on, exposure control based on the output from the photometric sensor 108 and automatic focusing control based on the output from the AF sensor 110 are performed. Further, when the switch SW2 is turned on, the main photographing is performed. In the main photographing, an optical image formed on the image pickup element 103 is converted to an analog electric signal by the image pickup element 103, and the analog electric signal is converted to digital image data by an image processing unit (not shown). Are stored in the storage means of

<デジタルカメラでの撮影制御方法>
図2は、デジタルカメラ100での撮影制御のフローチャートである。図2に示す各処理は、CPU101がROMに格納されたプログラムをRAMに展開することにより、デジタルカメラ100の各構成要素の動作を制御することにより実現される。なお、図2に示す処理の中には、CPU101の制御下において実質的にICPU112が実行する処理があり、その処理については動作主体をICPU112として説明を行うこととする。
<Shooting control method with digital camera>
FIG. 2 is a flowchart of shooting control in the digital camera 100. Each process shown in FIG. 2 is realized by controlling the operation of each component of the digital camera 100 by the CPU 101 developing a program stored in the ROM into the RAM. Note that among the processing illustrated in FIG. 2, there is processing that is substantially executed by the ICPU 112 under the control of the CPU 101, and the processing subject is described as the ICPU 112.

デジタルカメラ100の電源がオンされると、ステップS201において、CPU101はレンズ情報を取得する。なお、レンズ情報は、CPU101とLPU122との間のシリアル通信によってLPU122から取得することができ、CPU101は、取得したレンズ情報から絞り動作の開始タイミングや動作速度を知ることができる。   When the digital camera 100 is powered on, the CPU 101 acquires lens information in step S201. The lens information can be acquired from the LPU 122 by serial communication between the CPU 101 and the LPU 122, and the CPU 101 can know the start timing of the diaphragm operation and the operation speed from the acquired lens information.

ステップS202では、ICPU112が通常の測光動作を行う。ステップS202の通常測光では、フリッカー光源下であってもフリッカーによる明暗の変化に対して測光値がばらつくことのないようにする。そのために、測光センサ108での電荷蓄積時間は、例えば、フリッカー光源の明暗が変化する周期の略整数倍に設定される。   In step S202, the ICPU 112 performs a normal photometric operation. In the normal light measurement of step S202, the light measurement value does not vary with the change in light and dark due to the flicker even under the flicker light source. Therefore, the charge accumulation time in the photometric sensor 108 is set to, for example, approximately an integral multiple of the cycle in which the brightness of the flicker light source changes.

ここで、フリッカー光源の明暗が変化する周波数は、電源周波数の2倍になることから、商用電源の周波数が50Hzの地域では周波数100Hzとなり、その周期は10msとなる。同様に、商用電源の周波数が60Hzの地域では、周波数が120Hz、周期が8.33msとなる。これら2種類の周波数に対応するために、測光センサ108での電荷蓄積時間を、10msと8.33msの中間の約9ms程度に設定する。その場合、電源周波数が50Hzと60Hzのどちらであっても、フリッカーのほぼ1周期分の光を蓄積することになるので、フリッカー光源下でも安定した測光値を得ることができる。   Here, since the frequency at which the light and dark of the flicker light source changes is twice the power supply frequency, the frequency is 100 Hz in a region where the frequency of the commercial power supply is 50 Hz, and the period is 10 ms. Similarly, in a region where the frequency of the commercial power supply is 60 Hz, the frequency is 120 Hz and the period is 8.33 ms. In order to cope with these two types of frequencies, the charge accumulation time in the photometric sensor 108 is set to about 9 ms, which is between 10 ms and 8.33 ms. In that case, even if the power supply frequency is either 50 Hz or 60 Hz, light of approximately one cycle of flicker is accumulated, so that a stable photometric value can be obtained even under a flicker light source.

ステップS202では更に、ICPU112は、得られた測光値に基づいて、露出条件である絞り値AV、シャッタ速度TV及びISO感度を、メモリ113に予め格納されているプログラム線図を利用して決定する。   In step S 202, the ICPU 112 further determines the aperture value AV, the shutter speed TV, and the ISO sensitivity, which are the exposure conditions, using the program diagram stored in advance in the memory 113 based on the obtained photometric value. .

ステップS203では、ICPU112が、フリッカー検知のための、測光センサ108での電荷の蓄積と読み出しを行う。本実施形態では、ステップS203では、図3に示すように、測光センサ108での電荷の蓄積と読み出しを、600fps(frames per second)の周波数(=約1.667msの周期)で連続して12回行う。   In step S203, the ICPU 112 performs charge accumulation and readout in the photometric sensor 108 for flicker detection. In this embodiment, in step S203, as shown in FIG. 3, charge accumulation and readout by the photometric sensor 108 are continuously performed at a frequency of 600 fps (frames per second) (= period of about 1.667 ms). Do it

なお、図3の詳細については、後にステップS204の処理の内容について説明する際に併せて説明することとし、ここで、測光センサ108を約600fpsで駆動させる方法について説明する。600fpsという周波数は、予想されるフリッカー光源の電源周波数(100Hzと120Hz)の公倍数の周波数となっている。近年の一眼レフカメラには、撮影の直前に測光センサ108で画像信号を取得し、取得した画像信号を処理することによって顔検出や被写体追尾を行い、更にその画像信号に基づいて測光を行っているものがある。このとき、例えば、顔検出を行う場合には、少なくともQVGA程度の画素数を備えるCCD或いはCMOS等のリニア出力型の測光センサが必要とされる。   The details of FIG. 3 will be described together with the contents of the process of step S204 later, and a method of driving the photometric sensor 108 at about 600 fps will be described here. The frequency of 600 fps is a common multiple of the expected power source frequency of the flicker light source (100 Hz and 120 Hz). In recent years, with single-lens reflex cameras, image signals are acquired by the photometric sensor 108 immediately before shooting, face detection and subject tracking are performed by processing the acquired image signals, and photometry is further performed based on the image signals. There is something that At this time, for example, when face detection is performed, a linear output photometric sensor such as a CCD or a CMOS provided with at least about QVGA pixels is required.

QVGA以上の画素数を有するCCDやCMOSの全画素を約600fps以上のフレームレートで読み出すためには、駆動周波数を高くする方法や多数のA/D変換器を配置する方法等がある。しかし、これらの方法には、回路構成が複雑になるという問題やコストが嵩むという問題、技術的にも容易ではないという問題等がある。そこで、顔検出や被写体追尾を行う際には全画素数を読み出し、一方、フリッカー検知を行う際には、画素加算読み出しや間引き読み出しを行うことによって、600fpsの周波数に調整することを考える。   In order to read out all pixels of a CCD or CMOS having a pixel number of QVGA or more at a frame rate of about 600 fps or more, there are a method of increasing a driving frequency, a method of arranging a large number of A / D converters, and the like. However, these methods have a problem that the circuit configuration is complicated, a problem that the cost is increased, and a problem that the technology is not easy. Therefore, it is considered to adjust the frequency to 600 fps by performing pixel addition readout and thinning readout when performing face detection and subject tracking while performing flicker detection.

測光センサ108がCCDである場合、一般的にCCDは部分読み出しができないため、画素加算による読み出しライン数の擬似的減少によって高速駆動させるとよい。例えば、画素配列がストライプ状のセンサでは、垂直画素加算を行うことによって、下記表1に示すように、読み出し時間(1V時間)を短縮することができる。表1の例では、9画素加算を行うことにより、フレームレートを約600fpsにすることができ、その場合に得られる画像は、垂直方向の画素数が1/9になったものとなる。また、測光センサ108がCMOSである場合には、比較的簡単に部分読み出しを行うことができるため、いわゆる間引き読み出しによって蓄積と読み出しの合計時間が約1.667msとなるように調整するとよい。   In the case where the photometric sensor 108 is a CCD, in general, the CCD can not perform partial readout, and therefore it is preferable to drive at high speed by pseudo reduction of the number of readout lines by pixel addition. For example, in a sensor in which the pixel array has a stripe shape, the readout time (1 V time) can be shortened by performing vertical pixel addition as shown in Table 1 below. In the example of Table 1, the frame rate can be set to about 600 fps by performing 9 pixel addition, and the image obtained in that case becomes one in which the number of pixels in the vertical direction is 1/9. When the photometric sensor 108 is a CMOS, partial readout can be performed relatively easily. Therefore, it is preferable to adjust the total time of accumulation and readout to be about 1.667 ms by so-called thinning readout.

図2の説明に戻る。ステップS203の後のステップS204では、ICPU112が、フリッカー検知演算を行う。図3(a)は、周波数が50Hzの電源で点灯させたフリッカー光源に対する測光センサ108の電荷蓄積制御と出力測光値の推移を示す図である。n回目(n:自然数)の電荷蓄積を“蓄積n”、蓄積nの読み出しを“読出n”、読出nの結果から得られる測光値を“AE(n)”と記述する。なお、電荷蓄積は有限の時間で行われるため、図3(a)に示す測光値AE(n)の取得時間については、蓄積期間中の中央値で代表させることとする。   It returns to the explanation of FIG. In step S204 after step S203, the ICPU 112 performs flicker detection calculation. FIG. 3A is a diagram showing the charge accumulation control of the photometric sensor 108 and the transition of the output photometric value with respect to the flicker light source which is turned on by the power supply having a frequency of 50 Hz. The nth (n: natural number) charge accumulation is described as "accumulation n", the readout of accumulation n is "read n", and the photometric value obtained from the result of readout n is "AE (n)". Since charge accumulation is performed in a finite time, the acquisition time of the photometric value AE (n) shown in FIG. 3A is represented by the median value during the accumulation period.

電源周波数が50Hzの場合のフリッカー発光周期は約10msであり、“10÷1.667≒6”であるから、図3(a)に示すように、蓄積のタイミングによらず、6回周期で同じ測光値が得られる。即ち、“AE(n)=AE(n+6)”の関係となる。   The flicker emission period in the case where the power supply frequency is 50 Hz is about 10 ms, and "10 ÷ 1.667 ≒ 6". Therefore, as shown in FIG. The same photometric value is obtained. That is, the relationship of "AE (n) = AE (n + 6)" is obtained.

図3(b)は、周波数が60Hzの電源で点灯させたフリッカー光源に対する測光センサ108の電荷蓄積制御と出力測光値の推移を示す図である。電源周波数が50Hzの場合と同様に、電源周波数が60Hzの場合には、フリッカー発光周期は約8.33msであり、“8.33/1.667≒5”となる。つまり、図3(b)に示すように、5回周期で同じ測光値が得られ、“AE(n)=AE(n+5)”の関係となる。なお、フリッカーが生じない光源の下では、AE(n)は、nに関係なく常に一定となる。   FIG. 3B is a diagram showing the charge accumulation control of the photometric sensor 108 and the transition of the output photometric value with respect to the flicker light source which is turned on by the power supply having a frequency of 60 Hz. As in the case of the power supply frequency of 50 Hz, when the power supply frequency is 60 Hz, the flicker emission period is about 8.33 ms, which is “8.33 / 1.667 ≒ 5”. That is, as shown in FIG. 3B, the same photometric value is obtained in a cycle of five times, and the relationship of "AE (n) = AE (n + 5)" is obtained. Note that AE (n) is always constant regardless of n under a light source where flicker does not occur.

電源周波数が50Hzであるフリッカー光源下での評価値F50と、電源周波数が60Hzであるフリッカー光源下での評価値F60をそれぞれ、下記式1、式2の通りに定義することとする。   An evaluation value F50 under a flicker light source having a power supply frequency of 50 Hz and an evaluation value F60 under a flicker light source having a power supply frequency of 60 Hz are respectively defined as Formula 1 and Formula 2 below.

このとき、所定の閾値F_thを用いて、“F50<F_th、且つ、F60<F_th”の関係が成り立つ場合には、フリッカーなし(フリッカー光源下ではない)と判断することができる。また、“F50<F_th、且つ、F60≧F_th”の関係が成り立つ場合には、電源周波数が50Hzであるフリッカー光源下であると判断することができる。更に、“F50≧F_th、且つ、F60<F_th” の関係が成り立つ場合には、電源周波数が60Hzであるフリッカー光源下であると判断することができる。 At this time, when the relationship of “F50 <F_th and F60 <F_th” is established using the predetermined threshold F_th, it can be determined that there is no flicker (not under the flicker light source). If the relationship of “F50 <F_th and F60 ≧ F_th” holds, it can be determined that the power supply frequency is under 50 Hz and under the flicker light source. Furthermore, when the relationship of “F50 ≧ F_th and F60 <F_th” holds, it can be determined that the power supply frequency is under 60 Hz and under the flicker light source.

ここで、デジタルカメラ100のパンニング操作や被写体の動きに起因して、評価値F50,F60の両方が閾値F_thを超えてしまう場合が考えられる。この場合には、評価値F50,F60の大きさを比較する。“F50≧F_th、且つ、F60≧F_th”の場合において、“F50≦F60”の場合には、電源周波数が50Hzであるフリッカー光源下であると判断し、“F50>F60”の場合には、電源周波数が60Hzであるフリッカー光源下であると判断する。但し、この場合には、フリッカー検知結果の信頼性が低いとして、フリッカー検知をやり直すようにしてもよい。   Here, it is conceivable that both of the evaluation values F50 and F60 exceed the threshold F_th due to the panning operation of the digital camera 100 and the movement of the subject. In this case, the magnitudes of the evaluation values F50 and F60 are compared. In the case of "F50 ≧ F_th and F60 ≧ F_th", when "F50 ≦ F60", it is judged that the power supply frequency is under a flicker light source of 50 Hz, and in the case of "F50> F60" It is determined that the power supply frequency is under the flicker light source of 60 Hz. However, in this case, flicker detection may be performed again on the assumption that the reliability of the flicker detection result is low.

ステップS204では更に、ICPU112は、フリッカーが存在する場合には、フリッカー光の位相を求める。フリッカー光の位相の求め方としては、例えば、連続する12回の電荷蓄積と読み出しで得られた測光値を補間し、フリッカー光量が最大となるピークタイミングを算出する方法を用いることができる。   In step S204, the ICPU 112 further obtains the phase of the flicker light if the flicker exists. As a method of determining the phase of the flicker light, for example, a method of calculating the peak timing at which the flicker light amount becomes maximum can be used by interpolating the photometric values obtained by 12 consecutive charge accumulation and readout.

図4は、フリッカー光量のピークタイミングを算出する方法の一例を説明する図である。図4中、測光値AE(1)〜AE(12)の中で最大出力を得た点をP2[t(m),AE(m)]とし、その1つ前の測光点をP1[t(m−1),AE(m−1)]とし、1つ後の測光点をP1[t(m+1),AE(m+1)]とする。測光値AE(m−1),AE(m+1)のうちの小さい値を取る点(図4の例ではP1)と点P2とを通る直線を“L1=at+b”として求める。そして、測光値AE(m−1),AE(m+1)のうちの大きい値を取る点(図4の例ではP3)を通り、傾きが-aの直線をL2として、直線L1,L2の交点を求める。この交点から、フリッカー用測光開始時を基準(0ms)としたときのピークタイミングt_peakと、ピークタイミングt_peakでの測光値AE_peakを算出することができる。なお、ここではフリッカー光量のピークタイミングを算出したが、フリッカー光量のボトムタイミングを算出してもよい。   FIG. 4 is a diagram for explaining an example of a method of calculating the peak timing of the flicker light amount. In FIG. 4, the point at which the maximum output is obtained among the photometric values AE (1) to AE (12) is P2 [t (m), AE (m)], and the photometric point immediately before that is P1 [t It is assumed that (m-1) and AE (m-1)], and the next photometric point is P1 [t (m + 1) and AE (m + 1)]. A straight line passing a point (P1 in the example of FIG. 4) having a smaller value of the photometric values AE (m-1) and AE (m + 1) and the point P2 is determined as "L1 = at + b". Then, passing through a point (P3 in the example of FIG. 4) which takes a larger value of the photometric values AE (m-1) and AE (m + 1), a straight line with an inclination of -a is taken as L2, and an intersection point Ask for From this intersection point, it is possible to calculate the peak timing t_peak when the flicker metering start time is set as the reference (0 ms) and the photometric value AE_peak at the peak timing t_peak. Although the peak timing of the flicker light amount is calculated here, the bottom timing of the flicker light amount may be calculated.

ステップS204の後のステップS205では、ICPU112が、ステップS204で求めたフリッカーの周波数及び位相(例えば、ピークタイミングt_peak)からフリッカー同期信号を生成し、CPU101へ出力する。フリッカー同期信号は、フリッカーの所定のタイミングに同期した信号であり、本実施形態では、フリッカー発光周期毎に発生させる。   In step S205 after step S204, the ICPU 112 generates a flicker synchronization signal from the flicker frequency and phase (for example, peak timing t_peak) obtained in step S204, and outputs the flicker synchronization signal to the CPU 101. The flicker synchronization signal is a signal synchronized with a predetermined timing of flicker, and is generated at every flicker emission cycle in the present embodiment.

図5は、フリッカー同期信号とシャッタ開始信号の関係(タイミング)を示す図であり、シャッタ速度が1/1000secの場合と1/200secの場合とを例示している。図5において、フリッカー同期信号からシャッタ104がシャッタ動作を開始するためのシャッタ開始信号までの待ち時間を“T_ShutterWait(以下「T_SW」と記す)”とする。また、シャッタ開始信号から実際にシャッタ104が動作を開始するまでのレリーズタイムラグを“T_ShutterResponse(以下「T_SR」と記す)”とする。つまり、フリッカー同期信号から“T_SW+T_SR”だけ時間が経過した後に、実際にシャッタ104は走行を開始する。更に、シャッタ104が撮像素子103の端から端まで走る時間を“T_Run”とする。   FIG. 5 is a diagram showing the relationship (timing) between the flicker synchronization signal and the shutter start signal, and exemplifies the case where the shutter speed is 1/1000 sec and the case where the shutter speed is 1/200 sec. 5, the waiting time from the flicker synchronization signal to the shutter start signal for the shutter 104 to start the shutter operation is "T_ShutterWait (hereinafter referred to as" T_SW ")". The release time lag until the start of operation is "T_ShutterResponse (hereinafter referred to as" T_SR ")", that is, the shutter 104 actually starts traveling after the time "T_SW + T_SR" has elapsed from the flicker synchronization signal. Further, the time during which the shutter 104 runs from end to end of the image sensor 103 is taken as "T_Run".

フリッカー光量の変化は、ピークタイミングt_peakを挟む前後で小さい。そこで、シャッタ104の先幕走行開始から後幕走行終了までの時間T_Run(つまり、露光時間)の略中心にフリッカー光量のピークタイミングがくるように、待ち時間T_SWをシャッタ速度毎に変更することで、シャッタ開始信号を出すタイミングを調整する。   The change in the flicker light amount is small before and after the peak timing t_peak. Therefore, the waiting time T_SW is changed for each shutter speed so that the peak timing of the flicker light amount comes approximately at the center of the time T_Run (that is, the exposure time) from the start of the front curtain travel of the shutter 104 to the end of the rear curtain travel. , Adjust the timing of issuing the shutter start signal.

なお、ステップS204においてフリッカー発光周期Tとピークタイミングt_peakが判明している。フリッカー同期信号の発生タイミングt_Flicker(以下「t_F」と記す)は、フリッカー検知のための測光開始時を基準(0ms)として、“t_F=t_peak−T_SR−(T_Run+TVmax)/2+T×n”で表される。ここで、nは自然数、TVmaxは、フリッカー対策の実行/不実行の境界となるシャッタ速度である。このように、発生タイミングt_Fがピークタイミングt_peak毎に変化するようなフリッカー同期信号とするとよい。   In step S204, the flicker emission cycle T and the peak timing t_peak are known. The flicker synchronization signal generation timing t_Flickr (hereinafter referred to as “t_F”) is represented by “t_F = t_peak−T_SR− (T_Run + TVmax) / 2 + T × n” with reference to the start of photometry for flicker detection (0 ms). Ru. Here, n is a natural number, and TVmax is a shutter speed which is the boundary between the execution / non-execution of the flicker countermeasure. As described above, it is preferable to use a flicker synchronization signal in which the generation timing t_F changes every peak timing t_peak.

ところで、シャッタ速度TVが1/100sec(=10ms)より遅い場合は、フリッカー光源からの1周期分以上の光を含む露光となるため、フリッカーに起因する露出ばらつきは小さくなる。そこで、本実施形態では、シャッタ速度TVが1/100secよりも速い場合にのみ、フリッカー対策を講じることを考える。また、シャッタ速度TVが1/111(≒9ms)前後である場合、測光センサ108はフリッカー光源からのほぼ1周期分の光を電荷として蓄積することになるため、フリッカー光源下でも安定した露光を得ることができる。従って、本実施形態では、シャッタ速度が8ms(=1/125sec)より速い場合にフリッカー対策を講じることとし、よって、以下の説明では、TVmax=1/125sec(=8ms)とする。   By the way, when the shutter speed TV is slower than 1/100 sec (= 10 ms), the exposure includes light of one cycle or more from the flicker light source, so that the exposure variation caused by the flicker becomes smaller. Therefore, in the present embodiment, it is considered to take measures against flicker only when the shutter speed TV is faster than 1/100 sec. In addition, when the shutter speed TV is around 1/111 () 9 ms), the photometric sensor 108 accumulates light of approximately one cycle from the flicker light source as charge, so stable exposure is possible even under the flicker light source. You can get it. Therefore, in the present embodiment, a countermeasure against flicker is taken when the shutter speed is faster than 8 ms (= 1/125 sec), and therefore, in the following description, TVmax = 1/125 sec (= 8 ms).

なお、待ち時間T_SWを、“T_SW=(TVmax−TV)/2、且つ、TV<1/125”とすると、フリッカー光量のピークタイミングt_peakを、シャッタ104の先幕走行開始から後幕走行終了までの時間の中心にくるように設定することができる。このようにしてシャッタ速度毎に設定した待ち時間T_SWをテーブルにしてメモリ113に記憶しておいてもよい。表2に、シャッタ速度と待ち時間T_SWとの関係を示すテーブルの例を示す。   When the waiting time T_SW is “T_SW = (TVmax−TV) / 2 and TV <1/125”, the peak timing t_peak of the flicker light amount from the start of the front curtain travel of the shutter 104 to the end of the rear curtain travel It can be set to be at the center of time. Thus, the waiting time T_SW set for each shutter speed may be stored in the memory 113 as a table. Table 2 shows an example of a table showing the relationship between the shutter speed and the waiting time T_SW.

ステップS205に続くステップS206では、CPU101が、スイッチSW2がオンされたか否か(ユーザがシャッタスイッチを全押ししたか否か)を判定する。SW2がオンされていない場合(S205でNO)、CPU101は、処理をステップS202へ戻し、フリッカー発光周期と位相を最新の情報に更新していく。このとき、本実施形態では、1回の通常測光について1回のフリッカー検知処理を繰り返すシーケンスとしているが、ステップS203,S204のようなフリッカー検知処理は、複数回の通常測光に対して1回のみ行うようにしてもよい。   In step S206 following step S205, the CPU 101 determines whether the switch SW2 is turned on (whether the user has pressed the shutter switch fully). When the SW2 is not turned on (NO in S205), the CPU 101 returns the process to step S202, and updates the flicker emission cycle and the phase to the latest information. At this time, in the present embodiment, one flicker detection process is repeated for one normal photometry, but the flicker detection process in steps S203 and S204 is performed only once for a plurality of normal photometry. You may do so.

一方、SW2がオンされた場合(S206でYES)、CPU101は、処理をステップS207へ進める。ステップS207においてCPU101は、SW2がオンされてから所定時間内に、つまり、撮像素子103による撮影動作が行われるまでの間に、フリッカー検知処理を完了することができる否かを判定する。CPU101は、フリッカー検知処理の実施が不可能な場合(S207でNO)、処理をステップS208へ進め、フリッカー検知処理の実施が可能な場合(S207でYES)、処理をステップS209へ進める。   On the other hand, when the SW 2 is turned on (YES in S206), the CPU 101 advances the process to step S207. In step S207, the CPU 101 determines whether or not the flicker detection process can be completed within a predetermined time after the SW 2 is turned on, that is, until the imaging operation by the imaging device 103 is performed. If the CPU 101 can not perform the flicker detection process (NO in S207), the process proceeds to step S208. If the flicker detection process can be performed (YES in S207), the CPU 101 advances the process to step S209.

ここで、ステップS207でのフリッカー検知処理の実施可否判定について、図6及び図7を参照して説明する。図6及び図7は、SW2がオンされてから撮像素子103による撮影動作が行われるまでのハーフミラー105、絞り及びシャッタ104の動作の関係を表す撮影シーケンスを示す図である。   Here, the determination as to whether to execute the flicker detection process in step S207 will be described with reference to FIG. 6 and FIG. FIG. 6 and FIG. 7 are diagrams showing a photographing sequence representing the relationship between the operation of the half mirror 105, the aperture and the shutter 104 from when the switch SW2 is turned on until the photographing operation by the image pickup device 103 is performed.

図6(a)は、フリッカー対策を講じない通常撮影時の撮影シーケンスを表している。通常撮影では、SW2がオンされると、CPU101がSW2のオン信号に基づいてミラーアップ用モータ(図1に不図示)を駆動することで、ハーフミラー105のミラーアップ動作(撮像素子103の前面からの退避)が開始される。ミラーアップ動作が完了すると、ハーフミラー105は、アップした状態でバウンドしてから安定状態になる。安定した撮影を行うために、ミラーアップ指示をしてからバウンドが収まって撮影可能状態となるまでの時間(ミラーアップ安定時間)を、カメラ本体100Aに設けられたタイマ(計時手段(図1に不図示))によって計測する。   FIG. 6A shows a shooting sequence at the time of normal shooting without taking a countermeasure against flicker. In normal shooting, when the switch SW2 is turned on, the CPU 101 drives a mirror-up motor (not shown in FIG. 1) based on the switch-on signal of the switch SW2 to mirror up the half mirror 105 (the front surface of the imaging device 103). ) Is started. When the mirror-up operation is completed, the half mirror 105 bounces in the up state and then becomes stable. In order to perform stable photographing, a timer (clocking means (shown in FIG. 1) provided in the camera main body 100A has a time (mirror-up stable time) from the mirror-up instruction until the bounce is settled and the photographing becomes possible. (Not shown))).

また、CPU101は、SW2のオン信号に基づいて、撮影条件として設定された絞りとなるようにLPU122に指示を行う。なお、図6及び図7では、CPU101とLPU122との間の通信を「レンズ通信」と記している。LPU122は、CPU101から指示された絞り状態となるように絞りを駆動し、絞りの駆動が終了すると、そのことをCPU101へ通知して、絞り動作を終了させる。   Further, based on the on signal of SW2, the CPU 101 instructs the LPU 122 to have the aperture set as the imaging condition. In FIGS. 6 and 7, communication between the CPU 101 and the LPU 122 is described as “lens communication”. The LPU 122 drives the diaphragm so as to attain the diaphragm state instructed by the CPU 101, and when the diaphragm driving is finished, notifies the CPU 101 of the fact and ends the diaphragm operation.

CPU101は、SW2がオンしてからシャッタ先幕を走行させるまでの時間(レリーズ安定時間)を、タイマによって計測する。このレリーズ安定時間の計測は、SW2がオンしてから撮像素子103による撮影までの時間にばらつきが生じないようにするために行われ、これにより、安定した撮影が可能となる。   The CPU 101 uses a timer to measure the time (release stable time) from when the switch SW2 is turned on until the shutter front curtain travels. The measurement of the release stabilization time is performed in order to prevent variation in the time from the turning on of the switch SW2 to the photographing by the image pickup device 103, which enables stable photographing.

通常撮影は、これらのミラーアップ安定時間、絞り駆動時間、レリーズ安定時間の3つの時間が終了した時点で実施可能となる。図6(a)の例では、レリーズ安定時間が最も遅く終了するため、レリーズ安定時間の終了に合わせて、撮像素子103による撮影動作が開始される。   Normal photographing can be performed at the time when these three times of mirror-up stabilization time, aperture driving time, and release stabilization time are finished. In the example of FIG. 6A, since the release stabilization time ends the slowest, the photographing operation by the imaging element 103 is started at the end of the release stabilization time.

図6(b)は、フリッカーレス撮影を行う場合の撮影シーケンスを表している。なお、フリッカーレス撮影とは、上述したフリッカー対策を講じることで、フリッカー光源下でフリッカーの影響を受けずに、安定した撮像出力を得る撮影をいう。フリッカーレス撮影でも絞り動作には時間がかかるため、SW2がオンされると図6(a)の通常撮影時と同じ動作が行われる。なお、ここでの、絞り動作についての説明は、重複するために省略する。   FIG. 6B shows a shooting sequence in the case of performing flickerless shooting. Note that flicker-less imaging refers to imaging that obtains a stable imaging output without being affected by flicker under the flicker light source by taking the above-mentioned countermeasure against flicker. Since the aperture operation takes time even in flickerless shooting, when the switch 2 is turned on, the same operation as the normal shooting in FIG. 6A is performed. Note that the description of the aperture operation here is omitted because it is redundant.

一方、ミラーアップ動作は動作完了までが早いため、シャッタ104の先幕走行開始タイミングからミラーアップ安定時間を逆算することで、ミラーアップ動作の開始時間を決定することとする。なお、レンズ121のレンズ情報と撮影条件で設定された絞り値とから絞り駆動時間がわかるので、ミラーアップ安定時間の計測開始時間は、絞り駆動時間とレリーズ安定時間とを比較して、長い方の完了時間から逆算すればよい。   On the other hand, since the mirror-up operation is quick to complete, the mirror-up stable time is reversely calculated from the front curtain traveling start timing of the shutter 104 to determine the start time of the mirror-up operation. Note that since the diaphragm drive time can be determined from the lens information of the lens 121 and the aperture value set in the shooting conditions, the measurement start time of the mirror-up stabilization time is longer by comparing the diaphragm drive time and the release stabilization time. You can calculate back from the completion time of.

フリッカーレス撮影では、ミラーアップ動作の開始が、SW2がオンされた直後ではなくなったことで、SW2がオンされた後に測光センサ108への光路が確保され、これによりフリッカー検知を実施する時間を確保することが可能になる。フリッカー検知実施可能時間は、“絞り駆動時間≦レリーズ安定時間”の場合、“[フリッカー検知実施可能時間]=[レリーズ安定時間]−[ミラーアップ安定時間]”、で求められる。また、“絞り駆動時間>レリーズ安定時間”の場合、“[フリッカー検知実施可能時間]=[絞り駆動時間]−[ミラーアップ安定時間]”、で求められる。   In flickerless photography, the start of the mirror-up operation is not immediately after the switch SW2 is turned on, and the light path to the photometric sensor 108 is secured after the switch SW2 is turned on, thereby securing a time for performing flicker detection. It becomes possible. The flicker detection executable time can be obtained by “[flicker detection executable time] = [release stabilization time] − [mirror up stabilization time]” in the case of “diaphragm drive time ≦ release stable time”. In addition, in the case of "diaphragm drive time> release stable time", it can be obtained by "[flicker detection executable time] = [diaphragm drive time]-[mirror up stabilization time]".

デジタルカメラの中には、レリーズタイムラグにバラつきがあっても、絞り駆動時間とミラーアップ安定時間とが完了した時点で撮影を実施することで、撮影開始時間を早めることが可能なものがある。その場合、フリッカー検知実施可能時間は、絞り駆動時間によって決定されることになり、“[フリッカー検知実施可能時間]=[絞り駆動時間]−[ミラーアップ安定時間]”、で求められる。   Some digital cameras can accelerate the shooting start time by performing shooting when the diaphragm driving time and the mirror-up stabilization time are completed, even if there is variation in the release time lag. In that case, the flicker detection executable time is determined by the diaphragm drive time, and can be obtained by “[Flicker detection executable time] = [diaphragm drive time] − [mirror up stabilization time]”.

フリッカー検知実施可能時間内にフリッカー検知処理を実施し、フリッカー同期信号を更新するためには、図4に示したように、6回の電荷蓄積と読み出しを実施することができればよい。但し、その場合、12回の電荷蓄積によるフリッカー発光周期Tの検知を行うことはできないため、フリッカー発光周期Tについては、以前に検知した結果を用いることとなる。6回の電荷蓄積によるフリッカー光量のピークタイミングt_peakの演算のみを行う場合には、フリッカー発光周期Tの演算等をも行う場合よりも演算時間が短くて済むことから、短時間でフリッカー検知を完了させることが可能となる。   In order to perform the flicker detection process within the flicker detection feasible time and update the flicker synchronization signal, it is sufficient if six charge accumulation and readout can be performed as shown in FIG. However, in this case, since it is not possible to detect the flicker light emitting cycle T by 12 times of charge accumulation, the flicker light emitting cycle T uses the result of detection previously. When only the calculation of the peak timing t_peak of the flicker light amount due to the six charge accumulation is performed, the calculation time is shorter than in the case where the calculation of the flicker light emission period T is also performed, so flicker detection is completed in a short time. It is possible to

なお、フリッカー検知実施可能時間中に12回の電荷蓄積が可能であり、且つ、ピークタイミングt_peakの演算に加えてフリッカー発光周期Tの演算も実施することが可能である場合には、これら両方の演算を実施しても構わない。また、測光値がフリッカー光量のピークタイミングt_peakを表すような、上昇と下降を交互に繰り返す変化を見せた場合には、6回の電荷蓄積回数に到達する前にピークタイミングt_peakを演算することが可能である。よって、ピークタイミングt_peakのみを求める場合には、上記の6回の電荷蓄積回数に限られず、6回の電荷蓄積回数に到達する前に電荷蓄積を完了させることも可能である。   When it is possible to store 12 charges during the flicker detection enable time and to calculate the flicker emission period T in addition to the calculation of the peak timing t_peak, both of them The operation may be performed. In addition, when the photometric value shows a change that alternately repeats rising and falling so as to indicate the peak timing t_peak of the flicker light amount, the peak timing t_peak may be calculated before reaching the number of times of charge accumulation of six times. It is possible. Therefore, when only the peak timing t_peak is obtained, it is possible to complete the charge accumulation before reaching the six charge accumulation times without being limited to the above six charge accumulation times.

図7は、SW1のオンによりステップS203〜S205のフリッカー検知処理が実行されているときにSW2がオンされた場合の撮影シーケンスを表した図である。この場合、CPU101は、SW2がオンされた後もSW1がオンされたことで開始されたフリッカー検知を継続した場合に、フリッカー検知実施可能時間内に、残りの処理を完了させることができるか否かを判断する。CPU101は、フリッカー検知が完了すると判断される場合にはフリッカー検知処理を継続し、フリッカー検知が完了しないと判断される場合には、フリッカー検知処理を途中で中断する。その他のシーケンスは、図6(b)のシーケンスと同じであるため、説明を省略する。   FIG. 7 is a diagram showing a shooting sequence when the switch SW2 is turned on while the flicker detection process of steps S203 to S205 is being performed by turning on the switch SW1. In this case, if the CPU 101 continues flicker detection started by the turning on of the SW1 even after the SW2 is turned on, whether or not the remaining processing can be completed within the flicker detection executable time period. To judge. The CPU 101 continues the flicker detection process when it is determined that the flicker detection is completed, and interrupts the flicker detection process midway when it is determined that the flicker detection is not completed. The other sequences are the same as the sequence of FIG.

ステップS208においてCPU101は、フリッカー検知を行わず、それ以前に検知されたフリッカー情報を用いて撮影動作を行い、その後、本処理を終了させる。一方、ステップS209では、ICPU112が、図6(b)及び図7を参照して説明した通りに、フリッカー検知用の電荷蓄積と読み出し動作を行う。ステップS209の処理は、ステップS203の処理と同じであるが、フリッカー検知実施可能時間に処理が完了するように、6回の電荷蓄積によってフリッカー光量のピークタイミングt_peakだけを演算するようにしてもよい。   In step S208, the CPU 101 does not perform flicker detection, performs a photographing operation using flicker information detected before that, and then ends this processing. On the other hand, in step S209, the ICPU 112 performs charge storage and readout operations for flicker detection as described with reference to FIGS. 6 (b) and 7. Although the process of step S209 is the same as the process of step S203, only the peak timing t_peak of the flicker light amount may be calculated by six charge accumulations so that the process is completed in the flicker detection enable time. .

ステップS210においてCPU101は、ステップS209での読み出しによって得られる測光値に、絞り駆動に応じたゲインを掛ける。図8は、絞り動作と測光値に掛けるゲインとの関係を説明する図であり、ここでは、開放絞りF2.8のレンズの場合を例示している。なお、図8では、蓄積nに対してかけるゲインをGain(n)で表している。   In step S210, the CPU 101 multiplies the photometric value obtained by the readout in step S209 by a gain according to the diaphragm drive. FIG. 8 is a diagram for explaining the relationship between the aperture operation and the gain to be multiplied by the photometric value, and in this case, the case of the lens with the aperture stop F2.8 is illustrated. In FIG. 8, the gain applied to the storage n is represented by Gain (n).

フリッカーレス撮影時の撮影シーケンスでは、図6(b)及び図7に示したように、CPU101とLPU122との間のレンズ通信が行われた後に絞り駆動が開始される。そのため、絞り駆動が開始されると、図8に示されるような速度で絞りが動作し、測光センサ108に届く光量が低下する。つまり、フリッカー検知用の電荷蓄積中に絞り駆動が実行されるため、SW1のオンにより実行されるステップS203のフリッカー検知用の電荷蓄積に対して、測光値が低く算出されることになる。そこで、この光量低下分を打ち消すように絞り駆動に応じたゲインを測光値に掛けることで、フリッカー検知用の電荷蓄積と同様の測光値に補正する。なお、レンズ鏡筒100Bがカメラ本体100Aに対して着脱自在な、所謂、交換レンズである場合、レンズ鏡筒100B毎に、レンズ通信時間、開放絞り値、最大絞り値、絞り駆動速度等は異なる。よって、カメラ本体100Aに装着したレンズ鏡筒100Bに応じて補正量ゲインを求める必要がある。   In the photographing sequence at the time of flicker-less photographing, as shown in FIG. 6B and FIG. 7, after the lens communication between the CPU 101 and the LPU 122 is performed, the diaphragm drive is started. Therefore, when the diaphragm drive is started, the diaphragm operates at a speed as shown in FIG. 8, and the light amount reaching the photometric sensor 108 is reduced. That is, since the diaphragm drive is executed during charge accumulation for flicker detection, the photometric value is calculated to be lower than the charge accumulation for flicker detection in step S203 performed by turning on SW1. Therefore, the photometric value is corrected to the same photometric value as the charge accumulation for flicker detection by multiplying the photometric value by a gain according to the diaphragm drive so as to cancel out this light amount decrease. When the lens barrel 100B is a so-called interchangeable lens that can be attached to and removed from the camera body 100A, the lens communication time, the aperture value, the maximum aperture value, the diaphragm driving speed, etc. differ for each lens barrel 100B. . Therefore, it is necessary to obtain the correction amount gain in accordance with the lens barrel 100B mounted on the camera body 100A.

ステップS211では、ICPU112が、ステップS210で求めた測光値を用いてフリッカー検知演算を行い、その処理内容はステップS204の処理内容と同じである。なお、ステップS211では、フリッカーのピークタイミングの演算までを行うか又は周期演算まで行うかが、ステップS209で行った電荷蓄積回数に応じて変更される。   In step S211, the ICPU 112 performs flicker detection calculation using the photometric value obtained in step S210, and the processing content is the same as the processing content of step S204. In step S211, whether to calculate the peak timing of the flicker or to calculate the period is changed in accordance with the number of times of charge accumulation performed in step S209.

ステップS212では、ICPU112が、ステップS211で求めたフリッカーのピークタイミングに基づいてフリッカー同期信号を生成し、その処理内容はステップS205の処理内容と同じである。ステップS212の後、CPU101は、処理をステップS208へ進めて撮影動作を行い、その後、本処理を終了させ、これによりデジタルカメラ100は、撮影待機状態へ戻る。   In step S212, the ICPU 112 generates a flicker synchronization signal based on the flicker peak timing obtained in step S211, and the processing content is the same as the processing content of step S205. After step S212, the CPU 101 advances the process to step S208 to perform a photographing operation, and then terminates the present process, whereby the digital camera 100 returns to the photographing standby state.

以上の説明の通り、本実施形態によれば、SW2がオンしてからフリッカー検知のための測光センサ108での電荷蓄積と読み出し、演算を行うことができる。つまり、撮影直前のフリッカー同期信号を生成することが可能となるため、フリッカー光源下でも安定した撮像出力を得ることができる。   As described above, according to the present embodiment, it is possible to perform charge accumulation, readout, and calculation in the photometric sensor 108 for flicker detection after the switch SW2 is turned on. That is, since it is possible to generate a flicker synchronization signal immediately before shooting, it is possible to obtain a stable imaging output even under a flicker light source.

100 デジタルカメラ
100A カメラ本体
100B レンズ鏡筒
101 CPU
103 撮像素子
104 シャッタ
105 ハーフミラー
107 表示素子
108 測光センサ
112 ICPU
122 LPU
100 Digital Camera 100A Camera Body 100B Lens Barrel 101 CPU
103 image sensor 104 shutter 105 half mirror 107 display element 108 photometric sensor 112 ICPU
122 LPU

Claims (10)

撮像手段と、
前記撮像手段を用いた複数回の電荷の蓄積と読み出しによる複数の出力に基づいてフリッカーを検知する検知手段と、を備える撮像装置であって、
前記検知手段は、前記撮像手段を用いた第1の回数の電荷の蓄積と読み出しによる複数の出力に基づいて、フリッカーの周期とフリッカーの光量が所定値となるタイミングを検知する第1のフリッカー検知と、前記撮像手段を用いた前記第1の回数よりも少ない第2の回数の電荷の蓄積と読み出しによる複数の出力に基づいて、前記フリッカーの光量が所定値となるタイミングを検知する第2のフリッカー検知と、を実行することができ、前記第1のフリッカー検知によりフリッカーを検知しているときに、被写体を撮像するための本露光の撮像指示から該撮像指示に応じた露光開始までの期間と重なるタイミングで前記第2のフリッカー検知を実行することを特徴とする撮像装置。
Imaging means,
An imaging apparatus comprising: detection means for detecting flicker based on a plurality of outputs obtained by accumulating and reading out electric charges a plurality of times using the imaging means;
The detection unit detects a timing at which the flicker cycle and the light amount of the flicker become a predetermined value, based on a plurality of outputs by accumulation and readout of the first number of charges using the imaging unit. And second detecting a timing at which the light amount of the flicker becomes a predetermined value based on a plurality of outputs by accumulation and readout of a second number of charges smaller than the first number using the imaging means. Flicker detection, and when flicker is detected by the first flicker detection, a period from an imaging instruction of a main exposure for imaging a subject to an exposure start according to the imaging instruction An imaging device characterized in that the second flicker detection is performed at a timing when the second flicker detection is performed ;
前記検知手段が検知した前記タイミングに対応したフリッカー同期信号を生成する生成手段を備え
前記生成手段は、前記第2のフリッカー検知を実行する場合は、前記第2のフリッカー検知により得た前記タイミングに対応したフリッカー同期信号を生成し、前記第2のフリッカー検知を実行しない場合は、先に実行された前記第1のフリッカー検知により得た前記タイミングに対応したフリッカー同期信号を生成することを特徴とする請求項1に記載の撮像装置。
Comprising a generation means to generate a flicker synchronous signal corresponding to the previous northern timing the detection means detects,
The generation means generates a flicker synchronization signal corresponding to the timing obtained by the second flicker detection when the second flicker detection is performed, and does not execute the second flicker detection. the imaging apparatus according to claim 1, characterized that you generate flicker synchronous signal corresponding to the timing obtained by the first flicker detection that is executed first.
前記生成手段は、前記検知手段が前記第1のフリッカー検知により検知した前記フリッカーの周期と、前記第1のフリッカー検知または前記第2のフリッカー検知の何れかで検知した前記タイミングに基づいて前記フリッカー同期信号を生成することを特徴とする請求項2に記載の撮像装置。The generation means may generate the flicker based on the period of the flicker detected by the first flicker detection and the timing detected by the first flicker detection or the second flicker detection. The imaging device according to claim 2, which generates a synchronization signal. 前記本露光を行う際のシャッタ速度に応じて、前記フリッカー同期信号から前記本露光を開始するまでの時間を調整する調整手段を備えることを特徴とする請求項2又は3に記載の撮像装置。4. The image pickup apparatus according to claim 2, further comprising an adjustment unit configured to adjust a time from the flicker synchronization signal to the start of the main exposure in accordance with a shutter speed at the time of performing the main exposure. 前記所定値は、フリッカーの光量変化周期における光量が最大となるピークタイミングであり、
前記調整手段は、前記ピークタイミングが前記本露光の露光時間に含まれるように、前記フリッカー同期信号から前記本露光が開始されるまでの時間を調整することを特徴とする請求項に記載の撮像装置。
The predetermined value is a peak timing at which the light amount in the light amount change period of the flicker becomes maximum,
5. The system according to claim 4 , wherein the adjusting means adjusts a time from the flicker synchronization signal to the start of the main exposure so that the peak timing is included in the exposure time of the main exposure. Imaging device.
前記被写体を撮像する際の露光時間を調節するシャッタを備え、
前記調整手段は、前記フリッカー同期信号から前記シャッタの走行を開始させるための信号を生成するまでの間に、該信号から実際に前記シャッタの走行が開始されるまでのレリーズタイムラグを加えた時間を調整することを特徴とする請求項に記載の撮像装置。
A shutter for adjusting an exposure time at which the subject is imaged;
The adjustment means is a time obtained by adding a release time lag until the shutter is actually started to be started from the flicker synchronization signal until a signal for starting the traveling of the shutter is generated. The image pickup apparatus according to claim 5 , wherein the adjustment is performed.
前記撮像手段とは異なる、前記本露光に用いられる撮像素子を有し、
前記撮像素子の前面側に配置されたミラーと、
前記シャッタの走行開始までに前記ミラーを前記撮像素子の前面から退避させる駆動手段と、を備え、
前記検知手段は、前記ミラーを前記撮像素子の前面から退避させる動作を開始する前に前記タイミングの検知を完了することができる場合に前記第2のフリッカー検知を実行することを特徴とする請求項に記載の撮像装置。
It has an imaging element used for the main exposure, which is different from the imaging means,
A mirror disposed on the front side of the imaging element;
And driving means for retracting the mirror from the front of the imaging device before the start of traveling of the shutter.
It said detecting means, and executes the second flicker detection if it can complete the detection of the pre-Kita timing before starting an operation for retracting the mirror from the front of the imaging device The imaging device according to claim 6 .
前記撮像素子への光の入射を制御する絞りを備え、
前記本露光の直前に行われる前記絞りの駆動に応じて、前記検知手段によるフリッカーの検知に用いる前記撮像手段からの出力を補正する補正手段を有することを特徴とする請求項に記載の撮像装置。
A diaphragm for controlling the incidence of light on the imaging device;
8. The image pickup device according to claim 7 , further comprising correction means for correcting an output from said image pickup means used for detection of flicker by said detection means in accordance with driving of said diaphragm performed immediately before said main exposure. apparatus.
前記検知手段は、発生が予想されるフリッカー光源の複数の電源周波数の公倍数の周波数で前記撮像手段を用いた電荷の蓄積と読み出しによる複数の出力に基づいて、前記第1のフリッカー検知および前記第2のフリッカー検知を実行し、The detection unit is configured to detect the first flicker based on a plurality of outputs by accumulation and readout of charges using the imaging unit at frequencies of common multiples of a plurality of power supply frequencies of the flicker light source expected to be generated. Perform 2 flicker detection,
前記第1の回数および前記第2の回数は、前記フリッカーの周期の整数倍に対応することを特徴とする請求項1乃至8のいずれか1項に記載の撮像装置。  The imaging apparatus according to any one of claims 1 to 8, wherein the first number and the second number correspond to integer multiples of the flicker cycle.
撮像手段を備えた撮像装置の制御方法であって、
前記撮像手段を用いた複数回の電荷の蓄積と読み出しによる複数の出力に基づいてフリッカーを検知する検知ステップを有し、
前記検知ステップでは、前記撮像手段を用いた第1の回数の電荷の蓄積と読み出しによる複数の出力に基づいて、フリッカーの周期とフリッカーの光量が所定値となるタイミングを検知する第1のフリッカー検知と、前記撮像手段を用いた前記第1の回数よりも少ない第2の回数の電荷の蓄積と読み出しによる複数の出力に基づいて、前記フリッカーの光量が所定値となるタイミングを検知する第2のフリッカー検知と、を実行することができ、前記第1のフリッカー検知によりフリッカーが検知されている場合に、被写体を撮像するための本露光の撮像指示から該撮像指示に応じた露光開始までの期間と重なるタイミングで前記第2のフリッカー検知を実行することを特徴とする撮像装置の制御方法。
A control method of an image pickup apparatus comprising an image pickup means, comprising:
It has a detection step of detecting flicker based on a plurality of outputs by accumulation and readout of a plurality of times of charge using the imaging means,
In the detecting step, a first flicker detection is performed to detect a timing at which the flicker cycle and the light amount of the flicker become a predetermined value based on a plurality of outputs by accumulation and readout of the first number of charges using the imaging unit. And second detecting a timing at which the light amount of the flicker becomes a predetermined value based on a plurality of outputs by accumulation and readout of a second number of charges smaller than the first number using the imaging means. Flicker detection, and when flicker is detected by the first flicker detection, a period from an imaging instruction of a main exposure for imaging a subject to an exposure start according to the imaging instruction And controlling the second flicker detection at a timing overlapping with the control signal.
JP2014163610A 2014-08-11 2014-08-11 Image pickup apparatus and control method thereof Expired - Fee Related JP6501463B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014163610A JP6501463B2 (en) 2014-08-11 2014-08-11 Image pickup apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014163610A JP6501463B2 (en) 2014-08-11 2014-08-11 Image pickup apparatus and control method thereof

Publications (3)

Publication Number Publication Date
JP2016039596A JP2016039596A (en) 2016-03-22
JP2016039596A5 JP2016039596A5 (en) 2017-09-14
JP6501463B2 true JP6501463B2 (en) 2019-04-17

Family

ID=55530325

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014163610A Expired - Fee Related JP6501463B2 (en) 2014-08-11 2014-08-11 Image pickup apparatus and control method thereof

Country Status (1)

Country Link
JP (1) JP6501463B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3474544B1 (en) * 2016-06-15 2023-06-28 Sony Group Corporation Image processing device, image processing method, and program
JP6739248B2 (en) * 2016-06-27 2020-08-12 キヤノン株式会社 Imaging device, control method thereof, and program
JP7013254B2 (en) * 2018-01-19 2022-01-31 キヤノン株式会社 Image pickup device and control method of image pickup device
CN112616016A (en) * 2020-12-10 2021-04-06 南昌欧菲光电技术有限公司 Method and device for acquiring image by event camera, electronic equipment and storage medium
JP7678680B2 (en) * 2021-02-22 2025-05-16 キヤノン株式会社 Imaging device, control method thereof, program, and storage medium
JP7649187B2 (en) * 2021-04-20 2025-03-19 キヤノン株式会社 Imaging device, control method thereof, program, and storage medium

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0614257A (en) * 1992-06-26 1994-01-21 Canon Inc Electronic camera
JP3989261B2 (en) * 2002-02-19 2007-10-10 オリンパス株式会社 Digital camera
JP2006243381A (en) * 2005-03-03 2006-09-14 Fuji Photo Film Co Ltd Photographing apparatus

Also Published As

Publication number Publication date
JP2016039596A (en) 2016-03-22

Similar Documents

Publication Publication Date Title
JP6108946B2 (en) Imaging apparatus, control method, program, and storage medium
JP6296697B2 (en) Imaging apparatus, control method, program, and storage medium
KR101757654B1 (en) Image capturing apparatus, method of controlling the same, and storage medium
JP6370134B2 (en) Imaging device, control method thereof, and control program
JP6537224B2 (en) Imaging device, control method, program, and storage medium
JP6501463B2 (en) Image pickup apparatus and control method thereof
JP6460829B2 (en) IMAGING DEVICE, ELECTRONIC DEVICE, AND METHOD FOR CALCULATION OF LIGHT CHANGE CHARACTERISTICS
JP6399843B2 (en) Imaging apparatus and control method thereof
JP6614853B2 (en) Imaging device, control method thereof, and control program
JP6391352B2 (en) Imaging apparatus, control method, program, and storage medium
JP6541312B2 (en) Image pickup apparatus and control method thereof
JP6225000B2 (en) Imaging apparatus, control method therefor, program, and storage medium
JP6505295B2 (en) Imaging device, control method therefor, and control program
JP6456038B2 (en) Electronic device, light amount change characteristic calculation method, program, and storage medium
JP6391319B2 (en) Imaging device, control method thereof, and control program
JP6598927B2 (en) Imaging apparatus, control method, program, and storage medium
JP7674898B2 (en) Imaging device, control method thereof, program, and storage medium
JP6704946B2 (en) Imaging device, control method, program, and storage medium
JP6351778B2 (en) Imaging apparatus, control method, program, and storage medium
JP2017098777A (en) Imaging apparatus, control method therefor, and program
JP6700747B2 (en) Imaging device, control method thereof, and control program
JP2016039579A (en) Imaging device, control method, program and storage medium
JP6478493B2 (en) Imaging apparatus, control method, program, and storage medium
JP2018006801A (en) Imaging apparatus, control method therefor, and program
JP2021087124A (en) Imaging apparatus, control method thereof, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170802

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170802

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190319

R151 Written notification of patent or utility model registration

Ref document number: 6501463

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees