JP5219933B2 - Imaging apparatus and control method thereof - Google Patents
Imaging apparatus and control method thereof Download PDFInfo
- Publication number
- JP5219933B2 JP5219933B2 JP2009144638A JP2009144638A JP5219933B2 JP 5219933 B2 JP5219933 B2 JP 5219933B2 JP 2009144638 A JP2009144638 A JP 2009144638A JP 2009144638 A JP2009144638 A JP 2009144638A JP 5219933 B2 JP5219933 B2 JP 5219933B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- pixel
- area
- setting
- exposure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
Description
本発明は、広ダイナミックレンジによる撮像を行う撮像装置およびその制御方法に関する。 The present invention relates to an imaging apparatus that performs imaging with a wide dynamic range and a control method thereof.
一般に、デジタル一眼、コンパクトデジタルカメラ、デジタルビデオカメラなどの撮像装置において用いられる撮像素子のダイナミックレンジは、自然界のダイナミックレンジに対して小さいことが知られている。そのため、従来から撮像素子のダイナミックレンジを拡大する手法が検討されており、例えば以下の３つの方法がある。 In general, it is known that the dynamic range of an image sensor used in an imaging apparatus such as a digital single lens camera, a compact digital camera, or a digital video camera is smaller than the dynamic range of the natural world. For this reason, methods for expanding the dynamic range of the image sensor have been studied. For example, there are the following three methods.
・マルチショットによる多サンプリング
・固定パターンの感度配置によるワンショットサンプリング
・被写体輝度に応じた露光時間制御
以下、これら従来の、ダイナミックレンジ（以下、ＤＲ）を拡大する３つの方法について説明する。
-Multiple sampling by multi-shot-One-shot sampling by fixed pattern sensitivity arrangement-Exposure time control according to subject brightness These three conventional methods for expanding the dynamic range (hereinafter referred to as DR) will be described below.
まず第１に、マルチショットによる多サンプリング法では、同じ被写体に対して、露光時間を変更して複数の撮像を行うことによって、ＤＲの大きな情報（ハイダイナミックレンジ（ＨＤＲ）画像）を得る。そして撮影後に、露光時間の比に基づいて各画像の画素値にゲイン補正を行い、複数ショット画像の合成を行う。例えば特許文献１に記載された方法では、長時間露光後に、全画素について高速読み出しを行う。この際、読み出しの１フレーム周期の、半分の時間で高速読み出しを行い、残りの時間の半分で短秒露光を行う。さらに短秒露光の読み出しを行っている間に、1/4の短秒露光を行い、合計３つの異なる露光時間で露光を行い、合成している。また、特許文献２においても、イメージセンサの画素部から長時間の蓄積による低照度信号と、短時間の蓄積による高照度信号と、極短時間の光電荷蓄積による超高照度用の信号を取り出すことで、合計３つの異なる露光時間で露光を行い、合成している。 First, in the multi-sampling method using multi-shot, information with a large DR (high dynamic range (HDR) image) is obtained by changing the exposure time and performing a plurality of imaging operations on the same subject. Then, after shooting, gain correction is performed on the pixel value of each image based on the ratio of exposure times, and a plurality of shot images are synthesized. For example, in the method described in Patent Document 1, high-speed reading is performed for all pixels after long exposure. At this time, high-speed reading is performed in half the time of one frame period of reading, and short-second exposure is performed in half of the remaining time. Further, while reading out the short-second exposure, 1/4 short-second exposure is performed, and exposure is performed in a total of three different exposure times, and synthesis is performed. Also in Patent Document 2, a low illuminance signal due to long-time accumulation, a high illuminance signal due to short-time accumulation, and a signal for ultra-high illuminance due to extremely short-time photocharge accumulation are extracted from the pixel portion of the image sensor. Thus, exposure is performed in a total of three different exposure times, and is synthesized.
このように、マルチショットによる多サンプリングを行った場合、非常に広いダイナミックレンジを得ることができるが、結果として合成された画像はショット間に時間差で位置ズレが起こるため、合成後に輪郭ボケや擬似輪郭等の画像障害が発生してしまう。 In this way, when multi-sampling by multi-shot is performed, a very wide dynamic range can be obtained, but as a result, the synthesized image is displaced due to a time difference between shots. An image failure such as a contour occurs.
そこで第２に、動体の位置ズレを回避するなど、異なる露光ショット間の時間差を無くすための方法として、固定パターンの感度配置によるワンショットサンプリング法が知られている。この方法では、センサ上に複数種の感度センサを設け、一度の撮影で複数の露光情報を取得する。具体的な感度の設定方法として、各画素の開口率の大小やフィルタの透過率によって感度を変えたピクセルを固定パターンで配置する方法がある。この方法によれば、高低感度の時間差による位置ズレは改善される。しかしながら、高低感度が固定であるため、シーンの輝度レンジが低感度で撮像できるダイナミックレンジより広い場合には白トビが発生する等、ダイナミックレンジの拡大効果が出ない場合がある。また別の方法として、特許文献３に記載されているように、露光時間の長短によって高感度、低感度の値を設定する方法がある。この場合、シーンに応じて感度設定が可能である。 Secondly, a one-shot sampling method using a fixed pattern sensitivity arrangement is known as a method for eliminating a time difference between different exposure shots, such as avoiding displacement of a moving object. In this method, a plurality of types of sensitivity sensors are provided on the sensor, and a plurality of pieces of exposure information are acquired by one shooting. As a specific sensitivity setting method, there is a method in which pixels whose sensitivity is changed according to the aperture ratio of each pixel or the transmittance of a filter are arranged in a fixed pattern. According to this method, the positional deviation due to the time difference between high and low sensitivity is improved. However, since the high and low sensitivities are fixed, the dynamic range may not be enlarged, for example, white stripes may occur when the scene brightness range is wider than the dynamic range that can be imaged with low sensitivity. As another method, as described in Patent Document 3, there is a method of setting values of high sensitivity and low sensitivity according to the length of exposure time. In this case, sensitivity can be set according to the scene.
しかしながら、このようなワンショットサンプリング法はセンサ上に固定パターンで感度差を設定する方法であるため、低感度、高感度ともにサンプリング点が従来のＲＧＢセンサに比べて少なくなり、解像度が低下してしまう。また、被写体輝度に関係なく固定パターンを用いているため、低感度に該当するピクセルではノイズが増加する。 However, since such a one-shot sampling method is a method of setting a sensitivity difference with a fixed pattern on the sensor, both the low sensitivity and the high sensitivity have fewer sampling points than the conventional RGB sensor, and the resolution is lowered. End up. In addition, since a fixed pattern is used regardless of subject brightness, noise increases in pixels corresponding to low sensitivity.
そして第３に、被写体輝度に応じた露光時間制御を行う方法がある。例えば特許文献４に記載されているように、画素毎に、ＡＤコンバータと、変換後のデジタル値と外部からのデジタル値とを比較する比較器を有することによって、一度も電荷を読み出すことなく画素の適正露光量を検出する方法がある。 Third, there is a method of performing exposure time control according to subject brightness. For example, as described in Patent Document 4, each pixel has an AD converter and a comparator that compares the converted digital value with an external digital value, so that the pixel is not read out even once. There is a method for detecting the appropriate exposure amount.
しかしながらこの方法では、毎回全画素に対して電荷量の比較を行わなくてはならないため、多画素化、多ビット化が困難であるという問題がある。さらには、フォトダイオードで発生する電荷は常にフローティングディフュージョンとして流されつづけるため、そこで発生するノイズを常に除外することができず、ノイズ耐性が非常に劣るという問題点がある。 However, this method has a problem that it is difficult to increase the number of pixels and increase the number of bits because it is necessary to compare the amount of charge for all the pixels every time. Furthermore, since the charge generated in the photodiode is always flown as a floating diffusion, the noise generated there cannot always be excluded, and there is a problem that the noise resistance is very poor.
上述したように、従来の第１〜第３の方法によっても、一度の撮影で高品位なＨＤＲ画像を得ることは困難であった。すなわち、高品位なＨＤＲ画像を撮像するためには、複数レベルの露光による撮像情報を一度に取得し、かつ、被写体輝度に応じて感度を変更し、解像度の低下やノイズを抑制することが課題となる。 As described above, it has been difficult to obtain a high-quality HDR image by one shooting even by the conventional first to third methods. That is, in order to capture a high-quality HDR image, it is necessary to acquire imaging information by multiple levels of exposure at a time and change the sensitivity according to the subject brightness to suppress a reduction in resolution and noise. It becomes.
本発明は上述した課題を鑑みてなされたものであり、一度の撮影で高品位なハイダイナミックレンジ画像を取得する撮像装置およびその制御方法を提供することを目的とする。 The present invention has been made in view of the above-described problems, and an object of the present invention is to provide an imaging apparatus that acquires a high-quality high dynamic range image by a single shooting and a control method thereof.
上記目的を達成するための一手段として、本発明の撮像装置は以下の構成を備える。 As a means for achieving the above object, an imaging apparatus of the present invention comprises the following arrangement.
すなわち、水平方向および垂直方向に配置された、入射光を光電変換した電荷を蓄積する複数の画素からなる撮像素子を駆動することによって撮像を行う撮像手段と、前記撮像手段で被写体に対する予備撮像を行うことによって得られた予備撮像データに基づき、前記撮像素子の各画素を、適用すべき露光量に応じた少なくとも２種類の領域のいずれかに設定する領域設定手段と、前記領域設定手段で前記撮像素子の各画素に設定した領域を、該領域の種類が増加するように補正する領域補正手段と、前記撮像素子の各画素に対し、前記領域補正手段で補正された領域に応じた露光量を設定する露光量設定手段と、を有し、前記撮像手段は、前記露光量設定手段で設定された露光量に応じて前記撮像素子の各画素に対する駆動パルスを生成することによって、前記被写体に対する本撮像を行うことを特徴とする。 That is, an image pickup means for picking up an image by driving an image pickup device composed of a plurality of pixels that accumulates charges obtained by photoelectrically converting incident light arranged in a horizontal direction and a vertical direction, and preliminary image pickup for a subject by the image pickup means. Based on the preliminary imaging data obtained by performing, the area setting means for setting each pixel of the image sensor to at least two types of areas according to the exposure amount to be applied, and the area setting means An area correction unit that corrects an area set for each pixel of the image sensor so that the type of the area increases, and an exposure amount corresponding to the area corrected by the area correction unit for each pixel of the image sensor Exposure amount setting means for setting the exposure amount, and the imaging means generates a driving pulse for each pixel of the image sensor in accordance with the exposure amount set by the exposure amount setting means. It allows and performing the imaging for the object.
上記構成からなる本発明によれば、一度の撮影で高品位なハイダイナミックレンジ画像を取得することができる。 According to the present invention having the above-described configuration, a high-quality high dynamic range image can be acquired by one shooting.
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。 Hereinafter, the present invention will be described in detail based on preferred embodiments with reference to the accompanying drawings. The configurations shown in the following embodiments are merely examples, and the present invention is not limited to the illustrated configurations.
＜第１実施形態＞
●撮像装置の構成
図１は、本実施形態における撮像装置の構成例を示すブロック図である。撮像装置１において、１０１はシャッタ、レンズ、絞りや光学ＬＰＦ等からなる光学部である。１０２は、水平方向および垂直方向にモザイク状に複数色配列されたカラーフィルタとＣＭＯＳセンサから構成され、被写体の予備撮像並びに本撮像を行うカラー撮像素子部である。１０３はカラー撮像素子部１０２による予備撮像結果から各ピクセルの露光量を設定するピクセル露光量設定部である。１０４は複数の露光量間の境界輝度に関するパラメータを記憶する境界輝度パラメータ保存部である。１０５はカラー撮像素子部１０２にて本撮像された画像とピクセル露光量設定部１０３にて設定された露光量から各画素にゲイン補正を行うゲイン演算部である。１０６はゲイン演算部１０５にてゲイン補正処理が施されたモザイク状の画像に対して補間を施し、複数枚の独立プレーン画像を得る画素補間部である。
<First Embodiment>
Configuration of Imaging Device FIG. 1 is a block diagram illustrating a configuration example of the imaging device according to the present embodiment. In the imaging apparatus 1, reference numeral 101 denotes an optical unit that includes a shutter, a lens, a diaphragm, an optical LPF, and the like. Reference numeral 102 denotes a color image sensor unit that includes a color filter and a CMOS sensor arranged in a mosaic pattern in the horizontal direction and the vertical direction and performs preliminary imaging and main imaging of a subject. Reference numeral 103 denotes a pixel exposure amount setting unit that sets the exposure amount of each pixel from the preliminary imaging result obtained by the color imaging element unit 102. A boundary luminance parameter storage unit 104 stores parameters related to boundary luminance between a plurality of exposure amounts. Reference numeral 105 denotes a gain calculation unit that performs gain correction on each pixel from the image actually captured by the color image sensor unit 102 and the exposure amount set by the pixel exposure amount setting unit 103. Reference numeral 106 denotes a pixel interpolation unit that performs interpolation on a mosaic image that has been subjected to gain correction processing by the gain calculation unit 105 to obtain a plurality of independent plane images.
１０７は色処理、ノイズ低減処理、鮮鋭性向上処理等の処理を施す画像処理部である。１０８は画像処理部１０７にて処理された画像を記録するメモリ部である。１０９は撮影中や撮影後、画像処理後の画像などを表示する液晶ディスプレイ等の表示部である。そして１１０は画像を出力する画像出力部であり、１１１はユーザが境界輝度パラメータを設定するための境界輝度パラメータ設定ＵＩである。なお、カラー撮像素子部１０２は、境界輝度パラメータ保存部１０４に格納された境界輝度パラメータを用いて予備撮像を行う。また画像出力部１１０には、ケーブル等を介してプリンタやディスプレイ、メモリカード等の記録媒体を接続することができる。 An image processing unit 107 performs processing such as color processing, noise reduction processing, and sharpness improvement processing. Reference numeral 108 denotes a memory unit that records an image processed by the image processing unit 107. Reference numeral 109 denotes a display unit such as a liquid crystal display that displays an image during imaging, after imaging, and after image processing. Reference numeral 110 denotes an image output unit that outputs an image. Reference numeral 111 denotes a boundary luminance parameter setting UI for the user to set boundary luminance parameters. Note that the color image sensor unit 102 performs preliminary imaging using the boundary luminance parameter stored in the boundary luminance parameter storage unit 104. The image output unit 110 can be connected to a recording medium such as a printer, a display, or a memory card via a cable or the like.
上記構成からなる撮像装置１においては、詳細は後述するが、被写体輝度に応じて画素ごとの露光量を制御することによって、高品位なＨＤＲ画像の撮影を行うことを特徴とする。 Although the details will be described later, the imaging apparatus 1 having the above-described configuration is characterized in that a high-quality HDR image is captured by controlling the exposure amount for each pixel in accordance with the subject luminance.
以下、本実施形態におけるＨＤＲ画像の撮像動作について、図２のフローチャートを用いて説明する。 Hereinafter, the HDR image capturing operation according to the present embodiment will be described with reference to the flowchart of FIG.
本実施形態におけるＨＤＲ画像の撮像動作は、以下の８つの処理に大別される。まず、ユーザの境界輝度パラメータ設定ＵＩ１１１からの入力による境界輝度パラメータ保存部１０４への境界輝度パラメータ設定処理（後述するステップＳ２０１に対応）。そして、カラー撮像素子部１０２における予備撮像処理（同Ｓ２０２）、並びに本撮像処理（同Ｓ２０６）。そして、ピクセル露光量設定部１０３における再予備撮像判定処理（同Ｓ２０３）と、予備撮像画像に対するピクセル露光量設定処理（同Ｓ２０５）、およびゲイン演算部１０５における本撮像画像に対するゲイン補正処理（同Ｓ２０７）。そして、画素補間部１０６におけるモザイク状の撮像画像に対する画素補間処理（同Ｓ２０８）、さらに画像処理部１０７における色、ノイズ低減、鮮鋭性向上等の画像処理（同Ｓ２０９）、である。 The HDR image capturing operation in this embodiment is roughly divided into the following eight processes. First, boundary luminance parameter setting processing to the boundary luminance parameter storage unit 104 by input from the user's boundary luminance parameter setting UI 111 (corresponding to step S201 described later). Then, the preliminary imaging process (S202) and the main imaging process (S206) in the color imaging element unit 102. Then, the re-preliminary imaging determination process (S203) in the pixel exposure amount setting unit 103, the pixel exposure amount setting process (S205) for the preliminary captured image, and the gain correction process (S207) for the main captured image in the gain calculation unit 105. ). Then, pixel interpolation processing for the mosaic-shaped captured image in the pixel interpolation unit 106 (S208), and further image processing such as color, noise reduction, and sharpness improvement in the image processing unit 107 (S209).
図２において、まずステップＳ２０１では、予備撮像の終了を示す変数ｉへのFALSEの設定や、メモリ確保等の初期化動作を行うと共に、後述する境界輝度パラメータ設定ＵＩ１１１を表示する。そして、該表示に対するユーザ入力に応じたパラメータを、境界輝度パラメータ保存部１０４に設定する。 In FIG. 2, first, in step S201, an initialization operation such as setting FALSE to a variable i indicating the end of preliminary imaging and securing a memory is performed, and a boundary luminance parameter setting UI 111 described later is displayed. Then, a parameter corresponding to the user input for the display is set in the boundary luminance parameter storage unit 104.
次にステップＳ２０２で、カラー撮像素子部１０２においてＣＭＯＳセンサの全画素に対して均一な露光量を設定した予備撮像を行う。 Next, in step S202, the color imaging device unit 102 performs preliminary imaging with a uniform exposure amount set for all pixels of the CMOS sensor.
そしてステップＳ２０３において、再予備撮像判定を行う。ステップＳ２０３ではすなわち、予備撮像データが後述する判定基準を満たしていれば、予備撮像の終了を示す変数ｉをTRUEに設定する。するとステップＳ２０４で変数ｉにTRUEが設定されているか否かを判定し、TRUEが設定されていれば予備撮像を終了したとしてステップＳ２０５へ進み、FALSEのままであればステップＳ２０２に戻って、予備撮像を再度行う。なお、ステップＳ２０３における再予備撮像判定処理の詳細については後述する。 In step S203, re-preliminary imaging determination is performed. That is, in step S203, if the preliminary imaging data satisfies a determination criterion described later, a variable i indicating the end of preliminary imaging is set to TRUE. Then, in step S204, it is determined whether or not TRUE is set in the variable i. If TRUE is set, the preliminary imaging is finished and the process proceeds to step S205. Perform imaging again. Details of the re-preliminary imaging determination process in step S203 will be described later.
ステップＳ２０５では、ステップＳ２０２で得られた予備撮像データに基づいて、本撮像における各画素の露光量を設定する。なお、このピクセル露光量設定処理の詳細については後述する。 In step S205, the exposure amount of each pixel in the main imaging is set based on the preliminary imaging data obtained in step S202. Details of the pixel exposure amount setting process will be described later.
次にステップＳ２０６で、ステップＳ２０５でのピクセル露光量設定結果に基づく本撮像処理を行う。そしてステップＳ２０７で、ステップＳ２０５でのピクセル露光量設定結果に基づき、ステップＳ２０６で取得した本撮像データに対してゲイン補正を施す。なお、このゲイン補正の詳細については後述する。 In step S206, the main imaging process based on the pixel exposure amount setting result in step S205 is performed. In step S207, based on the pixel exposure amount setting result in step S205, gain correction is performed on the main imaging data acquired in step S206. Details of the gain correction will be described later.
そしてステップＳ２０８で、ゲイン補正後のモザイク状の撮像画像に対する画素補間処理を行い、ステップＳ２０９で、色処理、ノイズ低減処理、鮮鋭性向上処理等の画像処理を行う。そしてステップＳ２１０において、ステップＳ２０９で処理した画像データを記録し、終了に関する動作を行う。 In step S208, pixel interpolation processing is performed on the mosaic-shaped captured image after gain correction. In step S209, image processing such as color processing, noise reduction processing, and sharpness improvement processing is performed. In step S210, the image data processed in step S209 is recorded, and an operation related to termination is performed.
なお、本実施形態における予備撮像の初期撮像条件は、本撮像に比べて十分に短いシャッタースピードに設定されていることが望ましい。 Note that it is desirable that the initial imaging conditions for the preliminary imaging in the present embodiment be set to a shutter speed that is sufficiently shorter than that for the main imaging.
●境界輝度パラメータ設定（Ｓ２０１）
以下、上記ステップＳ２０１にて表示される境界輝度パラメータ設定ＵＩ１１１について、図３を用いて説明する。なお、境界輝度パラメータ設定ＵＩ１１１は、選択されたボタンに応じて表示ウィンドウ等が図３(a)と図３(b)に示すように変化するため、図３(a)と図３(b)において共通するボタンには同一番号を付してある。
Boundary luminance parameter setting (S201)
Hereinafter, the boundary luminance parameter setting UI 111 displayed in step S201 will be described with reference to FIG. The boundary luminance parameter setting UI 111 changes the display window and the like as shown in FIGS. 3A and 3B in accordance with the selected button, so FIGS. 3A and 3B. The same number is attached to the common buttons in FIG.
まず、図３(a)と図３(b)に共通するボタン等について説明する。３０２は境界輝度パラメータ設定ボタンであり、ユーザがこのボタンを押下すると、当該ＵＩにおいて設定された境界輝度パラメータを記録する。３０３は終了ボタンであり、ユーザがこのボタンを押下すると、当該ＵＩにおいて境界輝度パラメータが一度でも設定されている場合にはメモリの解放等を行い、境界輝度パラメータ設定ＵＩのダイアログウィンドウを終了する。一方、境界輝度パラメータが一度も設定されていない場合には、予め与えられている測光ウィンドウ内の平均輝度を境界輝度パラメータとして記録し、メモリの解放等を行って境界輝度パラメータ設定ＵＩのダイアログウィンドウを終了する。 First, buttons and the like common to FIGS. 3 (a) and 3 (b) will be described. Reference numeral 302 denotes a boundary luminance parameter setting button. When the user presses this button, the boundary luminance parameter set in the UI is recorded. Reference numeral 303 denotes an end button. When the user presses this button, if the boundary luminance parameter is set even once in the UI, the memory is released and the dialog window of the boundary luminance parameter setting UI is ended. On the other hand, when the boundary luminance parameter has never been set, the average luminance in the photometric window given in advance is recorded as the boundary luminance parameter, the memory is released, and the boundary luminance parameter setting UI dialog window is displayed. Exit.
３０４は主要被写体領域指定ラジオボタンであり、ユーザがこのボタンを選択すると、図３(a)のような領域指定表示がなされ、後述する表示画面３０６、スライドバー３０８，３０９、テキストボックス３１０，３１１が表示される。 Reference numeral 304 denotes a main subject area designation radio button. When the user selects this button, an area designation display as shown in FIG. 3A is made, and a display screen 306, slide bars 308 and 309, and text boxes 310 and 311 described later are displayed. Is displayed.
３０５は相対輝度指定ラジオボタンであり、ユーザがこのボタンを選択すると、図３(b)のような相対輝度指定表示がなされ、後述するウィンドウ３１２、スライドバー３１３、テキストボックス３１４が表示される。 Reference numeral 305 denotes a relative luminance designation radio button. When the user selects this button, a relative luminance designation display as shown in FIG. 3B is performed, and a window 312, a slide bar 313, and a text box 314 described later are displayed.
図３(a)の領域指定表示において、３０６はファインダー画像表示画面であり、ファインダー画像が表示される。３０７は主要被写体領域であり、ウィンドウ位置設定スライドバー３０８，３０９をユーザがスライドさせることにより、ファインダー画像表示画面３０６上での主要被写体領域３０７の表示位置が設定される。３１０、３１１は主要被写体領域３０７のサイズ指定テキストボックスであり、ユーザが数値を入力すると、主要被写体領域３０７のサイズが変更される。 In the area designation display of FIG. 3A, reference numeral 306 denotes a finder image display screen on which a finder image is displayed. Reference numeral 307 denotes a main subject area. When the user slides the window position setting slide bars 308 and 309, the display position of the main subject area 307 on the viewfinder image display screen 306 is set. Reference numerals 310 and 311 denote size designation text boxes for the main subject area 307. When the user inputs a numerical value, the size of the main subject area 307 is changed.
図３(a)の領域指定表示では、境界輝度パラメータ設定ボタン３０２が押下されることにより、ファインダー画像表示画面３０６上における主要被写体領域３０７の位置とサイズが、境界輝度パラメータとして設定される。 In the area designation display of FIG. 3A, when the boundary luminance parameter setting button 302 is pressed, the position and size of the main subject area 307 on the finder image display screen 306 are set as boundary luminance parameters.
図３(b)の相対輝度指定表示において、３１２はヒストグラム表示ウィンドウであり、ファインダー画像の輝度ヒストグラムが表示される。３１３は主要被写体輝度設定スライドバーであり、ユーザによってスライドされた相対輝度がテキストボックス３１４に反映される。また、テキストボックス３１４にユーザが数値を入力すると、その値がスライドバー３１３に反映される。 In the relative luminance designation display shown in FIG. 3B, a histogram display window 312 displays a luminance histogram of the finder image. A main subject brightness setting slide bar 313 reflects the relative brightness slid by the user in the text box 314. When the user inputs a numerical value in the text box 314, the value is reflected on the slide bar 313.
図３(b)の領域指定表示では、境界輝度パラメータ設定ボタン３０２が押下されることにより、ヒストグラム表示ウィンドウ３１２上において主要被写体輝度設定スライドバー３１３の示す相対輝度が、境界輝度パラメータとして設定される。 In the area designation display of FIG. 3B, when the boundary luminance parameter setting button 302 is pressed, the relative luminance indicated by the main subject luminance setting slide bar 313 on the histogram display window 312 is set as the boundary luminance parameter. .
ここで、境界輝度パラメータ設定ＵＩ１１１における境界輝度パラメータ設定動作について、図４の状態遷移図を用いて説明する。 Here, the boundary luminance parameter setting operation in the boundary luminance parameter setting UI 111 will be described with reference to the state transition diagram of FIG.
まずステート４０１では、初期設定値の読み込みや、図３(a)のＵＩを表示する等の初期化動作を行い、ステート４０２へ移行する。 First, in state 401, initialization operations such as reading of initial setting values and displaying the UI of FIG.
次にステート４０２では、図３(a)に示すＵＩでのユーザ操作判断待ち状態となる。また、境界輝度パラメータの指定パターンを示す変数ｋがTRUEに設定される。ここで、スライドバー３０８，３０９がスライドされると、ステート４０３へ移行して主要被写体領域３０７の表示位置を変更して再描画した後、ステート４０２へ戻る。 Next, in the state 402, a user operation determination waiting state on the UI shown in FIG. In addition, the variable k indicating the designated pattern of the boundary luminance parameter is set to TRUE. Here, when the slide bars 308 and 309 are slid, the process proceeds to the state 403, the display position of the main subject area 307 is changed and redrawn, and then the process returns to the state 402.
ステート４０２において、テキストボックス３１０，３１１に数値が入力されるとステート４０４へ移行し、ステート４０４では入力されたウィンドウサイズを変更して主要被写体領域３０７を再描画した後、ステート４０２へ戻る。 When a numerical value is input to the text boxes 310 and 311 in the state 402, the process proceeds to the state 404. In the state 404, the input window size is changed and the main subject area 307 is redrawn, and then the process returns to the state 402.
ステート４０２において、境界輝度パラメータ設定ボタン３０２が押下されると、主要被写体領域３０７の位置とサイズ、並びに境界輝度パラメータの指定パターンを示す変数ｋを、境界輝度パラメータ保存部１０４に格納する。また、終了ボタン３０３が押下されると、ステート４０９へ移行し、終了に関する動作を行う。 When the boundary luminance parameter setting button 302 is pressed in the state 402, the boundary luminance parameter storage unit 104 stores the position and size of the main subject region 307 and the variable k indicating the specified pattern of the boundary luminance parameter. When the end button 303 is pressed, the process proceeds to the state 409 to perform an operation related to the end.
ステート４０２において、相対輝度ラジオボタン３０５が選択されると、ステート４０６へ移行し、図３(b)に示すＵＩでのユーザ操作判断待ち状態となる。また、境界輝度パラメータの指定パターンを示す変数ｋがFALSEに設定される。 When the relative luminance radio button 305 is selected in the state 402, the state shifts to the state 406 and enters a user operation determination waiting state in the UI shown in FIG. Further, the variable k indicating the designated pattern of the boundary luminance parameter is set to FALSE.
ステート４０６において、スライドバー３１３またはテキストボックス３１４が変更されるとステート４０７へ移行し、スライドバー３１３の位置あるいはテキストボックス３１４に入力された情報に基づいて主要被写体輝度を変更し、ステート４０６へ戻る。 When the slide bar 313 or the text box 314 is changed in the state 406, the process proceeds to the state 407, the main subject brightness is changed based on the position of the slide bar 313 or the information input to the text box 314, and the process returns to the state 406. .
ステート４０６において、境界輝度パラメータ設定ボタン３０２が押下されると、主要被写体輝度、並びに境界輝度パラメータの指定パターンを示す変数ｋを、境界輝度パラメータ保存部１０４に格納する。また、終了ボタン３０３が押下されると、ステート４０９へ移行し、終了に関する動作を行う。 When the boundary luminance parameter setting button 302 is pressed in the state 406, the variable k indicating the main subject luminance and the specified pattern of the boundary luminance parameter is stored in the boundary luminance parameter storage unit 104. When the end button 303 is pressed, the process proceeds to the state 409 to perform an operation related to the end.
●ピクセル露光量設定部１０３
本実施形態におけるピクセル露光量設定部１０３では、上記ステップＳ２０３における再予備撮像判定処理、およびステップＳ２０５におけるピクセル露光量設定処理が行われる。これらの処理を詳細に説明するに先立ち、ピクセル露光量設定部１０３の詳細構成について、図５のブロック図を用いて説明する。
Pixel exposure amount setting unit 103
In the pixel exposure amount setting unit 103 in the present embodiment, the re-preliminary imaging determination process in step S203 and the pixel exposure amount setting process in step S205 are performed. Prior to detailed description of these processes, the detailed configuration of the pixel exposure amount setting unit 103 will be described with reference to the block diagram of FIG.
ピクセル露光量設定部１０３において、５０１は予備撮像データに飽和画素が含まれているか否かを判定する飽和判定部、５０２は該飽和判定結果から予備撮像条件を変更する予備撮像条件変更部である。また、５０３は各画素について不飽和となる撮像条件を記録する撮像条件記録部、５０４は撮像条件記録部５０３に基づき、各画素の輝度を算出する輝度算出部である。５０５は、境界輝度パラメータ保存部１０４に保持された境界輝度パラメータと、輝度算出部５０４にて算出された輝度情報に基づいて、ピクセル露光時間マップ（以下、露光時間マップ）を生成する露光時間マップ生成部である。５０８は生成した露光時間マップを修正する露光時間マップ補正部、５０６は修正した露光時間マップを記録する露光時間マップ記録部である。５０７は露光時間マップに基づき各画素のＣＭＯＳセンサのトランジスタ駆動パルスを生成するタイミングジェネレータ部である。なお、露光時間マップ記録部５０６に記録した情報は、後段のゲイン補正処理においても利用される。 In the pixel exposure amount setting unit 103, reference numeral 501 denotes a saturation determination unit that determines whether or not the preliminary imaging data includes a saturated pixel, and 502 denotes a preliminary imaging condition change unit that changes the preliminary imaging condition based on the saturation determination result. . Reference numeral 503 denotes an imaging condition recording unit that records an imaging condition that becomes unsaturated for each pixel. Reference numeral 504 denotes a luminance calculation unit that calculates the luminance of each pixel based on the imaging condition recording unit 503. An exposure time map 505 generates a pixel exposure time map (hereinafter referred to as an exposure time map) based on the boundary brightness parameter held in the boundary brightness parameter storage unit 104 and the brightness information calculated by the brightness calculation unit 504. It is a generation part. An exposure time map correction unit 508 corrects the generated exposure time map, and an exposure time map recording unit 506 records the corrected exposure time map. Reference numeral 507 denotes a timing generator that generates a transistor drive pulse of the CMOS sensor of each pixel based on the exposure time map. The information recorded in the exposure time map recording unit 506 is also used in the subsequent gain correction process.
●再予備撮像判定処理（Ｓ２０３）
以下、ピクセル露光量設定部１０３で行われる、上記ステップＳ２０３における再予備撮像判定処理について、図６のフローチャートを用いて説明する。なお、本実施形態における再予備撮像判定は、飽和画素検出処理（後述するステップＳ６０２に対応）、予備撮像条件変更判定処理（同Ｓ６０６）、撮像条件記録処理（同Ｓ６０４）、以上の３つの処理を経て行われる。
Re-preliminary imaging determination process (S203)
Hereinafter, the re-preliminary imaging determination process in step S203 performed by the pixel exposure amount setting unit 103 will be described with reference to the flowchart of FIG. Note that the re-preliminary imaging determination in the present embodiment includes the saturated pixel detection process (corresponding to step S602 described later), the preliminary imaging condition change determination process (S606), the imaging condition recording process (S604), and the above three processes. It is done through.
まずステップＳ６０１では、画素番号ｊへの０設定やメモリ確保等の初期化動作を行う。 First, in step S601, initialization operations such as setting 0 to the pixel number j and securing the memory are performed.
次にステップＳ６０２で、予備撮像データにおける画素ｊと所定の閾値を比較し、画素ｊの方が該閾値よりも小さければステップＳ６０３へ、そうでなければステップＳ６０６へ進む。ここで所定の閾値とは、図２のステップＳ２０１で設定される境界輝度パラメータを用いる。具体的には、カラー撮像素子部１０２におけるＣＭＯＳセンサ値が輝度に対して線形性を保持できる最大値（飽和閾値）を用いることが望ましいが、該センサが取得し得る値であれば適用可能である。 In step S602, the pixel j in the preliminary imaging data is compared with a predetermined threshold value. If the pixel j is smaller than the threshold value, the process proceeds to step S603. Otherwise, the process proceeds to step S606. Here, the predetermined threshold is the boundary luminance parameter set in step S201 in FIG. Specifically, it is desirable to use the maximum value (saturation threshold) that can maintain the linearity with respect to luminance as the CMOS sensor value in the color image sensor unit 102, but any value that can be acquired by the sensor is applicable. is there.
画素ｊが飽和していなければステップＳ６０３において、画素ｊに対する撮像条件が撮像条件記録部５０３に記録されているか否かを判定し、記録されていなければステップＳ６０４へ進んで該撮像条件を格納する。ここで撮像条件とは、絞り値、シャッタースピード、ＩＳＯ感度、並びに画素値、とする。なお、ここで記録される撮像条件は、図７の表に示すように、画素番号と関連させて撮像条件記録部５０３に格納する。一方、ステップＳ６０３において画素ｊに対する撮像条件が記録されていればステップＳ６０５へ進む。 If the pixel j is not saturated, it is determined in step S603 whether or not the imaging condition for the pixel j is recorded in the imaging condition recording unit 503. If not, the process proceeds to step S604 and the imaging condition is stored. . Here, the imaging conditions are an aperture value, shutter speed, ISO sensitivity, and pixel value. The imaging conditions recorded here are stored in the imaging condition recording unit 503 in association with the pixel numbers as shown in the table of FIG. On the other hand, if the imaging condition for the pixel j is recorded in step S603, the process proceeds to step S605.
次にステップＳ６０５では、全ての画素に対して撮像条件の記録処理が行われたか否かを判定し、行われていればステップＳ６０７へ、そうでなければ画素番号ｊに１を加えてステップＳ６０２へ進む。ステップＳ６０７では、予備撮像の終了を示す変数ｉにTRUEを設定し、終了に関する処理を行う。 Next, in step S605, it is determined whether or not imaging condition recording processing has been performed for all pixels. If it has been performed, the process proceeds to step S607, and if not, 1 is added to the pixel number j and step S602 is performed. Proceed to In step S607, TRUE is set to a variable i indicating the end of preliminary imaging, and processing related to the end is performed.
一方、画素ｊが飽和していればステップＳ６０６において、予備撮像条件変更部５０２で撮像条件のシャッタースピードを短くなるように変更する。そして、タイミングジェネレータ部５０７で全ての画素について同じ条件のＣＭＯＳセンサ駆動パルスを生成した後、終了に関する処理を行う。 On the other hand, if the pixel j is saturated, in step S606, the preliminary imaging condition changing unit 502 changes the imaging condition so that the shutter speed is shortened. Then, the timing generator unit 507 generates CMOS sensor drive pulses under the same conditions for all pixels, and then performs processing related to termination.
以上のように本実施形態の再予備撮像判定処理においては、予備撮像データにおいて所定の閾値よりも大きい画素が存在する場合、飽和が発生しているものとして、再度の予備撮像を行うべく撮影条件を変更する。このとき、変数ｉはFALSEのままである。一方、飽和画素がない場合には、変数ｉにTRUEを設定して予備撮像の終了を指示する。 As described above, in the re-preliminary imaging determination process according to the present embodiment, if there are pixels larger than the predetermined threshold in the preliminary imaging data, it is assumed that saturation has occurred, and the imaging condition is set to perform preliminary imaging again. To change. At this time, the variable i remains FALSE. On the other hand, if there is no saturated pixel, the variable i is set to TRUE to instruct the end of preliminary imaging.
●ピクセル露光量設定処理（Ｓ２０５）
以下、上記ステップＳ２０５におけるピクセル露光量設定処理について、図８のフローチャートを用いて説明する。なお、本実施形態における露光量設定動作は、以下の３つの処理を経て実行される。まず、各画素の輝度を算出する輝度算出処理（後述するステップＳ８０２に対応）、そして境界輝度と各画素の輝度値から露光時間マップを生成する露光時間マップ生成処理（同Ｓ８０３）、そしてトランジスタの駆動パルス生成処理（同Ｓ８０４）、である。
Pixel exposure amount setting process (S205)
Hereinafter, the pixel exposure amount setting process in step S205 will be described with reference to the flowchart of FIG. Note that the exposure amount setting operation in the present embodiment is executed through the following three processes. First, a luminance calculation process for calculating the luminance of each pixel (corresponding to step S802 described later), an exposure time map generation process for generating an exposure time map from the boundary luminance and the luminance value of each pixel (S803 in the same), Drive pulse generation processing (S804).
まずステップＳ８０１では、撮像条件記録部５０３に図７に示すように格納されている絞り値、シャッタースピード、ＩＳＯ感度、各画素の輝度値の読み込みや、メモリ確保等の初期化動作を行う。 First, in step S801, initialization operations such as reading of the aperture value, shutter speed, ISO sensitivity, and luminance value of each pixel stored in the imaging condition recording unit 503 as shown in FIG. 7 and securing the memory are performed.
次にステップＳ８０２では輝度算出部５０４において、ステップＳ８０１で取得した、図７に示す撮像条件の各情報に基づき、以下の式(1)〜(6)によって輝度を算出する。 Next, in step S802, the luminance calculation unit 504 calculates the luminance according to the following formulas (1) to (6) based on the information on the imaging conditions shown in FIG. 7 acquired in step S801.
ここで、画素番号をｊとして、画素値をＰj、画素の輝度値をＰＢj、絞り値をＦj、シャッタースピードをＴj、ＩＳＯ感度をＩＳＯj、被写体の適正輝度をＢj、とする。また、絞り値を表すＡＰＥＸ値をＡＶj、シャッタースピードを表すＡＰＥＸ値をＴＶj、ＩＳＯ感度を表すＡＰＥＸ値をＳＶj、被写体輝度を表すＡＰＥＸ値をＢＶjとする。 Here, it is assumed that the pixel number is j, the pixel value is Pj, the luminance value of the pixel is PBj, the aperture value is Fj, the shutter speed is Tj, the ISO sensitivity is ISOj, and the appropriate luminance of the subject is Bj. Also, it is assumed that the APEX value representing the aperture value is AVj, the APEX value representing the shutter speed is TVj, the APEX value representing the ISO sensitivity is SVj, and the APEX value representing the subject brightness is BVj.
はじめに、撮像条件から画素番号ｊにおける各ＡＰＥＸ値が、以下の式(1)〜(3)で算出される。 First, each APEX value at pixel number j is calculated from the imaging conditions by the following equations (1) to (3).
ＡＶj＝２log2(Ｆj) ・・・(1)
ＴＶj＝−log2(Ｔj) ・・・(2)
ＳＶj＝log2(ＩＳＯj／3.125) ・・・(3)
次に以下の式(4)を用いて、被写体輝度のＡＰＥＸ値を算出する。
AVj = 2log 2 (Fj) (1)
TVj = −log 2 (Tj) (2)
SVj = log 2 (ISOj / 3.125) (3)
Next, the APEX value of the subject brightness is calculated using the following formula (4).
ＢＶj＝ＡＶj＋ＴＶj−ＳＶj ・・・(4)
次に以下の式(5)を用いて、被写体輝度を算出する。但し、式(5)においてＮ，Ｋは定数である。
BVj = AVj + TVj-SVj (4)
Next, subject luminance is calculated using the following equation (5). However, in Formula (5), N and K are constants.
Ｂj＝２ＢＶj×Ｎ／Ｋ ・・・(5)
次に以下の式(6)を用いて、画素番号ｊの輝度を算出する。
Bj = 2 BVj × N / K (5)
Next, the luminance of the pixel number j is calculated using the following equation (6).
ＰＢj＝Ｂj×(Ｐj／最大信号値)×(100／18) ・・・(6)
以上のように各画素の輝度が算出されると、次にステップＳ８０３で露光時間マップを生成して露光時間マップ記録部５０６に保持する。なお、この露光時間マップ生成処理の詳細については後述する。
PBj = Bj × (Pj / maximum signal value) × (100/18) (6)
When the luminance of each pixel is calculated as described above, an exposure time map is generated and stored in the exposure time map recording unit 506 in step S803. Details of the exposure time map generation process will be described later.
次にステップＳ８０４でタイミングジェネレータ部５０７において、露光時間マップ記録部５０６に保持された露光時間マップに基づいて、ＣＭＯＳセンサにおけるトランジスタの駆動パルスを生成する。なお、この駆動パルス生成処理の詳細については後述する。 In step S804, the timing generator unit 507 generates a driving pulse for a transistor in the CMOS sensor based on the exposure time map held in the exposure time map recording unit 506. Details of this drive pulse generation processing will be described later.
●露光時間マップ生成処理（Ｓ８０３）
以下、上記ステップＳ８０３における露光時間マップ生成処理について、図９のフローチャートを用いて説明する。
Exposure time map generation process (S803)
Hereinafter, the exposure time map generation processing in step S803 will be described with reference to the flowchart of FIG.
まずステップＳ９０１では、境界輝度パラメータ、および撮像条件記録部５０３に格納されている絞り値、ＩＳＯ感度、各画素の輝度値の読み込みや、メモリの確保等の初期化動作を行う。 First, in step S901, initialization operations such as reading of the boundary luminance parameter, the aperture value stored in the imaging condition recording unit 503, the ISO sensitivity, the luminance value of each pixel, and securing the memory are performed.
次にステップＳ９０２では、全画素の輝度値を走査して、最大輝度値ＭＢを取得する。 In step S902, the luminance values of all the pixels are scanned to obtain the maximum luminance value MB.
次にステップＳ９０３では、境界輝度パラメータの指定パターンを判定する。すなわち、境界輝度パラメータの指定パターンを示す変数ｋがTRUEであればステップＳ９０４へ、そうでなければ９０５へ進む。 In step S903, the designated pattern of the boundary luminance parameter is determined. That is, if the variable k indicating the boundary luminance parameter designation pattern is TRUE, the process proceeds to step S904, and if not, the process proceeds to 905.
ステップＳ９０４では、図３(a)に示すＵＩによって設定された境界輝度パラメータ（主要被写体ウィンドウの位置とサイズ）に基づく、第１の境界輝度設定を行う。すなわち、境界輝度パラメータにおける指定領域位置の輝度情報と、ステップＳ９０２で取得した最大輝度値ＭＢに基づき、以下に示す式(7)，(8)によって境界輝度を算出・設定する。以降、境界輝度未満の輝度領域を暗領域、それ以上の輝度領域を明領域とする。ここでは、指定領域のサイズをｍ×ｎとし、指定領域内の各画素の輝度をＰＢk、平均輝度をＰＢave、境界輝度をＳＢとする。 In step S904, first boundary luminance setting is performed based on the boundary luminance parameters (position and size of the main subject window) set by the UI shown in FIG. That is, based on the luminance information of the designated area position in the boundary luminance parameter and the maximum luminance value MB acquired in step S902, the boundary luminance is calculated and set by the following equations (7) and (8). Hereinafter, a luminance area less than the boundary luminance is a dark area, and a luminance area higher than the luminance area is a bright area. Here, the size of the designated area is m × n, the luminance of each pixel in the designated area is PBk, the average luminance is PBave, and the boundary luminance is SB.
ＰＢave＝Σ(ＰＢk／(ｍ×ｎ)) ・・・(7)
なお、Σは１〜ｍ×ｎの画素における累積を示す。
PBave = Σ (PBk / (m × n)) (7)
Note that Σ indicates accumulation in pixels of 1 to m × n.
ＳＢ＝ＰＢave×(100／18) ・・・(8)
またステップＳ９０５では、図３(b)に示すＵＩによって設定された境界輝度パラメータ（主要被写体の相対輝度）に基づいく、第２の境界輝度設定を行う。すなわち、ステップＳ９０２で取得した最大輝度値ＭＢと境界輝度パラメータに基づき、式(9)によって境界輝度ＳＢを算出・設定する。
SB = PBave × (100/18) (8)
In step S905, second boundary luminance setting is performed based on the boundary luminance parameter (relative luminance of the main subject) set by the UI shown in FIG. That is, based on the maximum luminance value MB and the boundary luminance parameter acquired in step S902, the boundary luminance SB is calculated and set by Equation (9).
ＳＢ＝境界輝度パラメータ×ＭＢ ・・・(9)
次にステップＳ９０６では、画素番号ｊの輝度値と、ステップＳ９０４またはＳ９０５で設定された境界輝度ＳＢとを比較し、画素番号ｊの輝度値の方が小さければステップＳ９０７へ進んで、露光時間マップの対応位置に暗領域を示す０を記録する。一方、画素番号ｊの輝度値が境界輝度ＳＢ以上であればステップＳ９０８へ進んで、露光時間マップの対応位置に明領域を示す１を記録する。ここで図１０(a)に、暗領域または明領域のいずれかとして記録された露光時間マップの例を示す。図１０(a)に示すようにこの段階での露光時間マップは、予備撮像データにおける各画素を境界輝度を境に２値化したものである。
SB = boundary luminance parameter × MB (9)
In step S906, the luminance value of pixel number j is compared with the boundary luminance SB set in step S904 or S905. If the luminance value of pixel number j is smaller, the process proceeds to step S907, and the exposure time map is displayed. 0 indicating a dark region is recorded at the corresponding position. On the other hand, if the luminance value of the pixel number j is greater than or equal to the boundary luminance SB, the process proceeds to step S908, and 1 indicating a bright area is recorded at the corresponding position in the exposure time map. Here, FIG. 10A shows an example of an exposure time map recorded as either a dark area or a bright area. As shown in FIG. 10A, the exposure time map at this stage is obtained by binarizing each pixel in the preliminary imaging data with the boundary luminance as a boundary.
そしてステップＳ９０９では、全ての画素に対して露光時間マップの作成処理を行ったか否かを判定し、行っていればステップＳ９１０へ進むが、そうでなければ画素番号ｊに１を加えてステップＳ９０６へ戻り、次の画素を処理する。ここまでの処理は、ピクセル露光時間マップ生成部５０５にて行われる。 In step S909, it is determined whether exposure time map creation processing has been performed for all pixels. If yes, the process proceeds to step S910. If not, 1 is added to pixel number j and step S906 is performed. Return to and process the next pixel. The processing so far is performed by the pixel exposure time map generation unit 505.
次にステップＳ９１０ではピクセル露光時間マップ補正部５０８において、上記のように生成された２値の露光時間マップに対してローパスフィルタ処理を行い、例えば図１０(b)に示すような４値のデータに変換する。この４値のデータ（０〜３）が、４つの明度領域にそれぞれ対応する。すなわち露光時間マップは、予備撮像データにおける各画素が、境界輝度を境とした暗領域、明領域にそれぞれ２値化され、全体として４値化されたものとなる。ここで使用するローパスフィルタとしては、例えば以下の式(10)に示すような３×３のデジタルフィルタを用いれば良い。なお、式(10)において最後に３倍しているのは、変換後の値を０〜３の４値にするためである。 Next, in step S910, the pixel exposure time map correction unit 508 performs low-pass filter processing on the binary exposure time map generated as described above, for example, quaternary data as shown in FIG. 10B. Convert to The four-value data (0 to 3) correspond to the four brightness areas. That is, in the exposure time map, each pixel in the preliminary imaging data is binarized into a dark area and a bright area with the boundary luminance as a boundary, and is binarized as a whole. As the low-pass filter used here, for example, a 3 × 3 digital filter represented by the following formula (10) may be used. Note that the reason why the value is finally tripled in the equation (10) is to make the converted value four values of 0-3.
・・・(10)
なお、本実施形態における露光時間マップとしては、最終的に４値以外の値にしても良く、したがって上記以外のローパスフィルタを用いても良い。もちろん、３×３以外のサイズのデジタルフィルタを用いても良い。
···(Ten)
Note that the exposure time map in the present embodiment may be finally set to a value other than four values, and therefore a low-pass filter other than the above may be used. Of course, a digital filter having a size other than 3 × 3 may be used.
次にステップＳ９１１では、以下の式(11)〜(13)を用いて、各明度領域に適用するシャッタースピードＴ（Ｔ0〜Ｔ3）を算出する。 In step S911, a shutter speed T (T0 to T3) to be applied to each brightness area is calculated using the following equations (11) to (13).
はじめに、主要被写体の輝度のＡＰＥＸ値であるＢＶを求める。 First, BV which is the APEX value of the luminance of the main subject is obtained.
ＢＶ＝log2(ＳＢ×Ｎ／Ｋ) ・・・(11)
次に、上記式(1)，(3)を用いて絞り値のＡＰＥＸ値ＡＶ，ＩＳＯ感度のＡＰＥＸ値ＳＶを求め、これに基づいてシャッタースピードのＡＰＥＸ値ＴＶを求める。
BV = log 2 (SB × N / K) (11)
Next, the APEX value AV of the aperture value and the APEX value SV of the ISO sensitivity are obtained using the above formulas (1) and (3), and the APEX value TV of the shutter speed is obtained based on the APEX value AV.
ＴＶ＝ＳＶ＋ＢＶ−ＡＶ ・・・(12)
そして最後に、暗領域のシャッタースピードＴを算出する。
TV = SV + BV-AV (12)
Finally, the shutter speed T in the dark area is calculated.
Ｔ＝２-ＴＶ ・・・(13)
次にステップＳ９１２では、算出された各明度領域に適用するシャッタースピードＴ（Ｔ0〜Ｔ3）を、露光時間マップに関連付けて格納する。なお、シャッタースピードＴ（Ｔ0〜Ｔ3）の格納場所については特に限定しないが、例えば、露光時間マップに追加しても良いし、露光時間マップ内に設定した多値の値をそれぞれ、対応するシャッタースピードの値に置き換えて保持するようにしても良い。
T = 2 -TV (13)
In step S912, the calculated shutter speed T (T0 to T3) applied to each brightness area is stored in association with the exposure time map. The storage location of the shutter speed T (T0 to T3) is not particularly limited. For example, the shutter speed T (T0 to T3) may be added to the exposure time map, or each of the multivalue values set in the exposure time map may correspond to the corresponding shutter. You may make it hold | maintain by replacing with the value of speed.
以上のように本実施形態においては、まず、ＵＩによって設定された境界輝度に基づいて予備撮像データを２値化し、適用すべき露光量に応じた領域設定を行うことによって露光時間マップを作成する。そして、該露光時間マップをローパスフィルタ処理によって多値化することで、領域補正を行う。そしてさらに、露光時間マップにおける各値に対応するシャッタースピードを算出しておく。 As described above, in the present embodiment, first, the preliminary imaging data is binarized based on the boundary luminance set by the UI, and the exposure time map is created by setting the area according to the exposure amount to be applied. . Then, the exposure time map is multivalued by low-pass filter processing to perform area correction. Furthermore, the shutter speed corresponding to each value in the exposure time map is calculated.
なお、本実施形態では露光時間マップを作成するにあたり、予備撮像データを２値化した後に多値化する例を示したが、撮像素子の各画素に対して、適用すべき露光量に応じた所定数の領域を設定することができれば良い。すなわち、前記撮像素子の各画素を、まずは２種類の領域のいずれかに設定し、さらに、該設定した領域の種類が増加するように、例えば４種類となるように補正すれば良い。 In the present embodiment, when creating the exposure time map, an example is shown in which preliminary imaging data is binarized and then multi-valued. However, depending on the amount of exposure to be applied to each pixel of the image sensor. It is sufficient if a predetermined number of areas can be set. That is, each pixel of the image sensor is first set to one of two types of regions, and further corrected to, for example, four types so that the types of the set regions increase.
また、本実施形態では予備撮像データに基づき、シャッタースピードを示す露光時間マップを作成する例を説明したが、このマップとしては画素ごとの露光量を設定できれば良いため、露光量を示すパラメータを設定した露光量マップとして作成しても良い。 In this embodiment, an example of creating an exposure time map indicating the shutter speed based on preliminary imaging data has been described. However, since this map only needs to be able to set an exposure amount for each pixel, a parameter indicating the exposure amount is set. You may create as an exposure amount map.
●カラー撮像素子部１０２の詳細構成
本実施形態におけるカラー撮像素子部１０２はＣＭＯＳセンサによって構成され、上述したように作成された露光時間マップに応じてＣＭＯＳセンサを画素ごとに駆動することで、画素毎の露光時間制御を行う。
Detailed Configuration of Color Image Sensor Unit 102 The color image sensor unit 102 in the present embodiment is configured by a CMOS sensor, and the pixel is driven by driving the CMOS sensor for each pixel according to the exposure time map created as described above. Each exposure time control is performed.
以下、本実施形態における露光制御、すなわち上記ステップＳ８０４におけるトランジスタ駆動パルスの生成処理を説明するに先立って、カラー撮像素子部１０２の構成および動作について詳細に説明する。 Prior to the description of the exposure control in this embodiment, that is, the transistor drive pulse generation process in step S804, the configuration and operation of the color image sensor unit 102 will be described in detail.
図１２は、カラー撮像素子部１０２の詳細構成を示すブロック図である。同図において、１２０１は撮像面である。撮像面１２０１上には、水平と垂直に配列された複数の画素１２０２が備えられている。撮像面１２０１はさらに、垂直走査回路１２０３、水平走査回路１２０４、出力回路１２０５、出力アンプ１２０６、タイミングジェネレータ１２０７等の構成要素を備える。画素１２０２の水平行毎の並びと垂直走査回路１２０３は、行選択線１２０８で結ばれている。同様に、画素１２０２の垂直列毎の並びと水平走査回路１２０４および出力回路１２０５とは、列選択線１２０９で結ばれている。 FIG. 12 is a block diagram illustrating a detailed configuration of the color image sensor unit 102. In the figure, reference numeral 1201 denotes an imaging surface. On the imaging surface 1201, a plurality of pixels 1202 arranged in the horizontal and vertical directions are provided. The imaging surface 1201 further includes components such as a vertical scanning circuit 1203, a horizontal scanning circuit 1204, an output circuit 1205, an output amplifier 1206, and a timing generator 1207. The row of pixels 1202 in the horizontal direction and the vertical scanning circuit 1203 are connected by a row selection line 1208. Similarly, the arrangement of the pixels 1202 for each vertical column and the horizontal scanning circuit 1204 and the output circuit 1205 are connected by a column selection line 1209.
カラー撮像素子部１０２における撮像動作は、ピクセル露光量設定部１０３で決定された露光量設定に基づき、タイミングジェネレータ１２０７にて生成された駆動パルスに基づいて行われる。各画素１２０２は、該駆動パルスによるトランジスタの導通／非導通によって、リセット／読み出しを制御する。各画素１２０２で読み出された電荷は電圧に変換され、水平走査回路１２０４から出力回路１２０５に転送され、アンプ１２０６に出力される。 The imaging operation in the color imaging device unit 102 is performed based on the drive pulse generated by the timing generator 1207 based on the exposure amount setting determined by the pixel exposure amount setting unit 103. Each pixel 1202 controls reset / read-out by the conduction / non-conduction of the transistor by the drive pulse. The electric charge read by each pixel 1202 is converted into a voltage, transferred from the horizontal scanning circuit 1204 to the output circuit 1205, and output to the amplifier 1206.
ここで図１３に、カラー撮像素子（ＣＭＯＳセンサ）１０２を構成する画素１２０２の回路構成例を示す。 Here, FIG. 13 shows a circuit configuration example of the pixel 1202 constituting the color image sensor (CMOS sensor) 102.
画素１２０２は、埋め込み型ＰＤ（フォトダイオード）１３０１と、４つのＮチャンネルＭＯＳトランジスタ（以下、単にトランジスタと称する）１３０２〜１３０５によって構成されている。トランジスタ１３０２，１３０４のドレインと、トランジスタ１３０３のソース接続部は、ＦＤ（フローティングディフュージョン）１３０６で構成されている。また、行信号線１３０７，１３０８、列信号線１３０９，１３１０は、各トランジスタに対する信号線を示し、ＶＤＤは電源、ＧＮＤは接地を示す。なお、信号がＨ（High）であれば各ゲートが導通し、Ｌ（Low）ならば非導通になるものとする。 The pixel 1202 includes an embedded PD (photodiode) 1301 and four N-channel MOS transistors (hereinafter simply referred to as transistors) 1302-1305. The drains of the transistors 1302 and 1304 and the source connection portion of the transistor 1303 are configured by an FD (floating diffusion) 1306. Further, row signal lines 1307 and 1308 and column signal lines 1309 and 1310 indicate signal lines for the respective transistors, VDD indicates a power supply, and GND indicates ground. It is assumed that each gate is conductive when the signal is H (High) and non-conductive when the signal is L (Low).
ＰＤ１３０１は光電変換部であり、被写体からの入射光量に応じた電荷、すなわち入射光を光電変換した電荷を蓄積する。蓄積した信号電荷は、転送ゲートと呼ばれる行転送トランジスタ１３０２あるいは、列転送トランジスタ１３０４によって、ＦＤ１３０６に完全転送されることで出力される。転送された信号電荷は、ＦＤ１３０６に蓄積される。なお、行転送トランジスタ１３０２の電位（行転送パルス）をφＴＸ１、列転送トランジスタ１３０４の電位（列転送パルス）をφＴＸ２で表すとする。 The PD 1301 is a photoelectric conversion unit, and accumulates charges corresponding to the amount of incident light from the subject, that is, charges obtained by photoelectrically converting incident light. The accumulated signal charge is output by being completely transferred to the FD 1306 by a row transfer transistor 1302 called a transfer gate or a column transfer transistor 1304. The transferred signal charge is accumulated in the FD 1306. Note that the potential of the row transfer transistor 1302 (row transfer pulse) is represented by φTX1, and the potential of the column transfer transistor 1304 (column transfer pulse) is represented by φTX2.
トランジスタ１３０３はリセットトランジスタと呼ばれ、トランジスタ１３０３が導通することによって、ＦＤ１３０６を既定の電位（φＲＳＢ）にリセットする。このリセット動作の際に、ＦＤ１３０６の電位がφＲＳＢに対してばらつくノイズ（リセットノイズ）が発生することがある。なお、リセットトランジスタ１３０３の電位（リセットパルス）をφＲＳＴで表すとする。 The transistor 1303 is called a reset transistor. When the transistor 1303 is turned on, the FD 1306 is reset to a predetermined potential (φRSB). During this reset operation, noise (reset noise) in which the potential of the FD 1306 varies with respect to φRSB may occur. Note that the potential (reset pulse) of the reset transistor 1303 is represented by φRST.
トランジスタ１３０５は、ソースフォロワ増幅回路を構成するものであり、ＦＤ１３０６の電位ＶＦＤに対する電流増幅を行うことで、出力インピーダンスを下げる働きをする。また、トランジスタ１３０５のドレインは列選択線１３１０に接続されており、低インピーダンス化されて、画素出力Ｖoutとして列選択線１２０９へ導出される。 The transistor 1305 constitutes a source follower amplifier circuit, and functions to lower the output impedance by performing current amplification on the potential VFD of the FD 1306. Further, the drain of the transistor 1305 is connected to the column selection line 1310, and the impedance is reduced, and the pixel output Vout is led to the column selection line 1209.
●ＣＭＯＳセンサ駆動方式
以下、ＣＭＯＳセンサにおける画素１２０２の駆動方式とその特性について、図１４を用いて説明する。
CMOS Sensor Driving Method Hereinafter, a driving method and characteristics of the pixel 1202 in the CMOS sensor will be described with reference to FIG.
図１４(a)は、転送ゲートであるトランジスタ１３０２、トランジスタ１３０４、リセットトランジスタ１３０３の導通／非道通を制御する形式の駆動方法を示すタイミングチャートである。同図において、ｔ11〜ｔ15はタイミングを表すものとする。 FIG. 14A is a timing chart showing a driving method of a type for controlling conduction / non-transmission of the transistor 1302, the transistor 1304, and the reset transistor 1303 which are transfer gates. In the figure, t11 to t15 represent timings.
図１４(a)では、タイミングｔ11で、リセットトランジスタ１３０３、および行転送トランジスタ１３０２のゲート（それぞれ、φＲＳＴ，φＴＸ１に対応）が導通になる。これにより、ＰＤ１３０１の電荷がＦＤ１３０６に完全転送されてリセットされ、ＦＤ１３０６もリセットトランジスタ１３０３のドレイン電位にリセットされる。そしてタイミングｔ12で、リセットトランジスタ１３０３、および行転送トランジスタ１３０２のゲートが非導通になることで、ＰＤ１３０１に電荷の蓄積が開始される。 In FIG. 14A, at the timing t11, the gates of the reset transistor 1303 and the row transfer transistor 1302 (corresponding to φRST and φTX1, respectively) become conductive. As a result, the charge of the PD 1301 is completely transferred to the FD 1306 and reset, and the FD 1306 is also reset to the drain potential of the reset transistor 1303. At timing t12, the gates of the reset transistor 1303 and the row transfer transistor 1302 are turned off, and charge accumulation in the PD 1301 is started.
そしてタイミングｔ13で、列転送トランジスタ１３０４のゲート（φＴＸ２に対応）が導通となり、被写体からの光に応じて蓄積されたＰＤ１３０１の電荷がＦＤ１３０６に完全転送される。そしてタイミングｔ14で、列転送トランジスタ１３０４のゲートが非導通となることでトランジスタ１３０５が導通すると、ＦＤ１３０６の電位が低インピーダンス化されて、画素出力Ｖoutとして、出力回路１２０５へ導出される。そしてタイミングｔ15で出力回路１２０５への導出が終了する。 At timing t13, the gate of the column transfer transistor 1304 (corresponding to φTX2) becomes conductive, and the charge of the PD 1301 accumulated according to the light from the subject is completely transferred to the FD 1306. At timing t14, when the gate of the column transfer transistor 1304 is turned off and the transistor 1305 is turned on, the potential of the FD 1306 is lowered, and is output to the output circuit 1205 as the pixel output Vout. Then, the derivation to the output circuit 1205 ends at timing t15.
本実施形態においては、１行内の各画素１２０２に対し、２種類以上のタイミングによる列転送パルスを送信することで露光時間を制御する。なお、列転送タイミングの種類は、上述したように多値化された露光時間マップの値に対応する。例えば、露光時間マップが４値であれば４種類のタイミングのいずれかによって列転送パルスを送信する。以下、この露光時間制御について、図１４(b)、図１４(c)を用いて説明する。本実施形態における露光時間制御はすなわち、列転送トランジスタ毎に複数の導通タイミングのいずれかを与えることにより行われる。 In this embodiment, the exposure time is controlled by transmitting column transfer pulses at two or more types of timing to each pixel 1202 in one row. Note that the type of column transfer timing corresponds to the value of the exposure time map converted into multiple values as described above. For example, if the exposure time map is four values, the column transfer pulse is transmitted at any one of four timings. Hereinafter, this exposure time control will be described with reference to FIGS. 14B and 14C. In other words, the exposure time control in this embodiment is performed by giving one of a plurality of conduction timings to each column transfer transistor.
図１４(b)は、ピクセル露光量設定部１０３において、ｎ行目のｍ列〜ｍ＋４列の画素に割り当てられた露光量を示す模式図である。同図によれば、露光時間０〜３の順に露光時間が長くなり、撮像画像ｎ行目のｍ列とｍ＋３列には露光時間３が、ｍ＋１列には露光時間２が、ｍ＋２列には露光時間１が、ｍ＋４列には露光時間０が、それぞれ割り当てられている様子を示す。図１４(c)は、行転送トランジスタ１３０２、列転送トランジスタ１３０４、リセットトランジスタ１３０３の導通／非道通を制御する形式の駆動方法を示すタイミングチャートである。 FIG. 14B is a schematic diagram illustrating the exposure amount assigned to the pixels in the m-th column to the m + 4 column in the n-th row in the pixel exposure amount setting unit 103. According to the figure, the exposure time becomes longer in the order of the exposure times 0 to 3, the exposure time 3 is in the m and m + 3 columns of the n-th captured image, the exposure time 2 is in the m + 1 column, and the exposure time 2 is in the m + 2 column. An exposure time 1 is shown, and an exposure time 0 is assigned to the m + 4 column. FIG. 14C is a timing chart showing a driving method of a type that controls conduction / non-passage of the row transfer transistor 1302, the column transfer transistor 1304, and the reset transistor 1303.
図１４(c)によれば、タイミングｔ21で、ｎ行目全てのリセットトランジスタ１３０３、およびｎ行目全ての行転送トランジスタ１３０２のゲートが導通になる。これにより、ｎ行目全てのＰＤ１３０１の電荷がＦＤ１３０６に完全転送されてリセットされ、ｎ行目全てのＦＤ１３０６もリセットトランジスタ１３０３のドレイン電位にリセットされる。そしてタイミングｔ22で、ｎ行目全てのリセットトランジスタ１３０３、およびｎ行目全ての行転送トランジスタ１３０２のゲートが非導通になることで、ｎ行目全てのＰＤ１３０１に電荷の蓄積を開始する。 According to FIG. 14C, at the timing t21, all the reset transistors 1303 in the n-th row and the gates of all the row transfer transistors 1302 in the n-th row are turned on. Thereby, the charges of all the PDs 1301 in the n-th row are completely transferred to the FD 1306 and reset, and all the FDs 1306 in the n-th row are also reset to the drain potential of the reset transistor 1303. At timing t22, the gates of all the reset transistors 1303 in the n-th row and all the row transfer transistors 1302 in the n-th row are turned off, and charge accumulation is started in all the PDs 1301 in the n-th row.
次にタイミングｔ23で、露光時間３が割り当てられているｍ列目とｍ＋３列目の列転送トランジスタ１３０４のゲートが導通となり、被写体からの光が蓄積されたＰＤ１３０１の電荷がＦＤ１３０６に完全転送される。そしてタイミングｔ24でトランジスタ１３０５が導通すると、ＦＤ１３０６の電位が低インピーダンス化されて、画素出力Ｖoutとして、出力回路１２０５へ導出される。そしてタイミングｔ25で、画素出力Ｖoutの出力回路１２０５への導出が終了する。 Next, at timing t23, the gates of the column transfer transistors 1304 of the m-th column and the m + 3-th column to which the exposure time 3 is assigned are turned on, and the charge of the PD 1301 in which the light from the subject is accumulated is completely transferred to the FD 1306. . When the transistor 1305 is turned on at the timing t24, the potential of the FD 1306 is lowered and is output to the output circuit 1205 as the pixel output Vout. At timing t25, the derivation of the pixel output Vout to the output circuit 1205 ends.
次にタイミングｔ26で、露光時間２が割り当てられているｍ＋１列目の列転送トランジスタ１３０４のゲートが導通となり、被写体からの光が蓄積されたＰＤ１３０１の電荷がＦＤ１３０６に完全転送される。そしてタイミングｔ27でトランジスタ１３０５が導通すると、ＦＤ１３０６の電位が低インピーダンス化されて、画素出力Ｖoutとして、出力回路１２０５へ導出される。そしてタイミングｔ28で、画素出力Ｖoutの出力回路１２０５への導出が終了する。 Next, at timing t26, the gate of the column transfer transistor 1304 of the (m + 1) th column to which the exposure time 2 is assigned is turned on, and the charge of the PD 1301 in which the light from the subject is accumulated is completely transferred to the FD 1306. When the transistor 1305 is turned on at the timing t27, the potential of the FD 1306 is reduced in impedance, and is output to the output circuit 1205 as the pixel output Vout. At timing t28, the derivation of the pixel output Vout to the output circuit 1205 is completed.
次にタイミングｔ29で、露光時間１が割り当てられているｍ＋２列目の列転送トランジスタ１３０４のゲートが導通となり、被写体からの光が蓄積されたＰＤ１３０１の電荷がＦＤ１３０６に完全転送される。そしてタイミングｔ30でトランジスタ１３０５が導通すると、ＦＤ１３０６の電位が低インピーダンス化されて、画素出力Ｖoutとして、出力回路１２０５へ導出される。そしてタイミングｔ31で、画素出力Ｖoutの出力回路１２０５への導出が終了する。 Next, at timing t29, the gate of the column transfer transistor 1304 of the (m + 2) th column to which the exposure time 1 is assigned is turned on, and the charge of the PD 1301 in which the light from the subject is accumulated is completely transferred to the FD 1306. When the transistor 1305 is turned on at timing t30, the potential of the FD 1306 is reduced in impedance, and is output to the output circuit 1205 as the pixel output Vout. At timing t31, the derivation of the pixel output Vout to the output circuit 1205 ends.
次にタイミングｔ32で、露光時間０が割り当てられているｍ＋４列目の列転送トランジスタ１３０４のゲートが導通となり、被写体からの光が蓄積されたＰＤ１３０１の電荷がＦＤ１３０６に完全転送される。そしてタイミングｔ33でトランジスタ１３０５が導通すると、ＦＤ１３０６の電位が低インピーダンス化されて、画素出力Ｖoutとして、出力回路１２０５へ導出される。そしてタイミングｔ34で、画素出力Ｖoutの出力回路１２０５への導出が終了する。 Next, at timing t32, the gate of the column transfer transistor 1304 of the (m + 4) th column to which the exposure time 0 is assigned becomes conductive, and the charge of the PD 1301 in which the light from the subject is accumulated is completely transferred to the FD 1306. When the transistor 1305 is turned on at the timing t33, the potential of the FD 1306 is lowered and is output to the output circuit 1205 as the pixel output Vout. At timing t34, the derivation of the pixel output Vout to the output circuit 1205 ends.
以上、図１４(c)に示す制御により、１行内における読み出しが行われる。このような読み出しを、行をまたがって行う場合のタイミングチャートを図１４(d)に示す。図１４(d)によれば、基本的に、各行のリセットを同じタイミングで行い（ｔ41およびｔ54）、行間で読み出しのタイミングが重ならないようにすることで、任意の画素の露光時間を自由に設定することが可能となる。 As described above, reading in one row is performed by the control shown in FIG. FIG. 14D shows a timing chart when such reading is performed across rows. According to FIG. 14D, basically, the reset of each row is performed at the same timing (t41 and t54), and the exposure time of any pixel can be freely set so that the readout timing does not overlap between rows. It becomes possible to set.
以上のように本実施形態では、多値化された露光時間マップの各値に対応した導通タイミングによって列転送パルスを発生させることにより、画素ごとの露出時間の長短を制御することができる。 As described above, in this embodiment, the length of the exposure time for each pixel can be controlled by generating the column transfer pulse at the conduction timing corresponding to each value of the multivalued exposure time map.
●トランジスタ駆動パルス生成処理（Ｓ８０４）
以下、上記ステップＳ８０４におけるトランジスタ駆動パルスの生成処理について、図１１のフローチャートを用いて説明する。ここではすなわち、ＣＭＯＳセンサの各画素に対して上記トランジスタを制御する。
Transistor drive pulse generation process (S804)
Hereinafter, the transistor drive pulse generation processing in step S804 will be described with reference to the flowchart of FIG. In other words, the transistor is controlled for each pixel of the CMOS sensor.
まずステップＳ１１０１では、行を表す変数ｌ、列を表す変数ｑをそれぞれ０に設定する等の初期動作を行う。 First, in step S1101, initial operations such as setting a variable l representing a row and a variable q representing a column to 0 are performed.
次にステップＳ１１０２では、行ｌに対する全ての露光時間マップの値を取得する。 Next, in step S1102, all exposure time map values for row l are acquired.
次にステップＳ１１０４では、ｌ行ｑ列目の画素に対し、取得した露光時間マップの値により、シャッタースピードＴ0〜Ｔ3に対応する、列転送トランジスタ１３０４の駆動パルス（列転送パルス）を割り当てる。 In step S1104, a driving pulse (column transfer pulse) of the column transfer transistor 1304 corresponding to the shutter speeds T0 to T3 is assigned to the pixel in the l-th row and the q-th column based on the acquired exposure time map value.
ステップＳ１１０６では、行中の全ての列について列転送パルスの割り当てが行われたか否かを判定し、行われていれば列を表す変数ｑを０に設定してステップＳ１１０７へ進み、そうでなければ変数ｑに１を加えてステップＳ１１０４へ戻る。 In step S1106, it is determined whether or not column transfer pulse assignment has been performed for all the columns in the row. If so, the variable q representing the column is set to 0 and the process proceeds to step S1107. If 1 is added to the variable q, the process returns to step S1104.
ステップＳ１１０７では、ｌ行目の画素に対し、行転送トランジスタ１３０２およびリセットトランジスタ１３０３の駆動パルスを生成し、垂直走査回路１２０３に送信する。また、ステップＳ１１０４で割り当てた列転送トランジスタ１３０４の駆動パルスを生成し、水平走査回路１２０４に送信する。 In step S1107, drive pulses for the row transfer transistor 1302 and the reset transistor 1303 are generated for the pixels in the l-th row and transmitted to the vertical scanning circuit 1203. In addition, a drive pulse for the column transfer transistor 1304 assigned in step S1104 is generated and transmitted to the horizontal scanning circuit 1204.
そしてステップＳ１１０８では、全ての行に対して駆動パルスの送信が行われたか否かを判定し、行われていれば処理を終了するが、そうでなければ行を表す変数ｌに１を加えてステップＳ１１０２へ戻る。 In step S1108, it is determined whether or not drive pulses have been transmitted to all rows. If yes, the process ends. If not, 1 is added to the variable l representing the row. The process returns to step S1102.
●ゲイン補正処理（Ｓ２０７）
以下、上記ステップＳ２０７におけるゲイン補正処理について、図１５のフローチャートを用いて説明する。
● Gain correction processing (S207)
Hereinafter, the gain correction process in step S207 will be described with reference to the flowchart of FIG.
まずステップＳ１５０１では、画素番号ｊに０を設定することや、本撮像結果、並びに露光時間０〜３のシャッタースピード（Ｔ0〜Ｔ3）をそれぞれ取得すると共に、メモリ確保等の初期化動作を行う。 First, in step S1501, the pixel number j is set to 0, the main imaging result, and the shutter speeds (T0 to T3) for the exposure times 0 to 3 are acquired, and an initialization operation such as memory reservation is performed.
次にステップＳ１５０２では、露光時間の比を算出する。すなわち、露光時間マップにおける各明度領域に対応するシャッタースピードＴ0〜Ｔ3について、最短露光相当のＴ0に対する、他の露光時間の比Ｔ#／Ｔ0（#＝１〜３）を算出する。 In step S1502, an exposure time ratio is calculated. That is, for the shutter speeds T0 to T3 corresponding to each lightness area in the exposure time map, a ratio T # / T0 (# = 1 to 3) of other exposure times with respect to T0 corresponding to the shortest exposure is calculated.
次にステップＳ１５０３では、全画素の露光時間マップを取得する。 In step S1503, an exposure time map for all pixels is acquired.
そしてステップＳ１５０４では、画素番号ｊの露光時間を判定し、短秒露光相当、すなわちシャッタースピードがＴ0であればステップＳ１５０５へ、そうでなければステップＳ１５０６へ進む。 In step S1504, the exposure time of the pixel number j is determined. If the exposure time is equivalent to short exposure, that is, if the shutter speed is T0, the process proceeds to step S1505, and if not, the process proceeds to step S1506.
ステップＳ１５０５では、画素番号ｊの画素値Ｐjと露光時間比Ｔ#／Ｔ0に基づき、以下の式(14)によってゲイン演算を行った後、ステップＳ１５０６へ進む。 In step S1505, based on the pixel value Pj of the pixel number j and the exposure time ratio T # / T0, the gain calculation is performed by the following equation (14), and then the process proceeds to step S1506.
Ｐj＝(Ｔ#／Ｔ0)×Ｐj ・・・(14)
ステップＳ１５０６では画素値Ｐjを記録する。そしてステップＳ１５０７で、全ての画素に対して処理を行ったか否かを判定し、行っていれば処理を終了し、そうでなければ画素番号を表すｊに１を加えてステップＳ１５０４へ戻る。
Pj = (T # / T0) × Pj (14)
In step S1506, the pixel value Pj is recorded. In step S1507, it is determined whether or not processing has been performed for all the pixels. If so, the processing ends. If not, 1 is added to j representing the pixel number, and the flow returns to step S1504.
以上説明したように本実施形態によれば、以下のような効果が得られる。 As described above, according to the present embodiment, the following effects can be obtained.
まず、予備撮像によって生成した露光時間マップに基づき、列転送トランジスタ毎に露光時間に応じた複数の導通タイミングのいずれかを与えることによって、画素毎の露光時間制御を行うことを可能とする。これにより、ワンショットの撮影によってＨＤＲ画像を得ることができる。 First, it is possible to perform exposure time control for each pixel by giving one of a plurality of conduction timings corresponding to the exposure time for each column transfer transistor based on an exposure time map generated by preliminary imaging. Thereby, an HDR image can be obtained by one-shot shooting.
また、予備撮像時の被写体の輝度を用いて２値化した画像に対してローパスフィルタを適用して多値化した画像（露光時間マップ）を用いて各画素の露光時間を割り当てる。これにより、白トビ、黒ツブレが発生することなく、さらに露光時間の異なる画素の境界部において疑似輪郭が発生しない、広いダイナミックレンジ撮像を行うことが可能となる。 Further, the exposure time of each pixel is assigned using an image (exposure time map) obtained by applying a low-pass filter to the binarized image using the luminance of the subject at the time of preliminary imaging. As a result, it is possible to perform wide dynamic range imaging without occurrence of white stripes and black blurring and without generating pseudo contours at the boundary between pixels having different exposure times.
また、露光時間による露光量制御を行うため、撮影時の感度を任意に設定することができる。したがって、様々なダイナミックレンジの被写体に対応することが可能となる。 Further, since the exposure amount is controlled by the exposure time, the sensitivity at the time of shooting can be arbitrarily set. Therefore, it is possible to deal with subjects with various dynamic ranges.
さらに、一度の撮影で、ＨＤＲ画像を取得することが可能であるため、特に動体撮影時の合成による位置ズレ等の問題が解決される。 Furthermore, since it is possible to acquire an HDR image by one shooting, problems such as a positional shift due to the composition during moving body shooting are solved.
また、固定パターンの感度配置によるＨＤＲ撮像と比較して、解像度が低下する、あるいは、被写体輝度に適さない短秒露光になった際のノイズ増加等の問題も回避できる。 In addition, problems such as a decrease in resolution or an increase in noise at the time of short-second exposure that is not suitable for subject luminance can be avoided as compared with HDR imaging with a fixed pattern sensitivity arrangement.
＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。
Second Embodiment
Hereinafter, a second embodiment according to the present invention will be described.
上述した第１実施形態では２値の露光時間マップを多値化する際にローパスフィルタを用いる例を示したが、第２実施形態では、予備撮像データの画素を間引いて保存し、その後に拡大処理を行う際に露光時間マップを多値化する例を示す。なお、撮像装置の構成およびその他の処理については、第１実施形態と同様である。 In the first embodiment described above, an example is shown in which a low-pass filter is used when a binary exposure time map is multi-valued. However, in the second embodiment, pixels of preliminary imaging data are thinned out and stored, and then enlarged. An example in which the exposure time map is multivalued when processing is performed will be described. The configuration of the imaging device and other processes are the same as those in the first embodiment.
●露光時間マップ生成処理（Ｓ８０３）
図１６は、第２実施形態における露光時間マップの生成処理を示すフローチャートである。同図において、上述した第１実施形態で図９に示したフローチャートと同様の処理については同一ステップ番号（ステップＳ９０１〜Ｓ９０８、Ｓ９１１〜Ｓ９１３）を付し、説明を省略する。Ｓ９０９
図１６のステップＳ１６０９では、全ての画素に対して露光時間マップの作成処理を行ったか否かを判定し、行っていればステップＳ１６１０へ進むが、そうでなければ画素番号ｊに１より大きい値を加えてステップＳ９０６へ戻り、次の画素を処理する。ここで、ステップＳ９０６に戻る際にｊに対して１より大きい値を加えることによって、所望の間隔による間引きが行われる。すなわち、ｊに加える値としては間引きの倍率に等しい値であれば良く、例えば２を加えることによって、２倍の間引きが行われる。
Exposure time map generation process (S803)
FIG. 16 is a flowchart showing an exposure time map generation process in the second embodiment. In this figure, the same step numbers (steps S901 to S908, S911 to S913) are assigned to the same processes as those in the flowchart shown in FIG. 9 in the first embodiment described above, and the description thereof is omitted. S909
In step S1609 in FIG. 16, it is determined whether or not the exposure time map creation processing has been performed for all the pixels. If so, the process proceeds to step S1610. Otherwise, the pixel number j is a value greater than one. And return to step S906 to process the next pixel. Here, when returning to step S906, by adding a value larger than 1 to j, thinning is performed at a desired interval. That is, the value to be added to j may be a value equal to the decimation factor. For example, by adding 2, the decimation is performed twice.
ステップＳ１６１０では、ステップＳ１６０９までに生成された２値の露光時間マップに対して、間引いた倍率に応じた拡大処理を行う。この拡大処理は多値化を伴うものであり、周辺画素に応じて画素値を決定するバイリニア法やバイキュービック法を用いれば良い。 In step S1610, enlargement processing corresponding to the thinned-out magnification is performed on the binary exposure time map generated up to step S1609. This enlargement process involves multi-value processing, and a bilinear method or a bicubic method that determines pixel values according to surrounding pixels may be used.
ここで図１７に、第２実施形態における多値化（４値化）後の露光時間マップの例を示す。図１７に示すように第２実施形態で最終的に得られる露光時間マップは、２値の露光時間マップを２倍に拡大する際に、周辺画素の値に応じて多値化したものである。この多値化により露光時間マップは、図１７に示すように予備撮像データの各画素を、境界輝度を境とした暗領域、明領域がそれぞれ２値化され、全体としての４値化を実現したものとなる。 Here, FIG. 17 shows an example of an exposure time map after multi-value (quaternary) in the second embodiment. As shown in FIG. 17, the exposure time map finally obtained in the second embodiment is multivalued according to the values of surrounding pixels when the binary exposure time map is doubled. . As a result of this multi-value conversion, the exposure time map is binarized for each pixel of the preliminary image data as shown in FIG. Will be.
以上説明したように第２実施形態によれば、上述した第１実施形態に対し、予備撮像データの画像を間引いて２値の露光時間マップを生成した後に拡大・多値化することによって、多値の露光時間マップをより短時間で生成することが可能となる。 As described above, according to the second embodiment, in contrast to the above-described first embodiment, a binary exposure time map is generated by thinning out the image of the preliminary imaging data, and then enlarged / multi-valued to obtain multiple images. A value exposure time map can be generated in a shorter time.
＜第３実施形態＞
以下、本発明に係る第３実施形態について説明する。
<Third Embodiment>
The third embodiment according to the present invention will be described below.
上述した第１実施形態では、予備撮像と本撮像を同じＣＭＯＳセンサにより行う例を示したが、これらを互いに異なるセンサによって撮像しても良い。例えば、第１の画素群からなるＣＭＯＳセンサによって予備撮像を行い、第１の画素群よりも多い第２の画素群からなるＣＭＯＳセンサによって本撮像を行うようにしても良い。この場合、第１の画素群に対して露光時間マップを生成し、その後、上述した第２実施形態と同様に、該露光時間マップを第２の画素群のサイズに応じて拡大・多値化すれば良い。 In the first embodiment described above, the example in which the preliminary imaging and the main imaging are performed by the same CMOS sensor is shown, but these may be captured by different sensors. For example, preliminary imaging may be performed using a CMOS sensor including a first pixel group, and main imaging may be performed using a CMOS sensor including a second pixel group that is larger than the first pixel group. In this case, an exposure time map is generated for the first pixel group, and then the exposure time map is enlarged and multi-valued according to the size of the second pixel group, as in the second embodiment described above. Just do it.
このように、画素数の少ないＣＭＯＳセンサを用いて予備撮像を行い、生成された２値の露光時間マップを第２実施形態と同様に拡大・多値化することによって、多値の露光時間マップをより短時間で生成することが可能となる。 As described above, by performing preliminary imaging using a CMOS sensor with a small number of pixels and enlarging and multileveling the generated binary exposure time map in the same manner as in the second embodiment, a multivalue exposure time map is obtained. Can be generated in a shorter time.
尚本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される。なお、この場合のプログラムとは、実施形態において図に示したフローチャートに対応したコンピュータ可読のプログラムである。 In the present invention, a software program for realizing the functions of the above-described embodiments is supplied directly or remotely to a system or apparatus, and the computer of the system or apparatus reads and executes the supplied program code. Is also achieved. The program in this case is a computer-readable program corresponding to the flowchart shown in the drawing in the embodiment.
Claims (16)
前記撮像手段で被写体に対する予備撮像を行うことによって得られた予備撮像データに基づき、前記撮像素子の各画素を、適用すべき露光量に応じた少なくとも２種類の領域のいずれかに設定する領域設定手段と、
前記領域設定手段で前記撮像素子の各画素に設定した領域を、該領域の種類が増加するように補正する領域補正手段と、
前記撮像素子の各画素に対し、前記領域補正手段で補正された領域に応じた露光量を設定する露光量設定手段と、を有し、
前記撮像手段は、前記露光量設定手段で設定された露光量に応じて前記撮像素子の各画素に対する駆動パルスを生成することによって、前記被写体に対する本撮像を行うことを特徴とする撮像装置。 Image pickup means for picking up an image by driving an image pickup element that is arranged in a horizontal direction and a vertical direction and that stores a plurality of pixels that store electric charge obtained by photoelectrically converting incident light;
Region setting for setting each pixel of the image sensor to one of at least two types of regions according to the amount of exposure to be applied based on preliminary imaging data obtained by performing preliminary imaging on a subject with the imaging unit Means,
Area correction means for correcting the area set for each pixel of the image sensor by the area setting means so that the type of the area increases;
Exposure amount setting means for setting an exposure amount according to the area corrected by the area correction means for each pixel of the image sensor;
The image pickup device performs the main image pickup on the subject by generating a drive pulse for each pixel of the image pickup device in accordance with the exposure amount set by the exposure amount setting unit.
前記領域設定手段は、前記予備撮像データにおける各画素の輝度を、前記境界輝度を閾値として２値化することによって、各画素に適用すべき露光量を示す露光量マップを生成し、
前記領域補正手段は、前記露光量マップにおける各画素の値を多値化することによって前記領域の種類を増加させることを特徴とする請求項１に記載の撮像装置。 Furthermore, it has boundary luminance setting means for setting boundary luminance indicating the boundary of the region,
The region setting means generates an exposure amount map indicating an exposure amount to be applied to each pixel by binarizing the luminance of each pixel in the preliminary imaging data using the boundary luminance as a threshold value,
The imaging apparatus according to claim 1, wherein the area correction unit increases the type of the area by multi-value the value of each pixel in the exposure amount map.
前記領域補正手段は、前記露光量マップに対して拡大処理を施して多値化することを特徴とする請求項２に記載の撮像装置。 The area setting means creates the exposure map by binarizing after thinning out pixels in the preliminary imaging data,
The imaging apparatus according to claim 2, wherein the area correction unit multi-values the exposure amount map by performing an enlargement process.
第１の画素群からなる撮像素子によって前記予備撮像を行う予備撮像手段と、
前記第１の画素群よりも多い第２の画素群からなる撮像素子によって前記本撮像を行う本撮像手段と、を有し、
前記領域設定手段は、前記第１の画素群に対して前記露光量マップを生成し、
前記領域補正手段は、前記露光量マップに対して前記第２の画素群のサイズに応じた拡大処理を施して多値化することを特徴とする請求項２に記載の撮像装置。 The imaging means includes
Preliminary imaging means for performing the preliminary imaging by an imaging device comprising a first pixel group;
And a main image pickup means for performing the main image pickup with an image pickup element including a second pixel group larger than the first pixel group,
The area setting unit generates the exposure map for the first pixel group,
The imaging apparatus according to claim 2, wherein the area correction unit multi-values the exposure map by performing an enlargement process according to a size of the second pixel group.
前記撮像手段は、該設定されたシャッタースピードに基づいて、前記撮像素子の各画素に対する駆動パルスを生成することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。 The exposure amount setting means sets a shutter speed corresponding to each area,
The imaging apparatus according to claim 1, wherein the imaging unit generates a driving pulse for each pixel of the imaging element based on the set shutter speed.
被写体に対する予備撮像を行って予備撮像データを取得する予備撮像ステップと、
前記予備撮像データに基づき、前記撮像素子の各画素を、適用すべき露光量に応じた少なくとも２種類の領域のいずれかに設定する領域設定ステップと、
前記領域設定ステップにおいて前記撮像素子の各画素に設定された領域を、該領域の種類が増加するように補正する領域補正ステップと、
前記撮像素子の各画素に対し、前記領域補正ステップにおいて補正された領域に応じた露光量を設定する露光量設定ステップと、
前記露光量設定ステップにおいて設定された露光量に応じて前記撮像素子の各画素に対する駆動パルスを生成することによって、前記被写体に対する本撮像を行う本撮像ステップと、
を有することを特徴とする撮像装置の制御方法。 A control method for an imaging apparatus that performs imaging by driving an imaging element that is arranged in a horizontal direction and a vertical direction and that includes a plurality of pixels that accumulate charges obtained by photoelectrically converting incident light,
A preliminary imaging step of performing preliminary imaging on a subject to obtain preliminary imaging data;
An area setting step for setting each pixel of the image sensor to one of at least two types of areas according to the amount of exposure to be applied based on the preliminary imaging data;
An area correction step of correcting the area set in each pixel of the image sensor in the area setting step so that the type of the area increases;
An exposure amount setting step for setting an exposure amount according to the region corrected in the region correction step for each pixel of the image sensor;
A main imaging step of performing a main imaging on the subject by generating a driving pulse for each pixel of the image sensor in accordance with the exposure amount set in the exposure amount setting step;
A method for controlling an imaging apparatus, comprising:
前記領域設定ステップにおいては、前記予備撮像データにおける各画素の輝度を、前記境界輝度を閾値として２値化することによって露光量マップを生成し、
前記領域補正ステップにおいては、前記露光量マップを多値化することを特徴とする請求項１４に記載の撮像装置の制御方法。 Furthermore, it has a boundary luminance setting step for setting the boundary luminance,
In the region setting step, an exposure amount map is generated by binarizing the luminance of each pixel in the preliminary imaging data using the boundary luminance as a threshold,
The method according to claim 14, wherein the exposure correction map is multivalued in the region correction step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009144638A JP5219933B2 (en) | 2009-06-17 | 2009-06-17 | Imaging apparatus and control method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009144638A JP5219933B2 (en) | 2009-06-17 | 2009-06-17 | Imaging apparatus and control method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011004088A JP2011004088A (en) | 2011-01-06 |
| JP5219933B2 true JP5219933B2 (en) | 2013-06-26 |
Family
ID=43561694
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009144638A Expired - Fee Related JP5219933B2 (en) | 2009-06-17 | 2009-06-17 | Imaging apparatus and control method thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5219933B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016540440A (en) * | 2014-06-12 | 2016-12-22 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | Picture processing method and apparatus |
| JP6935272B2 (en) | 2017-08-29 | 2021-09-15 | キヤノン株式会社 | Devices, methods, and programs for creating high dynamic range images |
| JP7297406B2 (en) | 2017-12-18 | 2023-06-26 | キヤノン株式会社 | Control device, imaging device, control method and program |
| JP7281897B2 (en) * | 2018-12-12 | 2023-05-26 | キヤノン株式会社 | IMAGING DEVICE, CONTROL METHOD AND PROGRAM THEREOF |
| CN117793539B (en) * | 2024-02-26 | 2024-05-10 | 浙江双元科技股份有限公司 | Image acquisition method based on variable period and optical sensing device |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0575931A (en) * | 1991-09-13 | 1993-03-26 | Canon Inc | Image pickup device |
| JPH05136988A (en) * | 1991-11-13 | 1993-06-01 | Tokyo Electric Co Ltd | Binary image scaling processor |
| JP2000236478A (en) * | 1999-02-17 | 2000-08-29 | Matsushita Electric Ind Co Ltd | Electronic camera device |
| JP3950841B2 (en) * | 2003-11-18 | 2007-08-01 | キヤノン株式会社 | Image processing method and apparatus |
| JP2007166238A (en) * | 2005-12-14 | 2007-06-28 | Victor Co Of Japan Ltd | Cmos sensor with shutter function per pixel |
-
2009
- 2009-06-17 JP JP2009144638A patent/JP5219933B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011004088A (en) | 2011-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5219934B2 (en) | Imaging apparatus and control method thereof | |
| TWI432019B (en) | An image processing apparatus, an image processing apparatus, an image processing method, and an image processing program | |
| US20100141792A1 (en) | Image capturing apparatus and image capturing method | |
| JP6082274B2 (en) | Imaging apparatus and control method thereof | |
| CN105049685B (en) | The control method of picture pick-up device and picture pick-up device | |
| US9538085B2 (en) | Method of providing panoramic image and imaging device thereof | |
| JP2017504262A (en) | System and method for capturing digital images using multiple short exposures | |
| JP2007150643A (en) | Solid-state imaging device, solid-state imaging device driving method, and imaging apparatus | |
| US7768561B2 (en) | Image sensing apparatus and its control method | |
| JP6872956B2 (en) | Imaging system and control method of imaging system | |
| JP2010062638A (en) | Image capturing apparatus | |
| KR20150096224A (en) | Solid image sensor, digital camera and method for preforming autofocus | |
| JP5219933B2 (en) | Imaging apparatus and control method thereof | |
| CN112995545B (en) | Multi-sensor high dynamic range imaging | |
| JP2016111568A (en) | Image blur correction control device, imaging apparatus, control method and program thereof | |
| JP2018056886A (en) | Imaging device and imaging method | |
| CN105407299A (en) | Image Capturing Apparatus And Method Of Controlling Image Capturing Apparatus | |
| JP5078458B2 (en) | Imaging apparatus, control method therefor, and imaging system | |
| JP5452269B2 (en) | Imaging device | |
| JP6674255B2 (en) | Solid-state imaging device and imaging device | |
| JP5665907B2 (en) | Imaging apparatus and imaging method | |
| US10855887B2 (en) | Image capturing apparatus, image processing apparatus, and control method therefor | |
| JP2017188837A (en) | Image processing apparatus, control method thereof, and program | |
| JP6393087B2 (en) | Imaging device and imaging apparatus | |
| JP6167473B2 (en) | Imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120607 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130130 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130204 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130305 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160315 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5219933 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160315 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |