Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5208493B2 - 撮像装置 - Google Patents
[go: Go Back, main page]

JP5208493B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP5208493B2
JP5208493B2 JP2007336016A JP2007336016A JP5208493B2 JP 5208493 B2 JP5208493 B2 JP 5208493B2 JP 2007336016 A JP2007336016 A JP 2007336016A JP 2007336016 A JP2007336016 A JP 2007336016A JP 5208493 B2 JP5208493 B2 JP 5208493B2
Authority
JP
Japan
Prior art keywords
light
unit
imaging apparatus
luminance level
backlight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007336016A
Other languages
English (en)
Other versions
JP2009159378A (ja
Inventor
芳治 五反田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to JP2007336016A priority Critical patent/JP5208493B2/ja
Priority to KR1020080052684A priority patent/KR101417819B1/ko
Publication of JP2009159378A publication Critical patent/JP2009159378A/ja
Application granted granted Critical
Publication of JP5208493B2 publication Critical patent/JP5208493B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Stroboscope Apparatuses (AREA)

Description

本発明は、撮像装置に関する。
近年、デジタル機器の製造技術、及び情報処理技術の急速な発展に伴い、高性能で低価格なデジタル機器が容易に手に入るようになり、種々のデジタル機器が広く一般に普及してきた。その中でも、デジタルスチルカメラは、広く一般に普及したデジタル機器の1つである。デジタルスチルカメラを含め、撮像機能を搭載したデジタル機器(以下、撮像装置)には、被写体を照明するための照明手段としてフラッシュが搭載されているものが多い。また、最近の撮像装置には、動画像を撮影する動画撮影機能が搭載されている。
しかしながら、こうした撮像装置が搭載するフラッシュ等の照明手段は、大光量であるが、継続的に被写体を照明する手段ではないため、動画像の撮影に適さないという問題がある。そこで、動画撮影に際して継続的に光を発光することが可能な照明手段、及びその制御手段に関して精力的に研究開発が進められている。照明手段としては、例えば、動画像の複数フレームに跨って被写体を照明することが可能なLED(Light Emitting Diode)等が注目されている。このLEDは、輝度が高く、消費電力が低いという特徴がある。しかし、照明手段にLEDを用いたとしても、照明手段は、依然として多くの電力量を消費してしまう。そのため、照明手段の点灯/消灯を好適に制御して撮像装置を省電力化する技術の開発にも、依然として大きな注目が集まっている。
これらの技術に関し、例えば、下記の特許文献1には、撮像装置、及びカメラ付き携帯電話に係る技術が記載されている。この技術は、被写体を照明する照射手段の点灯に関し、利用者による操作キーの操作に応じて照明手段を点灯させる点に特徴がある。また、同文献には、照明手段が点灯された後でカメラが自動的に露出を上げる前に照明手段を消灯する技術が記載されている。
他の例として、下記の特許文献2には、照明装置を用いる撮像機器の制御方法に係る技術が記載されている。この技術は、その撮像機器を使用する使用者が操作釦を選択操作することで、撮像装置、表示装置、及び照明装置の動作が制御される点に特徴がある。特に、操作釦が入力されると撮像装置の動作と照明装置の点灯とが制御される点に特徴がある。尚、同文献には、照明の必要性に関して、使用者が自ら判断するものである旨が記載されている。
さらに他の例として、下記の特許文献3には、撮影用照明装置、カメラシステム、及びカメラに係る技術が記載されている。この技術は、被写体に向けて照射光を発する電流制御型の発光手段を制御する方法に関し、主要被写体までの距離情報を検出して、当該距離情報、露光時間、絞り値、及び撮影感度に基づいて算出された光量で発光するように発光手段を制御する点に特徴がある。尚、同文献には、発光手段に供給される駆動電流を制御する技術についても記載されている。
特開2003−309765号公報 特開2003−348440号公報 特開2005−165204号公報
しかしながら、上記の特許文献1、2に記載の技術を用いても、利用者が点灯/消灯するか否かを自身の感覚で判断して手動操作によって点灯/消灯を切り替えねばならず、動画撮影に照明が必要な状況に限って照明光を点灯するといった制御が困難である。特に、動画撮影時に逆光状態を検知して照明光を照射する等の制御は極めて難しい。また、上記の特許文献3に記載の技術は、主要被写体との間の距離を考慮した光量制御ができるものの、動画撮影時に逆光状態を検知して照明光の発光制御をすることは想定されていない。そのため、上記の技術を組み合わせても、動画像の撮影に適した照明手段の発光制御が難しく、さらに、逆光により生じた動画像の暗部を照明光を用いて補正するといった制御はとりわけ困難である。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、動画像を撮影する際に逆光状態に応じて照明を制御し、動画像に生じる暗部を補正することが可能な、新規かつ改良された撮像装置を提供することにある。
上記課題を解決するために、本発明のある観点によれば、被写体の反射光強度を検出する撮像素子と、前記撮像素子により連続的に複数回の前記反射光強度が検出される間、前記被写体を照明し続けることが可能な発光部と、前記撮像素子により検出された反射光強度に応じて前記被写体の輝度レベルを検出する測光部と、前記被写体の輝度レベルに基づいて逆光状態を判定する逆光判定部と、前記逆光判定部により逆光状態であると判定された場合に前記発光部を制御して前記被写体に光を照射させる発光制御部とを備えることを特徴とする、撮像装置が提供される。但し、この照明光は、周期的に点滅するパルス光であってもよいが、その場合、前記撮像素子により連続的に複数回の前記反射光強度が検出される間、継続的にパルス光が照射されるものとする。
また、前記逆光判定部は、前記被写体の暗部に対応する領域の輝度レベルに基づいて逆光状態を判定してもよい。
また、前記撮像装置は、前記発光部により照射される光量を制御する光量制御部をさらに備えていてもよい。そして、前記光量制御部は、前記測光部により検出される輝度レベルが所定値に達するか、或いは、前記発光部により照射可能な最大光量に達するまで、前記撮像素子から画素毎に反射光強度を読み出す際の垂直同期信号に同期して段階的に前記発光部により照射される光量を増加させてもよい。
また、前記撮像装置は、前記発光部により前記被写体が第1の光量で照射された際に検出される第1の輝度レベルBL1と、前記第1の光量よりも小さい第2の光量で照射された際に検出される第2の輝度レベルBL2と、前記第1の光量よりも大きい第3の光量で照射された際に検出される第3の輝度レベルBL3とを比較する輝度比較部をさらに備えていてもよい。そして、前記発光制御部は、前記輝度比較部による比較結果が、第3の輝度レベル≦第1の輝度レベル、或いは、第1の輝度レベル≦第2の輝度レベルである場合に前記発光部による照明を停止又は当該照明の量を低減させてもよい。
また、前記輝度比較部は、所定時間差以内で検出された前記第1の輝度レベル及び前記第2の輝度レベル、或いは、所定時間差以内で検出された前記第1の輝度レベル及び前記第3の輝度レベルを比較してもよい。
また、前記発光制御部は、前記撮像素子から画素毎に反射光強度を読み出す際の垂直同期信号に同期して前記発光部を制御してもよい。
以上説明したように本発明によれば、動画像を撮影する際に逆光状態に応じて照明を制御し、動画像に生じる暗部を補正することが可能になる。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
<実施形態>
本発明の一実施形態について説明する。本実施形態は、動画像の撮影に際して逆光状態を判定し、逆光状態の場合に照明して動画像の暗部を補正する技術に特徴がある。以下では、この特徴部分を中心に説明する。
[撮像装置100の機能構成]
まず、図1を参照しながら、本実施形態に係る撮像装置100の機能構成について説明する。図1は、本実施形態に係る撮像装置100の機能構成を示す説明図である。
図1に示すように、撮像装置100は、主に、CCD(charge coupled device)102と、CDS/AMP部104と、A/D変換部106と、画像入力制御部108と、バス110と、測光部112と、画像信号処理部114と、記録媒体制御部116と、記録媒体118と、タイミングジェネレータ120と、照明光量制御部122と、光源124と、CPU(central processing unit)126と、シャッター128と、メモリ132と、圧縮処理部134と、ビデオエンコーダ136と、画像表示部138とにより構成される。
(CCD102)
CCD102は、入射した光を電気信号に変換する複数の光電変換素子により形成される。例えば、CCD102は、結像光学系を経由して入射した光を受光すると、素子毎に受光強度に応じた電気信号を出力する。つまり、CCD102は、撮像素子の一例である。従って、撮像装置100は、CCD102に代えて、例えば、CMOS(complementary metal oxide semiconductor)等の他の撮像素子を備えていてもよい。
また、図2に示すように、CCD102は、複数のイメージエリアに分割された撮像面を有する。図2は、本実施形態に係るイメージエリアの分割構成例を示す説明図である。図2の例では、この撮像面は、64個のイメージエリアに分割されている。また、説明の都合上、各イメージエリアには、0〜63の番号を付した。以下の説明において、i番目のイメージエリアをエリアiと呼ぶ場合がある。
また、CCD102には、図2の太線で示したような注目領域が設定される。注目領域は、CCD102の中央部分に設けられてもよいし、その他の部分に設けられてもよい。例えば、撮像装置100が被写体の特徴的な部分を検出する機能を有している場合、注目領域は、その特徴的な部分に設定されてもよい。図2の例では、注目領域は、エリア27、28、35、36が含まれる領域に設定されている。以下の説明において、注目領域がCCD102の中央部に設定されているものと仮定する。CCD102の各イメージエリアから出力される電気信号は、CDS/AMP部104に入力される。
(CDS/AMP部104)
再び図1を参照する。CDS/AMP部104は、相関二重サンプリング(CDS;Correlated Double Sampling)回路、及び増幅器(AMP;AMPlifier)により構成される。CDS/AMP部104は、CCD102から入力された電気信号の低周波ノイズ成分を除去し、低周波ノイズ成分が除去された電気信号を所定のレベルまで増幅する手段である。CDS/AMP部104により入力された電気信号は、A/D変換部106に入力される。
(A/D変換部106)
A/D変換部106は、アナログ信号をデジタル信号に変換するアナログ−デジタル変換器の一例である。A/D変換部106は、CDS/AMP部104により入力された電気信号をデジタル信号に変換する。A/D変換部106により変換して得られたデジタル信号は画像入力制御部108に入力される。
(画像入力制御部108)
画像入力制御部108は、A/D変換部106により変換されたデジタル信号から画像信号を生成する手段である。画像入力制御部108は、A/D変換部106により入力されたデジタル信号を画像処理が可能な形式(以下、画像信号)に変換して出力する。画像入力制御部108により出力された画像信号は画像信号処理部114に入力される。
(バス110)
バス110は、信号の伝送経路であり、撮像装置100の各構成要素を接続するための手段である。バス110は、例えば、画像入力制御部108、測光部112、画像信号処理部114、記録媒体制御部116、タイミングジェネレータ120、CPU126、テーブル格納部130、メモリ132、圧縮処理部134、及びビデオエンコーダ136を相互に接続し、一の構成要素から他の構成要素に信号を伝送することができる。
(測光部112)
測光部112は、CCD102が有する各イメージエリアの輝度レベル(以下、輝度信号と呼ぶ場合がある。)を測定する手段である。輝度レベルは、各イメージエリアから出力された電気信号に基づいて測定される。また、測光部112は、各イメージエリアから出力された電気信号に対し、色毎に重み付けをして輝度レベルを算出することができる。この場合、測光部112は、図3に示すような機能構成になる。
図3に示すように、測光部112は、複数の乗算器1122、1124、1126と、加算器1128と、積算部1130とにより構成される。乗算器1122は、赤色(R)の画素から出力された信号強度Rに重み係数Cr(=0.3)を乗算し、加算器1128に入力する。乗算器1124は、緑色(G)の画素から出力された信号強度Gに重み係数Cg(=0.6)を乗算し、加算器1128に入力する。乗算器1126は、青色(B)の画素から出力された信号強度Bに重み係数Cb(=0.1)を乗算し、加算器1128に入力する。
加算器1128は、複数の乗算器1122、1124、1126から入力された重み付け後の信号強度を加算して輝度信号Yを算出し、積算部1130に入力する。積算部1130は、加算器1128から入力された輝度信号Yを一部又は全部のイメージエリアに関して積算し、一部又は全部のイメージエリアに関する輝度レベルを出力する。つまり、測光部112は、式(1)に従ってイメージエリア毎に輝度信号Yを算出する。例えば、測光部112は、注目領域の輝度レベルと、注目領域以外の領域(以下、残余領域)の輝度レベルとを算出することができる。
Figure 0005208493
(画像信号処理部114)
再び図1を参照する。画像信号処理部114は、画像入力制御部108により入力されたイメージエリア毎の画像信号を合成して画像データを生成する手段である。画像信号処理部114により生成された画像データは、メモリ132に格納される。また、画像信号処理部114は、メモリ132に蓄積された画像データをフレームとする動画データを生成することもできる。この場合、画像信号処理部114は、圧縮処理部134、及びビデオエンコーダ136等の構成要素と協働して動画データを生成する。
(記録媒体制御部116、記録媒体118)
記録媒体制御部116は、記録媒体118にデータを書き込み、或いは、記録媒体118に記録されたデータを読み出すための手段である。一方、記録媒体118は、データが記録される手段である。例えば、記録媒体118は、撮像装置100に内蔵された記憶装置であってもよいし、或いは、撮像装置100から取り外し可能なリムーバブル記録メディアであってもよい。記録媒体118は、例えば、光学式記録媒体(CD、DVD等)、光磁気記憶媒体、磁気記憶媒体、又は半導体記憶媒体等の記憶手段である。
(タイミングジェネレータ120)
タイミングジェネレータ120は、CCD102の各画素による露光期間や電荷の読み出しタイミングを制御すると共に、CDS/AMP部104によるノイズ低減回路を制御する手段である。そのため、タイミングジェネレータ120は、CCD102、CDS/AMP部104の各々に対してタイミング信号を入力する。さらに、タイミングジェネレータ120は、照明光量制御部122に対し、CCD102から電荷を読み出す際の垂直同期信号を入力する。
(照明光量制御部122、光源124)
照明光量制御部122は、光源124から発光される照明光の光量を制御する手段である。つまり、照明光量制御部122は、発光制御部、及び光量制御部の一例である。照明光量制御部122は、後述するCPU126の逆光判定機能により逆光状態であると判定された場合に、光源124を発光させる。
そのとき、照明光量制御部122は、測光部112により検出された輝度レベルが所定値に達するか、或いは、光源124により照射可能な最大光量に達するまで段階的に光量を増加させる。但し、照明光量制御部122は、タイミングジェネレータ120により入力された垂直同期信号に同期して段階的に光量を増加させる。尚、照明光量制御部122は、後述するCPU126の照明判定機能による判定結果に応じて光源124の光量を制御する。さらに、照明光量制御部122は、後述するCPU126の照明光量算出機能により算出された光量で光源124を発光させる。
一方、光源124は、静止画又は動画が撮影される際に被写体を照明するための手段であり、発光部の一例である。光源124は、例えば、赤色、緑色、青色等の複数の光源により構成される。但し、光源124は、輝度や色彩等が異なる複数の光源を組み合わせて構成されていてもよいし、或いは、1色の白色光源とカラーフィルタとにより構成されていてもよい。光源124は、例えば、LED等の発光素子により実現される。
ここで、図4を参照しながら、照明光量制御部122、及び光源124により構成される照明光量制御手段の回路構成について説明する。図4は、本実施形態に係る照明光量制御手段の回路構成を示す説明図である。
図4に示すように、照明光量制御部122は、主に、電源端子1222と、同期信号入力端子1224と、制御信号入力端子1226と、同期回路1228と、電流制限回路1230と、接地端子1232とにより構成される。光源124は、電源端子1222と電流制限回路1230との間に接続される。電源端子1222には電力が供給される。制御信号入力端子1226にはCPU126から制御信号が入力される。接地端子1232は接地されている。
光源124には、一端に電源端子1222が接続されており、電源端子1222から電力が供給される。また、光源124には、他端に電流制限回路1230が接続されており、この電流制限回路1230により電流量が制限される。電流制限回路1230には、同期回路1228が接続されており、この同期回路1228から入力される制御信号に応じて流れる電流量が制御される。また、電流制限回路1230は、接地端子1232に接続されている。
図5に電流制限回路1230に入力される制御信号と光源124の発光量との関係を説明するための説明図を示す。図5は、本実施形態に係る制御信号の強度と発光量との関係を示す説明図である。図5に示すように、電流制限回路1230に入力される制御信号(DA出力)の強度が所定値を超えると、光源124の発光量が線形に増加することが分かる。図5のように、電流制限回路1230と光源124とが直列に接続されることで、同期回路1228から入力される制御信号により、光源124の発光量が制御される。
再び図4を参照する。同期回路1228は、一端が電流制限回路1230に接続され、他端が制御信号入力端子1226に接続されている。また、同期回路1228には、同期信号入力端子1224から垂直同期信号が入力される。この垂直同期信号は、タイミングジェネレータ120から入力される垂直同期信号である。同期回路1228は、CPU126から入力された制御信号をタイミングジェネレータ120から入力される垂直同期信号に同期させて電流制限回路1230に入力する。
図6に同期回路1228による信号同期方法を説明するための説明図を示す。図6は、本実施形態に係る信号同期方法を示す説明図である。図6には、タイミングジェネレータ120から入力される垂直同期信号と、CPU126から入力される制御信号と、同期回路1228により同期された後の制御信号とが示されている。
図6に示すように、通常、CPU126から入力される制御信号は、その強度が変化するタイミングが垂直同期信号に同期していない。この垂直同期信号は、CCD102の上から下へと電荷を読み出すタイミングを示したものである。そのため、読み出し開始位置(A)間で照明光量が変化すると、その照明光量の変化に応じて画像の途中で輝度レベルが変化してしまい、例えば、下半分だけが明るい画像になってしまう。そのため、CPU126から入力される制御信号の光量変更タイミングを垂直同期信号の電荷読み出しタイミングに同期させる必要がある。そこで、同期回路1228は、制御信号の光量変更タイミングを垂直同期信号に同期させ、図6に示すような同期後の制御信号を電流制限回路1230に入力する。
(CPU126)
再び図1を参照する。CPU126は、中央処理手段であり、所定の記憶手段(メモリ132、記録媒体118等)に格納された制御プログラムや処理プログラム等に基づいて撮像装置100の各構成要素の制御や演算処理等を実行する手段である。例えば、CPU126は、フォーカス制御や露出制御のため、駆動手段(非図示)に制御信号を入力して結像光学系の動作を制御することができる。また、CPU126は、シャッター128や調整用ダイヤル等の操作手段(非図示)によるユーザ操作に応じて撮像装置100の各構成要素を制御することができる。さらに、CPU126は、所定の記憶手段に記録されたプログラムに基づき、逆光判定機能、照明判定機能、及び照明光量算出機能を有する。これらの機能については、後段において詳述する。
(シャッター128)
シャッター128は、文字通り、ユーザが撮像装置100に撮影タイミングを通知するためのシャッター手段である。シャッター128は、ユーザの操作インターフェースの一例である。シャッター128による操作は、例えば、CPU126に伝達される。
(メモリ132)
メモリ132は、CPU126の動作を規定する制御又は処理用のプログラムが格納されたり、或いは、CPU126による演算処理の際にキャッシュメモリとして利用される記憶手段である。また、メモリ132には、画像入力制御部108により生成された画像信号や画像信号処理部114により生成された画像データ等が格納される。さらに、動画が撮影される場合、メモリ132には、時分割で撮影された動画フレーム(画像データ)が一時的に格納され、その動画フレームに基づいて画像信号処理部114により生成された動画データが格納される。メモリ132は、例えば、SDRAM(Synchronous DRAM)等の半導体記憶素子により形成される。
尚、メモリ132は、リングバッファにより構成されていてもよい。リングバッファとは、複数のデータ格納領域がリング状に構成されているデータメモリである。例えば、データ格納領域の数(バッファ数)がBFであり、各データ格納領域に対して順番にバッファリングナンバーnが割り当てられている。このとき、リングバッファには、バッファリングナンバーnに従って順番にデータが格納される。但し、バッファリングナンバーn=BFの次にデータが格納されるデータ格納領域は、再び最初のバッファリングナンバーn=0に戻る。つまり、リングバッファは、リング状に構成されており、最後のデータ格納領域に達した後、古いデータから上書きされる構造になっている。
(圧縮処理部134)
圧縮処理部134は、画像データや動画データを符号化し、そのデータ量を圧縮する手段である。圧縮処理部134は、メモリ132から読み出した画像データ又は動画データ、或いは、画像信号処理部114により入力された画像データ又は動画データを圧縮する。画像データが入力された場合、圧縮処理部134は、例えば、JPEGやLZW等の圧縮形式で画像データを圧縮する。また、動画データが入力された場合、圧縮処理部134は、例えば、各動画フレームについて符号化すると共に、動画フレーム間の差分符号化等を施して動画データを圧縮する。
(ビデオエンコーダ136、画像表示部138)
ビデオエンコーダ136は、入力された画像データを画像表示部138の出力形式に変換する手段である。ビデオエンコーダ136は、例えば、メモリ132、又は動画メモリ(VRAM;Video RAM;非図示)等に記録されているライブビュー画像データや各種設定画面の画像データ、或いは、記録媒体118等に記録された画像データ等を読み出して変換することができる。そして、ビデオエンコーダ136により変換された画像データは、画像表示部138に入力される。画像表示部138は、ビデオエンコーダ136から入力された画像データを表示する手段である。画像表示部138は、例えば、LCD(Liquid Crystal Display)やELD(Electro Luminescence Display)等のディスプレイ装置である。
以上、本実施形態に係る撮像装置100の機能構成について説明した。但し、撮像装置100の機能構成の中で、CPU126が有する機能の一部に関する説明を省略した。また、この省略した機能構成に関係し、照明光量制御部122の一部機能についても、詳細な説明を省略した。そこで、これらの省略した機能について、以下で詳細に説明する。
[動画逆光補正処理]
まず、図7を参照しながら、本実施形態に係る動画逆光補正処理の流れについて説明する。図7は、本実施形態に係る動画逆光補正処理の流れを示す説明図である。この動画逆光補正処理とは、逆光の影響を受けて生じる動画像中の暗部を補正するための処理である。この処理は、被写体に照明光を照射することで暗部を補正する技術に関し、特に、逆光状態を検知して光源124の点灯タイミングを制御している点に特徴がある。尚、撮像装置100は、メモリ132として、リングバッファを備えるものとする。
図7に示すように、撮像装置100は、光源124による照明がOFF(消灯)の状態にある(S102)。次いで、撮像装置100は、バッファリングナンバーn(=0)、バッファ数BF(=10)、及び照明光量の初期値(=0)を設定する(S104)。次いで、撮像装置100は、測光部112により輝度信号Yを積算する(S106)。次いで、撮像装置100は、現時点のバッファリングナンバーCNにバッファリングナンバーnを設定する(S108)。
次いで、撮像装置100は、各イメージエリア(エリア0〜エリア63)の輝度値を算出し、バッファリングナンバーnに対応する配列Y[n][0]〜Y[n][63]に格納する(S110)。次いで、撮像装置100は、照明光量の値をバッファリングナンバーnに対応する配列L[n]に格納する(S112)。次いで、撮像装置100は、CPU126の逆光判定機能により、逆光状態を判定する(S114)。この逆光判定処理については後段において詳述する。
次いで、撮像装置100は、CPU126の照明判定機能により、光源124を点灯すべきか、或いは、消灯すべきかを判定する(S116)。この照明判定処理については後段において詳述する。光源124を点灯すべきと判定した場合、撮像装置100は、ステップS118の処理に進行する。一方、光源124を消灯すべきと判定した場合、撮像装置100は、ステップS122の処理に進行する。
ステップS118において、撮像装置100は、CPU126の照明光量算出機能により、照明光量を算出する(S118)。次いで、撮像装置100は、照明光量を設定し、その照明光量で光源124を点灯する(S120)。一方、ステップS122において、撮像装置100は、照明光量を0に設定する(S122)。次いで、撮像装置100は、照明光量を設定し、光源124を消灯する(S124)。
ステップS126において、撮像装置100は、バッファリングナンバーnとバッファ数BFとを比較し、n<BFであるか否かを判定する(S126)。n<BFである場合、撮像装置100は、ステップS128の処理に進行する。一方、n<BFでない場合、撮像装置100は、ステップS130の処理に進行する。ステップS128において、撮像装置100は、バッファリングナンバーnを1だけインクリメントする(n=n+1)(S128)。一方、ステップS130において、撮像装置100は、バッファリングナンバーnを0に設定する(n=0)(S130)。
次いで、撮像装置100は、シャッター128のON/OFFを判定する(S132)。シャッター128がONの場合、撮像装置100は、動画逆光補正処理S100を終了する。一方、シャッター128がOFFの場合、撮像装置100は、ステップS106の処理に進行する。尚、上記の処理は、シャッター128が押下(ON)された時点で効果を発揮する。それまでは、スルー画像が表示されている。
以上、本実施形態に係る動画逆光補正処理の流れについて説明した。以下では、上記の動画逆光補正処理S100の逆光判定処理S114、照明判定処理S116、照明光量算出処理S118について、より詳細に説明する。尚、これらの処理は、主に、CPU126が有する逆光判定機能、照明判定機能、照明光量算出機能により実現される。
(逆光判定処理S114について)
まず、図8を参照しながら、本実施形態に係る逆光判定処理S114について説明する。図8は、本実施形態に係る逆光判定処理S114の流れを示す説明図である。この処理は、主に、CPU126の逆光判定機能により実行される。
尚、中央平均測光値Ysp、背景平均測光値Ybgは、例えば、下記の式(2)、式(3)により表現される。この中央平均測光値Yspは、図2に示した注目領域に含まれるイメージエリアについて算出される中央測光値YS[n]をリングバッファの全てのバッファリングナンバーnについて平均した値である。一方、背景平均測光値Ybgは、図2に示した注目領域を除く残余領域について算出される背景測光値YB[n]をリングバッファの全てのバッファリングナンバーnについて平均した値である。
但し、中央測光値YS[n]は、下記の式(4)で表現されるように、各バッファリングナンバーnに対し、注目領域に含まれる全てのイメージエリアについて平均された測光値Yである。また、背景測光値YB[n]は、下記の式(5)で表現されるように、各バッファリングナンバーnに対し、注目領域を除く残余領域に含まれる全てのイメージエリアについて平均された測光値Yである。
Figure 0005208493
…(2)
Figure 0005208493
…(3)
Figure 0005208493
…(4)
Figure 0005208493
… (5)
図8に示すように、ステップS202において、撮像装置100は、背景平均測光値Ybgと中央平均測光値Yspとを比較する(S202)。このとき、撮像装置100は、中央平均測光値Yspに所定の逆光判定閾値Aを加算し、その加算値(Ysp+A)と背景平均測光値Ybgとを比較する(S202)。Ybg>(Ysp+A)である場合、撮像装置100は、ステップS204の処理に進行する。一方、Ybg>(Ysp+A)でない場合、撮像装置100は、ステップS206の処理に進行する。
ステップS204において、撮像装置100は、逆光判定結果を示す変数Rbに逆光状態を示す1を代入する(S204)。一方、ステップS206において、撮像装置100は、逆光判定結果を示す変数Rbに順光状態を示す0を代入する(S206)。ステップS208において、撮像装置100は、逆光判定結果として変数Rbの値を出力する(S208)。
以上、本実施形態に係る逆光判定処理S114の詳細について説明した。上記の通り、中央平均測光値Yspと背景平均測光値Ybgとの差が所定の逆光判定閾値Aを超える場合に逆光状態であると判定される。
(照明判定処理S116について)
次に、図9を参照しながら、本実施形態に係る照明判定処理S116について説明する。図9は、本実施形態に係る照明判定処理S116の流れを示す説明図である。この処理は、主に、CPU126の照明判定機能により実行される。
図9に示すように、撮像装置100は、逆光判定処理S114による逆光判定結果Rbが1(逆光)であるか否かを判定する(S302)。逆光判定結果Rb=1である場合、撮像装置100は、ステップS304の処理に進行する。一方、逆光判定結果Rb=1でない場合、撮像装置100は、ステップS316の処理に進行する。
ステップS304において、撮像装置100は、現在のバッファリングナンバーCNに対応する照明光量バッファL[CN]が0であるか否かを判定する(S304)。照明光量バッファL[CN]=0である場合、撮像装置100は、ステップS314の処理に進行する。一方、照明光量バッファL[CN]=0でない場合、撮像装置100は、ステップS306の処理に進行する。
ステップS306において、撮像装置100は、背景平均測光値Ybgと、中央平均測光値Yspに逆光判定閾値A及び照明判定閾値A’を加算した値(Ysp+A+A’)とを比較し、Ybg>(Ysp+A+A’)であるか否かを判定する(S306)。Ybg>(Ysp+A+A’)である場合、撮像装置100は、ステップS308の処理に進行する。一方、Ybg>(Ysp+A+A’)でない場合、撮像装置100は、ステップS316の処理に進行する。尚、照明判定閾値A’は、照明により明るくなる部分に相当する。
ステップS308において、撮像装置100は、最大照明光量バッファのアドレス*Xに対し、照明光量バッファL[0]〜L[BF]の中で最大値となる照明光量バッファのアドレス*max(L[0−BF])を代入する(S308)。次いで、撮像装置100は、最小照明光量バッファのアドレス*Nに対し、照明光量バッファL[0]〜L[BF]の中で最小値となる照明光量バッファのアドレス*min(L[0−BF])を代入する(S310)。尚、上記のアドレスとは、例えば、ポインタを意味する。
次いで、撮像装置100は、最大照明光量バッファのアドレス*X、及び最小照明光量バッファのアドレス*Nに対応する中央平均測光値Yspの値を比較し、Ysp[*X]>Ysp[*B]+Cであるか否かを判定する(S312)。但し、測光値判定閾値Cは、照明による効果を判定するための閾値である。Ysp[*X]>Ysp[*B]+Cである場合、撮像装置100は、ステップS314の処理に進行する。一方、Ysp[*X]>Ysp[*B]+Cでない場合、撮像装置100は、ステップS316の処理に進行する。
ステップS314において、撮像装置100は、照明判定結果を示す変数Rlに逆光状態を示す1を代入する(S314)。一方、ステップS316において、撮像装置100は、照明判定結果を示す変数Rlに順光状態を示す0を代入する(S316)。ステップS314において、撮像装置100は、照明判定結果を示す変数Rlの値を出力する(S318)。
以上、本実施形態に係る照明判定処理S116の流れについて説明した。上記の通り、最大照明光量で照明された際の測光値と、最小照明光量で照明された際の測光値との間の差に応じて点灯/消灯の判定が実行される。これは、最大照明光量で照明された際の測光値と、最小照明光量で照明された際の測光値との間の差が測光値判定閾値Cを超えない場合、照明による効果が測光値に反映されていないものと判断されるためである。例えば、外乱等により明るくなっている場合等に相当する。
(照明光量算出処理S118について)
次に、図10を参照しながら、本実施形態に係る照明光量算出処理S118について説明する。図10は、本実施形態に係る照明光量算出処理S118の流れを示す説明図である。この処理は、主に、CPU126の照明光量算出機能により実行される。
図10に示すように、撮像装置100は、バッファリングナンバーnを0に設定する(S402)。次いで、撮像装置100は、現在のバッファリングナンバーCNに対応する照明光量バッファL[CN]が0であるか否かを判定する(S404)。照明光量バッファL[CN]=0である場合、撮像装置100は、ステップS406の処理に進行する。一方、L[CN]=0でない場合、撮像装置100は、ステップS408の処理に進行する。
ステップS408において、撮像装置100は、現在のバッファリングナンバーCNが0であるか否かを判定する(S408)。つまり、撮像装置100は、CN−1<0であるか否かを判定する(S408)。CN−1<0である場合、撮像装置100は、ステップS412の処理に進行する。一方、CN−1<0でない場合、撮像装置100は、ステップS410の処理に進行する。
ステップS410において、撮像装置100は、変数Dに現在のバッファリングナンバーCNから1減算した値(CN−1)を代入する(S410)。一方、ステップS412において、撮像装置100は、変数Dにバッファ数BFから1減算した値(BF−1)を代入する(S412)。つまり、変数Dは、現在のバッファリングナンバーCNの前にデータが格納されたデータ格納領域を表すバッファリングナンバーである。
ステップS414において、撮像装置100は、照明光量を示す変数LIGHTに対し、現在のバッファリングナンバーCNに対応する中央測光値YS[CN]と、変数Dに対応する中央測光値YS[D]との差分に重み付けした値(YS[CN]−YS[D])×compを加算して変数LIGHTに代入する(S414)。ここで、照明光量係数compは、例えば、所定の定数値である。
次いで、撮像装置100は、照明光量を示す変数LIGHTと照明光量の上限値MAXとを比較し、LIGHT>MAXであるか否かを判定する(S416)。LIGHT>MAXである場合、撮像装置100は、ステップS418の処理に進行する。一方、LIGHT>MAXでない場合、撮像装置100は、ステップS420の処理に進行する。
ステップS418において、撮像装置100は、照明光量を示す変数LIGHTに照明光量上限値MAXを代入する(S418)。一方、ステップS420において、撮像装置100は、照明光量を示す変数LIGHTと照明光量の下限値MINとを比較し、LIGHT<MINであるか否かを判定する(S420)。LIGHT<MINである場合、撮像装置100は、ステップS422の処理に進行する。一方、LIGHT<MINでない場合、撮像装置100は、ステップS424の処理に進行する。
ステップS422において、撮像装置100は、照明光量を示す変数LIGHTに照明光量下限値MINを代入する(S422)。ステップS424において、撮像装置100は、照明光量を示す変数LIGHTを出力する(S424)。尚、照明光量を示す変数LIGHTは、図5に示したDA値に相当する。
以上、本実施形態に係る照明光量算出処理S118の流れについて説明した。上記の通り、リングバッファ上で隣接する中央測光値の差分に応じた照明光量が設定される。
[まとめ]
以上説明した通り、本実施形態に係る撮像装置100は、照明光を利用して動画像の逆光補正が可能な点に特徴を有する。この撮像装置100の機能構成を纏めると、次の通りである。
撮像装置100は、照明手段として、照明光を被写体に投光する光源124を有する。また、撮像装置100は、測光手段として、CCD102が有するイメージエリア毎に輝度レベルを測定する測光部112を有する。さらに、撮像装置100は、逆光判定手段として、CCD102の各イメージエリアを介して得られた測光値から逆光状態を判定するCPU126の逆光判定機能を有する。そして、撮像装置100は、動画表示手段として、CCD102から垂直同期信号に同期して所定周期で読み出される画像信号に対応する画像データを表示する画像表示部138を有する。
例えば、撮像装置100は、画像表示部138に継続的に動画像を表示しながら、CPU126の逆光判定機能で逆光状態を判定し、逆光状態であると判定された際に照明光量制御部122により光源124を点灯させることが可能である。また、撮像装置100は、照明光量制御部122により、CCD102から読み出される動画像の垂直同期信号に同期して光源124の光量を段階的に増加又は減少させることができる。さらに、撮像装置100は、測光部112により所定の周期で光量を観測させ、その測光値が所定量に達するか、或いは、光源124の発光量が最大になった時点で照明光量制御部122による光量増加を停止することができる。
また、測光部112は、CPU126の逆光判定機能により判定された暗部に対応する測光値を出力することができる。さらに、撮像装置100は、CPU126の逆光判定機能により判定された暗部に対応する測光値と、その際の光源124による発光量とを対応付けてメモリ132、記録媒体118、或いは、他の記憶手段に記録することができる。
また、撮像装置100は、所定光量で光源124を発光させた際に観測される測光値1と、この所定光量よりも少ない光量で光源124を発光させた際に観測される測光値2とを比較することができる。さらに、撮像装置100は、上記の所定光量よりも多い光量で光源124を発光させた際に観測される測光値3と、上記の測光値1とを比較することができる。そして、撮像装置100は、測光値1、測光値2、測光値3が、測光値3≦測光値1、或いは、測光値1≦測光値2の関係を満たす場合に照明光による効果が低いと判定し、光源124を消灯させる。
尚、撮像装置100は、測光値1と測光値2、或いは、測光値1と測光値3の取得時間差が所定値よりも小さい場合にのみ、上記の照明光の効果判定をすることが好ましい。なぜなら、取得時間差が大きい測光値を比較することで、被写体の移動や変化の影響を受けてしまい、実際には照明光による効果が得られる状況でも、光源124を消灯させる可能性が生じるからである。
次に、上記の撮像装置100による逆光補正処理の流れについて簡単に纏める。通常、撮像装置100は、動画像(スルー画像)を表示しながら、ユーザによるシャッター128の押下を待機している。撮像装置100は、メモリ132が有する複数のデータ格納領域(面)に対し、スルー画像の各フレームを所定の順番で記録する。例えば、メモリ132が2面のデータ格納領域を有している場合、撮像装置100は、フレーム単位で書込み領域と読み出し領域とを切り替えながら、繰り返しフレームを表示することでスルー画像を形成する。
このスルー画像の形成処理に並列して、撮像装置100は、CCD102の所定領域について、RGB信号から輝度信号Yを生成し、所定の分割領域毎にピクセル単位で積算して1フレーム分の測光値を算出する。撮像装置100は、この分割領域毎に算出された測光値から、CCD102の注目領域に対応する中央測光値と、その残余領域に対応する背景測光値とを算出する。この分割領域毎に算出された測光値は、リングバッファに格納され、所定期間内の測光値が全て保持されるようにする。但し、中央測光値、及び背景測光値についても同様である。
その後、撮像装置100は、中央測光値、及び背景測光値に基づいて逆光状態を判断する。このとき、中央測光値が背景測光値に比べて暗い場合に逆光状態であると判断される。そして、撮像装置100は、光源124を点灯するか、或いは、消灯するかを判断する。逆光状態であり、かつ、光源124を消灯している場合、撮像装置100は、無条件に光源124を点灯する。一方、光源124が点灯している場合、撮像装置100は、照明が暗い場合の測光値に基づき、その被写体に対する照明の有効性を判定する。もし、照明しても測光値が所定値より大きくならない場合、撮像装置100は、照明の効果が得られないとして、光源124を消灯する。また、撮像装置100は、中央測光値、及び背景測光値に基づいて光源124で発光すべき好適な光量を算出する。
以上の機能構成、及び処理により、逆光状態であっても、被写体に照明光を照射して暗部を補正することで、良好な品質の動画像を撮影することが可能になる。また、従来の露光による逆光補正で問題となっていた背景(明)部の白とびを防止することができる。そして、逆光状態であっても、動画像と静止画像とを同等の露出にすることができる。さらに、照明の効果を自動的に判別して消灯するため、省電力化が図れる。その他にも、光量制御に関し、フレーム間の輝度差に応じて光量補正しているため、自然な逆光補正が実現されるといった効果が得られる。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
上記の実施形態の説明において、図中には明示しなかったが、撮像装置100には、入射光をCCD102に結像されるための結像光学系がCCD102の前段に設けられていてもよい。結像光学系は、主に、レンズユニットと、ズーム機構と、フォーカス機構と、絞り機構と、レンズを取り付けるための筒状の鏡胴とにより構成される。フォーカス機構は、フォーカスレンズ等により形成される。絞り機構は、開口の大きさを変化させることで光束の方向や範囲を調整する手段である。また、ズーム機構、フォーカス機構、及び絞り機構は、別途設けられたモータドライバにより駆動される。結像光学系には、例えば、単焦点レンズやズームレンズ等が利用される。
本発明の一実施形態に係る撮像装置の機能構成例を示す説明図である。 同実施形態に係るイメージエリアの構成例を示す説明図である。 同実施形態に係る測光部の機能構成例を示す説明図である。 同実施形態に係る照明光量制御部の回路構成例を示す説明図である。 制御信号の出力強度と発光量との関係を示す説明図である。 同実施形態に係る信号同期方法を示す説明図である。 同実施形態に係る動画逆光補正処理の流れを示す説明図である。 同実施形態に係る逆光判定処理の流れを示す説明図である。 同実施形態に係る照明判定処理の流れを示す説明図である。 同実施形態に係る照明光量算出処理の流れを示す説明図である。
符号の説明
100 撮像装置
102 CCD
104 CDS/AMP部
106 A/D変換部
108 画像入力制御部
110 バス
112 測光部
114 画像信号処理部
116 記録媒体制御部
118 記録媒体
120 タイミングジェネレータ
122 照明光量制御部
124 光源
126 CPU
128 シャッター
130 テーブル格納部
132 メモリ
134 圧縮処理部
136 ビデオエンコーダ
138 画像表示部
1122、1124、1126 乗算器
1128 加算器
1130 積算部
1222 電源端子
1224 同期信号入力端子
1226 制御信号入力端子
1228 同期回路
1230 電流制限回路
1232 接地端子

Claims (5)

  1. 被写体の反射光強度を検出する撮像素子と、
    前記撮像素子により連続的に複数回の前記反射光強度が検出される間、前記被写体を照明し続けることが可能な発光部と、
    前記撮像素子により検出された反射光強度に応じて前記被写体の輝度レベルを検出する測光部と、
    前記被写体の輝度レベルに基づいて逆光状態を判定する逆光判定部と、
    前記発光部により前記被写体が第1の光量で照射された際に検出される第1の輝度レベルBL1と、前記第1の光量よりも小さい第2の光量で照射された際に検出される第2の輝度レベルBL2と、前記第1の光量よりも大きい第3の光量で照射された際に検出される第3の輝度レベルBL3とを比較する輝度比較部と、
    前記逆光判定部により逆光状態であると判定された場合に前記発光部を制御して前記被写体に光を照射させ、前記輝度比較部による比較結果が、第3の輝度レベル≦第1の輝度レベル、或いは、第1の輝度レベル≦第2の輝度レベルである場合に、前記発光部による照明を停止又は当該照明の量を低減させる発光制御部と、
    を備えることを特徴とする、撮像装置。
  2. 前記逆光判定部は、前記被写体の暗部に対応する領域の輝度レベルに基づいて逆光状態を判定することを特徴とする、請求項1に記載の撮像装置。
  3. 前記発光部により照射される光量を制御する光量制御部をさらに備え、
    前記光量制御部は、前記測光部により検出される輝度レベルが所定値に達するか、或いは、前記発光部により照射可能な最大光量に達するまで、前記撮像素子から画素毎に反射光強度を読み出す際の垂直同期信号に同期して段階的に前記発光部により照射される光量を増加させることを特徴とする、請求項1又は2に記載の撮像装置。
  4. 前記輝度比較部は、所定時間差以内で検出された前記第1の輝度レベル及び前記第2の輝度レベル、或いは、所定時間差以内で検出された前記第1の輝度レベル及び前記第3の輝度レベルを比較することを特徴とする、請求項1〜3のいずれかに記載の撮像装置。
  5. 前記発光制御部は、前記撮像素子から画素毎に反射光強度を読み出す際の垂直同期信号に同期して前記発光部を制御することを特徴とする、請求項1〜のいずれかに記載の撮像装置。
JP2007336016A 2007-12-27 2007-12-27 撮像装置 Expired - Fee Related JP5208493B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007336016A JP5208493B2 (ja) 2007-12-27 2007-12-27 撮像装置
KR1020080052684A KR101417819B1 (ko) 2007-12-27 2008-06-04 촬상 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007336016A JP5208493B2 (ja) 2007-12-27 2007-12-27 撮像装置

Publications (2)

Publication Number Publication Date
JP2009159378A JP2009159378A (ja) 2009-07-16
JP5208493B2 true JP5208493B2 (ja) 2013-06-12

Family

ID=40962873

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007336016A Expired - Fee Related JP5208493B2 (ja) 2007-12-27 2007-12-27 撮像装置

Country Status (2)

Country Link
JP (1) JP5208493B2 (ja)
KR (1) KR101417819B1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5583465B2 (ja) * 2010-04-28 2014-09-03 オリンパスイメージング株式会社 撮像装置
JP5546381B2 (ja) * 2010-07-30 2014-07-09 キヤノン株式会社 撮像装置及びその制御方法
KR101389426B1 (ko) * 2012-12-21 2014-04-29 주식회사 세창씨엔씨 변기덮개의 결합구조

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005354155A (ja) * 2004-06-08 2005-12-22 Matsushita Electric Ind Co Ltd 動画撮像装置
JP4537255B2 (ja) * 2005-04-28 2010-09-01 富士フイルム株式会社 撮像装置および撮像方法

Also Published As

Publication number Publication date
KR20090071325A (ko) 2009-07-01
JP2009159378A (ja) 2009-07-16
KR101417819B1 (ko) 2014-07-09

Similar Documents

Publication Publication Date Title
JP5224804B2 (ja) 撮像装置
US9307163B2 (en) Imaging device and imaging method
JP2009077057A (ja) 撮像装置、撮像装置の制御方法
JP3896438B2 (ja) デジタルカメラ及びオートホワイトバランス制御方法
CN102170530A (zh) 信号处理设备及方法、固态图像捕获设备和电子信息器件
JP4615458B2 (ja) 露出制御方法及び撮像装置
KR20100066855A (ko) 촬상 장치 및 촬상 방법
JP2006108759A (ja) 撮像装置
US20090027514A1 (en) Image pickup apparatus and method
JP5208493B2 (ja) 撮像装置
JP4285668B2 (ja) 撮像装置及びその露出制御方法並びに記録媒体
JP5772064B2 (ja) 撮像装置及び画像生成プログラム
JP4458194B2 (ja) 撮像装置及びその露出制御方法並びに記録媒体
JP2009288657A (ja) ストロボ撮影装置
JP2006135381A (ja) キャリブレーション方法およびキャリブレーション装置
JP4735051B2 (ja) 撮像装置
JP2012248992A (ja) デジタルカメラ
US20050185066A1 (en) Image taking apparatus
US8681263B2 (en) Imager capturing an image with a rolling shutter using flicker detection
KR101230200B1 (ko) 촬상 장치
JP2005167465A (ja) デジタルカメラ及びデジタルカメラの撮像方法
JP2004343177A (ja) 撮像装置
JP2006332936A (ja) 撮像装置
JP2011114442A (ja) 電子カメラ
JP2025058550A (ja) 撮像装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20090811

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20101005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130220

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160301

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5208493

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees