Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5753371B2 - 撮像装置およびその制御方法 - Google Patents
[go: Go Back, main page]

JP5753371B2 - 撮像装置およびその制御方法 - Google Patents

撮像装置およびその制御方法 Download PDF

Info

Publication number
JP5753371B2
JP5753371B2 JP2010262903A JP2010262903A JP5753371B2 JP 5753371 B2 JP5753371 B2 JP 5753371B2 JP 2010262903 A JP2010262903 A JP 2010262903A JP 2010262903 A JP2010262903 A JP 2010262903A JP 5753371 B2 JP5753371 B2 JP 5753371B2
Authority
JP
Japan
Prior art keywords
phase difference
focus
imaging lens
imaging
aperture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010262903A
Other languages
English (en)
Other versions
JP2012113171A (ja
JP2012113171A5 (ja
Inventor
高岩 敢
敢 高岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010262903A priority Critical patent/JP5753371B2/ja
Priority to US13/299,691 priority patent/US9451145B2/en
Publication of JP2012113171A publication Critical patent/JP2012113171A/ja
Publication of JP2012113171A5 publication Critical patent/JP2012113171A5/ja
Application granted granted Critical
Publication of JP5753371B2 publication Critical patent/JP5753371B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10FINORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80Constructional details of image sensors
    • H10F39/805Coatings
    • H10F39/8057Optical shielding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Description

本発明は撮像装置およびその制御方法に関し、特には動画記録可能な撮像装置およびその制御方法に関する。
従来、自動焦点検出(AF)機能を有し、動画撮影可能な撮像装置が知られている。例えば特許文献1には、被写体像のコントラスト成分に基づいて順次焦点検出用レンズを駆動する所謂山登り制御を用いた自動焦点検出(コントラストAF)機能を備えるビデオカメラが開示されている。特許文献1では、合焦位置で焦点検出用レンズを停止した後、再度焦点検出の必要が発生した際には、まず焦点検出用レンズを前後に駆動し、合焦方向を検出し、検出方向に焦点検出用レンズを駆動しながら山登り制御を行っている。
自動焦点検出方法としては、上述したコントラストAFの他に、レンズの射出瞳の異なる領域を通過した光束の成す像の位相差を用いて非合焦距離(デフォーカス量)を判定する位相差検出AFなども一般的に用いられている。
また、コントラストAFと位相差検出AFとの組み合わせについても提案されている。例えば特許文献2には、レンズの絞り機構によって射出瞳が小さくされたことにより、現在設定されている焦点検出領域では位相差検出AFが使用できない場合に、コントラストAFを用いて焦点検出を行う焦点検出装置が提案されている。
これまで、コントラストAFは撮像画像から焦点情報(コントラスト成分)を検出し、位相差検出AFは撮像素子とは別の検出素子を用いて焦点情報(一対の像)を検出するのが一般的であった。しかし、撮像素子に位相差検出用画素を形成することにより、撮像素子の出力でコントラストAFと位相差検出AFを行う撮像装置も提案されている(特許文献3)。
特開平2−140074号公報 特開2007−848782号公報 特開2007−65330号公報
従来、電子ビューファインダー(EVF)が主に用いられている小型デジタルカメラでは動画撮影機能を有するのが通常であったが、レンズ交換式デジタルカメラにおいては動画撮影機能を持たないものや、動画撮影中は自動焦点検出ができないものが多かった。しかしながら、近年では、レンズ交換式デジタルカメラにおいても、EVFと同様の所謂ライブビュー機能を備えるものが増え、それとともに動画撮影機能も標準的になってきている。
このように、デジタル(スチル)カメラと、デジタルビデオカメラとは機能的に似たものになってきているが、自動焦点検出方法に関しては依然として大きな差異が存在する。ビデオカメラは動画撮影を主目的としているため、合焦距離が変動することを想定した自動焦点検出を行う。具体的には、焦点検出後も、合焦位置を中心に焦点検出用レンズを前後に微小な範囲(撮影される動画像に大きな影響が出ない範囲)で常に移動(ウォブリング)させ、合焦方向の検出を行っている。そのため、撮像レンズもウォブリングに対応したものが用いられる。
これに対し、デジタルスチルカメラは静止画撮影を主目的としているため、焦点検出できた場合には、その位置で焦点検出用レンズを停止させるのが通常である。従って、デジタルスチルカメラに用いられる撮像レンズは、ウォブリングのような微小範囲の駆動に対応していないものが多い。そのため、一旦焦点検出できた後、ウォブリングのような合焦方向検出のための駆動を行った場合、駆動量が大きく、撮像画像の画質に影響がでてしまう。レンズ固定式のデジタルスチルカメラの場合、今後はウォブリングを考慮したレンズを備えるものが増えると予想されるため、近い将来改善されることが期待される。しかしながら、レンズ交換式のデジタルスチルカメラにおいて、近い将来、使用可能な全ての撮像レンズ(交換レンズ)がウォブリングに対応したものとなることは考えにくく、当分の間は問題が残るものと予想される。
本発明はこのような従来技術の課題に鑑みなされたものであり、微小量の駆動に対応していない撮像レンズが装着された場合でも、動画撮影に適した焦点検出動作が可能な撮像装置およびその制御方法の提供を目的とする。
上述の目的は、撮像用画素と、位相差検出用画素とを有する撮像素子と、位相差検出用画素から得られる位相差信号を用いて、撮像レンズのフォーカス駆動量及び駆動方向を決定する決定手段と、を備え、撮像素子で撮像した動画の記録が可能な撮像装置であって、動画記録中かつ撮像レンズのフォーカス駆動を停止している際に、焦点検出の再起動が必要か否かを撮像用画素から得られる評価値に基づいて判定し、焦点検出の再起動が必要と判定された場合、撮像レンズの絞りの開口径が、設定されている焦点検出領域に含まれている位相差検出用画素から得られる位相差信号を用いた、決定手段による焦点検出が可能な開口径か否かを判定する判定手段と、判定手段により、撮像レンズの絞りの開口径が、設定されている焦点検出領域に含まれている位相差検出用画素から得られる位相差信号を用いた、決定手段による焦点検出が可能な開口径でないと判定された場合、決定手段によって撮像レンズのフォーカス駆動量及び駆動方向を決定する間、撮像レンズの絞りの開口径を決定手段による焦点検出が可能な大きさに変更する制御手段と、決定手段が決定したフォーカス駆動量及び駆動方向に従って、撮像レンズのフォーカス駆動を行う駆動手段と、を有し、制御手段は、撮像レンズの絞りの開口径が、設定されている焦点検出領域に含まれている位相差検出用画素から得られる位相差信号を用いた、決定手段による焦点検出が可能な絞りの大きさを超える場合には、当該大きさを超えない大きさに撮像レンズの絞りの開口径を変更することを特徴とする撮像装置によって達成される。
このような構成により、本発明によれば、微小量の駆動に対応していない撮像レンズが装着された場合でも、動画撮影に適した焦点検出動作が可能となる。
本発明の第1の実施形態に係る撮像装置の構成例を示すブロック図。 本発明の第1の実施形態における撮像用画素の配置と構造の例を示す図。 本発明の第1の実施形態において、レンズの水平方向(横方向)に瞳分割を行なうための位相差検出用画素の配置と構造の例を示す図。 本発明の第1の実施形態において、レンズの垂直方向(縦方向)に瞳分割を行なうための位相差検出用画素の配置と構造の例を示す図。 本発明の第1の実施形態において、映像信号の注目画素a(m,k)近傍の画素の並びを示した図。 レンズの合焦位置の前後でのコントラストレベルの変化の例を示す図。 絞りの開口径が大きい場合に、像高の違う位置の位相差検出用画素へ入射する光束の状態の例を示す図。 本発明の第1の実施形態に係る撮像装置における、焦点調節用レンズが合焦位置で停止した状態での動作を説明するためのフローチャート。 絞りの開口径が小さい場合に、レンズの光軸中心に近い領域に設けられた位相差検出画素に入射する光束の様子を示した図。 本発明の第2の実施形態に係る撮像装置における、焦点調節用レンズが合焦位置で停止した状態での動作を説明するためのフローチャート。
以下、本発明に係る撮像装置及びその制御方法の例示的な実施形態について、図面を参照して詳細に説明する。
(第1の実施形態)
図1は本発明の第1の実施形態に係る撮像装置の構成例を示すブロック図である。本実施形態に係る撮像装置100は、レンズ交換式であり、レンズマウント109を介して撮像レンズ101が着脱可能に構成される。撮像装置100と撮像レンズ101とはレンズマウント109を通じて双方向に通信可能である。102は撮像レンズ101に内蔵される絞り、103は撮像素子、104は信号処理回路、105は制御回路、106は動画記録ボタン、107は表示部、108は着脱自在のメモリーカードである。
被写体像は撮像レンズ101にて撮像素子103上に投影され電気信号に変換されるが、その際、撮像素子103上に画像撮影に適切な量の光束が到達するよう、撮像装置100が有する自動露出制御機能によって絞り102が適切な開口寸法に設定される。
撮像素子103からは光電変換された被写体像の画像信号が読み出される。後述するように、撮像素子103には通常の画素(撮像用画素)に加え、位相差検出用画素が設けられており、両者の信号が読み出されて信号処理回路104に入力される。なお、本実施形態では、撮像素子103の部分領域を焦点検出領域として設定可能であり、設定可能な焦点検出領域の各々には、位相差検出AFを行うための位相差検出用画素が含まれているものとする。
信号処理回路104は、撮像用画素信号と位相差検出用画素信号とで異なる処理を適用する。信号処理回路104は、撮像用画素信号に対しては従来と同様、色補間処理、ガンマ処理等の画像処理(現像処理とも呼ばれる)を適用し、映像信号に変換する。なお、位相差検出用画素からは画像用の信号を得ることができないため、信号処理回路104は、位相差検出用画素における画像用の信号を、近傍の撮像用画素の信号から所定の補間処理によって生成する。
また、信号処理回路104は、撮像用画素信号から得られた映像信号に所定の処理を施してコントラスト信号(例えば、空間周波数領域における高周波成分)を得る。
信号処理回路104にて生成された映像信号は表示部107に表示される。以上の処理を連続して(例えば30回/秒)行うことで、動画が撮影される。この動画を表示部107に表示することで、表示部107を電子ビューファインダ(EVF)として機能させることができる。また、例えば動画記録ボタン106が押下されることにより、記録指示が与えられると、信号処理回路104が映像信号に圧縮処理を適用して記録用の映像信号を生成し、メモリーカード108への記録を開始する。表示部107への映像の表示は動画記録ボタン106が押下されるまでの期間(スタンバイ期間)のみならず、動画記録中もメモリーカード108への記録と並行して継続する。なお、表示部107へ表示する映像(表示用映像)は、処理負荷を軽減するため、記録用の映像よりも解像度を低下させてもよい。動画記録中に動画記録ボタン106が再度押下されると、信号処理回路104はメモリーカード108への動画記録を停止するが、表示部107への表示は継続する。
一方、信号処理回路104は、撮像レンズ101の射出瞳の同一の領域を通過した光束を受光する複数の位相差検出用画素の信号に対して所定の処理を適用し、位相差検出用信号を生成する。さらに、撮像素子103において近接して配置され、かつ撮像レンズ101の射出瞳の異なる領域を通過した光束を受光する複数の位相差検出用画素から得られた位相差検出用信号から、信号処理回路104は位相差信号を生成する。
制御回路105は信号処理回路104が生成した位相差信号をもとに、撮像レンズ101が有する焦点調節用レンズの駆動量および駆動方向を算出し、対応するフォーカス駆動信号を生成して撮像レンズ101に供給する。連写中の焦点検出は、記録画像用の画像信号の読み出しの合間に読み出された画像信号を用いて行われる。
撮像レンズ101と、撮像装置100の制御回路105とは、上述したフォーカス駆動信号以外に、絞り102を制御するための絞り制御信号および、レンズ状態を判定するための状態信号などの通信を行う。状態信号の内容には、例えば、装着された撮像レンズ101の種類を判定するためのレンズ種別情報や、絞り値の情報が含まれている。
図2ないし図4は、撮像用画素と位相差検出用画素(AF画素)の構造を説明する図である。
本実施形態の撮像素子103は、2行×2列の4画素の対角2画素にG(緑色)の分光感度を有する画素を配置し、他の2画素にR(赤色)とB(青色)の分光感度を有する画素を各1個配置した、ベイヤー配列を採用している。また、ベイヤー配列の画素の一部として、後述する構造の位相差検出用画素が所定の規則に従って分散配置される。
図2に、本実施形態における撮像用画素の配置と構造の例を示す。
図2(a)は2行×2列の撮像用画素の平面図である。上述の通り、ベイヤー配列では対角方向に2つのG画素が、他の2画素にRとBの画素が配置される。そしてこのような2行×2列の配列が撮像素子103の全体にわたって繰り返される。
図2(b)は、図2(a)のA−A断面と、撮影光学系からの光路を示す図である。
MLは各画素の最前面に配置されたオンチップマイクロレンズ、CFRはR(Red)のカラーフィルタ、CFGはG(Green)のカラーフィルタである。PDは画素の光電変換部を模式的に示したもの、CLはCMOSイメージセンサ内の各種信号を伝達する信号線を形成するための配線層である。TLは撮影光学系を模式的に示したものである。
ここで、撮像用画素のオンチップマイクロレンズMLと光電変換部PDは、撮影光学系TLを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影撮像光学系TLの射出瞳EPと光電変換部PDは、マイクロレンズMLにより共役関係にあり、かつ光電変換部PDの有効面積は大面積に設計される。また、図2(b)ではR画素の入射光束について図示したが、G画素及びB(Blue)画素も同一の構造となっている。従って、撮像用のRGB各画素に対応した射出瞳EPは大径となり、被写体からの光束を効率よく取り込んで画像信号のS/Nを向上させている。
図3は、本実施形態において、レンズの水平方向(横方向)に瞳分割を行なうための位相差検出用画素(AF画素)の配置と構造の例を示す。
図3(a)は、位相差検出用画素対を含む2行×2列の画素の平面図である。撮像信号を得る場合、G画素は輝度情報の主成分をなす。人間の画像認識特性は輝度情報に敏感であるため、G画素が欠損すると画質劣化が認められやすい。一方で緑色以外の色の画素、具体的にはR画素もしくはB画素は、色情報を取得する画素であるが、人間の画像認識特性は色情報に鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化に気づきにくい。そこで本実施形態においては、2行×2列の画素のうち、G画素は撮像用画素として残し、R画素とB画素の位置に位相差検出用画素対SHA及びSHBを配置している。
図3(b)は、図3(a)のA−A断面(すなわち、位相差検出用画素対の断面)と、撮影光学系からの光路を示す図である。
マイクロレンズMLと、光電変換部PDは図2(b)に示した撮像用画素と同一構造である。本実施形態においては、位相差検出用画素の信号は画像信号として利用しないため、色分離用カラーフィルタの代わりに無色透明なフィルタCFWが配置される。また、一対の画素で瞳分割を行なうため、配線層CLの開口部はマイクロレンズMLの中心線に対して一方向に偏倚している。すなわち、位相差検出用画素対を構成する第1のAF画素SHAと第2のAF画素SHBの開口は、互いに異なる方向に偏倚している。
具体的には、位相差検出用画素SHAの開口部OPHAは水平方向右側に偏倚しているため、レンズTLの左側の射出瞳EPHAを通過した光束を受光する。同様に、位相差検出用画素SHBの開口部OPHBは水平方向左側に偏倚しているため、レンズTLの右側の射出瞳EPHBを通過した光束を受光する。水平方向に規則的に配列した複数の位相差検出用画素SHAで取得した輝度波形をA像波形(第1の像波形)とする。また、水平方向に規則的に配列した複数の位相差検出用画素SHBで取得した輝度波形をB像波形(第2の像波形)とする。これらA像波形とB像波形の相対位置を検出することで、水平方向に輝度分布を有する被写体像のピントずれ量(デフォーカス量)が検出できる。
なお、位相差検出用画素対SHA及びSHBを用いることで、その配列方向に輝度分布を有する被写体、例えば縦線に対しては焦点検出可能だが、配列方向に直交する方向にのみ輝度分布を有する被写体である横線は焦点検出不能である。そこで本実施形態では、後者についても焦点検出できるよう、レンズの垂直方向(縦方向)にも瞳分割を行なう位相差検出用画素も設けている。
図4は、本実施形態において、レンズの垂直方向(縦方向)に瞳分割を行なうための位相差検出用画素の配置と構造の例を示す。
図4(a)は、位相差検出用画素を含む2行×2列の画素の平面図で、図3(a)と同様に、G画素は撮像用画素として残し、RとBの画素位置に位相差検出用画素対SVC及びSVDを配置している。
図4(b)は、図4(a)のA−A断面(すなわち、位相差検出用画素対の断面)と、撮影光学系からの光路を示す図である。
図3(b)との比較から分かるように、図4(b)の画素は瞳分離方向が縦方向になっていること以外、位相差検出用画素の構造は共通である。すなわち、位相差検出用画素SVCの開口部OPVCは垂直方向下側に偏倚しているため、レンズTLの上側の射出瞳EPVCを通過した光束を受光する。同様に、位相差検出用画素SVDの開口部OPVDは垂直方向上側に偏倚しているため、レンズTLの下側の射出瞳EPVDを通過した光束を受光する。
垂直方向に規則的に配列した複数の位相差検出用画素SVCで取得した被写体像をC像波形とする。また、垂直方向に規則的に配列した複数の位相差検出用画素SVDで取得した被写体像をD像波形とする。これらC像波形とD像波形の相対位置を検出することで、垂直方向に輝度分布を有する被写体像のピントずれ量(デフォーカス量)が検出できる。
次に、信号処理回路104が行うコントラスト信号の抽出手順を説明する。
図5は信号処理回路104にて撮像用画素信号から変換した映像信号の注目画素a(m,k)近傍の画素の並びを示した図である。信号処理回路104は、注目画素a(m,k)に対して以下の演算を行って、水平方向エッジ信号EdgeH、垂直方向エッジ信号Edge、および二次元エッジ信号Edge2Dを算出する。
EdgeH={a(m,k)x2-a(m-n,k)-a(m+n,k)}/2
EdgeV={a(m,k)x2-a(m,k-l)-a(m,k-l)}/2
Edge2D={a(m,k)x4-a(m-n,k)-a(m+n,k)-a(m,k-l)-a(m,k-l)}/4 (式1)
ここで(m,k)は注目画素の座標であり、k,lはそれぞれ水平および垂直方向の相関距離(画素数)である。k,lの値は、撮像光学系の焦点面での解像度などに応じて定めることができるが、概ね2から8程度の値である。
信号処理回路104は、所定の焦点検出領域に含まれる各画素について求めたそれぞれのエッジ信号の絶対値を積分し、焦点検出領域のコントラスト信号を得る。また、信号処理回路104は、コントラスト信号が、どの程度合焦位置に近いことを示しているかを表すコントラスト評価値を求める。コントラスト評価値は、コントラストレベルの最高値と、現在得られているコントラストレベルの値との関係から、例えば予め用意したテーブルによって決定してもよい。あるいは、予め定めた計算式で求めてもよい。本実施形態では、コントラスト評価値が高いほど、得られているコントラストレベルが高いものとする。
コントラスト信号を用いた焦点検出(コントラストAF)を行う際、制御回路105は、所定の焦点検出領域内で得られるコントラスト信号が最大となるように、撮像レンズ101が有する焦点調節用レンズ(図示せず)を駆動する。以下、撮像レンズ101が有する焦点調節用レンズの駆動を、撮像レンズ101のフォーカス駆動と呼ぶ。
図6は、撮像レンズ101をフォーカス駆動した際に、合焦位置の前後で信号処理回路104で得られるコントラストレベルがどのように変化するかの例を示す図である。aは絞り102が1:2の場合の変化を、bは同1:16の場合の変化を示している。図6から明らかなように、フォーカス駆動によって撮像レンズ101が合焦点に近づくと、コントラスト値が増大し、離れると減少する。
また、絞り102が開いている場合は、閉じている場合と比べて焦点深度が浅いため、aで示される絞り102が1:2の場合の方がコントラスト値が高い領域が狭いことがわかる。そのため、制御回路105では、絞り値を勘案してコントラスト値に基づく焦点検出を行う。
撮像素子103が有する画素のうち、位相差検出用画素とする画素の位置に制限はないため、焦点検出可能な画面内の位置に制限はない。また、上述したコントラスト信号の抽出による焦点検出も、画面内の任意の部分から得られる画像信号を用いて行うことができる。そのため、被写体の条件やユーザの指示により、画面内の特定の領域に対して焦点検出を行うことが可能であり、焦点検出を行うための画面内の領域を焦点検出領域と呼ぶ。
図7は、絞り102の開口径が大きい場合の撮像レンズ101の光軸中心に近い(像高が小さい)領域に設けられた位相差検出画素と、光軸中心から遠い(像高が大きい)領域に設けられた位相差検出画素に入射する光束の様子を示した図である。このように、絞り102の開口径が大きい場合、光軸中心から遠い領域の位相差検出画素には正しく光束が入射しないことが発生しうる。この場合、光軸中心から遠い領域の位相差検出画素の信号からは適切な位相差検出を行うことができない。
図8は本実施形態の撮像装置の自動焦点検出動作、特に焦点調節用レンズが合焦位置で停止した状態での動作を説明するためのフローチャートである。この動作は、制御回路105が各部を制御することによって実現される。
上述のように、動画記録中に所定の合焦条件が成立すると制御回路105は撮像レンズ101のフォーカス駆動を停止するが、被写体の移動などに伴ってAF再起動が必要となる場合がある。そのため、制御回路105はAF再起動が必要かどうかをフォーカス駆動停止中に定期的に判定し、必要と判断されればAF再起動を実行する。信号処理回路104は、動画記録中も常にコントラスト信号とコントラスト評価値の算出を行っていてもよいし、AF再起動の実行時にコントラスト信号とコントラスト評価値の算出を行ってもよい。
AF再起動ルーチンが開始されると(S801)、判定手段としての制御回路105は、現在の焦点検出領域に対して信号処理回路104で得られるコントラスト評価値が所定値以下か否かが判定される(S802)。コントラスト評価値が所定値を超えている場合(S802:NO)は、被写体との相対距離の変化がないか、無視できる程度と判定し、制御回路105はAF再起動の必要は無いと判断し、処理を終了する。
一方、コントラスト評価値が所定値以下の場合(S802:YES)、制御回路105は、AF再起動が必要と判断する。コントラスト評価値の低下は、例えば被写体との相対距離が変化した場合に生じる。
AF再起動が必要と判断すると、制御回路105は、撮像レンズ101の状態情報(レンズ機種情報、絞り値)、現在設定されている焦点検出領域(位相差検出用画素)の位置から、位相差検出可能な最大開口径Amaxを算出する。最大開口径Amaxは、装着されている撮像レンズ101の種類と焦点検出領域の位置とによって変化する射出瞳位置と、絞り102の開口径によって変化する射出瞳径と、設定されている焦点検出領域の撮像素子103上の位置によって変化する(S803)。これは、撮像素子103の位相差検出用画素に入射する像が、撮像レンズ101の絞り開放近くでの特性によって乱れることにより規制されることによる。
最大開口径Amaxの算出方法には特に制限はなく、例えば絞り値と焦点検出領域の位置との組み合わせごとに最大開口径Amaxの値を記憶したテーブルをレンズ機種ごとに用意しておいてもよい。また、撮像レンズ101の状態情報から得られるパラメータと焦点検出領域の位置を示す値を変数とした計算式を用意しておき、都度算出することもできる。また、装着されたレンズに応じて、テーブルの使用と算出式の使用を切り替えてもよい。
そして、判定手段としての制御回路105は、現在の絞り102の開口径A0が、算出された最大開口径Amaxよりも大きいか否か判定する(S804)。絞り102の開口径A0が最大開口径Amax以下の場合(S804:NO)、制御回路105は、設定されている焦点検出領域に含まれる位相差検出用画素の出力に基づく位相差検出AFを行い、焦点調節用レンズの駆動方向と駆動量を決定する(S805)。
一方、絞り102の開口径A0が最大開口径Amaxよりも大きい場合(S804:YES)、設定されている焦点検出領域に含まれる位相差検出用画素を用いた位相差検出AFは正しく動作しない。そのため、制御手段としての制御回路105は、絞り102の開口径を最大開口径Amax又はAmaxより小さくなるように絞り102を制御する絞り制御信号を撮像レンズ101に出力する。また、制御回路105は、絞り102の開口径を小さくしたことによる撮像素子103に到達する光量の減少を補うため、信号処理回路104に対し、読み出した画像信号に対して適用するゲインの量を上昇するように指示する(S806)。例えば、絞り102を1段閉じた場合、1EV分に相当する量、ゲインを上昇させればよい。
そして、決定手段としての制御回路105は、絞り102の開口径がAmax以下となった状態で位相差検出AFを行い、フォーカス駆動の方向および量を決定する(S807)。次に、制御回路105は、絞り102の開口径をA0に、信号処理回路104のゲインをG0に戻す(S808)。
S805又はS808における位相差検出AFによってフォーカス駆動量及び駆動方向を決定すると、駆動手段としての制御回路105は撮像レンズ101のフォーカス調節用レンズを駆動する(S809)。そして、制御回路105は、フォーカス駆動を停止し(S811)、AF再起動処理を終了する。
このように、本実施形態によれば、AF再起動時に、現在のレンズの絞りの開口径が、現在設定されている焦点検出領域に含まれている位相差検出用画素を用いた位相差検出AFが可能な開口径かどうか判断する。そして、位相差検出AFができない開口径であれば、位相差検出AFが可能な開口径に絞りを変更して位相差検出AFを実行する(あるいは、位相差検出AFを行う間、位相差検出AFが可能な開口径に絞りを変更する)。そのため、合焦位置でレンズを停止させた後にAF再起動が必要となった場合でも、レンズを微小駆動する必要なく、新たな合焦位置に素速くレンズを駆動することが可能である。そのため、微小駆動に対応していないレンズを用いる撮像装置で動画記録中にAF再起動した場合でも、記録画像に焦点検出動作が与える影響を大幅に抑制できる。特にレンズ交換式カメラのように、様々なレンズが装着されうる撮像装置において効果が大きい。
なお、本実施形態では、撮像素子に設けられた位相差検出用画素のうち、焦点検出領域に含まれている位相差検出用画素を用いた位相差検出AFが可能かどうかを、絞りの開口径によって判定した。しかし、開口径の代わりに、絞り値はもちろん、開口径の大きさを示す任意の値を用いて判定することが可能である。例えばテーブルを用いて最大開口径Amaxを求める場合、テーブルの容量を削減するために、実際の開口径よりも他の値を用いることが有効な場合もある。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。本実施形態に係る撮像装置の構成は第1の実施形態と同じでよいため、説明を省略する。
図9は絞り102の開口径が小さい場合の撮像レンズ101の光軸中心に近い領域に設けられた位相差検出画素に入射する光束の様子を示した図である。絞り102の開口径が小さいため、射出瞳EPの径が小さくなり、撮影光学系TLの上側射出瞳EPVCおよび下側射出瞳EPVDを通過した光束が遮断された(けられた)状態を示している。この状態では射出瞳EPVC及びEPVDを透過する光束は位相差検出用画素の開口部OPVCおよびOPVDには到達しないことがわかる。
本実施形態はかかる条件下でのAF再起動動作に関する。
図10は、本実施形態の撮像装置の自動焦点検出動作、特に焦点調節用レンズが合焦位置で停止した状態での動作を説明するためのフローチャートである。図10において第1の実施形態と同じ動作については図8と同じ参照数字を付し、説明を省略する。
コントラスト評価値が所定値以下(S802:YES)で、AF再起動が必要と判断すると、制御回路105は、位相差検出可能な最小開口径Aminを算出する(S1003)。最小開口径Aminも最大開口径Amax同様、装着されている撮像レンズ101の種類と焦点検出領域の位置とによって変化する射出瞳位置と、絞り102の開口径によって変化する射出瞳径と、焦点検出領域の撮像素子103上の位置によって変化する。
最小開口径Aminも最大開口径Amaxと同様、その算出方法には特に制限はなく、例えば絞り値と焦点検出領域の位置との組み合わせごとに最小開口径Aminの値を記憶したテーブルをレンズ機種ごとに用意しておいてもよい。また、撮像レンズ101の状態情報から得られるパラメータと焦点検出領域の位置を示す値を変数とした計算式を用意しておき、都度算出することもできる。また、装着されたレンズに応じて、テーブルの使用と算出式の使用を切り替えてもよい。
そして、制御回路105は、現在の絞り102の開口径A0が、算出された最小開口径Aminよりも小さいか否か判定する(S1004)。絞り102の開口径A0が最小開口径Amin以上の場合(S1004:NO)、制御回路105は、設定されている焦点検出領域に含まれる位相差検出用画素の出力に基づく位相差検出AFを行い、焦点調節用レンズの駆動方向と駆動量を決定する(S805)。
一方、絞り102の開口径A0が最小開口径Aminよりも小さい場合(S1004:YES)、設定されている焦点検出領域に含まれる位相差検出用画素を用いた位相差検出AFは正しく動作しない。そのため、制御回路105は、絞り102の開口径を最小開口径Amin又はAminより大きくなるように絞り102を制御する絞り制御信号を撮像レンズ101に出力する。また、制御回路105は、絞り102の開口径を大きくしたことによる撮像素子103に到達する光量の増加を相殺するため、撮像素子103の蓄積時間(電子シャッタースピード)を、AF再起動ルーチン開始前のT0よりも短いT1に設定する(S1006)。例えば、絞り102を1段開いた場合、蓄積時間を1/2にすればよい。
そして、制御回路105は、絞り102の開口径が最小開口径Amin以上となった状態で位相差検出AFを行い、フォーカス駆動の方向および量を決定する(S807)。次に、制御回路105は、絞り102の開口径をA0に、撮像素子103の蓄積時間をT0に戻す(S1008)。
S805又はS808における位相差検出AFによってフォーカス駆動量及び駆動方向を決定すると、制御回路105は撮像レンズ101のフォーカス調節用レンズを駆動する(S809)。そして、制御回路105は、フォーカス駆動を停止し(S811)、AF再起動処理を終了する。
本実施形態によっても、第1の実施形態と同様の効果が得られる。なお、本実施形態においても、第1の実施形態と同様、S1004における判定処理において、開口径の代わりに、絞り値はもちろん、開口径の大きさを示す任意の値を用いることが可能である。
(他の実施形態)
上述した実施形態にかかる処理は、組み合わせて実行可能であることはいうまでもない。つまり、制御回路105はAF再起動を行う場合、まず、現在設定されている焦点検出領域に含まれている位相差検出用画素を用いた位相差検出AFが可能な開口径の範囲と、現在の絞りの開口径とを比較する。そして、絞りの開口径が範囲の上限値を上回っている場合には第1の実施形態を、範囲の下限値を下回っている場合には第2の実施形態を実施すればよい。
また、上述の実施形態では、位相差検出AFを行う間に絞りの開口径を変更した場合に、信号処理回路104において画像信号に適用するゲインを上昇させたり、撮像素子103の蓄積時間を短縮されたりしたが、これらは必須ではない。位相差検出AFに要する時間が充分短ければ、記録中の動画に与える影響は無視できるからである。例えば、位相差検出AFが迷うような場合に、これらの対策を講じるように構成してもよい。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (7)

  1. 撮像用画素と、位相差検出用画素とを有する撮像素子と、
    前記位相差検出用画素から得られる位相差信号を用いて、撮像レンズのフォーカス駆動量及び駆動方向を決定する決定手段と、
    を備え、前記撮像素子で撮像した動画の記録が可能な撮像装置であって、
    動画記録中かつ前記撮像レンズのフォーカス駆動を停止している際に、焦点検出の再起動が必要か否かを前記撮像用画素から得られる評価値に基づいて判定し、焦点検出の再起動が必要と判定された場合、前記撮像レンズの絞りの開口径が、設定されている焦点検出領域に含まれている前記位相差検出用画素から得られる位相差信号を用いた、前記決定手段による焦点検出が可能な開口径か否かを判定する判定手段と、
    前記判定手段により、前記撮像レンズの絞りの開口径が、設定されている焦点検出領域に含まれている前記位相差検出用画素から得られる位相差信号を用いた、前記決定手段による焦点検出が可能な開口径でないと判定された場合、前記決定手段によって撮像レンズのフォーカス駆動量及び駆動方向を決定する間、前記撮像レンズの絞りの開口径を前記決定手段による焦点検出が可能な大きさに変更する制御手段と、
    前記決定手段が決定したフォーカス駆動量及び駆動方向に従って、前記撮像レンズのフォーカス駆動を行う駆動手段と、
    を有し、
    前記制御手段は、前記撮像レンズの絞りの開口径が、前記設定されている焦点検出領域に含まれている前記位相差検出用画素から得られる位相差信号を用いた、前記決定手段による焦点検出が可能な絞りの大きさを超える場合には、当該大きさを超えない大きさに前記撮像レンズの絞りの開口径を変更することを特徴とする撮像装置。
  2. 前記制御手段は、前記決定手段によって撮像レンズのフォーカス駆動量及び駆動方向を決定する間、前記撮像レンズの絞りの開口径が小さくなるように変更する場合、前記撮像素子から読み出した画像信号に適用するゲインを上昇させて、前記変更による光量の減少を補うことを特徴とする請求項記載の撮像装置。
  3. 前記撮像レンズの絞りの開口径が、前記設定されている焦点検出領域に含まれている前記位相差検出用画素から得られる位相差信号を用いた、前記決定手段による焦点検出が可能な絞りの大きさに満たない場合には、当該大きさ以上となるように前記撮像レンズの絞りの開口径を変更することを特徴とする請求項1または請求項に記載の撮像装置。
  4. 前記制御手段は、前記決定手段によって撮像レンズのフォーカス駆動量及び駆動方向を決定する間、前記撮像レンズの絞りの開口径を大きくなるように変更する場合、前記撮像素子における蓄積時間を短縮して、前記変更による光量の増加を相殺することを特徴とする請求項記載の撮像装置。
  5. 前記判定手段は、前記撮像用画素から得られる画像信号から抽出されるコントラスト評価値が所定値以下である場合に、前記焦点検出の再起動が必要と判定することを特徴とする請求項1乃至請求項のいずれか1項に記載の撮像装置。
  6. 前記撮像レンズを、着脱可能に装着する装着手段をさらに有することを特徴とする請求項1乃至請求項のいずれか1項に記載の撮像装置。
  7. 撮像用画素と、位相差検出用画素とを有する撮像素子と、
    前記位相差検出用画素から得られる位相差信号を用いて、撮像レンズのフォーカス駆動量及び駆動方向を決定する決定手段と、
    を備え、前記撮像素子で撮像した動画の記録が可能な撮像装置の制御方法であって、
    判定手段が、動画記録中かつ前記撮像レンズのフォーカス駆動を停止している際に、焦点検出の再起動が必要か否かを前記撮像用画素から得られる評価値に基づいて判定し、焦点検出の再起動が必要と判定された場合、前記撮像レンズの絞りの開口径が、設定されている焦点検出領域に含まれている前記位相差検出用画素から得られる位相差信号を用いた、前記決定手段による焦点検出が可能な開口径か否かを判定する判定工程と、
    前記判定工程において、前記撮像レンズの絞りの開口径が、設定されている焦点検出領域に含まれている前記位相差検出用画素から得られる位相差信号を用いた、前記決定手段による焦点検出が可能な開口径でないと判定された場合、前記決定手段によって撮像レンズのフォーカス駆動量及び駆動方向を決定する間、制御手段が、前記撮像レンズの絞りの開口径を前記決定手段による焦点検出が可能な大きさに変更する制御工程と、
    駆動手段が、前記決定手段が決定したフォーカス駆動量及び駆動方向に従って、前記撮像レンズのフォーカス駆動を行う駆動工程と、
    を有し、
    前記制御工程において前記制御手段は、前記撮像レンズの絞りの開口径が、前記設定されている焦点検出領域に含まれている前記位相差検出用画素から得られる位相差信号を用いた、前記決定手段による焦点検出が可能な絞りの大きさを超える場合には、当該大きさを超えない大きさに前記撮像レンズの絞りの開口径を変更することを特徴とする撮像装置の制御方法。
JP2010262903A 2010-11-25 2010-11-25 撮像装置およびその制御方法 Expired - Fee Related JP5753371B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010262903A JP5753371B2 (ja) 2010-11-25 2010-11-25 撮像装置およびその制御方法
US13/299,691 US9451145B2 (en) 2010-11-25 2011-11-18 Image capturing apparatus including an image sensor that has pixels for detecting a phase difference and control method for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010262903A JP5753371B2 (ja) 2010-11-25 2010-11-25 撮像装置およびその制御方法

Publications (3)

Publication Number Publication Date
JP2012113171A JP2012113171A (ja) 2012-06-14
JP2012113171A5 JP2012113171A5 (ja) 2014-01-16
JP5753371B2 true JP5753371B2 (ja) 2015-07-22

Family

ID=46126394

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010262903A Expired - Fee Related JP5753371B2 (ja) 2010-11-25 2010-11-25 撮像装置およびその制御方法

Country Status (2)

Country Link
US (1) US9451145B2 (ja)
JP (1) JP5753371B2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5856376B2 (ja) * 2011-01-27 2016-02-09 キヤノン株式会社 撮像装置及びその制御方法
JP6000520B2 (ja) * 2011-07-25 2016-09-28 キヤノン株式会社 撮像装置およびその制御方法およびプログラム
JP6003199B2 (ja) * 2012-05-08 2016-10-05 ソニー株式会社 レンズ交換式カメラシステムおよびレンズデータ取得プログラム
KR102053316B1 (ko) * 2012-08-01 2020-01-08 삼성전자주식회사 디지털 촬영장치
KR102028124B1 (ko) 2013-05-24 2019-10-02 삼성전자주식회사 위상차 초점검출 가능한 촬상소자
JP6127869B2 (ja) * 2013-09-25 2017-05-17 ソニー株式会社 固体撮像素子及びその駆動方法、並びに電子機器
JP2015129846A (ja) * 2014-01-07 2015-07-16 キヤノン株式会社 撮像装置およびその制御方法
JP6381266B2 (ja) * 2014-04-15 2018-08-29 キヤノン株式会社 撮像装置、制御装置、制御方法、プログラム、および、記憶媒体
KR102477757B1 (ko) 2015-12-16 2022-12-14 에스케이하이닉스 주식회사 자동 초점 시스템 및 방법
JP6761303B2 (ja) * 2016-08-26 2020-09-23 キヤノン株式会社 撮像装置及びその制御方法
US10423049B2 (en) 2017-06-12 2019-09-24 Qualcomm Incorporated Systems and methods for enabling transmission of phase detection data
JP7246961B2 (ja) * 2019-02-15 2023-03-28 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
JP7753293B2 (ja) * 2023-06-02 2025-10-14 キヤノン株式会社 撮像装置およびその制御方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5961807A (ja) * 1982-09-30 1984-04-09 Canon Inc 自動焦点制御装置
JPH0783447B2 (ja) 1987-10-08 1995-09-06 松下電器産業株式会社 自動焦点調節方法およびそれを用いたビデオカメラ
JP4305598B2 (ja) * 2000-06-05 2009-07-29 富士フイルム株式会社 カメラの絞り制御方法及び装置、並びにカメラ
JP2004109690A (ja) * 2002-09-19 2004-04-08 Canon Inc カメラシステムおよびカメラ
JP2007065330A (ja) 2005-08-31 2007-03-15 Canon Inc カメラ
US7751700B2 (en) * 2006-03-01 2010-07-06 Nikon Corporation Focus adjustment device, imaging device and focus adjustment method
JP2007248782A (ja) * 2006-03-15 2007-09-27 Olympus Imaging Corp 焦点調節装置およびカメラ
JP5371184B2 (ja) * 2006-08-30 2013-12-18 キヤノン株式会社 撮像装置、及びその制御方法。
JP4973273B2 (ja) * 2007-03-28 2012-07-11 株式会社ニコン デジタルカメラ
JP5458475B2 (ja) * 2007-04-18 2014-04-02 株式会社ニコン 焦点検出装置および撮像装置
JP4556995B2 (ja) * 2007-12-10 2010-10-06 カシオ計算機株式会社 撮像装置及びその露出制御方法、露出制御プログラム
JP5400406B2 (ja) * 2009-02-06 2014-01-29 キヤノン株式会社 撮像装置
JP5424679B2 (ja) * 2009-03-18 2014-02-26 キヤノン株式会社 撮像装置及び信号処理装置

Also Published As

Publication number Publication date
JP2012113171A (ja) 2012-06-14
US9451145B2 (en) 2016-09-20
US20120133821A1 (en) 2012-05-31

Similar Documents

Publication Publication Date Title
JP5753371B2 (ja) 撮像装置およびその制御方法
JP5424679B2 (ja) 撮像装置及び信号処理装置
JP5653035B2 (ja) 撮像装置、焦点検出方法、および制御方法
US9531944B2 (en) Focus detection apparatus and control method thereof
US9380200B2 (en) Image pickup apparatus and control method in which object searching based on an image depends on pixel combining on the image
US9578231B2 (en) Image capture apparatus and method for controlling the same
US9247122B2 (en) Focus adjustment apparatus and control method therefor
JP2018093275A (ja) 撮像装置およびフリッカ判定方法
US10477101B2 (en) Focus detection apparatus, control method and storage medium
JP5500916B2 (ja) 撮像装置及びその制御方法
US8872963B2 (en) Imaging apparatus and imaging method
US9060119B2 (en) Image capturing apparatus and control method for image capturing apparatus
CN104135607A (zh) 摄像装置及摄像装置的控制方法
US9602716B2 (en) Focus-detection device, method for controlling the same, and image capture apparatus
US9742983B2 (en) Image capturing apparatus with automatic focus adjustment and control method thereof, and storage medium
US9591202B2 (en) Image processing apparatus and image processing method for generating recomposed images
JP2017032646A (ja) 撮像装置及びその制御方法
JP2013113857A (ja) 撮像装置及びその制御方法
JP6188536B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP2016071275A (ja) 撮像装置およびフォーカス制御プログラム
JP2016142895A (ja) 合焦制御装置、その制御方法、および制御プログラム、並びに撮像装置
JP6222976B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
US20240334069A1 (en) Image capturing apparatus, control method thereof, and storage medium
US20170347016A1 (en) Imaging apparatus and method for controlling the same
JP5773659B2 (ja) 撮像装置および制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131122

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150424

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150522

R151 Written notification of patent or utility model registration

Ref document number: 5753371

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees