Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6300158B2 - Inspection illumination method and inspection illumination device - Google Patents
[go: Go Back, main page]

JP6300158B2 - Inspection illumination method and inspection illumination device - Google Patents

Inspection illumination method and inspection illumination device Download PDF

Info

Publication number
JP6300158B2
JP6300158B2 JP2014113110A JP2014113110A JP6300158B2 JP 6300158 B2 JP6300158 B2 JP 6300158B2 JP 2014113110 A JP2014113110 A JP 2014113110A JP 2014113110 A JP2014113110 A JP 2014113110A JP 6300158 B2 JP6300158 B2 JP 6300158B2
Authority
JP
Japan
Prior art keywords
light emitting
inspection
light
lens
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014113110A
Other languages
Japanese (ja)
Other versions
JP2015227801A (en
Inventor
増村 茂樹
茂樹 増村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCS Inc
Original Assignee
CCS Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCS Inc filed Critical CCS Inc
Priority to JP2014113110A priority Critical patent/JP6300158B2/en
Publication of JP2015227801A publication Critical patent/JP2015227801A/en
Application granted granted Critical
Publication of JP6300158B2 publication Critical patent/JP6300158B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、検査対象面に光を照射して検査するための検査用照明方法、及び、検査用照明装置に関するものである。   The present invention relates to an inspection illumination method for inspecting a surface to be inspected by irradiating light, and an inspection illumination device.

例えば製品の外観検査を行う場合、特許文献1に記載されているような同軸照明を用いて検査対象物における検査対象面に対して光を照射し、検査対象面からの反射光、又は、散乱光をカメラで撮像して検査対象面の形状誤差や欠陥の有無を画像処理によって判別する事が行われている。   For example, when an appearance inspection of a product is performed, light is irradiated onto the inspection target surface of the inspection target using coaxial illumination as described in Patent Document 1, and reflected light or scattering from the inspection target surface. It is performed by imaging the light with a camera to determine the shape error of the inspection target surface and the presence or absence of defects by image processing.

ところで、特許文献1で用いられている同軸照明の光射出機構は平面の発光面を有するものであるため、例えば前記検査対象面が曲面であったり、凹凸面であったりする場合、レンズによって光射出機構から射出された光を集光しても、前記検査対象面の一部でしか発光面が結像しない。そして、検査対象面の大部分では像が結んでいない不均一でぼやけた状態での光照射しか行えていないことは、検査対象面の形状判定や欠陥検出に係る精度を低下させる原因になっていることを本願発明者は鋭意検討の結果見出したのである。   By the way, since the light emission mechanism of the coaxial illumination used in Patent Document 1 has a flat light emitting surface, for example, when the surface to be inspected is a curved surface or an uneven surface, light is emitted by a lens. Even if the light emitted from the emission mechanism is condensed, the light emitting surface forms an image only on a part of the inspection target surface. The fact that most of the inspection target surface can only perform light irradiation in a non-uniform and blurry state in which an image is not formed is a cause of reducing accuracy related to shape determination and defect detection of the inspection target surface. The inventor of the present application has found out that as a result of intensive studies.

特開2012−185270号公報JP 2012-185270 A

本発明は上述したような問題を鑑みてなされたものであり、検査対象面の形状に関わらず、検査対象面の全域に光射出機構からの光を均一に照射できる検査用照明方法、及び、検査用照明装置を提供することを目的とする。   The present invention has been made in view of the above-described problems, and an inspection illumination method capable of uniformly irradiating light from a light emission mechanism over the entire inspection target surface regardless of the shape of the inspection target surface, and An object is to provide an inspection illumination device.

本発明は検査対象面が曲面又は凹凸面であってもどの検査対象点にも同じ照射態様を実現するには、発光面の形状自体を検査対象面の形状に合わせて適切なものにしなくてはならないことを本願発明者が鋭意検討の結果初めて見出したことによりなされたものである。   In the present invention, in order to realize the same irradiation mode at any inspection target point even if the inspection target surface is a curved surface or an uneven surface, the shape of the light emitting surface itself must be made appropriate to the shape of the inspection target surface. This is because the inventors of the present application found for the first time as a result of intensive studies.

すなわち、本発明は、発光面を有する光射出機構と、曲面状又は凹凸面状の検査対象面及び前記光射出機構の間に設けられたレンズと、を用いて、前記検査対象面に前記発光面から射出された光を照射する検査用照明方法であって、前記検査対象面の各点に対して前記発光面の各点がそれぞれ前記レンズにより結像するように前記発光面の形状を設定することを特徴とする。   That is, the present invention uses a light emitting mechanism having a light emitting surface, a curved or uneven surface to be inspected, and a lens provided between the light emitting mechanisms to emit the light on the surface to be inspected. An inspection illumination method for irradiating light emitted from a surface, wherein the shape of the light emitting surface is set so that each point of the light emitting surface is imaged by the lens with respect to each point of the surface to be inspected It is characterized by doing.

また、本発明は、発光面を有する光射出機構と、曲面状又は凹凸面状の検査対象面及び前記光射出機構の間に設けられたレンズと、を備え、前記検査対象面に前記発光面から射出された光を照射する検査用照明装置であって、前記検査対象面の各点に対して前記発光面の各点がそれぞれ前記レンズにより結像するように前記発光面の形状が形成されていることを特徴とする。   Further, the present invention includes a light emission mechanism having a light emitting surface, a curved or uneven surface to be inspected, and a lens provided between the light emission mechanisms, and the light emitting surface on the inspection object surface. The illumination device for inspection irradiates the light emitted from the light emitting surface, and the shape of the light emitting surface is formed so that each point of the light emitting surface is imaged by the lens with respect to each point of the surface to be inspected. It is characterized by.

このようなものであれば、曲面状又は凹凸面状の前記検査対象面の形状(プロファイル)に応じて、前記発光面を固有の形状に形成して、前記検査対象面の各点に対して前記発光面の各点が結像されるようにしているので、前記検査対象面の全面に亘って、均一な光を照射する事が可能となる。   If it is such, according to the shape (profile) of the said to-be-inspected surface of a curved surface shape or an uneven surface shape, the said light emission surface is formed in an intrinsic | native shape, and with respect to each point of the said to-be-inspected surface Since each point on the light emitting surface is imaged, it is possible to irradiate uniform light over the entire surface to be inspected.

したがって、本発明の検査用照明方法であれば従来では難しかった検査対象面の形状自体の精密検査や、検査対象面上にある微細な欠陥をも検出も可能となる。   Therefore, it is possible to perform a precise inspection of the shape of the inspection target surface itself, which has been difficult with the inspection illumination method of the present invention, and to detect fine defects on the inspection target surface.

前記発光面の形状を計算によって容易に決定するには、前記検査対象面の各点から前記レンズの主面までの距離a、前記検査対象面上の各点に対応する前記発光面の各点から前記レンズの主面までの距離b、前記レンズの焦点距離fが、ガウスの結像公式1/a+1/b=1/fを満たすように前記発光面の形状を設定すればよい。   In order to easily determine the shape of the light emitting surface by calculation, the distance a from each point on the inspection target surface to the principal surface of the lens, and each point on the light emitting surface corresponding to each point on the inspection target surface The shape of the light emitting surface may be set so that the distance b from the lens to the principal surface of the lens and the focal length f of the lens satisfy the Gaussian imaging formula 1 / a + 1 / b = 1 / f.

前記レンズを介することにより、前記発光面が倒立の実像として前記検査対象面に結像されることを考慮して前記発光面の形状を決定するには、前記検査対象面の各点と、前記検査対象面上の各点に対応する前記発光面の各点と、を結ぶ仮想線のうちの少なくとも一部が前記レンズの主光軸に対して交差するように前記発光面の形状を設定すればよい。   To determine the shape of the light emitting surface in consideration of the fact that the light emitting surface is imaged on the inspection target surface as an inverted real image through the lens, each point on the inspection target surface, The shape of the light emitting surface is set so that at least a part of an imaginary line connecting each point of the light emitting surface corresponding to each point on the inspection target surface intersects the main optical axis of the lens. That's fine.

例えば缶の内部底面における欠陥検査において効果的な前記発光面の具体的な形状例としては、前記検査対象面が前記レンズ側へ凸形状をなすものの場合には、前記レンズ側へ凹形状をなすように前記発光面の形状を設定するものが挙げられる。   For example, as a specific shape example of the light emitting surface effective in defect inspection on the inner bottom surface of the can, when the surface to be inspected has a convex shape toward the lens side, a concave shape toward the lens side is formed. As described above, the shape of the light emitting surface is set.

本発明の別の具体的な実施の態様としては、前記検査対象面が前記レンズ側へ凹形状をなすものの場合には、前記レンズ側へ凸形状をなすように前記発光面の形状を設定するものが挙げられる。   As another specific embodiment of the present invention, when the surface to be inspected has a concave shape toward the lens side, the shape of the light emitting surface is set so as to form a convex shape toward the lens side. Things.

このように本発明の検査用照明方法及び検査用照明装置によれば、検査対象面の形状が平面ではなく、複雑形状であったとしてもその全面に発光面を結像させて均一な光を照射することができ、検査精度を従来よりも向上させることが可能となる。   As described above, according to the inspection illumination method and the inspection illumination device of the present invention, even if the shape of the inspection target surface is not a flat surface but a complicated shape, the light emitting surface is imaged on the entire surface to generate uniform light. Irradiation can be performed, and the inspection accuracy can be improved as compared with the prior art.

本発明の一実施形態に係る検査システムの外観を示す模式的斜視図。The typical perspective view showing the appearance of the inspection system concerning one embodiment of the present invention. 同実施形態における検査システムの内部構造を示す模式的断面図。The typical sectional view showing the internal structure of the inspection system in the embodiment. 同実施形態における照射光学系について示す模式図。The schematic diagram shown about the irradiation optical system in the embodiment. 同実施形態における発光面の形状の設定方法について示す模式図。The schematic diagram shown about the setting method of the shape of the light emission surface in the embodiment. 同実施形態における発光面の形状の一変形例を示す模式図。The schematic diagram which shows the modification of the shape of the light emission surface in the embodiment. 同実施形態における発光面の形状の別の変形例を示す模式図。The schematic diagram which shows another modification of the shape of the light emission surface in the embodiment. 本発明の別の実施形態に係る検査用照明装置を示す模式図。The schematic diagram which shows the illuminating device for a test | inspection which concerns on another embodiment of this invention. 本発明のさらに別の実施形態に係る検査用照明装置を示す模式図。The schematic diagram which shows the illuminating device for a test | inspection which concerns on another embodiment of this invention. 本発明の異なる実施形態に係る検査用照明装置を示す模式図。The schematic diagram which shows the illuminating device for a test | inspection which concerns on different embodiment of this invention.

本発明の一実施形態について説明する。   An embodiment of the present invention will be described.

本実施形態の検査用照明装置100と、撮像装置Cにより構成される検査システム200は、検査対象Wを撮像する方向と、検査対象Wを照明する方向とが一致している、いわゆる、同軸照明であり、検査対象Wの欠陥が撮像装置Cにより撮像された画像中に明暗差として現れるようにするために用いられるものである。ここで、検査対象Wの欠陥などの特徴点とは、例えば、表面の傷や、外観の形状、穴の有無等多岐に亘る不具合やその他の特徴種を含むものである。   The inspection illumination apparatus 100 according to the present embodiment and the inspection system 200 configured by the imaging apparatus C are so-called coaxial illumination in which the direction in which the inspection target W is imaged coincides with the direction in which the inspection target W is illuminated. This is used to cause the defect of the inspection object W to appear as a light-dark difference in an image captured by the imaging device C. Here, the feature points such as defects of the inspection object W include various defects such as surface scratches, appearance shapes, presence / absence of holes, and other feature types.

前記検査用照明装置100は、図1の斜視図、及び図2の断面図に示すように概略L字状の筐体を有するものであり、その内部に、検査光を光射出機構1から検査対象Wに照射する照射光路L1と、検査対象Wからの反射光が撮像装置Cに至るまでの反射光路L2と、を形成してある。より具体的には、水平方向に延びる第1筒状体91と、上下方向に延びる第2筒状体92と、がそれぞれ箱体93に接続してあり、上下方向に延びる第2筒状体92の上面開口側に撮像装置Cが取り付けられ、前記箱体93の下面開口に検査対象Wが載置されるものである。   The illumination device for inspection 100 has a substantially L-shaped housing as shown in the perspective view of FIG. 1 and the cross-sectional view of FIG. 2, and inspection light is inspected from the light emitting mechanism 1 inside thereof. An irradiation light path L1 for irradiating the object W and a reflection light path L2 until the reflected light from the inspection object W reaches the imaging device C are formed. More specifically, a first cylindrical body 91 extending in the horizontal direction and a second cylindrical body 92 extending in the vertical direction are respectively connected to the box body 93, and the second cylindrical body extending in the vertical direction. The imaging device C is attached to the upper surface opening side of 92, and the inspection object W is placed on the lower surface opening of the box 93.

図2の断面図、図3(a)の簡略化した光路図に示すように前記照射光路L1はL字状に形成されており、水平方向に検査光が進む第1光路L11と、反射されて下向きに進む第2光路L12とから構成してある。   As shown in the cross-sectional view of FIG. 2 and the simplified optical path diagram of FIG. 3A, the irradiation optical path L1 is formed in an L shape, and is reflected by the first optical path L11 in which the inspection light travels in the horizontal direction. And a second optical path L12 traveling downward.

前記第1光路L11上には、検査光が進む順番に、検査光を射出する光射出機構1と、前記光射出機構1の近傍に設けられた第2絞り32と、前記光射出機構1から射出された検査光を集光するレンズ2と、前記レンズ2の光入射側近傍に設けられた第1絞り31と、前記第1絞り31の近傍に設けられた第1遮光マスクM1と、前記検査光を下方へと反射するように前記反射光路L2及び照射光路L1に対して傾けて設けられたハーフミラー4と、が配置してある。さらに前記第2光路L12上には、前記ハーフミラー4で反射された検査光が通過する第3絞り33が設けてある。そして、前記第3絞り33を前記箱体93内部から通過した検査光は、前記検査対象Wへと照射される。   On the first optical path L11, the light emission mechanism 1 that emits inspection light in the order in which the inspection light travels, the second diaphragm 32 provided in the vicinity of the light emission mechanism 1, and the light emission mechanism 1 A lens 2 for collecting the emitted inspection light; a first diaphragm 31 provided in the vicinity of the light incident side of the lens 2; a first light-shielding mask M1 provided in the vicinity of the first diaphragm 31; A half mirror 4 provided to be inclined with respect to the reflection light path L2 and the irradiation light path L1 so as to reflect inspection light downward is disposed. Furthermore, a third diaphragm 33 through which the inspection light reflected by the half mirror 4 passes is provided on the second optical path L12. Then, the inspection light that has passed through the third diaphragm 33 from inside the box 93 is irradiated onto the inspection object W.

また、前記反射光路L2上には、検査対象Wから反射される反射光の進む順番に、前述した第3絞り33と、前記ハーフミラー4と、前記箱体93の上面に取り付けられた第4絞り34とが、前記撮像装置Cまでに設けられている。つまり、前記ハーフミラー4と、前記第3絞り33は、前記照射光路L1と前記反射光路L2の重なっている部分に配置されていることになる。なお、前述してきた第1絞り31、第2絞り32、第3絞り33、第4絞り34はそれぞれ可変絞りであり、適宜その絞り量を変更することができる。また、使用態様に応じては絞り量の固定された固定絞りであっても構わない。   In addition, on the reflected light path L2, the third diaphragm 33, the half mirror 4, and the fourth attached to the upper surface of the box 93 are arranged in the order in which the reflected light reflected from the inspection object W proceeds. A diaphragm 34 is provided up to the imaging device C. That is, the half mirror 4 and the third diaphragm 33 are arranged in a portion where the irradiation light path L1 and the reflection light path L2 overlap. The first diaphragm 31, the second diaphragm 32, the third diaphragm 33, and the fourth diaphragm 34 described above are variable diaphragms, and the amount of diaphragm can be changed as appropriate. Further, a fixed aperture with a fixed aperture amount may be used depending on the use mode.

以下では各部材の配置や構成について詳述する。   Hereinafter, the arrangement and configuration of each member will be described in detail.

前記光射出機構1は、例えばチップ型LED等により光源11が形成されたものであり、外側に向けて放熱用の放熱フィン12が突出させてある。また、この図2の断面図に示すように前記光射出機構1は、第1筒状体91内を軸方向に進退可能に取り付けられており、検査光の照射開始位置を調整できるようにしてある。すなわち、後述する第1絞り31による照射立体角の制御とは独立して、前記光射出機構1、前記レンズ2、前記検査対象Wの位置関係を変更することで、前記検査対象Wにおける検査光の照射範囲を制御することができる。   The light emitting mechanism 1 has a light source 11 formed of, for example, a chip type LED or the like, and heat radiating fins 12 are projected outward. Further, as shown in the sectional view of FIG. 2, the light emitting mechanism 1 is attached so as to be able to advance and retreat in the axial direction in the first cylindrical body 91 so that the irradiation start position of the inspection light can be adjusted. is there. That is, the inspection light in the inspection object W is changed by changing the positional relationship of the light emission mechanism 1, the lens 2, and the inspection object W independently of the control of the irradiation solid angle by the first diaphragm 31 described later. The irradiation range can be controlled.

前記第2絞り32は、前記光射出機構1の光源11の近傍に設けられており、その絞り量を調節することで、前記光射出機構1の検査光の照射面積を変更し、前記検査対象Wにおける検査光の照射範囲を変更することができる。   The second diaphragm 32 is provided in the vicinity of the light source 11 of the light emission mechanism 1, and the irradiation area of the inspection light of the light emission mechanism 1 is changed by adjusting the amount of the diaphragm, and the inspection object The irradiation range of the inspection light at W can be changed.

前記第1遮光マスクM1は、前記第1絞り31に近接させて設けられるものであり、図3(b)の光軸に沿って見た場合の第1絞り31と第1遮光マスクM1の模式図に示すように透明なガラス板の面板中央部に円形状の遮光部M11が形成してある。すなわち、前記第1絞り31の開口部31a中の一部領域を前記第1遮光マスクM1の遮光部M11が塞ぐようにしてある。前記遮光部M11の直径は前記第1絞り31の開口径よりも小さく形成してあり、前記光射出機構1から射出された検査光のうち、前記第1絞り31において光軸近傍を通るものを遮るようにしてある。一方、前記第1絞り31と前記遮光部M11との間の隙間を通過する検査光は前記レンズ2へと入射し、前記検査対象Wへと到達する。   The first light shielding mask M1 is provided close to the first diaphragm 31, and is a schematic diagram of the first diaphragm 31 and the first light shielding mask M1 when viewed along the optical axis in FIG. As shown in the figure, a circular light-shielding portion M11 is formed in the center portion of the face plate of the transparent glass plate. That is, the light shielding part M11 of the first light shielding mask M1 covers a part of the opening 31a of the first diaphragm 31. The diameter of the light-shielding part M11 is formed smaller than the opening diameter of the first diaphragm 31, and the inspection light emitted from the light emission mechanism 1 passes through the vicinity of the optical axis in the first diaphragm 31. I try to block it. On the other hand, the inspection light passing through the gap between the first diaphragm 31 and the light shielding portion M11 enters the lens 2 and reaches the inspection object W.

前記第1絞り31は、前記レンズ2の光入射側に設けてあり、前記レンズ2により前記検査対象Wの表面に対して照射範囲内の各点に集光されている検査光について等しく照射立体角を調節するためのものである。この照射立体角の制御に関する機能については後述する第1遮光マスクM1の作用とともに説明する。   The first diaphragm 31 is provided on the light incident side of the lens 2, and the inspection light that is condensed at each point within the irradiation range with respect to the surface of the inspection object W by the lens 2 is equally irradiated. It is for adjusting the angle. The function related to the control of the irradiation solid angle will be described together with the operation of the first light shielding mask M1 described later.

前記レンズ2は、前記箱体93の側面開口部に取り付けられており、前記光射出機構の結像する位置である結像面が、前記検査対象Wの表面近傍に位置するように配置してある。   The lens 2 is attached to a side opening of the box 93, and is arranged so that an image forming surface, which is an image forming position of the light emitting mechanism, is located in the vicinity of the surface of the inspection object W. is there.

このような前記第1遮光マスクM1、前記第1絞り31、前記レンズ2によって以下のような効果が生じる。すなわち、前記第1絞り31及び前記第1遮光マスクM1の前記レンズ2に対する位置によって、結像面IMの各点における照射立体角の傾き分布も調節することができる。図4のように第1絞り31と前記第1遮光マスクM1を前記レンズ2の光射出機構1側において焦点よりも内側に配置している場合は、結像面IMの外側ほど外側へと傾き量の大きい照射立体角が形成されることになる。また、前記第1絞り31が光射出機構1側において焦点上に配置される場合には、全ての照射立体角の照射方向は、光軸に対して平行となり、第1絞り31がレンズ2の光射出機構1側における焦点よりも外側に配置されている場合は結像面IMの外側の点にある照射立体角ほど光軸側への傾き量が大きくなる。なお、この例では第1絞り31及び第1遮光マスクM1がレンズ2の光射出機構1側に設けられている場合について説明しているが、例えば第1絞り31及び第1遮光マスクM1がワークW側に設けられている場合でも同様の効果を奏し得る。   The first light-shielding mask M1, the first diaphragm 31, and the lens 2 have the following effects. That is, the inclination distribution of the irradiation solid angle at each point of the image plane IM can be adjusted by the positions of the first diaphragm 31 and the first light shielding mask M1 with respect to the lens 2. As shown in FIG. 4, when the first diaphragm 31 and the first light-shielding mask M1 are disposed on the inner side of the focal point on the light emission mechanism 1 side of the lens 2, the outer side of the imaging plane IM is inclined outward. A large amount of irradiated solid angle will be formed. When the first diaphragm 31 is disposed on the focal point on the light emission mechanism 1 side, the irradiation directions of all the irradiation solid angles are parallel to the optical axis, and the first diaphragm 31 is disposed on the lens 2. In the case where it is arranged outside the focal point on the light emission mechanism 1 side, the amount of inclination toward the optical axis increases as the irradiation solid angle is at a point outside the imaging plane IM. In this example, the case where the first diaphragm 31 and the first light shielding mask M1 are provided on the light emitting mechanism 1 side of the lens 2 is described. For example, the first diaphragm 31 and the first light shielding mask M1 are the workpiece. Even when it is provided on the W side, the same effect can be obtained.

次に図3に基づいて、検査対象物Wの検査対象面WAの形状に基づいて設定される光射出機構1の発光面LAの形状の特徴について説明する。なお、本実施形態では、発光面LAは光源11自体の形状であるが、例えば光拡散板に光源11から光を照射し、所定の形状の発光面LAを形成しても構わない。ここで、図3以降では説明の簡略化のため、光路を伸ばした状態で記載するとともに、説明に不要な部材については省略している。   Next, the characteristics of the shape of the light emitting surface LA of the light emission mechanism 1 set based on the shape of the inspection target surface WA of the inspection target W will be described with reference to FIG. In the present embodiment, the light emitting surface LA has the shape of the light source 11 itself. However, for example, the light diffusing plate may be irradiated with light from the light source 11 to form the light emitting surface LA having a predetermined shape. Here, in FIG. 3 and subsequent figures, for simplification of description, the optical path is described in an extended state, and members unnecessary for the description are omitted.

本実施形態における検査対象面WAは前記レンズ2側へ突出したなだらかな凸面形状のものであって、前記発光面LAは前記検査対象面WAの全面において前記レンズ2により結像するようにその形状を形成してある。すなわち、前記検査対象面WAの各点IFに対して前記発光面LAの各点LEがそれぞれ前記レンズ2により結像するように前記発光面LAの形状を設定してある。   In this embodiment, the inspection target surface WA has a gentle convex shape protruding toward the lens 2, and the light emitting surface LA is shaped so that the lens 2 forms an image on the entire inspection target surface WA. Is formed. That is, the shape of the light emitting surface LA is set so that each point LE of the light emitting surface LA is imaged by the lens 2 with respect to each point IF of the inspection target surface WA.

次に前記検査対象面WAの形状に基づいて、前記発光面LAの形状を設定する具体的な手順について説明する。   Next, a specific procedure for setting the shape of the light emitting surface LA based on the shape of the inspection target surface WA will be described.

図4では、前記レンズ2の主光軸に沿って検査対象物から発光面LA側へと進む方向をZ軸、図4の紙面奥行方向をY軸、図4の紙面上向きをX軸として設定してある。このような座標系において前記検査対象面WAの形状(プロファイル)は、検査対象物Wの所定断面を基準面とし、その基準面から前記検査対象面WAまでの高さhとして、X,Yの関数Z=h(X,Y)として表現できる。なお、図4ではYがゼロのときを表しているが、Yの値を変化させることで検査対象面WAの立体形状を表現できることは明らかである。   In FIG. 4, the direction from the inspection object toward the light emitting surface LA along the main optical axis of the lens 2 is set as the Z axis, the depth direction in FIG. 4 is set as the Y axis, and the upward direction in FIG. 4 is set as the X axis. It is. In such a coordinate system, the shape (profile) of the inspection object surface WA has a predetermined cross section of the inspection object W as a reference surface, and the height h from the reference surface to the inspection object surface WA is X, Y. It can be expressed as a function Z = h (X, Y). Although FIG. 4 shows the case where Y is zero, it is obvious that the three-dimensional shape of the inspection target surface WA can be expressed by changing the value of Y.

本実施形態では、前記検査対象面WAの各点IFから前記レンズ2の主面までの距離a、前記検査対象面WA上の各点IFに対応する前記発光面LAの各点LEから前記レンズ2の主面までの距離b、前記レンズ2の焦点距離fが、ガウスの結像公式1/a+1/b=1/fを満たすように前記発光面LAの形状を設定してある。   In the present embodiment, the distance a from each point IF of the inspection target surface WA to the main surface of the lens 2, and the lens from each point LE of the light emitting surface LA corresponding to each point IF on the inspection target surface WA. The shape of the light emitting surface LA is set so that the distance b to the main surface 2 and the focal length f of the lens 2 satisfy the Gaussian imaging formula 1 / a + 1 / b = 1 / f.

言い換えると、この検査対象点IFに結像することができる位置は、ガウスの結像公式叉は図4のような光路図を作図することで求めることができる。つまり、各点IFに結像できる位置を求めることで、発光面LAの各点LEとして配置すべき座標を算出して、その結果、発光面LAの形状(プロファイル)を算出することができる。   In other words, the position where an image can be formed on the inspection target point IF can be obtained by drawing a Gaussian imaging formula or an optical path diagram as shown in FIG. That is, by obtaining the positions where images can be formed at the respective points IF, the coordinates to be arranged as the respective points LE of the light emitting surface LA can be calculated, and as a result, the shape (profile) of the light emitting surface LA can be calculated.

具体的には、レンズ2の主面から検査対象物の基準面までの距離をh0とした場合、検査対象面WAをなす、ある検査対象点IFからレンズ2の主面までの距離はa=h0−H(X,Y)として表せる。また、この検査対象点IFに対応する光射出点LEとレンズ2の主面との間の距離bについてはb=af/(a‐f)で表せる。さらに、レンズ2の主軸からこの光射出点LEまでの距離Lxはa、bから求まる倍率と、レンズ2の主軸から検査対象点IFまでの距離Xを用いて、Lx=−(a/b)Xとして表せる。なお、マイナスを付しているのは、検査対象点IFと光射出点LEを結ぶ仮想線と主軸が交差し、倒立の実像をなすことを表現するためである。   Specifically, when the distance from the main surface of the lens 2 to the reference surface of the inspection object is h0, the distance from a certain inspection target point IF to the main surface of the lens 2 that forms the inspection target surface WA is a = It can be expressed as h0-H (X, Y). The distance b between the light exit point LE corresponding to the inspection target point IF and the main surface of the lens 2 can be expressed by b = af / (af). Further, the distance Lx from the main axis of the lens 2 to the light emission point LE is Lx = − (a / b) using the magnification obtained from a and b and the distance X from the main axis of the lens 2 to the inspection target point IF. Can be represented as X. The reason why the minus sign is attached is to express that the virtual axis connecting the inspection target point IF and the light emission point LE intersects with the main axis to form an inverted real image.

これらのことから、発光面LAの形状についてはbの最小値bminを用いて、Lz=hL(Lx、Y)=b−bminとして一般的に表すことができる。   From these facts, the shape of the light emitting surface LA can be generally expressed as Lz = hL (Lx, Y) = b−bmin using the minimum value bmin of b.

つまり、検査対象面WAの形状を示す座標に対して、一対一で発光面LAの形状を算出することができる。   That is, the shape of the light emitting surface LA can be calculated one-on-one with respect to the coordinates indicating the shape of the inspection target surface WA.

このようにして設定された発光面LAであれば、図3及び図4からも明らかなように、すべての光射出点LEは検査対象面WAをなすすべての検査対象点IFにそれぞれ結像させることができる。すなわち、曲面である検査対象面WAの全面に発光面LAを結像させて、均一な光照射を実現できる。   In the case of the light emitting surface LA set in this way, as is clear from FIGS. 3 and 4, all the light emission points LE are respectively imaged at all the inspection target points IF forming the inspection target surface WA. be able to. That is, the light emission surface LA is imaged on the entire inspection target surface WA which is a curved surface, and uniform light irradiation can be realized.

したがって、検査対象面WA自体の形状を精密に検査したり、検査対象面WA上にある微細な欠陥を検査したりすることが可能となる。   Therefore, it is possible to precisely inspect the shape of the inspection target surface WA itself, or to inspect minute defects on the inspection target surface WA.

本実施形態の変形例について図5、図6を参照しながら説明する。なお、いずれの変形例でも図4に示した方法により発光面LAの形状は決定されている。   A modification of this embodiment will be described with reference to FIGS. In any modification, the shape of the light emitting surface LA is determined by the method shown in FIG.

図5に示すように検査対象面WAがレンズ2側へ凹形状となっている場合には、発光面LAはレンズ2側へ凸形状として形成してあり、図3及び図4と同様に光射出面の全面に発光面LAが結像するようにしてある。   As shown in FIG. 5, when the surface WA to be inspected has a concave shape toward the lens 2, the light emitting surface LA is formed as a convex shape toward the lens 2, and light is emitted as in FIGS. The light emitting surface LA is imaged on the entire exit surface.

また、図6に示すように検査対象面WAが複雑な凹凸形状であったとしても、同様に対応する発光面LAの形状を算出して、設定することが可能である。また、図6に示されるようにこのような複雑な形状の検査対象面WAであったとしても全面に発光面LAを結像させることが可能であり、従来では難しかった検査でも精度のよい検査が可能となる。   Further, as shown in FIG. 6, even if the inspection target surface WA has a complicated uneven shape, the shape of the corresponding light emitting surface LA can be calculated and set similarly. Further, as shown in FIG. 6, even if the inspection target surface WA has such a complicated shape, it is possible to form an image of the light emitting surface LA over the entire surface. Is possible.

本発明のその他の実施形態について説明する。   Other embodiments of the present invention will be described.

図3乃至図6に示したように主光軸に対して検査対象面WA、発光面の中心軸が同軸となるように配置されていることは必須の要件ではなく、例えば、図7に示すようにレンズの主面に対して傾けてそれぞれが配置されていても構わない。このような場合でも発光面の形状は前述したのと同様の計算や作図によって設定し、同様の効果を得ることができる。   As shown in FIGS. 3 to 6, it is not essential that the inspection target surface WA and the central axis of the light emitting surface be coaxial with the main optical axis. For example, as shown in FIG. In this manner, each of them may be arranged inclined with respect to the main surface of the lens. Even in such a case, the shape of the light emitting surface can be set by the same calculation and drawing as described above, and the same effect can be obtained.

前記各実施形態では、検査対象物の一面全体が検査対象面として設定してあったが、そのうちの一部のみを検査対象面としても構わない。また、発光面も光射出機構で発光している部分全体でなく、一部だけであってもよい。要するに、本発明でいう検査対象面、発光面とはガウスの結像公式の関係が満たされている部分をいい、その周囲に別の面等が形成されていても構わない。また、検査対象面の形状は任意であり、発光面の形状も前記各実施形態に示したものに限られない。   In each of the above embodiments, the entire surface of the inspection object is set as the inspection object surface, but only a part of the inspection object surface may be used as the inspection object surface. Further, the light emitting surface may be only a part rather than the entire part emitting light by the light emitting mechanism. In short, the surface to be inspected and the light emitting surface referred to in the present invention are portions where the relationship of the Gaussian imaging formula is satisfied, and another surface or the like may be formed around the portion. Moreover, the shape of the surface to be inspected is arbitrary, and the shape of the light emitting surface is not limited to that shown in the above embodiments.

また、図8に示すように光拡散板DFの一面の形状及び位置を検査対象面WAの形状に合わせてガウスの結像公式に基づいて設定し、光拡散板DFの後方から光源11により光を照射して発光面LAを形成しても構わない。すなわち、光射出機構1は、光源11自体で検査対象面WAに合わせて発光面LAの形状を設定したものであってもよいし、光源11と射出された光を整形する光学素子の形状によって所定の発光面LAを形成したものであってもよい。LEDチップ等を用いた光源11の場合には、基板を検査対象面WAの形状に合わせて、成形しておき、その基板表面にLEDチップを敷き詰めることにより所望の発光面LAの形状を得ることができる。また、光拡散板DF等のような光学素子で発光面LAを形成すれば、複雑な形状の検査対象面WAであっても対応した発光面LAを樹脂成型等により簡単に形成することができる。   Further, as shown in FIG. 8, the shape and position of one surface of the light diffusing plate DF is set based on the Gaussian imaging formula in accordance with the shape of the inspection target surface WA, and light is emitted from the light source 11 from behind the light diffusing plate DF. May be formed to form the light emitting surface LA. In other words, the light emitting mechanism 1 may be one in which the shape of the light emitting surface LA is set by the light source 11 itself according to the inspection target surface WA, or depending on the shape of the light source 11 and the optical element that shapes the emitted light. A predetermined light emitting surface LA may be formed. In the case of the light source 11 using an LED chip or the like, the substrate is molded according to the shape of the inspection target surface WA, and a desired shape of the light emitting surface LA is obtained by spreading the LED chips on the surface of the substrate. Can do. Further, if the light emitting surface LA is formed by an optical element such as the light diffusion plate DF, the corresponding light emitting surface LA can be easily formed by resin molding or the like even if the inspection target surface WA has a complicated shape. .

加えて、図9に示すように前記検査用照明装置100が、前記発光面LAと検査対象面LAとの間にマスクMを有し、前記検査対象面WA上に発光面LAの像が結像されている光照射領域と、光が照射されない遮光領域とが形成されるようにしてもよい。より具体的には、図9(a)(b)に示すように格子状に形成されたマスクMを前記発光面LAの前に配置した場合、図9(c)に示すように前記検査対象面WAが曲面であっても境界が明確な格子を形成し、検査領域をごく一部に限定したり、検査領域以外からの反射光をなくしたりしてより検査精度を向上させることができる。   In addition, as shown in FIG. 9, the inspection illumination device 100 has a mask M between the light emitting surface LA and the inspection target surface LA, and an image of the light emitting surface LA is formed on the inspection target surface WA. You may make it form the light irradiation area | region currently imaged and the light-shielding area | region where light is not irradiated. More specifically, when a mask M formed in a lattice shape as shown in FIGS. 9A and 9B is arranged in front of the light emitting surface LA, the inspection object as shown in FIG. Even if the surface WA is a curved surface, it is possible to form a lattice with a clear boundary and limit the inspection area to a very small part, or eliminate reflected light from other than the inspection area, thereby further improving the inspection accuracy.

言い換えると、曲面上であっても発光面の全体を結像させることができない従来の検査用照明装置では、検査対象面が曲面や凹凸面の場合、光照射領域の外縁がぼやけて、遮光領域にも一部の光が照射されてしまい、不要な光の反射や散乱を抑えることができなかったという問題を本発明であれば解決でき、検査精度を向上させられる。   In other words, in a conventional inspection illumination device that cannot form an image of the entire light emitting surface even on a curved surface, when the inspection target surface is a curved surface or an uneven surface, the outer edge of the light irradiation region is blurred and the light shielding region In addition, the present invention can solve the problem that part of the light is irradiated and the reflection and scattering of unnecessary light cannot be suppressed, and the inspection accuracy can be improved.

なお、前記マスクは光を完全に遮光する者に限られず、例えば、検査光の所定量だけ透過させるものであってもよい。すなわち、遮光領域とは完全に光が到達しない領域であってもよいし、光照射領域に対して光量が低下している領域であってもよい。このようなものであっても、光照射領域と遮光領域の光量の違いを正確に整えることができ、従来では検査しにくかったものでも検査する事が可能となる。また、図9の例からも分かるように検査対象面及び発光面は連続した面ではなく、不連続に形成されているものであってもよい。   The mask is not limited to a person who completely blocks light, and may transmit a predetermined amount of inspection light, for example. That is, the light shielding region may be a region where light does not reach completely, or a region where the light amount is reduced with respect to the light irradiation region. Even in such a case, the difference in the amount of light between the light irradiation region and the light shielding region can be accurately adjusted, and it is possible to inspect even those that were conventionally difficult to inspect. Further, as can be seen from the example of FIG. 9, the inspection target surface and the light emitting surface are not continuous surfaces but may be formed discontinuously.

本発明は検査に用いられるものであるが、表面検査、外観検査、形状検査等といった様々な検査に用いられるものであり、用途は特に限定されない。検査対象面からの反射光、散乱光を撮像して得られる画像に基づいて検査するものであれば、本発明の効果を享受できる。   Although this invention is used for a test | inspection, it is used for various test | inspections, such as a surface test | inspection, an external appearance test | inspection, a shape test | inspection, A use is not specifically limited. The effect of the present invention can be enjoyed as long as inspection is performed based on an image obtained by imaging reflected light and scattered light from the inspection target surface.

その他、本発明の趣旨に反しない限りにおいて様々な実施形態の変形や、組み合わせを行っても構わない。   In addition, various modifications and combinations of the embodiments may be performed without departing from the spirit of the present invention.

200 :検査システム
100 :検査用照明装置
1 :光射出機構
11 :光源
LA :発光面
LE :光射出点
W :検査対象
WA :検査対象面
IF :検査対象点(結像点)

200: Inspection system 100: Illumination device for inspection 1: Light emission mechanism 11: Light source LA: Light emitting surface LE: Light emission point W: Inspection target WA: Inspection target surface IF: Inspection target point (imaging point)

Claims (10)

発光面を有する光射出機構と、曲面状又は凹凸面状の検査対象面及び前記光射出機構の間に設けられたレンズと、を用いて、前記検査対象面に前記発光面から射出された光を照射する検査用照明方法であって、
前記検査対象面の各点に対して前記発光面の各点がそれぞれ前記レンズにより結像するように前記発光面の形状を設定することを特徴とする検査用照明方法。
Light emitted from the light emitting surface to the inspection target surface using a light emission mechanism having a light emitting surface, a curved or uneven surface to be inspected, and a lens provided between the light emission mechanisms An illumination method for inspection that irradiates
An inspection illumination method, wherein the shape of the light emitting surface is set so that each point of the light emitting surface is imaged by the lens with respect to each point of the inspection target surface.
前記検査対象面の各点から前記レンズの主面までの距離a、前記検査対象面上の各点に対応する前記発光面の各点から前記レンズの主面までの距離b、前記レンズの焦点距離fが、ガウスの結像公式1/a+1/b=1/fを満たすように前記発光面の形状を設定する請求項1記載の検査用照明方法。   Distance a from each point on the inspection target surface to the main surface of the lens, distance b from each point on the light emitting surface corresponding to each point on the inspection target surface to the main surface of the lens, focal point of the lens The illumination method for inspection according to claim 1, wherein the shape of the light emitting surface is set so that the distance f satisfies a Gaussian imaging formula 1 / a + 1 / b = 1 / f. 前記検査対象面の各点と、前記検査対象面上の各点に対応する前記発光面の各点と、を結ぶ仮想線のうちの少なくとも一部が前記レンズの主光軸に対して交差するように前記発光面の形状を設定する請求項1又は2記載の検査用照明方法。   At least a part of an imaginary line connecting each point on the inspection target surface and each point on the light emitting surface corresponding to each point on the inspection target surface intersects the main optical axis of the lens. The illumination method for inspection according to claim 1 or 2, wherein the shape of the light emitting surface is set as described above. 前記検査対象面が前記レンズ側へ凸形状をなすものの場合には、前記レンズ側へ凹形状をなすように前記発光面の形状を設定する請求項1乃至3いずれかに記載の検査用照明方法。   4. The illumination method for inspection according to claim 1, wherein when the surface to be inspected has a convex shape toward the lens side, the shape of the light emitting surface is set so as to form a concave shape toward the lens side. . 前記検査対象面が前記レンズ側へ凹形状をなすものの場合には、前記レンズ側へ凸形状をなすように前記発光面の形状を設定する請求項1乃至3いずれかに記載の検査用照明方法。   4. The illumination method for inspection according to claim 1, wherein when the surface to be inspected has a concave shape toward the lens side, the shape of the light emitting surface is set so as to form a convex shape toward the lens side. 5. . 発光面を有する光射出機構と、曲面状又は凹凸面状の検査対象面及び前記光射出機構の間に設けられたレンズと、を備え、前記検査対象面に前記発光面から射出された光を照射する検査用照明装置であって、
前記検査対象面の各点に対して前記発光面の各点がそれぞれ前記レンズにより結像するように前記発光面の形状が形成されていることを特徴とする検査用照明装置。
A light emitting mechanism having a light emitting surface, a curved or uneven surface to be inspected, and a lens provided between the light emitting mechanism, and the light emitted from the light emitting surface to the inspection target surface An illumination device for inspection that irradiates,
The illumination device for inspection, wherein the shape of the light emitting surface is formed such that each point of the light emitting surface is imaged by the lens with respect to each point of the inspection target surface.
前記検査対象面の各点から前記レンズの主面までの距離a、前記検査対象面上の各点に対応する前記発光面の各点から前記レンズの主面までの距離b、前記レンズの焦点距離fが、ガウスの結像公式1/a+1/b=1/fを満たすように前記発光面の形状が形成されている請求項6記載の検査用照明装置。   Distance a from each point on the inspection target surface to the main surface of the lens, distance b from each point on the light emitting surface corresponding to each point on the inspection target surface to the main surface of the lens, focal point of the lens The illumination device for inspection according to claim 6, wherein the shape of the light emitting surface is formed so that the distance f satisfies a Gaussian imaging formula 1 / a + 1 / b = 1 / f. 前記検査対象面の各点と、前記検査対象面上の各点に対応する前記発光面の各点と、を結ぶ仮想線のうちの少なくとも一部が前記レンズの主光軸に対して交差するように前記発光面の形状が形成されている請求項6又は7記載の検査用照明装置。   At least a part of an imaginary line connecting each point on the inspection target surface and each point on the light emitting surface corresponding to each point on the inspection target surface intersects the main optical axis of the lens. The inspection illumination device according to claim 6 or 7, wherein the shape of the light emitting surface is formed as described above. 前記検査対象面が前記レンズ側へ凸形状をなすものの場合には、前記レンズ側へ凹形状をなすように前記発光面の形状が形成されている請求項6乃至8いずれかに記載の検査用照明装置。   9. The inspection according to claim 6, wherein when the surface to be inspected has a convex shape toward the lens side, the shape of the light emitting surface is formed so as to form a concave shape toward the lens side. Lighting device. 前記検査対象面が前記レンズ側へ凹形状をなすものの場合には、前記レンズ側へ凸形状をなすように前記発光面の形状が形成されている請求項6乃至8いずれかに記載の検査用照明装置。   9. The inspection according to claim 6, wherein when the surface to be inspected has a concave shape toward the lens side, the shape of the light emitting surface is formed so as to form a convex shape toward the lens side. Lighting device.
JP2014113110A 2014-05-30 2014-05-30 Inspection illumination method and inspection illumination device Expired - Fee Related JP6300158B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014113110A JP6300158B2 (en) 2014-05-30 2014-05-30 Inspection illumination method and inspection illumination device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014113110A JP6300158B2 (en) 2014-05-30 2014-05-30 Inspection illumination method and inspection illumination device

Publications (2)

Publication Number Publication Date
JP2015227801A JP2015227801A (en) 2015-12-17
JP6300158B2 true JP6300158B2 (en) 2018-03-28

Family

ID=54885351

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014113110A Expired - Fee Related JP6300158B2 (en) 2014-05-30 2014-05-30 Inspection illumination method and inspection illumination device

Country Status (1)

Country Link
JP (1) JP6300158B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6840838B2 (en) * 2016-09-09 2021-03-10 クオリティー ヴィジョン インターナショナル インコーポレイテッドQuality Vision International, Inc. Articulated head for measuring instruments with multiple sensors

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06110003A (en) * 1991-05-29 1994-04-22 Shimadzu Corp Optical scanning device
JPH07225342A (en) * 1994-02-10 1995-08-22 Kowa Co Microscope lighting equipment
JP5381613B2 (en) * 2009-10-23 2014-01-08 富士通株式会社 Optical scanning apparatus and optical scanning method
JP5895305B2 (en) * 2011-12-06 2016-03-30 シーシーエス株式会社 Inspection illumination device and inspection illumination method

Also Published As

Publication number Publication date
JP2015227801A (en) 2015-12-17

Similar Documents

Publication Publication Date Title
US9638641B2 (en) Inspection system and inspection illumination device
US9494422B2 (en) Lighting device for inspection and lighting method for inspection
KR20170103418A (en) Pattern lighting appartus and method thereof
CN106415247B (en) Inspection lighting device and inspection system
JP6387381B2 (en) Autofocus system, method and image inspection apparatus
KR20140060946A (en) Electronic materials processing area measurement for illumination device and applying the inspection equipment
KR20170012613A (en) Method and apparatus for acquiring image of inner plane
TWI691714B (en) Inspection device and inspection method
KR101211438B1 (en) Apparatus for inspecting defects
US10867379B2 (en) Method and apparatus for optically inspecting a mold for manufacturing ophthalmic lenses for possible mold defects
JP6829828B2 (en) Lens appearance inspection device
JP6300158B2 (en) Inspection illumination method and inspection illumination device
KR101447857B1 (en) Particle inspectiing apparatus for lens module
JP2023505437A5 (en)
KR20190098084A (en) Optical contrast enhancement for defect inspection
CN105675617B (en) Method and apparatus for measuring surface particle size of flat glass
JP7692265B2 (en) coaxial lighting device
TWI688820B (en) Impurity removal assembly of light-transmitting thin film on mask glass substrate
JP2021085815A (en) Light irradiation device, inspection system, and light irradiation method
TWI573998B (en) Optical inspection device
TWI696823B (en) Slit light source and vision inspection apparatus having the same
JP2012150079A (en) Defect detection device for transparent member and defect detection method
KR101630787B1 (en) X-ray grid manufacturing device and method of the same
JP2008139126A (en) Flaw detector and flaw detection method
JP2008164387A (en) Optical inspection method and optical inspection device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180216

R150 Certificate of patent or registration of utility model

Ref document number: 6300158

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees