JP4735372B2 - Fingerprint verification device and fingerprint verification method - Google Patents
Fingerprint verification device and fingerprint verification method Download PDFInfo
- Publication number
- JP4735372B2 JP4735372B2 JP2006095980A JP2006095980A JP4735372B2 JP 4735372 B2 JP4735372 B2 JP 4735372B2 JP 2006095980 A JP2006095980 A JP 2006095980A JP 2006095980 A JP2006095980 A JP 2006095980A JP 4735372 B2 JP4735372 B2 JP 4735372B2
- Authority
- JP
- Japan
- Prior art keywords
- fingerprint
- vector
- ridge
- fingerprint image
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Collating Specific Patterns (AREA)
Description
本発明は、登録指紋画像と照合指紋画像とを比較して同一性を判定する指紋照合装置、指紋照合方法に関する。 The present invention relates to a fingerprint collation apparatus and a fingerprint collation method that determine the identity by comparing a registered fingerprint image and a collation fingerprint image.
従来の指紋照合装置では、入力された指紋画像から指紋隆線を検出した後に、指紋隆線の分岐点や端点といった特徴点を抽出し、その特徴点の位置関係から登録された指紋画像(登録指紋画像)と照合対象として入力された指紋画像(照合指紋画像)の同一性を判断する手法が一般的である。 In a conventional fingerprint verification device, after detecting a fingerprint ridge from the input fingerprint image, feature points such as branch points and end points of the fingerprint ridge are extracted, and a registered fingerprint image (registered) from the positional relationship of the feature points A method of determining the identity between a fingerprint image) and a fingerprint image (verification fingerprint image) input as a verification target is common.
しかし、特徴点だけによる判断では照合判定を誤ることもあるため、特徴点以外の要素を考慮して、登録指紋画像と照合指紋画像との同一性を判定する指紋照合装置も考えられている(例えば特許文献1,2参照)。 However, since the judgment based on only the feature points may cause the collation judgment to be wrong, a fingerprint collation device that judges the identity between the registered fingerprint image and the collation fingerprint image in consideration of elements other than the feature points is also considered ( For example, see Patent Documents 1 and 2).
特許文献1に記載された指紋照合装置では、指紋画像から指のしわや傷を抽出し、そのしわや傷に関連した特徴点の情報を、指紋隆線の特徴点の情報と共に指紋データとして用いて照合を行う。 In the fingerprint collation device described in Patent Document 1, a wrinkle or a flaw of a finger is extracted from a fingerprint image, and feature point information related to the wrinkle or flaw is used as fingerprint data together with information of a feature point of a fingerprint ridge. To verify.
また、特許文献2に記載された指紋照合装置では、指紋画像から特徴点(端点、分岐点)を抽出し、特徴点の位置と種類の他、渦点などの特異点の種類と方向を検出して照合を行う。
このように従来の指紋照合装置では、特徴点だけではなく他の情報を用いて照合を行っている。 As described above, in the conventional fingerprint collation apparatus, collation is performed using not only feature points but also other information.
しかしながら、特許文献1において特徴点以外の特徴としている指のしわや傷は、指紋画像に必ず存在する訳ではないため、これらの特徴を用いた照合ができない指紋画像が存在してしまう。 However, finger wrinkles and scratches that are features other than the feature points in Patent Document 1 do not necessarily exist in the fingerprint image, and therefore there are fingerprint images that cannot be collated using these features.
また、特許文献2においては特異点を検出し、この特異点の種類と方向を特徴としているが、特異点についても指紋画像に必ず存在する訳ではないため、これらの特徴を用いた照合ができない指紋画像が存在してしまう。
Further, in
本発明の課題は、指紋画像から抽出される特徴点と指紋隆線との関係を特徴量として照合することで、照合判定の精度を向上させることが可能な指紋照合装置、指紋照合方法を提供することにある。 An object of the present invention is to provide a fingerprint collation apparatus and a fingerprint collation method capable of improving the accuracy of collation judgment by collating the relationship between a feature point extracted from a fingerprint image and a fingerprint ridge as a feature quantity. There is to do.
請求項1記載の発明は、登録指紋画像と照合指紋画像とを比較して同一性を判定する指紋照合装置であって、前記登録指紋画像と前記照合指紋画像のそれぞれの指紋画像から指紋隆線を抽出する隆線抽出手段と、前記登録指紋画像と前記照合指紋画像のそれぞれの指紋画像から複数の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段によって抽出された1つの特徴点から一定範囲にある他の特徴点に向かうベクトルを設定するベクトル設定手段と、前記ベクトル設定手段により設定されたベクトルとこのベクトルを横切る前記隆線抽出手段によって抽出された指紋隆線とのなす角度を算出し、この角度を隆線方向とする隆線方向算出手段と、前記登録指紋画像と前記照合指紋画像のそれぞれにおいて前記ベクトル設定手段により設定されたベクトルを比較すると共に前記隆線方向算出手段により算出された指紋隆線の方向を比較して、前記登録指紋画像と前記照合指紋画像の同一性を判定する判定手段とを具備したことを特徴とする。 The invention according to claim 1 is a fingerprint collation device that compares a registered fingerprint image and a collation fingerprint image to determine identity, and the fingerprint ridges are obtained from the respective fingerprint images of the registration fingerprint image and the collation fingerprint image. a ridge extracting means for extracting the registered fingerprint image and the respective feature point extracting means for extracting a plurality of feature points from the fingerprint image of the collation fingerprint image, one of the features extracted by the front Symbol feature point extracting means eggplant and vector setting means for setting a vector directed to other feature points in a predetermined range from the point, and fingerprint ridge extracted by the ridge extracting means for crossing the vector and set vector by the vector setting means calculating the angles, set by the vector setting means in each of the ridge direction calculating means for this angle and ridge direction, and the registration fingerprint image the collation fingerprint image Vectors by comparing the direction of the calculated fingerprint ridge by the ridge direction calculating means with comparing, by comprising a determination means for determining identity of the collation fingerprint image and the registered fingerprint image Features.
請求項2記載の発明は、請求項1記載の発明において、前記登録指紋画像と前記照合指紋画像のそれぞれから、前記ベクトル設定手段によって設定されたベクトルの特徴量として、ベクトルの水平成分、垂直成分、ベクトル長を算出するベクトル特徴量算出手段をさらに具備し、前記判定手段は、前記ベクトル特徴量算出手段によって算出されたベクトルの特徴量を比較して、前記登録指紋画像と前記照合指紋画像の同一性を判定することを特徴とする。 According to a second aspect of the present invention, in the first aspect of the present invention, the horizontal component and the vertical component of the vector are used as the feature amount of the vector set by the vector setting unit from each of the registered fingerprint image and the verification fingerprint image. And a vector feature amount calculation means for calculating a vector length , wherein the determination means compares the feature amounts of the vectors calculated by the vector feature amount calculation means, and compares the registered fingerprint image and the verification fingerprint image. It is characterized by determining identity.
請求項3記載の発明は、請求項1記載の発明において、前記隆線方向算出手段は、前記ベクトル設定手段により設定されたベクトルの中間点の最近傍にある指紋隆線を選定し、この選定した指紋隆線と前記ベクトルとの交点から指紋隆線上を所定範囲内まで追跡して点を算出し、前記交点から前記点へのベクトルと前記ベクトル設定手段により設定されたベクトルとのなす角度を求めて、前記指紋隆線の方向とすることを特徴とする。 According to a third aspect of the present invention, in the first aspect of the invention, the ridge direction calculation means selects a fingerprint ridge that is closest to the midpoint of the vector set by the vector setting means, and this selection is performed. A point is calculated by tracing the fingerprint ridge to the predetermined range from the intersection of the fingerprint ridge and the vector, and the angle between the vector from the intersection to the point and the vector set by the vector setting means is calculated. The direction of the fingerprint ridge is obtained.
請求項4記載の発明は、請求項1記載の発明において、前記隆線方向算出手段は、前記ベクトル設定手段により設定されたベクトルを横切る複数の指紋隆線のうち、前記1つの特徴点か前記他の特徴点の何れか1つの最近傍にある指紋隆線を選定し、この選定した各指紋隆線と前記ベクトルとの交点から指紋隆線上を所定範囲内まで追跡して点を算出し、前記交点から前記点へのベクトルと前記ベクトル設定手段により設定されたベクトルとのなす角度を求めて、前記指紋隆線の方向とすることを特徴とする。 According to a fourth aspect of the present invention, in the first aspect of the invention, the ridge direction calculation means may determine whether the one feature point among the plurality of fingerprint ridges crossing the vector set by the vector setting means. A fingerprint ridge that is closest to any one of the other feature points is selected, a point is calculated by tracing the fingerprint ridge from the intersection of each selected fingerprint ridge to the vector within a predetermined range, An angle formed by a vector from the intersection to the point and a vector set by the vector setting means is obtained and set as the direction of the fingerprint ridge.
請求項5記載の発明は、請求項1記載の発明において、前記隆線方向算出手段は、前記ベクトル設定手段により設定されたベクトルを横切る複数の指紋隆線を選択し、この選択した複数の指紋隆線のそれぞれについて、前記指紋隆線と前記ベクトルとの交点から指紋隆線上を所定範囲内まで追跡して点を算出し、前記交点から前記点へのベクトルと前記ベクトル設定手段により設定されたベクトルとのなす角度の平均値を求めて、前記指紋隆線の方向とすることを特徴とする。 According to a fifth aspect of the present invention, in the first aspect of the invention, the ridge direction calculation means selects a plurality of fingerprint ridges crossing the vector set by the vector setting means, and the plurality of selected fingerprints. For each ridge, a point is calculated by tracing the fingerprint ridge from the intersection of the fingerprint ridge and the vector to a predetermined range, and the vector from the intersection to the point is set by the vector setting means An average value of angles formed with the vector is obtained and set as the direction of the fingerprint ridge.
請求項6に記載の発明は、登録指紋画像と照合指紋画像とを比較して同一性を判定する指紋照合方法であって、前記登録指紋画像と前記照合指紋画像のそれぞれの指紋画像から指紋隆線を抽出する隆線抽出行程と、前記登録指紋画像と前記照合指紋画像のそれぞれの前記指紋画像から複数の特徴点を抽出する特徴点抽出行程と、前記特徴点抽出行程によって抽出された1つの特徴点から一定範囲にある他の特徴点に向かうベクトルを設定するベクトル設定行程と、前記ベクトル設定行程により設定されたベクトルとこのベクトルを横切る前記隆線抽出行程によって抽出された指紋隆線とのなす角度を算出し、この角度を隆線方向とする隆線方向算出行程と、前記登録指紋画像と前記照合指紋画像のそれぞれにおいて前記ベクトル設定手段により設定されたベクトルを比較すると共に前記隆線方向算出行程により算出された指紋隆線の方向を比較して、前記登録指紋画像と前記照合指紋画像の同一性を判定する判定行程とを有したことを特徴とする。 The invention according to claim 6 is a fingerprint collation method for comparing the registered fingerprint image and the collation fingerprint image to determine the identity, and the fingerprint image is obtained from each fingerprint image of the registration fingerprint image and the collation fingerprint image. a ridge extracting step of extracting a line, the feature point extraction step of extracting a plurality of feature points from each of the fingerprint images of said collation fingerprint image and the registered fingerprint image, which is extracted by the pre-Symbol feature point extraction process 1 A vector setting step for setting a vector from one feature point toward another feature point within a certain range, a vector set by the vector setting step, and a fingerprint ridge extracted by the ridge extraction step crossing the vector ; calculating an angle, and ridge direction calculation step for this angle and ridge direction, the vector setting means in each of the collation fingerprint image and the registered fingerprint image By comparing the direction of the fingerprint ridge calculated by the ridge direction calculating process as well as comparing the set vector that had a determining step the identity of the collation fingerprint image and the registered fingerprint image It is characterized by.
本発明によれば、登録指紋画像と照合指紋画像のそれぞれの指紋画像から抽出される特徴点と指紋隆線との関係、すなわち特徴点間のベクトルとこのベクトルを横切る指紋隆線の方向を比較することで、照合判定の精度を向上させることが可能となる。 According to the present invention , the relationship between the feature points extracted from the fingerprint images of the registered fingerprint image and the verification fingerprint image and the fingerprint ridges, that is, the vector between the feature points and the direction of the fingerprint ridge crossing this vector are compared. By doing so, it is possible to improve the accuracy of collation determination.
以下、図面を参照して本発明の実施の形態について説明する。
図1は、本実施形態における指紋照合装置の構成を示すブロック図である。
図1に示すように、本実施形態における指紋照合装置は、制御部10、表示部12、キー入力部14、画像読取部16、記憶装置20、及びRAM22を有している。
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram illustrating a configuration of a fingerprint collation apparatus according to the present embodiment.
As shown in FIG. 1, the fingerprint collation apparatus according to the present embodiment includes a
制御部10は、装置全体の制御を司るもので、プロセッサやプログラムやデータを記憶するメモリ等を含んで構成される。制御部10は、各種プログラムをプロセッサにより実行することにより各種機能を実現する。本実施形態では、登録プログラム20aにより登録処理を実行することで、画像読取部16により検出される指紋画像データをもとに登録画像データを生成して記憶装置20に記憶させる。また、照合プログラム20bにより照合処理を実行することにより、画像読取部16により検出される照合用の指紋画像データが、登録処理によって登録された登録画像データと一致しているかを判定するための照合を行う。
The
表示部12は、制御部10の制御のもとで、例えば液晶ディスプレイにおいて各種データを表示する。
The
キー入力部14は、制御部10の制御のもとで、ユーザ操作に応じて各種指示を入力する。キー入力部14は、例えば複数キー(ボタン)に対する入力操作の他、ポインティングデバイス等の他の入力デバイスに対する操作に応じたユーザからの指示を入力して制御部10に通知する。
The key input unit 14 inputs various instructions according to user operations under the control of the
画像読取部16は、指紋画像を検出して制御部10に出力する。
The image reading unit 16 detects the fingerprint image and outputs it to the
記憶装置20は、プログラムや各種データを記憶するためのもので、ROM、ハードディスク装置、フラッシュメモリ等により構成される。記憶装置20に記憶されるプログラムとしては、指紋画像を登録する登録処理のための登録プログラム20a、照合用の指紋画像と登録された指紋画像とを照合する照合処理のための照合プログラム20bを含む。また、記憶装置20は、登録処理によって登録される登録画像データ20cなどが記憶される。登録画像データ20cは、複数の人物から採取された指紋画像をもとに生成された登録画像データが含まれている。本実施形態における登録画像データ20cは、指紋画像から抽出された特徴量を表すデータを含んでいる(詳細については図6に示す)。
The
RAM22は、制御部10による処理の対象とするデータを記憶するもので、例えば照合処理に用いるために記憶装置20から読み出された登録画像データ22aや、画像読取部16から読み取られた照合対象とする照合画像データ22bの他、照合処理の実行に伴う各種データなどが記憶される。
The
次に、本実施形態における指紋照合装置の動作について説明する。
まず、指紋画像を登録するための登録処理について、図2、図3、及び図4に示すフローチャートを参照しながら説明する。
Next, the operation of the fingerprint collation device in this embodiment will be described.
First, registration processing for registering a fingerprint image will be described with reference to the flowcharts shown in FIGS. 2, 3, and 4.
図2は、登録処理全体の処理の流れを説明するためのフローチャートである。 FIG. 2 is a flowchart for explaining the flow of the entire registration process.
まず、制御部10は、画像読取部16によって登録対象とする指紋画像の読取を実行する(ステップA1)。
First, the
制御部10は、画像読取部16により読み取られた指紋画像に対して2値化及び細線化の画像処理を施して、指紋隆線のパターンを表す画像を生成する(ステップA2)。
The
次に、制御部10は、指紋隆線の画像中から特徴点を抽出する(ステップA3)。特徴点としては、例えば指紋隆線が途切れた端点や、指紋隆線が分岐している分岐点を特徴点として抽出する。
Next, the
図5(a)は、指紋画像から抽出される複数の特徴点を概念的に示す図である。図5(a)では、破線によって指紋隆線のパターンを表し、複数の特徴点EM1,EM2,…EM8が抽出されたことを示している。通常、特徴点は、画像読取部16により読み取られた指紋画像の品質が悪い場合、例えば指先にしわや傷などがあったり、特異点の部分の指紋隆線が明瞭でない場合であっても、複数抽出することができる。また、指紋隆線についても一部が不明瞭であったとしても、指紋画像の広い範囲で検出することが可能となっている。本実施形態における指紋照合装置は、後述するように、指紋画像からほぼ確実に抽出される複数の特徴と指紋隆線を利用し、複数の特徴と指紋隆線との関係を特徴量として抽出して照合処理を実行する。 FIG. 5A is a diagram conceptually showing a plurality of feature points extracted from the fingerprint image. In FIG. 5A, a fingerprint ridge pattern is indicated by a broken line, and a plurality of feature points EM1, EM2,... EM8 are extracted. Usually, the feature point is when the quality of the fingerprint image read by the image reading unit 16 is poor, for example, when the fingertip has wrinkles or scratches, or when the fingerprint ridge at the singular point is not clear, Multiple extractions are possible. Also, even if the fingerprint ridge is partially unclear, it can be detected in a wide range of the fingerprint image. As will be described later, the fingerprint collation device according to the present embodiment uses a plurality of features and fingerprint ridges that are almost certainly extracted from a fingerprint image, and extracts the relationship between the plurality of features and the fingerprint ridges as feature amounts. The collation process is executed.
次に、制御部10は、指紋画像から抽出された各特徴点に対する特徴量を抽出するための特徴量算出処理を実行する(ステップA4)。本実施形態における特徴量算出処理では、1つの特徴点から一定範囲にある他の特徴点に向かうベクトルを設定し、このベクトルを横切る指紋隆線の方向を特徴量として算出する。詳細については後述する(図3)。
Next, the
制御部10は、特徴量算出処理によって算出された特徴量に関するデータを登録画像データ20cとして記憶装置20に記憶させる(ステップA5)。
The
次に、図2に示すフローチャート中の特徴量算出処理の詳細について、図3に示すフローチャートを参照しながら説明する。図6は、登録画像データとして登録される特徴量データの一例を示している。また、図7及び図8は、特徴量算出処理(隆線方向算出処理)を説明するための指紋隆線パターンの一例を示す図である。 Next, the details of the feature amount calculation processing in the flowchart shown in FIG. 2 will be described with reference to the flowchart shown in FIG. FIG. 6 shows an example of feature amount data registered as registered image data. 7 and 8 are diagrams showing an example of a fingerprint ridge pattern for explaining the feature amount calculation process (ridge direction calculation process).
ここでは、図7に示す特徴点Mを基準特徴点として、この基準特徴点Mに対する特徴量データを算出する場合を例にして説明する。 Here, the case where the feature point data shown in FIG. 7 is used as a reference feature point and the feature amount data for the reference feature point M is calculated will be described as an example.
まず、制御部10は、指紋隆線パターン中の基準特徴点Mからの距離が予め設定された閾値ThL以下である近傍特徴点を選定し、この近傍特徴点の総数(特徴点総数)TNmを算出する(ステップB1)。図7に示す例では、基準特徴点Mから閾値ThL以下の距離にある5つの特徴点が抽出され、特徴点総数TNmは5となる。
First, the
制御部10は、基準特徴点Mから距離が短い順に近傍特徴点を並べて、図7に示すように特徴点m1〜m5とする。ここで、基準特徴点Mを基準として各近傍特徴点m1〜m5へ向かうベクトルV1〜V5を設定し、各ベクトルV1〜V5のベクトルの水平成分VXと垂直成分VY、ベクトル長VLを算出する(ステップB2)。
The
制御部10は、各ベクトルV1〜V5について、ベクトル長VLが次に長いベクトルとのなす角θを算出する(ステップB3)。ここでは、時計回りを正方向とし、単位を[deg]とする。図7に示す例では、ベクトルV1とベクトルV2とのなす角θ2、ベクトルV2とベクトルV3とのなす角θ3、ベクトルV3とベクトルV4とのなす角θ4、ベクトルV4とベクトルV5とのなす角θ5をそれぞれ算出する。
The
次に、制御部10は、隆線方向算出処理を実行して、基準特徴点Mから各近傍特徴点m1〜m5へのベクトルを横切る指紋隆線の方向を算出する(ステップB4)。
Next, the
図4は、隆線方向算出処理の詳細を説明するためのフローチャートである。図8は、隆線方向算出処理を説明するための指紋隆線パターンの一例を示している。図8では、基準特徴点Mと1つの近傍特徴点mとのベクトルVmを示している。 FIG. 4 is a flowchart for explaining details of the ridge direction calculation processing. FIG. 8 shows an example of a fingerprint ridge pattern for explaining the ridge direction calculation processing. FIG. 8 shows a vector Vm of the reference feature point M and one neighboring feature point m.
制御部10は、基準特徴点Mから近傍特徴点mへのベクトルVmと交差する指紋隆線Lを選定する。図8では、ベクトルVmの中間点×の最近傍にある1本の指紋隆線Lを選定する。制御部10は、ここで選定した指紋隆線LとベクトルVmとの交差点をCとし、この交差点Cの座標(Xc,Yc)を算出する(ステップC1)。
The
次に、制御部10は、ベクトルVmのX方向と同じ方向へ交差点Cから指紋隆線L上を追跡して、以下の式(1)を満たす追跡点Sを算出する。ここで、追跡点Sの座標を(x,y)とする。
なお、ThDは、交差点Cから追跡点Sまでの距離Dに対して予め設定された上限値である。式(1)を満たす最大値が得られる追跡点Sを算出する。ここで追跡点Sの座標を(Xs,Ys)とする。 ThD is an upper limit value set in advance for the distance D from the intersection C to the tracking point S. The tracking point S at which the maximum value satisfying the equation (1) is obtained is calculated. Here, the coordinates of the tracking point S are (Xs, Ys).
次に、制御部10は、ベクトルCSを算出する(ステップC3)。すなわち、ベクトルCS=(Xs−Xc,Ys−Yc)となる。
Next, the
制御部10は、ベクトルVmとベクトルCSとのなす角度φ(時計回りを正方向とし、単位を[deg]とする)を算出し、これを基準特徴点Mから近傍特徴点mに向かうベクトルを横切る指紋隆線の方向LDとする(ステップC4)。すなわち、LD=φとなる。ただし、基準特徴点Mから近傍特徴点mに向かうベクトルを横切る指紋隆線が存在しない場合には、指紋隆線の方向LD=180とする。
The
制御部10は、特徴量算出処理(隆線方向算出処理)によって算出された各データをもとに、基準特徴点Mに対する特徴量データを生成する。
制御部10は、以上の特徴量算出処理を、指紋画像から抽出された各特徴点について実行する。そして、制御部10は、図6に示すように、特徴量データをまとめてコード化し、特徴量データコードとして生成する。登録処理では、特徴量データコードを登録画像データとして記憶する。
The
The
特徴量データコードには、図6(a)に示すように、指紋画像から抽出された特徴点の総数(特徴点総数TNm)と、各特徴点に対する特徴量データ(F1,…,Fn(n=TNm))が含まれる。 As shown in FIG. 6A, the feature amount data code includes the total number of feature points extracted from the fingerprint image (total feature point TNm) and feature amount data (F1,..., Fn (n) for each feature point. = TNm)).
各特徴量データには、図6(b)に示すように、特徴点の水平方向座標(X)、垂直方向座標(Y)、端点や分岐点などの特徴点の種類(T)、方向(D)、指定範囲内特徴点数(Nm)、各指定範囲内特徴点に向かうベクトルに関する特徴量(VF1,…,VFm(m=Nm))が含まれている。指定範囲内特徴点に向かうベクトルに関する特徴量には、図6(c)に示すように、終点特徴点(指定範囲内特徴点)の種類ET、終点特徴点の方向ED、ベクトルの水平成分VX、垂直成分VY、ベクトルの長さVL、ベクトルの方向VD、及びベクトルを横切る隆線方向LDを示す各データが含まれる。 As shown in FIG. 6B, each feature amount data includes a horizontal coordinate (X), a vertical coordinate (Y), a feature point type (T) such as an end point or a branch point, a direction ( D), the number of feature points in the designated range (Nm), and feature quantities (VF1,..., VFm (m = Nm)) related to the vectors directed to the feature points in the designated range. As shown in FIG. 6C, the feature quantity related to the vector directed to the feature point within the designated range includes the type ET of the end point feature point (feature point within the designated range), the direction ED of the end point feature point, and the horizontal component VX of the vector. , Vertical component VY, vector length VL, vector direction VD, and ridge direction LD across the vector are included.
次に、指紋画像を照合するための照合処理について、図9及び図10に示すフローチャートを参照しながら説明する。 Next, collation processing for collating fingerprint images will be described with reference to the flowcharts shown in FIGS.
図9は、照合処理全体の処理の流れを説明するためのフローチャートである。 FIG. 9 is a flowchart for explaining the flow of the entire verification process.
まず、制御部10は、画像読取部16によって照合対象とする指紋画像の読取を実行する(ステップD1)。
First, the
制御部10は、画像読取部16により読み取られた指紋画像に対して2値化及び細線化の画像処理を施して、指紋隆線のパターンを表す画像を生成する(ステップD2)。
The
次に、制御部10は、指紋隆線の画像中から特徴点を抽出する(ステップD3)。特徴点としては、登録処理と同様にして、例えば指紋隆線が途切れた端点や、指紋隆線が分岐している分岐点を特徴点として抽出する。
Next, the
図5(b)は、指紋画像から抽出される複数の特徴点を概念的に示す図である。図5(b)では、破線によって指紋隆線のパターンを表し、複数の特徴点VM1,VM2,…VM8が抽出されたことを示している。 FIG. 5B is a diagram conceptually showing a plurality of feature points extracted from the fingerprint image. In FIG. 5 (b), a fingerprint ridge pattern is indicated by a broken line, and a plurality of feature points VM1, VM2,... VM8 are extracted.
次に、制御部10は、指紋画像から抽出された各特徴点に対する特徴量を抽出するための特徴量算出処理を実行する(ステップD4)。なお、照合処理における特徴量算出処理は、登録処理と同様にして実行されるものとして説明を省略する(図2、図3、図4、図7、図8参照)。制御部10は、特徴量算出処理によって照合用の指紋画像をもとに生成された特徴量コードデータを照合画像データ22bとしてRAM22に記憶させる。
Next, the
次に、制御部10は、合致判定処理を実行することにより、照合画像データ22bと、記憶装置20から登録画像データ20cを読み出してRAM22に記憶させた(登録画像データ22a)とを比較して、登録指紋画像と照合指紋画像の同一性を判定し、その判定結果を出力する(ステップD5,D6)。
Next, the
次に、図9に示すフローチャート中の合致判定処理について、図10に示すフローチャートを参照しながら説明する。 Next, the match determination processing in the flowchart shown in FIG. 9 will be described with reference to the flowchart shown in FIG.
以下の説明では、登録画像データ20c(22a)に含まれる特徴点EMに対する特徴量をEMF、特徴点EMに対する特徴量EMFの指定範囲内特徴点に向かうベクトルに関する特徴量をEVFとする。また、照合画像データ22bに含まれる特徴点VMに対する特徴量をVMF、特徴点VMに対する特徴量VMFの指定範囲内特徴点に向かうベクトルに関する特徴量をVVFとする。
In the following description, it is assumed that the feature quantity for the feature point EM included in the registered
まず、制御部10は、照合画像データ22bとの比較対照とする登録画像中の特徴点EMを選定する(ステップE1)。
First, the
制御部10は、条件1として、特徴点の種類T、方向D、指定範囲内特徴点数(近傍特徴点数)TNmについて比較を行う(ステップE2)。すなわち、制御部10は、選定した特徴点EMの種類T、方向D、指定範囲内特徴点数TNmと、照合画像データ22bに含まれる最初の特徴点VMの種類T、方向D、指定範囲内特徴点数TNmとをそれぞれ比較する。
As condition 1, the
種類Tについては同一、方向Dと指定範囲内特徴点数TNmについては、両者の差がそれぞれに対して設定された閾値範囲内にある場合に、条件1を満足するものと判定する。 It is determined that the condition T is satisfied when the type T is the same, and the direction D and the number of feature points TNm within the specified range are within the threshold range set for each.
条件1を満足しないと判定した場合(ステップE3、No)、制御部10は、現在対象としている特徴点VMについての合致ベクトル数MVN=0とする(ステップE6)。
When it is determined that the condition 1 is not satisfied (step E3, No), the
一方、条件1を満足すると判定した場合(ステップE3、Yes)、制御部10は、登録指紋画像中の特徴点EMから他の指定範囲内特徴点に向かうベクトルと、照合指紋画像中の特徴点VMから他の指定範囲内特徴点に向かうベクトルとの比較、すなわち特徴量EVFと特徴量VVFとの比較を行う(ステップE4)。制御部10は、特徴量EVFと特徴量VVFとの比較において、条件2として、指定範囲内特徴点に向かうベクトルに関する特徴量に含まれる終点特徴点の種類ET、終点特徴点の方向ED、ベクトルの長さVL、ベクトルの方向VD、及びベクトルを横切る隆線方向LDとをそれぞれ比較する。
On the other hand, when it is determined that the condition 1 is satisfied (step E3, Yes), the
種類ETについては同一、終点特徴点の方向ED、ベクトルの長さVL、ベクトルの方向VD、及びベクトルを横切る隆線方向LDについては、両者の差がそれぞれに対して設定された閾値範囲内にある場合に、条件2を満足するものと判定する。
Same for type ET, end point feature point direction ED, vector length VL, vector direction VD, and ridge direction LD crossing the vector, the difference between them is within the threshold range set for each In some cases, it is determined that
制御部10は、特徴量EVFと特徴量VVFのそれぞれに含まれる、各指定範囲内特徴点に向かうベクトルに関する特徴量の全ての組み合わせについて、前述した条件2について判定する。この結果、条件2を満足すると判定されたベクトル(合致ベクトル)があった場合、制御部10は、この合致ベクトル数を記憶しておく(ステップE5)。
The
次に、制御部10は、照合画像データ22bに次の特徴点VMがあれば(ステップE7、Yes)、この次の特徴点VMについて、前述と同様の処理を実行する(ステップE2〜E5)。以下、照合画像データ22bに含まれる残り全ての特徴点VMについて同様にして処理を実行し、各特徴点VMに対する合致ベクトル数を求める。
Next, if there is a next feature point VM in the collation image data 22b (step E7, Yes), the
そして、全ての特徴点VMについて、ステップE1において選定された特徴点EMとの比較が終了すると(ステップE7、No)、制御部10は、合致ベクトル数が最大となった特徴点VMを選択し、この時の合致ベクトル数を特徴点EMとの類似度Sとして記憶する(ステップE8)。
When the comparison with the feature point EM selected in step E1 is completed for all feature points VM (No in step E7), the
次に、制御部10は、登録画像データ22aに次の特徴点EMがあれば(ステップE9、Yes)、この次の特徴点EMについて、前述と同様の処理を実行する(ステップE2〜E8)。以下、同様にして、照合画像データ22bに含まれる残り全ての特徴点EMについて同様の処理を実行し、各特徴点EMに対する類似度Sを求める。
Next, if there is a next feature point EM in the registered
次に、制御部10は、条件3として、各特徴点EMについて求められた類似度Sが予め設定された閾値となっているかを判別する。そして条件3を満足する閾値Sの数をカウントする(ステップE10)。
Next, the
次に、制御部10は、条件4として、条件3の判別結果をもとにカウントした類似度Sの数(特徴点EMの数に相当する)が、登録画像データ22aと照合画像データ22bとを同一と判定するための基準値として予め設定された閾値以上となっているかを判別する。
Next, as the condition 4, the
ここで、条件4を満たすと判定された場合には(ステップE11、Yes)、制御部10は、登録画像データ22aと照合画像データ22bとが一致するものと判定する(ステップE12)。
If it is determined that the condition 4 is satisfied (step E11, Yes), the
一方、条件4を満たないと判定された場合には(ステップE11、No)、制御部10は、登録画像データ22aと照合画像データ22bとが不一致であると判定する(ステップE13)。
On the other hand, when it is determined that the condition 4 is not satisfied (No at Step E11), the
このようにして、照合処理(合致判定処理)では、特徴量EVFと特徴量VVFとの比較において、ベクトルを横切る隆線方向LDを条件に含めているので、特徴点の種類、位置、方向についての比較では正確に判定できない場合であっても、より精度良く判定することが可能なる。 Thus, in the comparison process (match determination process), the ridge direction LD across the vector is included in the condition in the comparison between the feature quantity EVF and the feature quantity VVF. Even if it is not possible to make an accurate determination by comparison, it is possible to make a more accurate determination.
なお、前述した説明では、基準特徴点Mから近傍特徴点mへのベクトルVmと交差する1本の指紋隆線の方向を特徴量として抽出するとしているが、ベクトルVmに複数の指紋隆線が交差して(横切って)いる場合には、その複数の指紋隆線のそれぞれから方向(角度)を算出して、照合に用いる特徴量として利用しても良い。この場合、全ての指紋隆線を対象としても良いし、一部の複数の指紋隆線を対象としても良い。複数の指紋隆線を選択して方向を算出する場合、それぞれの方向を特徴量としても良いし、方向(角度)の平均値を算出して特徴量としても良い。 In the above description, the direction of one fingerprint ridge that intersects the vector Vm from the reference feature point M to the neighboring feature point m is extracted as a feature quantity. However, a plurality of fingerprint ridges are included in the vector Vm. When intersecting (crossing), a direction (angle) may be calculated from each of the plurality of fingerprint ridges and used as a feature amount used for matching. In this case, all fingerprint ridges may be targeted, or some of the plurality of fingerprint ridges may be targeted. When calculating a direction by selecting a plurality of fingerprint ridges, each direction may be used as a feature amount, or an average value of directions (angles) may be calculated and used as a feature amount.
また、ベクトルVmに交差する中間点と最近傍の指紋隆線を選択して、この指紋隆線の方向を特徴量として抽出するとしているが、基準特徴点M及び近傍特徴点mのそれぞれと最近傍の指紋隆線を選択して方向を抽出しても良い。この場合、それぞれの指紋隆線から算出した方向の平均値を算出して特徴量としても良い。また、基準特徴点Mあるいは近傍特徴点mの何れか一方に最近傍の指紋隆線を選択して方向を抽出しても良い。 In addition, an intermediate point that intersects the vector Vm and the nearest fingerprint ridge are selected, and the direction of the fingerprint ridge is extracted as a feature quantity. The direction may be extracted by selecting a nearby fingerprint ridge. In this case, an average value in the direction calculated from each fingerprint ridge may be calculated as the feature amount. Further, the direction may be extracted by selecting the nearest fingerprint ridge for either the reference feature point M or the neighboring feature point m.
また、ベクトルVmと交差する中間点と最近傍の指紋隆線と、基準特徴点M及び近傍特徴点mのそれぞれと最近傍の指紋隆線の3本の指紋隆線を選択し、それぞれの指紋隆線から算出された方向を特徴量としても良い。 In addition, three fingerprint ridges, that is, an intermediate point intersecting the vector Vm and the nearest fingerprint ridge, each of the reference feature point M and the neighborhood feature point m, and the nearest fingerprint ridge are selected, and each fingerprint is selected. The direction calculated from the ridge may be used as the feature amount.
また、指紋照合装置を実現するコンピュータに実行させることのできる登録プログラム及び照合プログラムを、例えば磁気ディスク(フレキシブルディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリなどの記録媒体に書き込んで、あるいは通信媒体を通じて提供することができる。登録プログラム及び照合プログラムによりコンピュータの動作を制御することで、前述した実施形態における機能を実現することができる。 In addition, a registration program and a verification program that can be executed by a computer that implements a fingerprint verification device are stored in a recording medium such as a magnetic disk (flexible disk, hard disk, etc.), an optical disk (CD-ROM, DVD, etc.), a semiconductor memory, etc. It can be written or provided through a communication medium. By controlling the operation of the computer by the registration program and the verification program, the functions in the above-described embodiments can be realized.
10…制御部、12…表示部、14…キー入力部、16…画像読取部、20…記憶装置、20a…登録プログラム、20b…照合プログラム、22…RAM、20c,22a…登録画像データ、22b…照合画像データ。
DESCRIPTION OF
Claims (6)
前記登録指紋画像と前記照合指紋画像のそれぞれの指紋画像から指紋隆線を抽出する隆線抽出手段と、
前記登録指紋画像と前記照合指紋画像のそれぞれの指紋画像から複数の特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段によって抽出された1つの特徴点から一定範囲にある他の特徴点に向かうベクトルを設定するベクトル設定手段と、
前記ベクトル設定手段により設定されたベクトルとこのベクトルを横切る前記隆線抽出手段によって抽出された指紋隆線とのなす角度を算出し、この角度を隆線方向とする隆線方向算出手段と、
前記登録指紋画像と前記照合指紋画像のそれぞれにおいて前記ベクトル設定手段により設定されたベクトルを比較すると共に前記隆線方向算出手段により算出された指紋隆線の方向を比較して、前記登録指紋画像と前記照合指紋画像の同一性を判定する判定手段と
を具備したことを特徴とする指紋照合装置。 A fingerprint collation device that compares a registered fingerprint image and a collation fingerprint image to determine identity,
A ridge extraction means for extracting a fingerprint ridge from the fingerprint image of each of the registered fingerprint image and the verification fingerprint image ;
A feature point extracting means for extracting a plurality of feature points from each fingerprint image of the registered fingerprint image and the verification fingerprint image ;
And vector setting means for setting a vector from one feature point extracted by pre-Symbol feature point extracting means toward the other feature points in the predetermined range,
Calculating an angle between the vector set by the vector setting unit and the fingerprint ridge extracted by the ridge extraction unit crossing the vector, and setting the angle as a ridge direction ;
The registered fingerprint image is compared with the vector set by the vector setting unit in each of the registered fingerprint image and the direction of the fingerprint ridge calculated by the ridge direction calculating unit. A fingerprint collation apparatus comprising: a determination unit that determines the identity of the collation fingerprint image.
前記判定手段は、前記ベクトル特徴量算出手段によって算出されたベクトルの特徴量を比較して、前記登録指紋画像と前記照合指紋画像の同一性を判定することを特徴とする請求項1記載の指紋照合装置。 A vector feature amount calculating unit that calculates a horizontal component, a vertical component, and a vector length of the vector as the feature amount of the vector set by the vector setting unit from each of the registered fingerprint image and the collation fingerprint image;
The determination means compares the feature quantity vector calculated by the vector feature quantity calculating means, a fingerprint according to claim 1, wherein the determining the identity of the collation fingerprint image and the registered fingerprint image Verification device.
前記ベクトル設定手段により設定されたベクトルの中間点の最近傍にある指紋隆線を選定し、
この選定した指紋隆線と前記ベクトルとの交点から指紋隆線上を所定範囲内まで追跡して点を算出し、
前記交点から前記点へのベクトルと前記ベクトル設定手段により設定されたベクトルとのなす角度を求めて、前記指紋隆線の方向とすることを特徴とする請求項1記載の指紋照合装置。 The ridge direction calculation means includes:
Select the fingerprint ridge that is closest to the midpoint of the vector set by the vector setting means,
Trace the point on the fingerprint ridge from the intersection of the selected fingerprint ridge and the vector to a predetermined range, and calculate the point.
2. The fingerprint collation apparatus according to claim 1, wherein an angle formed by a vector from the intersection to the point and a vector set by the vector setting unit is obtained and set as a direction of the fingerprint ridge.
前記ベクトル設定手段により設定されたベクトルを横切る複数の指紋隆線のうち、前記1つの特徴点か前記他の特徴点の何れか1つの最近傍にある指紋隆線を選定し、
この選定した各指紋隆線と前記ベクトルとの交点から指紋隆線上を所定範囲内まで追跡して点を算出し、
前記交点から前記点へのベクトルと前記ベクトル設定手段により設定されたベクトルとのなす角度を求めて、前記指紋隆線の方向とすることを特徴とする請求項1の指紋照合装置。 The ridge direction calculation means includes:
Among the plurality of fingerprint ridges crossing the vector set by the vector setting means , select the fingerprint ridge closest to any one of the one feature point or the other feature points ,
The point is calculated by tracing the fingerprint ridge to the predetermined range from the intersection of each selected fingerprint ridge and the vector,
Seeking an angle between the set vector by vector and the vector setting means to said point from the intersection of the fingerprint collation apparatus according to claim 1, characterized in that the direction of the fingerprint ridge.
前記ベクトル設定手段により設定されたベクトルを横切る複数の指紋隆線を選択し、
この選択した複数の指紋隆線のそれぞれについて、前記指紋隆線と前記ベクトルとの交点から指紋隆線上を所定範囲内まで追跡して点を算出し、
前記交点から前記点へのベクトルと前記ベクトル設定手段により設定されたベクトルとのなす角度の平均値を求めて、前記指紋隆線の方向とすることを特徴とする請求項1記載の指紋照合装置。 The ridge direction calculation means includes:
Selecting a plurality of fingerprint ridges across the vector set by the vector setting means;
For each of the selected plurality of fingerprint ridges, a point is calculated by tracing the fingerprint ridges from the intersection of the fingerprint ridges and the vector to a predetermined range,
2. The fingerprint collation apparatus according to claim 1, wherein an average value of an angle formed by a vector from the intersection to the point and a vector set by the vector setting unit is obtained and set as a direction of the fingerprint ridge. .
前記登録指紋画像と前記照合指紋画像のそれぞれの指紋画像から指紋隆線を抽出する隆線抽出行程と、
前記登録指紋画像と前記照合指紋画像のそれぞれの前記指紋画像から複数の特徴点を抽出する特徴点抽出行程と、
前記特徴点抽出行程によって抽出された1つの特徴点から一定範囲にある他の特徴点に向かうベクトルを設定するベクトル設定行程と、
前記ベクトル設定行程により設定されたベクトルとこのベクトルを横切る前記隆線抽出行程によって抽出された指紋隆線とのなす角度を算出し、この角度を隆線方向とする隆線方向算出行程と、
前記登録指紋画像と前記照合指紋画像のそれぞれにおいて前記ベクトル設定手段により設定されたベクトルを比較すると共に前記隆線方向算出行程により算出された指紋隆線の方向を比較して、前記登録指紋画像と前記照合指紋画像の同一性を判定する判定行程と
を有したことを特徴とする指紋照合方法。 A fingerprint verification method for comparing identity between a registered fingerprint image and a verification fingerprint image,
A ridge extraction step of extracting a fingerprint ridge from each fingerprint image of the registered fingerprint image and the verification fingerprint image ;
A feature point extraction step of extracting a plurality of feature points from each of the fingerprint images of the registered fingerprint image and the verification fingerprint image ;
And a vector setting step of setting a vector from one feature point extracted by pre-Symbol feature point extraction stroke towards the other feature points in the predetermined range,
Calculating an angle between the vector set in the vector setting step and the fingerprint ridge extracted in the ridge extraction step crossing the vector , and a ridge direction calculating step in which the angle is a ridge direction ;
Compare the vector set by the vector setting means in each of the registered fingerprint image and the verification fingerprint image and compare the direction of the fingerprint ridge calculated by the ridge direction calculation step, and the registered fingerprint image And a determination step of determining the identity of the verification fingerprint image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006095980A JP4735372B2 (en) | 2006-03-30 | 2006-03-30 | Fingerprint verification device and fingerprint verification method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006095980A JP4735372B2 (en) | 2006-03-30 | 2006-03-30 | Fingerprint verification device and fingerprint verification method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007272470A JP2007272470A (en) | 2007-10-18 |
| JP4735372B2 true JP4735372B2 (en) | 2011-07-27 |
Family
ID=38675226
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006095980A Expired - Fee Related JP4735372B2 (en) | 2006-03-30 | 2006-03-30 | Fingerprint verification device and fingerprint verification method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4735372B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5451765B2 (en) | 2009-08-25 | 2014-03-26 | 日本電気株式会社 | Striped pattern image examination support device, striped pattern image examination support method, and program |
| JP6442873B2 (en) * | 2014-05-30 | 2018-12-26 | 日本電気株式会社 | Fingerprint image processing apparatus, fingerprint image processing method and program |
| WO2025163745A1 (en) * | 2024-01-30 | 2025-08-07 | 日本電気株式会社 | Information processing device, information processing method, and recording medium |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001076142A (en) * | 1999-09-01 | 2001-03-23 | Nippon Telegr & Teleph Corp <Ntt> | Fingerprint image collation method and apparatus, and recording medium recording this method |
| JP2006059282A (en) * | 2004-08-24 | 2006-03-02 | Fujitsu Ltd | Authentication method based on biometric feature information |
-
2006
- 2006-03-30 JP JP2006095980A patent/JP4735372B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007272470A (en) | 2007-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107391014B (en) | Intelligent touch screen keyboard with finger identification function | |
| JP5202037B2 (en) | Feature point position determination method and apparatus | |
| US8436821B1 (en) | System and method for developing and classifying touch gestures | |
| JP5020395B2 (en) | Image processing apparatus and image processing method | |
| US20160063298A1 (en) | Guided fingerprint enrollment | |
| JP6003492B2 (en) | Character recognition device and program | |
| KR101158679B1 (en) | Method for directly inputting figure on electronic document, and computer-readable recording medium storing program of directly inputting figure on electronic document | |
| JP2002133416A (en) | Personal authentication system using fingerprint information, registration / authentication method for the system, and determination method for the system | |
| CN113569638B (en) | Method and apparatus for estimating three-dimensional finger pose from planar fingerprints | |
| JPWO2020050413A1 (en) | Face image candidate determination device for authentication, face image candidate determination method for authentication, program, and recording medium | |
| JP7031762B2 (en) | Feature generator, system, feature generator method and program | |
| JP6272069B2 (en) | Information processing apparatus, information processing method, computer program, and recording medium | |
| WO2021130888A1 (en) | Learning device, estimation device, and learning method | |
| JP6821751B2 (en) | Methods, systems, and computer programs for correcting mistyping of virtual keyboards | |
| JP6128910B2 (en) | Learning device, learning method and program | |
| JP4735372B2 (en) | Fingerprint verification device and fingerprint verification method | |
| CN118097793B (en) | Self-adaptive interface gesture operation control system and control method thereof | |
| KR20230072851A (en) | A landmark-based ensemble network creation method for facial expression classification and a facial expression classification method using the generated ensemble network | |
| JP2019121022A (en) | Biometric authentication device, biometric authentication program, and biometric authentication method | |
| JP6892155B2 (en) | Human body part estimation device, human body part estimation method, and program | |
| JP2007272473A (en) | Character recognition apparatus, method and program | |
| JP2026501527A (en) | IDENTITY VERIFICATION METHOD, IDENTITY VERIFICATION APPARATUS, COMPUTER DEVICE, AND COMPUTER PROGRAM | |
| JP2007272769A (en) | Fingerprint verification device and fingerprint verification method | |
| US20250316077A1 (en) | Information processing apparatus, information processing method, and non-transitory recording medium | |
| CN112507822B (en) | Method for responding to system instruction based on gesture action |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090313 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101124 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110114 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110329 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110411 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140513 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |