JP6683033B2 - Biometric authentication device, biometric authentication method, and biometric authentication program - Google Patents
Biometric authentication device, biometric authentication method, and biometric authentication program Download PDFInfo
- Publication number
- JP6683033B2 JP6683033B2 JP2016125781A JP2016125781A JP6683033B2 JP 6683033 B2 JP6683033 B2 JP 6683033B2 JP 2016125781 A JP2016125781 A JP 2016125781A JP 2016125781 A JP2016125781 A JP 2016125781A JP 6683033 B2 JP6683033 B2 JP 6683033B2
- Authority
- JP
- Japan
- Prior art keywords
- blood vessel
- authentication
- image
- unit
- biometric
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Description
本発明は、生体認証装置、生体認証方法、及び生体認証プログラムに関する。 The present invention relates to a biometric authentication device, a biometric authentication method, and a biometric authentication program.
近代社会では様々なシチュエーションにおいて本人確認が必要とされており、本人確認を精度よく行う一つの方法として、指紋・静脈・顔画像など人体の一部の特徴を利用した生体認証技術が近年広まってきている。 In modern society, identity verification is required in various situations, and biometric authentication technology that uses part of the human body such as fingerprints, veins, and facial images has become widespread in recent years as one method of accurately verifying identity. ing.
この種の生体認証技術は、例えば、許可された人しか入ることのできない制限エリアへの入退室の可否判定や、パソコンへのログイン判定や、オンライン取引における利用者確認など様々なサービスへのアクセスの可否などで既に広く利用されている。 This type of biometrics technology can be used to access various services, such as determining whether a person can enter or leave a restricted area where only authorized people can enter, determining whether to log in to a personal computer, and confirming users in online transactions. It is already widely used depending on whether or not.
生体認証技術としては、従来から指紋認証等が広く知られているが、指紋のように体の表面に出ている情報は偽造されてしまうリスクがあるなどの欠点がある。これに対し、静脈パターンなど皮下の情報を用いる技術であれば容易に偽造ができないためセキュリティが高い認証技術として実用化されている。 Fingerprint authentication and the like have been widely known as biometric authentication technology, but they have a drawback in that there is a risk that information such as fingerprints appearing on the surface of the body is forged. On the other hand, a technique that uses subcutaneous information such as a vein pattern cannot be easily forged, and is therefore put into practical use as a highly secure authentication technique.
例えば、手のひらに近赤外線を照射して近赤外波長領域の画像を撮像すると、手のひらの皮下の静脈が黒く映った画像を得ることができる。この手のひらを網目のように流れる静脈の画像パターン情報を抽出すると、その画像パターン情報は全ての人で異なっている。静脈パターンは、遺伝子情報に依存せず、胎児の際の身体形成時に様々な偶然的な要因によりその血管走行網が決まるとされている。このため、上記のように、静脈パターンは全ての人で異なっており、双子でも異なる。更に、同一人物の左右の手の静脈パターンも異なっている。よって、その画像パターン情報を予めデータベースやICカードなどに記録しておき、個人認証が必要とされる様々なシチュエーションにおいて、その画像パターンを比較してパターンの類似度を算出することにより、本人確認などの用途に利用することができる。静脈パターンは、近赤外線など、皮膚を透過する光の波長帯で生体を撮像した画像を解析することで取得することができる。生体においては、静脈の通っていない部分に比べ、静脈が通っている部分は近赤外線の吸収率が高い。そのため近赤外線波長で撮影した画像で黒く映る部分を抽出することで、静脈の走行パターンを得ることができる。 For example, when the palm is irradiated with near-infrared rays and an image in the near-infrared wavelength region is captured, an image in which the subcutaneous veins of the palm appear black can be obtained. When the image pattern information of veins flowing like a mesh through the palm is extracted, the image pattern information is different for all people. It is said that the venous pattern does not depend on genetic information, and its vascular network is determined by various accidental factors during body formation during fetus development. Therefore, as described above, the vein pattern is different for all persons, and also different for twins. Furthermore, the vein patterns of the left and right hands of the same person are different. Therefore, by preliminarily recording the image pattern information in a database, an IC card, or the like, and comparing the image patterns in various situations where individual authentication is required, and calculating the pattern similarity, the identity verification is performed. It can be used for such purposes. The vein pattern can be acquired by analyzing an image obtained by imaging a living body in a wavelength band of light that passes through the skin, such as near infrared rays. In a living body, a portion through which a vein has a higher absorption rate of near infrared rays than a portion through which a vein does not pass. Therefore, the vein running pattern can be obtained by extracting the portion that appears black in the image captured with the near-infrared wavelength.
静脈パターンは基本的に人体のどの部分でも撮影することが可能であるが、使い勝手や認証精度に関わる情報量の点で、特に、手のひらの静脈パターンを利用した生体認証技術が広く使われている。 Basically, vein patterns can be photographed on any part of the human body, but biometric authentication using palm vein patterns is widely used in terms of the amount of information related to usability and authentication accuracy. .
また、静脈パターンを利用した生体認証技術の1つとして、静脈パターンを比較する際に、走行パターンに加え血管の濃淡の情報を利用する技術が知られている(例えば、特許文献1を参照)。 In addition, as one of biometric authentication techniques using a vein pattern, there is known a technique that uses information on the lightness and darkness of a blood vessel in addition to a traveling pattern when comparing vein patterns (for example, see Patent Document 1). .
更に、上記の生体認証技術においては、例えば、指紋を利用した認証と静脈パターンを利用した認証とを組み合わせる等の方法で、より安全性の高い認証精度を提供する技術が知られている(例えば、特許文献2を参照)。 Further, in the above-mentioned biometric authentication technology, for example, there is known a technology that provides more secure authentication accuracy by a method of combining authentication using a fingerprint with authentication using a vein pattern (for example, , Patent Document 2).
静脈の走行パターンを利用する静脈認証においては、静脈の二次元的な走行パターンの一致度に基づいて本人か他人かを判定する。ところが、二次元的な走行パターンだけを見ると、実際には異なる血管であるにも関わらず、似たような走行経路を通っている血管が存在することもある。このため、二次元的な走行パターンを利用する静脈認証では、実際には異なる走行パターンを、誤って一致していると誤判定してしまう場合がある。血管の走行パターンを比較する認証方法では、このような誤りが発生すると認証精度が劣化する原因になりうる。 In vein authentication using a vein travel pattern, it is determined whether the person is the other person or another person based on the degree of coincidence between the two-dimensional vein travel patterns. However, looking only at the two-dimensional traveling pattern, there are cases where there are blood vessels that follow similar traveling paths, although they are actually different blood vessels. Therefore, in vein authentication that uses a two-dimensional travel pattern, different travel patterns may actually be erroneously determined to match. In the authentication method that compares the travel patterns of blood vessels, such an error may cause deterioration in authentication accuracy.
1つの側面において、本発明は、生体の静脈パターンを利用した生体認証における認証精度の向上を目的とする。 In one aspect, the present invention aims to improve authentication accuracy in biometric authentication using a vein pattern of a living body.
本発明の1つの態様では、生体認証装置は、血管像抽出部と、血管パターン作成部と、安定度決定部と、認証部と、を備える。血管像抽出部は、生体内を走行する血管の像を含む生体画像を取得し、当該生体画像から二次元の血管パターンの像を抽出する。血管パターン作成部は、二次元の血管パターンにおける血管の走行方向の各位置での血管幅又は輝度に基づいて、血管幅又は輝度を深さ方向の次元として二次元の血管パターンの像に付加した三次元の血管パターンを作成する。安定度決定部は、二次元の血管パターンの像における血管の走行方向の各位置での血管幅の方向の輝度の断面形状と、血管の抽出安定度と血管の輝度の断面形状との関係と、に基づいて、血管の走行方向の各位置における抽出安定度を決定する。血管の抽出安定度は、生体画像から血管が抽出される度合いを表す。認証部は、三次元の血管パターンと抽出安定度とを含む生体データに基づいて、認証の可否を判定する。 In one aspect of the present invention, the biometric authentication device includes a blood vessel image extraction unit, a blood vessel pattern creation unit, a stability determination unit, and an authentication unit. The blood vessel image extraction unit acquires a biometric image including an image of a blood vessel traveling in the living body and extracts a two-dimensional blood vessel pattern image from the biometric image. The blood vessel pattern creation unit adds the blood vessel width or brightness to the image of the two-dimensional blood vessel pattern as a dimension in the depth direction based on the blood vessel width or brightness at each position in the running direction of the blood vessel in the two-dimensional blood vessel pattern. Create a three-dimensional blood vessel pattern. The stability determination unit, the cross-sectional shape of the luminance in the direction of the blood vessel width at each position in the running direction of the blood vessel in the image of the two-dimensional blood vessel pattern, the relationship between the extraction stability of the blood vessel and the cross-sectional shape of the luminance of the blood vessel. , The extraction stability at each position in the running direction of the blood vessel is determined. The blood vessel extraction stability represents the degree to which blood vessels are extracted from a biometric image. The authentication unit determines whether the authentication is possible based on the biometric data including the three-dimensional blood vessel pattern and the extraction stability.
上述の態様によれば、生体の静脈パターンを利用した生体認証の認証精度が向上する。 According to the above aspect, the authentication accuracy of biometric authentication using the vein pattern of the living body is improved.
[第1の実施形態]
図1は、第1の実施形態に係る生体認証装置の機能的構成を示す図である。
図1に示すように、本実施形態の生体認証装置1は、処理選択部110と、画像取得部120と、データ作成部130と、認証部140と、テンプレートデータベース150と、を備える。
[First Embodiment]
FIG. 1 is a diagram showing a functional configuration of the biometric authentication device according to the first embodiment.
As shown in FIG. 1, the biometric authentication device 1 of this embodiment includes a process selection unit 110, an image acquisition unit 120, a data creation unit 130, an authentication unit 140, and a template database 150.
処理選択部110は、生体認証装置1に接続された入力装置2からの入力信号に基づいて、生体認証装置1においてテンプレートを登録する処理と、認証処理とのどちらを行うかを選択する(決定する)。入力装置2は、例えば、キーボード装置やタッチパネル装置等である。テンプレートを登録する処理は、例えば、生体認証装置1が認証する人物(認証対象者)についての登録用の生体データ(テンプレート)を作成しテンプレートデータベース150に登録する処理である。認証処理は、生体認証装置1による認証を受けようとする人物(認証希望者)についての生体データを作成し、当該生体データと、テンプレートデータベース150に登録されたテンプレートとに基づいて認証希望者を認証するか否かを判定する処理である。本実施形態の生体認証装置1は、生体データとして、人の手のひらにおける血管(静脈)の走行パターンを利用する。以下の説明では、テンプレートとして用いる生体データを登録データともいう。また、以下の説明では、登録データと照合する、認証希望者についての生体データを入力生体データともいう。 The processing selection unit 110 selects, based on an input signal from the input device 2 connected to the biometric authentication device 1, whether to perform template registration processing or authentication processing in the biometric authentication device 1 (determination). To). The input device 2 is, for example, a keyboard device, a touch panel device, or the like. The process of registering the template is, for example, a process of creating biometric data (template) for registration of a person (authentication target person) authenticated by the biometric authentication device 1 and registering it in the template database 150. In the authentication processing, biometric data of a person (authentication requesting person) who is going to be authenticated by the biometric authentication device 1 is created, and the authentication requesting person is identified based on the biometric data and the template registered in the template database 150. This is a process of determining whether or not to authenticate. The biometric authentication device 1 according to the present embodiment uses a travel pattern of blood vessels (veins) in the palm of a person as biometric data. In the following description, the biometric data used as a template is also referred to as registration data. Further, in the following description, the biometric data of the authentication applicant, which is collated with the registration data, is also referred to as input biometric data.
画像取得部120は、生体認証装置1に接続された生体画像撮像装置3から認証対象者を含む認証希望者の生体画像を取得する。本実施形態で用いる生体画像撮像装置3は、手のひらに近赤外線を照射し、手のひらの皮下の静脈を含む生体画像を撮像する装置である。以下の説明では、生体画像撮像装置3のことを単に撮像装置3ともいう。 The image acquisition unit 120 acquires the biometric image of the authentication applicant including the authentication target person from the biometric image capturing device 3 connected to the biometric authentication device 1. The biometric image capturing device 3 used in the present embodiment is a device that irradiates the palm with near-infrared rays and captures a biometric image including a subcutaneous vein of the palm. In the following description, the biological image capturing device 3 is also simply referred to as the image capturing device 3.
データ作成部130は、撮像装置3から取得した生体画像における血管の像に基づいて、複数のセグメント(部分血管)で表現される三次元の血管パターンと、当該血管パターンにおける各セグメントの抽出安定度と、を含む生体データを作成する。三次元の血管パターンにおける複数のセグメントは、それぞれ、生体画像内の平面化された手のひらにおける位置を表す二次元の情報(2個の座標値)と、当該セグメントと対応する血管の特徴量を表す一次元の情報(1個の座標値)と、を持つ。血管の特徴量は、例えば、血管幅(血管の太さ)や、生体画像内における血管の輝度等とする。また、抽出安定度は、データ作成部103において生体画像から血管の像を抽出する際にセグメントが安定的に抽出される度合いを表す値である。 The data creation unit 130, based on the image of the blood vessel in the biometric image acquired from the imaging device 3, the three-dimensional blood vessel pattern represented by a plurality of segments (partial blood vessels) and the extraction stability of each segment in the blood vessel pattern. Create biometric data including and. Each of the plurality of segments in the three-dimensional blood vessel pattern represents two-dimensional information (two coordinate values) indicating the position on the flattened palm in the biometric image and the feature amount of the blood vessel corresponding to the segment. It has one-dimensional information (one coordinate value). The characteristic amount of the blood vessel is, for example, the blood vessel width (the thickness of the blood vessel), the brightness of the blood vessel in the biological image, or the like. The extraction stability is a value indicating the degree to which a segment is stably extracted when the data creation unit 103 extracts a blood vessel image from a biological image.
処理選択部110においてテンプレートを登録する処理が選択された場合、データ作成部130は、作成した生体データをテンプレートとしてテンプレートデータベース150に登録する。一方、処理選択部110において認証処理が選択された場合、データ作成部130は、作成した生体データを入力生体データとして認証部140に送信する。 When the process selecting unit 110 selects the process of registering the template, the data creating unit 130 registers the created biometric data as a template in the template database 150. On the other hand, when the authentication process is selected by the process selection unit 110, the data creation unit 130 transmits the created biometric data to the authentication unit 140 as input biometric data.
データ抽出部130は、血管像抽出部131と、血管分割部132と、血管パターン作成部133と、安定度決定部134と、を含む。血管像抽出部131は、生体画像から血管の像を抽出する。血管分割部132は、抽出した血管の像を複数のセグメントに分割する。血管パターン作成部133は、セグメント毎に生体画像内(xy平面)における位置を表す2個の座標値と、血管についての所定の特徴量に基づく奥行き方向(z方向)の座標値と、を算出し、三次元の血管パターンを作成する。安定度決定部134は、血管パターンにおける各セグメントの抽出安定度を決定する。 The data extraction unit 130 includes a blood vessel image extraction unit 131, a blood vessel division unit 132, a blood vessel pattern creation unit 133, and a stability determination unit 134. The blood vessel image extraction unit 131 extracts a blood vessel image from the biometric image. The blood vessel dividing unit 132 divides the extracted blood vessel image into a plurality of segments. The blood vessel pattern creation unit 133 calculates, for each segment, two coordinate values representing a position in the biometric image (xy plane) and a coordinate value in the depth direction (z direction) based on a predetermined feature amount of the blood vessel. Then, a three-dimensional blood vessel pattern is created. The stability determination unit 134 determines the extraction stability of each segment in the blood vessel pattern.
認証部140は、データ作成部130から受け取った入力生体データと、テンプレートデータベース150に登録されたテンプレートとに基づいて、認証処理を行う。認証部140は、認証処理の結果を表示装置4に出力する。表示装置4は、認証処理の結果、すなわち認証に成功したか失敗したかを表示する装置である。また、認証に成功した場合、認証部140は、要認証装置5に所定の動作又は処理を実行させる。要認証装置5は、認証に成功した場合にのみ行われる動作又は処理を含む、各種の動作又は処理を行う装置である。要認証装置5は、例えば、扉が閉まると当該扉が開かないよう施錠し、認証に成功した場合にのみ開錠する自動施錠装置である。 The authentication unit 140 performs the authentication process based on the input biometric data received from the data creation unit 130 and the template registered in the template database 150. The authentication unit 140 outputs the result of the authentication process to the display device 4. The display device 4 is a device that displays the result of the authentication process, that is, whether the authentication has succeeded or failed. If the authentication is successful, the authentication unit 140 causes the authentication-requiring device 5 to execute a predetermined operation or process. The authentication-requiring device 5 is a device that performs various operations or processes including operations or processes performed only when authentication is successful. The authentication-requiring device 5 is, for example, an automatic locking device that locks the door so that the door does not open when the door is closed, and unlocks only when the authentication is successful.
図2は、データ作成部の機能的構成を示す図である。
上記の通り、本実施形態の生体認証装置1におけるデータ作成部130は、血管像抽出部131と、血管分割部132と、血管パターン作成部133と、安定度決定部134と、を含む。また、データ作成部130は、図2に示すように、データ出力部135を、更に含む。
FIG. 2 is a diagram showing a functional configuration of the data creation unit.
As described above, the data creation unit 130 in the biometric authentication device 1 of the present embodiment includes the blood vessel image extraction unit 131, the blood vessel division unit 132, the blood vessel pattern creation unit 133, and the stability determination unit 134. The data creation unit 130 further includes a data output unit 135, as shown in FIG.
血管像抽出部131は、撮像装置3で撮像した生体画像から血管の像を抽出する。血管像抽出部131は、処理選択部110から選択された処理の情報を受け取ると、画像取得部120を介して撮像装置3で撮像した生体画像を取得する。その後、血管像抽出部131は、取得した生体画像から血管の像を抽出する。 The blood vessel image extraction unit 131 extracts a blood vessel image from the biometric image captured by the imaging device 3. When the blood vessel image extraction unit 131 receives the information on the selected process from the process selection unit 110, the blood vessel image extraction unit 131 acquires the biometric image captured by the imaging device 3 via the image acquisition unit 120. After that, the blood vessel image extraction unit 131 extracts a blood vessel image from the acquired biological image.
血管分割部132は、抽出した血管の像を複数のセグメント(部分血管)に分割し、セグメント毎に、仮想三次元空間のxy平面内におけるセグメントの位置を表す二次元の座標値を算出する。仮想三次元空間は、x軸、y軸、及びz軸が互いに直交した3次元直交座標系である。 The blood vessel dividing unit 132 divides the extracted blood vessel image into a plurality of segments (partial blood vessels), and calculates, for each segment, a two-dimensional coordinate value representing the position of the segment in the xy plane of the virtual three-dimensional space. The virtual three-dimensional space is a three-dimensional orthogonal coordinate system in which the x axis, the y axis, and the z axis are orthogonal to each other.
血管パターン作成部133は、セグメント毎に、生体画像における血管幅(血管の太さ)に基づいて、仮想三次元空間のz軸方向の座標値(奥行き値)を算出してセグメントの位置を表す二次元の座標値と対応付け、三次元の血管パターンを作成する。血管パターン作成部133は、血管幅抽出部133aと、奥行き値算出部133bと、パターン三次元化部133cと、を含む。 The blood vessel pattern creation unit 133 calculates the coordinate value (depth value) in the z-axis direction of the virtual three-dimensional space for each segment based on the blood vessel width (blood vessel thickness) in the biometric image, and represents the position of the segment. A three-dimensional blood vessel pattern is created in association with two-dimensional coordinate values. The blood vessel pattern creation unit 133 includes a blood vessel width extraction unit 133a, a depth value calculation unit 133b, and a pattern three-dimensionalization unit 133c.
血管幅抽出部133aは、生体画像においてセグメントと対応する部分血管の幅(太さ)を、セグメントの線幅情報として抽出する。 The blood vessel width extraction unit 133a extracts the width (thickness) of the partial blood vessel corresponding to the segment in the biometric image as the line width information of the segment.
奥行き値算出部133bは、抽出したセグメントの線幅情報に基づいて、血管パターンを表現する仮想三次元空間におけるセグメントの奥行き値を算出する。 The depth value calculation unit 133b calculates the depth value of the segment in the virtual three-dimensional space expressing the blood vessel pattern, based on the extracted line width information of the segment.
パターン三次元化部133cは、セグメントのxy平面内の位置を表す二次元の座標値と、奥行き値算出部133bで算出した奥行き値とを対応付け、二次元の血管パターンを三次元の血管パターンに再構築する(変換する)。 The pattern three-dimensionalization unit 133c associates the two-dimensional coordinate values representing the position of the segment in the xy plane with the depth value calculated by the depth value calculation unit 133b, and converts the two-dimensional blood vessel pattern into the three-dimensional blood vessel pattern. Rebuild (convert) to.
安定度決定部134は、血管パターンにおける各セグメントの抽出安定度を決定する。抽出安定度は、上記のように、生体画像から血管の像を抽出した際に、セグメントが安定して抽出される度合いを表す値である。安定度決定部134は、輝度断面抽出部134aと、安定度算出部134bと、を含む。 The stability determination unit 134 determines the extraction stability of each segment in the blood vessel pattern. The extraction stability is a value indicating the degree of stable extraction of the segment when the blood vessel image is extracted from the biological image as described above. The stability determination unit 134 includes a luminance cross section extraction unit 134a and a stability calculation unit 134b.
輝度断面抽出部134aは、セグメントと対応する生体画像内の部分血管における血管幅方向の輝度断面を抽出する。輝度断面は、血管幅方向の輝度の変化を表す情報である。 The luminance cross section extracting unit 134a extracts a luminance cross section in the blood vessel width direction in the partial blood vessel in the biometric image corresponding to the segment. The luminance cross section is information representing a change in luminance in the blood vessel width direction.
安定度算出部134bは、セグメントの輝度断面における輝度の変化パターンに基づいて、当該セグメントの抽出安定度を算出する。 The stability calculation unit 134b calculates the extraction stability of the segment based on the change pattern of the brightness in the brightness cross section of the segment.
データ出力部135は、処理選択部110の選択結果に基づいて、三次元の血管パターンと、当該血管パターンにおける各セグメントに対応付けた抽出安定度と、を含む生体データを出力する。処理選択部110においてテンプレートを登録する処理が選択された場合、データ出力部135は、作成した生体データを出力する処理として、当該生体データをテンプレートデータベース150に登録する処理を行う。一方、処理選択部110においてテンプレートを登録する処理が選択された場合、データ出力部135は、作成した生体データを入力生体データとして認証部140に出力する。 The data output unit 135 outputs the biometric data including the three-dimensional blood vessel pattern and the extraction stability associated with each segment in the blood vessel pattern, based on the selection result of the processing selection unit 110. When the process selecting unit 110 selects the process of registering the template, the data output unit 135 performs a process of registering the created biometric data in the template database 150 as a process of outputting the created biometric data. On the other hand, when the process selecting unit 110 selects the process of registering the template, the data output unit 135 outputs the created biometric data to the authentication unit 140 as the input biometric data.
図3は、第1の実施形態に係る生体認証装置における認証部の機能的構成を示す図である。 FIG. 3 is a diagram showing a functional configuration of an authentication unit in the biometric authentication device according to the first embodiment.
図3に示すように、本実施形態の生体認証装置1における認証部140は、簡易位置合わせ部141と、照合信頼度算出部142と、照合部143と、判定部144と、を含む。 As shown in FIG. 3, the authentication unit 140 in the biometric authentication device 1 of the present embodiment includes a simple alignment unit 141, a matching reliability calculation unit 142, a matching unit 143, and a determination unit 144.
簡易位置合わせ部141は、データ作成部130から取得した入力生体データの血管パターンと、テンプレートデータベース150に登録されたテンプレートの血管パターンとの簡易的な位置合わせ(大まかな位置合わせ)を行う。簡易位置合わせ部141は、例えば、入力生体データにおける抽出安定度の高いセグメントと、テンプレートにおける抽出安定度の高いセグメントとに基づいて、仮想三次元空間内における血管パターン同士の大まかな位置合わせを行う。 The simple alignment unit 141 performs simple alignment (rough alignment) between the blood vessel pattern of the input biometric data acquired from the data creation unit 130 and the blood vessel pattern of the template registered in the template database 150. The simple alignment unit 141 roughly aligns the blood vessel patterns in the virtual three-dimensional space based on, for example, the segment having high extraction stability in the input biometric data and the segment having high extraction stability in the template. .
照合信頼度算出部142は、大まかな位置合わせを行った後の各血管パターンにおけるセグメントの位置関係に基づいて、入力生体データのセグメントと、テンプレートのセグメントとのセグメント対の照合信頼度を算出する。照合信頼度算出部142は、仮想三次元空間内での距離が閾値以下となる、入力生体データのセグメントとテンプレートのセグメントとをセグメント対とし、当該セグメント対の照合信頼度を算出する。照合信頼度算出部142は、セグメント対の照合信頼度として、入力生体データのセグメントの抽出安定度と、テンプレートのセグメントの抽出安定度との積を算出する。 The matching reliability calculation unit 142 calculates the matching reliability of the segment pair of the segment of the input biometric data and the segment of the template based on the positional relationship of the segments in each blood vessel pattern after the rough alignment. . The matching reliability calculation unit 142 calculates the matching reliability of the segment pair, with the segment of the input biometric data and the segment of the template having the distance in the virtual three-dimensional space equal to or less than the threshold as the segment pair. The matching reliability calculation unit 142 calculates, as the matching reliability of the segment pair, a product of the extraction stability of the segment of the input biometric data and the extraction stability of the segment of the template.
照合部143は、照合信頼度算出部142で算出した各セグメント対の照合信頼度に基づいて、入力生体データにおける血管パターンと、テンプレートにおける血管パターンとの照合スコアを算出する。 The matching unit 143 calculates a matching score between the blood vessel pattern in the input biometric data and the blood vessel pattern in the template based on the matching reliability of each segment pair calculated by the matching reliability calculation unit 142.
判定部144は、照合部143で算出した照合スコアに基づいて、認証希望者を認証するか否かを判定し、判定結果を表示装置4や要認証装置5に出力する。 The determination unit 144 determines whether or not to authenticate the authentication applicant based on the matching score calculated by the matching unit 143, and outputs the determination result to the display device 4 or the authentication required device 5.
図4は、テンプレートデータベースの構成例を示す図である。
図4に示すように、テンプレートデータベース150は、登録者IDと、セグメントIDと、始点の座標と、終点の座標と、抽出安定度と、を含む。
FIG. 4 is a diagram showing a configuration example of the template database.
As shown in FIG. 4, the template database 150 includes a registrant ID, a segment ID, coordinates of a start point, coordinates of an end point, and extraction stability.
登録者IDは、生体認証装置1が認証する人物(認証対象者)を識別する情報であり、例えば、登録順に1から始まる正の整数が付与される。 The registrant ID is information for identifying a person (authentication target person) authenticated by the biometric authentication device 1, and, for example, a positive integer starting from 1 is assigned in the order of registration.
セグメントIDは、1個の登録者ID(1人の認識対象者)についての血管パターンにおけるセグメント(部分血管)を識別する情報であり、例えば、登録順に1から始まる正の整数が付与される。 The segment ID is information for identifying a segment (partial blood vessel) in a blood vessel pattern for one registrant ID (one recognition target person), and is given, for example, a positive integer starting from 1.
始点の座標は、仮想三次元空間におけるセグメントの始点(一端)の位置を表す座標値である。セグメントIDがnであるセグメントの始点の座標(XSn,YSn,ZSn)のうちの最初の2つの座標値(XSn,YSn)は、生体画像におけるセグメントの位置を表す値である。また、セグメントIDがnであるセグメントの始点の座標(XSn,YSn,ZSn)のうちの最後の座標値ZSnは、セグメントの線幅情報に基づいて算出した、仮想三次元空間における奥行き値を表す。 The coordinates of the starting point are coordinate values representing the position of the starting point (one end) of the segment in the virtual three-dimensional space. The first two coordinate values (XSn, YSn) of the coordinates (XSn, YSn, ZSn) of the start point of the segment whose segment ID is n are values representing the position of the segment in the biometric image. Further, the last coordinate value ZSn of the coordinates (XSn, YSn, ZSn) of the start point of the segment whose segment ID is n represents the depth value in the virtual three-dimensional space calculated based on the line width information of the segment. .
終点の座標は、仮想三次元空間におけるセグメントの終点(他端)の位置を表す座標値である。 The coordinates of the end point are coordinate values indicating the position of the end point (other end) of the segment in the virtual three-dimensional space.
抽出安定度は、上記の通り、生体画像から血管の像を抽出する際にセグメントが安定的に抽出される度合いを表す値である。 As described above, the extraction stability is a value indicating the degree of stable extraction of a segment when extracting a blood vessel image from a living body image.
本実施形態に係る生体認証装置1は、動作を開始させると、図5に示した処理を行う。 図5は、生体認証装置が行う処理の内容を説明するフローチャートである。 When the biometric authentication device 1 according to the present embodiment starts the operation, it performs the process shown in FIG. FIG. 5 is a flowchart illustrating the content of processing performed by the biometric authentication device.
生体認証装置1は、まず、入力装置2から処理内容を選択する情報が入力されるのを待つ(ステップS1)。入力装置2は、利用者(認証対象者及び認証希望者)が処理内容を選択する操作を行うと、操作と対応した情報を生体認証装置1に送信する。本実施形態では、利用者が選択可能な処理を、テンプレートを登録する処理と認証処理との2種類の処理とする。 The biometric authentication device 1 first waits for the input of information for selecting the processing content from the input device 2 (step S1). When the user (authentication target person and authentication applicant) performs an operation of selecting the processing content, the input device 2 transmits information corresponding to the operation to the biometric authentication device 1. In the present embodiment, the processes selectable by the user are two types of processes, that is, a template registration process and an authentication process.
入力装置2から処理内容を選択する情報が入力されると、生体認証装置1は、入力された情報に基づいて、テンプレートを登録する処理と、認証処理とのどちらを行うかを決定する(ステップS2)。ステップS2の処理は、処理選択部110が行う。処理選択部110は、テンプレートを登録する処理と、認証処理とのどちらを行うかをデータ作成部130に出力する。 When the information for selecting the processing content is input from the input device 2, the biometric authentication device 1 determines, based on the input information, whether to perform the process of registering the template or the authentication process (step). S2). The process selection unit 110 performs the process of step S2. The process selection unit 110 outputs to the data creation unit 130 which of the template registration process and the authentication process is to be performed.
次に、生体認証装置1は、データ作成部130においてデータ作成処理(ステップS3)を行う。ステップS3において、データ作成部130は、まず、画像取得部120に利用者の生体画像を取得させる。画像取得部120は、例えば、撮像装置3に利用者の生体画像を撮像させ、撮像装置3が出力した生体画像のデータを取得する。画像取得部120は、取得した生体画像のデータ(以下、単に「生体画像」という)をデータ作成部130に送信する。データ作成部130は、画像取得部120を介して利用者の生体画像を取得すると、生体画像から三次元の血管パターンと、当該血管パターンにおける各セグメントの抽出安定度と、を含む生体データを作成する。 Next, the biometric authentication device 1 performs a data creation process (step S3) in the data creation unit 130. In step S3, the data creation unit 130 first causes the image acquisition unit 120 to acquire a biometric image of the user. The image acquisition unit 120 causes, for example, the imaging device 3 to capture a biometric image of the user, and acquires the data of the biometric image output by the imaging device 3. The image acquisition unit 120 transmits the acquired biometric image data (hereinafter, simply referred to as “biometric image”) to the data creation unit 130. When the data creation unit 130 acquires the biometric image of the user via the image acquisition unit 120, the data creation unit 130 creates biometric data including a three-dimensional blood vessel pattern from the biometric image and the extraction stability of each segment in the blood vessel pattern. To do.
データ作成処理(ステップS3)を終えると、データ作成部130は、次に、ステップS2で決定した処理がテンプレートを登録する処理と、認証処理のどちらであるかを判定する(ステップS4)。ステップS4の判定は、データ作成部130のデータ出力部135が行う。 When the data creation process (step S3) is completed, the data creation unit 130 next determines whether the process determined in step S2 is a template registration process or an authentication process (step S4). The determination in step S4 is performed by the data output unit 135 of the data creation unit 130.
決定した処理がテンプレートを登録する処理である場合(ステップS4;登録)、データ出力部135は、作成した生体データをテンプレート(登録データ)としてテンプレートデータベース150に登録する(ステップS5)。一方、決定した処理が認証処理である場合(ステップS4;認証)、データ出力部135は、生成した生体データを入力生体データとして認証部140に送信する。この場合(ステップS4;認証)、生体認証装置1は、次に、認証部140において認証処理(ステップS6)を行う。 When the determined process is a process of registering a template (step S4; registration), the data output unit 135 registers the created biometric data in the template database 150 as a template (registered data) (step S5). On the other hand, when the determined process is the authentication process (step S4; authentication), the data output unit 135 transmits the generated biometric data to the authentication unit 140 as the input biometric data. In this case (step S4; authentication), the biometric authentication device 1 then performs authentication processing (step S6) in the authentication unit 140.
ステップS6において、認証部140は、データ作成部130から受け取った入力生体データと、テンプレートデータベース150に登録されたテンプレートとに基づいて、利用者を認証するか否かを判定し、判定結果(認証結果)を出力する処理を行う。 In step S6, the authentication unit 140 determines whether to authenticate the user based on the input biometric data received from the data creation unit 130 and the template registered in the template database 150, and the determination result (authentication Process to output the result).
ステップS5又はS6の処理を終えると、生体認証装置1は、処理を続けるか否かを判定する(ステップS7)。処理を続ける場合(ステップS7;Yes)、生体認証装置1は、入力装置2からの処理内容を選択する情報の入力待ち(ステップS1)の状態に戻る。一方、何らかの理由で処理を終了する場合(ステップS7;No)、生体認証装置1は、処理を終了する。また、入力装置2からの処理内容を選択する情報の入力待ち(ステップS1)をしている状態で、入力装置2等から処理を終了する命令が生体認証装置1に入力された場合も、生体認証装置1は、図5に示した処理を終了する。 After finishing the process of step S5 or S6, the biometric authentication device 1 determines whether to continue the process (step S7). When continuing the processing (step S7; Yes), the biometric authentication device 1 returns to the state of waiting for input of information for selecting the processing content from the input device 2 (step S1). On the other hand, when the process is ended for some reason (step S7; No), the biometric authentication device 1 ends the process. Further, even when a command to end the process is input from the input device 2 or the like to the biometric authentication device 1 while waiting for the input of information for selecting the processing content from the input device 2 (step S1), The authentication device 1 ends the process shown in FIG.
図5のフローチャートにおけるデータ作成処理(ステップS3)は、上記のようにデータ作成部130が行う。データ作成部130は、データ作成処理として、図6〜図8に示す処理を行う。 The data creation process (step S3) in the flowchart of FIG. 5 is performed by the data creation unit 130 as described above. The data creation unit 130 performs the processing illustrated in FIGS. 6 to 8 as the data creation processing.
図6は、データ作成処理の内容を説明するフローチャートである。図7は、三次元パターン作成処理の内容を説明するフローチャートである。図8は、抽出安定度決定処理の内容を説明するフローチャートである。 FIG. 6 is a flowchart illustrating the contents of the data creation process. FIG. 7 is a flowchart illustrating the content of the three-dimensional pattern creation process. FIG. 8 is a flowchart illustrating the contents of the extraction stability determination process.
データ作成処理(ステップS3)を開始すると、データ作成部130は、図6に示すように、まず、利用者の生体画像を取得する(ステップS301)。ステップS301の処理は、データ作成部130の血管像抽出部131と、画像取得部120とが行う。血管像抽出部131は、処理選択部110から行う処理についての情報を受け取ると、画像取得部120に利用者の生体画像を取得させる。画像取得部120は、撮像装置3に利用者の生体画像を撮像させ、撮像装置3が出力した生体画像を取得する。また、画像取得部120は、取得した生体画像を血管像抽出部131に渡す。 When the data creation process (step S3) is started, the data creation unit 130 first acquires a biometric image of the user as shown in FIG. 6 (step S301). The process of step S301 is performed by the blood vessel image extraction unit 131 of the data creation unit 130 and the image acquisition unit 120. When the blood vessel image extraction unit 131 receives the information about the process performed from the process selection unit 110, the blood vessel image extraction unit 131 causes the image acquisition unit 120 to acquire the biometric image of the user. The image acquisition unit 120 causes the imaging device 3 to capture a biometric image of the user and acquires the biometric image output by the imaging device 3. The image acquisition unit 120 also passes the acquired biometric image to the blood vessel image extraction unit 131.
次に、データ作成部130は、血管像抽出部131において、取得した生体画像から血管の像を抽出する(ステップS302)。血管像抽出部131は、例えば、既知の抽出方法のいずれかに従って生体画像から血管の像を抽出する。 Next, the data creation unit 130 causes the blood vessel image extraction unit 131 to extract a blood vessel image from the acquired biometric image (step S302). The blood vessel image extraction unit 131 extracts a blood vessel image from the biometric image according to any known extraction method, for example.
次に、データ作成部130は、抽出した血管の像を複数のセグメントに分割する(ステップS303)。ステップS303は、血管分割部132が行う。血管分割部132は、例えば、既知の分割方法のいずれかに従って、まず、血管が分岐している点や交差している点等で血管を分割する。その後、血管分割部132は、例えば、分割した血管毎に、血管幅(血管の太さ)が略一定である区間、及び血管幅が血管の走行方向における一端から他端に向かって略単調に減少する区間等が1個のセグメントとなるよう更に分割する。 Next, the data creation unit 130 divides the extracted blood vessel image into a plurality of segments (step S303). The blood vessel dividing unit 132 performs step S303. The blood vessel dividing unit 132 first divides the blood vessel at a point where the blood vessel is branched or a point where the blood vessel is crossed, for example, according to any known division method. Then, the blood vessel dividing unit 132, for example, for each divided blood vessel, a section in which the blood vessel width (the thickness of the blood vessel) is substantially constant, and the blood vessel width is substantially monotonic from one end to the other end in the running direction of the blood vessel. It is further divided such that the decreasing section becomes one segment.
次に、データ作成部130は、三次元パターン作成処理(ステップS304)と、抽出安定度決定処理(ステップS305)とを行う。 Next, the data creation unit 130 performs a three-dimensional pattern creation process (step S304) and an extraction stability determination process (step S305).
ステップS304の三次元パターン作成処理は、血管パターン作成部133が行う。血管パターン作成部133は、生体画像から抽出した二次元の血管の像から三次元の血管パターンを作成する。血管パターン作成部133は、セグメント毎に、セグメントと対応する血管の幅に基づいて、血管パターンを表現する仮想三次元空間における奥行き値を算出し、算出した奥行き値と、生体画像内におけるセグメントの位置を表す2個の座標値とを対応付ける。 The three-dimensional pattern creation process of step S304 is performed by the blood vessel pattern creation unit 133. The blood vessel pattern creation unit 133 creates a three-dimensional blood vessel pattern from the image of the two-dimensional blood vessel extracted from the biometric image. The blood vessel pattern creation unit 133 calculates, for each segment, a depth value in a virtual three-dimensional space expressing the blood vessel pattern based on the width of the blood vessel corresponding to the segment, and the calculated depth value and the segment in the biological image. The two coordinate values representing the position are associated with each other.
また、ステップS305の抽出安定度決定処理は、安定度決定部134が行う。安定度決定部134は、セグメント毎に、セグメントと対応する血管における幅方向の輝度の変化(輝度断面)を算出し、輝度断面に基づいてセグメントの抽出安定度を算出する(決定する)。輝度断面に基づいてセグメントの抽出安定度を算出する際、安定度決定部134は、所定の数式を用いて抽出安定度を算出してもよいし、予め用意した輝度断面のパターンと抽出安定度との関係を表すテーブルに基づいて抽出安定度を算出(決定)してもよい。 The stability determination unit 134 performs the extraction stability determination processing in step S305. The stability determination unit 134 calculates, for each segment, a change in brightness in the width direction (luminance cross section) in the blood vessel corresponding to the segment, and calculates (determines) extraction stability of the segment based on the brightness cross section. When calculating the extraction stability of the segment based on the luminance cross section, the stability determination unit 134 may calculate the extraction stability by using a predetermined mathematical expression, or a pattern of the luminance cross section prepared in advance and the extraction stability. The extraction stability may be calculated (determined) based on a table representing the relationship with
なお、図6では、ステップS304及びS305の処理を並列に行っているが、これに限らず、ステップS304の処理の後でステップS305の処理を行ってもよい。また、ステップS304及びS305の処理は、ステップS305の処理の後でステップS304の処理を行ってもよい。 In FIG. 6, the processes of steps S304 and S305 are performed in parallel, but the process is not limited to this, and the process of step S305 may be performed after the process of step S304. Further, in the processing of steps S304 and S305, the processing of step S304 may be performed after the processing of step S305.
ステップS304及びS305の処理を終えると、データ作成部130は、次に、三次元の血管パターンにおけるセグメントと、抽出安定度とを対応付けて保持し(ステップS306)、データ生成処理を終了する(リターン)。 When the processes of steps S304 and S305 are finished, the data creation unit 130 then holds the segments in the three-dimensional blood vessel pattern and the extraction stability in association with each other (step S306), and ends the data generation process (step S306). return).
図6のデータ作成処理(ステップS301〜S306)におけるステップS304の三次元パターン作成処理は、上記のように、血管パターン作成部133が行う。血管パターン作成部133は、三次元パターン作成処理として、図7に示す処理を行う。 The three-dimensional pattern creation process of step S304 in the data creation process (steps S301 to S306) of FIG. 6 is performed by the blood vessel pattern creation unit 133 as described above. The blood vessel pattern creation unit 133 performs the processing shown in FIG. 7 as the three-dimensional pattern creation processing.
血管パターン作成部133は、ステップS304の処理を開始すると、まず、セグメントを1個選択する(ステップS304a)。ステップS304aにおいて、血管パターン作成部133は、所定の選択規則に基づいてセグメントを選択する。選択規則は、例えば、ステップS304aにおいて選択していないセグメントのうちセグメントIDが最も小さいセグメントを選択する、とする。 When starting the process of step S304, the blood vessel pattern creation unit 133 first selects one segment (step S304a). In step S304a, the blood vessel pattern creation unit 133 selects a segment based on a predetermined selection rule. The selection rule is, for example, that a segment with the smallest segment ID is selected from the segments not selected in step S304a.
次に、血管パターン作成部133は、選択したセグメントの線幅情報を抽出する(ステップS304b)。ステップS304bの処理は、血管幅抽出部133aが行う。血管幅抽出部133aは、生体画像における血管の像のうち、選択したセグメントと対応する区間の血管の幅(太さ)を抽出する。 Next, the blood vessel pattern creation unit 133 extracts the line width information of the selected segment (step S304b). The process of step S304b is performed by the blood vessel width extraction unit 133a. The blood vessel width extraction unit 133a extracts the width (thickness) of the blood vessel in the section corresponding to the selected segment from the image of the blood vessel in the biological image.
次に、血管パターン作成部133は、抽出した線幅情報に基づいて、当該セグメントの奥行き値を算出する(ステップS304c)。ステップS304cの処理は、奥行き値算出部133bが行う。奥行き値算出部133bは、例えば、人の手のひらにおける血管幅の統計データに基づいて予め用意しておいた、血管の幅と、仮想三次元空間におけるz軸方向の座標値との対応関係を表すテーブルに基づいて、セグメントの奥行き値を算出する。 Next, the blood vessel pattern creation unit 133 calculates the depth value of the segment based on the extracted line width information (step S304c). The depth value calculation unit 133b performs the process of step S304c. The depth value calculation unit 133b represents, for example, the correspondence relationship between the width of the blood vessel and the coordinate value in the z-axis direction in the virtual three-dimensional space, which is prepared in advance based on the statistical data of the blood vessel width in the palm of a person. The depth value of the segment is calculated based on the table.
次に、血管パターン作成部133は、生体画像におけるセグメントの位置を表す二次元の座標に奥行き値(深さ方向の次元)を付加してセグメントの位置情報を三次元化する(ステップS304d)。ステップS304dは、パターン三次元化部133cが行う。 Next, the blood vessel pattern creation unit 133 adds the depth value (dimension in the depth direction) to the two-dimensional coordinates indicating the position of the segment in the biometric image, and three-dimensionalizes the position information of the segment (step S304d). Step S304d is performed by the pattern three-dimensionalization unit 133c.
次に、血管パターン作成部133は、全てのセグメントに対して三次元化する処理をしたか否かを判定する(ステップS304e)。三次元化していないセグメントがある場合(ステップS304e;No)、血管パターン作成部133は、ステップS304a以降の処理を繰り返す。そして、全てのセグメントに対して三次元化する処理が行われた場合(ステップS304e;Yes)、血管パターン作成部133は、セグメントの三次元情報をデータ出力部135に送信し、三次元パターン作成処理を終了する(リターン)。 Next, the blood vessel pattern creation unit 133 determines whether or not all the segments have been three-dimensionalized (step S304e). When there is a segment that has not been three-dimensionalized (step S304e; No), the blood vessel pattern creation unit 133 repeats the processing from step S304a. Then, when the processing for three-dimensionalization is performed on all the segments (step S304e; Yes), the blood vessel pattern creation unit 133 transmits the three-dimensional information of the segments to the data output unit 135, and the three-dimensional pattern creation is performed. The process ends (return).
これに対し、図5のデータ作成処理(ステップS301〜S306)におけるステップS305の抽出安定度処理は、上記のように、安定度決定部134が行う。安定度決定部134は、抽出安定度決定処理として、図8に示す処理を行う。 On the other hand, the extraction stability processing of step S305 in the data creation processing (steps S301 to S306) of FIG. 5 is performed by the stability determination unit 134 as described above. The stability determination unit 134 performs the process shown in FIG. 8 as the extraction stability determination process.
安定度決定部134は、ステップS305の処理を開始すると、まず、セグメントを1個選択する(ステップS305a)。ステップS305aにおいて、安定度決定部134は、所定の選択規則に基づいてセグメントを選択する。選択規則は、例えば、ステップS305aにおいて選択していないセグメントのうちセグメントIDが最も小さいセグメントを選択する、とする。 When the stability determination unit 134 starts the process of step S305, it first selects one segment (step S305a). In step S305a, the stability determination unit 134 selects a segment based on a predetermined selection rule. The selection rule is, for example, that a segment with the smallest segment ID is selected from the segments not selected in step S305a.
次に、安定度決定部134は、選択したセグメントの輝度断面を抽出する(ステップS305b)。ステップS305bの処理は、輝度断面抽出部134aが行う。輝度断面抽出部134aは、生体画像における血管の像のうち、選択したセグメントと対応する部分血管における幅方向の輝度値の分布を抽出する。 Next, the stability determination unit 134 extracts the luminance cross section of the selected segment (step S305b). The processing in step S305b is performed by the luminance cross section extraction unit 134a. The luminance cross-section extraction unit 134a extracts the distribution of luminance values in the width direction in the partial blood vessel corresponding to the selected segment in the blood vessel image in the biological image.
次に、安定度決定部134は、抽出した輝度断面に基づいて、当該セグメントの抽出安定度を算出する(ステップS305c)。ステップS305cの処理は、安定度算出部134bが行う。安定度算出部134bは、例えば、予め用意しておいた、人の手のひらにおける血管の断面輝度の分布パターンと、当該血管の抽出安定度との対応関係を表すテーブルに基づいて、セグメントの抽出安定度を算出して決定する。 Next, the stability determination unit 134 calculates the extraction stability of the segment based on the extracted luminance cross section (step S305c). The stability calculation unit 134b performs the process of step S305c. The stability calculation unit 134b, for example, based on a table, which is prepared in advance and shows the correspondence relationship between the cross-sectional luminance distribution pattern of the blood vessel in the palm of a human and the extraction stability of the blood vessel, the extraction stability of the segment. Calculate and determine the degree.
次に、安定度決定部134は、全てのセグメントに対して抽出安定度を決定する処理をしたか否かを判定する(ステップS305d)。抽出安定度を決定していないセグメントがある場合(ステップS305d;No)、安定度決定部134は、ステップS305a以降の処理を繰り返す。そして、全てのセグメントに対して抽出安定度を決定する処理が行われた場合(ステップS305d;Yes)、安定度決定部134は、各セグメントの抽出安定度をデータ出力部135に送信し、抽出安定度決定処理を終了する(リターン)。 Next, the stability determination unit 134 determines whether or not the process of determining the extraction stability has been performed for all the segments (step S305d). When there is a segment for which the extraction stability has not been determined (step S305d; No), the stability determination unit 134 repeats the processing from step S305a. Then, when the process of determining the extraction stability is performed for all the segments (step S305d; Yes), the stability determination unit 134 transmits the extraction stability of each segment to the data output unit 135 and performs extraction. The stability determination process ends (return).
図9は、生体画像から抽出した血管の像及び二次元の血管パターンの例を示す図である。図10は、図9の領域AR1及び領域AR2を拡大した図である。図11は、三次元化した血管パターンの例を示す図である。図12は、生体画像おける血管の一部を示す図である。図13は、図12の血管と対応する三次元の血管パターンを示す図である。 FIG. 9 is a diagram showing an example of a blood vessel image and a two-dimensional blood vessel pattern extracted from a biometric image. FIG. 10 is an enlarged view of the areas AR1 and AR2 in FIG. FIG. 11 is a diagram showing an example of a three-dimensionalized blood vessel pattern. FIG. 12 is a diagram showing a part of a blood vessel in a biometric image. FIG. 13 is a diagram showing a three-dimensional blood vessel pattern corresponding to the blood vessels in FIG.
上記のように、本実施形態に係る生体認証装置1は、人の手のひらの血管が写っている生体画像を取得し、テンプレートを登録する処理、又は認証処理を行う。この際、生体認証装置1は、まず、図9の(a)及び図10の(a)に示すように、利用者の手のひら601が写っている生体画像6から血管602の像を抽出する。生体画像6から抽出される血管602の像では、血管の各部分の幅(太さ)が、利用者の手のひら601内(生体内)を走行する血管の幅と略一致している。 As described above, the biometric authentication device 1 according to the present embodiment acquires a biometric image showing a blood vessel in the palm of a human and performs template registration processing or authentication processing. At this time, the biometric authentication device 1 first extracts an image of the blood vessel 602 from the biometric image 6 showing the palm 601 of the user, as shown in (a) of FIG. 9 and (a) of FIG. 10. In the image of the blood vessel 602 extracted from the biometric image 6, the width (thickness) of each portion of the blood vessel substantially matches the width of the blood vessel running in the palm 601 (in the living body) of the user.
ところが、従来の生体認証装置において、抽出した血管602の像に基づいて血管パターンを作成する際には、上記のように、血管の像における血管を複数の部分血管(セグメント)に分割し、セグメントの位置を表す二次元の座標値を算出する。このように生体データの持つ情報がセグメントの位置を表す二次元の座標値のみである場合、当該生体データは、例えば、図9の(b)及び図10の(b)に示すように、生体画像6に写っている全ての血管603(セグメント)が同じ線幅で表現される。そのため、従来の生体認証装置においては、複数のセグメントの位置関係(血管の走行パターン)の似ている箇所が近接していることにより、セグメントの対応付けに誤りが生じる可能性がある。 However, in the conventional biometric authentication device, when creating a blood vessel pattern based on the extracted image of the blood vessel 602, the blood vessel in the image of the blood vessel is divided into a plurality of partial blood vessels (segments) as described above, A two-dimensional coordinate value representing the position of is calculated. When the information held by the biometric data is only the two-dimensional coordinate value indicating the position of the segment, the biometric data is, for example, as shown in (b) of FIG. 9 and (b) of FIG. All blood vessels 603 (segments) shown in the image 6 are represented by the same line width. Therefore, in the conventional biometric authentication device, there is a possibility that an error may occur in the association of the segments due to the fact that the positions where the positional relationship (the blood vessel running pattern) of the plurality of segments are similar are close to each other.
例えば、図10の(a)に示した領域AR1のように生体画像6から抽出した血管の像では、領域B11の部分血管602aの走行パターンと、領域B12内の部分血管602bの走行パターンとは、形状が似ているものの、血管の幅(太さ)が異なる。そのため、生体画像から抽出した血管の像においては、2つの領域B11,B12の血管パターンの差異は明確である。ところが、図10の(b)に示した領域AR2のように線幅が一定の血管パターンでは、領域B21の部分血管603aの走行パターンと,領域B22の部分血管603bの走行パターンとの差異が不明瞭となる。そのため、認証処理において実際には領域B21と対応付けられる部分血管が、誤って領域B22と対応付けられ、認証結果に誤りが生じることがある。 For example, in the image of the blood vessel extracted from the biometric image 6 as in the area AR1 shown in FIG. 10A, the traveling pattern of the partial blood vessel 602a in the area B11 and the traveling pattern of the partial blood vessel 602b in the area B12 are shown. , The shape is similar, but the width (thickness) of the blood vessel is different. Therefore, in the blood vessel image extracted from the biometric image, the difference between the blood vessel patterns of the two regions B11 and B12 is clear. However, in a blood vessel pattern having a constant line width like the area AR2 shown in FIG. 10B, there is no difference between the running pattern of the partial blood vessel 603a in the area B21 and the running pattern of the partial blood vessel 603b in the area B22. Be clear. Therefore, in the authentication process, a partial blood vessel that is actually associated with the region B21 may be mistakenly associated with the region B22, resulting in an error in the authentication result.
これに対し、本実施形態の生体認証装置1では、血管の像における血管の幅に基づいてセグメントの奥行き値を算出し、図11に示すように、血管パターン(血管604の走行パターン)を三次元化する。なお、図11において、仮想三次元空間7のxy平面は、生体画像6内におけるセグメントの位置を表す面である。また、図11において、z軸方向の値は、セグメントと対応する部分血管の幅(太さ)に応じた奥行き値を表す。 On the other hand, in the biometric authentication device 1 of the present embodiment, the depth value of the segment is calculated based on the width of the blood vessel in the image of the blood vessel, and as shown in FIG. 11, the blood vessel pattern (traveling pattern of the blood vessel 604) is cubic. Make it original. In FIG. 11, the xy plane of the virtual three-dimensional space 7 is a plane that represents the position of the segment in the biometric image 6. Further, in FIG. 11, the value in the z-axis direction represents the depth value according to the width (thickness) of the partial blood vessel corresponding to the segment.
生体画像6における血管602には、例えば、図12に示すように、途中で血管の幅(太さ)が変化するものが多い。このように幅が変化する血管602をセグメントに分割する場合、血管602は、例えば、幅が略R1である第1のセグメント602cと、幅が略R1から略R2に変化第2のセグメント602dと、幅が略R2である第3のセグメント602eと、に分割される。 Many of the blood vessels 602 in the biometric image 6 change in width (thickness) in the middle as shown in FIG. 12, for example. When the blood vessel 602 whose width changes in this way is divided into segments, the blood vessel 602 includes, for example, a first segment 602c whose width is approximately R1 and a second segment 602d whose width changes from approximately R1 to approximately R2. , And a third segment 602e having a width of approximately R2.
図12の生体画像6における第1のセグメント602cの一端の二次元座標をQ1,他端の二次元座標をQ2とした場合、第1のセグメント602cは、仮想三次元空間においては、図13に示す第1のセグメント604cで表される。すなわち、xy平面においては、始点Q1と終点Q2とを結ぶ直線で表され、zx平面においては、血管幅R1と対応したz=Z1の直線で表される。 When the two-dimensional coordinates of one end of the first segment 602c in the biometric image 6 of FIG. 12 are Q1 and the two-dimensional coordinates of the other end are Q2, the first segment 602c is shown in FIG. 13 in the virtual three-dimensional space. It is represented by the first segment 604c shown. That is, it is represented by a straight line connecting the start point Q1 and the end point Q2 on the xy plane, and is represented by a straight line of z = Z1 corresponding to the blood vessel width R1 on the zx plane.
同様に、図12の生体画像6における第3のセグメント602eの一端の二次元座標をQ3,他端の二次元座標をQ4とした場合、第3のセグメント602eは、仮想三次元空間においては、図13に示す第3のセグメント604eで表される。すなわち、xy平面においては、始点Q3と終点Q4とを結ぶ直線で表され、zx平面においては、血管幅R2と対応したz=Z2の直線で表される。 Similarly, when the two-dimensional coordinate of one end of the third segment 602e in the biometric image 6 of FIG. 12 is Q3 and the two-dimensional coordinate of the other end is Q4, the third segment 602e is in the virtual three-dimensional space, It is represented by the third segment 604e shown in FIG. That is, it is represented by a straight line connecting the start point Q3 and the end point Q4 on the xy plane, and is represented by a straight line of z = Z2 corresponding to the blood vessel width R2 on the zx plane.
更に、図12の生体画像6における第2のセグメント602dは、仮想三次元空間においては、図13に示す第2のセグメント604dで表される。すなわち、xy平面においては、始点Q2と終点Q3とを結ぶ直線で表され、zx平面においては、始点Q2から終点Q3に向かうにつれてz=Z1からz=Z2に変化する直線で表される。 Further, the second segment 602d in the biometric image 6 of FIG. 12 is represented by the second segment 604d shown in FIG. 13 in the virtual three-dimensional space. That is, it is represented by a straight line connecting the start point Q2 and the end point Q3 on the xy plane, and is represented by a straight line changing from z = Z1 to z = Z2 from the start point Q2 to the end point Q3 on the zx plane.
このように、図9の(b)等に示した二次元の血管パターンを、セグメントの線幅情報(血管幅)に基づいて三次元の血管パターンに再構築することで、複数の連続したセグメントの位置関係(血管の走行パターン)が似ている箇所を低減することが可能となる。そのため、三次元化した血管パターンでは、例えば、図10の(b)における領域B21のセグメント603aと、領域B22のセグメント603bとの差異が明確となる。よって、認証処理において実際には領域B21の部分血管603aと対応付けられる部分血管が、誤って領域B22のセグメント603bと対応付けられることを抑制し、認証結果の誤りを低減することが可能となる。 As described above, by reconstructing the two-dimensional blood vessel pattern shown in FIG. 9B or the like into a three-dimensional blood vessel pattern based on the line width information (blood vessel width) of the segment, a plurality of continuous segments can be obtained. It is possible to reduce the locations where the positional relationship (the running pattern of blood vessels) is similar. Therefore, in the three-dimensionalized blood vessel pattern, for example, the difference between the segment 603a of the region B21 and the segment 603b of the region B22 in FIG. 10B becomes clear. Therefore, in the authentication process, it is possible to prevent the partial blood vessel that is actually associated with the partial blood vessel 603a of the region B21 from being mistakenly associated with the segment 603b of the region B22, and reduce the error in the authentication result. .
このように、本実施形態に係る生体認証装置1では、生体画像6から血管602の像を抽出して血管パターンを作成する際に、生体画像6内における位置を表す二次元の情報に、別の血管の特徴量を付加した三次元の血管パターンを作成する。このため、本実施形態に係る生体認証装置1では、複数のセグメントの生体画像内における位置関係のみではよく似ている箇所の差異を明確にすることができ、認証結果の誤りを低減することが可能となる。したがって、本実施形態によれば、生体認証の認証精度を向上させることが可能となる。 As described above, in the biometric authentication device 1 according to the present embodiment, when the blood vessel pattern is created by extracting the image of the blood vessel 602 from the biometric image 6, the two-dimensional information indicating the position in the biometric image 6 is separated. A three-dimensional blood vessel pattern is created by adding the blood vessel feature amount. Therefore, in the biometrics authentication system 1 according to the present embodiment, it is possible to clarify the difference between similar parts only in the positional relationship in the biometrics image of a plurality of segments, and reduce the error in the authentication result. It will be possible. Therefore, according to the present embodiment, it is possible to improve the authentication accuracy of biometric authentication.
また、本実施形態に係る生体認証装置1では、血管パターンにおける各セグメントに抽出安定度を対応付けることで、認証精度を更に向上させることが可能となる。 Further, in the biometric authentication device 1 according to the present embodiment, it is possible to further improve the authentication accuracy by associating the extraction stability with each segment in the blood vessel pattern.
図14は、抽出安定度の決定方法の例を説明する図である。
図14の(a)には、生体画像6内における血管の写り方と、血管の幅方向の輝度断面との関係についての4個の例を示している。
FIG. 14 is a diagram illustrating an example of a method of determining the extraction stability.
FIG. 14A shows four examples of the relationship between how the blood vessel appears in the biometric image 6 and the luminance cross section in the width direction of the blood vessel.
図14の(a)における左端の血管602fの像(パターン1)は、幅方向(x方向)の端である輪郭まで鮮明に写っている。このような血管602fの幅方向の輝度値は、血管602fの端部において急速に変化し、中間部分の輝度は略一定となる。 The image (pattern 1) of the blood vessel 602f at the left end in (a) of FIG. 14 clearly shows the contour which is the end in the width direction (x direction). The brightness value in the width direction of the blood vessel 602f changes rapidly at the end of the blood vessel 602f, and the brightness of the middle portion becomes substantially constant.
また、左から2番目の血管602gの像(パターン2)は、幅方向(x方向)の端である輪郭部分がやや不鮮明になっている。このような血管602gの幅方向の輝度値は、血管602gの端部において血管602fに比べて緩やかに変化し、中間部分の輝度は略一定となる。 In the image (pattern 2) of the blood vessel 602g that is the second from the left, the contour portion that is the end in the width direction (x direction) is slightly blurred. The brightness value of the blood vessel 602g in the width direction changes more gently at the end portion of the blood vessel 602g than the blood vessel 602f, and the brightness of the middle portion is substantially constant.
これに対し、左から3番目の血管602hの像(パターン3)は、幅方向(x方向)の端である輪郭部分だけでなく、ほぼ全体が不鮮明になっている。このような血管602hの幅方向の輝度値は、血管602hの端部において血管602gに比べて更に緩やかに変化し、かつ輝度値が最低となる区間が短い。 On the other hand, the image of the third blood vessel 602h from the left (Pattern 3) is not entirely clear, not only in the contour portion which is the end in the width direction (x direction). The brightness value in the width direction of the blood vessel 602h changes more gently at the end portion of the blood vessel 602h than the blood vessel 602g, and the section in which the brightness value is the minimum is short.
また、右端の血管602iの像(パターン4)は、血管602hの像(パターン3)よりは鮮明であるが、血管602f、602gの像に比べると不鮮明になっている。更に、血管602iの像では、幅方向の中間部分に、血管の走行方向に延びる筋状の明るい箇所が見られる。このような血管602iの幅方向の輝度値は、血管602iの端部において血管602gに比べて緩やかに変化し、かつ輝度値が最低となる区間が短い。 The image of the blood vessel 602i at the right end (pattern 4) is clearer than the image of the blood vessel 602h (pattern 3), but is less clear than the images of the blood vessels 602f and 602g. Further, in the image of the blood vessel 602i, a streak-like bright portion extending in the traveling direction of the blood vessel can be seen in the middle portion in the width direction. Such a brightness value in the width direction of the blood vessel 602i changes more gently at the end of the blood vessel 602i than the blood vessel 602g, and the section in which the brightness value is the minimum is short.
図14の(a)に示した4通りの血管602f〜602iのように、血管幅と幅方向の断面における輝度の最小値とが同じであっても、抽出される血管の幅方向の輝度変化(輝度断面)は血管(セグメント)によって異なる。 As in the four blood vessels 602f to 602i shown in FIG. 14A, even if the blood vessel width and the minimum luminance value in the cross section in the width direction are the same, the luminance change in the width direction of the extracted blood vessel. The (luminance cross section) differs depending on the blood vessel (segment).
また、血管の輝度断面のパターンは、例えば、複数通りの撮像条件で撮像したときに当該血管が安定的に抽出される度合い(抽出安定度)と相関がある。例えば、図14の(a)におけるパターン1の血管602fのように、血管602fの端部において急速に変化し、中間部分の輝度は略一定となる血管は、撮像条件が変化しても安定的に抽出される。同様に、パターン2の血管602gも、撮像条件が変化しても安定的に抽出される。これに対し、パターン3の血管602hやパターン4の血管602iのように幅方向の端部が不鮮明である血管は、血管602f等の端部が鮮明な血管に比べて、抽出されない撮影条件が多い。このため、血管の幅(太さ)を用いて血管パターンを三次元化するのみの場合に比べ、血管の輝度断面を利用する方法は、生体画像内の血管の特徴をより明確に捉え、利用者毎の血管の特徴の差異を明確化することが可能となる。 Further, the pattern of the luminance cross section of the blood vessel has a correlation with, for example, the degree of stable extraction of the blood vessel (extraction stability) when imaged under a plurality of imaging conditions. For example, like the blood vessel 602f of the pattern 1 in FIG. 14A, a blood vessel that changes rapidly at the end of the blood vessel 602f and the brightness of the middle portion is substantially constant is stable even when the imaging condition changes. To be extracted. Similarly, the blood vessel 602g of pattern 2 is also stably extracted even if the imaging conditions change. On the other hand, a blood vessel having an unclear edge in the width direction such as the blood vessel 602h of the pattern 3 or the blood vessel 602i of the pattern 4 has many imaging conditions in which the blood vessel 602f is not extracted as compared with the blood vessel having the sharp edge. . Therefore, compared to the case where the blood vessel pattern is only three-dimensionalized using the width (thickness) of the blood vessel, the method using the luminance cross section of the blood vessel captures the features of the blood vessel in the biological image more clearly and uses it. It is possible to clarify the difference in blood vessel characteristics between persons.
そこで、本実施形態では、上記のように、三次元の血管パターンにおける各セグメント(部分血管)に、セグメントの輝度断面に基づく抽出安定度を対応付けた生体データを作成し、テンプレート及び入力生体データとして用いる。これにより、本実施形態に係る認証処理では、利用者毎の血管の特徴の差異が明確化され、認証結果の誤りを更に低減することが可能となる。 Therefore, in the present embodiment, as described above, biometric data in which the extraction stability based on the luminance cross section of the segment is associated with each segment (partial blood vessel) in the three-dimensional blood vessel pattern is created, and the template and the input biometric data are created. Used as. As a result, in the authentication processing according to the present embodiment, the difference in blood vessel characteristics between users is clarified, and the error in the authentication result can be further reduced.
なお、抽出安定度を決定する際には、例えば、生体画像から血管像を抽出した後に、それら抽出した血管上の任意の点pにおけるその血管の抽出安定度S(p)を算出して決定する。ここで、点pは血管経路上の血管の中央の点とする。 When determining the extraction stability, for example, after extracting the blood vessel image from the biological image, the extraction stability S (p) of the blood vessel at an arbitrary point p on the extracted blood vessel is calculated and determined. To do. Here, the point p is the center point of the blood vessel on the blood vessel path.
また、抽出安定度S(p)は、血管経路上の任意の点pにおいて、その血管の経路を垂直に横切る断面方向(すなわち血管の幅方向)における輝度の変化量(すなわち輝度断面)に基づいて算出する。輝度断面から安定度を求めるには、下記式(1)のような関数Fを定義して、血管の中央からの距離と輝度の変化量から算出する。 The extraction stability S (p) is based on the amount of change in luminance (that is, the luminance cross section) in a cross-sectional direction (that is, the width direction of the blood vessel) that crosses the blood vessel path vertically at an arbitrary point p on the blood vessel path. To calculate. To obtain the stability from the luminance cross section, a function F such as the following formula (1) is defined and calculated from the distance from the center of the blood vessel and the amount of change in luminance.
S(p)=F(i−w(p),・・・,iw(p)) (1) S (p) = F (i- w (p), ..., iw (p)) (1)
式(1)において、iu(p)は、血管経路上の任意の点pにおいて、その血管を横切る断面方向の距離uにおける輝度値である。また、式(1)におけるwは、血管を横切る断面方向で、血管の中央から輝度変化が0となる位置まで距離(すなわち血管の幅の1/2の値)である。 In equation (1), i u (p) is a luminance value at a distance u in the cross-sectional direction across the blood vessel at an arbitrary point p on the blood vessel path. Further, w in the equation (1) is a distance (that is, a half value of the width of the blood vessel) from the center of the blood vessel to the position where the change in brightness is 0 in the cross-sectional direction crossing the blood vessel.
関数Fは、例えば、皮膚の拡散特性に基づいて、Point Spread Function(PSF)等の手法で解析的に定義する。また、関数Fは、例えば、多くの被験者の血管像を様々な条件で撮影した実験データを元に、セグメントが抽出される確率と、そのセグメントの輝度断面の特徴の相関を求め、これをデータ化して持っておく方法でもよい。 The function F is analytically defined by a method such as Point Spread Function (PSF) based on the diffusion characteristics of the skin. Further, the function F is, for example, based on experimental data obtained by photographing blood vessel images of many subjects under various conditions, and obtains a correlation between the probability that a segment is extracted and the feature of the luminance cross section of the segment, and obtains this data. A method of slicing and holding it may be used.
更に、実験的な方法としては、例えば、予め、安定的に取得できることがわかっている血管像の輝度断面の形状を定義したテーブルを準備しておき、当該テーブルに基づいて安定度の値を算出してもよい。例えば、図14の(b)に示すように、輝度断面のパターンと抽出安定度とを対応付けたテーブル160を作成し、生体認証装置1内の記憶部(図1には不図示)等に記憶させておき、当該テーブル160に基づいて各セグメントの抽出安定度を算出してもよい。この場合、例えば、生体画像から抽出した血管の輝度断面が安定的に抽出される血管の典型的な輝度断面のパターンにどれだけ近いかを比較し、その輝度断面の類似度を元に安定度の値を算出してもよい。 Further, as an experimental method, for example, a table defining the shape of the luminance cross section of the blood vessel image, which is known to be stably acquired, is prepared in advance, and the stability value is calculated based on the table. You may. For example, as shown in FIG. 14B, a table 160 in which the pattern of the luminance cross section and the extraction stability are associated with each other is created and stored in a storage unit (not shown in FIG. 1) in the biometric authentication device 1. It may be stored and the extraction stability of each segment may be calculated based on the table 160. In this case, for example, how close the luminance cross section of the blood vessel extracted from the biometric image is to the pattern of the typical luminance cross section of the blood vessel that is stably extracted is compared, and the stability is based on the similarity of the luminance cross section. The value of may be calculated.
図14の(b)のようなテーブル160を作成する場合、抽出安定度は、安定して常に抽出できる場合の値を1とする。また、安定して抽出できない場合の抽出安定度の値は、0<S<1の範囲で、抽出できる撮像条件と抽出できない撮像条件との関係に基づいて設定する。例えば、10通りの撮像条件のうちの7〜9通りの撮像条件で安定的に抽出されるセグメントの抽出安定度は、0<S<1のうちの1に近い値とする。逆に、10通りの撮像条件のうちの4〜5通りの撮像条件でのみ安定的に抽出されるセグメントの抽出安定度は、0<S<1のうちの0に近い値とする。 When creating the table 160 as shown in (b) of FIG. 14, the extraction stability is set to 1 when stable extraction is always possible. In addition, the value of the extraction stability when stable extraction is not possible is set in the range of 0 <S <1 based on the relationship between the imaging conditions that can be extracted and the imaging conditions that cannot be extracted. For example, the extraction stability of a segment that is stably extracted under 7 to 9 imaging conditions out of 10 imaging conditions is a value close to 1 out of 0 <S <1. On the contrary, the extraction stability of the segment that is stably extracted only in 4 to 5 of the 10 imaging conditions is set to a value close to 0 in 0 <S <1.
また、撮像時の外光の影響や露出により、生体画像6が全体的に明るく映ってしまうなどして、血管の像が生体画像6の全体で細く抽出されてしまったり、それとは逆に、血管の像が生体画像6の全体で太く抽出されてしまったりする場合がある。このような場合は、生体画像6全体の輝度に基づいて生体画像6内の各画素の輝度値を補正し、補正後の輝度断面の形状に基づいて抽出安定度を算出(決定)してもよい。 In addition, due to the influence of external light at the time of imaging and exposure, the biological image 6 appears to be bright as a whole, and the image of the blood vessel is thinly extracted in the entire biological image 6, or conversely, The blood vessel image may be thickly extracted in the entire biometric image 6. In such a case, the brightness value of each pixel in the biometric image 6 is corrected based on the brightness of the entire biometric image 6, and the extraction stability is calculated (determined) based on the shape of the corrected brightness cross section. Good.
血管の像から得られる血管幅や輝度そのものは比較的不安定な数値であるが、血管の周囲の局所的な輝度分布である輝度断面の形状は比較的安定して取得することが可能である。例えば、照明の明るさやセンサと生体部位の距離などの諸条件により、生体画像6に映る血管幅や輝度は変化するが、血管に垂直方向の輝度の変化量は、輝度の値そのものが異なっていても同じように変化する。そのため、例えば、輝度断面の輝度の変化量の最小値及び最大値のいずれかが等しくなるよう正規化し、輝度断面の特徴的な形状を血管の比較に活用することで、輝度単体で血管の深さを推定する場合に比べ、より安定して血管の識別に寄与させることができる。 The blood vessel width and brightness itself obtained from the blood vessel image are relatively unstable values, but the shape of the brightness cross section, which is the local brightness distribution around the blood vessel, can be acquired relatively stably. . For example, the blood vessel width and the brightness reflected in the biometric image 6 change depending on various conditions such as the brightness of the illumination and the distance between the sensor and the living body part, but the amount of change in the brightness in the direction perpendicular to the blood vessel is different in the brightness itself. But the same changes. Therefore, for example, by normalizing so that either the minimum value or the maximum value of the luminance change amount of the luminance cross section becomes equal, and utilizing the characteristic shape of the luminance cross section for the comparison of blood vessels, the depth of the blood vessel can be determined by the luminance alone. As compared with the case of estimating the height, it is possible to more stably contribute to the identification of blood vessels.
次に、図5のフローチャートにおける認証処理(ステップS6)について説明する。認証処理は、上記のように認証部140が行う。認証部140は、認証処理として、図15、図16A及び図16B、並びに図17A〜図17Cに示す処理を行う。 Next, the authentication process (step S6) in the flowchart of FIG. 5 will be described. The authentication processing is performed by the authentication unit 140 as described above. The authentication unit 140 performs the processing shown in FIGS. 15, 16A and 16B, and FIGS. 17A to 17C as the authentication processing.
図15は、認証処理の内容を説明するフローチャートである。図16Aは、入力生体データとテンプレートとの照合処理の内容を説明するフローチャート(その1)である。図16Bは、入力生体データとテンプレートとの照合処理の内容を説明するフローチャート(その2)である。図17Aは、大まかな位置合わせ処理の内容を説明するフローチャート(その1)である。図17Bは、大まかな位置合わせ処理の内容を説明するフローチャート(その2)である。図17Cは、大まかな位置合わせ処理の内容を説明するフローチャート(その3)である。 FIG. 15 is a flowchart illustrating the contents of the authentication process. FIG. 16A is a flowchart (part 1) explaining the content of the matching process of the input biometric data and the template. FIG. 16B is a flowchart (part 2) explaining the content of the matching process between the input biometric data and the template. FIG. 17A is a flowchart (part 1) explaining the content of the rough alignment processing. FIG. 17B is a flowchart (part 2) explaining the content of the rough alignment processing. FIG. 17C is a flowchart (part 3) explaining the content of the rough alignment processing.
認証処理(ステップS6)を開始すると、認証部140は、図15に示すように、まず、入力生体データとテンプレートとの照合処理を行う(ステップS61)。ステップS61の処理は、認証部140の簡易位置合わせ部141と、照合信頼度算出部142と、照合部143と、が行う。ステップS61において、簡易位置合わせ部141は、入力生体データ及びテンプレートにおける抽出安定度の高いセグメントの組(セグメント対)に基づいて、入力生体データとテンプレートとの大まかな位置合わせを行う。また、ステップS61において、照合信頼度算出部142は、大まかな位置合わせを行った後、入力生体データにおけるセグメントの抽出安定度とテンプレートにおけるセグメントの抽出安定度とに基づいて照合信頼度を算出する。更に、ステップS61において、照合部143は、算出した照合信頼度に基づいて入力生体データとテンプレートとの一致度を表す照合スコアをセグメント毎に算出し、それらを加算した最終照合スコアを判定部144に渡す。 When the authentication process (step S6) is started, the authentication unit 140 first performs a matching process between the input biometric data and the template as shown in FIG. 15 (step S61). The process of step S61 is performed by the simple alignment unit 141 of the authentication unit 140, the matching reliability calculation unit 142, and the matching unit 143. In step S61, the simple alignment unit 141 roughly aligns the input biometric data and the template on the basis of the set (segment pair) of the segments having high extraction stability in the input biometric data and the template. In step S61, the matching reliability calculation unit 142 calculates the matching reliability based on the segment extraction stability in the input biometric data and the segment extraction stability in the template after performing rough alignment. . Further, in step S61, the matching unit 143 calculates a matching score representing the degree of matching between the input biometric data and the template for each segment based on the calculated matching reliability, and adds the final matching score to the determination unit 144. Pass to.
次に、認証部140は、ステップS61において照合に成功したか否かを判定する(ステップS62)。ステップS62の判定は、判定部144が行う。判定部144は、照合部143から受け取った最終照合スコアが閾値以上であるか否かを判定し、最終照合スコアが閾値以上である場合に、照合に成功した(すなわち認証に成功した)と判定する。 Next, the authentication unit 140 determines whether or not the collation is successful in step S61 (step S62). The determination unit 144 performs the determination in step S62. The determination unit 144 determines whether or not the final matching score received from the matching unit 143 is equal to or higher than the threshold value, and when the final matching score is equal to or higher than the threshold value, determines that the matching is successful (that is, the authentication is successful). To do.
照合に成功した場合(ステップS62;Yes)、判定部144は、認証に成功したことを通知するとともに、要認証装置5に所定の処理を実行させる(ステップS63)。ステップS63において、判定部144は、例えば、認証に成功したことを表示装置4に表示させるとともに、認証に成功した場合の処理を要認証装置5に実行させる。要認証装置5が自動施錠装置である場合、ステップS63において、判定部144は、要認証装置5に対し開錠命令を送信する。 When the collation is successful (step S62; Yes), the determination unit 144 notifies that the authentication is successful and causes the authentication-requiring device 5 to execute a predetermined process (step S63). In step S63, for example, the determination unit 144 causes the display device 4 to display that the authentication has succeeded, and causes the authentication-requiring device 5 to execute the process when the authentication succeeds. When the authentication-requiring device 5 is the automatic locking device, the determination unit 144 transmits an unlock command to the authentication-requiring device 5 in step S63.
一方、照合に失敗した場合(ステップS62;No)、判定部144は、認証に失敗したことを通知する(ステップS64)。ステップS63において、判定部144は、例えば、認証に失敗したことを表示装置4に表示させる。 On the other hand, when the collation fails (step S62; No), the determination unit 144 notifies that the authentication has failed (step S64). In step S63, the determination unit 144 causes the display device 4 to display that authentication has failed, for example.
判定部144がステップS63又はS64の処理を終えると、認証部140は、認証処理を終了する(リターン)。 When the determination unit 144 finishes the process of step S63 or S64, the authentication unit 140 finishes the authentication process (return).
認証部140は、図15のフローチャートにおける照合処理(ステップS61)として、図16A及び図16Bに示す処理を行う。 The authentication unit 140 performs the processing shown in FIGS. 16A and 16B as the matching processing (step S61) in the flowchart of FIG.
ステップS61の照合処理において、認証部140は、図16Aに示すように、まず、テンプレートデータベース150に登録されたテンプレートの1つを選択して読み込む(ステップS6101)。ステップS6101の処理は、簡易位置合わせ部141が行う。簡易位置合わせ部141は、所定の選択規則に従って、テンプレートデータベース150から1個のテンプレートを選択する。選択規則は、例えば、照合処理を行っていないテンプレートのうち登録者IDが最小値のテンプレートを選択する、とする。 In the matching process of step S61, the authentication unit 140 first selects and reads one of the templates registered in the template database 150, as shown in FIG. 16A (step S6101). The process of step S6101 is performed by the simple alignment unit 141. The simple alignment unit 141 selects one template from the template database 150 according to a predetermined selection rule. The selection rule is, for example, that a template with a minimum registrant ID is selected from templates that have not been subjected to collation processing.
次に、認証部140は、簡易位置合わせ部141において、抽出安定度に基づく入力生体データとテンプレートとの大まかな位置合わせ処理を行う(ステップS6102)。ステップS6102において、簡易位置合わせ部141は、入力生体データ及びテンプレートから抽出安定度の高いセグメントを同数ずつ抽出し、抽出したセグメント同士による大まかな位置合わせ(簡易的な位置合わせ)を行う。 Next, the authentication unit 140 causes the simple alignment unit 141 to roughly align the input biometric data with the template based on the extraction stability (step S6102). In step S6102, the simple alignment unit 141 extracts the same number of segments with high extraction stability from the input biometric data and the template, and roughly aligns the segments extracted (simple alignment).
次に、認証部140は、入力生体データと選択したテンプレートとの照合結果(一致度)を表す最終照合スコアを初期化する(ステップS6103)。 Next, the authentication unit 140 initializes a final matching score indicating a matching result (matching degree) between the input biometric data and the selected template (step S6103).
次に、認証部140は、図16Bに示すように、大まかな位置合わせの結果に基づいて、セグメント対の1つを選択する(ステップS6104)。ステップS6104の処理は、照合信頼度算出部142が行う。照合信頼度算出部142は、大まかな位置合わせを行った後の、入力生体データにおけるセグメントと、テンプレートにおけるセグメントとの距離に基づいて設定されるセグメント対のうちの1個のセグメント対を選択する。 Next, as illustrated in FIG. 16B, the authentication unit 140 selects one of the segment pairs based on the rough alignment result (step S6104). The process of step S6104 is performed by the matching reliability calculation unit 142. The matching reliability calculation unit 142 selects one segment pair out of the segment pairs set based on the distance between the segment in the input biometric data and the segment in the template after rough alignment. .
照合信頼度算出部142は、所定の選択規則に従って1個のセグメント対を選択する。選択規則は、例えば、ステップS6104で選択していないセグメント対のうち、入力生体データ側のセグメントのセグメントIDが最小値であるセグメント対を選択する、とする。 The matching reliability calculation unit 142 selects one segment pair according to a predetermined selection rule. It is assumed that the selection rule is, for example, to select the segment pair having the minimum segment ID of the segment on the input biometric data side among the segment pairs not selected in step S6104.
次に、認証部140は、照合信頼度算出部142において、選択したセグメント対の照合信頼度を算出する(ステップS6105)。ステップS6105において、照合信頼度算出部142は、照合信頼度として、セグメント対における入力生体データ側のセグメントの抽出安定度と、テンプレート側のセグメントの抽出安定度との積を算出する。 Next, the authentication unit 140 causes the matching reliability calculation unit 142 to calculate the matching reliability of the selected segment pair (step S6105). In step S6105, the matching reliability calculation unit 142 calculates, as the matching reliability, the product of the extraction stability of the segment on the input biometric data side of the segment pair and the extraction stability of the segment on the template side.
次に、認証部140は、三次元空間でセグメント対を照合し、照合信頼度に基づく補正を施した照合スコアを算出する(ステップS6106)。ステップS6106の処理は、照合部143が行う。セグメント対の三次元的な距離が近いほど、そのセグメント対は同じセグメント(部分血管)である可能性が高い。そのため、照合部143は、セグメント対の距離が近いほど当該セグメント対に関する照合スコアの加点を大きく設定する。また、照合部143は、セグメント対の抽出安定度から算出した照合信頼度をセグメント対の照合スコアに乗算して照合スコアを補正する。 Next, the authentication unit 140 collates the segment pairs in the three-dimensional space and calculates a collation score that is corrected based on the collation reliability (step S6106). The collation unit 143 performs the process of step S6106. The closer the three-dimensional distance of the segment pair is, the more likely the segment pair is the same segment (partial blood vessel). For this reason, the matching unit 143 sets the additional point of the matching score for the segment pair to be larger as the segment pair is closer. Further, the matching unit 143 corrects the matching score by multiplying the matching score of the segment pair by the matching reliability calculated from the extraction stability of the segment pair.
次に、認証部140は、照合部143において、最終照合スコアに照合スコアを加算する(ステップS6107)。 Next, the authentication unit 140 causes the matching unit 143 to add the matching score to the final matching score (step S6107).
次に、照合部143は、全てのセグメント対に対して照合スコアを算出する処理を行ったか否かを判定する(ステップS6108)。照合スコアを算出する処理を行っていないセグメント対がある場合(ステップS6108;No)、照合部143は、照合信頼度算出部142と協働してステップS6104以降の処理を繰り返す。そして、全てのセグメント対で照合スコアを算出する処理を行った場合(ステップS6108;Yes)、照合部143は、次に、最終照合スコアが閾値以上であるか否かを判定する(ステップS6109)。 Next, the matching unit 143 determines whether or not the processing for calculating the matching score has been performed for all the segment pairs (step S6108). When there is a segment pair for which the process for calculating the matching score is not performed (step S6108; No), the matching unit 143 cooperates with the matching reliability calculation unit 142 and repeats the processes from step S6104. Then, when the process of calculating the matching score for all the segment pairs is performed (step S6108; Yes), the matching unit 143 next determines whether or not the final matching score is equal to or more than a threshold value (step S6109). .
最終照合スコアが閾値以上である場合(ステップS6109;Yes)、照合部143は、照合に成功したことを判定部144に通知し(ステップS6110)、照合処理を終了する(リターン)。 When the final matching score is equal to or higher than the threshold value (step S6109; Yes), the matching unit 143 notifies the determining unit 144 that the matching is successful (step S6110), and ends the matching process (return).
一方、最終照合スコアが閾値よりも小さい場合(ステップS6109;No)、照合部143は、例えば、簡易位置合わせ部141に照合していないテンプレートがあるか否かを判定させる(ステップS6111)。照合していないテンプレートがある場合(ステップS6111;Yes)、照合部143は、簡易位置合わせ部141、及び照合信頼度算出部142と協働してステップS6101以降の処理を繰り返す。 On the other hand, when the final matching score is smaller than the threshold value (step S6109; No), the matching unit 143, for example, causes the simple alignment unit 141 to determine whether or not there is an unmatched template (step S6111). If there is a template that has not been matched (step S6111; Yes), the matching unit 143 cooperates with the simple alignment unit 141 and the matching reliability calculation unit 142 to repeat the processing from step S6101.
これに対し、全てのテンプレートと照合を済ませた場合(ステップS6111;No)、照合部143は、照合に失敗したことを判定部144に通知し(ステップS6112)、照合処理を終了する(リターン)。すなわち、入力生体データを全てのテンプレートと照合したにもかかわらず、最終照合スコアが閾値以上となるテンプレートがない場合、照合部143は、照合に失敗したと判断する。 On the other hand, when the collation is completed with all the templates (step S6111; No), the collating unit 143 notifies the determining unit 144 that the collation has failed (step S6112), and the collating process is ended (return). . That is, when the input biometric data is matched with all the templates, but there is no template whose final matching score is equal to or higher than the threshold value, the matching unit 143 determines that the matching has failed.
このように、本実施形態に係る認証処理においては、照合データとテンプレートとの照合を行う際に、セグメント対の抽出安定度に基づいて算出した照合信頼度により照合スコアを補正する。セグメント対とした2個のセグメントの抽出安定度が高い場合、当該2個のセグメントによるセグメント対を用いた照合の結果は信頼できるものとなる。そのため、抽出安定度の高いセグメント対の照合スコアが最終照合スコアに対して寄与する重みは、大きくするべきである。逆に、セグメント対とした2個のセグメントの抽出安定度が低い場合、当該2個のセグメントによるセグメント対を用いた照合の結果は信頼度が低いといえる。そのため、抽出安定度の低いセグメント対の照合スコアが最終照合スコアに対して寄与する重みは、小さくするべきである。 As described above, in the authentication processing according to the present embodiment, when the matching data and the template are matched, the matching score is corrected by the matching reliability calculated based on the extraction stability of the segment pair. When the extraction stability of two segments as a segment pair is high, the result of collation using the segment pair by the two segments becomes reliable. Therefore, the weight that the matching score of the segment pair with high extraction stability contributes to the final matching score should be large. On the contrary, when the extraction stability of two segments as a segment pair is low, it can be said that the result of collation using the segment pair of the two segments has low reliability. Therefore, the weight that the matching score of the segment pair having low extraction stability contributes to the final matching score should be small.
本実施形態に係る照合処理(ステップS61)においては、上記のように、セグメント対の抽出安定度の積を照合信頼度とする。抽出安定度Sを0<S≦1とした場合、セグメント対の抽出安定度が高いほど、照合信頼度は1又は1に近い大きな値となる。よって、本実施形態に係る照合処理では、各セグメント対の照合スコアが最終照合スコアに対して寄与する重みを、セグメント対の抽出安定度の大きさに基づいて調整することが可能となる。 In the matching process (step S61) according to the present embodiment, the product of the extraction stability of segment pairs is used as the matching reliability, as described above. When the extraction stability S is 0 <S ≦ 1, the higher the extraction stability of the segment pair, the greater the matching reliability is 1 or a value close to 1. Therefore, in the matching process according to the present embodiment, the weight that the matching score of each segment pair contributes to the final matching score can be adjusted based on the degree of extraction stability of the segment pair.
また、本実施形態に係る照合処理では、ステップS6102において、照合のために新たに作成した血管パターン(入力生体データ)と、テンプレートデータベース150に登録された血管パターン(テンプレート)との大まかな位置合わせを行う。 Further, in the matching process according to the present embodiment, in step S6102, rough alignment of the blood vessel pattern (input biometric data) newly created for matching with the blood vessel pattern (template) registered in the template database 150 is performed. I do.
従来の生体認証装置における血管パターンの照合処理では、血管パターンにおける全てのセグメントを対象に、大まかな照合を行い、2つの血管パターン同士の一致度が最も高くなるように、位置合わせのパラメータが決定される。しかしながら、仮想三次元空間における位置合わせでは、セグメントの位置についての三次元的な位置ズレ、回転、拡大縮小等を考慮しなくてはならず、二次元での位置合わせよりも処理量が増える。 In the conventional blood vessel pattern matching process in the biometric authentication device, rough matching is performed on all the segments in the blood vessel pattern, and the alignment parameter is determined so that the degree of matching between the two blood vessel patterns is the highest. To be done. However, in the registration in the virtual three-dimensional space, it is necessary to consider the three-dimensional positional shift, rotation, enlargement / reduction, etc. of the position of the segment, and the processing amount is larger than that in the two-dimensional registration.
このため、本実施形態に係る照合処理では、血管パターンにおける各セグメントと対応付けられた抽出安定度を利用し、図17A〜図17Cに示す処理を行うことで大まかな位置合わせ処理を効率化する。図17A〜図17Cの大まかな位置合わせ処理は、簡易位置合わせ部141が行う。 Therefore, in the matching process according to the present embodiment, the extraction stability associated with each segment in the blood vessel pattern is used, and the processes shown in FIGS. 17A to 17C are performed to make the rough alignment process efficient. . The rough alignment processing of FIGS. 17A to 17C is performed by the simple alignment unit 141.
大まかな位置合わせ処理(ステップS6102)を開始すると、簡易位置合わせ部141は、図17Aに示すように、まず、抽出安定度の基準値αを初期化する(ステップS6102a)。ステップS6102aにおいて、簡易位置合わせ部141は、基準値αを、0<α<1であり、かつ1に近い値にする。 When the rough alignment process (step S6102) is started, the simple alignment unit 141 first initializes the extraction stability reference value α as shown in FIG. 17A (step S6102a). In step S6102a, simple alignment section 141 sets reference value α to a value that is 0 <α <1 and is close to 1.
次に、簡易位置合わせ部141は、入力生体データ及びテンプレートから、抽出安定度が基準値αよりも大きいセグメントを抽出する(ステップS6102b)。 Next, the simple alignment unit 141 extracts a segment whose extraction stability is higher than the reference value α from the input biometric data and the template (step S6102b).
次に、簡易位置合わせ部141は、最良位置合わせスコアBAS、及び最良位置合わせパラメータBAPを初期化する(ステップS6102c)。ステップS6102cにおいて、簡易位置合わせ部141は、例えば、最良位置合わせスコアBAPを0に設定する。また、ステップS6102cにおいて、簡易位置合わせ部141は、最良位置合わせパラメータBAPにおける位置ズレ、回転、及び変形を含む各種パラメータの値をそれぞれ0に設定する。 Next, the simple alignment unit 141 initializes the best alignment score BAS and the best alignment parameter BAP (step S6102c). In step S6102c, the simple alignment unit 141 sets the best alignment score BAP to 0, for example. Further, in step S6102c, simple alignment section 141 sets the values of various parameters including position deviation, rotation, and deformation in best alignment parameter BAP to 0, respectively.
次に、簡易位置合わせ部141は、最初の位置合わせパラメータAPを設定する(ステップS6102d)。位置合わせパラメータは、入力生体データにおける血管パターンと、テンプレートにおける血管パターンとの位置合わせをする際に一致させる点や血管パターンの向き(回転角)等を指定するパラメータである。ステップS6102dにおいて、簡易位置合わせ部141は、予め定めた位置合わせパラメータの設定規則に従って、最初の位置合わせパラメータAPを設定する。 Next, the simple alignment unit 141 sets the first alignment parameter AP (step S6102d). The alignment parameter is a parameter that specifies a point to be matched when aligning the blood vessel pattern in the input biometric data with the blood vessel pattern in the template, a direction (rotation angle) of the blood vessel pattern, and the like. In step S6102d, the simple alignment unit 141 sets the initial alignment parameter AP according to a preset alignment parameter setting rule.
次に、簡易位置合わせ部141は、図17Bに示すように、入力生体データ及びテンプレートから抽出したセグメント群を、位置合わせパラメータAPを用いて座標変換してから照合し、その一致度を位置合わせスコアASとして算出する(ステップS6102e)。 Next, as shown in FIG. 17B, the simple alignment unit 141 performs coordinate conversion on the segment groups extracted from the input biometric data and the template using the alignment parameter AP, and then collates them to align the degree of coincidence. The score AS is calculated (step S6102e).
次に、簡易位置合わせ部141は、算出した位置合わせスコアAPが最良位置合わせスコアBASよりも大きいか否かを判定する(ステップS6102f)。AS>BASである場合(ステップS6102f;Yes)、簡易位置合わせ部141は、最良位置合わせスコアBASを算出した位置合わせスコアASに更新する(ステップS6102g)。また、ステップS6102gにおいて、簡易位置合わせ部141は、最良位置合わせパラメータBAPを現在設定されている位置合わせパラメータAPに更新する。 Next, the simple alignment unit 141 determines whether the calculated alignment score AP is larger than the best alignment score BAS (step S6102f). When AS> BAS (step S6102f; Yes), the simple alignment unit 141 updates the best alignment score BAS to the calculated alignment score AS (step S6102g). Also, in step S6102g, simple alignment section 141 updates the best alignment parameter BAP to the currently set alignment parameter AP.
ステップS6102gの後、簡易位置合わせ部141は、全ての位置合わせパラメータで処理をしたか否かを判定する(ステップS6102h)。また、AS≦BASである場合(ステップS6102f;No)、簡易位置合わせ部141は、ステップS6102gの処理をスキップしてステップS6102hの判定を行う。 After step S6102g, the simple alignment unit 141 determines whether all alignment parameters have been processed (step S6102h). If AS ≦ BAS (step S6102f; No), the simple alignment unit 141 skips the process of step S6102g and makes the determination of step S6102h.
未処理の位置合わせパラメータがある場合(ステップS6102h;No)、簡易位置合わせ部141は、位置合わせパラメータAPを変更し(ステップS6102i)、ステップS6102e以降の処理を繰り返す。そして、全ての位置合わせパラメータAPで処理をした場合(ステップS6102h;Yes)、簡易位置合わせ部141は、次に、図17Cに示すように、基準値αを変更する(ステップS6102j)。ステップS6102jにおいて、簡易位置合わせ部141は、所定の変更規則に従って基準値αを現在の値よりも小さな値に変更する。 If there is an unprocessed alignment parameter (step S6102h; No), the simple alignment unit 141 changes the alignment parameter AP (step S6102i), and repeats the processing from step S6102e. Then, when processing is performed with all the alignment parameters AP (step S6102h; Yes), the simple alignment unit 141 then changes the reference value α as shown in FIG. 17C (step S6102j). In step S6102j, the simple alignment unit 141 changes the reference value α to a value smaller than the current value according to a predetermined change rule.
次に、簡易位置合わせ部141は、変更後の基準値αが位置合わせの打ち切り基準値よりも大きいか否かを判定する(ステップS6102k)。打ち切り基準値は、抽出安定度の最小値であってもよいし、抽出安定度の最小値よりも大きい値であってもよい。 Next, the simple alignment unit 141 determines whether the changed reference value α is larger than the alignment reference cutoff reference value (step S6102k). The cutoff reference value may be the minimum value of the extraction stability or a value larger than the minimum value of the extraction stability.
基準値αが打ち切り基準値よりも大きい場合(ステップS6102k;Yes)、簡易位置合わせ部141は、図17AのステップS6102b以降の処理を繰り返す。一方、変更後の基準値αが打ち切り基準値以下となった場合(ステップS6102k;No)、簡易位置合わせ部141は、次に、最良位置合わせパラメータBAPを入力生体データとテンプレートとの位置合わせパラメータとして保持する(ステップS6102m)。ステップS6102mにおいて位置合わせパラメータを保持すると、簡易位置合わせ部141は、大まかな位置合わせ処理を終了する(リターン)。 When the reference value α is larger than the cutoff reference value (step S6102k; Yes), the simple alignment unit 141 repeats the processing from step S6102b onward in FIG. 17A. On the other hand, when the changed reference value α becomes equal to or less than the cutoff reference value (step S6102k; No), the simple alignment unit 141 then sets the best alignment parameter BAP as the alignment parameter between the input biometric data and the template. (Step S6102m). When the alignment parameter is held in step S6102m, the simple alignment unit 141 ends the rough alignment process (return).
このように、本実施形態に係る大まかな位置合わせ処理では、入力生体データ及び選択したテンプレートの2個の血管パターンのそれぞれから抽出安定度の高い血管セグメントを同数ずつ読み出し、順に照合していく。すなわち、本実施形態に係る照合処理(ステップS61)では、簡易位置合わせ部141は、まず、抽出安定度が高いセグメント群に基づいて入力生体データの血管パターンとテンプレートの血管パターンとの大まかな位置合わせを行う。 As described above, in the rough alignment processing according to the present embodiment, the same number of blood vessel segments with high extraction stability are read out from each of the two pieces of blood vessel patterns of the input biometric data and the selected template, and matching is performed in order. That is, in the matching process (step S61) according to the present embodiment, the simple alignment unit 141 first determines the rough position between the blood vessel pattern of the input biometric data and the blood vessel pattern of the template based on the segment group with high extraction stability. Make a match.
その後、簡易位置合わせ部141は、抽出安定度が位置合わせの打ち切り基準値よりも大きいセグメント群を少しずつ各血管パターンから読み出し、それらを加えたセグメント群を用いてより詳細な位置合わせを行う。 After that, the simple alignment unit 141 reads out a segment group whose extraction stability is greater than the abortion reference value for alignment little by little from each blood vessel pattern, and performs more detailed alignment using the segment group to which they are added.
なお、打ち切り基準値は、上記のように、抽出安定度の最小値であってもよいし、抽出安定度の最小値よりも大きい値であってもよい。そのため、大まかな位置合わせ処理においては、最終的に全てのセグメント群を用いて位置合わせを行ってもよい。また、大まかな位置合わせ処理においては、抽出安定度が低いセグメント群は位置合わせに使わず、例えば、抽出安定度が中程度までのセグメント群を用いた位置合わせを行った時点で処理を終了してもよい。このように、本実施形態に係る照合処理では、抽出安定度の情報を用いて段階的に位置合わせを行う、或いは、位置合わせ処理を途中で打ち切ることで、位置合わせ処理を高速化することができる。 Note that the cutoff reference value may be the minimum value of the extraction stability as described above, or may be a value larger than the minimum value of the extraction stability. Therefore, in the rough alignment processing, alignment may be finally performed using all the segment groups. Also, in the rough alignment process, the segment group with low extraction stability is not used for alignment.For example, the process ends when alignment is performed using segment groups with moderate extraction stability. May be. As described above, in the matching processing according to the present embodiment, it is possible to speed up the positioning processing by performing the positioning stepwise using the information of the extraction stability or by canceling the positioning processing in the middle. it can.
また、大まかな位置合わせ処理においては、三次元空間内での位置合わせの方法、すなわち位置合わせパラメータAPの設定についても任意である。そのため、本実施形態に係る大まかな位置合わせ処理では、例えば、より多くのセグメントが一致するか或いは非常に近い距離にある状態になるよう位置合わせパラメータAP(位置ズレ・回転・変形の各種パラメータ)を探索してもよい。 In the rough alignment process, the alignment method in the three-dimensional space, that is, the setting of the alignment parameter AP is also optional. Therefore, in the rough alignment processing according to the present embodiment, for example, the alignment parameter AP (various parameters for positional deviation / rotation / deformation) is set so that more segments match or are very close to each other. May be searched.
以上のように、本実施形態によれば、生体画像から抽出した血管の像を複数のセグメントに分割する際に、生体画像内(平面内)におけるセグメントの位置を表す情報に、セグメント(部分血管)の幅に応じた奥行き値を付加して血管パターンを三次元化する。そのため、平面内における複数のセグメントの位置関係がよく似ている複数の箇所に対し血管の幅に応じた差異を付与することが可能となる。したがって、本実施形態によれば、二次元の血管パターンに基づいて照合(認証)する場合に比べて認証結果の誤りを低減することが可能となり、認証精度が向上する。 As described above, according to this embodiment, when the image of the blood vessel extracted from the biometric image is divided into a plurality of segments, the segment (partial blood vessel) is added to the information indicating the position of the segment in the biometric image (in the plane). ), The depth value according to the width is added to make the blood vessel pattern three-dimensional. Therefore, it becomes possible to give a difference according to the width of the blood vessel to a plurality of locations where the positional relationship of the plurality of segments is very similar in the plane. Therefore, according to the present embodiment, it is possible to reduce the error in the authentication result and improve the authentication accuracy as compared with the case where the verification (authentication) is performed based on the two-dimensional blood vessel pattern.
また、本実施形態のように血管パターンを三次元化する際に、血管パターンにおける各セグメントに抽出安定度を対応付けることで、照合時に抽出安定度の低いセグメント対の照合結果が最終的な照合結果に与える影響を低減することが可能となる。更に、抽出安定度を利用することで、照合時に抽出安定度の高いセグメント対の照合結果が最終的な照合結果に与える影響を高めることが可能となる。したがって、本実施形態によれば、抽出安定度の低いセグメントが抽出されなかった照合データ(血管パターン)とテンプレートとの照合により生じる照合結果の誤りを低減することが可能となる。よって、本実施形態によれば、認証結果の誤りを更に低減することが可能となり、認証精度が更に向上する。 Further, when the blood vessel pattern is three-dimensionalized as in the present embodiment, by associating the extraction stability with each segment in the blood vessel pattern, the matching result of the segment pair with low extraction stability at the time of matching is the final matching result. Can be reduced. Further, by utilizing the extraction stability, it is possible to increase the influence of the matching result of the segment pair having high extraction stability on the final matching result at the time of matching. Therefore, according to the present embodiment, it is possible to reduce the error in the collation result caused by collating the collation data (blood vessel pattern) in which the segment having low extraction stability is not extracted with the template. Therefore, according to the present embodiment, it is possible to further reduce the error in the authentication result and further improve the authentication accuracy.
しかも、本実施形態によれば、照合データとテンプレートとを照合する際に、抽出安定度の高いセグメント対に基づいて大まかな位置合わせを効率よく行うことが可能となる。そのため、生体認証装置1の処理負荷を軽減することが可能となる。 Moreover, according to the present embodiment, rough matching can be efficiently performed based on the segment pair having high extraction stability when matching the matching data and the template. Therefore, the processing load of the biometric authentication device 1 can be reduced.
なお、上記のように、図5〜図8、図15、図16A及び図16B、並びに図17A〜図17Cのフローチャートは、それぞれ、本実施形態に係る生体認証装置1が行う処理の例に過ぎない。すなわち、本実施形態に係る生体認証装置1が行う処理は、上記のように、図5〜図8、図15、図16A及び図16B、並びに図17A〜図17Cに示した処理の一部が変更又は省略された処理であってもよい。例えば、本実施形態では、図17A〜図17Cのように、血管パターンの各セグメントと対応付けた抽出安定度に基づいて、セグメント群を少しずつ増やしながら位置合わせを行うことにより、位置合わせの処理を効率化している。しかしながら、位置合わせを行う際には、これに限らず、初めから全てのセグメントを用いた位置合わせを行ってもよい。 As described above, the flowcharts of FIGS. 5 to 8, FIG. 15, FIG. 16A and FIG. 16B, and FIGS. 17A to 17C are merely examples of the processing performed by the biometric authentication device 1 according to the present embodiment. Absent. That is, in the processing performed by the biometric authentication device 1 according to the present embodiment, as described above, a part of the processing illustrated in FIGS. 5 to 8, FIG. 15, FIG. 16A and FIG. 16B, and FIG. 17A to FIG. 17C is performed. The processing may be changed or omitted. For example, in this embodiment, as shown in FIGS. 17A to 17C, the alignment process is performed by gradually increasing the number of segment groups based on the extraction stability associated with each segment of the blood vessel pattern. Has been made more efficient. However, the position adjustment is not limited to this, and the position adjustment may be performed using all the segments from the beginning.
また、図4のテンプレートデータベース150は、一例に過ぎず、テンプレートデータベース150の構成は、適宜変更可能である。例えば、テンプレートデータベース150は、図18に示すような構成であってもよい。 Further, the template database 150 of FIG. 4 is merely an example, and the configuration of the template database 150 can be appropriately changed. For example, the template database 150 may have the configuration shown in FIG.
図18は、テンプレートデータベースの別の構成例を示す図である。
生体画像から抽出した血管の像を複数のセグメントに分割する際には、例えば、血管が分岐している点や交差している点で分割する。この場合、例えば、1個のセグメント(部分血管)は、曲線状、或いは折れ曲がりながら走行している場合もある。そのため、テンプレートデータベース150は、例えば、図18に示すように、個々のセグメントの三次元情報として、始点の座標及び終点の座標とともに、始点から終点までの間に存在する屈曲点の座標を登録する構成であってもよい。
FIG. 18 is a diagram showing another configuration example of the template database.
When the image of the blood vessel extracted from the biometric image is divided into a plurality of segments, for example, the blood vessel is divided at the points where the blood vessels branch or intersect. In this case, for example, one segment (partial blood vessel) may be running while curving or bending. Therefore, the template database 150 registers the coordinates of the start point and the coordinates of the end point, as well as the coordinates of the bending point existing between the start point and the end point, as the three-dimensional information of each segment, as shown in FIG. 18, for example. It may be configured.
更に、本実施形態では、血管パターンの三次元化に用いる血管の特徴量として血管幅を挙げている。しかしながら、血管の特徴量は、これに限らず、血管の輝度等であってもよい。 Further, in the present embodiment, the blood vessel width is mentioned as the characteristic amount of the blood vessel used for three-dimensionalization of the blood vessel pattern. However, the feature amount of the blood vessel is not limited to this, and may be the brightness of the blood vessel.
また、図1に示した生体認証装置1は、本実施形態に係る生体認証装置の機能的構成の一例に過ぎない。本実施形態に係る生体認証装置は、例えば、テンプレートデータベース150が、生体認証装置1自身ではなく、生体認証装置1と通信可能に接続された他のサーバ等に記憶されていてもよい。 The biometric authentication device 1 illustrated in FIG. 1 is merely an example of the functional configuration of the biometric authentication device according to this embodiment. In the biometric authentication device according to the present embodiment, for example, the template database 150 may be stored not in the biometric authentication device 1 itself but in another server or the like that is communicably connected to the biometric authentication device 1.
[第2の実施形態]
本実施形態では、セグメントの抽出安定度に基づいて、第1の実施形態で述べた照合信頼度とは異なる血管位置変動率を算出し、当該血管位置変動率を考慮して認証処理を行う例を説明する。
[Second Embodiment]
In this embodiment, an example in which a blood vessel position variation rate different from the matching reliability described in the first embodiment is calculated based on the segment extraction stability, and the authentication processing is performed in consideration of the blood vessel position variation rate. Will be explained.
本実施形態に係る生体認証装置1の全体的な機能構成は、図1に示した通りである。
すなわち、本実施形態に係る生体認証装置1は、処理選択部110と、画像取得部120と、データ作成部130と、認証部140と、テンプレートデータベース150と、を備える。また、データ作成部130は、図1及び図2に示すように、血管像抽出部131と、血管分割部132と、血管パターン作成部133と、安定度決定部134と、データ出力部135と、を含む。本実施形態の生体認証装置1におけるデータ作成部130は、第1の実施形態と同様、生体画像から作成した三次元の血管パターンと、当該血管パターンにおける各セグメントに対応付けた抽出安定度とを含む生体データを作成する。三次元の血管パターンは、生体画像内(平面内)におけるセグメントの位置を表す二次元の座標値に、例えば、セグメントの線幅情報(血管の太さ)に応じた奥行き値を付加して作成する。また、抽出安定度は、セグメントの血管幅方向の輝度断面を抽出し、当該輝度断面における輝度値の変動パターンに基づいて算出する(決定する)。
The overall functional configuration of the biometric authentication device 1 according to the present embodiment is as shown in FIG.
That is, the biometric authentication device 1 according to the present embodiment includes the process selection unit 110, the image acquisition unit 120, the data creation unit 130, the authentication unit 140, and the template database 150. Further, the data creation unit 130, as shown in FIGS. 1 and 2, includes a blood vessel image extraction unit 131, a blood vessel division unit 132, a blood vessel pattern creation unit 133, a stability determination unit 134, and a data output unit 135. ,including. Similar to the first embodiment, the data creation unit 130 in the biometric authentication device 1 of the present embodiment creates a three-dimensional blood vessel pattern created from a biometric image and the extraction stability associated with each segment in the blood vessel pattern. Create biometric data including. A three-dimensional blood vessel pattern is created by adding, for example, a depth value according to the line width information (thickness of blood vessel) of the segment to the two-dimensional coordinate value that represents the position of the segment in the biological image (in the plane). To do. In addition, the extraction stability is calculated (determined) based on the luminance value variation pattern in the luminance cross section by extracting the luminance cross section in the blood vessel width direction of the segment.
次に、本実施形態の生体認証装置1における認証部140の構成について、図19を参照して説明する。 Next, the configuration of the authentication unit 140 in the biometric authentication device 1 of this embodiment will be described with reference to FIG.
図19は、第2の実施形態に係る生体認証装置における認証部の機能的構成を示す図である。 FIG. 19 is a diagram showing the functional configuration of the authentication unit in the biometric authentication device according to the second embodiment.
図19に示すように、本実施形態の生体認証装置1における認証部140は、簡易位置合わせ部141と、血管位置変動率算出部145と、照合部143と、判定部144と、を含む。 As shown in FIG. 19, the authentication unit 140 in the biometric authentication device 1 according to this embodiment includes a simple alignment unit 141, a blood vessel position variation rate calculation unit 145, a collation unit 143, and a determination unit 144.
簡易位置合わせ部141は、第1の実施形態で説明した通り、入力生体データの血管パターン及びテンプレートの血管パターンから抽出安定度の高いセグメントを抽出し、血管パターンの大まかな位置合わせを行う。 As described in the first embodiment, the simple alignment unit 141 extracts a segment having high extraction stability from the blood vessel pattern of the input biometric data and the blood vessel pattern of the template, and roughly aligns the blood vessel pattern.
血管位置変動率算出部145は、入力生体データのセグメントとテンプレートのセグメントとのセグメント対における各セグメントの抽出安定度に基づいて、三次元の血管パターンにおけるセグメントの血管位置変動率を算出する。セグメントの血管位置変動率は、言い換えると、生体画像の撮像時に生じる血管の輝度の揺らぎによるセグメントの奥行き値の揺らぎ率である。血管位置変動率算出部145は、セグメントの抽出安定度が高いセグメント対ほど血管位置変動率が小さくなるよう、血管位置変動率を算出する。 The blood vessel position variation rate calculation unit 145 calculates the blood vessel position variation rate of the segment in the three-dimensional blood vessel pattern based on the extraction stability of each segment in the segment pair of the input biometric data segment and the template segment. In other words, the blood vessel position variation rate of the segment is the rate of variation of the depth value of the segment due to the variation of the brightness of the blood vessel that occurs when the biological image is captured. The blood vessel position variation rate calculation unit 145 calculates the blood vessel position variation rate such that the segment pair having a higher segment extraction stability has a smaller blood vessel position variation rate.
照合部143は、大まかな位置合わせを行った入力生体データの血管パターンとテンプレートの血管パターンとの詳細な照合を行う。本実施形態の生体認証装置1における照合部143は、第1の実施形態における照合信頼度の代わりに、血管位置変動率を考慮して、セグメント対の照合スコアを算出する。 The matching unit 143 performs detailed matching between the blood vessel pattern of the input biometric data that has been roughly aligned with the blood vessel pattern of the template. The matching unit 143 in the biometric authentication device 1 according to the present embodiment calculates the matching score of the segment pair in consideration of the blood vessel position variation rate instead of the matching reliability in the first embodiment.
抽出安定度の高いセグメント同士のセグメント対は、照合信頼度が高く、血管位置変動率が低い。逆に、抽出安定度の低いセグメント同士のセグメント対は、照合信頼度が低く、血管位置変動率が高い。そのため、照合部143は、例えば、血管位置変動率が高いセグメント対の照合スコアを算出する際には、セグメントの奥行き値についての位置ずれの許容度を大きくする。これにより、仮想三次元空間におけるz軸方向の血管位置の変動が原因で正しい組み合わせのセグメント対の照合スコアが小さくなることを抑制することが可能となる。 A segment pair having a high extraction stability has a high matching reliability and a low blood vessel position variation rate. On the contrary, a segment pair of segments with low extraction stability has low matching reliability and a high blood vessel position variation rate. Therefore, for example, when calculating the matching score of the segment pair having a high blood vessel position variation rate, the matching unit 143 increases the tolerance of the positional deviation with respect to the depth value of the segment. This makes it possible to prevent the matching score of the segment pair of the correct combination from becoming small due to the fluctuation of the blood vessel position in the z-axis direction in the virtual three-dimensional space.
また、照合部143は、例えば、血管位置変動率が低いセグメント対の照合スコアを算出する際には、セグメントの奥行き値についての位置ずれの許容度を小さくする。これにより、抽出安定度は高いものの実際には正しい組み合わせではないセグメント対の照合スコアが照合結果に与える影響を小さくすることが可能となる。 Further, for example, when calculating the matching score of the segment pair having a low blood vessel position variation rate, the matching unit 143 reduces the tolerance of the positional deviation regarding the depth value of the segment. As a result, it is possible to reduce the influence of the matching score of a segment pair that is not a correct combination, although it has high extraction stability, on the matching result.
判定部144は、照合部143における照合結果に基づいて、利用者(認証希望者)を認証するか否かを判定し、認証結果を表示装置4や要認証装置5等に出力する。 The determination unit 144 determines whether or not to authenticate the user (authentication-requesting person) based on the verification result of the verification unit 143, and outputs the authentication result to the display device 4, the authentication-required device 5, or the like.
本実施形態に係る生体認証装置1は、第1の実施形態で説明したステップS1〜S7の処理(図5を参照)を行う。また、入力装置2からの処理内容を選択する情報の入力待ち(ステップS1)をしている状態で、入力装置2等から処理を終了する命令が生体認証装置1に入力された場合も、生体認証装置1は、図5に示した処理を終了する。 The biometric authentication device 1 according to the present embodiment performs the processing of steps S1 to S7 described in the first embodiment (see FIG. 5). Further, even when a command to end the process is input from the input device 2 or the like to the biometric authentication device 1 while waiting for the input of information for selecting the processing content from the input device 2 (step S1), The authentication device 1 ends the process shown in FIG.
更に、図5に示したフローチャートにおけるデータ作成処理(ステップS3)として、本実施形態の生体認証装置1(データ作成部130)は、例えば、図6〜図8に示す処理を行う。 Furthermore, as the data creation processing (step S3) in the flowchart shown in FIG. 5, the biometric authentication device 1 (data creation unit 130) of the present embodiment performs the processing shown in FIGS. 6 to 8, for example.
加えて、本実施形態に係る生体認証装置1における認証部140は、例えば、図15、図16A及び図16B,並びに図17A〜図17Cに示したような手順で入力生体データとテンプレートとに基づく認証処理(ステップS6)を行う。ただし、本実施形態に係る認証処理において、認証部140は、図16Bに示したステップS6105,S6106の代わりに、血管位置変動率を算出し、血管位置変動率に基づいて照合スコアを算出する処理を行う。 In addition, the authentication unit 140 in the biometric authentication device 1 according to the present embodiment is based on the input biometric data and the template in the procedure shown in FIGS. 15, 16A and 16B, and 17A to 17C, for example. Authentication processing (step S6) is performed. However, in the authentication process according to the present embodiment, the authentication unit 140 calculates the blood vessel position variation rate instead of steps S6105 and S6106 shown in FIG. 16B, and calculates the matching score based on the blood vessel position variation rate. I do.
図20は、第2の実施形態に係る入力生体データとテンプレートとの照合処理の一部を説明するフローチャートである。なお、図20のフローチャートにおいて、第1の実施形態で説明した処理と同じ処理であるステップには、図16Bのフローチャートと同じステップ番号(例えば、S6104等)を付している。 FIG. 20 is a flowchart illustrating a part of the matching process of the input biometric data and the template according to the second embodiment. Note that in the flowchart of FIG. 20, steps that are the same processing as the processing described in the first embodiment are given the same step numbers (for example, S6104, etc.) as those of the flowchart of FIG. 16B.
本実施形態の生体認証装置1における認証部140は、認証処理(ステップS6)を開始すると、図15に示したステップS61〜S64の処理を行う。このうち、ステップS61の入力生体データとテンプレートとの照合処理では、認証部140は、まず、図16Aに示したステップS6101〜S6103の処理を行う。その後、認証部140は、図20に示すように、大まかな位置合わせの結果に基づいてセグメント対の1つを選択する(ステップS6104)。 When starting the authentication process (step S6), the authentication unit 140 in the biometric authentication device 1 of the present embodiment performs the processes of steps S61 to S64 shown in FIG. Of these, in the matching process between the input biometric data and the template in step S61, the authentication unit 140 first performs the processes in steps S6101 to S6103 illustrated in FIG. 16A. After that, the authentication unit 140 selects one of the segment pairs based on the rough alignment result, as shown in FIG. 20 (step S6104).
セグメント対を選択すると、認証部140は、次に、選択したセグメント対の血管位置変動率を算出する(ステップS6115)。ステップS6115の処理は、血管位置変動率算出部145が行う。血管位置変動率算出部145は、例えば、選択したセグメント対における各セグメントの抽出安定度の積の逆数を、血管位置変動率として算出する。第1の実施形態で例示したように抽出安定度Sが0<S≦1であり、かつ抽出安定度の積の逆数を血管位置変動率とした場合、抽出安定度が高いセグメント対の血管位置変動率は1又は1に近い値となる。これに対し、抽出安定度が低いセグメント対の血管位置変動率は1よりも大きな値となり、抽出安定度が低いほど絶対値が大きくなる。 When the segment pair is selected, the authentication unit 140 then calculates the blood vessel position variation rate of the selected segment pair (step S6115). The process of step S6115 is performed by the blood vessel position variation rate calculation unit 145. The blood vessel position variation rate calculation unit 145 calculates, for example, the reciprocal of the product of the extraction stability of each segment in the selected segment pair as the blood vessel position variation rate. As shown in the first embodiment, when the extraction stability S is 0 <S ≦ 1 and the reciprocal of the product of the extraction stability is the blood vessel position variation rate, the blood vessel position of the segment pair with high extraction stability is obtained. The fluctuation rate is 1 or a value close to 1. On the other hand, the blood vessel position variation rate of the segment pair having low extraction stability becomes larger than 1, and the absolute value becomes larger as the extraction stability becomes lower.
次に、認証部140は、血管位置変動率に基づき、三次元空間における奥行き方向のセグメント対の変動を考慮してセグメント対を照合し、照合スコアを算出する(ステップS6116)。ステップS6116の処理は、照合部143が行う。照合部143は、例えば、血管位置変動率の高いセグメント対については、セグメント対におけるセグメント同士の奥行き方向の位置ずれに対する許容度を大きくして照合スコアを算出する。照合部143は、セグメント対におけるセグメント同士のxy平面内での距離、z方向の距離(奥行き値の差)等に基づいて照合スコアを算出する。この際、照合部143は、例えば、セグメント対におけるセグメント同士のz方向の距離が閾値以下である場合に、その距離に応じた値を照合スコアに加算する。ところが、セグメント同士のz方向の距離についての閾値が一定値である場合、血管位置変動率の高いセグメント対は、セグメント同士のz方向の距離が閾値を超えてしまう。このため、セグメント対が正しいセグメント同士の組であってもz方向の位置ずれが大きいため照合スコアに反映されない可能性がある。したがって、ステップS6116において血管位置変動率の高いセグメント対についての照合スコアを算出する場合、照合部143は、例えば、照合スコアへの加算対象となるセグメント同士のz方向の距離の閾値を血管位置変動率の値に応じて長くする。これにより、血管位置変動率の高いセグメント対、言い換えると三次元化した血管パターンにおける奥行き値の揺らぎが大きいセグメント対で、セグメント同士の奥行き方向の位置ずれが大きくなることによる照合スコアの低下を抑制することが可能となる。 Next, the authentication unit 140 collates the segment pairs in consideration of the variation of the segment pairs in the depth direction in the three-dimensional space based on the blood vessel position variation rate, and calculates a collation score (step S6116). The processing of step S6116 is performed by the matching unit 143. For example, for a segment pair having a high blood vessel position variation rate, the matching unit 143 increases the tolerance for positional deviation between the segments in the segment pair in the depth direction and calculates a matching score. The matching unit 143 calculates the matching score based on the distance between the segments in the pair of segments in the xy plane, the distance in the z direction (difference in depth value), and the like. At this time, for example, when the distance between the segments in the pair of segments in the z direction is equal to or less than the threshold, the matching unit 143 adds a value corresponding to the distance to the matching score. However, when the threshold value for the distance between the segments in the z direction is a constant value, the distance between the segments in the z direction exceeds the threshold value for the segment pair having a high blood vessel position variation rate. For this reason, even if the segment pair is a set of correct segments, there is a possibility that it will not be reflected in the matching score because the positional deviation in the z direction is large. Therefore, when calculating the matching score for the segment pair having a high blood vessel position variation rate in step S6116, the matching unit 143 sets the threshold value of the distance in the z direction between the segments to be added to the matching score to the blood vessel position fluctuation, for example. Lengthen according to the rate value. As a result, in a segment pair with a high rate of blood vessel position variation, in other words, a segment pair with a large fluctuation in depth value in a three-dimensional blood vessel pattern, it is possible to suppress a decrease in the matching score due to a large positional deviation between the segments in the depth direction. It becomes possible to do.
血管位置変動率を考慮した照合スコアを算出すると、照合部143は、次に、最終照合スコアに照合スコアを加算し(ステップS6107)、全てのセグメント対に対して照合スコアを算出する処理をしたか否かを判定する(ステップS6108)。 When the matching score in consideration of the blood vessel position variation rate is calculated, the matching unit 143 then adds the matching score to the final matching score (step S6107), and performs a process of calculating matching scores for all segment pairs. It is determined whether or not (step S6108).
照合スコアを算出する処理をしていないセグメント対がある場合(ステップS6108;No)、照合部143は、血管位置変動率算出部145と協働してステップS6104以降の処理を繰り返す。そして、全てのセグメント対で照合スコアを算出する処理が行われた場合(ステップS6108;Yes)、照合部143は、次に、最終照合スコアが閾値以上であるか否かを判定する(ステップS6109)。 When there is a segment pair for which the process of calculating the matching score has not been performed (step S6108; No), the matching unit 143 cooperates with the blood vessel position variation rate calculating unit 145 to repeat the processes from step S6104. Then, when the process of calculating the matching score for all the segment pairs is performed (step S6108; Yes), the matching unit 143 next determines whether or not the final matching score is equal to or more than a threshold value (step S6109). ).
最終照合スコアが閾値以上である場合(ステップS6109;Yes)、照合部143は、照合に成功したことを判定部144に通知し(ステップS6110)、照合データとテンプレートとの照合処理を終了する(リターン)。 When the final matching score is equal to or higher than the threshold value (step S6109; Yes), the matching unit 143 notifies the determining unit 144 that the matching has succeeded (step S6110), and ends the matching process between the matching data and the template (step S6110). return).
一方、最終照合スコアが閾値よりも小さい場合(ステップS6109;No)、照合部143は、次に、照合していないテンプレートがあるか否かを判定する(ステップS6111)。照合していないテンプレートがある場合(ステップS6111;Yes)、照合部143は、簡易位置合わせ部141及び血管位置変動率算出部145と協働してステップS6101以降の処理を繰り返す。そして、全てのテンプレートと照合したにも関わらず最終照合スコアが閾値以上となるテンプレートがない場合(ステップS6111;No)、照合部143は、照合に失敗したことを判定部144に通知し(ステップS6112)、照合処理を終了する。 On the other hand, when the final matching score is smaller than the threshold value (step S6109; No), the matching unit 143 next determines whether or not there is any unmatched template (step S6111). If there is a template that has not been collated (step S6111; Yes), the collation unit 143 cooperates with the simple alignment unit 141 and the blood vessel position variation rate calculation unit 145 to repeat the processing from step S6101. Then, when there is no template whose final matching score is equal to or higher than the threshold value even though all the templates have been matched (step S6111; No), the matching unit 143 notifies the determination unit 144 that the matching has failed (step S6111). (S6112), and the matching process ends.
このように、本実施形態においては、三次元の血管パターンにおける各セグメントの抽出安定度に応じた血管位置変動率に基づき、三次元空間における奥行き方向のセグメントの位置の変動を考慮して入力生体データとテンプレートとの照合を行う。この際、入力生体データのセグメントとテンプレートのセグメントとのセグメント対のうち、血管位置変動率が大きいセグメント対については、三次元空間における奥行き方向の位置ずれに対する許容度を大きくして照合スコアを算出する。このため、抽出安定度が低いものの正しい組み合わせであるセグメント対の照合スコアの低下を抑制することが可能となる。 As described above, in the present embodiment, based on the blood vessel position variation rate according to the extraction stability of each segment in the three-dimensional blood vessel pattern, the variation of the position of the segment in the depth direction in the three-dimensional space is taken into consideration in the input living body. Check the data against the template. At this time, among the segment pairs of the segment of the input biometric data and the segment of the template, for the segment pair having a large blood vessel position variation rate, the matching score is calculated by increasing the tolerance for the displacement in the depth direction in the three-dimensional space. To do. Therefore, it is possible to suppress a decrease in the matching score of the segment pair that is a correct combination, although the extraction stability is low.
また、本実施形態においては、入力生体データのセグメントとテンプレートのセグメントとのセグメント対のうち、血管位置変動率が小さいセグメント対については、三次元空間における奥行き方向の位置ずれに対する許容度を小さくして照合スコアを算出する。このため、抽出安定度が高いものの正しい組み合わせでないセグメント対の照合スコアが高くなることを抑制することが可能となる。 In addition, in the present embodiment, among the segment pairs of the segment of the input biometric data and the segment of the template, for the segment pair having a small blood vessel position variation rate, the tolerance for positional deviation in the depth direction in the three-dimensional space is reduced. To calculate the matching score. Therefore, it is possible to prevent the matching score of a segment pair having a high extraction stability but not a correct combination from increasing.
よって、本実施形態によれば、第1の実施形態と同様、誤った照合結果(認証結果)の出力を抑制することが可能となり、認証精度が向上する。 Therefore, according to the present embodiment, as in the first embodiment, it is possible to suppress the output of an incorrect matching result (authentication result), and the authentication accuracy is improved.
なお、図20に示したフローチャートは、本実施形態に係る入力生体データとテンプレートとの照合処理の一例に過ぎない。すなわち、本実施形態に係る生体認証装置1が行う照合処理は、図16A及び図20に示した処理の一部が変更又は省略された処理であってもよい。 The flowchart shown in FIG. 20 is merely an example of the matching process of the input biometric data and the template according to this embodiment. That is, the collation process performed by the biometric authentication device 1 according to the present embodiment may be a process in which a part of the process illustrated in FIGS. 16A and 20 is changed or omitted.
また、上記の各実施形態に係る生体認証装置1は、例えば、コンピュータと、当該コンピュータに実行させるプログラムとを用いて実現することが可能である。以下、コンピュータとプログラムとを用いて実現される生体認証装置1について、図21を参照して説明する。 Further, the biometric authentication device 1 according to each of the above embodiments can be realized by using, for example, a computer and a program executed by the computer. The biometric authentication device 1 realized by using a computer and a program will be described below with reference to FIG.
図21は、コンピュータのハードウェア構成を示す図である。
図21に示すように、コンピュータ9は、プロセッサ901と、主記憶装置902と、補助記憶装置903と、入力装置904と、出力装置905と、入出力インタフェース906と、通信制御装置907と、媒体駆動装置908と、を備える。コンピュータ9におけるこれらの要素901〜908は、バス910により相互に接続されており、要素間でのデータの受け渡しが可能になっている。
FIG. 21 is a diagram showing a hardware configuration of a computer.
As shown in FIG. 21, the computer 9 includes a processor 901, a main storage device 902, an auxiliary storage device 903, an input device 904, an output device 905, an input / output interface 906, a communication control device 907, and a medium. And a driving device 908. These elements 901 to 908 in the computer 9 are connected to each other by a bus 910, and data can be transferred between the elements.
プロセッサ901は、Central Processing Unit(CPU)やMicro Processing Unit(MPU)等である。プロセッサ901は、オペレーティングシステムを含む各種のプログラムを実行することにより、コンピュータ9の全体の動作を制御する。また、プロセッサ901は、例えば、図5〜図8、図15、図16A及び図16B、並びに図17A〜図17Cに示した生体データを作成する処理、生体データをテンプレートとして登録する処理、及び認証処理等を行う。 The processor 901 is a Central Processing Unit (CPU), a Micro Processing Unit (MPU), or the like. The processor 901 controls various operations of the computer 9 by executing various programs including an operating system. The processor 901 also creates, for example, the biometric data shown in FIGS. 5 to 8, FIG. 15, FIG. 16A and FIG. 16B, and FIGS. 17A to 17C, the process of registering the biometric data as a template, and the authentication. Perform processing, etc.
主記憶装置902は、図示しないRead Only Memory(ROM)及びRandom Access Memory(RAM)を含む。主記憶装置902のROMには、例えば、コンピュータ9の起動時にプロセッサ901が読み出す所定の基本制御プログラム等が予め記録されている。また、主記憶装置902のRAMは、プロセッサ901が、各種のプログラムを実行する際に必要に応じて作業用記憶領域として使用する。主記憶装置902のRAMは、例えば、生体画像6、生体データ、抽出安定度の算出に用いるテーブル160、照合スコア、位置合わせパラメータ等の記憶に利用可能である。 The main storage device 902 includes a Read Only Memory (ROM) and a Random Access Memory (RAM) which are not shown. In the ROM of the main storage device 902, for example, a predetermined basic control program read by the processor 901 when the computer 9 is started is recorded in advance. Further, the RAM of the main storage device 902 is used by the processor 901 as a work storage area as needed when executing various programs. The RAM of the main storage device 902 can be used to store, for example, the biometric image 6, biometric data, the table 160 used for calculating the extraction stability, the matching score, the alignment parameter, and the like.
補助記憶装置903は、例えば、フラッシュメモリ等の不揮発性メモリ(Solid State Drive(SSD)を含む)やHard Disk Drive(HDD)である。補助記憶装置903には、プロセッサ901によって実行される各種のプログラムや各種のデータ等を記憶させることができる。補助記憶装置903は、例えば、生体データを作成する処理、生体データをテンプレートとして登録する処理、及び認証処理を含むプログラム等の記憶に利用可能である。また、補助記憶装置903は、例えば、テンプレートデータベース150、生体画像6、生体データ等の記憶や、認証処理の履歴等の記憶に利用可能である。 The auxiliary storage device 903 is, for example, a non-volatile memory (including a Solid State Drive (SSD)) such as a flash memory or a Hard Disk Drive (HDD). The auxiliary storage device 903 can store various programs executed by the processor 901, various data, and the like. The auxiliary storage device 903 can be used, for example, for storing a program including biometric data creation processing, biometric data registration processing as a template, and authentication processing. Further, the auxiliary storage device 903 can be used to store, for example, the template database 150, the biometric image 6, biometric data, and the history of authentication processing.
入力装置904は、例えば、キーボード装置やタッチパネル装置等である。コンピュータ9のオペレータ(利用者)が入力装置904に対して所定の操作を行うと、入力装置904は、その操作内容に対応付けられている入力情報をプロセッサ901に送信する。入力装置904は、例えば、図1の入力装置2として利用可能である。 The input device 904 is, for example, a keyboard device, a touch panel device, or the like. When the operator (user) of the computer 9 performs a predetermined operation on the input device 904, the input device 904 transmits the input information associated with the operation content to the processor 901. The input device 904 can be used as the input device 2 of FIG. 1, for example.
出力装置905は、例えば、液晶表示装置等のディスプレイ装置を含む。出力装置905は、例えば、コンピュータ9の動作状態や、テンプレートを登録する処理及び認証処理の結果等の表示に利用可能である。すなわち、出力装置905は、図1の表示装置4として利用可能である。 The output device 905 includes, for example, a display device such as a liquid crystal display device. The output device 905 can be used, for example, to display the operating state of the computer 9 and the results of the template registration process and the authentication process. That is, the output device 905 can be used as the display device 4 in FIG.
入出力インタフェース906は、コンピュータ9と、他の電子機器とを接続する。入出力インタフェース906は、例えば、Universal Serial Bus(USB)規格のコネクタ等を備える。入出力インタフェース906を介してコンピュータ9と接続可能な電子機器としては、例えば、生体画像撮像装置3や要認証装置5が挙げられる。 The input / output interface 906 connects the computer 9 and other electronic devices. The input / output interface 906 includes, for example, a Universal Serial Bus (USB) standard connector and the like. Examples of electronic devices that can be connected to the computer 9 via the input / output interface 906 include the biometric image pickup device 3 and the authentication required device 5.
通信制御装置907は、コンピュータ9を通信ネットワークに接続し、通信ネットワークを介したコンピュータ9と他の電子機器との各種通信を制御する装置である。通信制御装置907は、例えば、認証処理の結果の履歴やテンプレートデータベース150に登録されたテンプレート等を、図示しない所定の管理サーバに送信することに利用可能である。また、通信制御装置907を介してコンピュータ9と管理サーバとを接続する場合、例えば、管理サーバの記憶装置にテンプレートデータベース150を記憶させることも可能である。 The communication control device 907 is a device that connects the computer 9 to a communication network and controls various types of communication between the computer 9 and other electronic devices via the communication network. The communication control device 907 can be used, for example, to transmit a history of authentication processing results, templates registered in the template database 150, and the like to a predetermined management server (not shown). When the computer 9 and the management server are connected via the communication control device 907, for example, the template database 150 can be stored in the storage device of the management server.
媒体駆動装置908は、可搬型記憶媒体10に記録されているプログラムやデータの読み出し、補助記憶装置903に記憶されたデータ等の可搬型記憶媒体10への書き込みを行う。媒体駆動装置908は、例えば、1種類又は複数種類の規格に対応したメモリカード用リーダ/ライタが利用可能である。媒体駆動装置908としてメモリカード用リーダ/ライタを用いる場合、可搬型記憶媒体10としては、メモリカード用リーダ/ライタが対応している規格、例えば、Secure Digital(SD)規格のメモリカード(フラッシュメモリ)等を利用可能である。また、可搬型記録媒体10としては、例えば、USB規格のコネクタを備えたフラッシュメモリが利用可能である。可搬型記録媒体10は、上記の生体データを作成する処理、テンプレートを登録する処理、及び認証処理を含むプログラム、生体データ、テンプレートデータベース150、抽出安定度の算出に用いるテーブル160、認証結果等の記憶に利用可能である。 The medium driving device 908 reads out a program or data recorded in the portable storage medium 10 and writes data or the like stored in the auxiliary storage device 903 into the portable storage medium 10. As the medium driving device 908, for example, a memory card reader / writer compatible with one or more types of standards can be used. When a memory card reader / writer is used as the medium driving device 908, the portable storage medium 10 includes a memory card (flash memory) of a standard supported by the memory card reader / writer, for example, Secure Digital (SD) standard. ) Etc. are available. As the portable recording medium 10, for example, a flash memory having a USB standard connector can be used. The portable recording medium 10 includes a program including a process of creating the biometric data, a process of registering a template, and an authentication process, biometric data, a template database 150, a table 160 used for calculating extraction stability, an authentication result, and the like. It is available for memory.
また、コンピュータ9が媒体駆動装置908として利用可能な光ディスクドライブを搭載している場合、当該光ディスクドライブで認識可能な各種の光ディスクを可搬型記録媒体10として利用可能である。可搬型記録媒体10として利用可能な光ディスクには、例えば、Compact Disc(CD)、Digital Versatile Disc(DVD)、Blu-ray Disc(Blu-rayは登録商標)等がある。 When the computer 9 is equipped with an optical disk drive that can be used as the medium driving device 908, various optical disks that can be recognized by the optical disk drive can be used as the portable recording medium 10. Optical discs that can be used as the portable recording medium 10 include, for example, Compact Disc (CD), Digital Versatile Disc (DVD), and Blu-ray Disc (Blu-ray is a registered trademark).
コンピュータ9は、図5の処理を開始する命令を入力すると、プロセッサ901が補助記憶装置903等からプログラムを読み出して実行する。この際、プロセッサ901は、処理選択部110、画像取得部120、データ作成部130、及び認証部140として機能(動作)する。また、主記憶装置902のRAMや補助記憶装置903等は、生体画像及び生体データを記憶する記憶部、テンプレートデータベース150や抽出安定度の算出に用いるテーブル160等を記憶する記憶部として機能する。 When the computer 9 inputs an instruction to start the processing of FIG. 5, the processor 901 reads the program from the auxiliary storage device 903 and executes it. At this time, the processor 901 functions (operates) as the process selection unit 110, the image acquisition unit 120, the data creation unit 130, and the authentication unit 140. The RAM of the main storage device 902, the auxiliary storage device 903, and the like function as a storage unit that stores a biometric image and biometric data, a template database 150, a table 160 that is used to calculate extraction stability, and the like.
なお、生体認証装置1として動作させるコンピュータ9は、図21に示した全ての要素901〜908を含む必要はなく、用途や条件に応じて一部の要素を省略することも可能である。例えば、コンピュータ9は、通信制御装置907や媒体駆動装置908が省略されたものであってもよい。 Note that the computer 9 that operates as the biometric authentication device 1 does not need to include all the elements 901 to 908 illustrated in FIG. 21, and it is possible to omit some elements depending on the application and conditions. For example, the computer 9 may be one in which the communication control device 907 and the medium driving device 908 are omitted.
以上記載した各実施形態に関し、更に以下の付記を開示する。
(付記1)
生体内を走行する血管の像を含む生体画像を取得し、当該生体画像から二次元の血管パターンの像を抽出する血管像抽出部と、
前記二次元の血管パターンにおける前記血管の走行方向の各位置での血管幅又は輝度に基づいて、前記血管幅又は前記輝度を深さ方向の次元として前記二次元の血管パターンの像に付加した三次元の血管パターンを作成する血管パターン作成部と、
前記二次元の血管パターンの像における前記血管の走行方向の各位置での前記血管幅の方向の輝度の断面形状と、前記生体画像から前記血管が抽出される度合いを表す血管の抽出安定度と前記血管の輝度の断面形状との関係と、に基づいて、前記血管の走行方向の前記各位置における抽出安定度を決定する安定度決定部と、
前記三次元の血管パターンと前記抽出安定度とを含む生体データに基づいて、認証の可否を判定する認証部と、
を備えることを特徴とする生体認証装置。
(付記2)
前記認証部は、
予め前記生体画像に基づいて作成して登録された登録用の前記生体データにおける前記三次元の血管パターンと、新たに取得した前記生体画像に基づいて作成した入力生体データにおける前記三次元の血管パターンとの重なり度合い、及び前記血管の走行方向の前記各位置における前記抽出安定度に基づいて、認証の可否を判定する、
ことを特徴とする付記1に記載の生体認証装置。
(付記3)
前記認証部は、
前記登録用の前記生体データにおける前記三次元の血管パターンと、前記入力生体データにおける前記三次元の血管パターンとの位置合わせを行う位置合わせ部と、
位置合わせを行った2つの前記血管パターンにおいて対応付けられる前記血管の走行方向の前記位置毎に、前記抽出安定度に基づいて照合信頼度を算出する照合信頼度算出部と、
位置合わせを行った2つの前記血管パターンにおいて対応付けられる前記血管の走行方向の前記位置毎に、重なり度合いと前記照合信頼度とに基づいて照合スコアを算出し、前記血管における各位置の照合スコアを加算した値を算出する照合部と、
前記照合スコアを加算した前記値に基づいて、前記認証の可否を判定する判定部と、
を備えることを特徴とする付記2に記載の生体認証装置。
(付記4)
前記照合信頼度算出部は、前記抽出安定度が高いほど前記照合信頼度を高くし、
前記照合部は、前記照合信頼度が高いほど前記照合スコアを高くする、
ことを特徴とする付記3に記載の生体認証装置。
(付記5)
前記認証部は、
前記登録用の前記生体データにおける前記三次元の血管パターンと、前記入力生体データにおける前記三次元の血管パターンとの位置合わせを行う位置合わせ部と、
位置合わせを行った2つの前記血管パターンにおいて対応付けられる前記血管の走行方向の前記位置毎に、前記抽出安定度に基づいて前記深さ方向の血管位置変動率を算出する変動率算出部と、
位置合わせを行った2つの前記血管パターンにおいて対応付けられる前記血管の走行方向の前記位置毎に、重なり度合いと前記血管位置変動率とに基づいて照合スコアを算出し、前記血管における各位置の照合スコアを加算した値を算出する照合部と、
前記照合スコアを加算した前記値に基づいて、前記認証の可否を判定する判定部と、
を備えることを特徴とする付記2に記載の生体認証装置。
(付記6)
前記変動率算出部は、前記抽出安定度が高いほど前記血管位置変動率を低くし、
前記照合部は、前記血管位置変動率が高いほど前記照合スコアを算出する際に加算対象とする前記血管の位置の前記深さ方向の許容度を高くする、
ことを特徴とする付記5に記載の生体認証装置。
(付記7)
前記認証部は、
前記登録用の前記生体データにおける前記三次元の血管パターンと、前記入力生体データにおける前記三次元の血管パターンとにおける前記血管の走行方向の前記各位置のうち、前記抽出安定度が所定の閾値よりも高い位置同士の位置関係に基づいて、2つの前記三次元の血管パターンの位置合わせを行い、
位置合わせ後の前記三次元の血管パターンの重なり度合い、及び前記血管の走行方向の前記各位置における前記抽出安定度に基づいて、認証の可否を判定する、
ことを特徴とする付記2に記載の生体認証装置。
(付記8)
コンピュータが、
生体内を走行する血管の像を含む生体画像を取得し、当該生体画像から二次元の血管パターンの像を抽出し、
前記二次元の血管パターンにおける前記血管の走行方向の各位置での血管幅又は輝度に基づいて、前記血管幅又は前記輝度を深さ方向の次元として前記二次元の血管パターンの像に付加した三次元の血管パターンを作成するとともに、前記二次元の血管パターンの像における前記血管の走行方向の各位置での前記血管幅の方向の輝度の断面形状と、前記生体画像から前記血管が抽出される度合いを表す血管の抽出安定度と前記血管の輝度の断面形状との関係と、に基づいて、前記血管の走行方向の前記各位置における抽出安定度を決定し、
前記三次元の血管パターンと前記抽出安定度とを含む生体データに基づいて、認証の可否を判定する、
処理を実行することを特徴とする生体認証方法。
(付記9)
前記認証の可否を判定する処理において、前記コンピュータは、
予め前記生体画像に基づいて作成して登録された登録用の前記生体データにおける前記三次元の血管パターンと、新たに取得した前記生体画像に基づいて作成した入力生体データにおける前記三次元の血管パターンとの重なり度合い、及び前記血管の走行方向の前記各位置における前記抽出安定度に基づいて、認証の可否を判定する、
ことを特徴とする付記8に記載の生体認証方法。
(付記10)
前記認証の可否を判定する処理において、前記コンピュータは、
前記登録用の前記生体データにおける前記三次元の血管パターンと、前記入力生体データにおける前記三次元の血管パターンとの位置合わせを行い、
位置合わせを行った2つの前記血管パターンにおいて対応付けられる前記血管の走行方向の前記位置毎に、前記抽出安定度に基づいて照合信頼度を算出し、
位置合わせを行った2つの前記血管パターンにおいて対応付けられる前記血管の走行方向の前記位置毎に、重なり度合いと前記照合信頼度とに基づいて照合スコアを算出し、前記血管における各位置の照合スコアを加算した値を算出し、
前記照合スコアを加算した前記値に基づいて、前記認証の可否を判定する、
処理を実行することを特徴とする付記9に記載の生体認証方法。
(付記11)
前記認証の可否を判定する処理において、前記コンピュータは、
前記登録用の前記生体データにおける前記三次元の血管パターンと、前記入力生体データにおける前記三次元の血管パターンとの位置合わせを行い、
位置合わせを行った2つの前記血管パターンにおいて対応付けられる前記血管の走行方向の前記位置毎に、前記抽出安定度に基づいて前記深さ方向の血管位置変動率を算出し、
位置合わせを行った2つの前記血管パターンにおいて対応付けられる前記血管の走行方向の前記位置毎に、重なり度合いと前記血管位置変動率とに基づいて照合スコアを算出し、前記血管における各位置の照合スコアを加算した値を算出し、
前記照合スコアを加算した前記値に基づいて、前記認証の可否を判定する、
処理を実行することを特徴とする付記9に記載の生体認証方法。
(付記12)
前記認証の可否を判定する処理において、前記コンピュータは、
前記登録用の前記生体データにおける前記三次元の血管パターンと、前記入力生体データにおける前記三次元の血管パターンとにおける前記血管の走行方向の前記各位置のうち、前記抽出安定度が所定の閾値よりも高い位置同士の位置関係に基づいて、2つの前記三次元の血管パターンの位置合わせを行い、
位置合わせ後の前記三次元の血管パターンの重なり度合い、及び前記血管の走行方向の前記各位置における前記抽出安定度に基づいて、認証の可否を判定する、
処理を実行することを特徴とする付記9に記載の生体認証方法。
(付記13)
生体内を走行する血管の像を含む生体画像を取得し、当該生体画像から二次元の血管パターンの像を抽出し、
前記二次元の血管パターンにおける前記血管の走行方向の各位置での血管幅又は輝度に基づいて、前記血管幅又は前記輝度を深さ方向の次元として前記二次元の血管パターンの像に付加した三次元の血管パターンを作成するとともに、前記二次元の血管パターンの像における前記血管の走行方向の各位置での前記血管幅の方向の輝度の断面形状と、前記生体画像から前記血管が抽出される度合いを表す血管の抽出安定度と前記血管の輝度の断面形状との関係と、に基づいて、前記血管の走行方向の前記各位置における抽出安定度を決定し、
前記三次元の血管パターンと前記抽出安定度とを含む生体データに基づいて、認証の可否を判定する、
処理をコンピュータに実行させる生体認証プログラム。
The following supplementary notes will be disclosed with respect to the respective embodiments described above.
(Appendix 1)
A blood vessel image extracting unit that acquires a biometric image including an image of a blood vessel traveling in the living body, and extracts a two-dimensional blood vessel pattern image from the biometric image,
Based on the blood vessel width or the brightness at each position in the running direction of the blood vessel in the two-dimensional blood vessel pattern, the third order in which the blood vessel width or the brightness is added to the image of the two-dimensional blood vessel pattern as a dimension in the depth direction. A blood vessel pattern creation unit that creates an original blood vessel pattern,
A cross-sectional shape of luminance in the direction of the blood vessel width at each position in the running direction of the blood vessel in the image of the two-dimensional blood vessel pattern, and extraction stability of the blood vessel that represents the degree to which the blood vessel is extracted from the biometric image. A relationship with the cross-sectional shape of the brightness of the blood vessel, based on the stability determination unit that determines the extraction stability at each position in the traveling direction of the blood vessel,
An authentication unit that determines whether authentication is possible, based on biometric data including the three-dimensional blood vessel pattern and the extraction stability.
A biometric authentication device, comprising:
(Appendix 2)
The authentication unit is
The three-dimensional blood vessel pattern in the biometric data for registration that is created and registered based on the biometric image in advance, and the three-dimensional blood vessel pattern in the input biometric data created based on the newly acquired biometric image. Based on the degree of overlap with, and the extraction stability at each position in the traveling direction of the blood vessel, it is determined whether or not authentication is possible.
The biometric authentication device according to appendix 1, characterized in that.
(Appendix 3)
The authentication unit is
A registration unit that aligns the three-dimensional blood vessel pattern in the biometric data for registration and the three-dimensional blood vessel pattern in the input biometric data,
A matching reliability calculation unit that calculates matching reliability based on the extraction stability for each of the positions in the traveling direction of the blood vessel that are associated with each other in the two aligned blood vessel patterns;
A matching score is calculated based on the degree of overlap and the matching reliability for each position in the traveling direction of the blood vessel that is associated in the two aligned blood vessel patterns, and the matching score at each position in the blood vessel is calculated. A collation unit that calculates a value obtained by adding
Based on the value obtained by adding the matching score, a determination unit that determines whether the authentication is possible,
The biometric authentication device according to appendix 2, further comprising:
(Appendix 4)
The collation reliability calculation unit increases the collation reliability as the extraction stability is higher,
The matching unit increases the matching score as the matching reliability is higher,
The biometric authentication device according to appendix 3, characterized in that.
(Appendix 5)
The authentication unit is
A registration unit that aligns the three-dimensional blood vessel pattern in the biometric data for registration and the three-dimensional blood vessel pattern in the input biometric data,
A fluctuation rate calculation unit that calculates a blood vessel position fluctuation rate in the depth direction based on the extraction stability for each of the positions in the traveling direction of the blood vessel that are associated with each other in the two aligned blood vessel patterns,
A collation score is calculated based on the degree of overlap and the blood vessel position variation rate for each of the positions in the traveling direction of the blood vessel that are associated in the two aligned blood vessel patterns, and the collation of each position in the blood vessel is performed. A collation unit that calculates a value obtained by adding scores,
Based on the value obtained by adding the matching score, a determination unit that determines whether the authentication is possible,
The biometric authentication device according to appendix 2, further comprising:
(Appendix 6)
The fluctuation rate calculation unit lowers the blood vessel position fluctuation rate as the extraction stability is higher,
The matching unit increases the tolerance in the depth direction of the position of the blood vessel to be added when calculating the matching score as the blood vessel position variation rate is higher,
The biometric authentication device according to appendix 5, characterized in that.
(Appendix 7)
The authentication unit is
Of the respective positions in the traveling direction of the blood vessel in the three-dimensional blood vessel pattern in the biometric data for registration and the three-dimensional blood vessel pattern in the input biometric data, the extraction stability is higher than a predetermined threshold value. Based on the positional relationship between the higher positions, the two three-dimensional blood vessel patterns are aligned,
Based on the degree of overlap of the three-dimensional blood vessel pattern after alignment, and the extraction stability at each position in the traveling direction of the blood vessel, it is determined whether authentication is possible.
The biometric authentication device according to appendix 2, characterized in that.
(Appendix 8)
Computer
Acquiring a biometric image including an image of a blood vessel traveling in a living body, extracting a two-dimensional blood vessel pattern image from the biometric image,
Based on the blood vessel width or the brightness at each position in the running direction of the blood vessel in the two-dimensional blood vessel pattern, the third order in which the blood vessel width or the brightness is added to the image of the two-dimensional blood vessel pattern as a dimension in the depth direction. The original blood vessel pattern is created, and the blood vessel is extracted from the biometric image and the cross-sectional shape of the luminance in the blood vessel width direction at each position in the traveling direction of the blood vessel in the image of the two-dimensional blood vessel pattern. Based on the relationship between the extraction stability of the blood vessel representing the degree and the cross-sectional shape of the brightness of the blood vessel, based on the determination, the extraction stability at each position in the traveling direction of the blood vessel,
Based on biometric data including the three-dimensional blood vessel pattern and the extraction stability, it is determined whether or not authentication is possible.
A biometric authentication method characterized by executing a process.
(Appendix 9)
In the process of determining whether the authentication is possible, the computer is
The three-dimensional blood vessel pattern in the biometric data for registration that is created and registered based on the biometric image in advance, and the three-dimensional blood vessel pattern in the input biometric data created based on the newly acquired biometric image. Based on the degree of overlap with, and the extraction stability at each position in the traveling direction of the blood vessel, it is determined whether or not authentication is possible.
9. The biometric authentication method according to appendix 8, which is characterized in that
(Appendix 10)
In the process of determining whether the authentication is possible, the computer is
Aligning the three-dimensional blood vessel pattern in the biometric data for registration and the three-dimensional blood vessel pattern in the input biometric data,
For each of the positions in the traveling direction of the blood vessel that are associated with each other in the two aligned blood vessel patterns, a matching reliability is calculated based on the extraction stability,
A matching score is calculated based on the degree of overlap and the matching reliability for each position in the traveling direction of the blood vessel that is associated in the two aligned blood vessel patterns, and the matching score at each position in the blood vessel is calculated. Calculate the value by adding
Based on the value obtained by adding the matching score, it is determined whether or not the authentication is possible.
10. The biometrics authentication method according to appendix 9, wherein the biometrics authentication method is performed.
(Appendix 11)
In the process of determining whether the authentication is possible, the computer is
Aligning the three-dimensional blood vessel pattern in the biometric data for registration and the three-dimensional blood vessel pattern in the input biometric data,
Calculating a blood vessel position variation rate in the depth direction based on the extraction stability for each of the positions in the traveling direction of the blood vessel that are associated with each other in the two blood vessel patterns that have been aligned,
A collation score is calculated based on the degree of overlap and the blood vessel position variation rate for each of the positions in the traveling direction of the blood vessel that are associated in the two aligned blood vessel patterns, and the collation of each position in the blood vessel is performed. Calculate the value with the added score,
Based on the value obtained by adding the matching score, it is determined whether or not the authentication is possible.
10. The biometrics authentication method according to appendix 9, wherein the biometrics authentication method is performed.
(Appendix 12)
In the process of determining whether the authentication is possible, the computer is
Of the respective positions in the traveling direction of the blood vessel in the three-dimensional blood vessel pattern in the biometric data for registration and the three-dimensional blood vessel pattern in the input biometric data, the extraction stability is higher than a predetermined threshold value. Based on the positional relationship between the higher positions, the two three-dimensional blood vessel patterns are aligned,
Based on the degree of overlap of the three-dimensional blood vessel pattern after alignment, and the extraction stability at each position in the traveling direction of the blood vessel, it is determined whether or not authentication is possible.
10. The biometrics authentication method according to appendix 9, wherein the biometrics authentication method is performed.
(Appendix 13)
Acquiring a biometric image including an image of a blood vessel traveling in the living body, extracting an image of a two-dimensional blood vessel pattern from the biometric image,
Based on the blood vessel width or the brightness at each position in the running direction of the blood vessel in the two-dimensional blood vessel pattern, the third order in which the blood vessel width or the brightness is added to the image of the two-dimensional blood vessel pattern as a dimension in the depth direction. The original blood vessel pattern is created, and the blood vessel is extracted from the biometric image and the cross-sectional shape of the luminance in the blood vessel width direction at each position in the traveling direction of the blood vessel in the image of the two-dimensional blood vessel pattern. Based on the relationship between the extraction stability of the blood vessel indicating the degree and the cross-sectional shape of the brightness of the blood vessel, the extraction stability at each position in the traveling direction of the blood vessel is determined,
Based on biometric data including the three-dimensional blood vessel pattern and the extraction stability, it is determined whether or not authentication is possible.
A biometric authentication program that causes a computer to perform processing.
1 生体認証装置
110 処理選択部
120 画像取得部
130 データ作成部
131 血管像抽出部
132 血管分割部
133 血管パターン作成部
133a 血管幅抽出部
133b 奥行き値算出部
133c パターン三次元化部
134 安定度決定部
134a 輝度断面抽出部
134b 安定度算出部
135 データ出力部
140 認証部
141 簡易位置合わせ部
142 照合信頼度算出部
143 照合部
144 判定部
145 血管位置変動率算出部
150 テンプレートデータベース
2 入力装置
3 生体画像撮像装置
4 表示装置
5 要認証装置
6 生体画像
602,602a〜602i,603,603a,603b,604c〜604e 血管(セグメント)
7 仮想三次元空間
9 コンピュータ
901 プロセッサ
902 主記憶装置
903 補助記憶装置
904 入力装置
905 出力装置
906 入出力インタフェース
907 通信制御装置
908 媒体駆動装置
10 可搬型記録媒体
1 biometric authentication device 110 processing selection unit 120 image acquisition unit 130 data creation unit 131 blood vessel image extraction unit 132 blood vessel division unit 133 blood vessel pattern creation unit 133a blood vessel width extraction unit 133b depth value calculation unit 133c pattern three-dimensionalization unit 134 stability determination Part 134a Luminance section extraction part 134b Stability calculation part 135 Data output part 140 Authentication part 141 Simple alignment part 142 Collation reliability calculation part 143 Collation part 144 Judgment part 145 Blood vessel position variation rate calculation part 150 Template database 2 Input device 3 Living body Image capturing device 4 Display device 5 Authentication required device 6 Biometric image 602, 602a to 602i, 603, 603a, 603b, 604c to 604e Blood vessel (segment)
7 virtual three-dimensional space 9 computer 901 processor 902 main storage device 903 auxiliary storage device 904 input device 905 output device 906 input / output interface 907 communication control device 908 medium drive device 10 portable recording medium
Claims (7)
前記二次元の血管パターンにおける前記血管の走行方向の各位置での血管幅又は輝度に基づいて、前記血管幅又は前記輝度を深さ方向の次元として前記二次元の血管パターンの像に付加した三次元の血管パターンを作成する血管パターン作成部と、
前記二次元の血管パターンの像における前記血管の走行方向の各位置での前記血管幅の方向の輝度の断面形状と、前記生体画像から前記血管が抽出される度合いを表す血管の抽出安定度と前記血管の輝度の断面形状との関係と、に基づいて、前記血管の走行方向の前記各位置における抽出安定度を決定する安定度決定部と、
前記三次元の血管パターンと前記抽出安定度とを含む生体データに基づいて、認証の可否を判定する認証部と、
を備えることを特徴とする生体認証装置。 A blood vessel image extracting unit that acquires a biometric image including an image of a blood vessel traveling in the living body, and extracts a two-dimensional blood vessel pattern image from the biometric image,
Based on the blood vessel width or the brightness at each position in the running direction of the blood vessel in the two-dimensional blood vessel pattern, the third order in which the blood vessel width or the brightness is added to the image of the two-dimensional blood vessel pattern as a dimension in the depth direction. A blood vessel pattern creation unit that creates an original blood vessel pattern,
A cross-sectional shape of luminance in the direction of the blood vessel width at each position in the running direction of the blood vessel in the image of the two-dimensional blood vessel pattern, and extraction stability of the blood vessel that represents the degree to which the blood vessel is extracted from the biometric image. A relationship with the cross-sectional shape of the brightness of the blood vessel, based on the stability determination unit that determines the extraction stability at each position in the traveling direction of the blood vessel,
An authentication unit that determines whether authentication is possible, based on biometric data including the three-dimensional blood vessel pattern and the extraction stability.
A biometric authentication device, comprising:
予め前記生体画像に基づいて作成して登録された登録用の前記生体データにおける前記三次元の血管パターンと、新たに取得した前記生体画像に基づいて作成した入力生体データにおける前記三次元の血管パターンとの重なり度合い、及び前記血管の走行方向の前記各位置における前記抽出安定度に基づいて、認証の可否を判定する、
ことを特徴とする請求項1に記載の生体認証装置。 The authentication unit is
The three-dimensional blood vessel pattern in the biometric data for registration that is created and registered based on the biometric image in advance, and the three-dimensional blood vessel pattern in the input biometric data created based on the newly acquired biometric image. Based on the degree of overlap with, and the extraction stability at each position in the traveling direction of the blood vessel, it is determined whether or not authentication is possible.
The biometric authentication device according to claim 1, wherein
前記登録用の前記生体データにおける前記三次元の血管パターンと、前記入力生体データにおける前記三次元の血管パターンとの位置合わせを行う位置合わせ部と、
位置合わせを行った2つの前記血管パターンにおいて対応付けられる前記血管の走行方向の前記位置毎に、前記抽出安定度に基づいて照合信頼度を算出する照合信頼度算出部と、
位置合わせを行った2つの前記血管パターンにおいて対応付けられる前記血管の走行方向の前記位置毎に、重なり度合いと前記照合信頼度とに基づいて照合スコアを算出し、前記血管における各位置の照合スコアを加算した値を算出する照合部と、
前記照合スコアを加算した前記値に基づいて、前記認証の可否を判定する判定部と、
を備えることを特徴とする請求項2に記載の生体認証装置。 The authentication unit is
A registration unit that aligns the three-dimensional blood vessel pattern in the biometric data for registration and the three-dimensional blood vessel pattern in the input biometric data,
A matching reliability calculation unit that calculates matching reliability based on the extraction stability for each of the positions in the traveling direction of the blood vessel that are associated with each other in the two aligned blood vessel patterns;
A matching score is calculated based on the degree of overlap and the matching reliability for each position in the traveling direction of the blood vessel that is associated in the two aligned blood vessel patterns, and the matching score at each position in the blood vessel is calculated. A collation unit that calculates a value obtained by adding
Based on the value obtained by adding the matching score, a determination unit that determines whether the authentication is possible,
The biometric authentication device according to claim 2, further comprising:
前記登録用の前記生体データにおける前記三次元の血管パターンと、前記入力生体データにおける前記三次元の血管パターンとの位置合わせを行う位置合わせ部と、
位置合わせを行った2つの前記血管パターンにおいて対応付けられる前記血管の走行方向の前記位置毎に、前記抽出安定度に基づいて前記深さ方向の血管位置変動率を算出する変動率算出部と、
位置合わせを行った2つの前記血管パターンにおいて対応付けられる前記血管の走行方向の前記位置毎に、重なり度合いと前記血管位置変動率とに基づいて照合スコアを算出し、前記血管における各位置の照合スコアを加算した値を算出する照合部と、
前記照合スコアを加算した前記値に基づいて、前記認証の可否を判定する判定部と、
を備えることを特徴とする請求項2に記載の生体認証装置。 The authentication unit is
A registration unit that aligns the three-dimensional blood vessel pattern in the biometric data for registration and the three-dimensional blood vessel pattern in the input biometric data,
A fluctuation rate calculation unit that calculates a blood vessel position fluctuation rate in the depth direction based on the extraction stability for each of the positions in the traveling direction of the blood vessel that are associated with each other in the two aligned blood vessel patterns,
A collation score is calculated based on the degree of overlap and the blood vessel position variation rate for each of the positions in the traveling direction of the blood vessel that are associated in the two aligned blood vessel patterns, and the collation of each position in the blood vessel is performed. A collation unit that calculates a value obtained by adding scores,
Based on the value obtained by adding the matching score, a determination unit that determines whether the authentication is possible,
The biometric authentication device according to claim 2, further comprising:
前記登録用の前記生体データにおける前記三次元の血管パターンと、前記入力生体データにおける前記三次元の血管パターンとにおける前記血管の走行方向の前記各位置のうち、前記抽出安定度が所定の閾値よりも高い位置同士の位置関係に基づいて、2つの前記三次元の血管パターンの位置合わせを行い、
位置合わせ後の前記三次元の血管パターンの重なり度合い、及び前記血管の走行方向の前記各位置における前記抽出安定度に基づいて、認証の可否を判定する、
ことを特徴とする請求項2に記載の生体認証装置。 The authentication unit is
Of the respective positions in the traveling direction of the blood vessel in the three-dimensional blood vessel pattern in the biometric data for registration and the three-dimensional blood vessel pattern in the input biometric data, the extraction stability is higher than a predetermined threshold value. Based on the positional relationship between the higher positions, the two three-dimensional blood vessel patterns are aligned,
Based on the degree of overlap of the three-dimensional blood vessel pattern after alignment, and the extraction stability at each position in the traveling direction of the blood vessel, it is determined whether authentication is possible.
The biometrics authentication system according to claim 2, wherein
生体内を走行する血管の像を含む生体画像を取得し、当該生体画像から二次元の血管パターンの像を抽出し、
前記二次元の血管パターンにおける前記血管の走行方向の各位置での血管幅又は輝度に基づいて、前記血管幅又は前記輝度を深さ方向の次元として前記二次元の血管パターンの像に付加した三次元の血管パターンを作成するとともに、前記二次元の血管パターンの像における前記血管の走行方向の各位置での前記血管幅の方向の輝度の断面形状と、前記生体画像から前記血管が抽出される度合いを表す血管の抽出安定度と前記血管の輝度の断面形状との関係と、に基づいて、前記血管の走行方向の前記各位置における抽出安定度を決定し、
前記三次元の血管パターンと前記抽出安定度とを含む生体データに基づいて、認証の可否を判定する、
処理を実行することを特徴とする生体認証方法。 Computer
Acquiring a biometric image including an image of a blood vessel traveling in a living body, extracting a two-dimensional blood vessel pattern image from the biometric image,
Based on the blood vessel width or the brightness at each position in the running direction of the blood vessel in the two-dimensional blood vessel pattern, the third order in which the blood vessel width or the brightness is added to the image of the two-dimensional blood vessel pattern as a dimension in the depth direction. The original blood vessel pattern is created, and the blood vessel is extracted from the biometric image and the cross-sectional shape of the luminance in the blood vessel width direction at each position in the traveling direction of the blood vessel in the image of the two-dimensional blood vessel pattern. Based on the relationship between the extraction stability of the blood vessel representing the degree and the cross-sectional shape of the brightness of the blood vessel, based on the determination, the extraction stability at each position in the traveling direction of the blood vessel,
Based on biometric data including the three-dimensional blood vessel pattern and the extraction stability, it is determined whether or not authentication is possible.
A biometric authentication method characterized by executing a process.
前記二次元の血管パターンにおける前記血管の走行方向の各位置での血管幅又は輝度に基づいて、前記血管幅又は前記輝度を深さ方向の次元として前記二次元の血管パターンの像に付加した三次元の血管パターンを作成するとともに、前記二次元の血管パターンの像における前記血管の走行方向の各位置での前記血管幅の方向の輝度の断面形状と、前記生体画像から前記血管が抽出される度合いを表す血管の抽出安定度と前記血管の輝度の断面形状との関係と、に基づいて、前記血管の走行方向の前記各位置における抽出安定度を決定し、
前記三次元の血管パターンと前記抽出安定度とを含む生体データに基づいて、認証の可否を判定する、
処理をコンピュータに実行させる生体認証プログラム。 Acquiring a biometric image including an image of a blood vessel traveling in a living body, extracting a two-dimensional blood vessel pattern image from the biometric image,
Based on the blood vessel width or the brightness at each position in the running direction of the blood vessel in the two-dimensional blood vessel pattern, the third order in which the blood vessel width or the brightness is added to the image of the two-dimensional blood vessel pattern as a dimension in the depth direction. The original blood vessel pattern is created, and the blood vessel is extracted from the biometric image and the cross-sectional shape of the luminance in the blood vessel width direction at each position in the traveling direction of the blood vessel in the image of the two-dimensional blood vessel pattern. Based on the relationship between the extraction stability of the blood vessel representing the degree and the cross-sectional shape of the brightness of the blood vessel, based on the determination, the extraction stability at each position in the traveling direction of the blood vessel,
Based on biometric data including the three-dimensional blood vessel pattern and the extraction stability, it is determined whether or not authentication is possible.
A biometric authentication program that causes a computer to perform processing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016125781A JP6683033B2 (en) | 2016-06-24 | 2016-06-24 | Biometric authentication device, biometric authentication method, and biometric authentication program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016125781A JP6683033B2 (en) | 2016-06-24 | 2016-06-24 | Biometric authentication device, biometric authentication method, and biometric authentication program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017228227A JP2017228227A (en) | 2017-12-28 |
| JP6683033B2 true JP6683033B2 (en) | 2020-04-15 |
Family
ID=60891786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016125781A Expired - Fee Related JP6683033B2 (en) | 2016-06-24 | 2016-06-24 | Biometric authentication device, biometric authentication method, and biometric authentication program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6683033B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2025022490A (en) * | 2023-08-03 | 2025-02-14 | 株式会社日立ハイテク | System for performing evaluation of a puncture point for blood collection - Patents.com |
-
2016
- 2016-06-24 JP JP2016125781A patent/JP6683033B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017228227A (en) | 2017-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10762366B2 (en) | Finger vein identification method and device | |
| JP5504928B2 (en) | Biometric authentication device, biometric authentication method, and program | |
| JP5810581B2 (en) | Biological information processing apparatus, biological information processing method, and biological information processing program | |
| KR101656566B1 (en) | Device to extract biometric feature vector, method to extract biometric feature vector and program to extract biometric feature vector | |
| JP5045344B2 (en) | Registration device, registration method, authentication device, and authentication method | |
| JP5363587B2 (en) | Biometric information registration method, biometric authentication method, and biometric authentication device | |
| EP1612718A2 (en) | Registration method for biometric authentication system, corresponding biometric authentication system, and program for same | |
| KR101025666B1 (en) | Finger vein feature point extraction method and device | |
| JP2008287433A (en) | Vein pattern management system, vein pattern registration device, vein pattern authentication device, vein pattern registration method, vein pattern authentication method, program, and vein data structure | |
| JP2020080188A (en) | Fingerprint information processing apparatus, fingerprint information processing method, and program | |
| JP2020115402A (en) | Dermis image information processing device, dermis image information processing method and program | |
| JP2011044101A (en) | Threshold update device, threshold determination device, threshold update method, threshold determination method and program | |
| JP2019109619A (en) | Biometric authentication device, biometric authentication method, and biometric authentication program | |
| JP6683033B2 (en) | Biometric authentication device, biometric authentication method, and biometric authentication program | |
| CN114241536B (en) | Palm vein image identification method and system | |
| JP6894102B2 (en) | Authentication information processing program and authentication information processing device | |
| JP6879524B2 (en) | Authentication information processing program and authentication information processing device | |
| Sanches et al. | A single sensor hand biometric multimodal system | |
| Smorawa et al. | Biometric systems based on palm vein patterns | |
| US20230070660A1 (en) | Authentication method, non-transitory computer-readable storage medium for storing authentication program, and information processing device | |
| JP2011253365A (en) | Vein authentication system | |
| Schuiki et al. | Vulnerability assessment and presentation attack detection using a set of distinct finger vein recognition algorithms | |
| Sridevi et al. | Multimodal security of iris and fingerprint with bloom filters | |
| JP2010277196A (en) | Information processing apparatus, information processing method, and program | |
| Sharma et al. | Fingerprint matching Using Minutiae Extraction Techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190311 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200212 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200225 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200309 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6683033 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |