JP4760422B2 - Biometric identification device - Google Patents
Biometric identification device Download PDFInfo
- Publication number
- JP4760422B2 JP4760422B2 JP2006030866A JP2006030866A JP4760422B2 JP 4760422 B2 JP4760422 B2 JP 4760422B2 JP 2006030866 A JP2006030866 A JP 2006030866A JP 2006030866 A JP2006030866 A JP 2006030866A JP 4760422 B2 JP4760422 B2 JP 4760422B2
- Authority
- JP
- Japan
- Prior art keywords
- blood vessel
- dimensional
- feature point
- matching
- vessel pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Description
本発明は、生体の血管を撮影して生体を識別する生体識別装置に関する。 The present invention relates to a biometric identification device that identifies a living body by photographing a blood vessel of the living body.
生体の血管を撮影して生体を識別する生体識別装置として、登録時に、生体の血管を2次元的に撮影して2次元血管画像を取得し、その取得した2次元血管画像を解析して血管パターンの2次元特徴点を2次元照合用特徴点として登録しておき、照合時に、生体の血管を2次元的に撮影して2次元血管画像を取得し、その取得した2次元血管画像を解析して血管パターンの2次元特徴点を抽出し、予め登録しておいた血管パターンの2次元照合用特徴点と、その抽出した血管パターンの2次元特徴点とを照合することにより、生体を識別するものが供されている。 As a biometric identification device for imaging a living blood vessel and identifying the living body, at the time of registration, the blood vessel of the living body is photographed two-dimensionally to obtain a two-dimensional blood vessel image, and the obtained two-dimensional blood vessel image is analyzed and the blood vessel is analyzed. Two-dimensional feature points of the pattern are registered as feature points for two-dimensional matching, and at the time of matching, a two-dimensional blood vessel image is obtained by photographing a blood vessel of a living body two-dimensionally, and the obtained two-dimensional blood vessel image is analyzed. Then, the two-dimensional feature points of the blood vessel pattern are extracted, and the biological object is identified by comparing the two-dimensional feature points of the previously registered blood vessel pattern with the two-dimensional feature points of the extracted blood vessel pattern. What to do is offered.
ところで、このように血管パターンの2次元特徴点を用いる登録及び照合では、登録時と照合時とで生体の姿勢が相違していると、登録時の血管パターンの2次元照合用特徴点の配置態様と、照合時の血管パターンの2次元特徴点の配置態様とが相違することになるので、両者を適切に照合することが困難となり、照合の精度が低下するという問題がある。 By the way, in the registration and verification using the two-dimensional feature points of the blood vessel pattern in this way, if the posture of the living body is different between the registration time and the verification time, the arrangement of the two-dimensional matching feature points of the blood vessel pattern at the time of registration is performed. Since the mode and the arrangement mode of the two-dimensional feature points of the blood vessel pattern at the time of collation are different, it is difficult to properly collate both, and there is a problem that the accuracy of collation is lowered.
そこで、登録時に、生体の血管を3次元的に撮影して3次元血管画像を取得したり2次元的に撮影して取得した複数の2次元血管画像を合成して3次元血管画像を取得したりし、その取得した3次元血管画像を解析して血管パターンの3次元特徴点を3次元照合用特徴点として登録しておき、照合時に、生体の血管を3次元的に撮影して3次元血管画像を取得したり2次元的に撮影して取得した複数の2次元血管画像を合成して3次元血管画像を取得したりし、その取得した3次元血管画像を解析して血管パターンの3次元特徴点を抽出し、予め登録しておいた血管パターンの3次元照合用特徴点と、その抽出した血管パターンの3次元特徴点とを照合するものも供されている(例えば特許文献1参照)。
しかしながら、上記した特許文献1に記載されている構成では、登録時のみでならず照合時にも血管パターンの3次元特徴点を抽出するために生体の血管を3次元的に撮影したり2次元的に撮影して取得した複数の2次元血管画像を合成したりする必要があるので、照合の処理が複雑化すると共に、装置が大型化するという問題がある。特に、生体の血管を3次元的に撮影する構成では、生体を自由空間で撮影することが困難となるので、照合する照合者及び照合される被照合者の双方にとって利便性に劣るという問題もある。 However, in the configuration described in Patent Document 1 described above, a biological blood vessel is photographed three-dimensionally or two-dimensionally in order to extract a three-dimensional feature point of a blood vessel pattern not only at the time of registration but also at the time of collation. Since it is necessary to synthesize a plurality of two-dimensional blood vessel images acquired by photographing, there are problems that the matching process becomes complicated and the apparatus becomes large. In particular, in a configuration in which a blood vessel of a living body is imaged three-dimensionally, it is difficult to image the living body in a free space, so there is a problem that it is inconvenient for both a collator to be collated and a collated person to be collated. is there.
本発明は、上記した事情に鑑みてなされたものであり、その目的は、照合の精度が低下することがなく、また、照合の処理が複雑化することがないと共に装置が大型化することがなく、照合する照合者及び照合される被照合者の双方にとって利便性を高めた上で、生体を適切に識別することができる生体識別装置を提供することにある。 The present invention has been made in view of the above-described circumstances, and the purpose thereof is that collation accuracy does not decrease, collation processing is not complicated, and the apparatus is increased in size. In addition, it is an object of the present invention to provide a biometric identification device that can appropriately identify a living body while improving convenience for both a collator to be collated and a collated person to be collated.
請求項1に記載した発明によれば、生体の血管が2次元的に撮影されて2次元血管画像が撮影手段により取得されると、2次元特徴点抽出手段は、その2次元血管画像を解析して血管パターンの2次元特徴点を抽出する。また、変化検出手段は、血管パターンの3次元特徴点の元となる血管画像が取得された時点での生体の姿勢を基本姿勢とすると共に、2次元血管画像が撮影手段により取得された時点での撮影手段により検出された生体識別装置の所定位置から基準面までの距離及び基準面の傾きに相当する2次元血管画像の姿勢を照合時姿勢とし、基本姿勢から照合時姿勢への変化の度合いを検出する。 According to the first aspect of the present invention, when a blood vessel of a living body is photographed two-dimensionally and a two-dimensional blood vessel image is acquired by the photographing means, the two-dimensional feature point extracting means analyzes the two-dimensional blood vessel image. Then, a two-dimensional feature point of the blood vessel pattern is extracted. In addition, the change detecting means sets the posture of the living body at the time when the blood vessel image that is the origin of the three-dimensional feature point of the blood vessel pattern is acquired as the basic posture, and at the time when the two-dimensional blood vessel image is acquired by the imaging means. The posture of the two-dimensional blood vessel image corresponding to the distance from the predetermined position of the biometric identification device to the reference plane and the inclination of the reference plane detected by the imaging means is set as the matching posture, and the degree of change from the basic posture to the matching posture Is detected.
2次元照合用特徴点生成手段は、撮影時の撮影対象に属する少なくとも3点を基準点とし、生体識別装置の所定位置から各々の基準点までの距離を測定して撮影時の撮影対象の基準面を作成して生体識別装置の所定位置から基準面までの距離及び基準面の傾きが撮影手段により検出されると、撮影手段により検出された生体識別装置の所定位置から基準面までの距離及び基準面の傾きと、変化検出手段により検出された基本姿勢から照合時姿勢への変化の度合いとに相当する切り出し平面を生成する。また、2次元照合用特徴点生成手段は、生体が基本姿勢であるときの血管パターンの3次元特徴点を3次元特徴点格納手段から取得し、その血管パターンの3次元特徴点のうち変化検出手段により検出された変化の度合いに対応する3次元特徴点を切り出し平面にプロットして血管パターンの2次元照合用特徴点を生成する。そして、照合手段は、このようにして生成された血管パターンの2次元照合用特徴点と、このようにして抽出された血管パターンの2次元特徴点とを照合する。
The two-dimensional matching feature point generation means uses at least three points belonging to the photographing target at the time of photographing as reference points, measures the distance from the predetermined position of the biometric identification device to each reference point, and uses the reference of the photographing target at the time of photographing. When the distance from the predetermined position of the biometric identification device to the reference plane and the inclination of the reference plane are detected by the imaging unit, the distance from the predetermined position of the biometric identification device detected by the imaging unit to the reference plane A cut-out plane corresponding to the inclination of the reference surface and the degree of change from the basic posture detected by the change detecting means to the posture at the time of matching is generated. Further, the two-dimensional matching feature point generation means acquires a three-dimensional feature point of the blood vessel pattern when the living body is in the basic posture from the three-dimensional feature point storage means, and detects a change among the three-dimensional feature points of the blood vessel pattern. A three-dimensional feature point corresponding to the degree of change detected by the means is cut out and plotted on a plane to generate a two-dimensional matching feature point of the blood vessel pattern. Then, the collating unit collates the two-dimensional matching feature point of the blood vessel pattern generated in this way with the two-dimensional feature point of the blood vessel pattern extracted in this way.
これにより、血管パターンの2次元特徴点を用いて照合することにより、照合時には、生体の血管を3次元的に撮影する必要がなくなり、生体の血管を2次元的に撮影すれば良く、生体を自由空間で撮影することができ、照合する照合者及び照合される被照合者の双方にとって利便性を高めることができ、また、照合の処理が複雑化することを回避することができると共に、装置が大型化することをも回避することができる。さらに、血管パターンの3次元特徴点を選択して2次元照合用特徴点を生成することにより、照合の精度が低下することを回避することができ、生体を適切に識別することができる。 Thereby, by collating using the two-dimensional feature point of the blood vessel pattern, it is not necessary to photograph the blood vessel of the living body three-dimensionally at the time of collation, and it is sufficient to photograph the blood vessel of the living body two-dimensionally. It is possible to take a picture in free space, to improve convenience for both the collator to be collated and the collated person to be collated, to avoid the complexity of the collation process, and to the apparatus It is possible to avoid an increase in size. Furthermore, by selecting a three-dimensional feature point of a blood vessel pattern and generating a two-dimensional matching feature point, it is possible to avoid a reduction in matching accuracy and to appropriately identify a living body.
請求項2に記載した発明によれば、歪み検出手段は、基本姿勢から照合時姿勢への歪みの度合いを検出し、2次元照合用特徴点生成手段は、その歪みの度合いに対応する血管パターンの2次元照合用特徴点を生成する。これにより、生体の照合時姿勢が基本姿勢から歪んでいる場合であっても、その歪みの度合いに対応した血管パターンの2次元照合用特徴点と、血管パターンの2次元特徴点とを照合することにより、基本姿勢から照合時姿勢への歪みを補正して照合することができ、照合の精度を高めることができる。 According to the second aspect of the present invention, the distortion detecting means detects the degree of distortion from the basic posture to the matching posture, and the two-dimensional matching feature point generating means is a blood vessel pattern corresponding to the degree of distortion. 2D matching feature points are generated. Thereby, even when the posture at the time of matching of the living body is distorted from the basic posture, the two-dimensional matching feature point of the blood vessel pattern corresponding to the degree of the distortion is matched with the two-dimensional feature point of the blood vessel pattern. As a result, the distortion from the basic posture to the posture at the time of collation can be corrected and collation can be performed, and the accuracy of collation can be improved.
請求項3に記載した発明によれば、歪み検出手段は、基本姿勢から照合時姿勢への歪みの度合いを検出し、2次元血管画像補正手段は、その歪みの度合いに対応して2次元血管画像を補正し、2次元特徴点抽出手段は、その補正された2次元血管画像を解析して血管パターンの2次元特徴点を抽出する。これにより、生体の照合時姿勢が基本姿勢から歪んでいる場合であっても、血管パターンの2次元照合用特徴点と、その歪みの度合いに対応して補正した2次元血管画像を解析した血管パターンの2次元特徴点とを照合することにより、上記した請求項2に記載したものと同様にして、基本姿勢から照合時姿勢への歪みを補正して照合することができ、照合の精度を高めることができる。
According to the invention described in
請求項4に記載した発明によれば、生体の外形が外形検出手段により検出されると、拡大・縮小手段は、その検出結果に基づいて2次元血管画像を血管パターンの3次元特徴点の元となる血管画像の大きさと略一致するように拡大・縮小させ、2次元特徴点抽出手段は、その拡大・縮小された2次元血管画像を解析して血管パターンの2次元特徴点を抽出する。これにより、血管パターンの2次元照合用特徴点と血管パターンの2次元特徴点とを略同じ倍率で照合することができ、照合の精度を高めることができる。 According to the invention described in claim 4, when the outline of the living body is detected by the outline detecting means, the enlarging / reducing means converts the 2D blood vessel image based on the detection result to the origin of the 3D feature point of the blood vessel pattern. The two-dimensional feature point extracting means extracts the two-dimensional feature point of the blood vessel pattern by analyzing the enlarged / reduced two-dimensional blood vessel image. Thereby, the two-dimensional matching feature point of the blood vessel pattern and the two-dimensional feature point of the blood vessel pattern can be collated at substantially the same magnification, and the collation accuracy can be improved.
請求項5に記載した発明によれば、2次元照合用特徴点生成手段は、血管パターンの2次元照合用特徴点の個々を3次元的に生成する。これにより、血管パターンの2次元照合用特徴点に冗長性を持たせることができ、照合の精度を高めることができる。 According to the fifth aspect of the present invention, the two-dimensional matching feature point generating means generates three-dimensionally each of the two-dimensional matching feature points of the blood vessel pattern. As a result, redundancy can be imparted to the two-dimensional matching feature points of the blood vessel pattern, and matching accuracy can be improved.
以下、本発明の一実施形態として、掌や指の血管(静脈)を照合して生体を識別する場合について、図面を参照して説明する。図1は、掌や指の血管パターンの特徴点を登録するときに使用される登録用スキャナ及び掌や指の血管パターンの特徴点を照合するときに使用される照合用ハンディスキャナの機能ブロック図を示している。 Hereinafter, as an embodiment of the present invention, a case where a living body is identified by collating a blood vessel (vein) of a palm or a finger will be described with reference to the drawings. FIG. 1 is a functional block diagram of a registration scanner used when registering feature points of a blood vessel pattern of a palm or a finger and a handy scanner for verification used when checking feature points of a blood vessel pattern of a palm or a finger. Is shown.
登録用スキャナ1は、例えば壁や机などに固定設置される固定型のスキャナであり、制御部2、撮影部3、画像処理部4、3次元画像生成部5、3次元特徴点生成部6及び通信部7を備えて構成されている。制御部2は、CPU、RAM及びROMなどを備えて構成されており、各機能ブロック部3〜7の動作を制御することにより、登録用スキャナ1の動作全般を制御する。
The registration scanner 1 is a fixed scanner that is fixedly installed on, for example, a wall or a desk, and includes a
撮影部3は、光源8とセンサ9とから構成されており、制御部2から撮影指令を入力すると、光源8が光を投じ、光源8から投じられて掌や指の血管で反射した光をセンサ9が受けることで、掌や指の血管を2次元的に撮影して2次元血管画像を取得する。尚、撮影部3は、掌や指が所定位置で姿勢が固定されている状態で掌や指の血管を撮影することにより、掌や指の血管を予め指定されている基本姿勢で撮影する。
The
画像処理部4は、撮影部3(センサ9)から当該撮影部3が取得した2次元血管画像を入力すると、その入力した2次元血管画像を画像処理アルゴリズムにしたがって画像処理して3次元画像生成部5に出力する。3次元画像生成部5は、画像処理部4から画像処理された複数の2次元血管画像を入力すると、その入力した複数の2次元血管画像を合成して3次元血管画像を生成して3次元特徴点生成部6に出力する。3次元特徴点生成部6は、3次元画像生成部5から3次元血管画像を入力すると、その入力した3次元血管画像を解析して血管パターンの3次元特徴点を生成する。
When the 2D blood vessel image acquired by the
通信部7は、制御部2から格納指令を入力すると、3次元特徴点生成部6が生成した血管パターンの3次元特徴点を3次元特徴点データベース31(本発明でいう3次元特徴点格納手段)に出力して格納(記憶保持)する。
When the communication unit 7 receives a storage command from the
照合用ハンディスキャナ11は、上記した登録用スキャナ1とは構造的に形状が異なるもので、ユーザが容易に携帯可能な携帯型のスキャナであり、制御部12、撮影部13(本発明でいう撮影手段、外形検出手段)、画像処理部14(本発明でいう2次元血管画像補正手段、拡大・縮小手段)、2次元特徴点抽出部15(本発明でいう2次元特徴点抽出手段)、変化検出部16(本発明でいう変化検出手段、歪み検出手段)、通信部17、2次元照合用特徴点生成部18(本発明でいう2次元照合用特徴点生成手段)及び照合部19(本発明でいう照合手段)を備えて構成されている。
The collation
制御部12は、CPU、RAM及びROMなどを備えて構成されており、各機能ブロック部13〜19の動作を制御することにより、照合用ハンディスキャナ11の動作全般を制御する。撮影部13は、光源20とセンサ21とから構成されており、制御部12から撮影指令を入力すると、光源20が光を投じ、光源20から投じられて掌や指の血管で反射した光をセンサ21が受けることで、掌や指の血管を2次元的に撮影して2次元血管画像を取得する。
The
また、撮影部13は、照合用ハンディスキャナ11が携帯可能な携帯型のスキャナであることから、撮影時の掌や指の基準面を作成して照合用ハンディスキャナ11の所定位置(例えば光源20の位置)から基準面までの距離及び基準面の傾きを検出すると共に、撮影時の掌や指の外形をも検出する。この場合、撮影部13は、掌を照合する場合では、図2(a)に示すように、親指の付け根、人差し指と中指との付け根、薬指と小指との付け根の3点を基準点とし、照合用ハンディスキャナ11の所定位置から各々の基準点までの距離を測定して基準面を作成する。また、撮影部13は、指を照合する場合では、図2(b)に示すように、人差し指と中指との付け根、人差し指の先端、中指の先端の3点を基準点とし、照合用ハンディスキャナ11の所定位置から各々の基準点までの距離を測定して基準面を作成する。
Since the collation
画像処理部14は、撮影部13(センサ21)から2次元血管画像を入力すると、その入力した2次元血管画像を画像処理アルゴリズムにしたがって画像処理すると共に、その入力した2次元血管画像を登録時の2次元血管画像の大きさと略一致するように拡大・縮小して2次元特徴点抽出部15及び変化検出部16に出力する。2次元特徴点抽出部15は、画像処理部14から画像処理及び拡大・縮小された2次元血管画像を入力すると、その入力した2次元血管画像を解析して血管パターンの2次元特徴点を抽出して照合部19に出力する。
When a two-dimensional blood vessel image is input from the imaging unit 13 (sensor 21), the
変化検出部16は、撮影部13(センサ21)から当該撮影部13が取得した2次元血管画像及び当該撮影部13が検出した照合用ハンディスキャナ11の所定位置から基準面までの距離及び基準面の傾きを入力すると、その入力した照合用ハンディスキャナ11の所定位置から基準面までの距離及び基準面の傾きに相当する2次元血管画像の姿勢を照合時姿勢とし、上記した登録時の基本姿勢から照合時姿勢への変化の度合いを検出し、その検出結果を2次元照合用特徴点生成部18に出力する。
The
通信部17は、制御部12から読取指令を入力すると、3次元特徴点データベース31に格納されている血管パターンの3次元特徴点を3次元特徴点データベース31から入力して読取り、その読取った血管パターンの3次元特徴点を2次元照合用特徴点生成部18に出力する。2次元照合用特徴点生成部18は、通信部17から血管パターンの3次元特徴点を入力すると共に、変化検出部16から検出結果を入力すると、その入力した血管パターンの3次元特徴点のうちから変化検出部16での検出結果に対応する3次元特徴点を選択して2次元照合用特徴点を生成して照合部19に出力する。
When receiving a reading command from the
照合部19は、2次元照合用特徴点生成部18から血管パターンの2次元照合用特徴点を入力すると共に、2次元特徴点抽出部15から血管パターンの2次元特徴点を入力すると、それら両者を、つまり、登録用スキャナ1が撮影した掌や指の2次元血管画像に基づく血管パターンの2次元照合用特徴点と、照合用ハンディスキャナ11が撮影した掌や指の2次元血管画像に基づく血管パターンの2次元特徴点とを照合する。
When the
尚、上記した構成において、3次元特徴点データベース31は、例えばICカードから構成されており、登録用スキャナ1は、ICカードが装着スロット(図示せず)に正常に装着されている状態で、掌や指の2次元血管画像に基づく血管パターンの3次元特徴点をICカードに出力して格納することが可能に構成されており、照合用ハンディスキャナ11は、ICカードが装着スロット(図示せず)に正常に装着されている状態で、ICカードに格納されている血管パターンの3次元特徴点をICカードから入力して読取ることが可能に構成されている。尚、3次元特徴点データベース31は、このようにICカードから構成されていることに限らず、例えばサーバから構成されていても良く、登録用スキャナ1が血管パターンの3次元特徴点をネットワークを通じて格納し、照合用ハンディスキャナ11がサーバに格納されている血管パターンの3次元特徴点をネットワークを通じて読取る構成であっても良い。
In the above configuration, the three-dimensional
次に、上記した構成の作用として、照合用ハンディスキャナ11において、血管パターンの2次元照合用特徴点を生成する処理と血管パターンの2次元特徴点を抽出する処理とを並列に実行し、その後、それら両者を照合する処理を実行する場合について、図3ないし図8を参照して説明する。
Next, as an operation of the above-described configuration, the collation
照合用ハンディスキャナ11は、血管パターンの2次元照合用特徴点を生成する処理では、撮影部13にて、照合用ハンディスキャナ11の所定位置から基準面までの距離及び基準面の傾きを3点の基準点に基づいて検出し(ステップS1)、変化検出部16にて、基本姿勢から照合時姿勢への変化の度合いを検出する(ステップS2)。
In the processing for generating the two-dimensional matching feature point of the blood vessel pattern, the matching
次いで、照合用ハンディスキャナ11は、2次元照合用特徴点生成部18にて、図4(a)に示すように、その検出した照合用ハンディスキャナ11の所定位置から基準面までの距離及び基準面の傾きと基本姿勢から照合時姿勢への変化の度合いとに相当する切り出し平面を生成し(ステップS3)、照合用ハンディスキャナ11の所定位置から基準面までの距離及び光源20から投じられた光の強度に基づいて切り出し平面の厚みを計算する(ステップS4)。
Next, as shown in FIG. 4A, the collation
次いで、照合用ハンディスキャナ11は、通信部17にて、3次元特徴点データベース31から血管パターンの3次元特徴点(図4(b)参照)を入力して読取る(ステップS5)。そして、照合用ハンディスキャナ11は、2次元照合用特徴点生成部18にて、図5(a)に示すように、その入力した血管パターンの3次元特徴点を切り出し平面にプロットして血管パターンの2次元照合用特徴点を生成する(ステップS6)。このとき、照合用ハンディスキャナ11は、血管パターンの2次元照合用特徴点の個々を3次元的に(容積を有する球状の点として)生成する。
Next, the matching
一方、照合用ハンディスキャナ11は、血管パターンの2次元特徴点を抽出する処理では、撮影部13にて、2次元血管画像を取得し(ステップS7)、照合用ハンディスキャナ11の所定位置から基準面までの距離を3点の基準点に基づいて検出し(ステップS8)、画像処理部14にて、その取得した2次元血管画像を登録時の2次元血管画像の大きさと略一致するように拡大・縮小する(ステップS9)。そして、照合用ハンディスキャナ11は、2次元特徴点抽出部15にて、2次元血管画像を解析して血管パターンの2次元特徴点を抽出する(ステップS10)。
On the other hand, in the processing for extracting the two-dimensional feature point of the blood vessel pattern, the collation
そして、照合用ハンディスキャナ11は、照合部19にて、このようにして生成した血管パターンの2次元照合用特徴点と、このようにして抽出した血管パターンの2次元特徴点とを照合し(ステップS11)、両者の配置態様が一致している旨を検出すると(ステップS12にて「YES」)、照合結果が正であると確定し(ステップS13)、一方、両者の配置態様が一致していない旨を検出すると(ステップS12にて「NO」)、照合結果が否であると確定し(ステップS14)、一連の処理を終了する。尚、両者の配置態様が一致しているか否かの判定基準は、要求される精度に応じて決定される。
Then, the collation
上記した一連の処理により、照合用ハンディスキャナ11は、登録時に生成した血管パターンの3次元特徴点のうちから基本姿勢から照合時姿勢への変化の度合いに対応する3次元特徴点を選択して2次元照合用特徴点を生成すると共に、照合時に取得した2次元血管画像を解析して血管パターンの2次元特徴点を抽出し、それら血管パターンの2次元照合用特徴点と2次元特徴点とを照合し、照合結果の正否を確定することになる。
Through the series of processes described above, the matching
ところで、以上は、掌や指の照合時姿勢が基本姿勢から歪んでいないと想定した場合を説明したものであるが、これ以降、掌や指の照合時姿勢が基本姿勢から歪んでいると想定した場合を説明する。 By the way, the above describes the case where it is assumed that the posture at the time of collation of the palm or finger is not distorted from the basic posture, but it is assumed that the posture at the time of collation of the palm or finger is distorted from the basic posture after this. The case will be described.
この場合、撮影部13は、基準点を多くして基準面を作成する。具体的には、撮影部13は、掌を照合する場合では、図6(a)に示すように、親指の付け根、人差し指と中指との付け根、薬指と小指との付け根、親指の付け根と薬指と小指との付け根との中間の位置、親指の付け根と薬指と小指との付け根との中間の位置を中心として人差し指と中指との付け根に点対称な位置の5点を基準点とし、照合用ハンディスキャナ11の所定位置から各々の基準点までの距離を測定して基準面を作成する。また、撮影部13は、指を照合する場合では、図6(b)に示すように、人差し指と中指との付け根、人差し指の先端、中指の先端、人差し指と中指との付け根と人差し指の先端との間の位置、人差し指と中指との付け根と中指の先端との間の位置の5点を基準点とし、照合用ハンディスキャナ11の所定位置から各々の基準点までの距離を測定して基準面を作成する。
In this case, the
変化検出部16は、撮影部13(センサ21)から当該撮影部13が取得した2次元血管画像及び当該撮影部13が検出した照合用ハンディスキャナ11の所定位置から基準面までの距離及び基準面の傾きを入力すると、その入力した照合用ハンディスキャナ11の所定位置から基準面までの距離及び基準面の傾きに相当する2次元血管画像の姿勢を照合時姿勢とし、上記した登録時の基本姿勢から照合時姿勢への変化の度合いを検出すると共に歪みの度合いをも検出する。
The
ここで、基本姿勢から照合時姿勢への歪みの度合いを補正する方法としては、血管パターンの2次元照合用特徴点を生成する処理で補正する方法と、血管パターンの2次元特徴点を抽出する処理で補正する方法との2つの方法がある。 Here, as a method of correcting the degree of distortion from the basic posture to the posture at the time of matching, a method of correcting by a process of generating a two-dimensional matching feature point of the blood vessel pattern and a two-dimensional feature point of the blood vessel pattern are extracted. There are two methods, a method of correcting by processing.
最初に、血管パターンの2次元照合用特徴点を生成する処理で基本姿勢から照合時姿勢への歪みの度合いを補正する方法について、図7を参照して説明する。
照合用ハンディスキャナ11は、血管パターンの2次元照合用特徴点を生成する処理では、撮影部13にて、照合用ハンディスキャナ11の所定位置から基準面までの距離及び基準面の傾きを5点の基準点に基づいて検出し(ステップS21)、変化検出部16にて、基本姿勢から照合時姿勢への変化の度合いを検出すると共に(ステップS22)、ここでは、基本姿勢から照合時姿勢への歪みの度合いをも検出する(ステップS23)。
First, a method for correcting the degree of distortion from the basic posture to the posture at the time of matching in the process of generating the two-dimensional matching feature points of the blood vessel pattern will be described with reference to FIG.
In the processing for generating the two-dimensional matching feature point of the blood vessel pattern, the matching
次いで、照合用ハンディスキャナ11は、2次元照合用特徴点生成部18にて、その検出した照合用ハンディスキャナ11の所定位置から基準面までの距離及び基準面の傾きと基本姿勢から照合時姿勢への変化の度合い及び歪みの度合いとに相当する切り出し湾曲面を生成し(ステップS24)、照合用ハンディスキャナ11の所定位置から基準面までの距離及び光源20から投じられた光の強度に基づいて切り出し湾曲面の厚みを計算する(ステップS25)。
Next, the matching
次いで、照合用ハンディスキャナ11は、通信部17にて、3次元特徴点データベース31から血管パターンの3次元特徴点を入力して読取る(ステップS26)。そして、照合用ハンディスキャナ11は、2次元照合用特徴点生成部18にて、その入力した血管パターンの3次元特徴点を切り出し湾曲面にプロットして血管パターンの2次元照合用特徴点を生成する(ステップS27)。
Next, the matching
一方、照合用ハンディスキャナ11は、血管パターンの2次元特徴点を抽出する処理では、照合用ハンディスキャナ11の所定位置から基準面までの距離を5点の基準点に基づいて検出し(ステップS28)、血管パターンの2次元特徴点を抽出する。そして、照合用ハンディスキャナ11は、照合部19にて、このようにして基本姿勢から照合時姿勢への歪みの度合いを補正して生成した血管パターンの2次元照合用特徴点と、このようにして抽出した血管パターンの2次元特徴点とを照合し(ステップS11,S12)、照合結果の正否を確定する(ステップS13,S14)。
On the other hand, in the process of extracting the two-dimensional feature point of the blood vessel pattern, the matching
上記した一連の処理により、照合用ハンディスキャナ11は、血管パターンの2次元照合用特徴点を生成する処理で基本姿勢から照合時姿勢への歪みの度合いを補正し、その歪みの度合いを補正した血管パターンの2次元照合用特徴点と、血管パターンの2次元特徴点とを照合し、照合結果の正否を確定することになる。
Through the above-described series of processing, the matching
次に、血管パターンの2次元特徴点を抽出する処理で基本姿勢から照合時姿勢への歪みの度合いを補正する方法について、図8を参照して説明する。
この場合、照合用ハンディスキャナ11は、血管パターンの2次元特徴点を抽出する処理では、撮影部13にて、2次元血管画像を取得し(ステップS31)、照合用ハンディスキャナ11の所定位置から基準面までの距離を5点の基準点に基づいて検出し(ステップS32)、ここでは、変化検出部16にて、基本姿勢から照合時姿勢への歪みの度合いを検出する(ステップS33)。次いで、照合用ハンディスキャナ11は、画像処理部14にて、その取得した2次元血管画像を歪みの度合いに対応して補正し(ステップS34)、その補正した2次元血管画像を登録時の2次元血管画像の大きさと略一致するように拡大・縮小する(ステップS35)。そして、照合用ハンディスキャナ11は、2次元特徴点抽出部15にて、2次元血管画像を解析して血管パターンの2次元特徴点を抽出する(ステップS36)。
Next, a method for correcting the degree of distortion from the basic posture to the collation posture in the process of extracting the two-dimensional feature points of the blood vessel pattern will be described with reference to FIG.
In this case, in the process of extracting the two-dimensional feature point of the blood vessel pattern, the collation
一方、照合用ハンディスキャナ11は、血管パターンの2次元照合用特徴点を生成する処理では、照合用ハンディスキャナ11の所定位置から基準面までの距離を5点の基準点に基づいて検出し(ステップS37)、血管パターンの2次元照合用特徴点を生成する。そして、照合用ハンディスキャナ11は、照合部19にて、このようにして生成した血管パターンの2次元照合用特徴点と、このようにして基本姿勢から照合時姿勢への歪みの度合いを補正して抽出した血管パターンの2次元特徴点とを照合し(ステップS11,S12)、照合結果の正否を確定する(ステップS13,S14)。
On the other hand, in the process of generating the two-dimensional matching feature point of the blood vessel pattern, the matching
上記した一連の処理により、照合用ハンディスキャナ11は、血管パターンの2次元特徴点を抽出する処理で基本姿勢から照合時姿勢への歪みの度合いを補正し、血管パターンの2次元照合用特徴点と、その歪みの度合いを補正した血管パターンの2次元特徴点とを照合し、照合結果の正否を確定することになる。
Through the series of processes described above, the matching
以上に説明したように本実施形態によれば、照合用ハンディスキャナ11において、血管パターンの2次元照合用特徴点と血管パターンの2次元特徴点とを照合するように構成したので、照合時には、掌や指の血管を3次元的に撮影する必要がなくなり、掌や指の血管を2次元的に撮影すれば良く、掌や指を自由空間で撮影することができ、照合する照合者及び照合される被照合者の双方にとって利便性を高めることができ、また、照合の処理が複雑化することを回避することができると共に、装置が大型化することをも回避することができる。さらに、血管パターンの3次元特徴点のうち基本姿勢から照合時姿勢への変化の度合いに対応する3次元特徴点を選択して2次元照合用特徴点を生成するように構成したので、照合の精度が低下することを回避することができ、掌や指を適切に識別することができる。
As described above, according to the present embodiment, the matching
また、掌や指の照合時姿勢が基本姿勢から歪んでいる場合であっても、基本姿勢から照合時姿勢への歪みの度合いを検出し、その歪みの度合いを補正して血管パターンの2次元照合用特徴点と血管パターンの2次元特徴点とを照合するように構成したので、照合の精度を高めることができる。また、掌や指の外形を検出し、その検出結果に基づいて照合時の2次元血管画像を登録時の2次元血管画像の大きさと略一致するように拡大・縮小し、その拡大・縮小した2次元血管画像を解析して血管パターンの2次元特徴点を抽出するように構成したので、血管パターンの2次元照合用特徴点と血管パターンの2次元特徴点とを略同じ倍率で照合することができ、照合の精度を高めることができる。さらに、血管パターンの2次元照合用特徴点の個々を3次元的に生成するように構成したので、血管パターンの2次元照合用特徴点に冗長性を持たせることができ、照合の精度を高めることができる。 Further, even when the collation posture of the palm or finger is distorted from the basic posture, the degree of distortion from the basic posture to the collation posture is detected, and the degree of the distortion is corrected to correct the two-dimensional blood vessel pattern. Since the verification feature point and the two-dimensional feature point of the blood vessel pattern are verified, the accuracy of the verification can be improved. In addition, the outer shape of the palm or finger is detected, and based on the detection result, the two-dimensional blood vessel image at the time of matching is enlarged or reduced so as to substantially match the size of the two-dimensional blood vessel image at the time of registration. Since the two-dimensional blood vessel image is analyzed to extract the two-dimensional feature points of the blood vessel pattern, the two-dimensional matching feature points of the blood vessel pattern and the two-dimensional feature points of the blood vessel pattern are collated at substantially the same magnification. It is possible to improve the accuracy of verification. Further, since each of the two-dimensional matching feature points of the blood vessel pattern is generated three-dimensionally, the two-dimensional matching feature points of the blood vessel pattern can be made redundant, and the accuracy of matching is improved. be able to.
本発明は、上記した実施形態にのみ限定されるものではなく、以下のように変形または拡張することができる。
掌や指以外の部位(例えば手の甲)の血管パターンについての認証に適用する構成であっても良い。
登録用スキャナにおいて、掌や指の血管を3次元的に撮影して3元血管画像を取得し、その取得した3次元血管画像を解析して血管パターンの3次元特徴点を生成するように構成しても良い。また、照合結果の正否を報知する報知手段(例えばディスプレイ、LED及びスピーカなど)が設けられている構成であっても良い。
The present invention is not limited to the above-described embodiment, and can be modified or expanded as follows.
The configuration may be applied to authentication for blood vessel patterns of parts other than the palm and fingers (for example, the back of the hand).
The registration scanner is configured to three-dimensionally capture a blood vessel of a palm or a finger to acquire a three-dimensional blood vessel image, and analyze the acquired three-dimensional blood vessel image to generate a three-dimensional feature point of the blood vessel pattern. You may do it. Moreover, the structure provided with the alerting | reporting means (For example, a display, LED, a speaker, etc.) which alert | reports the correctness of a collation result may be sufficient.
掌や指の照合時姿勢が基本姿勢から歪んでいないと想定した場合には4点以上の基準点に基づいて基準面を作成する構成であっても良く、掌や指の照合時姿勢が基本姿勢から歪んでいると想定した場合には6点以上の基準点に基づいて基準面を作成する構成であっても良い。
掌や指の照合時姿勢が基本姿勢から歪んでいると想定した場合に、その基本姿勢から照合時姿勢への歪みの度合いを血管パターンの2次元照合用特徴点を生成する処理で補正すると共に血管パターンの2次元特徴点を抽出する処理で補正する構成であっても良い。
If it is assumed that the posture when collating palms and fingers is not distorted from the basic posture, a configuration may be adopted in which a reference plane is created based on four or more reference points. When it is assumed that the posture is distorted, a configuration in which a reference plane is created based on six or more reference points may be used.
When it is assumed that the posture at the time of collation of the palm or finger is distorted from the basic posture, the degree of distortion from the basic posture to the posture at the time of collation is corrected by the process of generating the feature points for two-dimensional matching of the blood vessel pattern A configuration in which correction is performed by a process of extracting a two-dimensional feature point of a blood vessel pattern may be used.
図面中、11は照合用ハンディスキャナ(生体識別装置)、13は撮影部(撮影手段、外形検出手段)、14は画像処理部(2次元血管画像補正手段、拡大・縮小手段)、15は2次元特徴点抽出部(2次元特徴点抽出手段)、16は変化検出部(変化検出手段、歪み検出手段)、18は2次元照合用特徴点生成部(2次元照合用特徴点生成手段)、19は照合部(照合手段)、31は3次元特徴点データベース(3次元特徴点格納手段)である。
In the drawing, 11 is a handy scanner for comparison (biological identification device), 13 is an imaging unit (imaging unit, outer shape detection unit), 14 is an image processing unit (two-dimensional blood vessel image correction unit, enlargement / reduction unit), and 15 is 2. A dimension feature point extraction unit (two-dimensional feature point extraction unit), 16 a change detection unit (change detection unit, distortion detection unit), 18 a two-dimensional matching feature point generation unit (two-dimensional matching feature point generation unit),
Claims (5)
前記撮影手段により取得された2次元血管画像を解析して血管パターンの2次元特徴点を抽出する2次元特徴点抽出手段と、
血管パターンの3次元特徴点の元となる血管画像が取得された時点での生体の姿勢を基本姿勢とすると共に、2次元血管画像が前記撮影手段により取得された時点での前記撮影手段により検出された生体識別装置の所定位置から基準面までの距離及び基準面の傾きに相当する2次元血管画像の姿勢を照合時姿勢とし、前記基本姿勢から前記照合時姿勢への変化の度合いを検出する変化検出手段と、
前記撮影手段により検出された生体識別装置の所定位置から基準面までの距離及び基準面の傾きと、前記変化検出手段により検出された前記基本姿勢から前記照合時姿勢への変化の度合いとに相当する切り出し平面を生成すると共に、生体が基本姿勢であるときの血管パターンの3次元特徴点を3次元特徴点格納手段から取得し、その取得した血管パターンの3次元特徴点のうちから前記変化検出手段により検出された変化の度合いに対応する3次元特徴点を前記切り出し平面にプロットして前記血管パターンの2次元照合用特徴点を生成する2次元照合用特徴点生成手段と、
前記2次元照合用特徴点生成手段により生成された血管パターンの2次元照合用特徴点と、前記2次元特徴点抽出手段により抽出された血管パターンの2次元特徴点とを照合する照合手段とを備えたことを特徴とする生体識別装置。 A two-dimensional image of a blood vessel in a living body is acquired to obtain a two-dimensional blood vessel image, and at least three points belonging to the object to be imaged at the time of imaging are used as reference points, and distances from a predetermined position of the biometric identification device to each reference point are determined. a photographing means for detecting the inclination of the distance and the reference plane to the reference plane from a predetermined position of the measurement to create and biometric device reference surface to be imaged at the time of shooting,
Two-dimensional feature point extracting means for analyzing the two-dimensional blood vessel image acquired by the photographing means and extracting two-dimensional feature points of the blood vessel pattern;
The posture of the living body at the time when the blood vessel image that is the basis of the three-dimensional feature point of the blood vessel pattern is acquired is set as the basic posture, and is detected by the imaging unit when the two-dimensional blood vessel image is acquired by the imaging unit. It has been the attitude of the corresponding two-dimensional blood vessel image to the inclination of the distance and the reference plane from a predetermined position to the reference plane of the biometric identification device by the verification during posture, detecting the degree of change to the verification during orientation from the basic position Change detection means;
Corresponds to the distance from the predetermined position of the biometric identification device detected by the photographing means to the reference plane and the inclination of the reference plane, and the degree of change from the basic attitude detected by the change detecting means to the matching attitude. A three-dimensional feature point of the blood vessel pattern when the living body is in the basic posture is acquired from the three-dimensional feature point storage means, and the change detection is performed from the three-dimensional feature points of the acquired blood vessel pattern. Two-dimensional matching feature point generating means for generating a two-dimensional matching feature point of the blood vessel pattern by plotting a three-dimensional feature point corresponding to the degree of change detected by the means on the clipping plane;
A matching means for matching the two-dimensional matching feature point of the blood vessel pattern generated by the two-dimensional matching feature point generating means with the two-dimensional feature point of the blood vessel pattern extracted by the two-dimensional feature point extracting means; A biometric identification device comprising:
前記基本姿勢から前記照合時姿勢への歪みの度合いを検出する歪み検出手段を備え、
前記2次元照合用特徴点生成手段は、前記歪み検出手段により検出された歪みの度合いに対応する血管パターンの2次元照合用特徴点を生成することを特徴とする生体識別装置。 The biometric identification device according to claim 1,
Comprising strain detection means for detecting the degree of distortion from the basic posture to the posture at the time of matching;
The biometric identification device characterized in that the two-dimensional matching feature point generating means generates a two-dimensional matching feature point of a blood vessel pattern corresponding to the degree of distortion detected by the distortion detecting means.
前記基本姿勢から前記照合時姿勢への歪みの度合いを検出する歪み検出手段と、
前記撮影手段により取得された2次元血管画像を前記歪み検出手段により検出された歪みの度合いに対応して補正する2次元血管画像補正手段とを備え、
前記2次元特徴点抽出手段は、前記2次元血管画像補正手段により補正された2次元血管画像を解析して血管パターンの2次元特徴点を抽出することを特徴とする生体識別装置。 The biometric identification device according to claim 1,
Distortion detecting means for detecting the degree of distortion from the basic attitude to the matching attitude;
Two-dimensional blood vessel image correction means for correcting the two-dimensional blood vessel image acquired by the imaging means in accordance with the degree of distortion detected by the distortion detection means;
The biometric identification device, wherein the two-dimensional feature point extraction unit analyzes the two-dimensional blood vessel image corrected by the two-dimensional blood vessel image correction unit and extracts a two-dimensional feature point of a blood vessel pattern.
生体の外形を検出する外形検出手段と、
前記外形検出手段の検出結果に基づいて前記撮影手段により取得された2次元血管画像を血管パターンの3次元特徴点の元となる血管画像の大きさと略一致するように拡大・縮小させる拡大・縮小手段とを備え、
前記2次元特徴点抽出手段は、前記拡大・縮小手段により拡大・縮小された2次元血管画像を解析して血管パターンの2次元特徴点を抽出することを特徴とする生体識別装置。 In the biometric identification device according to any one of claims 1 to 3,
An outer shape detecting means for detecting the outer shape of the living body;
Enlarging / reducing the two-dimensional blood vessel image acquired by the imaging unit based on the detection result of the outer shape detecting unit to enlarge / reduce the size of the blood vessel image that is the basis of the three-dimensional feature point of the blood vessel pattern. Means and
The biometric identification device, wherein the two-dimensional feature point extracting unit extracts a two-dimensional feature point of a blood vessel pattern by analyzing the two-dimensional blood vessel image enlarged or reduced by the enlargement / reduction unit.
前記2次元照合用特徴点生成手段は、血管パターンの2次元照合用特徴点の個々を3次元的に生成することを特徴とする生体識別装置。 The biometric identification device according to any one of claims 1 to 4,
The biometric identification apparatus characterized in that the two-dimensional matching feature point generating means generates three-dimensionally each of the two-dimensional matching feature points of the blood vessel pattern.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006030866A JP4760422B2 (en) | 2006-02-08 | 2006-02-08 | Biometric identification device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006030866A JP4760422B2 (en) | 2006-02-08 | 2006-02-08 | Biometric identification device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007213199A JP2007213199A (en) | 2007-08-23 |
| JP4760422B2 true JP4760422B2 (en) | 2011-08-31 |
Family
ID=38491594
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006030866A Expired - Fee Related JP4760422B2 (en) | 2006-02-08 | 2006-02-08 | Biometric identification device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4760422B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010041731A1 (en) * | 2008-10-10 | 2010-04-15 | 日本電気株式会社 | Collating device, collating method, and program |
| JP5708662B2 (en) * | 2010-12-28 | 2015-04-30 | 富士通株式会社 | Biometric authentication device, biometric authentication method, and biometric authentication program |
| JP6160148B2 (en) | 2013-03-19 | 2017-07-12 | 富士通株式会社 | Biological information input device, biometric information input program, and biometric information input method |
| JP6278483B2 (en) * | 2016-03-18 | 2018-02-14 | 国立大学法人広島大学 | Treatment support system, operation method of treatment support system, and treatment support program |
| JP6838368B2 (en) | 2016-11-28 | 2021-03-03 | 富士通株式会社 | Image processing device, image processing method and image processing program |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002092616A (en) * | 2000-09-20 | 2002-03-29 | Hitachi Ltd | Personal authentication device |
| JP3810782B2 (en) * | 2002-09-03 | 2006-08-16 | 富士通株式会社 | Personal recognition device |
-
2006
- 2006-02-08 JP JP2006030866A patent/JP4760422B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007213199A (en) | 2007-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4592341B2 (en) | Biometric authentication device | |
| US9251396B2 (en) | Touchless fingerprinting acquisition and processing application for mobile devices | |
| JP4653606B2 (en) | Image recognition apparatus, method and program | |
| JP5445460B2 (en) | Impersonation detection system, impersonation detection method, and impersonation detection program | |
| JP6589309B2 (en) | Terminal device, biometric authentication program, and biometric authentication method | |
| US9280695B2 (en) | Apparatus and method for determining sequencing of fingers in images to a two-finger scanner of fingerprint images | |
| JP5061645B2 (en) | Information extraction method, information extraction device, program, registration device, and verification device | |
| JP4899551B2 (en) | Authentication device, authentication method, authentication program, and computer-readable recording medium | |
| US8811681B2 (en) | Biometric authentication apparatus and biometric authentication method | |
| JP2002081922A (en) | Image processing device, image processing method, and program | |
| JP5170094B2 (en) | Spoofing detection system, spoofing detection method, and spoofing detection program | |
| JP2009009280A (en) | 3D signature authentication system | |
| JP2003263640A (en) | Personal identification device using biological information | |
| JPWO2011086803A1 (en) | Image collation system, image collation method, computer program | |
| JP2002063567A (en) | Device and method for estimating body position and attitude, method for feature point extraction method using the same, and image collating method | |
| JP4760422B2 (en) | Biometric identification device | |
| JP2009015518A (en) | Eye image photographing device and authentication device | |
| CN108462770A (en) | Rear camera self-timer method, device and electronic equipment | |
| CN109829785B (en) | Virtual fitting method, device, electronic device and storage medium | |
| JP2009205570A (en) | Biometric system, biometric method, and biometric program | |
| JP4254418B2 (en) | Personal authentication apparatus and method, and portable communication terminal | |
| EP3752937A1 (en) | Enrollment scheme for an electronic device | |
| JP2004341992A (en) | Image photographing device and image collating device | |
| JP2003323619A (en) | Reception assistance system | |
| JP2878656B2 (en) | Seal verification method and device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080307 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101214 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110301 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110414 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110510 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110523 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140617 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140617 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |