Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7744777B2 - 識別モデル生成装置、識別装置、及びそれらの制御方法、プログラム - Google Patents
[go: Go Back, main page]

JP7744777B2 - 識別モデル生成装置、識別装置、及びそれらの制御方法、プログラム - Google Patents

識別モデル生成装置、識別装置、及びそれらの制御方法、プログラム

Info

Publication number
JP7744777B2
JP7744777B2 JP2021138251A JP2021138251A JP7744777B2 JP 7744777 B2 JP7744777 B2 JP 7744777B2 JP 2021138251 A JP2021138251 A JP 2021138251A JP 2021138251 A JP2021138251 A JP 2021138251A JP 7744777 B2 JP7744777 B2 JP 7744777B2
Authority
JP
Japan
Prior art keywords
eyeball
image
data
inference
model generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021138251A
Other languages
English (en)
Other versions
JP2023032243A (ja
Inventor
和広 並木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021138251A priority Critical patent/JP7744777B2/ja
Priority to US17/885,656 priority patent/US12307819B2/en
Publication of JP2023032243A publication Critical patent/JP2023032243A/ja
Application granted granted Critical
Publication of JP7744777B2 publication Critical patent/JP7744777B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/197Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Description

本発明は、虹彩画像を利用して個人を識別する技術に関する。
近年、虹彩画像を用いた個人認証技術が、様々な用途で利用され始めている。例えば、施設への入退室管理、PC、スマートフォン、ホームページ等へのログイン時の個人認証に用いられている。
このような個人認証装置では、例えば使用する特定のユーザを識別して登録してから、この登録した情報に基づいて、提供するサービスにログインするための認証を行う。また、個人認証装置の使用は、主に外光の少ない室内での使用を前提としている。
しかしながら、近年、スマートフォン等の室外で多く使用する機器にも虹彩認証による個人識別技術が利用され始めており、外光下で虹彩認証を行う場面も増えてきている。太陽光などの近赤外成分を多く含む外光下で虹彩認証を行う場合には、太陽等が発する近赤外光や、太陽等に照射された物体が反射する近赤外光が眼球に広範囲に映り込む。そのため、外光下で虹彩認証を行う際に、予め登録していた虹彩コードと外光下で撮影した眼球画像から算出した虹彩コードが一致せず、個人認証を行えない場合がある。
特許文献1には、眼球画像と、見ている方向のシーン画像とが対応付けられた多数のデータを使用して機械学習を行うことにより、キャリブレーション処理を不要にする技術が開示されている。この学習では、教師データとして、大規模なデータセットを必要とする。例えば、顔特徴点、カメラアングル、キャプチャプログラム(上下左右のマーカ表示を注視したときのデータ)などを眼球画像と組み合わせて教師データとすることで視線認識を行っている。
特開2020-140630号公報
上述のように、特許文献1では、眼球画像に対応した方向のシーン画像や、カメラアングルなど、注視している方向に関連あるデータを教師データとして組み合わせ、視線を検出できるように機械学習を行っている。
しかしながら、外光が眼球に入射してきた際には、眼球の方向を認識することが難しく、視線認識精度が著しく落ちることになる。
本発明は上述した課題に鑑みてなされたものであり、その目的は、外光のある環境下においても、虹彩画像を用いた個人認証の精度を向上させることである。
本発明に係わる識別モデル生成装置は、眼球の画像から個人の識別を行う識別モデルを生成する識別モデル生成装置であって、前記眼球の画像と、該眼球の画像が撮影されたときの撮影状況のデータとを取得する取得手段と、前記眼球の画像と前記撮影状況のデータとに基づいて、前記眼球の特徴量を推論する推論手段と、前記推論手段から得られた前記眼球の特徴量が、前記眼球の画像と撮影状況のデータとに対応する前記眼球の特徴量の正解値である正解データに近づくように、前記推論手段の学習を行い、前記識別モデルを生成する学習手段と、を備えることを特徴とする。
本発明によれば、外光のある環境下においても、虹彩画像を用いた個人認証の精度を向上させることが可能となる。
本発明の一実施形態における学習装置の構成を示す図。 個人識別モデル部のソフトウェア構成を示す図。 眼球に入射する外光の様子を示す図。 眼球画像の学習動作を示すフローチャート。 本発明の一実施形態における推論装置の構成図。 個人識別モデル部のソフトウェア構成を示す図。 眼球画像の個人登録推論の処理を示すフローチャート。 眼球画像の個人認証推論の処理を示すフローチャート。
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
なお、本発明の実施形態の説明において、外光とは、太陽光や照明器具から眼球に入射する光のことである。また映り込みとは、撮影された眼球画像において、外光によって形成された輝度パターンのことである。
本発明の一実施形態に係わる個人識別システムは、ユーザの眼球画像からユーザを識別するための識別モデルを生成するとともに、眼球画像を入力として畳み込みニューラルネットワーク(以下、CNN)の重み係数を算出して学習する学習装置を備える。また、学習装置で学習された識別モデルを用いて、個人を識別する推論装置を備える。
[学習装置の構成]
図1は、本実施形態の個人識別システムにおける学習装置(個人識別モデル生成装置)100の構成を示す図である。
学習装置100は、撮像部101、記憶部102、画像処理部103、個人識別モデル部104、CPU110を備える。
撮像部101は、学習装置100を覗いたユーザ1の眼球像を結像させるための接眼レンズ10を備え、接眼レンズ10を透過した眼球からの反射光は、CMOS型等の光電素子が2次元的に配列された撮像素子11上に結像される。
記憶部102は、機械学習プログラムを記憶しているとともに、撮像部101で撮像された個人の眼球画像、或いは個人識別システム外の例えばデジタル一眼レフカメラやミラーレスカメラで撮像された個人の眼球画像を記憶している。機械学習プログラムは、画像処理部103で処理され、記憶部102に記憶させた教師データに基づいて、個人識別モデル部104のCNNの重み係数を算出して学習を行い、更に重み係数を更新することで精度の高い推論モデルを作成するプログラムである。機械学習プログラムは、CPU110により実行されることで、推論モデルを作成する処理を行う。また、記憶部102には、眼球画像が撮影された時の状況データが保持されている。例えば、撮影時間、撮影場所、撮影眼球が見ている方角、季節などのデータである。
画像処理部103は、記憶部102に記憶されている眼球画像において、眼球の領域における明るさ、例えば画像の輝度値を検出し、眼球の画像内の明るさと明るさ毎の位置を関連付けた外光評価値を用いて外光領域であるか否かを判断する。また、画像処理部103は、外光を含む眼球画像と記憶部102に保持されている眼球撮影時の状況データを組み合わせて、学習のための教師データを作成する。
個人識別モデル部104は、画像処理部103で作成され、記憶部102に記憶された教師データに基づいて重み係数が設定されるCNNで構成された推論器である。個人識別モデル部104の構成、および動作フローの詳細な説明は後述する。
なお、画像処理部103、個人識別モデル部104は、図1では独立したブロックとして記載されているが、実際には、CPU110が記憶部102に記憶されているプログラムを実行することにより実現される。
[個人識別モデル部104の構成]
次に、図2を用いて、学習装置100の個人識別モデル部104の構成について説明する。
教師データ取得部201では、眼球画像203とその眼球画像を撮影したときの撮影状況データ205を教師データTDとして記憶部102から取得する。記憶部102に保持されている機械学習プログラムは、教師データTDがCNN207に入力されたときに、CNN207の出力値217が出力値の正解値(正解データ)に近づくように、CNN207の重み係数219を算出することで学習を行う。個人識別モデル部104は出力されたCNN207の重み係数219を用いて推論モデルを作成する。なお、図2においてCNN207から出力される出力値217は、虹彩画像の特徴量であり、教師データTDに対応する出力値(特徴量)の正解値である正解データは、予め公知の方法により作成されているものとする。
上記のように、本実施形態では、眼球画像203と眼球画像を撮影した状況のデータ205を組み合わせて、CNN207の入力である教師データTDとする。例えば、太陽の高さにより外光の入り方が異なるので、撮影した時の季節、撮影時刻、撮影場所のデータ、撮影方向のデータ等を、撮影状況データ205として、記憶部102に記憶しておく。また、画像の画素ごとの輝度値を取得して、輝度値の範囲毎に明るさの分布を求めておき、撮影場所、或いは撮影方向などのデータと組み合わせることによって教師データとしての精度を上げることもできる。
また、太陽から入射する外光方向を推測するための方法として、眼球画像の明るさを判定する。図3のように、外光の例として太陽の光が眼球に入射すると、眼球は、太陽の入射する方向側が明るくなる。そのため、眼球画像の画素ごとの輝度値を取得して、画像内の領域でどの方向が明るいかを判別し、太陽の方向を推測する。
このような情報を、撮影された外光を含む眼球画像と組み合わせて教師データとして用いることにより、ユーザ毎に違う外光特性をCNN207で学習することが可能になる。
図2に示されるように、本実施形態において、学習対象となる個人識別モデルはCNN207である。CNN207は、例えば畳み込み層209、プーリング層211、全結合層213、および出力層215を備える。
畳み込み層209は、入力層の一例であり、画像の畳み込み演算を行う層である。画像の畳み込みは、あるフィルタとの相関を算出する処理に相当する。プーリング層211は、プーリング処理を行う層である。プーリング処理は、結合する畳み込み層209のニューロンの出力値のなかで最大となる値を設定し、画像内に現れる特徴の微小な変化に対する応答の不変性を実現する。
全結合層213は、隣接する層の間のニューロン全てを結合した層である。すなわち、全結合層213に含まれる各ニューロンは、隣接する層に含まれる全てのニューロンに結合される。全結合層213は、図2では1つの層として示されているが、複数層で構成されていてもよい。出力層215は、CNN207の最も出力側に配置される層である。各ニューロンには閾値が設定されており、基本的には、各入力と各重み係数の積の和が閾値を超えているか否かによって各ニューロンの出力が決定される。
このような構成のCNN207では、最も入力側の畳み込み層209に外光を含む眼球画像203とそれを撮影したときの状況データ205の組み合わせである教師データTDを入力すると、眼球画像203に対応する出力値(虹彩の特徴量)が出力層215から出力される。記憶部102に保持されている機械学習プログラムは、教師データTDを入力したときの出力値が、前述した予め求められている正解データに近づくように、各ニューロン間の重み係数219を更新し、記憶部102に格納する。これにより学習が行われる。
個人識別モデル部104は、学習処理によって得られたCNN207の構成、各ニューロン間の重み係数、及びニューロンの閾値を示す情報を用いて、個人識別の判別を行うための推論モデルを作成する。
[学習時のフローチャートの説明]
図4は、個人識別モデル部104の処理手順の一例を示すフローチャートである。図4を用いて、個人識別モデル部104の動作について説明する。なお、以下で説明する学習装置100の機械学習に関する処理手順は一例であり、各処理は可能な限り変更されてよい。また、必要に応じて、適宜、ステップの省略、置換、及び追加が可能である。また、図4の処理は、学習装置100のCPU110が、記憶部102に記憶されているプログラムを実行することにより実現される。
ステップS401では、教師データ取得部201(CPU110)は、記憶部102に記憶されている学習用の教師データTDを取得する。
ステップS402では、CPU110は、取得した教師データTDをCNN207の入力として用い、CNN207の出力値217が正解データに近づくように、重み係数219を算出し、CNN207の機械学習を実行する。
具体例として、学習処理を行う対象となるCNN207を用意する。用意するCNN207の構成、各ニューロン間の重み係数219は、テンプレートを用いて取得してもよいし、オペレータの入力によって与えられてもよい。また、再学習を行う場合には、個人識別モデル部104(CPU110)は、再学習を行う対象となるCNNの重み係数219に基づいてCNN207を用意してもよい。
ステップS403では、CPU110は、ステップS402での機械学習が所定回数行われたか否かを判断する。CPU110は、所定回数行っていれば、処理をステップS404へ進める。所定回数行っていない場合は、ステップ402を繰り返す。所定回数は、過学習を起こさずに、かつ学習精度と予測精度がともに最高値になるように調整される。
ステップ404では、CPU110は、構築したCNN207の構成、及び各ニューロンの閾値を示す情報としての重み係数219を更新し、記憶部102に格納する。以上で、CNN207の学習処理を終了する。
以上のように、本実施形態では、外光を含む眼球画像と対になる眼球画像を撮影した時の撮影状況データとの教師データから学習を行うことで、季節、撮影時刻、撮影場所、撮影方向による外光特性を判別できる。そのため、太陽光等の外光による眼球への映り込みに対して個人識別の精度を下げることなく、個人識別モデルの生成が可能になる。
また、本実施形態で説明した撮影状況データ205は、眼球に入射する外光の入射方向や、外光の強さを判断できるデータであればよく、眼球画像と合わせて相対的に外光特性を学習できるデータであれば、上記に記載した類のデータでなくてもよい。
次に、本実施形態における推論装置について説明する。推論装置は、上記のようにして生成した個人識別モデルから求められた眼球画像毎のCNNの重み係数を用いて、個人の眼球画像の特徴量を算出して、その特徴量を登録されている個人の虹彩の特徴量と照合し、特定個人であるか否かを判定する。
[推論装置の構成]
図5は、推論装置の構成を示す図である。
推論装置500は、個人の眼球画像の特徴量を推論し、その特徴量の推論結果を推論装置500に登録する個人登録推論を行う。あるいは、登録されている眼球の特徴量と推論装置500に入力した特定人物の眼球画像の特徴量とを照合し、個人識別判定を行う個人識別推論を行う。
推論装置500は、撮像部501、記憶部502、画像処理部503、個人識別モデル部504、認証部505、CPU510を備える。ここで、撮像部501、記憶部502、画像処理部503に関しては、学習装置100における撮像部101、記憶部102、画像処理部103と同様な動作を行うため、説明を省略する。
なお、画像処理部503、個人識別モデル部504、認証部505は、図5では独立したブロックとして記載されているが、実際には、CPU510が記憶部502に記憶されているプログラムを実行することにより実現される。
個人識別モデル部504は、学習装置100で外光を含む眼球画像と眼球画像を撮影した時の状況データの組み合わせである教師データから算出したCNNの重み係数を用いて、特定人物の眼球(虹彩)の特徴量を算出する。個人登録推論の場合、学習装置100と同様、眼球画像及び眼球の撮影状況データと、特定人物の眼球の特徴及び外光の特徴を組み合わせた特徴量とを関連付けて、推論モデルを作成し、記憶部502に推論モデルを記録(登録)する。また、個人識別推論の場合、まず識別したい人物の眼球の画像を撮像部501で撮影し、個人登録推論で記憶部502に登録した特定人物の眼球の特徴量と、識別したい人物の眼球画像から推論した眼球の特徴量とを比較し、比較結果を記憶部502に記憶する。
認証部505は、個人識別推論時に記憶部502に保存した識別結果(上記の比較結果)に基づいて、認証したい人物が記憶部502に登録されている特定人物であるか否かを判断し認証結果を出力する。認証結果は、推論装置500において認証したい人物に通知される。通知の方法としては、例えば図示していない推論装置に備え付けられているディスプレイへの表示、スピーカーからの音声通知、また推論装置と専用のケーブルを介して接続された外部ディスプレイへの表示、外部スピーカーからの音声通知等が挙げられる。
[個人識別モデル部504の構成]
次に、図6を用いて、本実施形態における個人識別モデル部504の構成について説明する。
推論画像取得部601では、画像処理部503によって得られた外光を含む眼球画像603とその眼球画像を撮影したときの撮影状況データ605を入力データとして取得する。撮影状況データ605に関しては、例えば、太陽の高さにより外光の入り方が違うので、撮影した時の季節や撮影時刻のデータを記憶部502に記憶しておく。また撮影場所のデータや撮影方向を記憶しておくことにより、太陽から入射する外光の方向もわかるため、撮影された外光を含む眼球画像と組み合わせて入力データとする。
個人識別モデル部504は、上述した学習装置100から得られたCNNの重み係数219を用いて、眼球の特徴量を推論装置に登録する個人登録推論を行う。または登録した特徴量と推論装置に入力した特定人物の眼球画像の特徴量とを照合する。
図6に示されるように、本実施形態において、ユーザの眼球画像の特徴量を出力する推論モデルは、CNN607である。CNN607は、畳み込み層609、プーリング層611、全結合層613、および出力層615を備えており、学習装置100の個人識別モデル部104のCNN207と同様に構成されている。また、各層609~615は、学習装置100の個人識別モデル部104のCNN207における各層209~215と同様であるため、説明を省略する。
[個人登録推論時のフローチャートの説明]
図7は、個人識別モデル部504の個人登録推論の処理手順を示すフローチャートである。なお、図7の処理は、推論装置500のCPU510が、記憶部502に記憶されているプログラムを実行することにより実現される。
ステップS701では、CPU510は、撮像部501で撮影された眼球の特徴量を登録しようとする人物の眼球画像603と、その眼球画像を撮影したときの撮影状況データ605を記憶部502から取得する。
ステップS702では、CPU510は、ステップS701で取得した眼球画像603とその眼球画像を撮影したときの撮影状況データ605を、CNN607に入力する。
ステップS703では、CPU510は、ステップS702で入力した眼球画像603とその眼球画像を撮影したときの撮影状況データ605を用い、CNN607による推論演算処理を実行する。
ステップS704では、CPU510は、学習装置100の個人識別モデル部104から得られたCNNの重み係数219をCNN607に適用し、CNN607を用いて、個人認証のデータを登録しようとする人物の眼球画像に対応する特徴量を算出する。個人登録推論の結果は、例えば、CNN607から得られた眼球の特徴量と眼球画像の撮影状況データ605とを関連付けた情報である眼球情報として得られる。
ステップS705では、ステップS704で求めた眼球情報をまとめた推論モデルを作成する。
ステップS706では、推論モデルを記憶部502に記憶し、個人登録を行う。
以上のように、個人登録推論を行う場合の個人識別モデル部504では、外光を含む眼球画像から予め求めたCNNの重み係数219と、個人登録を行うべき人物の外光を含む眼球画像603と、その眼球画像を撮影したときの撮影状況データ605とから眼球情報を推論し、登録する人物の推論モデルを記憶部502に記憶する。以上で、個人登録推論の処理を終了する。
[個人識別推論時のフローチャートの説明]
図8は、個人識別モデル部504の個人識別推論の処理手順を示すフローチャートである。なお、個人識別推論におけるソフトウェア構成は個人登録推論におけるソフトウェア構成と同様であるため、図5及び図6を参照して説明する。なお、図8の処理は、推論装置500のCPU510が、記憶部502に記憶されているプログラムを実行することにより実現される。
ステップS801では、CPU510は、撮像部501で撮影された個人認証を行う人物の外光を含む眼球画像603と、その眼球画像を撮影したときの撮影状況データ605を取得する。
ステップS802では、CPU510は、ステップS801で記憶した個人認証を行う人物の外光を含む眼球画像603とその眼球画像を撮影した時の撮影状況データ605を、CNN607に入力する。
ステップS803では、CPU510は、ステップS802で入力した眼球画像603とその眼球画像を撮影したときの撮影状況データ605を用い、CNN607による演算処理を実行する。
ステップS804では、CPU510は、学習装置100の個人識別モデル部104から得られたCNNの重み係数219をCNN607に適用し、CNN607を用いて、個人識別する人物の眼球画像に対応する特徴量を算出する。個人識別推論の結果は、例えば、CNN607から得られた眼球の特徴量と眼球画像の撮影状況データ605とを関連付けた情報である眼球情報として得られる。
ステップS805では、CPU510は、個人登録推論した結果であるステップS705で得られた推論モデルを記憶部502から認証部505に入力する。また、ステップ804で求めた推論結果である眼球情報を認証部505に入力する。認証部505はステップS705で得られた推論モデルと、ステップ804で得られた眼球情報を比較することで個人識別処理を行う。
ステップS806では、認証部505(CPU510)は、ステップS805で得られた個人識別結果に基づいて、個人認証を行う人物が推論装置500に登録している人物か否かを判断し、認証結果を出力する。
ステップS807では、ステップS806で得られた認証結果を、推論装置500で個人認証を行う人物に通知する。通知の方法としては、例えば図示していない推論装置に備え付けられているディスプレイへの表示、スピーカーからの音声通知、また推論装置と専用のケーブルを介して接続された外部ディスプレイへの表示、外部スピーカーからの音声通知等が挙げられる。
以上のように、個人識別推論を行う場合の個人識別モデル部504では、個人登録推論において登録した推論モデルと識別時に得られた眼球情報を比較し、識別結果が推論モデルとある割合で合致していたら特定人物と認証し、認証を行う人物に通知する。以上で、個人認証推論の処理を終了する。
なお、本実施形態で説明した撮影状況データ605は、眼球に入射する外光の入射方向や、外光の強さを判断できるデータであればよく、眼球画像と合わせて相対的に外光特性を学習できるデータであれば、上記に記載した類のデータでなくてもよい。
(他の実施形態)
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
100:学習装置、101:撮像部、102:記憶部、103:画像処理部、104:個人識別モデル部、110:CPU、207:CNN、219:重み係数

Claims (18)

  1. 眼球の画像から個人の識別を行う識別モデルを生成する識別モデル生成装置であって、
    前記眼球の画像と、該眼球の画像が撮影されたときの撮影状況のデータとを取得する取得手段と、
    前記眼球の画像と前記撮影状況のデータとに基づいて、前記眼球の特徴量を推論する推論手段と、
    前記推論手段から得られた前記眼球の特徴量が、前記眼球の画像と撮影状況のデータとに対応する前記眼球の特徴量の正解値である正解データに近づくように、前記推論手段の学習を行い、前記識別モデルを生成する学習手段と、
    を備えることを特徴とする識別モデル生成装置。
  2. 前記眼球の特徴量は、前記眼球の虹彩の特徴量であることを特徴とする請求項1に記載の識別モデル生成装置。
  3. 前記撮影状況のデータは、撮影時間、撮影場所、眼球が見ている方角、季節のいずれかを含むことを特徴とする請求項1または2に記載の識別モデル生成装置。
  4. 前記推論手段には、畳み込みニューラルネットワークが用いられることを特徴とする請求項1乃至3のいずれか1項に記載の識別モデル生成装置。
  5. 前記学習手段は、前記眼球の画像と前記撮影状況のデータとに基づいて、前記推論手段から得られた前記眼球の特徴量が、前記眼球の画像と撮影状況のデータとに対応する前記眼球の特徴量の正解値である正解データに近づくように、畳み込みニューラルネットワークの重み係数を算出することを特徴とする請求項4に記載の識別モデル生成装置。
  6. 前記取得手段は、前記眼球を撮像する撮像手段を有することを特徴とする請求項1乃至5のいずれか1項に記載の識別モデル生成装置。
  7. 前記眼球の画像の明るさを検出する検出手段をさらに備えることを特徴とする請求項1乃至6のいずれか1項に記載の識別モデル生成装置。
  8. 前記検出手段は、前記眼球の画像内の明るさと明るさ毎の位置を関連付けた評価値を、前記撮影状況のデータとして出力することを特徴とする請求項7に記載の識別モデル生成装置。
  9. 眼球の画像から個人の識別を行う識別装置であって、
    眼球を撮像する撮像手段と、
    前記撮像手段により撮像された前記眼球の画像と、該眼球の画像が撮像されたときの撮影状況のデータとを取得する取得手段と、
    前記眼球の画像と前記撮影状況のデータとに基づいて、前記眼球の特徴量を推論する推論手段と、
    予め登録した特定の人物の眼球の特徴量と、前記推論手段により推論した前記眼球の特徴量とを比較する比較手段と、
    を備えることを特徴とする識別装置。
  10. 前記眼球の特徴量は、前記眼球の虹彩の特徴量であることを特徴とする請求項9に記載の識別装置。
  11. 前記撮影状況のデータは、撮影時間、撮影場所、眼球が見ている方角、季節のいずれかを含むことを特徴とする請求項9または10に記載の識別装置。
  12. 前記推論手段には、畳み込みニューラルネットワークが用いられることを特徴とする請求項9乃至11のいずれか1項に記載の識別装置。
  13. 前記眼球の画像の明るさを検出する検出手段をさらに備えることを特徴とする請求項9乃至12のいずれか1項に記載の識別装置。
  14. 前記検出手段は、前記眼球の画像内の明るさと明るさ毎の位置を関連付けた評価値を、前記撮影状況のデータとして出力することを特徴とする請求項13に記載の識別装置。
  15. 眼球の画像から個人の識別を行う識別モデルを生成する識別モデル生成装置の制御方法であって、
    前記識別モデル生成装置により、前記眼球の画像と、該眼球の画像が撮影されたときの撮影状況のデータとを取得する取得工程と、
    前記識別モデル生成装置により、前記眼球の画像と前記撮影状況のデータとに基づいて、前記眼球の特徴量を推論する推論工程と、
    前記識別モデル生成装置により、前記推論工程で得られた前記眼球の特徴量が、前記眼球の画像と撮影状況のデータとに対応する前記眼球の特徴量の正解値である正解データに近づくように、前記推論工程の学習を行い、前記識別モデルを生成する学習工程と、
    を有することを特徴とする識別モデル生成装置の制御方法。
  16. 眼球の画像から個人の識別を行う識別装置の制御方法であって、
    前記識別装置により、眼球を撮像する撮像工程と、
    前記識別装置により、前記撮像工程において撮像された前記眼球の画像と、該眼球の画像が撮像されたときの撮影状況のデータとを取得する取得工程と、
    前記識別装置により、前記眼球の画像と前記撮影状況のデータとに基づいて、前記眼球の特徴量を推論する推論工程と、
    前記識別装置により、予め登録した特定の人物の眼球の特徴量と、前記推論工程において推論した前記眼球の特徴量とを比較する比較工程と、
    を有することを特徴とする識別装置の制御方法。
  17. コンピュータを、請求項1乃至7のいずれか1項に記載の識別モデル生成装置の各手段として機能させるためのプログラム。
  18. コンピュータを、請求項9乃至14のいずれか1項に記載の識別装置の各手段として機能させるためのプログラム。
JP2021138251A 2021-08-26 2021-08-26 識別モデル生成装置、識別装置、及びそれらの制御方法、プログラム Active JP7744777B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021138251A JP7744777B2 (ja) 2021-08-26 2021-08-26 識別モデル生成装置、識別装置、及びそれらの制御方法、プログラム
US17/885,656 US12307819B2 (en) 2021-08-26 2022-08-11 Identification model generation apparatus, identification apparatus, identification model generation method, identification method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021138251A JP7744777B2 (ja) 2021-08-26 2021-08-26 識別モデル生成装置、識別装置、及びそれらの制御方法、プログラム

Publications (2)

Publication Number Publication Date
JP2023032243A JP2023032243A (ja) 2023-03-09
JP7744777B2 true JP7744777B2 (ja) 2025-09-26

Family

ID=85287792

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021138251A Active JP7744777B2 (ja) 2021-08-26 2021-08-26 識別モデル生成装置、識別装置、及びそれらの制御方法、プログラム

Country Status (2)

Country Link
US (1) US12307819B2 (ja)
JP (1) JP7744777B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025062630A1 (ja) * 2023-09-22 2025-03-27 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法、及び記録媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012203668A (ja) 2011-03-25 2012-10-22 Sony Corp 情報処理装置、物体認識方法、プログラム及び端末装置
US20170277950A1 (en) 2014-09-02 2017-09-28 Samsung Electronics Co., Ltd. Method for recognizing iris and electronic device therefor
JP2019125116A (ja) 2018-01-15 2019-07-25 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
WO2019229789A1 (ja) 2018-05-28 2019-12-05 株式会社オプティム 学習済モデル提案システム、学習済モデル提案方法、およびプログラム
US20200160079A1 (en) 2018-11-15 2020-05-21 Brown University Iris recognition using fully convolutional networks

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106940766A (zh) * 2016-01-04 2017-07-11 由田新技股份有限公司 视线轨迹认证系统及方法
KR102648770B1 (ko) * 2016-07-14 2024-03-15 매직 립, 인코포레이티드 홍채 식별을 위한 딥 뉴럴 네트워크
JP2020140630A (ja) 2019-03-01 2020-09-03 国立大学法人九州工業大学 注視点推定システム、注視点推定方法、注視点推定プログラム、及び、これが記録された情報記録媒体
US20220327189A1 (en) * 2021-04-09 2022-10-13 Qualcomm Incorporated Personalized biometric anti-spoofing protection using machine learning and enrollment data
WO2022245037A1 (ko) * 2021-05-18 2022-11-24 삼성전자 주식회사 이미지 센서 및 동적 비전 센서를 포함하는 전자 장치 및 그 동작 방법
EP4332798A4 (en) * 2021-06-18 2024-10-30 Samsung Electronics Co., Ltd. BIOMETRIC ACTIVITY AUTHENTICATION METHOD AND ELECTRONIC DEVICE

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012203668A (ja) 2011-03-25 2012-10-22 Sony Corp 情報処理装置、物体認識方法、プログラム及び端末装置
US20170277950A1 (en) 2014-09-02 2017-09-28 Samsung Electronics Co., Ltd. Method for recognizing iris and electronic device therefor
JP2019125116A (ja) 2018-01-15 2019-07-25 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
WO2019229789A1 (ja) 2018-05-28 2019-12-05 株式会社オプティム 学習済モデル提案システム、学習済モデル提案方法、およびプログラム
US20200160079A1 (en) 2018-11-15 2020-05-21 Brown University Iris recognition using fully convolutional networks

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Nasir Udin Ahmed et al.,"Using fusion of iris code and periocular biometric for matching visible spectrum iris images captured by smart phone cameras",2016 23rd International Conference on Pattern Recognition (ICPR),米国,IEEE,2016年12月04日,pp.176-180
小林 宏紀、外2名,"周辺光環境の変化に適応するリアルタイム虹彩認証システム",電子情報通信学会技術研究報告,日本,社団法人電子情報通信学会,2005年03月21日,Vol.104, No.758,pp.155-160

Also Published As

Publication number Publication date
US20230064329A1 (en) 2023-03-02
US12307819B2 (en) 2025-05-20
JP2023032243A (ja) 2023-03-09

Similar Documents

Publication Publication Date Title
US11294996B2 (en) Systems and methods for using machine learning for image-based spoof detection
CN112232155B (zh) 非接触指纹识别的方法、装置、终端及存储介质
US7925093B2 (en) Image recognition apparatus
WO2019152983A2 (en) System and apparatus for face anti-spoofing via auxiliary supervision
US11651624B2 (en) Iris authentication device, iris authentication method, and recording medium
JP2011165008A (ja) 画像認識装置および方法
CN112232163B (zh) 指纹采集方法及装置、指纹比对方法及装置、设备
CN112232159B (zh) 指纹识别的方法、装置、终端及存储介质
JPWO2020065954A1 (ja) 認証装置、認証方法、認証プログラムおよび記録媒体
TW200905577A (en) Iris recognition system
CN109661668A (zh) 用于虹膜识别的图像处理方法和系统
Raheja et al. HUM AN FACIAL EXPRESSION DETECTION FROM DETECTED IN CAPTURED IM AGE USING BACK PROPAGATION NEURAL NETW ORK
CN113505756B (zh) 人脸活体检测方法及装置
JP7744777B2 (ja) 識別モデル生成装置、識別装置、及びそれらの制御方法、プログラム
KR102885236B1 (ko) 라이브니스 검출 방법 및 장치, 이를 이용한 객체 인식 방법
WO2020065851A1 (ja) 虹彩認証装置、虹彩認証方法および記憶媒体
CN112232152A (zh) 非接触式指纹识别方法、装置、终端和存储介质
CN112232157B (zh) 指纹区域检测方法、装置、设备、存储介质
CN108009534A (zh) 基于瞳孔灰度的活体检测方法
US12424025B2 (en) Personal authentication apparatus and control method
CN113822222B (zh) 人脸反作弊方法、装置、计算机设备及存储介质
CN212569821U (zh) 非接触式指纹采集装置
Wasi et al. Dfvnet: real-time disguised face verification
CN112069917B (zh) 一种用于固定场景的人脸识别系统
JP7098180B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240820

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250912

R150 Certificate of patent or registration of utility model

Ref document number: 7744777

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150