JP7609725B2 - 情報処理装置及び情報処理方法 - Google Patents

Description

本発明は、情報処理装置及び情報処理方法に関する。

様々な生体認証技術の中でも、指静脈認証は高精度な認証を実現できるものとして知られている。指静脈認証は、指内部の血管パターンを使用することによって優れた認証精度を実現し、かつ指紋認証に比べて偽造及び改ざんが困難であることによって、高度なセキュリティを実現できる。

近年ではノート型ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、スマートフォンやタブレットなどのモバイル端末が世界的に広く普及しており、その多くに汎用のカラーカメラが搭載されている。このカメラを指の撮影に利用した指静脈認証は、指静脈認証専用機器が不要となるため、今後広く利用されると考えられている。また、生体を撮影している様子を端末の画面に表示することで生体の撮影がしやすくなり、高精度な認証を実現できる。

モバイル端末で生体認証を行う状況が増えると、認証システムの利便性及び認証精度を高く維持する必要がある。しかし、指をカメラに翳して空中で静止させる操作が必要な場合、指の姿勢は無数にあり、指同士の間隔や指の傾きによって取得される指静脈情報が変化する。

本発明の背景技術として特許文献１がある。この公報には、「本発明に係る生体認証プログラムは、弓形軌跡に沿って指先を画面上にかさずように促す弓形軌跡画像を、ガイド画像として画面上に表示させる。」と記載されている（要約参照）。

特開２０２０－３８７３号公報

特許文献１に記載の技術は、指の姿勢を検出し、指の角度や傾きが所定範囲内に収まっていない場合は収めるように促すメッセージを画面に表示する。特許文献１に記載の技術は、１つの軸の回転での指の傾きを検出する。具体的には、特許文献１に記載の技術は中指と掌の接続部分の中点と手首の輪郭線の中心を結ぶ直線を回転軸とした掌面の回転であるロール回転での指の傾きを検出する。

しかし、ロール回転だけで手や指が傾くだけでなく、ロール回転軸に対して垂直且つ掌面に水平な軸を回転軸とした掌面の回転であるピッチ回転による傾きが含まれることもある。そこで本発明の一態様は、ロール回転とピッチ回転の２つの回転軸に関する姿勢を検出する。

上記課題を解決するために本発明の一態様は以下の構成を採用する。情報処理装置は、プロセッサとメモリとを含み、前記メモリは、手の画像を保持し、前記プロセッサは、前記画像における第１の指の長さと前記手の幅とに基づいて、前記手の指のロール回転量を示す第１軸比率を算出し、前記画像における第２の指の長さと幅とに基づいて、指のピッチ回転量を示す第２軸比率を算出し、前記第１軸比率と前記第２軸比率とに基づいて、前記画像が登録対象画像であるかを判定し、前記画像が前記登録対象画像であると判定した場合、前記手の情報と、前記第１軸比率及び前記第２軸比率を含む姿勢情報と、を出力する。

本発明の一態様は、ロール回転とピッチ回転の２つの回転軸に関する姿勢を検出することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

実施例１における生体認証システムの構成例を示すブロック図である。 実施例１における登録処理の一例を示すフローチャートである。 実施例１における認証処理の一例を示すフローチャートである。 実施例１における姿勢検出処理の一例を示すフローチャートである。 実施例１における姿勢検出処理の一例を示す説明図である。 実施例１における登録処理時に利用者に手の提示と指の間隔の変化や手首を軸とした手の上下左右の回転を促すために表示装置に表示されるガイドの一例を示す説明図である。 実施例１における認証処理時に利用者に手の姿勢を修正するように誘導するために表示装置に表示するガイドの一例である。 実施例２における登録処理の一例を示すフローチャートである。 実施例２における認証処理の一例を示すフローチャートである。 実施例３におけるモバイル端末を用いてインターネットバンキングなどのオンラインサービスのシステムにアクセスする際の本人認証を実施するためのシステム構成例である。 実施例４におけるスーパーマーケットなどの小売店や飲食店において生体情報だけで決済を行う認証システムの構成例である。

以下、図面を参照して本発明の実施形態を説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適時、省略および簡略化がなされている。本発明は、他の種々の形態でも実施する事が可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。

図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。

図１は、生体認証システム１０の構成例を示すブロック図である。生体認証システム１０は、手の画像から、例えば手の指の血管（例えば指静脈）画像を用いて生体を認証する。生体認証システム１０は、例えば、撮像装置２、並びにインターネット等のネットワーク４で接続された情報処理装置３及びサーバ５を含む。撮像装置２は情報処理装置３に備え付けられていてもよい。

撮像装置２は手の動画を撮影して情報処理装置３に入力する。情報処理装置３は、手の動画に基づいて、動画処理、姿勢検出処理、姿勢判定処理、特徴抽出処理、及びテンプレート生成処理を含む一連の処理を実行する。情報処理装置３とサーバ５は、ネットワーク４を介して登録処理及び認証処理を実行する。登録や認証の成功、又は姿勢の修正が必要な場合は情報処理装置３の表示装置３６にその旨を表示する。
情報処理装置３は、例えば、ＣＰＵ３１、メモリ３２、補助記憶装置３３、通信装置３４、入力装置３５、及び表示装置３６を含む計算機によって構成される。

ＣＰＵ３１は、プロセッサを含み、メモリ３２に格納されたプログラムを実行する。メモリ３２は、不揮発性の記憶素子であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及び揮発性の記憶素子であるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ））などを格納する。ＲＡＭは、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような高速かつ揮発性の記憶素子であり、ＣＰＵ３１が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。

補助記憶装置３３は、例えば、磁気記憶装置（ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ））、フラッシュメモリ（ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ））等の大容量かつ不揮発性の記憶装置であり、ＣＰＵ３１が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。すなわち、プログラムは、補助記憶装置３３から読み出されて、メモリ３２にロードされて、ＣＰＵ３１によって実行される。

なお、本実施形態において、生体認証システム１０が使用する情報は、データ構造に依存せずどのようなデータ構造で表現されていてもよい。例えば、テーブル、リスト、データベース、又はキューから適切に選択したデータ構造体が、情報を格納することができる。

入力装置３５は、キーボードやマウスなどの、オペレータからの入力を受ける装置である。表示装置３６は、ディスプレイ装置やプリンタなどの、プログラムの実行結果をオペレータが視認可能な形式で出力する装置である。また、情報処理装置３は、撮像装置２から動画の入力を受け付けるための入力インターフェースを有してもよいし、ネットワーク４を介して撮像装置２から動画を受信してもよい。通信装置３４は、所定のプロトコルに従って、他の装置との通信を制御するネットワークインターフェース装置である。

ＣＰＵ３１が実行するプログラムは、非一時的な記憶装置を備えた他の情報処理装置から、非一時的な記憶媒体であるリムーバブルメディア（ＣＤ－ＲＯＭ、フラッシュメモリなど）又はネットワーク４を介して情報処理装置３に提供され、非一時的記憶媒体である不揮発性の補助記憶装置３３に格納されてもよい。このため、情報処理装置３は、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。これは、サーバ５についても同様である。

情報処理装置３は、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。これは、サーバ５についても同様である。

ＣＰＵ３１は、例えば、動画入力部３２０、動画処理部３２１、姿勢検出部３２２、姿勢判定部３２３、特徴抽出部３２４、テンプレート生成部３２５、及び生体認証部３２６を含む。

動画入力部３２０は、撮像装置２から動画の入力を受け付ける。動画処理部３２１は、入力された動画を複数の静止画へと変換する。姿勢検出部３２２は、当該複数の静止画それぞれに含まれる手の姿勢を検出する。姿勢判定部３２３は、姿勢検出部３２２が検出した姿勢に基づいて姿勢判定を行う。

特徴抽出部３２４は静止画から特徴量を抽出する。指静脈、指紋、及び関節などは、特徴抽出部３２４が抽出する特徴量の一例である。テンプレート生成部３２５は、抽出された特徴量から登録又は認証に用いるテンプレートを生成する。生体認証部３２６は、ネットワーク４を介してサーバ５と通信し、登録又は認証に関する処理を行う。

登録処理の場合、生体認証部３２６は、サーバ５に対して登録の要求と、テンプレートと姿勢情報を含む登録データと、を送信する。認証処理の場合、生体認証部３２６はサーバ５にテンプレートの要求を送信し、要求を受信したサーバ５は登録データを情報処理装置３へ登録データを送信する。生体認証部３２６は、認証処理時に生成したテンプレートをサーバ５から受信した登録データと照合し、生体認証を行う。

例えば、ＣＰＵ３１は、メモリ３２にロードされた動画入力プログラムに従って動作することで、動画入力部３２０として機能し、メモリ３２にロードされた動画処理プログラムに従って動作することで、動画処理部３２１として機能する。ＣＰＵ３１に含まれる他の機能部についても、プログラムと機能部の関係は同様である。また、サーバ５が有するＣＰＵ５１に含まれる後述する機能部についても、プログラムと機能部の関係は同様である。

なお、ＣＰＵ３１及びＣＰＵ５１に含まれる機能部による機能の一部又は全部が、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェアによって実現されてもよい。

サーバ５は、例えば、ＣＰＵ５１、メモリ５２、補助記憶装置５３、通信装置５４、入力装置５５、及び表示装置５６を含む計算機によって構成される。ＣＰＵ５１、メモリ５２、補助記憶装置５３、通信装置５４、入力装置５５、及び表示装置５６それぞれのハードウェアとしての説明は、ＣＰＵ３１、メモリ３２、補助記憶装置３３、通信装置３４、入力装置３５、及び表示装置３６それぞれのハードウェアとしての説明と同様であるため、省略する。

ＣＰＵ５１は、データ登録部５２１及びデータ取得部５２２を含む。データ登録部５２１は、情報処理装置３から登録要求と登録データを受信した場合に、データベース５３０に登録データを登録する。データ取得部５２２は、サーバ５が情報処理装置３から認証要求を受信した場合にデータベース５３０に登録されている登録データを取得し、情報処理装置３へ送信する。補助記憶装置５３は、データベース５３０を保持する。データベース５３０は、各ユーザの生体情報を含むテンプレートを保持する。

なお、図１の例では情報処理装置３のＣＰＵ３１が生体認証部３２６を含んでいるが、サーバ５が生体認証を実行してもよく、この場合サーバ５のＣＰＵ５１が生体認証部３２６を含む。サーバ５が生体認証を実行する場合は、生体認証部３２６はサーバ５に認証の要求と共に、テンプレートと姿勢情報を含む認証データを送信し、サーバ５が生体認証を行う。

図２及び図３を用いて登録処理の一例と認証処理の一例を説明する。登録処理では、情報処理装置３が手の姿勢検出に基づき登録データに用いるのに適した画像を１つ以上選択してサーバ５に登録する。認証処理では、情報処理装置３は、翳された手の姿勢情報が登録データの姿勢情報の一定範囲内かを手の姿勢検出と姿勢判定を用いて判断し、一定範囲内であると判定すれば生体認証を実行し、一定範囲内でないと判定すれば利用者に手の翳し方を修正するように促すガイドを表示する。

図２は、登録処理の一例を示すフローチャートである。動画入力部３２０は、利用者に手の提示と指の間隔の変化や手首を軸とした手の上下左右の回転を促すガイドを表示装置３６に表示する（Ｓ２０１）。利用者はガイドに従って撮像装置２に手をかざす。

情報処理装置３が、撮像装置２（例えばモバイル端末に搭載されたカメラ）を含むスマートフォンやタブレットなどのモバイル端末である場合、利用者は撮像装置２の撮像範囲に手が含まれるように空中に手をかざす。

動画入力部３２０は、例えば、手の提示を促すガイドとして「手をかざしてください」といったガイダンスメッセージに加えて、指の間隔を変化させるように促すガイド動画や、手首を軸とした回転を促すガイド動画を表示装置３６に表示してもよい。これにより、利用者はどのように手をかざせばいいのかを視覚的に理解でき、利用者の利便性を向上することができる。ガイドの一例は図５を用いて説明する。
撮像装置２は利用者の手の動画を一定時間撮影し、動画入力部３２０は、当該動画の入力を受け付ける（Ｓ２０２）。

動画処理部３２１は、ステップＳ２０２で入力された動画を複数の静止画へ変換する（Ｓ２０３）。ステップＳ２０３において、動画処理部３２１は、動画内全てのフレームそれぞれを静止画へ変換してもよいし、動画の一部のフレームのみを静止画に変換してもよい。また、動画処理部３２１は、ステップＳ２０３で得た静止画それぞれの品質判定を行ってもよく、この場合、画像品質が一定未満のものは削除してもよい、つまり以降の処理では削除した静止画に対して処理が行われなくてもよい。

なお、ステップＳ２０２において、撮像装置２が動画ではなく複数の静止画を撮影して動画入力部３２０は当該複数の静止画の入力を受け付けてもよく、この場合は、ステップＳ２０３の処理は省略される。

姿勢検出部３２２は、ステップＳ２０３で生成された静止画からステップＳ２０５の処理を未処理の静止画を１つ選択し（Ｓ２０４）、選択した静止画に写っている手の姿勢を検出する（Ｓ２０５）。

具体的には、例えば、姿勢検出部３２２は、手の輪郭と、隣接する指同士の接続部分で定義する指股と、各指の指と掌の接続部分の中点とで定義する根本と、指先の位置と、を検出する。さらに、姿勢検出部３２２は、検出した情報に基づいて、指の開き具合を示す隣接する指同士の角度差分と、ロール回転の回転量を数値化した第１軸比率と、ピッチ回転の回転量を数値化した第２軸比率と、を手の姿勢情報として算出する。第１軸比率及び第２軸比率の算出方法の具体例は、図４を用いて後述する。

姿勢検出部３２２は、ステップＳ２０３にて生成された全ての静止画に対してステップＳ２０５の処理を実行したかを判定する（Ｓ２０６）。姿勢検出部３２２は、ステップＳ２０５の処理を実行していない静止画があると判定した場合（Ｓ２０６：ＮＯ）、ステップＳ２０４に戻る。

姿勢検出部３２２は、全ての静止画に対してステップＳ２０５の処理を実行したと判定した場合（Ｓ２０６：ＹＥＳ）、登録に用いる画像を選択する（Ｓ２０７）。具体的には、例えば、姿勢検出部３２２は、ステップＳ２０４で検出された各画像の姿勢情報を参照して、隣接する指同士の各角度差分が所定の閾値以上であり、かつ第１軸比率及び第２軸比率（例えば、第１軸比率と第２軸比率の和、重み付き和、又は平均等）が最大となる画像を１つ以上選択する。なお、姿勢検出部３２２は、隣接する指同士の各角度差分が所定の閾値以上であり、かつ第１軸比率及び第２軸比率それぞれが、又は第１軸比率と第２軸比率の和、重み付き和、若しくは平均が所定の閾値以上である画像を選択してもよい。

姿勢検出部３２２は、各角度差分が所定の閾値以上であるかを判定することにより、各指の間隔が十分にあるかを判定できる。また、第１軸比率及び第２軸比率は、指が撮像装置２に対して水平にかざされている程に大きくなり、指が撮像装置２に対して傾いている程に小さくなる。従って、姿勢検出部３２２は、第１軸比率と第２軸比率が最大となる画像を選択することによって、指が最も撮像装置２に対して水平にかざされている手を含む静止画、つまり登録に適している画像を選択することができる。なお、姿勢検出部３２２による、角度差分の算出処理及び各角度差分が所定の閾値以上であるかの判定処理は省略されてもよい。

特徴抽出部３２４は、ステップＳ２０７で選択された画像から特徴量を抽出する（Ｓ２０８）。具体的には、例えば、特徴抽出部３２４は、ステップＳ２０５で検出された指股や指の根本と指先の位置情報を基に指の画像領域を指ごとに切り出し、各指の向きや拡大率などを一定に整えた上で指画像内に含まれる特徴量を抽出する。

テンプレート生成部３２５は、ステップＳ２０８で抽出された特徴量に基づいて生体認証用のテンプレートを生成する（Ｓ２０９）。具体的には、例えば、テンプレート生成部３２５は、生成されたテンプレートから元の生体情報が復元できないようなテンプレートへと生体情報を変換する。公開型生体認証基盤（ＰＢＩ：Ｐｕｂｌｉｃ Ｂｉｏｍｅｔｒｉｃｓ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）の技術に基づく生体情報からＰＢＩテンプレートへの変換は、元の生体情報が復元できないテンプレートへの変換の一例である。テンプレート生成部３２５は、ＰＢＩテンプレートに限られず、他の技術に基づいて生体情報から元の生体情報が復元できないテンプレートの変換や生成をしてもよい。

テンプレート生成部３２５は、ステップＳ２０９で生成されたテンプレートと、ステップＳ２０４で検出した各指間の角度差分、第１軸比率、及び第２軸比率を含む姿勢情報と、を含む登録データを、登録要求と共にネットワーク４を介してサーバ５に送信する（Ｓ２１０）。

サーバ５のデータ登録部５２１は、ステップＳ２１０で送信された登録要求と登録データを受信し、データベース５３０に登録データを登録して（Ｓ２１１）、登録処理が終了する。

なお、ステップＳ２０７にておいて、姿勢検出部３２２が複数の画像を選択してもよく（例えば、第１軸比率と第２軸比率との和が大きい順に所定数の画像を選択する等）、ステップＳ２０８～ステップＳ２１１の処理が選択された画像それぞれに対して実行される（つまり、登録データは、複数の静止画それぞれについての角度差分、テンプレート、及び姿勢情報を含む）。

図３は、認証処理の一例を示すフローチャートである。動画入力部３２０は、利用者に手の提示を促すガイドを表示装置３６に表示し（Ｓ３０１）、ガイドに従って利用者は手をかざす。ステップＳ３０２、ステップＳ３０３、及びステップＳ３０４の処理は、それぞれ、ステップＳ２０２、ステップＳ２０３、及びステップＳ２０５の処理と同様であるため説明を省略する。ただし、説明の簡略化のため、ステップＳ３０３の処理では静止画が１つだけ生成されたものとする。

生体認証部３２６は、ネットワーク４を介してサーバ５へ登録データ要求を送信し、サーバ５のデータ取得部５２２はデータベース５３０から登録データを取得して情報処理装置３へ送信する（Ｓ３０５）。なお、複数の静止画に対応する登録データがデータベース５３０に登録されている場合、データ取得部５２２は、当該複数の静止画それぞれに対応する登録データを全て情報処理装置３へ送信する。ステップＳ３０５の処理は、ステップＳ３０１とステップＳ３０６の間であればいつ実行されてもよい。例えば、ステップＳ３０１の処理の直後にステップＳ３０５の処理が実行されてからステップＳ３０２からステップＳ３０４の処理が実行されてもよい。

姿勢判定部３２３は、静止画から検出された手の姿勢情報を登録データの姿勢情報と比較し、画像が認証に適しているか判定する（Ｓ３０６）。具体的には、例えば、姿勢判定部３２３は、隣接する指同士の各角度差分が所定閾値以上であるかの第１判定と、検出された第１軸比率と登録データの第１軸比率との絶対差が所定閾値以内であるかの第２判定と、検出された第２軸比率と登録データの第２軸比率の絶対差が所定閾値以内であるかの第３判定と、を行う。

第１判定において、隣接する各指同士の各角度差分が所定閾値以上である場合は指の間隔が十分にあると判断できる。第２判定及び第３判定において、検出された第１軸比率および第２軸比率と登録データの第１軸比率および第２軸比率の各絶対差が閾値以内である場合は、認証処理において撮像装置２に翳された手から得られた静止画が登録データに対して大きく回転しておらず、認証に適していると判断できる。

姿勢判定部３２３が、第１判定、第２判定、及び第３判定のうち少なくとも１つにおいて、判定条件が満たされていないと判定した場合（Ｓ３０６：ＦＡＩＬ）、動画入力部３２０は利用者に手の姿勢を修正するように促すガイドを表示装置３６に表示して（Ｓ３０７）、ステップＳ３０２に戻る。なお、ステップＳ３０２に戻った際には、登録データはすでにサーバ５から取得されているためステップＳ３０５の処理をスキップしてもよい。

動画入力部３２０が、ステップＳ３０７において、表示するガイドの内容はステップＳ３０６の姿勢判定結果によって異なることが望ましい。例えば、姿勢判定部３２３がステップＳ３０６の第１判定において指の間隔が不十分と判定した場合（つまり隣接する指同士の各角度差分が所定閾値未満であると判定した場合）、動画入力部３２０は利用者に指の間隔を広げるように促すガイドとして「指の間隔を広げてください」といったガイダンスメッセージを表示装置３６に表示してもよい。表示するガイドの具体例は図６を用いて後述する。

姿勢判定部３２３が、第１判定、第２判定、及び第３判定の全てにおいて判定条件が満たされたと判定した場合（Ｓ３０６：ＰＡＳＳ）、ステップＳ３０８に遷移する。ステップＳ３０８及びステップＳ３０９の処理は、それぞれ、ステップＳ２０７及びステップＳ２０８の処理と同様であるため説明を省略する。

生体認証部３２６は、サーバ５から取得した登録データの登録テンプレートと、ステップＳ３０９で生成した認証テンプレートと、を用いた生体認証を実行して（Ｓ３１０）、認証処理を終了する。具体的には、例えば、生体認証部３２６は登録テンプレートと認証テンプレートとを照合して類似度を算出し、算出した類似度に従って両者が類似しているかを判定する。

生体認証部３２６は、登録テンプレートと認証テンプレートとが類似していると判定した場合は認証が成功したと判定し、登録テンプレートと認証テンプレートとが類似していないと判定した場合は認証が失敗したと判定する。情報処理装置３がステップＳ３０５にて複数の静止画それぞれに対応する登録データをサーバ５から受信した場合、生体認証部３２６は、全ての登録データに対して生体認証を行い、最も高い類似度を最終類似度とし、登録テンプレートと認証テンプレートが類似しているかを判定することによって認証を実行してもよいし、全ての登録テンプレートそれぞれに対して認証テンプレートと類似しているかを判定することによって認証を実行してもよい。

上記ではステップＳ３０３の動画処理において動画処理部３２１が静止画を１つ生成した例を説明したが、動画処理部３２１がステップＳ３０３で複数の静止画を生成してもよい。動画処理部３２１が複数の静止画を生成した場合の処理の具体例を２つ説明する。

１つ目の例では、情報処理装置３がステップＳ３０４（姿勢検出処理）とステップＳ３０６（姿勢判定処理）を１つの静止画に行い、姿勢判定が成功すればステップＳ３０８の特徴抽出に進み、姿勢判定が失敗すれば違う静止画を１つ選択して再度ステップＳ３０４の処理に戻る。このとき、姿勢判定部３２３は生成された全ての静止画に対する姿勢判定が失敗したと判定した場合はステップＳ３０７（ガイド表示）に遷移する。

２つ目の例では、情報処理装置３が、ステップＳ３０４の姿勢検出処理を生成された全ての静止画に対して行い、第１軸比率と第２軸比率が最大（例えば第１軸比率と第２軸比率の和が最大）である画像を１つ選択してステップＳ３０６の姿勢判定処理を実行する。このとき、姿勢判定部３２３は、選択された画像の姿勢判定が成功したと判定すればステップＳ３０８の特徴抽出処理に遷移し、姿勢判定が失敗と判定すればステップＳ３０７の処理に遷移する。

図４は、ステップＳ２０５及びＳ３０４における姿勢検出処理の一例を示すフローチャートである。姿勢検出部３２２は、画像から手の輪郭、並びに各指股、各指の根本、及び指先の位置を検出する（Ｓ４０１）。姿勢検出部３２２は、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等の、教師データを用いた機械学習による、背景と手領域の分離に基づく手の輪郭を抽出し、抽出した手の輪郭から各指股、各指の根本、及び指先の位置を算出する方法を適用できる。

機械学習を用いた手の輪郭抽出方法について説明する。機械学習を用いた手の輪郭抽出方法では、事前に様々な環境で様々な被験者の手を大量に撮影した画像（例えば所定数以上の画像）を用意し、各画像に手や指の部分と背景部分を定義するラベルを作成し、各画像とそのラベルとのペアを教師データとして蓄積する。当該輪郭抽出方法では、教師データの画像を入力した時にそのラベルができるだけ正しく出力されるように機械学習のパラメータ学習を行う。これにより、姿勢検出部３２２は、未知の画像が入力された時に手の領域だけを取得することができる。姿勢検出部３２２は、取得された手の領域の外周を辿ることにより、手の輪郭を得られる。

次に手の輪郭から各指股、各指の根本及び指先の位置を算出する方法について説明する。図５は、ステップＳ３０４における姿勢検出処理の一例を示す説明図である。図５の（ａ）では検出される手の輪郭及び各座標の一例を示す。姿勢検出部３２２は、手の輪郭１１０を辿るときに、輪郭線の曲率が高い位置（例えば曲率が極大である位置）を指先１１１と定義し、曲率が高いがその正負が指先とは反対である位置（例えば曲率が極小である位置）を指股１１２と定義する。姿勢検出部３２２は、各指股の位置と手の輪郭に基づいて各指の根本１１３の位置を算出する。

姿勢検出部３２２は、中指の根本と薬指の根本を隣接する二つの指股を通る直線の中点で定義し、人差し指の根本と小指の根本を隣接する指股の平均輪郭追跡方向に対する垂直線をその指股から根本を算出したい指の反対に位置する輪郭線を通るように引いたときの垂直線と輪郭線の接点と隣接する指股の中点で定義する。図５の（ａ）にて、人差し指及び小指のそれぞれにおいて、隣接する指股からそれぞれの指の反対側に位置する輪郭線（つまり人差し指であれば人差し指の指先から親指へと続く輪郭線、小指であれば小指の指先から手首へと続く輪郭線）を通るように引かれた垂直線１１４と、垂直線１１４と手の輪郭１１０との接点１１５を示す。

上述の手の輪郭と、各指股、各指の根本、及び指先の位置と、を検出する手法は一例であり、別の手法を用いて検出してもよい。別の手法の例としては、前述の通りに大量の教師データを準備する際に指先の位置、指股の位置、及び指の根本の位置などの指情報を含めて教師データを作成し、それらの情報も含めて機械学習を実施し、未知の手画像の入力に対して手の輪郭と指情報を推定して出力する手法としてもよい。

続いて、姿勢検出部３２２は、ステップＳ４０１で検出した各指の根本の位置と指先の位置とに基づいて各指の角度を算出する（Ｓ４０２）。具体的には、例えば、図５の（ｂ）に示す通り、姿勢検出部３２２は、各指において根本１１３と指先１１１とを通る直線をその指の中心軸１１６に決定する。姿勢検出部３２２は、垂直方向を０度とし、指の中心軸１１６が右上がりの場合を正、右下がりの場合を負として、指の角度を決定する。

続いて、姿勢検出部３２２は、中指の横幅と縦幅を算出する（Ｓ４０３）。具体的には、例えば、図５の（ｃ）に示す通り、姿勢検出部３２２は、ステップＳ４０１で検出した中指に隣接する２つの指股１１２間の距離を中指の横幅１１７として算出し、中指の根本１１３と中指の指先１１１の間の距離を中指の縦幅１１８として算出する。

続いて姿勢検出部３２２は、手の横幅を算出する（Ｓ４０４）。具体的には、例えば、姿勢検出部３２２は、人差し指と小指のそれぞれの、ステップＳ４０１で算出した接点１１５の距離を手の横幅１１９として算出する。

姿勢検出部３２２は、ステップＳ４０２で算出した各指の角度に基づいて隣接する指同士の角度差分を算出する（Ｓ４０５）。具体的には、例えば、姿勢検出部３２２は、人差し指と中指の角度差分と、中指と薬指の角度差分と、薬指と小指の角度差分と、を算出する。

姿勢検出部３２２は、ロール回転を数値化した第１軸比率を算出する（Ｓ４０６）。ステップＳ４０３で算出した中指の縦幅に対するステップＳ４０４で算出した手の横幅の比率は第１軸比率の一例である。手が撮像装置２に対してロール回転をしている程に手の横幅は小さくなるが中指の縦幅は一定である。そのため、中指の縦幅と手の横幅の比率は、手が撮像装置２に対して水平な程に大きくなり、手が撮像装置２に対してロール回転をしている程に小さくなる。また、当該第１軸比率は、中指の縦幅と手の横幅の比率を用いて定義されているため、画像における手の大きさに影響されない。そのため、当該第１軸比率によって撮像装置２に対する手のロール回転の数値化を実現できる。なお、第１軸比率の算出に、手の横幅の代わりに任意の指の横幅が用いられてもよい（但し、姿勢検出時に常に同じ指の横幅が用いられることが望ましい）。

姿勢検出部３２２は、ピッチ回転を数値化した第２軸比率を算出する（Ｓ４０７）。ステップＳ４０４で算出した中指の横幅と縦幅の比率は第２軸比率の一例である。手が撮像装置２に対してピッチ回転をしている程に中指の縦幅は小さくなるが中指の横幅は一定である。そのため、中指の横幅と中指の縦幅の比率は、手が撮像装置２に対して水平な程に大きくなり、手が撮像装置２に対してピッチ回転をしている程に小さくなる。また、当該第２軸比率は、中指の横幅と中指の縦幅の比率を用いて定義されているため、画像における手の大きさに影響されない。そのため、当該第２軸比率によって撮像装置２に対する手のピッチ回転の数値化を実現できる。

なお、上記した例では中指の縦幅と横幅を用いて（つまり中指上に回転軸を設定して）、第１軸比率及び第２軸比率が算出されているが、中指の代わりに他の指（親指、人差し指、中指、薬指、又は小指のうちの第１の指）の縦幅と横幅を用いて第１軸比率及び第２軸比率が算出されてもよい。また、第１軸比率の算出と、第２軸比率の算出と、で異なる指の縦幅と横幅とが用いられてもよい。なお、姿勢検出部３２２は、中指の横幅と縦幅の算出と同様の方法で、他の指（親指、人差し指、薬指、及び小指）の横幅及び縦幅を算出することができる。

また、上記した例では中指上に回転軸が設定されて第１軸比率及び第２軸比率が算出されているが、例えば、指、掌、及び手首の任意の箇所に回転軸が設定されてもよい。具体的には、例えば、掌の輪郭又は指の輪郭の一点と、手首の輪郭の一点と、を結んだ線を回転軸として第１軸比率が算出されてもよい。

姿勢検出部３２２は、ステップＳ４０５からステップＳ４０７で算出した隣接指間の角度差分と、第１軸比率と、第２軸比率と、を入力された手画像の姿勢情報として出力して（Ｓ４０８）、姿勢検出処理を終了する。

なお、ステップＳ４０２からステップＳ４０７は各ステップの処理に必要な情報が得られていればステップの順番を変更してもよい。例えば、ステップＳ４０２の処理の直後にステップＳ４０５の処理が実行されてもよいし、ステップＳ４０７の処理の後にステップＳ４０５の処理が実行されてもよい。

図６は、登録処理時に利用者に手の提示と指の間隔の変化や手首を軸とした手の上下左右の回転を促すために表示装置３６に表示されるガイドの一例を示す説明図である。表示装置３６には、例えば、ガイダンスメッセージ３３１、指の間隔を変化させるように促す指間隔ガイド３３２、手を上下左右に回転するように促す回転ガイド３３３、が表示されている。表示されたガイドに応じて利用者は手をかざして動かすことにより、様々な姿勢の手の画像が入力される。図６の例では、利用者は左手を翳しているが、右手を翳してもよい。

ガイダンスメッセージ３３１、指間隔ガイド３３２、及び回転ガイド３３３はそれぞれ一例であり、利用者がどのように手を提示すればいいのか視覚的に理解できれば、ガイダンスメッセージやガイドの内容は問わない。また、指間隔ガイド３３２及び回転ガイド３３３は静止画で表示されてもよいし、動画で表示されてもよい。

図７は、認証処理時に利用者に手の姿勢を修正するように誘導するために表示装置３６に表示するガイドの一例である。表示装置３６には、翳されている手、並びに認証処理のステップＳ３０６で算出された第１軸比率及び第２軸比率の絶対差を可視化した第１軸ガイド３３４及び第２軸ガイド３３５、が表示されている。ステップＳ３０６において指の間隔が不十分であると判定された場合（即ち隣接する指同士の各角度差分が所定閾値以上であると判定された場合）、表示装置３６にガイダンスメッセージ３３６も表示するとよい。利用者は、表示されたガイドを基に手の姿勢を修正することで、生体認証に成功しやすい姿勢の手の画像を入力することができる。

第１軸ガイド３３４及び第２軸ガイド３３５それぞれは、固定長の長方形と可変長の長方形の２つの長方形で形成されている。各軸のガイドにおいて、当該軸の比率の絶対差が小さい程に可変長の長方形は固定長の長方形に近づき、絶対差が０の時に固定長の長方形と同じになる。可変長の長方形は大きさに応じて色を変化してもよい。具体的には、可変長方形が小さい（比率の絶対差が大きい）場合は赤色になり、可変長方形が大きい（比率の絶対差が小さい）場合は緑色になる等してもよい。翳されている手が登録データの姿勢にどれ程近いかを図形や色で表示することにより、利用者は視覚的にどのように手の修正をすればいいのか理解できる。

図７（ａ）は、翳された手が登録データの姿勢情報に対してロール回転やピッチ回転が発生していない場合の例である。登録データに対してロール回転やピッチ回転がない場合、その軸での絶対差が０になるため、両軸のガイドにおいて可変長方形は固定長方形と同一の大きさであり、重複する位置に表示されているため、可変長方形のみが視認可能である。

図７（ｂ）は、翳された手が登録データの姿勢情報に対してロール回転やピッチ回転していないが、指の間隔が不十分である場合の例である。図７（ａ）と同様、登録データに対してロール回転やピッチ回転がないため、可変長方形は固定長方形と同一の大きさである。しかし、指の間隔が不十分なため、指の間隔を広げるように促すガイダンスメッセージ３３６が表示されている。

図７（ｃ）は、翳された手が登録データの姿勢情報に対してロール回転が発生しているが、ピッチ回転は発生していない例である。翳された手は登録データに対してピッチ回転が発生していないため、第２軸ガイド３３５の可変長方形は固定長方形と同一である。しかし、翳された手が登録データに対してロール回転が発生しているため、第１軸ガイド３３４の可変長方形は固定長方形より小さいものとなる。

図７（ｄ）は、翳された手が登録データの姿勢情報に対してロール回転が発生していないが、ピッチ回転が発生している例である。翳された手は登録データに対してロール回転が発生していないため、第１軸ガイド３３４の可変長方形は固定長方形と同一である。しかし、翳された手が登録データに対してピッチ回転が発生しているため、第２軸ガイド３３５の可変長方形は固定長方形より小さいものとなる。

利用者に手の姿勢を修正するように誘導するために表示されるガイドは図７で示した内容に限定されない。例えば、登録データの姿勢情報に対して両軸で回転が発生している場合は両軸において姿勢の絶対差に応じたガイド（例えば、絶対差が所定値以上であれば大きくロール回転やピッチ回転を促すメッセージを表示したり、絶対差が所定値以下であれば小さくロール回転やピッチ回転を促すメッセージを表示したりする）を表示する。また、別の例として、登録データの姿勢情報に対してロール回転が発生しておりかつ指の間隔が不十分であれば、両軸のガイドに加えてガイダンスメッセージ３３６も表示してもよい。

以上本実施例に係る生体認証システム１０は、登録時には撮影された動画から生成される複数静止画から、登録データに用いるのに最適な画像を姿勢検出に基づいて選択して登録し、認証時には姿勢検出と姿勢判定を用いて翳された手の姿勢情報が登録データの姿勢情報の一定範囲内かを判断し、生体認証の実行または利用者に手を修正するように促すガイドを表示する。

また、本実施例に係る生体認証システム１０は、利用者の手の横幅、中指の縦幅、及び中指の横幅を、姿勢検出処理及び姿勢判定処理に用いることによって利用者ごとに異なる手の形や指の長さなどのばらつきを許容することができ、利用者ごとに最適な手の姿勢で登録および認証ができる。また、本実施例に係る生体認証システム１０は、２軸での姿勢判定を行うことにより、認証時において、登録時の姿勢の再現が容易になり、利用者への負担を軽減することができる。

本実施例では、登録処理及び認証処理に含まれる一部の処理が実施例１とは異なる。本実施例の生体認証システム１０は、登録時に手の姿勢検出に基づき複数の姿勢において画像をそれぞれ選択して登録し、認証時に手の姿勢検出を用いて検出された手の姿勢情報に最も近い登録データを取得して、当該登録データを用いて生体認証を行う。以下、実施例１との相違点を主に説明する。

図８は、登録処理の一例を示すフローチャートである。姿勢検出部３２２は、全ての静止画を処理したと判定した場合（Ｓ２０６：ＹＥＳ）、未選択の画像のうち所定条件を満たす画像を選択する（Ｓ８０７）。具体的には、例えば、姿勢検出部３２２は、第１軸比率と第２軸比率が最大（例えば第１軸比率と第２軸比率の和が最大）である画像と、第１軸比率が最大かつ第２軸の最大比率（つまりステップＳ２０５で算出された最大の第２軸比率）に対する第２軸比率の割合が所定値（又は当該割合が所定範囲に含まれるとしてもよい）である画像と、第２軸比率が最大かつ第１軸の最大比率（つまりステップＳ２０５で算出された最大の第１軸比率）に対する第１軸比率の割合が所定値（又は当該割合が所定範囲に含まれるとしてもよい）である画像と、第１軸の最大比率に対する第１軸比率の割合が所定範囲内かつ第２軸の最大比率に対する第２軸比率の割合が所定範囲内である画像と、を選択する。

この具体例は一例であり、例えば、第１軸比率及び第２軸比率の数値を予めそれぞれ複数設定し、設定した数値に基づいて姿勢組合せ（つまり第１軸比率と第２軸比率の組み合わせ）を予め用意してもよい。この場合、姿勢検出部３２２は、予め設定した姿勢組み合わせ（第１軸比率と第２軸比率の組み合わせ）それぞれに最も近い姿勢（当該第１軸比率と第２軸比率の組み合わせに最も近い第１軸比率と第２軸比率の組み合わせ）の画像を選択する。

また、例えば、姿勢検出部３２２は、利用者の手の回転による各比率の増減に基づいて画像を複数選択してもよい。第１軸比率及び第２軸比率は指が撮像装置２に対して水平にかざされているほど大きくなり、指が撮像装置２に対して傾いている程にそれぞれの比率が小さくなる。そのため、手が撮像装置２に対して左に傾いている状態から右に傾くように回転させた場合、第１軸比率が増大して最大になった後に減少する。その際に、姿勢検出部３２２は、増大している時点の画像（例えば、第１軸比率が所定時間内に所定値以上増加したとき（又は最も増加したとき）の画像）と、減少している時点の画像（例えば、第１軸比率が所定時間内に所定値以上減少したとき（又は最も減少したとき）の画像）と、を選択することによって、異なる傾きでの画像を選択することができる。これは第１軸比率において右から左に手を回転させた場合でも同じであり、第２軸比率においても上下の回転で同じく比率が増減する。

また、例えば、姿勢検出部３２２は、利用者の各指の横幅や、指の指先側の横幅と指の根本側の横幅に基づいて画像を複数選択してもよい。例えば、指と掌の接続部分の横幅を指の横幅と定義する、又は隣接する指股若しくは図５（ａ）に示す接点１１５の間の距離を指の横幅としてもよい。また、指の指先側の横幅及び指の根本側の横幅をそれぞれ指先から指の根本へ指の長さの一定割合の距離を移動した位置での横幅と定義し、手の輪郭において指先から各方向へその一定割合の距離を移動した時の２つの点の距離をそれぞれの横幅として算出できる。例えば、指先から指の長さの１／４の位置および３／４の位置での横幅をそれぞれ指先側の横幅と指の根本側の横幅として定義しもよい。

手が撮像装置２に対してロール回転している場合、人差し指又は小指の一方が撮像装置２に近くなり、他方の指は撮像装置２から遠ざかる。よって、姿勢検出部３２２は、人差し指の横幅と小指の横幅との比率に基づいて、第１軸での傾きが異なる複数の画像を選択することができる（例えば、姿勢検出部３２２は人差し指の横幅に対する小指の横幅の比率が所定値以上の画像と、当該比率が所定値未満の画像と、を選択する）。

同様に、手が撮像装置２に対してピッチ回転している場合、指先側又は根本側の一方が撮像装置２に近づき、他方が撮像装置２から遠ざかる。よって、姿勢検出部３２２は、特定の指、例えば中指、の指先側の横幅と根本側の横幅の比率に基づいて第２軸での傾きが異なる複数の画像を選択することができる（例えば、姿勢検出部３２２は中指の指先側の横幅に対する中指の根本側の横幅の比率が所定値以上の画像と、当該比率が所定値未満の画像と、を選択する）。

姿勢検出部３２２は、ステップＳ８０７で選択した画像に対して、ステップＳ２０８～ステップＳ２１１の処理を実行する。姿勢検出部３２２は、様々な姿勢にて十分な量の画像が登録されたかを判定する（Ｓ８１２）。

具体的には、例えば、姿勢検出部３２２は、登録された姿勢組合せの数に基づいて十分な量の画像が登録されたかを判定してもよいし（例えば予め定められた第１軸比率と第２軸比率の組み合わせそれぞれに対応する画像が登録されたかを判定する）、登録されたデータ（画像）の数に基づいて十分な量の画像が登録されたかを判定してもよい。

例えば、９つの姿勢組合せが予め定義されている場合、姿勢検出部３２２は、各姿勢組合せのデータ（画像）が１つ以上登録されたと判定した場合には、十分な量の画像が登録されたと判定する。また、例えば、姿勢検出部３２２は、姿勢組合せを問わずに１０以上のデータ（画像）が登録されたと判定した場合、十分な量の画像が登録されたと判定する。

姿勢検出部３２２は、十分な量の画像が登録されたと判定した場合（Ｓ８１２：ＹＥＳ）、登録処理を終了し、十分な量の画像が登録されていないと判定した場合（Ｓ８１２：ＮＯ）、ステップＳ８０７に戻る。
図９は、認証処理の一例を示すフローチャートである。説明の簡略化のため、ステップＳ３０３では静止画が１つだけ生成されたものとする。

ステップＳ３０４に続いて、サーバ５のデータ取得部５２２は、ステップＳ３０４で検知された姿勢情報に最も近い登録データをサーバ５から取得する（Ｓ９０５）。具体的には、例えば、ステップＳ３０４において、姿勢検出部３２２は、検出した姿勢情報を登録データ要求と併せてサーバ５へ送信する。ステップＳ９０５において、サーバ５のデータ取得部５２２は、受信した姿勢情報に最も近い姿勢情報で登録されたデータをデータベース５３０から取得して情報処理装置３へ送信する。このとき、複数のデータが同一の姿勢情報で登録されている場合、データ取得部５２２は、該当する登録データを全て情報処理装置３へ送信する。

ステップＳ９０５に続いて、ステップＳ３０６に遷移し、その後の処理は図３と同様であるため説明を省略する。但し、ステップＳ９０５において情報処理装置３が複数の登録データをサーバ５から受信した場合、ステップＳ３１０において、生体認証部３２６は、全ての登録データに対して生体認証を行い、最も高い類似度を最終類似度に決定し、登録テンプレートと認証テンプレートが類似しているかを判定する。

以上、本実施例に係る生体認証システム１０は、登録時に撮影された動画から複数の静止画を生成し、手の姿勢検出に基づき複数の姿勢において画像をそれぞれ１つ以上選択して登録する。さらに、本実施例に係る生体認証システム１０は、認証時には姿勢検出を用いて翳された手の姿勢情報に最も近い登録データを取得し、姿勢判定を用いて登録データの姿勢情報の一定範囲内かを判断し、生体認証の実行又は利用者に手の画像を修正するように促すガイドを表示する。

本実施例の生体認証システム１０は、複数の姿勢のデータを登録し、最も近い登録データと姿勢判定を行うことによって、登録時の姿勢の再現がより容易になり、ひいては利用者への負担を更に軽減することができる。

本実施例では、スマートフォンやタブレットなどのモバイル端末３００に搭載されたカメラで撮影できる生体情報を用いた認証システムについて説明する。モバイル端末３００の構成は実施例１で説明した情報処理装置３と同様であり、モバイル端末３００のカメラ２００は実施例１の撮像装置２と同様であり、オンラインサービスサーバ５００の構成は実施例１のサーバ５と同様である。

図１０は、モバイル端末３００を用いてインターネットバンキングなどのオンラインサービスのシステムにアクセスする際の本人認証を実施するためのシステム構成例である。本実施例で実行される登録処理及び認証処理は、実施例１又は実施例２で説明した登録処理及び認証処理と同様である。

利用者がモバイル端末３００を介してオンラインサービスを利用するためのアカウント発行手続きを済ませると、オンラインサービスサーバ５００からアカウント発行完了通知がモバイル端末３００にメールで送付される（アカウント発行完了通知は利用者に紙面で送付されてもよい）。

利用者はアカウント発行完了通知を受領する際、オンラインサービスサーバ５００を所有する機関等に、免許証などの公的機関発行の証明書を提示して確認させることにより、アカウントの発行対象である利用者が本人であることを、オンラインサービスサーバ５００を所有する機関等が確認できる。アカウント発行完了通知は、例えば、オンラインサービスを利用するためのアプリのダウンロード場所（インターネットサイトのＵＲＬ等）や初期アクセスに必要な情報を含む。利用者は、アプリをモバイル端末３００にインストールし、初期アクセスに必要な情報をモバイル端末３００に入力することによって発行されたアカウントにログインができる。

この時、モバイル端末３００にインストールされたアプリは、オンラインサービスサーバ５００に対してネットワーク４を介して接続し、実施例１又は実施例２で示した方法により手の画像から登録データを生成し、登録データはオンラインサービスサーバ５００に格納される。この時に、利用者は左手及び右手の両方を登録してもよいし、片方の手のだけを登録してもよい。

その後、利用者はオンラインサービスを利用する際にはモバイル端末３００にインストールしたアプリを起動する。この時、アプリはオンラインサービスサーバ５００に対してネットワーク４を介して接続される。

利用者は、アプリの起動時に手をカメラ２００にかざして実施例１又は実施例２で示した方法により認証処理を行い、認証が成功した場合は、アプリは認証が成功したことをオンラインサービスサーバ５００に通知する。認証成功時のオンラインサービスサーバ５００への通知プロトコルの一例としては、ＦＩＤＯ（Ｆａｓｔ ＩＤｅｎｔｉｔｉｙ Ｏｎｌｉｎｅ）Ａｌｌｉａｎｃｅで定義された認証情報を用いたやり取りがある。

正しく認証できたことをオンラインサービスサーバ５００が確認すると、アプリはオンラインサービスサーバ５００が提供するサービスを利用できるようになる。必要な利用が完了したことをアプリがオンラインサービスサーバ５００に通知すると本人認証の有効期限が切れ、再度利用する場合は改めて生体認証が必要となる。これにより、モバイル端末３００の紛失や盗難による悪用を防止することができる。

本実施例に係るオンラインサービスシステムにより、専用の生体認証センサが搭載されたスマートフォン等を用いることなく、汎用のモバイル端末３００だけで生体認証を実施できる。つまり、本実施例に係るオンラインサービスシステムにより汎用的でかつ利便性の高い高精度な認証を実施する事が可能となる。

本実施例では、利用者保有のモバイル端末３００を用いた登録及び認証が実行されたが、登録データはオンラインサービスサーバ５００に保存されているため、認証をオンラインサービスサーバ５００上で実施してもよい。この場合、利用者は任意のモバイル端末３００から本人認証が実施できるため、例えば店舗設置のタブレットを利用して同様に認証を行うことができる。

本実施例のオンラインサービスシステムは、インターネットバンキング、オンラインショッピング、及びストリーミングサービスなど様々なサービスでのアクセス及び利用の本人認証に用いることができる。

本実施例では、スマートフォンやタブレットなどのモバイル端末３００に搭載されたカメラ２００で撮影できる生体情報を用いた決済システムについて説明する。モバイル端末３００の構成は実施例１で説明した情報処理装置３の構成と同様であり、小売店や飲食店に備えつけられたタブレット端末６００の構成は、実施例１で説明した情報処理装置３の構成と同様であり、モバイル端末３００又はタブレット端末６００のカメラ２００は撮像装置２と同様である

図１１は、スーパーマーケットなどの小売店や飲食店において生体情報だけで決済を行う認証システムの構成例である。利用者がモバイル端末３００を介して小売店の会員登録を実施すると、会員登録のための通知がオンラインサービスサーバ５００からモバイル端末３００へメールで届く（会員登録のための通知は利用者に紙面で送付されてもよい）。会員登録のための通知はアプリのダウンロード場所（インターネットサイトのＵＲＬ等）や初期アクセスに必要な情報等を含む。

利用者は保有しているモバイル端末３００にアプリをインストールし、初期アクセスに必要な情報をモバイル端末３００に入力することでログインをする。利用者は、アプリの起動時に手をカメラ２００にかざして実施例１又は実施例２で示した方法により指の情報をオンラインサービスサーバ５００に登録する。

小売店や飲食店等の店舗のレジにはタブレット端末６００が備え付けられており、利用者がアプリと提携している小売店や飲食店に行くと、決済時にはタブレット端末６００を用いて実施例１又は実施例２で示した方法による利用者の本人認証を行い、あらかじめ設定された方法で利用金額の決済を行う。

本実施例に係るシステムにより、利用者は財布を忘れても手ぶらで買い物ができる。また、店舗やアプリは過去の購買履歴や利用履歴から商品や飲食店をレコメンドして購買や利用を促進できる。また、利用者所有のモバイル端末３００は、時間や場所関係なく生体情報の登録を実行できるため、利用者の増加にも繋がる。

本実施例では利用者所有のモバイル端末３００を用いて生体情報の登録を実行する例を説明したが、店舗に備え付けられたタブレット端末６００を用いて生体情報の登録を実行してもよい。これにより、スマートフォン等のモバイル端末３００を所有していない人であっても生体認証を用いた決済システムを利用することができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることも可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

本実施形態に係る生体認証システム１０において、各構成又は一部による処理を更に別の装置で実施してもよいし、各構成又は一部の構成が保持する情報を別の装置が保持してもよい。例えば、生体認証部３２６による処理をサーバ５が実行したり、又は別の装置を用意して当該別の装置が実行したりしてもよい。

３ 情報処理装置、５ サーバ、３１ ＣＰＵ、３２ メモリ、３３ 補助記憶装置、３４ 通信装置、３５ 入力装置、３６ 出力装置、５１ ＣＰＵ、５２ メモリ、５３ 補助記憶装置、５４ 通信装置、５５ 入力装置、５６ 出力装置、３２０ 動画入力部、３２１ 動画処理部、３２２ 姿勢検出部、３２３ 姿勢判定部、３２４ 特徴抽出部、３２５ テンプレート生成部、３２６ 生体認証部、５２１ データ登録部、５２２ データ取得部、５３０ データベース

Claims (9)

1. 情報処理装置であって、
   プロセッサとメモリとを含み、
   前記メモリは、手の画像を保持し、
   前記プロセッサは、
   前記画像における第１の指の長さと前記手の幅とに基づいて、前記手の指のロール回転量を示す第１軸比率を算出し、
   前記画像における第２の指の長さと幅とに基づいて、指のピッチ回転量を示す第２軸比率を算出し、
   前記第１軸比率と前記第２軸比率とに基づいて、前記画像が登録対象画像であるかを判定し、
   前記画像が前記登録対象画像であると判定した場合、前記手の情報と、前記第１軸比率及び前記第２軸比率を含む姿勢情報と、を出力する、情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記第１の指及び前記第２の指は中指である、情報処理装置。
3. 請求項１に記載の情報処理装置であって、
   表示装置を含み、
   前記プロセッサは、
   前記第１軸比率及び前記第２軸比率の少なくとも一方に基づく、手の画像の角度を修正した画像の撮影を促すガイドを、前記表示装置に表示する、情報処理装置。
4. 請求項１に記載の情報処理装置であって、
   前記プロセッサは、
   前記画像における隣接する指同士の角度差分を算出し、
   前記角度差分と前記第１軸比率と前記第２軸比率とに基づいて、前記画像が登録対象画像であるかを判定し、
   前記姿勢情報は前記角度差分を含む、情報処理装置。
5. 請求項４に記載の情報処理装置であって、
   表示装置を含み、
   前記プロセッサは、
   前記角度差分に基づく、手の指の間隔を調整した画像の撮影を促すガイドを、前記表示装置に表示する、情報処理装置。
6. 請求項１に記載の情報処理装置であって、
   前記プロセッサは、
   認証用の手の画像を取得し、
   前記認証用の手の画像における前記第１の指の長さと前記認証用の手の幅とに基づいて、前記認証用の手の指のロール回転量を示す認証用の第１軸比率を算出し、
   前記認証用の手の画像における前記第２の指の長さと幅とに基づいて、前記認証用の手の指のピッチ回転量を示す認証用の第２軸比率を算出し、
   前記認証用の第１軸比率及び前記認証用の第２軸比率と、前記姿勢情報と、を比較して前記認証用の手の画像が認証に適した画像であるかを判定し、
   前記認証用の手の画像が認証に適した画像であると判定した場合、前記認証用の手の画像が示す手の情報と、前記出力した手の情報と、に基づいて認証を実行する、情報処理装置。
7. 請求項１に記載の情報処理装置であって、
   前記メモリは、手の複数の画像を保持し、
   前記プロセッサは、
   前記複数の画像それぞれについて、前記第１の指の長さと前記手の幅とに基づいて、前記第１軸比率を算出し、
   前記複数の画像それぞれについて、前記第２の指の長さと幅とに基づいて、前記第２軸比率を算出し、
   前記複数の画像それぞれの前記第１軸比率と前記第２軸比率の組み合わせに基づいて、予め定められた条件を満たす複数の姿勢の手の画像を、登録対象画像に決定し、
   前記決定した複数の登録対象画像それぞれが示す手の情報と、前記決定した複数の登録対象画像それぞれの前記第１軸比率及び前記第２軸比率を含む姿勢情報と、を出力する、情報処理装置。
8. 請求項７に記載の情報処理装置であって、
   前記プロセッサは、
   認証用の手の画像を取得し、
   前記認証用の手の画像における前記第１の指の長さと前記認証用の手の幅とに基づいて、前記認証用の手の指のロール回転量を示す認証用の第１軸比率を算出し、
   前記認証用の手の画像における前記第２の指の長さと幅とに基づいて、前記認証用の手の指のピッチ回転量を示す認証用の第２軸比率を算出し、
   前記認証用の第１軸比率及び前記認証用の第２軸比率と、前記決定した複数の登録画像それぞれの姿勢情報と、を比較して前記認証用の手の画像の手の姿勢に最も近い姿勢情報を決定し、
   前記認証用の手の画像が示す手の情報と、前記決定した姿勢情報に対応する手の情報と、に基づいて認証を実行する、情報処理装置。
9. 情報処理装置による情報処理方法であって、
   前記情報処理装置は、プロセッサとメモリとを含み、
   前記メモリは、手の画像を保持し、
   前記情報処理方法は、
   前記プロセッサが、前記画像における第１の指の長さと前記手の幅とに基づいて、前記手の指のロール回転量を示す第１軸比率を算出し、
   前記プロセッサが、前記画像における第２の指の長さと幅とに基づいて、指のピッチ回転量を示す第２軸比率を算出し、
   前記プロセッサが、前記第１軸比率と前記第２軸比率とに基づいて、前記画像が登録対象画像であるかを判定し、
   前記プロセッサが、前記画像が前記登録対象画像であると判定した場合、前記手の情報と、前記第１軸比率及び前記第２軸比率を含む姿勢情報と、を出力する、情報処理方法。
   

Images