JP6652664B2 - 端末装置、および制御プログラム - Google Patents

Description

本発明の一態様は端末装置、および制御プログラムに関する。

画像に写っている人間の眼の虹彩パターンや白眼の静脈パターンにより個人の認証を行う方法が提案されている。

また、携帯電話機、スマートフォン等の携帯可能な端末装置において、搭載されたカメラで撮像した眼の画像を用いた個人の認証を行うことで、端末装置のロック解除を行う技術も知られている。

例えば特許文献１には、端末装置に搭載されたカメラで撮像した顔の画像を用いて虹彩認証の判定を行い、類似度が所定値以上の場合に、ロック解除を行い、待ち受け画面に遷移する技術が開示されている。

日本国公開特許公報「特開２００６−０９３９３４号公報（２００６年４月６日公開）」

表示部が設けられている面と異なる面にのみカメラのレンズが搭載されており（アウトカメラ）、表示部が設けられている面にはカメラのレンズが搭載されていない端末装置が存在する。本発明者らの独自の知見によれば、このような端末装置において、アウトカメラで撮像した画像を用いた認証処理を行うと、表示部が周囲から見える状態で認証処理を行うことになるため、プライバシーが失われるおそれがある。

本発明の一態様は、端末装置における認証の際に、端末装置の操作者のプライバシーを守ることを目的とする。

上記の課題を解決するために、本発明の一態様に係る端末装置は、表示部と、撮像方向が、上記表示部の設けられている面から外部に向かう方向と異なる方向である撮像部と、上記端末装置の傾きを取得する傾き取得部と、制御部と、を備え、上記制御部は、上記表示部の表示を制限する表示制限状態を設定し、当該表示制限状態において、上記撮像部が撮像した画像を用いて認証を行い、上記認証が完了した場合に、上記傾きが予め定めた量よりも変化したと判定すると、上記表示制限状態を解除する。

本発明の一態様によれば、端末装置における認証の際に、端末装置の操作者のプライバシーを守ることができる、という効果を奏する。

本発明の実施形態１に係る端末装置の概略構成ブロック図である。 本発明の実施形態１に係る端末装置の傾きセンサが検出する角度を示す図である。 本発明の実施形態１に係る端末装置の機能ブロック図である。 本発明の実施形態１に係る端末装置における制御のフローチャートである。 本発明の実施形態１に係る端末装置の動作の概略を示す図である。 本発明の実施形態２に係る端末装置における制御のフローチャートである。

〔実施形態１〕
以下、本発明の実施の形態について、図１〜図５に基づいて詳細に説明する。

図１は、本実施形態に係る端末装置１の概要を示すブロック図である。

端末装置１は、携帯電話機、スマートフォン等の携帯可能な端末装置であってよい。

端末装置１は、制御部１０、カメラ（撮像部）２０、傾きセンサ（傾き取得部）２２、キー２４、バイブレーション２６、記憶部２８、通信部３２、音声出力部３４、音声入力部３６、タッチパネル（表示部）３８、およびメモリ４２を備えている。

タッチパネル３８は、表示部３９、およびタッチセンサ４０を含む。

表示部３９は、液晶ディスプレイ等の表示デバイスである。

タッチセンサ４０は、操作者がタッチした位置を検出するセンサである。

カメラ２０は、少なくとも操作者を撮像する。カメラ２０は本人認証のための画像の取得に使われるほか、通常のカメラ機能を併せ持っていてもよく、その場合カメラ機能としての撮像時のモードとは別に本人認証用の認証用撮像モードを有していてもよい。この場合の認証用撮像モードとは、生体認証の精度がより向上するような画像が得られるように、輝度、鮮鋭度等が調整されたモードのことを言う。

カメラ２０は、そのレンズが表示部３９の設けられている面とは異なる面に設けられている、いわゆるアウトカメラである。本実施形態において、カメラ２０は、そのレンズが、表示部３９の設けられている面の背面に設けられている。なお、本実施形態ではカメラ２０はレンズを有しているが、端末装置はレンズを有さないカメラを備えていてもよい。この場合、カメラは、撮像方向が、表示部の設けられている面の背面から外部に向かう方向となるように設けられていればよい。ここで、撮像方向とは、カメラから、カメラに撮像される被写体に向かう方向である。

傾きセンサ２２は、端末装置１の傾きを取得するセンサである。端末装置１の、図２に示されるｘ軸、ｙ軸、ｚ軸の３軸の傾き角度を取得する。図２は、端末装置１を地面に垂直に立てた状態で傾きセンサ２２が取得できる傾き角度を示したものである。このうちｚ軸の傾き角度は、０度から３６０度の値を取ることができる。

キー２４は、操作者からの入力操作を受け付ける。キー２４は、ボタン等の物理的なキーである。

バイブレーション２６は、制御部１０から指定されたパターンにしたがって、端末装置１を振動させる。

記憶部２８は、データ、プログラムの格納領域であり、フラッシュメモリ等から構成される。記憶部２８は、プログラム保存領域２９、生体情報保存領域３０、設定情報保存領域３１を含む。

生体情報保存領域３０には、操作者の生体認証を行うためのデータが保存される。本実施形態においては、生体認証として、眼の画像により認証するので、生体情報保存領域３０には、操作者の眼を撮像した眼画像のデータが登録データとして保存される。生体情報保存領域３０には、眼画像のデータ自体ではなく、眼画像から切り出した特徴データが登録データとして保存されてもよい。

設定情報保存領域３１には、ロック解除時に、どの方法によって認証を行うかを示す設定情報を保存する。本実施形態においては、設定情報として、眼の画像により認証する認証方法を示す情報を含む。

通信部３２は、携帯電話網と接続し、音声通話やパケット通信を行う。

音声出力部３４は、スピーカー、およびレシーバーを含む。音声出力部３４は、携帯電話網との通話時に音声の出力をしたり、コンテンツの再生時に音声を出力したりする。

音声入力部３６は、マイクを含む。音声入力部３６は、携帯電話網との通話時等に音声の入力をする。

メモリ４２は、各種制御が実行される際に使用される一時メモリである。

制御部１０は、プログラム保存領域２９に格納されたプログラムを動作させ、各種制御を行う。図３に示すように、制御部１０は、ロック制御部１１、生体認証部１２、生体情報登録部１３、眼画像取得部１４、ロック画面表示部１６、および端末反転判定部１７として機能する。

ロック制御部１１は、操作者からのキー２４への入力操作を受けて、表示部３９の画面を、消灯状態から、点灯状態に切り替える。また、ロック制御部１１は、設定情報保存領域３１から読み出した設定情報に応じて、表示制限状態の解除を実行するように制御する。本実施形態において、ロック制御部１１が表示部３９の表示を制限する状態を表示制限状態とよぶ。この表示制限状態は、表示部３９を消灯させた状態を含んでもよい。設定情報が、眼画像を使用した認証処理により表示制限状態を解除することを示す場合は、ロック制御部１１は、生体認証部１２に対して、認証処理を要求する。ロック制御部１１は、生体認証部１２から認証が成功したことを示す情報を入力した場合に、後述する判定結果に応じて、表示制限状態を解除し、表示部３９に待ち受け画面を表示させるように制御する。

生体認証部１２は、眼画像取得部１４から取得した眼画像データを、生体情報保存領域３０に保存されている登録データと比較して、操作者を認証する。生体認証部１２は、眼画像データと登録データとの類似度が規定値を超えていた場合に、認証成功とし、ロック制御部１１に認証結果を出力する。

生体情報登録部１３は、生体認証機能の使用前に、操作者の眼画像のデータを登録する。生体情報登録部１３は、眼画像のデータを登録データとして、生体情報保存領域３０に保存する。

眼画像取得部１４は、カメラ２０を起動し、操作者の画像を取得する。また、眼画像取得部１４は、取得した画像に眼が含まれているかを判定する。

ロック画面表示部１６は、ロック制御部１１の制御により、表示部３９に、ロック画面、生体認証の結果、ロックＮｏ入力のような他の認証手段を実施するための画面等を表示させる。また、ロック画面表示部１６は、認証完了を、バイブレーション２６の振動、および音声出力部３４の音声出力の少なくとも一方により操作者に通知する。

端末反転判定部１７は、傾きセンサ２２から取得したｚ軸の傾きの値の変化から、端末装置１の反転操作が行われたかどうかを判定する。端末反転判定部１７は、傾きの値の変化が大きい場合、端末装置１を裏返すような動作を操作者がしたと判定することができる。

続いて、図４を参照して、本実施形態に係る端末装置１における制御を説明する。図４は、本実施形態に係る端末装置１における制御の一例を説明するフローチャートである。

ステップＳ１０において、ロック制御部１１は、操作者のキー２４の押下を受け付けて、表示部３９の表示の制御を開始する。ロック制御部１１は、表示部３９が消灯されている状態で表示部３９の表示の制御を開始する。ロック制御部１１は、表示制限状態において、まず、設定情報保存領域３１から設定情報を取得する。

ステップＳ１２において、ロック制御部１１は、設定情報を参照して、眼画像を用いて認証をするように設定されているか否かを判定する。ステップＳ１２において、ロック制御部１１が眼画像により生体認証をするように設定されていると判定した場合には、ステップＳ１４に移行する。ステップＳ１２において、ロック制御部１１が眼画像により生体認証をするように設定されていないと判定した場合には、ステップＳ３８に移行する。

ステップＳ１４において、ロック制御部１１は、生体認証部１２に生体認証の処理を要求する。生体認証部１２は、眼画像取得部１４にカメラ２０を起動させ、撮像を開始する。

ステップＳ１６において、生体認証部１２は、眼画像取得部１４に、カメラ２０が撮像した画像を取得させる。

本実施形態に係る端末装置１は、図５の（ａ）に示すように、タッチパネル３８が設けられる面の反対面にカメラ２０のレンズが設けられる。このため、カメラ２０が操作者を撮像するときに、タッチパネル３８は操作者とは対向しない。図５の（ａ）は、認証用の画像を撮像している状態を示しているが、表示部３９は消灯された消灯状態である。なお、カメラ２０のレンズとタッチパネル３８とは異なる面に設けられていればよく、タッチパネル３８が設けられている面の側面にカメラ２０のレンズが設けられていてもよい。端末装置がレンズを有さないカメラを備えている場合であれば、カメラは、撮像方向が、表示部３９の設けられている面から外部に向かう方向と異なる方向となるように設けられていればよい。

ステップＳ１８において、眼画像取得部１４は、取得した画像に眼が含まれているかを判定する。ステップＳ１８において、眼画像取得部１４が取得した画像に眼が含まれていると判定した場合、ステップＳ２０に移行する。ステップＳ１８において、眼画像取得部１４が取得した画像に眼が含まれていないと判定した場合、ステップＳ１６に移行する。すなわち、眼画像取得部１４が取得した画像に眼が含まれていると判定するまで、ステップＳ１６およびステップＳ１８の処理を繰り返す。

ステップＳ２０において、生体認証部１２は、生体情報保存領域３０から取得した登録データと、眼画像取得部１４が取得した眼画像のデータとを比較することにより認証処理をする。

ステップＳ２２において、生体認証部１２は、認証処理が完了したか否かを判定する。ステップＳ２２において、生体認証部１２が認証処理は完了したと判定した場合はステップＳ２４に移行する。ステップＳ２２において、生体認証部１２が認証処理は完了していないと判定した場合はステップＳ１６に移行する。すなわち、１枚の眼画像のデータでは認証処理を行うのには足りなかった場合には、生体認証部１２は、さらなる眼画像のデータを取得し、認証処理を続ける。

ロック制御部１１は、生体認証部１２が認証処理は完了したと判定すると、端末装置１の反転の判定処理を開始させる。

まずステップＳ２４において、ロック制御部１１は、端末反転判定部１７に、傾きセンサ２２から端末装置１の傾きを示す傾き情報を取得させる。端末反転判定部１７は、取得した傾き情報を一時的にメモリ４２に保存させる。

図５の（ｂ）は、認証処理が完了したときの端末装置１を示しているが、表示部３９は消灯状態のままである。

ステップＳ２６において、ロック制御部１１は、ロック画面表示部１６に、バイブレーション２６の振動、および音声出力部３４の音声出力の少なくとも一方により操作者に認証の完了を通知させる。

ステップＳ２８において、ロック制御部１１は、端末反転判定部１７に、傾きセンサ２２から端末装置１の傾きを示す傾き情報を取得させる。

ステップＳ３０において、端末反転判定部１７は、ステップＳ２４において一時的にメモリ４２に保存させた傾き情報と、ステップＳ２８において取得した傾き情報とを比較し、端末装置１の傾きが規定値以上変化したか否かを判定する。例えば規定値が１４０度に設定されていたとすると、ステップＳ２４において取得したｚ軸の傾きが２０度であり、ステップ２８において取得したｚ軸の傾きが１６０度となったときに、端末反転判定部１７は、端末装置１は反転したと判定する。

ステップＳ３０において、端末反転判定部１７が端末装置１の傾きが規定値以上変化した（反転した）と判定した場合には、ステップＳ３２に移行する。ステップＳ３０において、端末反転判定部１７が端末装置１の傾きが規定値以上変化していないと判定した場合には、ステップＳ２８に移行する。端末反転判定部１７は、判定結果をロック制御部１１に出力する。

ステップＳ３２において、ロック制御部１１は、生体認証部１２による認証が成功したか否かを判定する。ステップＳ３２において、ロック制御部１１が認証成功と判定した場合には、ステップＳ３４に移行する。ステップＳ３２において、ロック制御部１１が認証失敗と判定した場合には、ステップＳ３６に移行する。

例えば、図５の（ｂ）に示すカメラ２０のレンズが操作者と対向する状態から、図５の（ｃ）に示すタッチパネル３８が操作者と対向する状態に回転すると、端末反転判定部１７は、端末装置１の傾きが規定値以上変化したと判定する。

ステップＳ３４において、ロック制御部１１は、ロック画面表示部１６に、表示部３９を点灯させ、表示部３９に待ち受け画面を表示させるように制御し、一連のフローを終了する。

ステップＳ３６において、ロック制御部１１は、ロック画面表示部１６に、表示部３９を点灯させ、表示部３９に認証失敗の画面を表示させるように制御し、一連のフローを終了する。また、ロック制御部１１は、ロック画面表示部１６に、表示部３９に、ロック解除手段を提示させるように制御してもよい。ロック解除手段としては、例えば図５の（ｄ）に示すような、操作者にロックＮｏを入力させ、記憶されているＮｏと照合して操作者を認証する手段を用いてもよい。

すなわち、図５の（ｃ）に示すタッチパネル３８が操作者と対向する状態になると、ロック制御部１１は、表示部３９を点灯させるので、操作者の利便性を損なうことがない。

ステップＳ３８において、ロック制御部１１は、ロック画面表示部１６に、表示部３９を点灯させ、表示部３９に、ロック解除手段を提示させるように制御し、一連のフローを終了する。すなわち、ロック制御部１１が眼画像を用いて認証をする設定になっていないと判定した場合、ロック制御部１１は、表示部３９が消灯状態においてキー２４が押下されることにより、表示部３９を点灯させ、ロック解除手段を提示させる。

ロック解除手段としては、ステップＳ３６と同様に、操作者にロックＮｏを入力させ、記憶されているＮｏと照合して操作者を認証する手段を用いてもよい。

〔実施形態２〕
本発明の他の実施形態について、図６に基づいて説明すれば、以下のとおりである。図６は、本実施形態に係る端末装置における制御の一例を説明するフローチャートである。なお、本実施例に係る端末装置は、実施形態１にて説明した部材と同じ機能を有する部材を備えているので、部材については、その説明を省略する。

本実施形態に係る端末装置における制御は、ステップＳ６０、ステップＳ８０、およびステップＳ８２を含む点で、実施形態１の制御と異なる。

本実施形態のステップＳ５０〜ステップＳ５８、ステップＳ６２〜ステップ７８、ステップＳ８４は、実施形態１の図４に示すステップＳ１０〜ステップＳ１４、ステップＳ１６〜ステップＳ３６、ステップＳ３８に対応する。

本実施形態においては、ステップＳ５８において、眼画像取得部１４が取得した画像に眼が取得した画像に眼が含まれていると判定した場合、ロック制御部１１は、端末反転判定部１７に、傾きセンサ２２から端末装置１の傾きを示す傾き情報を取得させる。また、端末反転判定部１７は、取得した傾き情報を一時的にメモリ４２に保存させる（ステップＳ６０）。

また、本実施形態においては、生体認証部１２が認証処理は完了していないと判定した場合は端末の反転の判定処理（ステップＳ８０およびステップＳ８２）に移行する（ステップＳ６４）。

ステップ８０において、ロック制御部１１は、端末反転判定部１７に、傾きセンサ２２から端末装置１の傾きを示す傾き情報を取得させる。

ステップＳ８２において、端末反転判定部１７は、ステップＳ６０において一時的にメモリ４２に保存させた傾き情報と、ステップＳ８０において取得した傾き情報とを比較し、端末装置１の傾きが規定値以上変化したか否かを判定する。ステップＳ８２において、端末反転判定部１７が端末装置１の傾きが規定値以上変化したと判定した場合には、ステップＳ７８に移行する。ステップＳ８２において、端末反転判定部１７が端末装置１の傾きが規定値以上変化していないと判定した場合には、ステップＳ５６に移行する。

すなわち、本実施形態においては、認証処理の完了前に、操作者が認証処理を中断したい場合、操作者は、キー２４を押下することなく、端末装置１を反転させることにより、認証処理を中断させることができる。

〔ソフトウェアによる実現例〕
端末装置１の制御ブロック（制御部１０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、端末装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の一態様の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る端末装置１は、表示部３９と、撮像方向が、上記表示部３９の設けられている面から外部に向かう方向と異なる方向である撮像部（カメラ２０）と、上記端末装置１の傾きを取得する傾き取得部（傾きセンサ２２）と、制御部１０と、を備え、上記制御部１０は、上記表示部３９の表示を制限する表示制限状態を設定し、当該表示制限状態において、上記撮像部（カメラ２０）が撮像した画像を用いて認証を行い、上記認証が完了した場合に、上記傾きが予め定めた量よりも変化したと判定すると、上記表示制限状態を解除する。

上記の構成によれば、端末装置１における認証の際に、端末装置１の操作者のプライバシーを守ることができる。

本発明の態様２に係る端末装置１は、上記態様１において、上記撮像方向は、上記表示部３９の設けられている面の背面から外部に向かう方向であり、上記制御部１０は、上記端末装置１が反転したと判定すると、上記表示制限状態を解除してもよい。

上記の構成によれば、端末装置１における認証の際に、端末装置１の操作者のプライバシーを好適に守ることができる。

本発明の態様３に係る端末装置１は、上記態様１または２において、上記制御部１０は、上記認証が完了する前に、上記傾きが予め定めた量よりも変化したと判定すると、上記表示部３９の表示の制限を解除し、上記表示部３９に上記認証の中断を通知する画面を表示してもよい。

上記の構成によれば、認証処理の完了前に、操作者が認証処理を中断したい場合、操作者は、端末装置１を反転させることにより、認証処理を中断させることができる。

本発明の各態様に係る端末装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記端末装置が備える各部（ソフトウェア要素）として動作させることにより上記端末装置をコンピュータにて実現させる端末装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

１ 端末装置
１０ 制御部
２０ カメラ（撮像部）
２２ 傾きセンサ（傾き取得部）
３９ 表示部

Claims (4)

1. 端末装置であって、
   表示部と、
   撮像方向が、上記表示部の設けられている面から外部に向かう方向と異なる方向である撮像部と、
   上記端末装置の傾きを取得する傾き取得部と、
   制御部と、を備え、
   上記制御部は、
   上記表示部の表示を制限する表示制限状態を設定し、
   当該表示制限状態において、上記撮像部が撮像した画像を用いて認証を行い、
   上記認証が完了した場合に、上記認証を行った後の傾きが予め定めた量よりも変化したと判定すると、上記表示制限状態を解除することを特徴とする端末装置。
2. 上記撮像方向は、上記表示部の設けられている面の背面から外部に向かう方向であり、
   上記制御部は、上記端末装置が反転したと判定すると、上記表示制限状態を解除することを特徴とする請求項１に記載の端末装置。
3. 上記制御部は、上記認証が完了する前に、上記傾きが予め定めた量よりも変化したと判定すると、上記表示制限状態を解除し、上記表示部に上記認証の中断を通知する画面を表示する
   ことを特徴とする請求項１または２に記載の端末装置。
4. 端末装置の制御部としてコンピュータを機能させるための制御プログラムであって、上記端末装置は、表示部と、撮像方向が、上記表示部の設けられている面から外部に向かう方向と異なる方向である撮像部と、上記端末装置の傾きを取得する傾き取得部とを備え、上記コンピュータを、
   上記表示部の表示を制限する表示制限状態を設定し、当該表示制限状態において、上記撮像部が撮像した画像を用いて認証を行い、上記認証が完了した場合に、上記認証を行った後の傾きが予め定めた量よりも変化したと判定すると、上記表示制限状態を解除する制御部として機能させるための制御プログラム。

Images