JP6756127B2 - 視線推定装置及び視線推定方法 - Google Patents

Description

本発明は、視線の推定に関する。

人の視線を推定する視線推定装置は、医療検査やマンマシーンインターフェイス（視線入力）等の広い応用が期待されている。

視線推定装置においては、視線の推定のために、人が注視している位置を正確に把握することが有効である。

例えば、特許文献１は、座標系の既知の一点を被検者に注視させ、被検者の瞳孔の位置の座標点に関するデータを取得し、視線を決定する視線検出方法を開示する。

また、本発明に関連して、特許文献２は、注視点が特定領域に含まれているとき第１精度モードに設定し、注視点がオブジェクト表示領域に含まれているときより検出精度が高い第２精度モードに設定する、電子機器を開示する。

また、特許文献３は、ユーザーが登録ユーザーであることが判定された場合、前記記憶部材に記憶されている補正情報を用いて視線位置を補正する視線検出装置を開示する。

また、特許文献４は、撮像された読者の顔から、読者の注視点を算出し、表示される表示情報のページを切り替える電子ブック装置を開示する。

また、特許文献５等は、目頭、目尻及び瞳孔の位置関係から視線の方向を推定する方法を開示する。

また、特許文献６は、局所的特徴量の算出により画像抽出を行う方法を開示する。

特開２００５−１８５４３１号公報 国際公開第２０１４／０８４２２４号 特開２０１４−２１１７９５号公報 特開２０００−２０５３４号公報 特開２００８−１３６７８９号公報 特開２０１２−１０４０７８号公報

上述のように、特許文献１が開示する方法は、座標系の既知の一点の注視を人に要求する。しかしながら、人の視線は動きやすいものである。そのため、座標系の既知の一点の注視を人に行わせようとしても、当該人が一定時間その一点を注視し続けることは困難な場合が多い。従い、特許文献１が開示する方法では、視線の推定を行う際に、当該被験者がその一点を注視していなかったということが起こり得る。その場合は、視線の推定は不正確なものになる。

本発明は、より正確な視線の推定を行い得る視線推定装置等の提供を目的とする。

本発明の視線推定装置は、接触位置特定部と、撮像部と、処理部と、を備える。前記接触位置特定部は、人が物への接触を行った位置である接触位置を特定する。前記撮像部は、前記接触の際の前記人の目を含む部分の撮像を行う。前記処理部は、前記接触位置を通り、前記画像から導出した前記目の視線の方向と平行な直線を、前記目の視線と推定する。

本発明の視線推定装置等は、より正確な視線の推定を行い得る。

第一実施形態の視線推定装置の構成例を表す概念図である。 目を表すイメージ図である。 目と視線と注視位置との位置関係の例を表すイメージ図である。 複合デバイスを表すイメージ図である。 第一実施形態の視線推定装置が行う処理の処理フロー例を表わす概念図である。 第二実施形態の視線推定装置の構成例を表す概念図である。 導出した傾きによる補正の様子を表すイメージ図である。 第二実施形態の視線推定装置が行う処理の処理フロー例を表わす概念図である。 本発明の視線推定装置の最小限の構成を表す概念図である。

＜第一実施形態＞
第一実施形態は、人の目を含む部分の撮像画像とその人の接触位置とにより視線を推定し得る、視線推定装置についての実施形態である。
［構成と動作］
図１は、第一実施形態の視線推定装置の例である視線推定装置１０１ａの構成を表す概念図である。

視線推定装置１０１ａは、撮像した人の目を含む画像から、その人の視線を推定するための装置である。

視線推定装置１０１ａは、接触位置特定部１５１ａと、撮像部１２１ａと、処理部１３１ａと、を備える。

接触位置特定部１５１ａは、図示しないある物（以下、「物Ａ」という。）に対して図示しない人が接触を行った位置（以下、「接触位置」という。）の特定を行う。

この場合の接触は、例えば、指、又は、棒、ポインタ、その他狭い領域への接触に適した物、により行われる。

例えば、物Ａが、他の物が接触した位置を導出するタッチパネルであれば、接触により当該接触位置を特定することができる。あるいは、接触箇所を撮像する等により接触位置の特定を行っても構わない。

接触位置特定部１５１ａは、特定した、接触位置を表す情報を含む情報を処理部１３１ａに送る。

撮像部１２１ａは、前記人が前記物に接触した直後の時刻において、前記人の目を含む部分の撮像を行う。撮像部１２１ａは、例えば、市販のスマートフォン用のカメラデバイスやデジタルカメラである。撮像部１２１ａは、撮像した画像を処理部１３１ａに送る。

処理部１３１ａは、撮像部１２１ａが送った画像から、前記人の目の画像を抽出する。

処理部１３１ａは、目の画像の抽出を例えば次の方法で行うことができる。

まず、処理部１３１ａに、十分な量の目の画像のＨａａｒ−ｌｉｋｅ特徴量により学習させた目画像特定プログラムを内蔵させる。そして、撮像部１２１ａが送った画像について局所的特徴量を算出し、スコアの高い領域を目の画像として特定する。処理部１３１ａが行う上記方法を、例えば、特許文献６が開示する。

処理部１３１ａは、目の画像の抽出に先立ち、人の顔の画像の抽出を行っても構わない。その場合の、顔の画像の抽出は、前述の目の画像の抽出と同様の方法により行うことができる。すなわち、まず、処理部１３１ａに、十分な量の顔の画像のＨａａｒ−ｌｉｋｅ特徴量により学習させた顔画像特定プログラムを内蔵させる。そして、撮像部１２１ａが送った顔を含む画像について局所的特徴量を算出し、スコアの高い領域を顔の画像として特定する。

目の画像の特定に先立ち顔の画像を特定することで、顔以外の部分の目の形状に類似した部分の画像を目の画像として誤認識する確率を低減させることができる。

なお、前述の目の画像の抽出に先立ち、処理部１３１ａは、対象とする画像中の明度やコントラストを適正化する処理を行っても構わない。この処理により、撮影画像における顔領域の明度やコントラストを適正化し、次に抽出する目の画像の精度を向上させることができる。目の画像の精度向上は、次に説明する、視線の方向の導出精度の向上につながる。

次に、処理部１３１ａは、抽出した目の画像から、その人の注視の方向（視線の方向）を導出する。視線の方向の導出は、図２に表す目２０１ａの、目頭２１１ａ、目尻２２１ａ及び瞳孔２３１ａの位置関係から例えば、特許文献５が開示する方法により行うことができる。

そして、処理部１３１ａは、導出した視線の方向と接触位置とから、視線を推定する。

図３は、目と視線と注視位置との関係を表すイメージ図である。

図３においては、目２０１ａにより、前述の物Ａの例である物５ａの平らな面である面４ａを注視した場合が想定されている。また、図３においては、目２０１ａが、面４ａに平行な線８ｃ上の異なる二つの位置である位置９ｉと位置９ｊとのそれぞれに位置する場合を表す。また、目２０１ａは、位置９ｉと位置９ｊとで、目頭、目尻及び瞳孔の位置関係が同じとする。

すると、位置９ｉにおける目２０１ａの視線６ａと、位置９ｊにおける目２０１ａの視線６ｂと、は同じ方向であり、線８ｃ上での距離２ａだけずれる。そして、このずれは、面４ａ上においても維持される。

すなわち、位置９ｉにある目２０１ａの注視点である位置９ｋと、位置９ｊにある目２０１ａの注視点である位置９ｌとは、線８ｃに平行な線上において距離２ａずれている。

すなわち、目２０１ａの視線を精度よく推定するためには、目頭、目尻及び瞳孔の位置関係から視線の方向を確定させるだけでは不十分で、視線の起点である目２０１ａの位置を導出することが必要がある。そして、面４ａ上での注視点の位置が決まれば、目２０１ａの視線を導出することができる。図１に表す視線推定装置１０１ａは、上述のように、面４ａ上での注視点の位置を、接触位置とするので、目２０１ａの位置を定めることができる。また、上述の通り、視線の方向を推定するので、目の位置及び視線の方向が定まり、視線を推定することができる。

図１に表す視線推定装置１０１ａは、例えば、図４に表す複合デバイス１６１ａにより実現することができる。

複合デバイス１６１ａは、筐体１８１ａと、タッチパネル１５２ａと、カメラ１２２ａとを備える。

タッチパネル１５２ａは、図１に表す接触位置特定部１５１ａに相当する。

カメラ１２２ａは、図１に表す撮像部１２１ａに相当する。

筐体１８１ａには、図１に表す処理部１３１ａが内蔵されている。図１に表す処理部１３１ａは、例えば、複合デバイス１６１ａが内蔵する中央演算処理装置である。

［処理フロー］
図５は、図１に表す視線推定装置１０１ａが行う処理の処理フロー例を表わす概念図である。以下、処理フローを表す図の各処理において、コロン記号より左の記述はその処理の主体を表す。また、コロン記号より右の記述は、処理の主体が行う処理内容を表す。また、以下の説明における符号は、図１に表す各構成の符号である。

まず、接触位置特定部１５１ａは、Ｓ１０１の処理として、物Ａへの所定の接触があったかを判定する。当該所定の接触は、例えば、前述の、人の指等による接触である。

接触位置特定部１５１ａは、Ｓ１０１の処理により、物Ａへの所定の接触があったことを判定した場合は、Ｓ１０２及びＳ１０３の処理を行う。

一方、接触位置特定部１５１ａは、Ｓ１０１の処理により、物Ａへの所定の接触があったことを判定しなかった場合は、Ｓ１０１の処理を再度行う。

接触位置特定部１５１ａは、Ｓ１０２の処理を行う場合は、物Ａへの特定の接触があったことを撮像部１２１ａに通知する。接触位置特定部１５１ａは、当該通知を、Ｓ１０１のｙｅｓの判定後、速やかに行う。

そして、撮像部１２１ａは、Ｓ１０２の処理による通知を受けて、Ｓ１０４の処理として、前記特定の接触を行った人の目を含む部分を撮像できることが想定された位置を撮像する。撮像部１２１ａは、撮像した画像を含む情報を処理部１３１ａに送る。

次に、処理部１３１ａは、Ｓ１０５の処理として、撮像部１２１ａから送られた画像から目の画像を抽出する。目の画像の抽出方法は前述の通りである。

そして、処理部１３１ａは、Ｓ１０６の処理として、Ｓ１０５の処理により抽出した目の画像を用いて、視線の方向の推定を行う。視線の方向の推定方法は前述の通りである。

一方、接触位置特定部１５１ａは、Ｓ１０３の処理を行う場合は、物Ａへの所定の接触があった接触位置の特定を行う。そして、接触位置特定部１５１ａは、特定した接触位置を表す情報を、処理部１３１ａに送る。

そして、処理部１３１ａは、Ｓ１０３とＳ１０６の両方の処理の後に、Ｓ１０７の処理を行う。すなわち、処理部１３１ａは、Ｓ１０７の処理として、Ｓ１０３の処理により特定した接触位置と、Ｓ１０６の処理により導出した視線の方向とにより、目２０１ａの位置を導出する。例えば、図３を参照し、位置９ｋが、Ｓ１０３の処理により特定した接触位置だと仮定する。すると、視線は、位置９ｋを通り、Ｓ１０６の処理により推定した視線の方向に平行な直線である視線６ａと定まる。
そして、視線推定装置１０１ａは、図５に表す処理を終了する。

図５は、撮像部１２１ａが撮像した画像から抽出した一つの目の画像から処理部１３１ａが視線の方向の推定を行う場合を表す。しかしながら、処理部１３１ａは、撮像部１２１ａが撮像した画像から抽出した両目のそれぞれについて推定した視線の方向から視線の方向を推定してもよい。例えば、処理部１３１ａは、両目のそれぞれについて推定した視線の方向の平均を視線の方向とすることもできる。

図１に表す視線推定装置１０１ａは、人が指等で接触を行った位置を接触位置特定部が特定する。また、視線推定装置１０１ａは、当該接触の直後の人の目を含む領域を撮像部１２１ａが撮像する。そして、処理部１３１ａは、撮像された画像から目の画像を抽出する。そして、処理部１３１ａは、目の画像からその画像における注視位置を推定する。ここで、一般的に人は、物を指等でタッチ（接触）した場合に、その物のタッチ位置を注視する性質がある。そのため、そのタッチの瞬間や直後においては、その人がタッチした物の位置をその人が注視している確率が高い。そのため、視線推定装置１０１ａは、前記接触位置と視線の方向とから目２０１ａの位置を導出することにより、視線の推定をより正確に行うことができる。

上記効果は、位置検出部に、スマートフォン等のタッチパネルを備える携帯端末のタッチパネルを用いた場合に特に顕著である。スマートフォン等の普及により、利用者等に、携帯端末のタッチパネルをタッチする際にそのタッチ位置を注意深く注視する習性が醸成されている。大きさの限られた携帯端末のタッチパネルは、利用者に細かい領域を正確にタッチすることを求めるからである。従い、携帯端末のタッチパネルを用いることにより、人がタッチ位置を正確に注視する確率が向上する。さらに、通常、携帯端末のタッチパネルを操作する際に、人は、目と携帯端末との距離をほぼ一定に保ちながらタッチパネルを操作する。視線の方向が一定でも目と物Ａとの距離が一定でないと注視位置は定まらない。携帯端末のタッチパネルの場合は、目とタッチパネルの位置がほぼ一定なので、注視位置がより正確に特定できる確率が高い。さらに、携帯端末のタッチパネルを操作する際には、人は、タッチパネルと自分の顔とのなす相対的な角度をほぼ一定に保つ。従い、撮像部１２１ａは、常に一定の角度からその人の目を含む部分を撮像することになる。そのため、処理部１３１ａによる目の抽出精度が向上する。以上の理由により、接触位置特定部１５１ａが携帯端末のタッチパネルを備える場合は、視線推定装置１０１ａによる視線の推定がより正確に行われる確率がより向上する。
［効果］
第一実施形態の視線推定装置は、人が指等で接触を行った位置を接触位置特定部が特定する。また、第一実施形態の視線推定装置は、当該接触の直後の人の目を含む領域を撮像する。そして、第一実施形態の視線推定装置は、撮像された画像から目の画像を抽出する。そして、第一実施形態の視線推定装置は、目の画像からその画像における注視位置を推定する。ここで、一般的に人は、物を指等でタッチ（接触）した場合に、その物のタッチ位置を注視する性質がある。そのため、そのタッチの瞬間や直後においては、その人がタッチした物の位置をその人が注視している確率が高い。そのため、第一実施形態の視線推定装置は、前記接触位置と視線の方向とから視線を導出することにより、視線の推定をより正確に行うことができる。
＜第二実施形態＞
第二実施形態は、撮像部の傾きの情報を用いて目の画像を抽出する視線推定装置に関する実施形態である。
［構成と動作］
図６は、第二実施形態の視線推定装置の例である視線推定装置１０１ｂの構成を表す概念図である。

視線推定装置１０１ｂは、図１に表す視線推定装置１０１ａの構成に加え、処理部１３１ａに接続された傾き導出部１７１ａを備える。

視線推定装置１０１ｂの説明は、以下を除いて、図１に表す視線推定装置１０１ａの説明と同じである。従い、以下においては、図１に表す視線推定装置１０１ａと異なる部分が説明される。また、図１に表す視線推定装置１０１ａの説明と以下の説明とが矛盾する場合は、以下の説明が優先される。

傾き導出部１７１ａは、撮像部１２１ａの傾きを導出する。当該傾きは、前述の目の画像の抽出に用いられる目を含む部分の画像の撮像方向として想定された方向に対する、撮像部１２１ａによる実際の撮像方向の傾きである。

傾き導出部１７１ａは、例えば、撮像部１２１ａに固定されたジャイロである。

傾き導出部１７１ａが撮像部１２１ａに固定されている場合、傾き導出部１７１ａの傾きは撮像部１２１ａの傾きに等しくなる。そのため、傾き導出部１７１ａは、自己の傾きを導出することにより、撮像部１２１ａの傾きを導出することができる。

傾き導出部１７１ａは、導出した傾きを表す情報を処理部１３１ａに送る。

処理部１３１ａは、目の画像を抽出する際に、傾き導出部１７１ａから受けた傾きを用いた抽出を行う。

図７は、傾き導出部１７１ａが導出した傾きにより行う補正の様子を表すイメージ図である。

図７（ａ）は、図面に向かって手前方向から垂直に撮像した目２０１ａの画像を表す図である。また、図７（ｂ）は、図７（ａ）に表す線８ａ上の位置９ａ乃至９ｄを、横向きに書いた線８ａ上に表した図である。図７（ｂ）に表す矢印７ａの向きが撮像方向である。

図７（ｃ）は傾き角θだけ図面に向かって下向きに傾いた向きから撮像した目２０１ａを表す図である。傾き角θは、図６に表す撮像部１２１ａの傾きである。また、図７（ｄ）は、図７（ｃ）に表す線８ｂ上の位置９ｅ乃至９ｈを、横向きに書いた線８ｂ上に表した図である。図７（ｂ）に表す矢印７ｂの向きに平行な方向が撮像方向である。図７（ｂ）に表す矢印７ａと図７（ｄ）に表す矢印７ｂとのなす角が、傾き角θである。位置９ｅ乃至９ｈのうちの任意の二つの位置同士の距離は、その二つの位置に対応する、図７（ｂ）に表す位置８ａ乃至８ｄのうちの、二つの位置の間の距離に、ｃｏｓθを乗じた距離になる。

従い、撮像部１２１ａが傾いた向きの各位置同士の距離を１／ｃｏｓθ倍する補正を行うことにより、図７（ｅ）、（ｆ）に表すように、図７（ａ）、（ｂ）に表す目２０１ａの画像と同じ目２０１ａの画像を得ることができる。

処理部１３１ａが行う目画像の抽出は、決まった方向から撮像された目画像について行うことが想定されている。そのため、上記傾きの補正により、処理部１３１ａによる目画像の抽出精度が向上する。
［処理フロー］
図８は、図６に表す視線推定装置１０１ｂが行う処理の処理フロー例を表わす概念図である。

図８が表す各処理の説明は、以下の説明を除いて、前述の図５が表す各処理の説明と同じである。ただし、以下の説明と図５が表す各処理の説明とが矛盾する場合は、以下の説明が優先される。

接触位置特定部１５１ａは、Ｓ１０１の処理により、物Ａへの所定の接触があったことを判定した場合は、Ｓ１０２ａ及びＳ１０３の処理を行う。

一方、接触位置特定部１５１ａは、Ｓ１０１の処理により、物Ａへの所定の接触があったことを判定しなかった場合は、Ｓ１０１の処理を再度行う、
接触位置特定部１５１ａは、Ｓ１０２ａの処理を行う場合には、接触があったことを撮像部１２１ａと傾き導出部１７１ａとに知らせる。

そして、撮像部１２１ａはＳ１０４の処理を、傾き導出部１７１ａはＳ１０３ａの処理を、それぞれ行う。

Ｓ１０４の処理は前述の通りである。

Ｓ１０３ａの処理を行う場合は、傾き導出部１７１ａは、撮像部１２１ａの傾きを導出する。そして、傾き導出部１７１ａは、導出した傾きを含む情報を、処理部１３１ａに送る。

Ｓ１０４の処理及びＳ１０３ａの処理の後に、処理部１３１ａはＳ１０５ａの処理を行う。すなわち、処理部１３１ａは、Ｓ１０５ａの処理として、Ｓ１０３ａの処理により傾き導出部１７１ａが導出した撮像部１２１ａの傾きを用いて、Ｓ１０４の処理により撮像部１２１ａが撮像した画像から目の画像の抽出を行う。その際に、処理部１３１ａは、例えば、撮像部１２１ａの傾きにより、人の目を含む部分の画像を補正し、補正後の人の目を含む部分の画像から、目の画像の抽出を行う。

そして、処理部１３１ａはＳ１０６の処理を行う。Ｓ１０６以降の処理の説明は前述の通りである。
［効果］
第二実施形態の視線推定装置は、撮像部が撮像した画像から、撮像部の傾きを使って目の画像を抽出する。そのため、第二実施形態の視線推定装置は、目の画像の抽出精度を向上させることができる。目の画像の抽出精度の向上は、視線の方向の導出精度の向上につながる。そして、視線の方向の導出精度の向上は、注視位置の導出精度の向上につながる。そのため、第二実施形態の視線推定装置は、導出する視線の推定をより正確に行うことができる。従い、第二実施形態の視線推定装置は、より高精度な視線の推定を行い得る。

図９は、本発明の視線推定装置の最小限の構成である視線推定装置１０２ｘの構成を表す概念図である。

視線推定装置１０２ｘは、接触位置特定部１５１ｘと、撮像部１２１ｘと、処理部１３１ｘと、を備える。

接触位置特定部１５１ｘは、人が物への接触を行った位置である接触位置を特定する。

撮像部１２１ｘは、前記接触の際の前記人の目を含む部分の撮像を行う。

処理部１３１ｘは、前記接触位置を通り、前記画像から導出した前記目の視線の方向と平行な直線を、前記目の視線と推定する。

一般的に人は、物を指等でタッチ（接触）した場合に、その物のタッチ位置を注視する性質がある。そのため、そのタッチの際には、その人がタッチした物の位置をその人が注視している確率が高い。よって、視線推定装置１０２ｘは、タッチの際の前記人の目を含む部分の画像から導出した視線の方向と、前記接触位置とから視線を推定することにより、視線の推定をより正確に行うことができる。

以上により、視線推定装置１０２ｘは、上記構成により、［発明の効果］の項に記載した効果を奏する。

以上、好ましい実施形態をあげて本発明を説明したが、本発明は必ずしも上記実施形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することができる。

また、上記の実施形態の一部又は全部は、以下の付記のようにも記述され得るが、以下には限られない。

（付記１）
人が所定の物への接触を行った位置である接触位置を特定する接触位置特定部と、
前記接触の際の前記人の目を含む部分の撮像を行う撮像部と、
前記接触位置を通り、前記画像から導出した前記目の視線の方向と平行な直線を、前記目の視線と推定する処理部と、
を備える、視線推定装置。

（付記２）
前記処理部が、前記視線の方向の導出を、前記人の目を含む部分の画像から抽出した前記人の目の画像から行う、付記１に記載された視線推定装置。

（付記３）
前記処理部が、前記人の目の画像の抽出を、局所的特徴量の算出により行う、付記２に記載された視線推定装置。

（付記４）
前記処理部が、前記人の目の画像の抽出を、前記人の目を含む部分の画像から抽出した前記人の顔の画像から行う、付記２又は付記３に記載された視線推定装置。

（付記５）
前記撮像部の傾きを導出する傾き導出部をさらに備え、前記処理部が、前記傾き導出部が導出した前記撮像部の傾きを用いて、前記人の目の画像の抽出を行う、付記２乃至付記４のうちのいずれか一に記載された視線推定装置。

（付記６）
前記傾き導出部がジャイロを備える、付記５に記載された視線推定装置。

（付記７）
前記処理部が、前記傾き導出部が導出した前記撮像部の傾きにより前記人の目を含む部分の画像を補正し、補正後の前記人の目を含む部分の画像から、前記目の画像の抽出を行う、付記５又は付記６に記載された視線推定装置。

（付記８）
前記接触位置特定部がタッチパネルを備える、付記１乃至付記７のうちのいずれか一に記載された視線推定装置。

（付記９）
前記タッチパネルが携帯端末のタッチパネルである、付記８に記載された視線推定装置。

（付記１０）
前記接触が、前記人の指または前記人が操作する物である操作物により行われる、付記１乃至付記９のうちのいずれか一に記載された視線推定装置。

（付記１１）
前記操作物が棒又はペンである、付記１０に記載された視線推定装置。

（付記１２）
前記撮像部がカメラを備える、付記１乃至付記１１のうちのいずれか一に記載された視線推定装置。

（付記Ｂ１）
付記１乃至付記１３のうちのいずれか一に記載された視線推定装置を備え、注視点を推定する注視点推定装置。

（付記Ｃ１）
人が物への接触を行った位置である接触位置を特定し、
前記接触の際の前記人の目を含む部分の画像の撮像を行い、
前記画像から導出した視線の方向と、前記接触位置とから、前記人の視線を推定する、
視線推定方法。

（付記Ｄ１）
人が物への接触を行った位置である接触位置を特定し、
前記接触の際の前記人の目を含む部分の画像の撮像を行い、
前記画像から導出した視線の方向と、前記接触位置とから、前記人の視線を推定する、
処理をコンピュータに実行させる視線推定プログラム。

４ａ 面
５ａ 物
６ａ、６ｂ 視線
７ａ、７ｂ 矢印
８ａ、８ｂ、８ｃ 線
９ａ、９ｂ、９ｃ、９ｄ、９ｅ、９ｆ、９ｇ、９ｈ、９ｉ、９ｊ、９ｋ、９ｌ
位置
１０１ａ、１０１ｂ、１０２ｘ 視線推定装置
１２１ａ、１２１ｘ 撮像部
１２２ａ カメラ
１３１ａ、１３１ｘ 処理部
１５１ａ、１５１ｘ 接触位置特定部
１５２ａ タッチパネル
１６１ａ 複合デバイス
１７１ａ 傾き検出部
１８１ａ 筐体
２０１ａ 目
２１１ａ 目頭
２２１ａ 目尻
２３１ａ 瞳孔

Claims (8)

1. 人が所定の物への接触を行った位置である接触位置を特定する接触位置特定部と、
   前記接触の際の前記人の目を含む部分の撮像を行う撮像部と、
   前記接触位置を通り、前記画像から導出した前記目の視線の方向と平行な直線を、前記目の視線と推定する処理部と、
   前記撮像部の傾きを導出する傾き導出部と、
   を備え、
   前記処理部は、前記視線の方向の導出を、前記人の目を含む部分の画像から抽出した前記人の目の画像から行い、
   前記処理部は、前記人の目の画像を、前記傾き導出部が導出した前記撮像部の傾きを用いて抽出する、
   視線推定装置。
2. 前記処理部が、前記傾き導出部が導出した前記撮像部の傾きにより前記人の目を含む部分の画像を補正し、補正後の前記人の目を含む部分の画像から、前記目の画像の抽出を行う、請求項１に記載された視線推定装置。
3. 前記処理部が、前記人の目の画像の抽出を、局所的特徴量の算出により行う、請求項１又は請求項２に記載された視線推定装置。
4. 前記処理部が、前記人の目の画像の抽出を、前記人の目を含む部分の画像から抽出した前記人の顔の画像から行う、請求項１乃至３のうちのいずれか一に記載された視線推定装置。
5. 前記接触位置特定部がタッチパネルを備える、請求項１乃至請求項４のうちのいずれか一に記載された視線推定装置。
6. 前記タッチパネルが携帯端末のタッチパネルである、請求項５に記載された視線推定装置。
7. 前記接触が、前記人の指または前記人が操作する物である操作物により行われる、請求項１乃至請求項６のうちのいずれか一に記載された視線推定装置。
8. 人が物への接触を行った位置である接触位置を特定し、
   前記接触の際の前記人の目を含む部分の画像の撮像を行い、
   前記画像から導出した視線の方向と、前記接触位置とから、前記人の視線を推定し、
   前記視線の方向の導出を、前記人の目を含む部分の画像から抽出した前記人の目の画像から行い、
   前記撮像を行う部分である撮像部の傾きを導出する、
   視線推定方法であって、
   前記撮像部の傾きを用いて、前記人の目の画像の抽出を行う、
   視線推定方法。

Images