JP7644466B2

JP7644466B2 - 検出装置及び検出方法

Info

Publication number: JP7644466B2
Application number: JP2020142169A
Authority: JP
Inventors: 京介双見
Original assignee: Ritsumeikan Trust
Current assignee: Ritsumeikan Trust
Priority date: 2020-08-25
Filing date: 2020-08-25
Publication date: 2025-03-12
Anticipated expiration: 2040-08-25
Also published as: JP2022037827A

Description

特許法第３０条第２項適用公開の事実１：２０１９年９月４日にＴｈｅＡＣＭＩｎｔｅｒｎａｔｉｏｎａｌＪｏｉｎｔＣｏｎｆｅｒｅｎｃｅｏｎＰｅｒｖａｓｉｖｅａｎｄＵｂｉｑｕｉｔｏｕｓＣｏｍｐｕｔｉｎｇ（ＵｂｉＣｏｍｐ２０１９）予稿集のウェブサイト（ｈｔｔｐｓ：／／ｄｌ．ａｃｍ．ｏｒｇ／ｃｏｎｆｅｒｅｎｃｅ／ｕｂｉｃｏｍｐ）に掲載公開の事実２：２０１９年９月９日のＴｈｅＡＣＭＩｎｔｅｒｎａｔｉｏｎａｌＪｏｉｎｔＣｏｎｆｅｒｅｎｃｅｏｎＰｅｒｖａｓｉｖｅａｎｄＵｂｉｑｕｉｔｏｕｓＣｏｍｐｕｔｉｎｇ（ＵｂｉＣｏｍｐ２０１９）のワークショップで発表公開の事実３：２０２０年３月２日に情報処理学会インタラクション２０２０予稿集の発行のウェブサイト（ｈｔｔｐｓ：／／ｗｗｗ．ｉｎｔｅｒａｃｔｉｏｎ－ｉｐｓｊ．ｏｒｇ／ｐｒｏｃｅｅｄｉｎｇｓ／２０２０／）に掲載公開の事実４：２０２０年３月１１日に情報処理学会インタラクション２０２０（オンライン開催（ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｕｓｅｒ／ｉｎｔｅｒａｃｔｉｏｎｉｐｓｊ／ｌｉｖｅ））で発表

本開示は、検出装置及び検出方法に関する。

目の活動は心身活動の指標となり得る。心身活動は、人の精神や、身体の活動などである。そのため、目の活動のセンシング結果は多くの分野で有用な情報となり得る。近年では、目の活動のセンシング技術は、一般の多くの人が日常の多くの場面で常時利用できることが、望まれている。

目の活動は、瞼の動きや眼球の運動などであって、瞬きの回数や間隔や開眼程度、眼球の移動や向きなどがセンシングされる。目の活動をセンシングする技術として、例えば、国際公開ＷＯ２０１６／０８００４２号公報（以下、特許文献１）は、フレームに複数の赤外線センサが取り付けられたメガネ型の検出装置であって、赤外線で装着したユーザの眼球を測定することによって眼球運動を検出する装置を開示している。

国際公開ＷＯ２０１６／０８００４２号公報

特許文献１に開示されているような赤外線センサは、直接目の動きを検出することによって、瞬き回数や、眼球の振動、閉眼時の眼球方向などを検出するものではあるが、その認識率や検出率が高くないことが知られている。

一方で、検出精度を向上させるためには高精度な検出装置を利用することが考えられるものの、目の活動は広く有用な情報であるため、日常的に検出して得たいという要望もあり、機械的にも価格的にも簡易な装置であることが望まれる。このため、簡易な装置で高精度に目の活動を検出できる検出装置及び検出方法が望まれる。

ある実施の形態に従うと、検出装置は、目の活動を検出する検出装置であって、目の近傍の複数個所の皮膚の動きを検出可能なセンサと、センサからの信号を用いて目の活動を算出する演算部と、を備える。

ある実施の形態に従うと、検出方法は、目の近傍の複数個所の皮膚の動きをセンシングし、センシングの結果に基づいて、目の活動を判定する。

更なる詳細は、後述の実施形態として説明される。

図１は、実施の形態に係る検出装置の構成の具体例を表した概略図である。図２は、検出装置の演算部として機能する演算装置の機能構成の一例を表した概略ブロック図である。図３は、実施の形態に係る検出方法の一例を表したフローチャートである。図４は、検出対象とする目の活動が瞬きであるときの学習データの学習方法を表した図である。図５は、瞬き時のセンサによるセンシング結果を表したグラフである。図６は、発明者による瞬きの検出精度を検証する評価実験の概要を説明するための図である。図７は、発明者による瞬きの検出精度を検証する評価実験の結果を示したグラフである。図８は、検出対象とする目の活動が眼球の向きであるときの学習データの学習方法を表した図である。図９は、発明者による眼球の向きの検出精度を検証する評価実験の概要を説明するための図である。図１０は、発明者による眼球の向きの検出精度を検証する評価実験の結果を示したグラフである。図１１は、発明者による眼球の向きの検出精度を検証する評価実験の結果を示したグラフである。図１２は、検出対象とする目の活動が眼球の移動方向であるときの学習データの学習方法を表した図である。図１３は、発明者による眼球の移動方向の検出精度を検証する評価実験の概要を説明するための図である。図１４は、発明者による眼球の移動方向の検出精度を検証する評価実験の結果を示したグラフである。図１５は、発明者による眼球の移動方向の検出精度を検証する評価実験の結果を示したグラフである。

＜１．検出装置及び検出方法の概要＞

（１）ある実施の形態に従う検出装置は、目の活動を検出する検出装置であって、目の近傍の複数個所の皮膚の動きを検出可能なセンサと、センサからの信号を用いて目の活動を算出する演算部と、を備える。目の活動は、瞼の動きや眼球の運動などである。具体的には、瞬きや眼球の向きや眼球の動く方向などである。目の近傍の複数個所は、例えば、目の上及び目の下、又は、目の上及び目の下それぞれの複数個所などの、目の周囲である。

目の近傍の複数個所の皮膚は、目の活動によって影響を及ぼされる。そのため、これら皮膚の動きを検出することで、目の活動を検出可能であることを発明者は見出した。皮膚の動きは、例えば、皮膚までの距離を測定することで得られる。その場合、目の活動の検出に必要なセンサは、赤外線距離センサなど、目の近傍の複数個所の皮膚までの距離を測定するためのセンサとなる。これにより、電位を利用したり、画像解析を行ったりして目の活動を検出する装置よりも安価にすることができる。また、高精度で検出されることは、後述する発明者による評価実験により検証された。

（２）好ましくは、演算部が目の活動を算出することは、目の活動の算出に用いるために、センサによって検出された複数個所の皮膚の動きから、１又は複数の皮膚の動きの検出結果を用いることを含む。これにより、高精度で目の活動を検出することができる。

（３）好ましくは、目の活動は眼球の運動を含み、演算部は、センサによって検出された複数個所の皮膚の動きから、複数の皮膚の動きの検出結果を用いて眼球の運動を判定する。

（４）好ましくは、眼球の運動を判定することは、複数の皮膚の動きの検出結果から得られた特徴量を演算モデルに入力し、演算モデルからの出力を得ることを含み、演算モデルは、入力値としての複数個所の皮膚の動きを表す特徴量、及び、出力値としての複数個所の皮膚の動きに対応した眼球の運動を学習データとして得られた機械学習モデルである。眼球の運動は、例えば、眼球の向きや眼球の移動方向などである。機械学習モデルを用いることで、容易で高精度に眼球の運動が検出される。

（５）好ましくは、センサは、皮膚までの距離を検出する距離センサを含む。距離センサは、例えば、赤外線距離センサなどである。これにより、検出装置を安価に構成することができる。

（６）好ましくは、目の近傍の複数個所は、目の上と、目の下と、を含む。これにより、高精度で目の活動を検出することができる。これにより、精度よく目の活動を検出できる。

（７）好ましくは、目の近傍の複数個所は、目の上及び目の下それぞれの複数個所を含む。これにより、精度よく目の活動を検出できる。

（８）好ましくは、検出装置は、センサの検出範囲が目の近傍となるように被検者の顔に装着可能なメガネ型である。メガネ型とすることで、被験者は装着しやすく、長時間の装着の負担を抑えることができる。それにより、長期にわたる目の活動の検出が可能になる。

（９）ある実施の形態に従う検出方法は、目の近傍の複数個所の皮膚の動きをセンシングし、センシングの結果に基づいて、目の活動を判定する。この検出方法で検出することにより、検出装置を安価にすることができるとともに、目の活動が高精度で検出されることは、後述する発明者による評価実験により検証された。

＜２．検出装置及び検出方法の例＞

本実施の形態に係る検出装置１００は、目の活動を検出する検出装置である。目の活動は、瞼の動きや眼球の運動などである。具体的には、瞬きや眼球の向きや眼球の移動方向などである。

図１を参照して、本実施の形態に係る検出装置１００は、複数のセンサ３１－１～３２－１２を有する。これらセンサ３１－１～３２－１２は、メガネ型センサを構成している。具体的には、図１に示されたように、センサ３１－１～３１－１２は、メガネ３０の右目用レンズＬＡのリムに装着され、センサ３２－１～３２－１２は、メガネ３０の左目用レンズＬＢのリムに装着されている。メガネ型センサとすることで、ユーザは装着しやすく、長時間の装着の負担を抑えることができる。それにより、長期にわたる目の活動の検出が可能になる。

センサ３１－１～３２－１２は、目の近傍の複数個所の皮膚の動きを検出可能なセンサである。目の近傍の複数個所は、少なくとも、目の上と目の下とを含む。好ましくは、目の近傍の複数個所は、目の上及び目の下それぞれの複数個所を含む。一例として、図１に示されたように、センサ３１－１～３１－１２及びセンサ３２－１～３２－１２は、メガネ３０の右目用レンズＬＡ及び左目用レンズＬＢそれぞれのリムに、目の周囲に概ね均等となるように配置されている。具体的には、センサ３１－１～３１－５は、右目の上の目頭から眦に向けて均等に、センサ３１－７～３１－１１は右目の下の眦から目頭に向けて均等に、センサ３１－６は眦の横、及び、センサ３１－１２は目頭の横に配置されている。

センサ３１－１～３２－１２での皮膚の動きの検出は、一例として、皮膚までの距離を測定することを含む。具体例として、センサ３１－１～３２－１２は、赤外線距離センサである。赤外線距離センサを用い、測定された距離を用いて後述のように目の活動を検出することで、電位を用いたり画像解析を行ったりする場合よりも安価に装置を構成することができる。

センサ３１－１～３２－１２は目の近傍に配置されることによって目の近傍の複数個所において皮膚までの距離を測定する。具体例として、図１のＡ－Ａ断面図に示されているように、右目の上に配置されたセンサ３１－３は右目の上瞼までの距離を測定し、右目の下に配置されたセンサ３１－９は右目の下瞼までの距離を測定する。

検出装置１００は、さらに、演算装置１０を有する。演算装置１０はセンサ３１－１～３２－１２と無線又は有線にて接続されて、センサ３１－１～３２－１２からセンシング結果を示すセンサ信号を受信する。センサ信号は、それぞれの位置での皮膚までの距離を示している。演算装置１０は、センサ３１－１～３２－１２からの信号を用いて目の活動を算出する演算部として機能する。

なお、演算装置１０は、図１に示されたような一般的なコンピュータであってもよいし、インターネットなどの通信網を介してセンサ３１－１～３２－１２と接続されたサーバなどであってもよい。また、演算装置１０は、スマートフォンなどの端末装置であってもよいし、メガネ２０に搭載され得る小型の演算装置であってもよい。

図２を参照して、演算装置１０は、プロセッサ１１とメモリ１２とを有するコンピュータで構成される。プロセッサ１１は、例えば、ＣＰＵである。メモリ１２は、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、ＲＡＭなどを含む。または、メモリ１２は、一次記憶装置であってもよいし、二次記憶装置であってもよい。メモリ１２は、プロセッサ１１で実行されるプログラム１２２を記憶している。

演算装置１０は、センサ３１－１～３２－１２からのセンサ信号を受信するための通信装置１３をさらに有する。通信装置１３は、センサ３１－１～３２－１２からのセンサ信号を受信し、プロセッサ１１に渡す。つまり、通信装置１３は、センサ３１－１～３２－１２からのセンサ信号の入力部として機能する。

好ましくは、メモリ１２は、ユーザデータ１２１を記憶している。ユーザデータ１２１は、目の活動を検出するためにメガネ３０を装着するユーザ（以下、被検者）ごとの、後述する判定処理１１４に用いる学習モデル１１５の識別情報を含む。この場合、プロセッサ１１は、判定処理１１４の実行の際に、被験者に応じた学習モデル１１５を用いることができる。

プロセッサ１１は、メモリ１２に記憶されているプログラム１２２を実行することによって、被験者の目の活動を検出する検出処理を実行する。検出処理は、特徴量抽出処理１１１を含む。特徴量抽出処理１１１は、通信装置１３がセンサ３１－１～３２－１２から受信したセンサ信号から特徴量を抽出する処理である。プロセッサ１１は、検出対象とする目の活動の種類に応じた特徴量を抽出する。このとき、プロセッサ１１は、センサ３１－１～３２－１２のうちの複数のセンサ信号を用い、一例として、すべてのセンサからのセンサ信号を用いる。なお、詳細は後述する。

検出処理は、さらに判定処理１１４を含む。判定処理１１４は、検出対象の目の活動の有無や内容を判定する処理である。詳しくは、検出対象の目の活動が瞬きであった場合、目の活動の判定は瞬きの判定を含み、瞬きの判定は、瞬きのあったことを判定することや、瞬きのあったことに基づいて回数を判定すること、を含む。検出対象の目の活動が眼球の運動であった場合には、目の活動の判定は眼球の運動の判定を含み、眼球の運動の判定は、眼球の向きを判定することや、眼球の動く方向を判定すること、を含む。

好ましくは、判定処理１１４では、学習モデル１１５を用いる。具体的には、判定処理１１４は、学習モデル１１５に特徴量抽出処理１１１で抽出された特徴量を入力し、学習モデル１１５からの出力を得ることを含む。

学習モデル１１５は、図４等に表されたように、入力データＴ１と出力データＴ２との教師データを用いて機械学習された機械学習モデルである。入力データＴ１はセンサ３１－１～３２－１２のセンサ信号から得られた特徴量であって、後述するように、検出対象の目の活動に応じた特徴量である。詳細は、検出対象の目の活動ごとに後述する。好ましくは、学習モデル１１５は被験者に応じた教師データを用いて機械学習されている。これにより、検出精度の向上が期待される。

好ましくは、検出処理は、出力制御処理１１７を含む。出力制御処理１１７は、判定処理１１４での判定結果を、演算装置１０に含まれる出力装置１４で出力するために出力装置１４を制御する処理である。出力装置１４は、ディスプレイやスピーカや他の装置への送信装置などである。これにより、検出装置１００での検出結果を外部から把握できる。

検出装置１００では、図３のフローチャートに示される検出方法にて被検者の目の活動が検出される。詳しくは、図３を参照して、メガネ３０を装着した被検者の目の近傍の複数個所について、それぞれセンサ３１－１～３２－１２によって皮膚までの距離を測定する（ステップＳ１）。測定された距離を示すセンサ３１－１～３２－１２からのセンサ信号は、演算装置１０に入力される(ステップＳ２）。

ここで、検出装置１００では、目の活動として、瞬き、眼球の向き、眼球の移動方向などの複数種類の活動を検出することが可能であり、後述する発明者による評価実験において、それぞれ高精度で検出可能であることが検証されている。そこで、好ましくは、演算装置１０は、検出対象とする目の活動の指定を受け付けて、その指定に応じて以降の処理での演算を異ならせる。

センサ信号の入力を受け付けた演算装置１０では、プロセッサ１１がプログラム１２２を実行することによって、センサ信号から特徴量を抽出する処理が行われる（ステップＳ３）。好ましくは、ステップＳ３でプロセッサ１１は、センサ３１－１～３２－１２それぞれからのセンサ信号のうちの複数のセンサ信号を用いて特徴量を抽出する。上記のように、検出対象とする目の活動の種類の指定を受け付けた場合、ステップＳ３でプロセッサ１１は、検出対象とする目の活動の種類に応じた特徴量を抽出する。

プロセッサ１１は、ステップＳ３で抽出した特徴量を用いて、被験者の目の活動を判定する（ステップＳ４）。ステップＳ４では、具体的に、ステップＳ３で抽出した特徴量を学習モデル１１５に入力し（ステップＳ４１）、学習モデル１１５から出力値を得る（ステップＳ４２）。このとき、検出対象とする目の活動の種類の指定を受け付けた場合、ステップＳ４の処理は、検出対象とする目の活動の種類に応じて機械学習された学習モデル１１５を選択することを含む。また、被験者ごとに学習モデル１１５が用意されている場合には、ステップＳ４の処理は、被験者に応じた学習モデル１１５を選択することを含む。

（瞬きの検出）

ここで、目の活動として瞬きを検出する場合について説明する。図４を参照して、目の活動として瞬きを検出する場合、学習モデル１１５の機械学習に用いられる教師データには、一例として、瞬き時の目の周囲をセンシングしたセンサ３１－１～３２－１２のセンサ信号から得られた特徴量を入力データＴ１とし、「瞬きあり」という判定結果を出力データＴ２として用いた。

図５の曲線Ｌ１は、瞬き時のセンサ３１－１～３２－１２のうちの１つのセンサによるセンシング結果を表している。図５において、縦軸は皮膚までの距離の測定結果を正規化した値であり、横軸は時間である。つまり、図５には、瞬き時の目の近傍のある位置での皮膚までの距離の時間変化が表されている。曲線Ｌ２は、曲線Ｌ１の微分値を表している。

発明者は、曲線Ｌ１，Ｌ２を分析することで、曲線Ｌ２で示される微分値がマイナスの区間では瞼を閉じる運動が行われ、微分値がプラスの区間では瞼を開ける運動が行われていることを見出した。このことから、微分値のプラスとマイナスとが反転する時点が瞼の開閉運動の折り返し時点となることを見出した。具体的には、図５において、点Ｐ１が瞬きの開始、点Ｐ２が瞬きの終了、及び、点Ｐ３が折り返し点、つまり、瞼が開く時点に相当している。

本実施の形態に係る検出装置１００では、発明者の見出したこの原理を利用して学習モデル１１５が機械学習されている。すなわち、特徴量として、センシング結果の曲線Ｌ１そのもの、又は、その微分値である曲線Ｌ２の値を入力データＴ１として用いて、微分値がプラスからマイナスに変化した点を瞬きの開始点Ｐ１、マイナスからプラスに変化した点を瞬きの折り返し点Ｐ３、及び、プラスの変化が所定以上小さくなった点を瞬きの終了点Ｐ２として１回の瞬きとして機械学習されている。

なお、機械学習の際に、曲線Ｌ１の値が領域Ｒである範囲において、曲線Ｌ１の値に閾値を設け、閾値以上で瞬きの折り返し点として検出された点をノイズとして除いて機械学習してもよい。曲線Ｌ１の値が領域Ｒである範囲は瞼が開いている状態であるため、瞬きの折り返し点は存在しないためである。これにより、瞬きの検出精度を向上させることができる。

好ましくは、センサ３１－１～３２－１２のうちセンシングされる距離の差が閾値以上のセンサを機械学習に用いる。これにより、目の近傍のうち、皮膚までの距離が瞬きの影響を受けやすい位置のセンシング結果を用いることができ、瞬きの検出精度を向上させることができる。用いるセンサは、瞬きに関して実験的に求められた１又は複数の位置であってもよいし、被験者ごとに実験的に求められるものであってもよい。後者の場合、ユーザデータ１２１は被験者に対応した学習モデル１１５の識別情報を含む。

瞬きを検出する際、プロセッサ１１は、センサ３１－１～３２－１２のうちの特定のセンサのセンサ信号から微分値である特徴量を抽出し、図４のように学習された学習モデル１１５に入力する。プロセッサ１１は、学習モデル１１５から「瞬きあり」の出力値を得ることで、瞬きを検出する。また、一連のセンサ信号から得られる一連の特徴量を入力して学習モデル１１５から得られる「瞬きあり」の出力値をカウントすることで、瞬きの回数を検出する。

発明者は、検出装置１００での瞬きの検出精度を検証するための評価実験を行った。具体的に、図６に示されるように、ディスプレイ２００に相対して座し、正面を向いた被検者Ｈが、顔の向きを変化させずにディスプレイ２００に表された１５点それぞれを注視した状態で２０回、１秒１回のペースで瞬きを行い、その期間をセンシングした。

このとき、被検者Ｈの瞬き時のセンシング結果より、センサ３１－１～３２－１２のうちの瞬きの検出精度の最も高いセンサを検出用のセンサとした。学習モデル１１５の学習には被検者Ｈの、検出用センサでのセンシング結果を用いた。

図７は、評価実験の結果として、１５点それぞれの正解率を示している。正解率は、瞬きの回数（２０回）に対する検出された瞬きの回数の比率であって、１００％が２０回すべて検出を表している。図７に示されたように、検出装置１００では、概ねすべての点において１００％又は１００％に近い正解率であった。従って、本検出装置１００を用いることによって高精度で瞬きが検出されることが検証された。

（眼球の運動（眼球の向き）の検出）

次に、目の活動として眼球の運動、特に眼球の向きを検出する場合について説明する。眼球の向きは、視線の向きに相当する。発明者は、眼球が特定の方向を向いた状態で目の近傍の皮膚がその向きに特有に変化するため、眼球の向きが皮膚までの距離のセンシング結果で表されるということを見出した。

そこで、目の活動として眼球の向きを検出する場合、図８を参照して、学習モデル１１５の機械学習に用いられる教師データには、特定の方向に眼球を向けた状態で目の周囲をセンシングしたセンサ３１－１～３２－１２のセンサ信号から得られた特徴量を入力データＴ１とし、その特定の方向を出力データＴ２として用いた。

一例として、図８を参照して、ディスプレイ２００に配置された複数のマーク１－１～３－３それぞれに眼球を向けるようにして眼球の向きを９分割し、各方向での特徴量を入力データＴ１とした。この場合に用いる特徴量は、目の近傍の複数個所の皮膚の状態を表すものであり、一例として、図８の折れ線グラフで示されたような、各センサ３１－１～３２－１２から同タイミングに得られたセンサ値である。好ましくは、センサ信号に対して平滑化処理を行ってノイズを軽減させて用いる。図８のグラフでは、方向ごとに各センサからのセンサ値が示されている。

眼球の向きを検出する際、プロセッサ１１は、センサ３１－１～３２－１２から同タイミングに得られたセンサ値を特徴量とし、図８のように機械学習された学習モデル１１５に入力する。プロセッサ１１は、学習モデル１１５から方向の出力値を得ることで、眼球の向きを検出する。

発明者は、検出装置１００での眼球の向きの検出精度を検証するための評価実験を行った。具体的に、図９に示されるように、ディスプレイ２００に相対して座し、正面を向いた被検者Ｈが、顔の向きを変化させずにディスプレイ２００に表された１５点それぞれを３０秒ずつ注視し、その期間をセンシングした。各点間の角度変化は概ね１１度である。学習モデル１１５の学習には被検者Ｈの、検出用センサでのセンシング結果を用いた。

図１０は、評価実験の結果として、１５点それぞれの認識精度を示している。認識精度は、Ｋ近傍法（Ｋｎｎ：K Nearest Neighbor）、サポートベクターマシン（ＳＶＭ：support vector machine）、決定木（Decision Tree）、及び、ランダムフォレスト（Random Forest）それぞれの分類器を用いた場合のＦ値で表している。また、図１０の右端は、１５点の平均を表している。図１１は、分類器ごとの１５点のＦ値の平均値であって、図１０の右端の結果を拡大したものである。

図１０の結果より、いずれの方向も精度の高い分類器では、Ｆ値が０．９程度であった。なお、図１１の結果より、分類器による評価にばらつきが生じることもわかった。従って、この評価実験より、本検出装置１００を用いることによって高精度で眼球の向きが検出されることが検証された。

（眼球の運動（眼球の移動方向）の検出）

次に、目の活動として眼球の運動、特に眼球の移動方向を検出する場合について説明する。発明者は、眼球の移動方向は眼球の向きの変化で表されるという視点に立ち、眼球の向きが皮膚までの距離のセンシング結果で表されるという発明者の見出した原理より、眼球の移動方向が短い時間間隔でのセンサ値の変化量から得られることを見出した。

そこで、目の活動として眼球の移動方向を検出する場合、図１２を参照して、学習モデル１１５の機械学習に用いられる教師データには、例えば、上下左右などの特定の方向に眼球を移動させた際の特徴量を入力データＴ１とした。この場合に用いる特徴量は、目の近傍の複数個所の皮膚の状態の変化を表すものであり、一例として、図１２の折れ線グラフで示されたような、各センサ３１－１～３２－１２について一定期間の最初のセンサ値と最後のセンサ値との差分、などである。好ましくは、センサ信号に対して平滑化処理を行ってノイズを軽減させて用いる。一定期間は、例えば、０．３秒程度である。図１２のグラフでは、上下左右それぞれについて、各センサからの一定期間の最初のセンサ値と最後のセンサ値との差分が示されている。

眼球の移動方向を検出する際、プロセッサ１１は、センサ３１－１～３２－１２から一定期間に得られたセンサ値から上記の特徴量を抽出し、図１２のように機械学習された学習モデル１１５に入力する。プロセッサ１１は、学習モデル１１５から移動方向の出力値を得ることで、眼球の移動方向を検出する。

発明者は、検出装置１００での眼球の向きの検出精度を検証するための評価実験を行った。具体的に、図１３に示されたように、ディスプレイ２００に相対して座し、正面を向いた被検者Ｈが、顔の向きを変化させずにディスプレイ２００に表された４点のうちの２点間で視線移動を行い、その期間をセンシングした。１回の移動は２～３秒で行い、各方向合計２０秒となる回数、行った。学習モデル１１５の学習には被検者Ｈの、検出用センサでのセンシング結果を用いた。

図１４は、評価実験の結果として、下方向、左方向、右方向、上方向それぞれの認識精度を示している。認識精度は、Ｋ近傍法（Ｋｎｎ：K Nearest Neighbor）、サポートベクターマシン（ＳＶＭ：support vector machine）、決定木（Decision Tree）、及び、ランダムフォレスト（Random Forest）それぞれの分類器を用いた場合のＦ値で表している。図１５は、分類器ごとの４方向のＦ値の平均値である。

図１４の結果より、いずれの方向も精度の高い分類器では、Ｆ値が０．９程度であった。また、図１５の結果より、４方向の平均で見ると分類器による評価にばらつきが大きくは生じないこともわかった。従って、この評価実験より、本検出装置１００を用いることによって高精度で眼球の移動方向が検出されることが検証された。

＜３．付記＞
本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。

１０：演算装置
１１：プロセッサ
１２：メモリ
１３：通信装置
１４：出力装置
３０：メガネ
３１－１：センサ
３１－２：センサ
３１－３：センサ
３１－４：センサ
３１－５：センサ
３１－６：センサ
３１－７：センサ
３１－８：センサ
３１－９：センサ
３１－１０：センサ
３１－１１：センサ
３１－１２：センサ
３２－１：センサ
３２－２：センサ
３２－３：センサ
３２－４：センサ
３２－５：センサ
３２－６：センサ
３２－７：センサ
３２－８：センサ
３２－９：センサ
３２－１０：センサ
３２－１１：センサ
３２－１２：センサ
１００：検出装置
１１１：特徴量抽出処理
１１４：判定処理
１１５：学習モデル
１１７：出力制御処理
１２１：ユーザデータ
１２２：プログラム
２００：ディスプレイ
Ｈ：被検者
ＬＡ：右目用レンズ
ＬＢ：左目用レンズ
Ｐ１：開始点
Ｐ２：終了点
Ｐ３：折り返し点
Ｒ：領域
Ｔ１：入力データ
Ｔ２：出力データ

Claims

目の活動を検出する検出装置であって、
目の近傍の複数個所の皮膚までの距離を検出する複数の赤外線距離センサと、
前記複数の赤外線距離センサからの信号を用いて前記目の活動を算出する演算部と、を備え、
前記演算部によって算出される前記目の活動は、視線の移動方向を含み、
前記演算部は、
前記目の近傍の前記複数個所の皮膚までの前記距離それぞれのセンシング結果を示す複数のセンサ信号を受信し、
前記複数のセンサ信号から、前記複数個所の皮膚の状態変化を表す特徴量を抽出し、
前記特徴量は、前記複数の赤外線距離センサからの一定期間の最初の前記センサ信号と最後の前記センサ信号との差分を含み、
前記複数個所の皮膚の状態変化を表す前記特徴量を演算モデルに入力し、前記演算モデルの出力として前記視線の移動方向の判定結果を得るよう構成され、
前記演算モデルは、入力値としての前記複数個所の皮膚の状態変化を表す特徴量、及び、出力値としての前記特徴量に対応した視線の移動方向を、学習データとして得られた機械学習モデルであり、
前記判定結果は、前記視線の移動方向の判定結果として、上方向・下方向・左方向・右方向の判定結果を含み、
前記目の近傍の複数個所は、目の上及び目の下それぞれの左右方向の複数個所並びに目の左右のそれぞれの箇所を含み、
前記特徴量は、目の上及び目の下それぞれの左右方向の複数個所並びに目の左右のそれぞれの箇所の状態変化を表す、
検出装置。
前記演算部によって算出される前記目の活動は、瞬き及び視線の向きを更に含む
請求項１に記載の検出装置。
前記演算モデルに入力される前記特徴量は、判定される前記目の活動の種類に応じた特徴量である
請求項２に記載の検出装置。
前記赤外線距離センサの検出範囲が前記目の近傍となるように被検者の顔に装着可能なメガネ型である
請求項１～３のいずれか一項に記載の検出装置。
目の近傍の複数個所の皮膚までの距離を複数の赤外線距離センサによってセンシングし、
前記複数の赤外線距離センサによる前記センシングの結果を示す複数のセンサ信号を演算部が受信し、
前記演算部が、前記複数のセンサ信号から、前記複数個所の皮膚の状態変化を表す特徴量を抽出し、
前記演算部が、前記複数個所の皮膚の状態変化を表す前記特徴量を演算モデルに入力し、前記演算モデルの出力として視線の移動方向の判定結果を得る、
ことを備え、
前記特徴量は、前記複数の赤外線距離センサからの一定期間の最初の前記センサ信号と最後の前記センサ信号との差分を含み、
前記演算モデルは、入力値としての前記複数個所の皮膚の状態変化を表す特徴量、及び、出力値としての前記特徴量に対応した視線の移動方向を、学習データとして得られた機械学習モデルであり、
前記判定結果は、前記視線の移動方向の判定結果として、上方向・下方向・左方向・右方向の判定結果を含み、
前記目の近傍の複数個所は、目の上及び目の下それぞれの左右方向の複数個所並びに目の左右のそれぞれの箇所を含み、
前記特徴量は、目の上及び目の下それぞれの左右方向の複数個所並びに目の左右のそれぞれの箇所の状態変化を表す、
検出方法。