JP7435774B2 - 情報入力装置 - Google Patents

Description

本発明は、情報を入力するための情報入力装置に関する。

重度の四肢障害を抱えた人が、コンピュータなどの情報処理機器へ情報を入力する装置として、視線入力インターフェースが実用化されている（非特許文献１）。 健常者が日常用いている情報へアクセスするためには、健常者が通常用いるような、マウスなどのユーザインターフェースが備えるようなポインティングデバイスの機能が必要である。つまり、情報へのアクセスのためには、コンピュータの画面上に表示されるポインタやアイコンを操作するための機能として、ポインタの移動操作、クリック相当の動作（クリック、プレス、ドラッグ、ドロップ）を備えることが必要である（非特許文献２）。

下り藤菜穂子 著、「特集B 障がい者支援と映像、2章 重度障がい者のための視線入力インタフフェース」、映像情報メディア学会誌 Vol. 69, No. 6, pp. 530-534、２０１５年。 今野 秀威 他、「両眼の位置検出を利用した多次元操作インターフェースの検討」、映像情報メディア学会誌、Vol. 61、No. 4、pp. 518～525、２００７年。

従来の技術では、アイトラッカーを用いた視線の注視により、ポインタの移動操作を実現し、まばたきによって、クリック相当の動作を実現するなどの例がある。しかしながら、従来の技術では、ユーザの意図とは異なる不随意性運動によって、ポインティング機能に誤作動が生じる場合がある。例えば、ユーザが、意図と異なりまばたきをした場合、装置は、クリック相当の動作を認識してしまう。このため、ユーザは、不随意性運動が起こらないよう注意して装置を使用することが必要となる。従来の技術では、ユーザは、装置の使用中、意図と異なるまばたきを制限せざるを得ないような状況となり、疲労感などユーザの負担が大きいものであった。

本発明は、以上のような問題点を解消するためになされたものであり、ユーザの負担を低減して、ユーザにとって自然な形態で情報が入力できるようにすることを目的とする。

本発明に係る情報入力装置は、メガネフレームと、メガネフレームの鼻あておよびリムの少なくとも１つに設けられ、被着者のまぶたまたは眉の動きによる電気信号を測定するための測定電極と、メガネフレームに設けられ、メガネフレームのたわみを検出するたわみ検出部と、測定電極で測定した電気信号を元に、被着者のまぶたまたは眉の動きの発生を判定する第１判定部と、たわみ検出部がメガネフレームのたわみを検出すると、被着者の顔面の動きの発生を判定する第２判定部と、第１判定部が被着者のまぶたまたは眉の動きの発生を判定し、同時に、第２判定部が被着者の顔面の動きの発生を判定すると、被着者のメガネフレームの操作によるコマンドを出力する出力部とを備える。

以上説明したように、本発明によれば、第１判定部で、メガネフレームの被着者のまぶたまたは眉の動きの発生を判定し、第２判定部で、メガネフレームの被着者の顔面の動きの発生を判定するので、ユーザの負担を低減して、ユーザにとって自然な形態で情報が入力できるようになる。

図１Ａは、本発明の実施の形態１に係る情報入力装置の構成を示す構成図である。 図１Ｂは、本発明の実施の形態１に係る他の情報入力装置の構成を示す構成図である。 図２は、本発明の実施の形態２に係る情報入力装置の構成を示す構成図である。

以下、本発明の実施の形態に係る情報入力装置について説明する。

［実施の形態１］
はじめに、本発明の実施の形態１に係る情報入力装置について、図１Ａ、図１Ｂを参照して説明する。この情報入力装置は、メガネフレーム１０１、測定電極１０２、たわみ検出部１０４、第１判定部１２１、第２判定部１２２、および出力部１２３を備える。また、この情報入力装置は、メガネフレーム１０１のモダンに設けられ、モダンの部分で、メガネフレーム１０１の被着者の皮膚に接触する共通電極１０５を備える。共通電極１０５は、２つのモダンの少なくとも一方に設けることもできる。

測定電極１０２は、メガネフレーム１０１の鼻あてに設けられ、被着者のまぶたまたは眉の動きによる電気信号の測定に用いられる。測定電極１０２は、メガネフレーム１０１の鼻あてにおいて被着者の皮膚に接し、接している箇所の電位を測定するために用いられる。また、図１Ｂに示すように、メガネフレーム１０１のリムに、測定電極１０３を設けることもできる。この場合、測定電極１０３は、メガネフレーム１０１のリムにおいて被着者の皮膚に接し、接している箇所の電位を測定するために用いられる。

たわみ検出部１０４は、メガネフレーム１０１に設けられ、メガネフレーム１０１のたわみを検出する。たわみ検出部１０４は、例えば、メガネフレーム１０１のブリッジに設けることができる。一般に人間が顔面を動かす場合、例えば、耳を動かす際、前頭筋、耳介筋、側頭筋、後頭筋へ意識を向けることで随意性運動となることが知られている。これらの筋肉が動いた際、側頭部と眉間との間に変位が生ずる。この変位に対応してメガネフレーム１０１がたわむので、たわみ検出部１０４このたわみを検出する。例えば、「SpectraSymbol」社製の薄膜型変位センサ（曲げセンサ）からたわみ検出部１０４を構成することができる。

主に、前頭筋、耳介筋、側頭筋、後頭筋へ動作するよう意識を向けることにより、耳を随意的に前後へ動かすことが可能である。例えば、被着者が耳を前後に動かした場合、これに対応してメガネフレーム１０１には耳の前後の変位により応力が発生する。この応力をたわみ検出部１０４により検出することで、被着者の耳の前後運動が検出できる。

また、主に、皺眉筋、前頭筋、鼻根筋、眼輪筋、側頭筋、鼻筋に意識を向けることにより、随意性運動として眉を上下に動かすことが可能である。例えば、被着者が眉を意識して動かしたことによる変位により、メガネフレーム１０１に応力が発生する。この応力をたわみ検出部１０４により検出することで、被着者が眉を上下に動かす所作が検出できる。

第１判定部１２１は、共通電極１０５をグランド電位として、測定電極１０２で測定した電気信号を元に、被着者のまぶたまたは眉の動きの発生を判定する。第１判定部１２１は、測定電極１０２から得られた電位信号を増幅し、増幅された信号からノイズなどを除去した後、例えば眼電図信号を取り出し、取り出した眼電図信号と、記憶している基準信号とを比較することで、被着者のまぶた、または眉の動きの発生を判定する。

ここで、表情筋の筋電信号は、同一の被験筋でも動作毎に振幅が異なるので、各被験筋の特徴抽出を行うことが重要となる（参考文献１参照）。特徴抽出では、例えば、測定されて処理の処理がなされた信号波形から整流平滑信号を得、得られた整流平滑信号の波形から時間変化を求め、上述した特徴抽出を行う。

第２判定部１２２は、たわみ検出部１０４がメガネフレーム１０１のたわみを検出すると、被着者の顔面の動きの発生を判定する。第２判定部１２２は、たわみ検出部１０４から得られた電位信号を増幅し、増幅された信号からノイズなどを除去した後、ノイズなどを除去した信号と、記憶している基準信号とを比較することで、メガネフレーム１０１におけるたわみの発生を判定する。

ところで、前述した、たわみ検出部１０４で検出される被着者が眉を上下に動かす所作と、測定電極１０２で測定された電気信号で判定される眉の動きとは、各々異なる動きとなる。例えば、たわみ検出部１０４で検出される被着者が眉を上下に動かす所作は、この所作において同時に発生する顔面の他の動きを伴い、この結果、メガネフレーム１０１に応力を発生させるものとなる。一方、測定電極１０２で測定された電気信号で判定される眉の動きは、顔面の他の動きを伴うことがなく、メガネフレーム１０１に応力を発生させることがない。

なお、各判定部においては、測定された信号のデジタル化処理を実施することもできる。また、各判定部においては、取得した信号の加減処理を実施することもできる。また、各判定部は、必要に応じて、被着者の識別管理を行うこともできる。

出力部１２３は、第１判定部１２１が被着者のまぶたまたは眉の動きの発生を判定し、同時に、第２判定部１２２が被着者の顔面の動きの発生を判定すると、被着者のメガネフレーム１０１の操作によるコマンドを出力する。また、出力部１２３は、測定している信号の有無や、出力されて外部装置にて処理された信号を、音声や振動などにより被着者にフィードバックする機能を有する。

また、出力部１２３は、各判定部により処理された信号を、スマートフォンやタブレット端末、パーソナルコンピュータなどの外部装置に送信することもできる。例えば、出力部１２３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮなどの無線通信、あるいは、有線通信によって、各信号を外部装置に送信する。また、出力部１２３は、外部装置にて処理され送信された信号を受信する機能を備えることもできる。

各判定部および出力部１２３は、ＣＰＵ（Central Processing Unit；中央演算処理装置）と主記憶装置と外部記憶装置とネットワーク接続装置となどを備えたコンピュータ機器から構成することができる。主記憶装置に展開されたプログラムによりＣＰＵが動作する（プログラムを実行する）ことで、上述した各機能が実現されるようにすることができる。

上述した実施の形態１によれば、被着者のまぶたまたは眉の動きと、被着者の顔面の動きとの、独立した２種類の異なる随意性運動を測定し、これらが同時に測定（検出）された場合に、ポインティング機能をアクティブにするなどのコマンドを出力する。この結果、ユーザのジェスチャの一方が不随意性運動となってしまった場合には、装置が反応せず、誤作動が発生しないようにすることが可能となる。顔の筋肉は、骨と皮膚を結んでおり、複雑な表情を作り出すことができる。一方で、２つの動作で複数の筋が連動するという特徴を持つ。このような顔面の筋と骨格構造に対して、被着者が、２種類の異なる随意運動を機能解剖学的に独立かつ自然に発生させることができる。

［実施の形態２］
次に、本発明の実施の形態２に係る情報入力装置について、図２を参照して説明する。この情報入力装置は、メガネフレーム１０１、第１鼻あて電極１０２ａ、第２鼻あて電極１０２ｂ、第１リム電極１０３ａ、第２リム電極１０３ｂ、たわみ検出部１０４、第１判定部１２１ａ、第２判定部１２２、および出力部１２３を備える。また、この情報入力装置は、共通電極１０５を備える。たわみ検出部１０４、第２判定部１２２、および共通電極１０５は、前述した実施の形態１と同様である。

第１鼻あて電極１０２ａ、第２鼻あて電極１０２ｂは、メガネフレーム１０１の２つの鼻あての各々に設けられ、各々の鼻当ての部分で被着者の皮膚に接触する。第１リム電極１０３ａ、第２リム電極１０３ｂは、各々のリムの部分で被着者の皮膚に接触する。実施の形態２では、第１鼻あて電極１０２ａ、第２鼻あて電極１０２ｂ、第１リム電極１０３ａ、第２リム電極１０３ｂにより、測定電極を構成している。これら電極は、被着者のまぶたまたは眉の動きによる電気信号の測定に用いられる。上述した各電極は、アクティブ電極を用いることができる（参考文献２）。

第１判定部１２１ａは、第１鼻あて電極１０２ａ、第２鼻あて電極１０２ｂ、第１リム電極１０３ａ、第２リム電極１０３ｂで測定した電気信号を元に、被着者のまぶたまたは眉の動きの発生を判定する。第１判定部１２１は、上述した構成の第１測定電極の各々から得られた電位信号を増幅し、増幅された信号からノイズなどを除去した後、例えば眼電図信号を取り出し、取り出した眼電図信号と、記憶している基準信号とを比較することで、被着者のまぶた、または眉の動きの発生を判定する。

具体的には、共通電極１０５をグランド電位とし、第１鼻あて電極１０２ａと第１リム電極１０３ａとの差動電位により、右目周辺の表情筋あるいは眼電位を測定（検出）する。また、共通電極１０５をグランド電位とし、第２鼻あて電極１０２ｂと第２リム電極１０３ｂとの差動電位により、左目周辺の表情筋あるいは眼電位を測定（検出）する。また、共通電極１０５をグランド電位とし、第１鼻あて電極１０２ａと第２鼻あて電極１０２ｂとの差動電位、あるいは第１リム電極１０３ａと第２リム電極１０３ｂとの差動電位により、表情筋あるいは眼電位を検出することもできる。

第２判定部１２２は、前述した実施の形態１と同様であり、たわみ検出部１０４がメガネフレーム１０１のたわみを検出すると、被着者の顔面の動きの発生を判定する。

出力部１２３は、第１判定部１２１が被着者のまぶたまたは眉の動きの発生を判定し、同時に、第２判定部１２２が被着者の顔面の動きの発生を判定すると、被着者のメガネフレーム１０１の操作によるコマンドを出力する。また、出力部１２３は、測定している信号の有無や、出力されて外部装置にて処理された信号を、音声や振動などにより被着者にフィードバックする機能を有する。

上述した実施の形態２においても、被着者のまぶたまたは眉の動きと、被着者の顔面の動きとの、独立した２種類の異なる随意性運動を測定し、これらが同時に測定（検出）された場合に、ポインティング機能をアクティブにするなどのコマンドを出力する。この結果、ユーザのジェスチャの一方が不随意性運動となってしまった場合には、装置が反応せず、誤作動が発生しないようにすることが可能となる。

以上に説明したように、本発明によれば、第１判定部で、メガネフレームの被着者のまぶたまたは眉の動きの発生を判定し、第２判定部で、メガネフレームの被着者の顔面の動きの発生を判定するので、ユーザの負担を低減して、ユーザにとって自然な形態で情報が入力できるようになる。

なお、本発明は以上に説明した実施の形態に限定されるものではなく、本発明の技術的思想内で、当分野において通常の知識を有する者により、多くの変形および組み合わせが実施可能であることは明白である。

［参考文献１］市川 かおる、堀 潤一、「筋電信号を用いた顔の動作識別インターフェースシステムの開発」第１０回情報科学技術フォーラム、第２分冊、Ｇ－０１８、５５９－５６０頁、２０１１年。
［参考文献２］BIOPAC SYSTEMS社、「アクティブ電極:TSD150シリーズ」、［令和０２年５月２２日検索］、（http://biopac-sys.jp/products/tsd150a/）。
［参考文献３］山下 利佳 他、「歯の衝撃によって生じる高周波数成分の伝播」、日本補綴歯科学会雑誌、第４３巻、４８９－４９４頁、１９９９年。

１０１…メガネフレーム、１０２…測定電極、１０３…測定電極、１０４…たわみ検出部、１０５…共通電極、１２１…第１判定部、１２２…第２判定部、１２３…出力部。

Claims (4)

1. メガネフレームと、
   前記メガネフレームの鼻あておよびリムの少なくとも１つに設けられ、被着者のまぶたまたは眉の動きによる電気信号を測定するための測定電極と、
   前記メガネフレームに設けられ、前記メガネフレームのたわみを検出するたわみ検出部と、
   前記測定電極で測定した電気信号を元に、前記被着者のまぶたまたは眉の動きの発生を判定する第１判定部と、
   前記たわみ検出部が前記メガネフレームのたわみを検出すると、前記被着者の顔面の動きの発生を判定する第２判定部と、
   前記第１判定部が前記被着者のまぶたまたは眉の動きの発生を判定し、同時に、前記第２判定部が前記被着者の顔面の動きの発生を判定すると、前記被着者の前記メガネフレームの操作によるコマンドを出力する出力部と
   を備える情報入力装置。
2. 請求項１記載の情報入力装置において、
   前記測定電極は、
   前記メガネフレームの鼻あての各々に設けられ、鼻当ての部分で前記被着者の皮膚に接触する第１鼻あて電極および第２鼻あて電極を有することを特徴とする情報入力装置。
3. 請求項１または２記載の情報入力装置において、
   前記測定電極は、
   前記メガネフレームの両眼のリムの各々に設けられ、リムの部分で前記被着者の皮膚に接触する第１リム電極および第２リム電極を有することを特徴とする情報入力装置。
4. 請求項１～３のいずれか１項に記載の情報入力装置において、
   前記メガネフレームのモダンに設けられ、モダンの部分で前記被着者の皮膚に接触する共通電極を備えることを特徴とする情報入力装置。

Images