JP7217841B2 - 操作入力装置及び操作入力方法 - Google Patents

Description

本開示は、操作入力装置及び操作入力方法に関する。

近年、複数の装置の中から操作対象となる装置である操作対象装置を、使用者の視線を用いて設定する操作入力装置について、様々な技術が提案されている（例えば特許文献１～４）。

特開２０１６－１８４２３８号公報 特開２０１２－１０５０３４号公報 特開２０１２－００６５５２号公報 特開２０１６－１８４２３８号公報

操作対象装置の設定の維持及び解除には、使用者が継続して操作しようとする意図が反映されることが好ましい。しかしながら、従来の技術では、そのような意図が十分に反映されておらず、操作対象装置の設定が適切に維持されないという問題があった。

そこで、本開示は、上記のような問題点を鑑みてなされたものであり、操作対象装置の設定を適切に維持可能な技術を提供することを目的とする。

本開示に係る操作入力装置は、使用者の操作を操作対象装置に入力する操作入力装置であって、使用者の操作を取得する第１取得部と、使用者の視線を取得する第２取得部と、第１取得部及び第２取得部でそれぞれ取得された操作及び視線に基づいて、予め定められた複数の装置の中から操作対象装置の設定及び解除を行う制御部とを備え、制御部は、操作対象装置を設定した後、視線が複数の装置のいずれにも向いていないと判定し、かつ、操作対象装置に操作が入力されてから経過した時間である操作経過時間が許容時間以内であると判定した場合に、操作対象装置の設定を維持し、操作対象装置を設定した後、視線が複数の装置のいずれにも向いていないと判定し、かつ、操作経過時間が許容時間となる時点から、視線が第１取得部及び操作マニュアルの少なくともいずれか１つである特定の視線対象に継続して向いていると判定した場合に、操作対象装置の設定を維持する。

本開示によれば、操作対象装置を設定した後、視線が複数の装置のいずれにも向いていないと判定し、かつ、操作経過時間が許容時間以内であると判定した場合に、操作対象装置の設定を維持する。また、操作対象装置を設定した後、視線が複数の装置のいずれにも向いていないと判定し、かつ、操作経過時間が許容時間となる時点から、視線が特定の視線対象に継続して向いていると判定した場合に、操作対象装置の設定を維持する。このような構成によれば、操作対象装置の設定を適切に維持することができる。

本開示の目的、特徴、局面及び利点は、以下の詳細な説明と添付図面とによって、より明白となる。

実施の形態１に係る操作入力装置の構成を示すブロック図である。 実施の形態２に係る操作入力装置の構成を示すブロック図である。 実施の形態２に係る操作入力装置の動作を示すフローチャートである。 実施の形態２に係る操作入力装置の動作の概要を示す図である。 その他の変形例に係る操作入力装置のハードウェア構成を示すブロック図である。 その他の変形例に係る操作入力装置のハードウェア構成を示すブロック図である。 その他の変形例に係るサーバの構成を示すブロック図である。 その他の変形例に係る通信端末の構成を示すブロック図である。

＜実施の形態１＞
図１は、本実施の形態１に係る操作入力装置１の構成を示すブロック図である。図１の操作入力装置１は、予め定められた複数の装置である複数の候補装置５１と有線及び無線の少なくともいずれか１つによって通信可能に接続されおり、第１取得部１１と、第２取得部１２と、制御部１３とを備える。以下で説明するように、操作入力装置１は、複数の候補装置５１の中から操作対象となる装置である操作対象装置を設定して、使用者の操作（操作情報）を操作対象装置に入力する。

第１取得部１１は、使用者の操作（操作情報）を取得する。第１取得部１１には、例えば、リモコン、タッチパッド、ジョイスティック、及び、ボタンなどが用いられてもよい。

第２取得部１２は、使用者の視線を取得する。第２取得部１２には、例えば、使用者の顔を撮影するカメラと、当該カメラで撮影された画像から使用者の視線を視線ベクトルとして検出する画像認識装置とが用いられる。

制御部１３は、第１取得部１１及び第２取得部１２でそれぞれ取得された操作及び視線に基づいて、複数の候補装置５１の中から操作対象装置の設定及び解除を行う。例えば、制御部１３は、第１取得部１１が操作を取得したと判定し、かつ、第２取得部１２で取得された視線が一の候補装置５１に向いていると判定した場合には、当該一の候補装置５１を操作対象装置に設定する。

また、制御部１３は、操作対象装置を設定した後、視線が複数の候補装置５１のいずれにも向いていないと判定した場合には、操作対象装置に操作が入力されてから経過した時間である操作経過時間が許容時間以内であるか否かを判定する。そして、制御部１３は、視線が複数の候補装置５１のいずれにも向いていないと判定し、かつ、操作経過時間が許容時間以内であると判定した場合には、操作対象装置の設定を維持する。

また、制御部１３は、視線が複数の候補装置５１のいずれにも向いていないと判定し、かつ、操作経過時間が許容時間となる時点から、視線が特定の視線対象に継続して向いているか否かを判定する。なお、ここでいう特定の視線対象は、第１取得部１１及び操作マニュアルの少なくともいずれか１つである。操作経過時間が許容時間となる時点は、操作経過時間が、許容時間と完全に同じになる時点であってもよいし、許容時間と実質的に同じになる時点であってもよい。

制御部１３は、操作経過時間が許容時間となる時点から、視線が特定の視線対象に継続して向いていると判定した場合には、操作対象装置の設定を維持する。

＜実施の形態１のまとめ＞
以上のような本実施の形態１に係る操作入力装置１によれば、操作対象装置の設定後に、視線が複数の候補装置５１のいずれにも向いていなくても、操作経過時間が許容時間以内である場合には、操作対象装置の設定が維持される。このような構成によれば、例えば、操作に慣れた使用者は、操作経過時間が許容時間以内であれば、視線を操作対象装置以外に向けながら操作対象装置を操作することができる。

また本実施の形態１によれば、操作経過時間が許容時間を超えても、操作経過時間が許容時間となる時点から、視線が特定の視線対象に向いている場合には、操作対象装置の設定が維持される。このような構成によれば、例えば、操作に不慣れな使用者は、第１取得部１１の操作ボタン及び操作マニュアルなどをじっくり見ながら操作対象装置を操作することができる。

以上により、使用者の操作意図が適切に反映された操作入力装置１、つまり操作対象装置の設定を適切に維持可能な操作入力装置１を実現することができる。

＜実施の形態２＞
図２は、本実施の形態２に係る操作入力装置１の構成を示すブロック図である。本実施の形態２では、操作入力装置１は、車両において用いられるものとし、特定の視線対象は、入力装置１１ａであるものとする。以下、本実施の形態２に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じまたは類似する参照符号を付し、異なる構成要素について主に説明する。

図２の操作入力装置１は、入力装置１１ａと、視線検出装置１２ａと、操作対象判定装置１３ａとを備える。入力装置１１ａ、視線検出装置１２ａ、及び、操作対象判定装置１３ａは、実施の形態１で説明した第１取得部１１、第２取得部１２、及び、制御部１３の概念にそれぞれ含まれる。

入力装置１１ａは、使用者の操作（操作情報）を取得する。

視線検出装置１２ａは、使用者の視線を取得する。視線検出装置１２ａは、例えば、使用者の画像を撮影し、当該画像から使用者の視線を視線ベクトルとして検出する。

操作対象判定装置１３ａは、入力装置１１ａで検出された操作と、視線検出装置１２ａで検出された視線とに基づいて、複数の候補装置５１の中から操作対象装置の設定及び解除を行う。操作対象判定装置１３ａには、例えばＩＶＩ（In-Vehicle Infotainment）が用いられる。複数の候補装置５１は、例えばエアコン、バックミラー、サイドミラー、カーナビゲーション装置、サンルーフ、インストルメントパネルの表示装置、ルームライトなどの他各種ライトのような、車両で用いられる装置である。

図２の操作対象判定装置１３ａは、複数の候補装置５１、入力装置１１ａ、及び、視線検出装置１２ａと有線及び無線の少なくともいずれか１つによって通信可能に接続されている。そして、操作対象判定装置１３ａは、空間情報記憶部１３ｂと、視線判定部１３ｃと、操作対象判定部１３ｄと、情報送信部１３ｅとを備える。

空間情報記憶部１３ｂは、車両の複数の候補装置５１及び座席の位置を示す空間情報を記憶している。

視線判定部１３ｃは、視線検出装置１２ａで検出された視線と、空間情報とに基づいて、使用者の視線が、複数の候補装置５１及び入力装置１１ａのいずれかに向いているか否かを判定する。例えば、視線判定部１３ｃは、使用者の視線が座席に妨げられずに候補装置５１に届いている場合には視線が当該候補装置５１に向いていると判定する。一方、視線判定部１３ｃは、使用者の視線が座席に妨げられて候補装置５１に届かない場合には視線が当該候補装置５１に向いていないと判定する。

操作対象判定部１３ｄは、入力装置１１ａで取得された操作と、視線判定部１３ｃの判定結果とに基づいて、複数の候補装置５１の中から操作対象装置の設定及び解除を行う。操作対象判定部１３ｄの動作については、後でフローチャートを用いて説明する。

情報送信部１３ｅは、操作対象判定部１３ｄの制御により、入力装置１１ａで取得された操作を操作対象装置に送信（入力）する。説明の便宜上、情報送信部１３ｅが操作を操作対象装置に送信することを、操作対象判定部１３ｄが操作を操作対象装置に送信すると以下では記載することもある。

＜動作＞
図３は、本実施の形態２に係る操作入力装置１の動作を示すフローチャートであり、概ね操作対象判定部１３ｄの動作を示す。

ステップＳ１にて、操作対象判定部１３ｄは、入力装置１１ａで操作が取得されたか否かを判定する。操作が取得されたと判定された場合には、処理がステップＳ２に進み、操作が取得されたと判定されなかった場合には、ステップＳ１の処理が再度行われる。

ステップＳ２にて、操作対象判定部１３ｄは、視線判定部１３ｃの判定結果に基づいて、使用者の視線が複数の候補装置５１のいずれかに向いているか否かを判定する。視線が複数の候補装置５１のいずれかに向いていると判定された場合には処理がステップＳ３に進み、視線が複数の候補装置５１のいずれかに向いていると判定されなかった場合には処理がステップＳ５に進む。

ステップＳ３にて、操作対象判定部１３ｄは、視線が向いていると判定された候補装置５１を操作対象装置に設定する。つまり、ステップＳ１にて入力装置１１ａが操作を取得したと判定され、ステップＳ２にて使用者の視線が一の候補装置５１に向いていると判定され場合には、当該一の候補装置５１が操作対象装置に設定される。操作対象判定部１３ｄは、入力装置１１ａで取得されたステップＳ１の操作を操作対象装置に送信する。これにより、図４に示すように、使用者が一の候補装置５１を継続して見ている場合には、当該一の候補装置５１は操作対象装置に設定され、使用者は操作を操作対象装置に入力することができる。

図３のステップＳ４にて、操作対象判定部１３ｄは、タイマをリセット（初期化）してタイマは計時を開始する。その後、処理がステップＳ１に戻る。

ステップＳ５にて、操作対象判定部１３ｄは、操作対象装置の設定が維持されているか否かを判定する。操作対象装置の設定が維持されていると判定された場合には処理がステップＳ６に進む。操作対象装置の設定が維持されていると判定されなかった場合には、入力装置１１ａで取得されたステップＳ１の操作は破棄され、処理がステップＳ１に戻る。

ステップＳ６にて、操作対象判定部１３ｄは、タイマの時間が許容時間以内であるか否かを判定する。なお、タイマの時間は、操作経過時間、つまり操作対象装置に操作が入力されてから経過した時間に相当する。タイマの時間が許容時間以内であると判定された場合には処理がステップＳ７に進み、タイマの時間が許容時間以内であると判定されなかった場合には処理がステップＳ８に進む。

ステップＳ７にて、操作対象判定部１３ｄは、操作対象装置の設定を維持し、入力装置１１ａで取得されたステップＳ１の操作を操作対象装置に送信する。これにより、操作に慣れた使用者は、視線を操作対象装置以外に向けながら操作対象装置を操作することができる。その後、処理がステップＳ４に進み、操作対象判定部１３ｄは、タイマをリセット（初期化）してタイマは計時を開始する。

ステップＳ８にて、操作対象判定部１３ｄは、タイマの時間が許容時間となる時点から、視線が入力装置１１ａに継続して向いているか否かを判定する。なお、この判定に用いられる入力装置１１ａの位置は、入力装置１１ａが随時送信する赤外線信号などの送信信号に基づいて検出されてもよいし、カメラで撮影された車両室内の画像に対する画像認識に基づいて検出されてもよい。

視線が入力装置１１ａに継続して向いていると判定された場合には処理がステップＳ９に進み、視線が入力装置１１ａに継続して向いていると判定されなかった場合には処理がステップＳ１０に進む。

ステップＳ９にて、操作対象判定部１３ｄは、操作対象装置の設定を維持し、入力装置１１ａで取得されたステップＳ１の操作を操作対象装置に送信する。これにより、図４に示すように、操作に不慣れな使用者が、入力装置１１ａを継続して見ている場合には、操作対象装置の設定が維持されるので、使用者は操作を操作対象装置にゆっくり入力することができる。その後、処理が図３のステップＳ４に進み、操作対象判定部１３ｄは、タイマをリセット（初期化）してタイマは計時を開始する。

ステップＳ１０にて、操作対象判定部１３ｄは、操作対象装置の設定を解除する。つまり、操作対象判定部１３ｄは、操作対象装置を設定した後、視線が複数の候補装置５１のいずれにも向いていないと判定し、かつ、操作経過時間が許容時間となる時点から、視線が特定の視線対象に継続して向いていないと判定した場合に、操作対象装置の設定を解除する。入力装置１１ａで取得されたステップＳ１の操作は破棄され、処理がステップＳ１に戻る。

なお以上の動作において、操作対象装置には、操作対象装置に応じた操作が入力される。例えば、操作対象装置がエアコンである場合には、設定温度上昇や設定温度下降などの操作がエアコンに入力される。そして、使用者がエアコンを見ながら入力装置１１ａの「設定温度上昇」のボタンを一度押し、視線がエアコンから外れて当該ボタンを連打した場合（ステップＳ６でＹｅｓの場合）には、エアコンには設定温度を上げる操作が繰り返し入力される。また、使用者がエアコンを見ながら入力装置１１ａの「設定温度上昇」のボタンを一度押し、入力装置１１ａを見ながら当該ボタンを押した場合（ステップＳ８でＹｅｓの場合）には、エアコンには設定温度を上げる操作が入力される。

＜実施の形態２のまとめ＞
以上のような本実施の形態２に係る操作入力装置１によれば、車両において用いられる。このような構成によれば、車両の複数の候補装置５１及び座席の位置は実質的に変化しないので、視線判定部１３ｃの判定精度を高めることができる。

＜変形例１＞
操作に不慣れな使用者は、操作の時間間隔が長いため、実質的に図３のステップＳ６からステップＳ７に処理が進まない場合が多発すると考えられる。そこで、許容時間は、操作の時間間隔に基づいて変更されてもよい。例えば、操作の時間間隔が長い場合には許容時間を長くし、操作の時間間隔が短い場合には許容時間を短くしてもよい。このような構成によれば、操作に不慣れな使用者が操作する場合であっても、図３のステップＳ６からステップＳ７に処理を進めることができるので、操作対象装置の設定をなるべく維持することができる。

また、使用者は、累積的な操作の回数が増えるに従って操作に慣れると考えられる。そこで、許容時間は、操作の回数に基づいて変更されてもよい。例えば、操作の回数が少ない場合には許容時間を長くし、操作の回数が多い場合には許容時間を短くしてもよい。このような構成によれば、許容時間が必要以上に長くなる状態を抑制することができるため、許容時間が必要以上に長い場合に生じる誤操作、例えば、操作意図なく入力装置１１ａに触れたことなどによる誤操作を抑制することができる。

なお、許容時間には下限値が設定されてもよい。このような構成によれば、図３のステップＳ６からステップＳ７に処理を進めることができるので、操作対象装置の設定をなるべく維持することができる。

＜変形例２＞
実施の形態２では、特定の視線対象は入力装置１１ａであったが、これに限ったものではなく、実施の形態１で説明したように、操作対象装置などの操作マニュアルであってもよい。操作マニュアルは、印刷された紙から構成されてもよいし、候補装置５１以外の装置で表示された画像であってもよい。なお、操作マニュアルが、印刷された紙から構成される場合、操作マニュアルの位置は、操作マニュアルに設けられた赤外線素子からの赤外線信号に基づいて検出されてもよいし、カメラで撮影された車両室内の画像に対する画像認識に基づいて検出されてもよい。

＜変形例３＞
図３の動作では、ステップＳ１にて入力装置１１ａで操作が取得されたと判定されない限り、操作対象装置の設定が維持されるが、これに限ったものではない。例えば、入力装置１１ａで操作が取得されたと判定されなかった時間が、予め定められた閾値時間を超えた場合に、処理がステップＳ６に進んでもよい。

＜その他の変形例＞
上述した図１の第１取得部１１、第２取得部１２、及び、制御部１３を、以下「第１取得部１１等」と記す。第１取得部１１等は、図５に示す処理回路８１により実現される。すなわち、処理回路８１は、使用者の操作を取得する第１取得部１１と、使用者の視線を取得する第２取得部１２と、視線が複数の装置のいずれにも向いていないと判定し、かつ、操作経過時間が許容時間以内であると判定した場合に、操作対象装置の設定を維持する機能と、視線が複数の装置のいずれにも向いていないと判定し、かつ、操作経過時間が許容時間となる時点から、視線が特定の視線対象に継続して向いていると判定した場合に、操作対象装置の設定を維持する機能とを有する制御部１３と、を備える。処理回路８１には、専用のハードウェアが適用されてもよいし、メモリに格納されるプログラムを実行するプロセッサが適用されてもよい。プロセッサには、例えば、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）などが該当する。

処理回路８１が専用のハードウェアである場合、処理回路８１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、またはこれらを組み合わせたものが該当する。第１取得部１１等の各部の機能それぞれは、処理回路を分散させた回路で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。

処理回路８１がプロセッサである場合、第１取得部１１等の機能は、ソフトウェア等との組み合わせにより実現される。なお、ソフトウェア等には、例えば、ソフトウェア、ファームウェア、または、ソフトウェア及びファームウェアが該当する。ソフトウェア等はプログラムとして記述され、メモリに格納される。図６に示すように、処理回路８１に適用されるプロセッサ８２は、メモリ８３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、操作入力装置１は、処理回路８１により実行されるときに、第１取得部１１が使用者の操作を取得するステップと、第２取得部１２が使用者の視線を取得するステップと、視線が複数の装置のいずれにも向いていないと判定し、かつ、操作経過時間が許容時間以内であると判定した場合に、操作対象装置の設定を維持するステップと、視線が複数の装置のいずれにも向いていないと判定し、かつ、操作経過時間が許容時間となる時点から、視線が特定の視線対象に継続して向いていると判定した場合に、操作対象装置の設定を維持するステップと、が結果的に実行されることになるプログラムを格納するためのメモリ８３を備える。換言すれば、このプログラムは、第１取得部１１等の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ８３は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）、そのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。

以上、第１取得部１１等の各機能が、ハードウェア及びソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、第１取得部１１等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば、第１取得部１１及び第２取得部１２については専用のハードウェアとしての処理回路８１、インターフェース及びレシーバなどでその機能を実現し、それ以外についてはプロセッサ８２としての処理回路８１がメモリ８３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

以上のように、処理回路８１は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。

また、以上で説明した操作入力装置１は、ＩＶＩ、ＰＮＤ（Portable Navigation Device）、ナビゲーション装置及びＤＭＳ（Driver Monitoring System）などの車両装置と、携帯電話、スマートフォン及びタブレットなどの携帯端末を含む通信端末と、車両装置及び通信端末の少なくとも１つにインストールされるアプリケーションの機能と、サーバとを適宜に組み合わせてシステムとして構築される操作入力システムにも適用することができる。この場合、以上で説明した操作入力装置１の各機能あるいは各構成要素は、前記システムを構築する各機器に分散して配置されてもよいし、いずれかの機器に集中して配置されてもよい。

図７は、本変形例に係るサーバ９１の構成を示すブロック図である。図７のサーバ９１は、通信部９１ａと制御部９１ｂとを備えており、車両９２のＩＶＩ、ナビゲーション装置及びＤＭＳ装置などの車両装置９３と無線通信を行うことが可能となっている。

第１取得部及び第２取得部である通信部９１ａは、車両装置９３と無線通信を行うことにより、車両装置９３で取得された使用者の操作及び視線を受信する。

制御部９１ｂは、サーバ９１の図示しないプロセッサなどが、サーバ９１の図示しないメモリに記憶されたプログラムを実行することにより、図１の制御部１３と同様の機能を有している。つまり、制御部９１ｂは、通信部９１ａで受信された使用者の操作及び視線に基づいて、複数の候補装置５１の中から操作対象装置の設定及び解除を行う制御信号を生成する。そして、通信部９１ａは、制御部９１ｂの制御信号を車両装置９３に送信する。このように構成されたサーバ９１によれば、実施の形態１で説明した操作入力装置１と同様の効果を得ることができる。

図８は、本変形例に係る通信端末９６の構成を示すブロック図である。図８の通信端末９６は、通信部９１ａと同様の通信部９６ａと、制御部９１ｂと同様の制御部９６ｂとを備えており、車両９７の車両装置９８と無線通信を行うことが可能となっている。なお、通信端末９６には、例えば車両９７の運転者が携帯する携帯電話、スマートフォン、及びタブレットなどの携帯端末が適用される。このように構成された通信端末９６によれば、実施の形態１で説明した操作入力装置１と同様の効果を得ることができる。

なお、各実施の形態及び各変形例を自由に組み合わせたり、各実施の形態及び各変形例を適宜、変形、省略したりすることが可能である。

上記した説明は、すべての局面において、例示であって、限定的なものではない。例示されていない無数の変形例が、想定され得るものと解される。

１ 操作入力装置、１１ 第１取得部、１２ 第２取得部、１３ 制御部、５１ 候補装置。

Claims (6)

1. 使用者の操作を操作対象装置に入力する操作入力装置であって、
   前記使用者の前記操作を取得する第１取得部と、
   前記使用者の視線を取得する第２取得部と、
   前記第１取得部及び前記第２取得部でそれぞれ取得された前記操作及び前記視線に基づいて、予め定められた複数の装置の中から前記操作対象装置の設定及び解除を行う制御部と
   を備え、
   前記制御部は、
   前記操作対象装置を設定した後、前記視線が前記複数の装置のいずれにも向いていないと判定し、かつ、前記操作対象装置に前記操作が入力されてから経過した時間である操作経過時間が許容時間以内であると判定した場合に、前記操作対象装置の設定を維持し、
   前記操作対象装置を設定した後、前記視線が前記複数の装置のいずれにも向いていないと判定し、かつ、前記操作経過時間が許容時間となる時点から、前記視線が前記第１取得部及び操作マニュアルの少なくともいずれか１つである特定の視線対象に継続して向いていると判定した場合に、前記操作対象装置の設定を維持する、操作入力装置。
2. 請求項１に記載の操作入力装置であって、
   前記制御部は、
   前記操作対象装置を設定した後、前記視線が前記複数の装置のいずれにも向いていないと判定し、かつ、前記操作経過時間が許容時間となる時点から、前記視線が前記特定の視線対象に継続して向いていないと判定した場合に、前記操作対象装置の設定を解除する、操作入力装置。
3. 請求項１に記載の操作入力装置であって、
   前記許容時間は、前記操作の時間間隔に基づいて変更される、操作入力装置。
4. 請求項１に記載の操作入力装置であって、
   前記許容時間は、前記操作の回数に基づいて変更される、操作入力装置。
5. 請求項１に記載の操作入力装置であって、
   前記許容時間には下限値が設定されている、操作入力装置。
6. 使用者の操作を操作対象装置に入力する操作入力方法であって、
   第１取得部が、前記使用者の前記操作を取得し、
   第２取得部が、前記使用者の視線を取得し
   前記第１取得部及び前記第２取得部でそれぞれ取得された前記操作及び前記視線に基づいて、予め定められた複数の装置の中から前記操作対象装置の設定及び解除を行い、
   前記操作対象装置を設定した後、前記視線が前記複数の装置のいずれにも向いていないと判定し、かつ、前記操作対象装置に前記操作が入力されてから経過した時間である操作経過時間が許容時間以内であると判定した場合に、前記操作対象装置の設定を維持し、
   前記操作対象装置を設定した後、前記視線が前記複数の装置のいずれにも向いていないと判定し、かつ、前記操作経過時間が許容時間となる時点から、前記視線が前記第１取得部及び操作マニュアルの少なくともいずれか１つである特定の視線対象に継続して向いていると判定した場合に、前記操作対象装置の設定を維持する、操作入力方法。

Images