JP6153487B2 - 端末及び制御方法 - Google Patents

Description

本発明は、タッチパネルを備える端末、及び当該端末の制御方法に関する。

近年、スマートフォン、タブレット端末、ＰＣ（パーソナルコンピュータ）等の端末において、タッチパネルの搭載が増えている。これらの端末では、オブジェクトの選択をはじめ、操作のほとんどがタッチパネルで行われる。そのため、これらの端末は、タッチ操作を意識したＵＩ（ユーザインタフェース）となっている。例えば、特許文献１には、このような端末において、タッチパネルに接触してオブジェクトを移動させることが記載されている。

特開２０１３−１０５４６１号公報

ところで、スマートフォン等の端末は、近年、大画面を有するものが主流となっている。大画面のスマートフォンの場合、操作者の指の長さが制限となり、片手操作ではディスプレイ上部の操作が困難な場合がある。タブレット端末及びＰＣにおいても、画面が大きいため、操作領域が広く、操作性上簡便とは言えない。

本発明は、以上の問題点を解決するためになされたものであり、タッチパネルでの入力の操作性を向上させることができる端末及び制御方法を提供することを目的とする。

上記の目的を達成するために、本発明に係る端末は、情報の表示を行うと共に、接触を検出して表示するオブジェクトに対する当該接触による操作を受け付けるタッチパネルと、操作者の視線を検出して、タッチパネルに表示されるオブジェクトに対する当該視線による操作を受け付ける視線操作手段と、タッチパネルに表示されるオブジェクトに対する接触による操作状態を検出する操作状態検出手段と、操作状態検出手段によって検出される操作状態に応じて、操作がなされているオブジェクトに対して視線操作手段を機能させる制御手段と、を備える。

本発明に係る端末では、タッチパネルでの接触によるオブジェクトに対する操作状態に応じて、当該オブジェクトに対する視線による操作が可能になる。従って、例えば、タッチパネルの画面上で指が届かないところがある場合等の必要な場合に視線による操作が可能となる。これにより、本発明に係る端末によれば、タッチパネルでの入力の操作性を向上させることができる。

制御手段は、操作状態としてオブジェクトの移動状態に応じて、視線操作手段を機能させることとしてもよい。あるいは、制御手段は、操作状態としてオブジェクトへの接触状態に応じて、視線操作手段を機能させることとしてもよい。これら構成によれば、適切かつ確実に視線による操作を可能にさせることができる。即ち、これら構成によれば、適切かつ確実にタッチパネルでの入力の操作性を向上させることができる。

制御手段は、視線操作手段を機能させた後、視線による操作に応じてタッチパネルに表示されるオブジェクトを移動させることとしてもよい。この構成によれば、視線による操作を有効に用いることができ、タッチパネルでの入力の操作性をより向上させることができる。

更には、制御手段は、視線操作手段を機能させた後、接触による操作に応じてタッチパネルに表示されるオブジェクトが移動する方向を検出すると共に視線による操作に応じて当該オブジェクトの移動の目的箇所を決定して、検出された方向及び決定された目的箇所に応じて当該オブジェクトを移動させることとしてもよい。この構成によれば、接触による操作と視線による操作とを併用してタッチパネルでの入力の操作性を更に向上させることができる。

ところで、本発明は、上記のように端末の発明として記述できる他に、以下のように制御方法の発明としても記述することができる。これはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。

即ち、本発明に係る制御方法は、情報の表示を行うと共に、接触を検出して表示するオブジェクトに対する当該接触による操作を受け付けるタッチパネルと、操作者の視線を検出して、タッチパネルに表示されるオブジェクトに対する当該視線による操作を受け付ける視線操作手段と、を備える端末の動作方法である制御方法であって、タッチパネルに表示されるオブジェクトに対する接触による操作状態を検出する操作状態検出ステップと、操作状態検出ステップにおいて検出される操作状態に応じて、操作がなされているオブジェクトに対して視線操作手段を機能させる制御ステップと、を含む。

本発明では、例えば、タッチパネルの画面上で指が届かないところがある場合等の必要な場合に視線による操作が可能となる。これにより、本発明によれば、タッチパネルでの入力の操作性を向上させることができる。

本発明の実施形態に係る端末である情報端末の外観を示す図である。 本発明の実施形態に係る端末である情報端末の機能構成を示す図である。 情報端末の動作（表示画面の遷移）の例を示す図である。 情報端末の動作（表示画面の遷移）の別の例を示す図である。 本発明の実施形態に係る端末である情報端末のハードウェア構成を示す図である。 図３に示す動作の際の本発明の実施形態に係る端末である情報端末で実行される処理である制御方法を示すフローチャートである。 図４に示す動作の際の本発明の実施形態に係る端末である情報端末で実行される処理である制御方法を示すフローチャートである。

以下、図面と共に本発明に係る端末及び制御方法の実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

図１に本実施形態に係る端末である情報端末１０を示す。情報端末１０は、ユーザ（操作者）に用いられるコンピュータであり、例えば、スマートフォン、タブレット端末及びＰＣである。情報端末１０は、ユーザによって携帯（所持）される携帯型の端末であってもよい。情報端末１０は、その筺体にタッチパネル１１を備えている。タッチパネル１１は、情報を表示し、情報の入力を行うことができる。また、情報端末１０は、タッチパネル１１と同じ面に設けられる２つの撮像手段であるカメラ１２ａを備えている。２つのカメラ１２ａは、ステレオカメラを構成し、後述するようにユーザの視線を検出するための構成である。

引き続いて、情報端末１０の本発明に係る機能について説明する。図２に示すように情報端末１０は、タッチパネル１１と、視線操作部１２と、操作状態検出部１３と、制御部１４とを備えて構成されている。情報端末１０は、上記の機能以外にも、移動体通信機能等の通常、スマートフォン等の装置が備える機能を備えていてもよい。

タッチパネル１１は、液晶ディスプレイ等の表示画面を有し、当該表示画面に情報を表示する表示装置である。タッチパネル１１は、例えば、情報端末１０において実行されるオペレーティングシステムやアプリケーションから表示画面に表示する情報を入力して、当該情報を表示する。タッチパネル１１に表示される情報には、ユーザが操作可能なオブジェクトが含まれている。

オブジェクトは、例えば、アプリケーションを示すアイコンである。タッチパネル１１の表示画面において、アイコンが表示されている位置に、ユーザが指等を触れる（接触する）と当該アイコンが選択される。ユーザが、その位置で指等を離す（接触を外す）とアプリケーションが起動される。ユーザが、アイコンを選択した後、指等を表示画面に接触させたまま移動させる（なぞる）（いわゆる、ドラッグする）と、その移動に応じてアイコンが移動する。上記のアイコンの選択に応じた動作は、制御部１４によって従来の技術と同様に行われる。但し、後述するように情報端末１０において視線補助モードに移行した場合には、従来の技術とは異なる方法で、一部の表示の制御が制御部１４によって行われる。なお、オブジェクトは、アイコンに限られず、例えば、ポインタ等の表示画面に表示され、ユーザによって操作することができるものであればどのようなものでもよい。

タッチパネル１１は、表示画面に対する接触（タッチ）を検出（検知）して、当該接触による操作（タッチ操作）を受け付ける。例えば、タッチパネル１１は、表示画面に対してユーザの指等が接触することによる静電容量の変化を検出し、これらの変化に基づく操作の入力を行う。即ち、タッチパネル１１は、静電式タッチパネルである。また、タッチパネル１１は、ユーザの指等が接触することによる圧力の変化を検出するものであってもよい。タッチパネル１１は、表示画面における、ユーザの指等が接触された位置を検出して、当該位置における操作の入力を行う。ユーザの指等が接触された位置を示す情報は、具体的には例えば、タッチパネル１１の表示画面の座標である。ユーザの指等が接触された位置にオブジェクトが表示されていた場合には、タッチパネル１１は、オブジェクトに対する当該接触による操作を受け付ける。なお、タッチパネル１１は、従来と同様の構成のものを用いることができる。

タッチパネル１１は、受け付けた操作を示す情報を制御部１４に出力する。受け付けた操作を示す情報には接触された位置が含まれる。なお、情報端末１０では、接触された位置に基づき、操作対象となるオブジェクトが特定される。

視線操作部１２は、ユーザの視線を検出（検知）して、タッチパネル１１に表示されるオブジェクトに対する当該視線による操作を受け付ける視線操作手段である。視線操作部１２は、上述したステレオカメラを構成する２つのカメラ１２ａを備えている。視線操作部１２は、当該カメラ１２ａによってユーザの顔を撮像し、撮像された顔画像から、ユーザがどの位置を見ているかを検出する。検出される位置は、例えば、タッチパネル１１の表示画面上におけるユーザが見ている位置（ユーザの視線の位置）である。視線の位置を検出する構成は、従来と同様の構成のものを用いることができる。視線操作部１２は、検出した、視線の位置を示す情報を制御部１４に入力する。視線の位置を示す情報は、例えば、タッチパネル１１の表示画面上におけるユーザの視線の位置であり、具体的にはタッチパネル１１の表示画面の座標である。

視線操作部１２による操作の受け付けは、制御部１４からの制御によって、当該受け付けの機能が機能するとされた場合のみ行われる。情報端末１０において、視線操作部１２によって視線による操作を受け付けるモードを視線補助モードと呼ぶ。視線補助モードは、その時アクティブになっている（選択された）対象であるオブジェクトを視線により操作する（操作したい方向の指示を行う）ことが可能な状態である。

操作状態検出部１３は、タッチパネル１１に表示されるオブジェクトに対する接触による操作状態を検出する操作状態検出手段である。操作状態検出部１３は、タッチパネル１１を監視しておき、オブジェクトが選択されている状態で、あるいはオブジェクトが選択される際に、特定の操作状態となったことを検出する。特定の操作状態とは、視線補助モードに移行させるトリガとなる状態である。操作状態検出部１３は、特定の操作状態になったことを検出するとその旨を制御部１４に通知する。

例えば、操作状態検出部１３は、オブジェクトに対する接触による操作状態としてオブジェクトの移動状態を検出する。具体的には例えば、操作状態検出部１３は、オブジェクトが選択されてドラッグされている状態（ユーザの指等がタッチパネル１１の表示画面のアイコンの位置に接触している状態）でオブジェクトが同じ場所で予め設定された時間以上静止し、その後、ユーザの指等が離れた（接触が外れた）こと（「特定の操作状態１」）を検出する。なお、上記の静止前にオブジェクトが移動（ドラッグ）されてもよい。上記の予め設定された時間は、例えば、１秒である。

あるいは、操作状態検出部１３は、オブジェクトに対する接触による操作状態としてオブジェクトへの接触状態を検出する。具体的には例えば、操作状態検出部１３は、オブジェクトが選択される（ユーザの指等がタッチパネル１１の表示画面のアイコンの位置に接触する）際に、複数の指で接触されたこと（「特定の操作状態２」）を検出する。上記の複数の指は、例えば、２本指である。

制御部１４は、操作状態検出部１３によって検出される操作状態に応じて、操作がなされているオブジェクトに対して視線操作部１２を機能させる制御手段である。例えば、制御部１４は、操作状態としてオブジェクトの移動状態に応じて、視線操作部１２を機能させる。あるいは、制御部１４は、操作状態としてオブジェクトへの接触状態に応じて、視線操作部１２を機能させる。具体的には、制御部１４は、操作状態検出部１３から特定の操作状態になったことの通知を受けた場合に視線操作部１２を機能させるように制御する。即ち、制御部１４は、操作状態検出部１３から当該通知を受けると、視線補助モードへ移行させる。なお、視線補助モードへの移行は、視線操作部１２による視線による操作の受け付けを行っていない状態から行う状態に移行させるものであってもよい。あるいは、視線補助モードへの移行は、視線操作部１２により受け付けられた視線による操作に基づき情報端末１０を動作させない状態（この際、視線操作部１２による視線による操作の受け付けを行っていてもよい）から、動作させる状態に移行させるものであってもよい。

制御部１４は、タッチパネル１１によって受け付けられた接触による操作、及び視線操作部１２によって受け付けられた視線による操作に応じた処理を行う。具体的には、制御部１４は、タッチパネル１１への接触によるオブジェクト（例えば、アイコン）の選択に応じた動作を従来の技術と同様に行う。また、制御部１４は、上記の接触及び視線による操作に基づき、タッチパネル１１に表示されるオブジェクトの選択を受け付けて、選択されたオブジェクトを移動させる。

制御部１４は、視線補助モードへ移行させた後、視線による操作に応じてタッチパネル１１に表示されるオブジェクトを移動させる。視線による操作によって移動対象となるオブジェクトは、視線補助モードに移行するトリガとなった特定の操作状態の際に選択されているオブジェクトである。具体的には、制御部１４は、視線の位置の移動に応じてオブジェクトを移動させる。

例えば、上記の特定の操作状態１をトリガとして視線補助モードへ移行された場合には、制御部１４は、オブジェクトがドラッグされている状態を継続して、その時点のオブジェクトの位置（ユーザの指等が離れた位置）を基準として、視線の位置にてドラッグを継続させる。制御部１４は、視線の位置の移動と同じように（視線の位置の移動と合わせて）オブジェクトを移動させる。これは、例えば、情報端末がスマートフォンであり、ユーザが片手操作を行っている場合にタッチパネル１１の全域にユーザの指が届かない場合に有効である。これにより、視線によるオブジェクトのドラッグが可能となる。この場合、制御部１４は、タッチパネル１１の表示画面へユーザが再度、接触（タッチ）を行い、当該接触が検出されると視線補助モードを終了させる（視線補助モードをオフとする）。また、この際に合わせて、あるいは、視線補助モードの終了に先立って、オブジェクトをドラッグしている状態（オブジェクトが選択されている状態）を終了させる。

この場合、情報端末１０では、例えば、図３に示すように動作する。まず、図３（ａ）に示すように、ユーザの指３０がタッチパネル１１の表示画面上に表示されているオブジェクト２０の位置に接触され、オブジェクト２０が選択される。これにより、移動対象のオブジェクト２０が指定される。ユーザの指３０が、表示画面に接触したまま動かされるとオブジェクト２０はその動きに伴ってタッチパネル１１の表示画面上で移動する。即ち、オブジェクト２０がドラッグされる。ここでは、ユーザは、タッチパネル１１の表示画面の左下から右上の目的箇所（目的地）２１までオブジェクトを移動させることを意図している。

続いて、図３（ｂ）に示すように、ユーザは、オブジェクト２０を同じ場所で１秒以上静止させ、指をタッチパネル１１の表示画面から離す。情報端末１０では、操作状態検出部１３によって、この操作状態が検出される。続いて、この操作状態をトリガとして、制御部１４によって視線補助モードに移行される。また、オブジェクトをドラッグする状態が継続される。

図３（ｃ）に示す視線補助モードでは、視線操作部１２によってユーザの視線３１の位置が検出される。制御部１４の制御によって、当該視線の位置に基づくオブジェクト２０のドラッグが継続される。これにより、ユーザは、視線３１によってオブジェクト２０を目的箇所２１に移動させることができる。視線補助モードにおいて、ユーザがタッチパネル１１の表示画面へ接触すると、視線補助モードが終了する。

また、制御部１４は、視線補助モードへ移行させた後、視線の位置と接触による操作に応じてオブジェクトを移動させこととしてもよい。例えば、上記の特定の操作状態２をトリガとして視線補助モードへ移行された場合には、制御部１４は、接触による操作に応じてタッチパネル１１に表示されるオブジェクトが移動される方向を検出すると共に視線による操作に応じて当該オブジェクトの移動の目的箇所を決定して、検出された方向及び決定された目的箇所に応じて当該オブジェクトを移動させる。これは、例えば、情報端末１０がスマートフォン、タブレット端末及びＰＣの何れかであり、タッチパネル１１の表示画面が大きい場合に有効である。

制御部１４は、タッチパネル１１からの入力に基づき、視線補助モードへの移行のトリガとなった接触が継続されたまま、接触位置が移動する際の接触位置の移動方向を検出して記憶する。即ち、制御部１４は、オブジェクトがドラッグされる（移動される）方向を検出して記憶する。一方で、制御部１４は、視線操作部１２から入力される、タッチパネル１１の表示画面上におけるユーザの視線の位置をオブジェクトの移動の目的箇所として決定して記憶する。方向の検出及び目的箇所の決定は、例えば、リアルタイムに行われる。

制御部１４は、現時点のオブジェクトの位置から、上記のように検出した方向に上記のように決定した目的箇所が位置しているか否かを判断する。例えば、現時点のオブジェクトの位置を基準として当該方向から一定の角度の範囲に目的箇所が位置していれば、現時点のオブジェクトの位置から当該方向に当該目的箇所が位置していると判断する。

制御部１４は、現時点のオブジェクトの位置から当該方向に当該目的箇所が位置していると判断した場合には、接触を検出しているユーザの指の速度を超える速度でオブジェクトを目的箇所に向けて移動させる。この際の速度は、例えば、指の移動速度のｎ倍（ｎは予め任意に設定される１を超える数値）である。また、この際の移動は目的箇所に向けてではなく、検出した方向に移動させることとしてもよい。一方で、制御部１４は、現時点のオブジェクトの位置から当該方向に当該目的箇所が位置していないと判断した場合には、接触を検出しているユーザの指の速度でオブジェクトを当該方向に移動させる。これにより、オブジェクトの高速ドラッグと高速ドラッグ中の微調整が可能となる。

上記の場合、制御部１４は、タッチパネル１１の表示画面からユーザの指が離れた（ユーザの接触が外れた）ことが検出されると、視線補助モードを終了させる（視線補助モードをオフとする）。また、この際に合わせて、あるいは、視線補助モードの終了に先立って、オブジェクトをドラッグしている状態（オブジェクトが選択されている状態）を終了させる。

この場合、情報端末１０では、例えば、図４に示すように動作する。まず、図４（ａ）に示すように、ユーザの２本の指３０がタッチパネル１１の表示画面上に表示されているオブジェクト２０の位置に接触され、オブジェクト２０が選択される。これにより、移動対象のオブジェクト２０が指定される。情報端末１０では、操作状態検出部１３によって、この操作状態が検出される。続いて、この操作状態をトリガとして、制御部１４によって視線補助モードに移行される。

図４（ｂ）に示すように、ユーザは、指３０をタッチパネル１１の表示画面に接触させたまま、オブジェクト２０を動かすために移動させる。情報端末１０では、タッチパネル１１による接触の検出に基づいて、制御部１４によってオブジェクト２０が移動された方向２２（オブジェクト２０の移動の方向２２）が検出（判断）される。それと同時に図４（ｃ）に示すように、ユーザの視線３１の位置が、タッチパネル１１の表示画面上におけるオブジェクト２０の目的箇所２１に向けられる。視線操作部１２によって検出された視線の位置が、制御部１４によって、オブジェクト２０の目的箇所２１として決定（設定）される。

続いて、制御部１４によって、現時点のオブジェクト２０の位置から当該方向２２に当該目的箇所２１が位置しているか否かが判断される。現時点のオブジェクト２０の位置から当該方向２２に当該目的箇所２１が位置していると判断された場合には、図４（ｄ）に示すように、制御部１４によって、接触を検出しているユーザの指３０の移動速度を超える速度でオブジェクト２０が目的箇所２１に向けて移動される。この場合、視線による操作は、視線だけの操作ではなくタッチ操作によるドラッグの補助の位置付けである。

現時点のオブジェクト２０の位置から当該方向２２に当該目的箇所２１が位置していないと判断された場合には、図４（ｅ）に示すように、接触を検出しているユーザの指３０の移動速度で（ユーザの指３０の移動通りに）オブジェクト２０を当該方向２２に移動させる。

これは、オブジェクト２０が目的箇所２１を越えてしまった場合の対応を可能としたものである。指３０の接触をし直すことなく、現在、指３０のある位置のまま連続的な操作を可能とする。基本的には、上記の通り目的箇所２１が設定されているので問題とならない。しかしながら、デバイス依存である視線検出（視線検知）の精度により誤差が出る場合がある。上記の操作は、その誤差が出た場合の補正等を目的とする。視線補助モードにおいて、ユーザがタッチパネル１１の表示画面から指３０を離すと、オブジェクト２０のドラッグが終了され、視線補助モードが終了する。なお、以上の例では、ユーザが指３０でタッチパネル１１に接触しているが、指３０以外でタッチパネル１１に接触することとしてもよい。以上が、情報端末１０の本発明に係る機能である。

引き続いて、図５に本実施形態に係る情報端末１０のハードウェア構成を示す。図４に示すように、情報端末１０は、ＣＰＵ（Central Processing Unit）１０１、ＲＡＭ（RandomAccess Memory）１０２、ＲＯＭ（Read Only Memory）１０３、移動体通信モジュール１０４及びアンテナ１０５等のハードウェアにより構成されている。また、情報端末１０は上述したようにハードウェアとしてタッチパネル１１及びカメラ１２ａを備えている。これらの構成要素がプログラム等により動作することにより、上述した機能が発揮される。以上が、情報端末１０の構成である。

引き続いて、図６及び図７のフローチャートを用いて、本実施形態に係る端末である情報端末１０で実行される処理（情報端末１０の動作方法）である制御方法を説明する。まず、図６のフローチャートを用いて、図３に示す動作の際に実行される処理を説明する。

本処理は、タッチパネル１１の表示画面上にオブジェクト２０が表示された状態で開始される。本処理では、ユーザが指３０でタッチパネル１１の表示画面のオブジェクト２０が表示されている箇所に接触する。タッチパネル１１によって、当該オブジェクト２０が表示されている箇所への接触が検出（検知）される（Ｓ０１）。タッチパネル１１によって検出された接触に関する情報は制御部１４に入力され、制御部１４によって接触操作に応じた処理が行われる。また、操作状態検出部１３によって、タッチパネル１１に表示されるオブジェクト２０に対する接触による操作状態が検出される（操作状態検出ステップ）。上記のようにオブジェクト２０が表示されている箇所へ接触されると、当該オブジェクト２０が選択された状態となる。

続いて、ユーザが、タッチパネル１１の表示画面に接触したまま、接触位置を移動させると、タッチパネル１１によって当該接触操作が検出される。それに応じて、制御部１４の制御によって、タッチパネル１１の表示画面上のオブジェクト２０が移動される（Ｓ０２、図３（ａ））。上記のようにユーザのタッチパネル１１に対する接触操作に応じた処理が行われる。

ユーザのタッチパネル１１への接触操作の間、オブジェクト２０が同じ場所で１秒以上静止され、その後、タッチパネル１１からの接触状態が外れた（例えば、指がタッチパネル１１の表示画面から離れた）操作状態となったか否かが、操作状態検出部１３によって判断される（Ｓ０３、操作状態検出ステップ）。上記の操作状態になっていないと判断された場合（Ｓ０３のＮＯ）には、引き続き、ユーザのタッチパネル１１に対する接触操作に応じた処理（Ｓ０１、Ｓ０２）が行われる。

上記の操作状態になっていると判断された場合（Ｓ０３のＹＥＳ、図３（ｂ））（即ち、上記の操作状態が検出（検知）された場合）、その旨が操作状態検出部１３から制御部１４に通知される。続いて、制御部１４によって、視線補助モードへ移行される（Ｓ０４、制御ステップ）。視線補助モードでは、視線操作部１２によって、ユーザの視線３１が検出（検知）される（Ｓ０５）。視線操作部１２によって検出された視線に関する情報は制御部１４に入力される。それに応じて、制御部１４の制御によって、タッチパネル１１の表示画面上のオブジェクト２０が移動される（Ｓ０６、制御ステップ、図３（ｃ））。タッチパネル１１への接触があることが検出されるまで（Ｓ０７のＮＯ）、ユーザの視線操作に応じた処理（Ｓ０５、Ｓ０６）が行われる。

ユーザの視線操作の間、タッチパネル１１への接触があったことが検出された場合（Ｓ０７のＹＥＳ）、制御部１４によって、オブジェクトのドラッグが終了される（オブジェクトの選択状態が解除される）（Ｓ０８）。また、制御部１４によって、視線補助モードが終了される（Ｓ０９）。以上が、図３に示す動作の際に情報端末１０で実行される処理である。

続いて、図７のフローチャートを用いて、図４に示す動作の際に実行される処理を説明する。本処理は、タッチパネル１１の表示画面上にオブジェクト２０が表示された状態で開始される。本処理では、ユーザがタッチパネル１１の表示画面のオブジェクト２０が表示されている箇所に２本指３０で接触する。タッチパネル１１によって、当該オブジェクト２０が表示されている箇所への２本指接触が検出（検知）される。タッチパネル１１によって検出された接触に関する情報は制御部１４に入力され、制御部１４によって接触操作に応じた処理が行われる。上記のようにオブジェクト２０が表示されている箇所へ接触されると、当該オブジェクト２０が選択された状態となる。

また、操作状態検出部１３によって、タッチパネル１１に表示されるオブジェクト２０に対する接触による操作状態が検出される。操作状態検出部１３によって、上記の操作状態が検出される（Ｓ１１、操作状態検出ステップ、図４（ａ））。上記の検出の旨は操作状態検出部１３から制御部１４に通知される。続いて、制御部１４によって、視線補助モードへ移行される（Ｓ１２、制御ステップ）。

視線補助モードでは、タッチパネル１１による接触の検出に基づいて、制御部１４によってオブジェクトの移動方向２２が検出（判断）される（Ｓ１３、制御ステップ、図４（ｂ））。その一方で、視線操作部１２によって、ユーザの視線３１が検出される。視線操作部１２によって検出された視線３１の位置が、制御部１４によって、オブジェクト２０の目的箇所２１として決定される（Ｓ１４、制御ステップ、図４（ｃ））。

続いて、制御部１４によって、検出された方向２２及び決定された目的箇所２１に応じて、オブジェクト２０が移動される（Ｓ１５、制御ステップ）。具体的には、現時点のオブジェクト２０の位置から当該方向２２に当該目的箇所２１が位置している場合には、接触を検出しているユーザの指３０の移動速度を超える速度でオブジェクトが目的箇所２１に向けて移動される（図４（ｄ））。現時点のオブジェクト２０の位置から当該方向２２に当該目的箇所２１が位置していない場合には、接触を検出しているユーザの指３０の移動速度でオブジェクト２０を当該方向２２に移動させる（図４（ｅ））。

タッチパネル１１への接触が外れる（ユーザの２本指がタッチパネルから離れる）ことが検出されるまで（Ｓ１６のＮＯ）、ユーザの接触操作及び視線操作に応じた処理（Ｓ１３〜Ｓ１５）が行われる。

ユーザの接触操作及び視線操作の間、タッチパネル１１への接触が外れたことが検出（検知）された場合（Ｓ１６のＹＥＳ）、制御部１４によって、オブジェクトのドラッグが終了される（オブジェクトの選択状態が解除される）（Ｓ１７）。また、制御部１４によって、視線補助モードが終了される（Ｓ１８）。以上が、図４に示す動作の際に情報端末１０で実行される処理である。

上述したように本実施形態では、タッチパネル１１での接触によるオブジェクト２０に対する操作状態に応じて、当該オブジェクト２０に対する視線による操作が可能になる。従って、ユーザが接触操作のみでは十分な操作が可能でないと判断した場合に、特定の操作状態とすることで視線による操作を可能とすることができる。即ち、タッチ操作のサポート機能の位置付けとして、必要な場合のみに視線による補助操作を可能とすることができる。必要な場合とは、例えば、ユーザが片手操作を行う場合にタッチパネル１１の一部に指が届かない場合（指が操作限界領域に達した場合）や、タッチパネル１１の表示画面が大きいため操作領域が広く操作しにくい場合である。これにより、本実施形態によれば、タッチパネル１１での入力の操作性を向上させることができる。

なお、タッチ操作を前提としたＵＩの場合、常に視線入力であることは一概に操作が容易になるとは限らず、操作性がよいとはいえない。そこで本実施形態のように、必要な場合のみに情報端末における設定操作ではなく、オブジェクト２０に対する操作状態に応じて視線入力を可能とすることで、ユーザに自然に視線入力に移行させることができ、スムーズに操作を継続させることができる。

また、視線補助モードへの移行は、図３に示したようなオブジェクトの移動状態である特定の操作状態をトリガとしてもよい。あるいは、図４に示したようなオブジェクト２０への接触状態である特定の操作状態をトリガとしてもよい。これら構成によれば、適切かつ確実に視線補助モードへの移行を可能にさせることができる。即ち、これら構成によれば、適切かつ確実にタッチパネル１１での入力の操作性を向上させることができる。但し、視線補助モードへの移行は、上述したトリガに限られず、オブジェクト２０に対するタッチパネル１１への接触による特定の操作状態に基づくものであればよい。

また、本実施形態のように視線入力をオブジェクト２０の移動をさせることとしてもよい。この構成によれば、視線による操作を有効に用いることができ、タッチパネル１１での入力の操作性をより向上させることができる。但し、オブジェクト２０の移動以外の操作を行うこととしてもよい。

更には、図４に示したように接触による操作と視線による操作とを併用することもできる。視線操作では、通常、ユーザに細かな操作を行わせることが難しいが、タッチ操作によって微調整を可能とすることができる。これにより、タッチパネル１１での入力の操作性を更に向上させることができる。

なお、本実施形態では、視線の検出は、情報端末１０が備える２つのカメラ１２ａ（ステレオカメラ）を用いて行うこととしたが、視線の検出が可能であればどのような構成のものを用いてもよい。

また、本実施形態では、視線操作による処理は、オブジェクトを移動させるものであったが、オブジェクトの移動以外のものであってもよい。

１０…情報端末、１１…タッチパネル、１２…視線操作部、１２ａ…カメラ、１３…操作状態検出部、１４…制御部、１０１…ＣＰＵ、１０２…ＲＡＭ、１０３…ＲＯＭ、１０４…移動体通信モジュール、１０５…アンテナ。

Claims (6)

1. 情報の表示を行うと共に、接触を検出して表示するオブジェクトに対する当該接触による操作を受け付けるタッチパネルと、
   操作者の視線を検出して、前記タッチパネルに表示されるオブジェクトに対する当該視線による操作を受け付ける視線操作手段と、
   前記タッチパネルに表示されるオブジェクトに対する接触による操作状態を検出する操作状態検出手段と、
   前記操作状態検出手段によって検出される前記操作状態に応じて、操作がなされているオブジェクトに対して前記視線操作手段を機能させる制御手段と、
   を備える端末。
2. 前記制御手段は、前記操作状態として前記オブジェクトの移動状態に応じて、前記視線操作手段を機能させる請求項１に記載の端末。
3. 前記制御手段は、前記操作状態として前記オブジェクトへの接触状態に応じて、前記視線操作手段を機能させる請求項１又は２に記載の端末。
4. 前記制御手段は、前記視線操作手段を機能させた後、前記視線による操作に応じて前記タッチパネルに表示される前記オブジェクトを移動させる請求項１〜３の何れか一項に記載の端末。
5. 前記制御手段は、前記視線操作手段を機能させた後、前記接触による操作に応じて前記タッチパネルに表示される前記オブジェクトが移動する方向を検出すると共に前記視線による操作に応じて当該オブジェクトの移動の目的箇所を決定して、検出された方向及び決定された目的箇所に応じて当該オブジェクトを移動させる請求項４に記載の端末。
6. 情報の表示を行うと共に、接触を検出して表示するオブジェクトに対する当該接触による操作を受け付けるタッチパネルと、操作者の視線を検出して、前記タッチパネルに表示されるオブジェクトに対する当該視線による操作を受け付ける視線操作手段と、を備える端末の動作方法である制御方法であって、
   前記タッチパネルに表示されるオブジェクトに対する接触による操作状態を検出する操作状態検出ステップと、
   前記操作状態検出ステップにおいて検出される前記操作状態に応じて、操作がなされているオブジェクトに対して前記視線操作手段を機能させる制御ステップと、
   を含む制御方法。

Images