JP6158743B2

JP6158743B2 - ユーザインタフェース部品制御装置及びユーザインタフェース部品制御プログラム

Info

Publication number: JP6158743B2
Application number: JP2014085249A
Authority: JP
Inventors: 孔希草野; 広夢宮下; 睦裕中茂
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: NTT Inc; NTT Inc USA
Priority date: 2014-04-17
Filing date: 2014-04-17
Publication date: 2017-07-05
Anticipated expiration: 2034-04-17
Also published as: JP2015207036A

Description

本発明は、ユーザインタフェース部品を変形する技術に関する。

ソフトウェアプログラムの設計者は、ユーザインタフェース部品（以下、ＵＩ部品）を設計する際、当該ＵＩ部品が操作可能であることをユーザに伝えることが求められる。また、ＵＩ部品を操作したことにより、次にどのような事象が起こるのかを予測できるようすることも重要である。

例えば、ＧＵＩ上に四角形のＵＩ部品を単に表示するのみでは、当該ＵＩ部品がボタンであることを直感的に認識させることは難しい。そこで、当該ＵＩ部品に影を付与することにより、ボタンとして機能しそうであることを予測可能となる。また、動作内容を示したラベルを更に付与することにより、次に何が起こるのかを予測可能となる。

このように、現実世界の事象に模してＵＩ部品を設計することにより、ユーザに対してＵＩ部品に関する操作上の理解を向上することができる。しかし、現実世界の事象を模すことにより、デザインの表現方法に対して現実世界に限るという制約が生じてしまう。これにより、例えばタッチ画面上で指をスライドさせるスワイプなど、現実世界にはない動作を持つようなＵＩ部品を設計することができない。

そこで、現実世界にはない動作を前提としたフラットＵＩというＵＩ部品の設計方法がある。シンプルなＵＩ部品のみでＧＵＩを構成することにより、現実世界の事象との乖離を小さくし、ユーザに与える操作上の違和感を抑えることができる（非特許文献１）。

また、ＵＩ部品を操作する動作やＵＩ部品を操作するための予備動作（例えばマウスカーソルをＵＩ部品の上に重ねるマウスオーバ）を検知し、操作対象のＵＩ部品の形状や色を変更することにより、ユーザに対して操作可能性のフィードバックを与える方法もある（非特許文献２）。

"iOS 7 Design Resources"、Apple、［online］、［平成26年4月4日検索］、＜URL: https://developer.apple.com/library/ios/design/index.html#//apple_ref/doc/uid/TP40013289＞ "Crossing the bridge over Norman’s Gulf of Execution: revealing feedforward’s true identity"、ACM、［online］、［平成26年4月4日検索］、＜URL: http://dl.acm.org/citation.cfm?id=2466255＞

しかしながら、非特許文献１の技術では、シンプルなＵＩ部品のみを用いているため、デザインの表現方法に大きな制約が課され、ＵＩ部品の操作可能性や操作方法を判別することが難しい。また、非特許文献２の技術では、ユーザがＵＩ部品を操作する動作やその予備動作を意図的に行わなければ、操作可能性等のフィードバックを与えることができない。

他方、ゲームのようにコントローラによって仮想空間を操作する場合、例えばどれがアイテムを取得できる操作かなど、どのＵＩ部品が目的の操作に用いられるかを判別することは難しい。そのため、アイテムを常に光らせたり、デフォルメしたり、アニメーション表示をすることにより、アイテムの操作可能性を演出する処理が施されている。このように、仮想空間上でＵＩ部品を設計する場合であっても、デザインの表現方法に著しい制約が課せられてしまい、ユーザにとっては画面が見づらくなる、違和感があるなどの問題も発生する。

本発明は、上記事情を鑑みてなされたものであり、ＵＩ部品の操作可能性の表出度合いを改善することを第１の目的とし、ＵＩ部品の操作による機能の表出度合いを改善することを第２の目的とする。

以上の課題を解決するため、請求項１に記載のユーザインタフェース部品制御装置は、ＵＩ部品の変化方法をデータ信号の種別に応じて記憶しておく記憶手段と、ＵＩ部品データを入力し、前記ＵＩ部品データの操作に関係のないデータ信号を更に入力する入力手段と、前記入力されたデータ信号の種別に対応するＵＩ部品の変化方法を前記記憶手段から読み出して、前記ＵＩ部品データに割り付ける割付手段と、前記ＵＩ部品データに割り付けられたＵＩ部品の変化方法を出力し、前記ＵＩ部品データを当該ＵＩ部品の変化方法で変化させて表示させる出力手段と、を有することを要旨とする。

本発明によれば、ＵＩ部品の変化方法をデータ信号の種別に応じて記憶手段に記憶しておき、ＵＩ部品データを入力し、当該ＵＩ部品データの操作に関係のないデータ信号を更に入力し、入力されたデータ信号の種別に対応するＵＩ部品の変化方法を上記記憶手段から読み出してＵＩ部品データに割り付け、当該ＵＩ部品データに割り付けられたＵＩ部品の変化方法を出力し、該当のＵＩ部品データを当該ＵＩ部品の変化方法で変化させて表示させるため、ＵＩ部品の操作可能性の表出度合いを向上することができる。

請求項２に記載のユーザインタフェース部品制御装置は、請求項１に記載のユーザインタフェース部品制御装置において、前記記憶手段は、前記ＵＩ部品の変化方法をＵＩ部品の動作種別に更に応じて記憶しておき、前記割付手段は、前記入力されたＵＩ部品データの動作種別に更に対応するＵＩ部品の変化方法を前記ＵＩ部品データに割り付けることを要旨とする。

請求項３に記載のユーザインタフェース部品制御装置は、請求項１又は２に記載のユーザインタフェース部品制御装置において、前記出力手段は、前記ＵＩ部品データの機能情報を更に出力し、前記ＵＩ部品データに関連付けて表示させることを要旨とする。

本発明によれば、ＵＩ部品データの機能情報を更に出力し、ＵＩ部品データに関連付けて表示させるため、ＵＩ部品の操作による機能の表出度合いを向上することができる。

請求項４に記載のユーザインタフェース部品制御装置は、請求項１乃至３のいずれかに記載のユーザインタフェース部品制御装置において、前記割付手段は、前記ＵＩ部品データに対して設定された優先度に応じて前記ＵＩ部品データの変化度合いをそれぞれ調整することを要旨とする。

請求項５に記載のユーザインタフェース部品制御装置は、請求項１乃至４のいずれかに記載のユーザインタフェース部品制御装置において、前記割付手段は、前記データ信号の種別に対して設定された優先度に応じて前記ＵＩ部品データの変化度合いを調整することを要旨とする。

請求項６に記載のユーザインタフェース部品制御装置は、請求項１乃至５のいずれかに記載のユーザインタフェース部品制御装置において、前記データ信号は、前記ＵＩ部品データが表示される表示装置の画面若しくは前記表示装置に対するユーザ操作に基づくデータ信号、前記表示装置で計測されるデータ信号、１つ以上の他の装置から前記表示装置に入力されるデータ信号、又は１人以上のユーザの生体情報であることを要旨とする。

請求項７に記載のユーザインタフェース部品制御プログラムは、コンピュータを請求項１乃至６のいずれかに記載のユーザインタフェース部品制御装置として機能させることを要旨とする。

本発明によれば、ＵＩ部品の操作可能性の表出度合いやＵＩ部品の操作による機能の表出度合いを向上することができる。

ＵＩ部品制御装置の機能ブロック構成を示す図である。データ入力部の処理フローを示す図である。ＵＩ部品の属性情報例を示す図である。データ信号例を示す図である。変形方法割付部の処理フローを示す図である。変形方法例を示す図である。変形方法出力部の処理フローを示す図である。ＵＩ部品の変形表示例を示す図である。ＵＩ部品の変形表示例を示す図である。ＵＩ部品制御装置のプログラムコード例を示す図である。

以下、本発明を実施する一実施の形態について図面を用いて説明する。

図１は、本実施の形態に係るＵＩ部品制御装置１の機能ブロック構成を示す図である。ＵＩ部品制御装置１は、データ入力部１１と、変形方法割付部１２と、変形方法出力部１３と、変形方法記憶部１４と、を備えて構成される。例えばタブレット端末などの装置内部で動作し、当該装置（以下、実装装置）の画面に表示されているＵＩ部品データを変形させる。

データ入力部１１は、変形対象のＵＩ部品データを入力し、当該ＵＩ部品データの操作に直接関係しないデータ信号を更に入力する機能を備えている。データ信号については後で詳述する。

変形方法割付部１２は、入力されたデータ信号の種別に対応し、入力されたＵＩ部品データの動作種別に更に対応するＵＩ部品の変形方法を変形方法記憶部１４から取得して、入力されたＵＩ部品データに割り付ける機能を備えている。

変形方法出力部１３は、ＵＩ部品データに割り付けられたＵＩ部品の変形方法を実装装置へ出力し、変形対象のＵＩ部品データを当該ＵＩ部品の変形方法で一時的に変形させて画面に表示させる機能を備えている。

変形方法記憶部１４は、ＵＩ部品の変形方法をＵＩ部品データの動作種別とデータ信号の種別に応じて記憶しておく機能を備えている。

次に、ＵＩ部品制御装置１で行うＵＩ部品の変形方法について説明する。最初に、データ入力部１１の動作を説明する。図２は、データ入力部１１の処理フローを示す図である。

まず、ステップＳ１０１において、データ入力部１１は、変形対象のＵＩ部品データを入力し、入力された当該ＵＩ部品データの属性情報を更に入力する。

ＵＩ部品データとは、ユーザが何かしらの操作を行うことが可能な部品データである。例えば、ボタン、アイコン、スクロールバーなどのＧＵＩ部品データ、ゲームの宝箱など仮想空間上に表示される操作可能なオブジェクトデータ、現実空間に存在する操作可能な部品データである。

また、ＵＩ部品データの属性情報とは、ＵＩ部品の属性を表した情報であり、ＵＩ部品の名前、種別、動作、機能によって構成される。例えば、図３のような表形式の属性情報が入力される。その他、ＣＳＶ（Comma-Separated Values）形式やＸＭＬ（Extensible Markup Language）形式でもよい。

次に、ステップＳ１０２において、データ入力部１１は、ステップＳ１０１で入力されたＵＩ部品データの操作に関係のないデータ信号を入力する。

ここで入力されるデータ信号とは、入力されたＵＩ部品データを変形するために用いる信号である。このデータ信号に基づきＵＩ部品データを変形することにより、当該ＵＩ部品データが直接操作されていない状況において、当該ＵＩ部品データの操作可能性を表出することができる。

具体的には、データ種別と実測値で構成される。例えば、図４のようなデータ信号が入力される。（１）クリック、タップ、スクロール、叩くなど、入力されたＵＩ部品データ以外のＵＩ部品データに対する実装装置画面上での操作に基づくデータ信号、（２）実装装置全体に与えられ又は実装装置で計測される実装装置の傾き、振動、音、位置情報などの外的要因に基づくデータ信号、（３）脈拍数、筋電位、体温、心拍数などの生体情報、（４）実装装置での操作に関係しない他の装置から入力される上記（１）〜（３）のようなデータ信号である。これらのデータ信号を計測する場合、実装装置に搭載されている各種センサを用いて計測してもよいし、実装装置に無線又は有線で接続された計測装置を用いて計測してもよい。また、上記他の装置は複数であってもよいし、上記生体情報は複数種、複数ユーザのものであってもよい。

次に、ステップＳ１０３において、データ入力部１１は、ステップＳ１０２で入力されたデータ信号の種別に対して設定されている優先度を取得する。なお、入力されるデータ信号の種別は予め把握可能であるため、ＵＩ部品制御装置１によって、データ信号の種別に対して優先度が事前に設定され、内部に記憶されている。優先度の設定基準については任意である。

次に、ステップＳ１０４において、データ入力部１１は、全てのデータ信号を入力したか否かを判定する。全てのデータ信号が入力されていない場合にはステップＳ１０２へ戻り、未入力のデータ信号についてステップＳ１０２，Ｓ１０３を行う。一方、全てのデータ信号が入力されている場合には、次のステップＳ１０５へ進む。

最後に、ステップＳ１０５において、データ入力部１１は、ステップＳ１０１で入力されたＵＩ部品データに対して設定されている優先度を取得する。なお、入力されるＵＩ部品データは予め把握可能であるため、ＵＩ部品制御装置１によって、各ＵＩ部品データに対して優先度が事前に設定され、内部に記憶されている。この優先度の設定基準についても任意である。

次に、変形方法割付部１２の動作を説明する。図５は、変形方法割付部１２の処理フローを示す図である。

まず、ステップＳ２０１において、変形方法割付部１２は、データ入力部１１から変形対象のＵＩ部品データと当該ＵＩ部品データの属性情報を受け取り、当該属性情報を参照して当該ＵＩ部品データの動作を特定する。

次に、ステップＳ２０２において、変形方法割付部１２は、データ入力部１１からデータ信号を受け取り、当該データ信号に含まれるデータ種別から当該データ信号の種別を特定する。

次に、ステップＳ２０３において、変形方法割付部１２は、変形方法記憶部１４を参照し、ステップ２０１で特定されたＵＩ部品データの動作種別と、ステップＳ２０２で特定されたデータ信号の種別とに対応する変形方法を特定し、特定した変形方法を当該ＵＩ部品データに割り付ける。

例えば、図６のような変形方法データが変形方法記憶部１４に記憶されており、ＵＩ部品データの動作種別が「押下」、データ信号の種別が「装置利用者の心拍」の場合、『「心拍数が閾値以上」であればＵＩ部品に「影を表示」』という変形方法が特定され、入力されたＵＩ部品データに割り付けられる。

より具体的には、変形方法記憶部１４の変形方法データからＵＩ部品データの動作種別及びデータ信号の種別に対応する変形方法を特定し、データ信号に含まれる実測値が動作の発動条件を満たしているかを判定して、当該発動条件を満たしている場合には、特定した変形方法でＵＩ部品データの変形方法を決定し、実測値に基づき変形量を決定し、ＵＩ部品データに割り付ける。

発動条件や変形量としては、例えば、変形対象のＵＩ部品データ以外のＵＩ部品データに対する操作であれば、当該変形対象のＵＩ部品データから一定距離以内で操作された場合にのみ発動し、その距離が近いほど変化量を大きくする。また、前述の外的要因や生体情報であれば、それらの実測値の大きさが一定以上である場合にのみ発動し、その実測値が大きいほど変化量を大きくする。その他にも、位置情報については、特定位置から一定距離以内に入った場合にのみ一時的に変形させる、といった発動条件や変形量も考えられる。

なお、図６のような変形方法データは、ＵＩ部品データの動作種別とデータ信号の種別を検索クエリとして変形方法を特定可能な形式であればどのような形式でもよい。また、図６の変形方法や動作の発動条件は例であり、ＵＩ部品が操作可能であることを示す変形方法であれば任意の変形方式等を登録してもよいし、動作の発動条件を任意に設定してもよい。

次に、ステップＳ２０４において、変形方法割付部１２は、データ入力部１１からデータ信号の種別に対する優先度を受け取り、当該優先度の大きさに応じて、ステップＳ２０３で特定・割り付けされた変形方法の変形量を変更する。例えば、優先度が高い場合にはＵＩ部品から影までの距離を大きくする。これにより、ＵＩ部品の変形量がデータ信号の種別毎に調整されることになる。

次に、ステップＳ２０５において、変形方法割付部１２は、データ入力部１１から全てのデータ信号を受け取ったか否かを判定する。全てのデータ信号を受け取っていない場合にはステップＳ２０２へ戻り、残りのデータ信号についてステップＳ２０２〜Ｓ２０４を行う。一方、全てのデータ信号を受け取っている場合には、次のステップＳ２０６へ進む。

最後に、ステップＳ２０６において、変形方法割付部１２は、データ入力部１１からＵＩ部品データに対する優先度を受け取り、当該優先度の大きさに応じて、各変形方法の変形量を更に変更する。これにより、ＵＩ部品の変形量がＵＩ部品毎に調整されることなる。

次に、変形方法出力部１３の動作を説明する。図７は、変形方法出力部１３の処理フローを示す図である。

ステップＳ３０１において、変形方法出力部１３は、変形対象のＵＩ部品データに割り付けられた変形方法とその変形量を実装装置に出力し、当該実装装置に表示されている該当のＵＩ部品データを一時的に変形させる。このとき、ＵＩ部品制御装置１に入力されたＵＩ部品データを併せて出力してもよい。

ＵＩ部品データの変形表示例を図８に示す。データ信号の種別に対する優先度やＵＩ部品データに対する優先度に応じて、データ信号の種別毎・ＵＩ部品データ毎に該当のＵＩ部品データの変形量が調整される。なお、図８では１つのＵＩ部品データに対して１つの変形方法を適用する場合を例示しているが、１つのＵＩ部品データに対して複数の変形方法を重畳して適用してもよい。例えば、「加速度」というデータ信号の種別に対する「影を表示」という変形方法と、「音」に対する「揺らめかせる」という変形方法とが割り付けられている場合、該当のＵＩ部品は「影を表示しながら揺らめかせる」というように表示される。

更に、ステップＳ３０１において、変形方法出力部１３は、変形対象のＵＩ部品データの機能情報を実装装置に更に出力し、当該実装装置に表示されている該当のＵＩ部品データに当該ＵＩ部品データの機能を表示させる。

ＵＩ部品データの機能情報の表示例を図９に示す。このように、ＵＩ部品データの属性情報として与えられる機能に基づき当該機能情報を併せて表示することにより、ユーザに対してＵＩ部品の機能を示唆することができ、単に操作可能であるだけでなく、その後に何か起こるのかを提示することができる。

最後に、ＵＩ部品の変形方法を特定して表示するためのプログラムコードの例を提示する。例えば、ＵＩ部品制御装置１に対して、「ｐａｒｔＡ」＝ＵＩ部品データ、「ｉｎ＿ａｒｒａｙ」＝ｐａｒｔＡの操作に関係しないデータ信号の配列（例えば、ｉｎ＿ａｒｒａｙ＝［ｉｎ＿加速度，ｉｎ＿傾き，…］）、「ｄｂ」＝変形方法記憶部、といった入力情報が与えられた場合、図１０のプログラムコードを用いてＵＩ部品データ（ｐａｒｔＡ）に対する変形方法を検出することができる。なお、ｐａｒｔＡ．ｎａｍｅは名前、ｐａｒｔＡ．ｔｙｐｅは種別、ｐａｒｔＡ．ａｃｔは動作、ｐａｒｔＡ．ｆｕｎｃは機能である。

なお、本実施の形態では、説明の簡単化のためにＵＩ部品データの“形状”を変形する場合を中心に説明したがＵＩ部品データの“動作”や“色”を変化させてもよい。その場合には、これまでに記述した“変形”を“変化”と読み替え、“変形方法”を“変化方法”と読み替えることができる。また、データ信号を用いてＵＩ部品が操作可能であることを一時的に表出可能であれば、視覚に関する変形を行う以外に、触覚、音、匂い、味覚、電気信号などの手段を用いて変形を表現してもよい。

以上より、本実施の形態によれば、ＵＩ部品の変化方法をデータ信号の種別に応じて変形方法記憶部１４に記憶しておき、データ入力部１１は、ＵＩ部品データを入力し、当該ＵＩ部品データの操作に関係のないデータ信号を更に入力し、変形方法割付部１２は、入力されたデータ信号の種別に対応するＵＩ部品の変化方法を変形方法記憶部１４から読み出してＵＩ部品データに割り付け、変形方法出力部１３は、当該ＵＩ部品データに割り付けられたＵＩ部品の変化方法を出力し、該当のＵＩ部品データを当該ＵＩ部品の変化方法で変化させて表示させるので、ＵＩ部品を操作することなく利用可能なＵＩ部品を認識でき、当該ＵＩ部品の操作可能性の表出度合いを向上することができる。

また、本実施の形態によれば、変形方法出力部１３は、ＵＩ部品データの機能情報を更に出力し、ＵＩ部品データに関連付けて表示させるので、ＵＩ部品を操作することによって次に何が起こるのかを予測させることができ、ＵＩ部品の操作による機能の表出度合いを向上することができる。

すなわち、ＵＩ部品の設計に対してデザイン上の制約を与えることなく、当該ＵＩ部品が操作可能であることや、操作することでどのような機能が実行されるかを予測させることが可能となる。本実施の形態で説明したＵＩ部品制御装置１は、例えば、利便性の高いウェブサイトのグラフィカルユーザインタフェースのデザインに利用できる。

１…ＵＩ部品制御装置
１１…データ入力部
１２…変形方法割付部
１３…変形方法出力部
１４…変形方法記憶部
Ｓ１０１〜Ｓ１０５、Ｓ２０１〜Ｓ２０６、Ｓ３０１…ステップ

Claims

ＵＩ部品の変化方法をデータ信号の種別に応じて記憶しておく記憶手段と、
ＵＩ部品データを入力し、前記ＵＩ部品データの操作に関係のないデータ信号を更に入力する入力手段と、
前記入力されたデータ信号の種別に対応するＵＩ部品の変化方法を前記記憶手段から読み出して、前記ＵＩ部品データに割り付ける割付手段と、
前記ＵＩ部品データに割り付けられたＵＩ部品の変化方法を出力し、前記ＵＩ部品データを当該ＵＩ部品の変化方法で変化させて表示させる出力手段と、
を有することを特徴とするユーザインタフェース部品制御装置。
前記記憶手段は、前記ＵＩ部品の変化方法をＵＩ部品の動作種別に更に応じて記憶しておき、
前記割付手段は、
前記入力されたＵＩ部品データの動作種別に更に対応するＵＩ部品の変化方法を前記ＵＩ部品データに割り付けることを特徴とする請求項１に記載のユーザインタフェース部品制御装置。
前記出力手段は、
前記ＵＩ部品データの機能情報を更に出力し、前記ＵＩ部品データに関連付けて表示させることを特徴とする請求項１又は２に記載のユーザインタフェース部品制御装置。
前記割付手段は、
前記ＵＩ部品データに対して設定された優先度に応じて前記ＵＩ部品データの変化度合いをそれぞれ調整することを特徴とする請求項１乃至３のいずれかに記載のユーザインタフェース部品制御装置。
前記割付手段は、
前記データ信号の種別に対して設定された優先度に応じて前記ＵＩ部品データの変化度合いを調整することを特徴とする請求項１乃至４のいずれかに記載のユーザインタフェース部品制御装置。
前記データ信号は、
前記ＵＩ部品データが表示される表示装置の画面若しくは前記表示装置に対するユーザ操作に基づくデータ信号、前記表示装置で計測されるデータ信号、１つ以上の他の装置から前記表示装置に入力されるデータ信号、又は１人以上のユーザの生体情報であることを特徴とする請求項１乃至５のいずれかに記載のユーザインタフェース部品制御装置。
コンピュータを請求項１乃至６のいずれかに記載のユーザインタフェース部品制御装置として機能させるためのユーザインタフェース部品制御プログラム。