Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7749045B2 - ハンドジェスチャを使用したユーザインタフェースのナビゲーション - Google Patents
[go: Go Back, main page]

JP7749045B2 - ハンドジェスチャを使用したユーザインタフェースのナビゲーション - Google Patents

ハンドジェスチャを使用したユーザインタフェースのナビゲーション

Info

Publication number
JP7749045B2
JP7749045B2 JP2024023002A JP2024023002A JP7749045B2 JP 7749045 B2 JP7749045 B2 JP 7749045B2 JP 2024023002 A JP2024023002 A JP 2024023002A JP 2024023002 A JP2024023002 A JP 2024023002A JP 7749045 B2 JP7749045 B2 JP 7749045B2
Authority
JP
Japan
Prior art keywords
user interface
gesture
computer system
interface object
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2024023002A
Other languages
English (en)
Other versions
JP2024096687A (ja
Inventor
トゥ ケー． グエン，
ジェイムス， エヌ． カートゥライト，
エリザベス， シー． クランフィル，
クリストファー， ビー． フレイザック，
ジョシュア， アール． フォード，
エレミヤ， アール． ジョンソン，
チャールズ マーロフ，
ムーサヴィー， ホジャット セイイェド
ヘリベルト ニエト，
ジェニファー， ディー． パットン，
ショーン， アール． スカリー，
イブラヒム， ジー． ユースフ，
ジョアンナ アレアサ－テイラー，
ハンナ ジー． コールマン，
ユンジュ ハン，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/US2022/030021 external-priority patent/WO2022246060A1/en
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2024096687A publication Critical patent/JP2024096687A/ja
Priority to JP2025157234A priority Critical patent/JP7846296B2/ja
Application granted granted Critical
Publication of JP7749045B2 publication Critical patent/JP7749045B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0362—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of one-dimensional [1D] translations or rotations of an operating part of the device, e.g. scroll wheels, sliders, knobs, rollers or belts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Biomedical Technology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

（関連出願の相互参照）
本出願は、２０２１年５月１９日に出願され、「ＮＡＶＩＧＡＴＩＮＧ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥＳ ＵＳＩＮＧ ＨＡＮＤ ＧＥＳＴＵＲＥＳ」と題する米国特許仮出願第６３／１９０，７８３号と、２０２１年７月１３日に出願され、「ＮＡＶＩＧＡＴＩＮＧ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥＳ ＵＳＩＮＧ ＨＡＮＤ ＧＥＳＴＵＲＥＳ」と題する米国仮特許出願第６３／２２１，３３１号、及び２０２２年５月１８日に出願され、「ＮＡＶＩＧＡＴＩＮＧ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥＳ ＵＳＩＮＧ ＨＡＮＤ ＧＥＳＴＵＲＥＳ」と題する米国特許出願第１７／７４７，６１３号の優先権を主張する。これらの出願の内容は、全体が、参照により本明細書に組み込まれる。
本開示は、概して、コンピュータユーザインタフェースに関し、より具体的には、ハンドジェスチャを使用したユーザインタフェースをナビゲートするための技術に関する。
スマートフォン及び他のパーソナル電子デバイスのユーザは、彼らのデバイスをより頻繁に使用している。いくつかの既存の技法は、ユーザが自分のデバイス上でユーザインタフェースをナビゲートすることを可能にする。
しかしながら、電子デバイスを用いてハンドジェスチャを使用してユーザインタフェースをナビゲートするための一部の技術は、一般的に扱いにくく非効率である。例えば、一部の既存の技術では、複数回のキー押圧又は打鍵を含む場合がある、複雑且つ時間のかかるユーザインタフェースが使用されている。既存の技術は、多くの時間を要し、ユーザの時間及びデバイスのエネルギを浪費する。この後者の考慮事項は、バッテリ動作式デバイスにおいて特に重要である。
したがって、本技術は、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための、より速く、より効率的な方法及びインタフェースを電子デバイスのユーザに提供する。そのような方法及びインタフェースは、任意選択的に、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための他の方法を補完するか又は置き換える。そのような方法及びインタフェースは、ユーザにかかる認識的負担を低減し、より効率的なヒューマン－マシンインタフェースを作成する。バッテリ動作式コンピューティングデバイスの場合、そのような方法及びインタフェースは、電力を節約し、バッテリ充電の間隔を長くする。
いくつかの実施形態によれば、方法が記載される。方法は、表示生成構成要素及び光学センサと通信しているコンピュータシステムにおいて実行される。方法は、表示生成構成要素を介して、第１のユーザインタフェースオブジェクトと、第２のユーザインタフェースオブジェクトと、第３のユーザインタフェースオブジェクトと、第１のユーザインタフェースオブジェクトが選択されているというインジケーションと、を含むユーザインタフェースを表示することと、第１のユーザインタフェースオブジェクトと、第２のユーザインタフェースオブジェクトと、第３のユーザインタフェースオブジェクトと、第１のユーザインタフェースオブジェクトが選択されているというインジケーションを含むユーザインタフェースを表示している間に、少なくとも光学センサを介してハンドジェスチャを検出することと、少なくとも光学センサを介してハンドジェスチャを検出したことに応じて、ハンドジェスチャが第１のタイプのジェスチャであるという判定に従って、表示生成構成要素を介して、第２のユーザインタフェースオブジェクトが選択されているというインジケーションを表示することと、ハンドジェスチャが第１のタイプのジェスチャとは異なる第２のタイプのジェスチャであるという判定に従って、表示生成構成要素を介して、第３のユーザインタフェースオブジェクトが選択されているというインジケーションを表示することと、を含む。
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、表示生成構成要素及び光学センサと通信するコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、表示生成構成要素を介して、第１のユーザインタフェースオブジェクトと、第２のユーザインタフェースオブジェクトと、第３のユーザインタフェースオブジェクトと、第１のユーザインタフェースオブジェクトが選択されているというインジケーションと、を含むユーザインタフェースを表示し、第１のユーザインタフェースオブジェクトと、第２のユーザインタフェースオブジェクトと、第３のユーザインタフェースオブジェクトと、第１のユーザインタフェースオブジェクトが選択されているというインジケーションを含むユーザインタフェースを表示している間に、少なくとも光学センサを介してハンドジェスチャを検出し、少なくとも光学センサを介してハンドジェスチャを検出したことに応じて、ハンドジェスチャが第１のタイプのジェスチャであるという判定に従って、表示生成構成要素を介して、第２のユーザインタフェースオブジェクトが選択されているというインジケーションを表示し、ハンドジェスチャが第１のタイプのジェスチャとは異なる第２のタイプのジェスチャであるという判定に従って、表示生成構成要素を介して、第３のユーザインタフェースオブジェクトが選択されているというインジケーションを表示する命令を含む。
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。一時的コンピュータ可読記憶媒体は、表示生成構成要素及び光学センサと通信するコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、表示生成構成要素を介して、第１のユーザインタフェースオブジェクトと、第２のユーザインタフェースオブジェクトと、第３のユーザインタフェースオブジェクトと、第１のユーザインタフェースオブジェクトが選択されているというインジケーションと、を含むユーザインタフェースを表示し、第１のユーザインタフェースオブジェクトと、第２のユーザインタフェースオブジェクトと、第３のユーザインタフェースオブジェクトと、第１のユーザインタフェースオブジェクトが選択されているというインジケーションを含むユーザインタフェースを表示している間に、少なくとも光学センサを介してハンドジェスチャを検出し、少なくとも光学センサを介してハンドジェスチャを検出したことに応じて、ハンドジェスチャが第１のタイプのジェスチャであるという判定に従って、表示生成構成要素を介して、第２のユーザインタフェースオブジェクトが選択されているというインジケーションを表示し、ハンドジェスチャが第１のタイプのジェスチャとは異なる第２のタイプのジェスチャであるという判定に従って、表示生成構成要素を介して、第３のユーザインタフェースオブジェクトが選択されているというインジケーションを表示する命令を含む。
いくつかの実施形態によれば、コンピュータシステムが記載される。コンピュータシステムは、表示生成構成要素と、光学センサと、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、１つ以上のプログラムは、表示生成構成要素を介して、第１のユーザインタフェースオブジェクトと、第２のユーザインタフェースオブジェクトと、第３のユーザインタフェースオブジェクトと、第１のユーザインタフェースオブジェクトが選択されているというインジケーションと、を含むユーザインタフェースを表示し、第１のユーザインタフェースオブジェクトと、第２のユーザインタフェースオブジェクトと、第３のユーザインタフェースオブジェクトと、第１のユーザインタフェースオブジェクトが選択されているというインジケーションを含むユーザインタフェースを表示している間に、少なくとも光学センサを介してハンドジェスチャを検出し、少なくとも光学センサを介してハンドジェスチャを検出したことに応じて、ハンドジェスチャが第１のタイプのジェスチャであるという判定に従って、表示生成構成要素を介して、第２のユーザインタフェースオブジェクトが選択されているというインジケーションを表示し、ハンドジェスチャが第１のタイプのジェスチャとは異なる第２のタイプのジェスチャであるという判定に従って、表示生成構成要素を介して、第３のユーザインタフェースオブジェクトが選択されているというインジケーションを表示する命令を含む。
いくつかの実施形態によれば、コンピュータシステムが記載される。コンピュータシステムは、表示生成構成要素と、光学センサと、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、１つ以上のプログラムは、表示生成構成要素を介して、第１のユーザインタフェースオブジェクトと、第２のユーザインタフェースオブジェクトと、第３のユーザインタフェースオブジェクトと、第１のユーザインタフェースオブジェクトが選択されているというインジケーションと、を含むユーザインタフェースを表示する手段と、第１のユーザインタフェースオブジェクトと、第２のユーザインタフェースオブジェクトと、第３のユーザインタフェースオブジェクトと、第１のユーザインタフェースオブジェクトが選択されているというインジケーションとを含むユーザインタフェースを表示している間に、少なくとも光学センサを介してハンドジェスチャを検出する手段と、少なくとも光学センサを介してハンドジェスチャを検出したことに応じて、ハンドジェスチャが第１のタイプのジェスチャであるという判定に従って、表示生成構成要素を介して、第２のユーザインタフェースオブジェクトが選択されているというインジケーションを表示し、ハンドジェスチャが第１のタイプのジェスチャとは異なる第２のタイプのジェスチャであるという判定に従って、表示生成構成要素を介して、第３のユーザインタフェースオブジェクトが選択されているというインジケーションを表示する手段と、を含む。
いくつかの実施形態によれば、コンピュータプログラム製品が記載される。コンピュータプログラム製品は、表示生成構成要素及び光学センサと通信するコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、表示生成構成要素を介して、第１のユーザインタフェースオブジェクトと、第２のユーザインタフェースオブジェクトと、第３のユーザインタフェースオブジェクトと、第１のユーザインタフェースオブジェクトが選択されているというインジケーションと、を含むユーザインタフェースを表示し、第１のユーザインタフェースオブジェクトと、第２のユーザインタフェースオブジェクトと、第３のユーザインタフェースオブジェクトと、第１のユーザインタフェースオブジェクトが選択されているというインジケーションとを含むユーザインタフェースを表示している間に、少なくとも光学センサを介してハンドジェスチャを検出し、少なくとも光学センサを介してハンドジェスチャを検出したことに応じて、ハンドジェスチャが第１のタイプのジェスチャであるという判定に従って、表示生成構成要素を介して、第２のユーザインタフェースオブジェクトが選択されているというインジケーションを表示し、ハンドジェスチャが第１のタイプのジェスチャとは異なる第２のタイプのジェスチャであるという判定に従って、表示生成構成要素を介して、第３のユーザインタフェースオブジェクトが選択されているというインジケーションを表示する命令を含む。
いくつかの実施形態によれば、方法が記載される。本方法は、表示生成構成要素と通信するコンピュータシステムで実行される。方法は、表示生成構成要素を介して、選択可能ユーザインタフェースオブジェクトと、ユーザインタフェース上の第１の位置に表示されるカーソルと、を含むユーザインタフェースを表示することと、選択可能ユーザインタフェースオブジェクト及びユーザインタフェース上の第１の位置にあるカーソルを表示している間に、カーソルを第１の位置からユーザインタフェース上の第２の位置に移動させる要求を検出することと、カーソルを第１の位置から第２の位置に移動させる要求の検出に応じて、カーソルを第２の位置に表示することと、第２の位置が選択可能ユーザインタフェースオブジェクトの位置に対応するという判定に従って、動作を実行するためにカーソルが第２の位置に配置される必要がある時間の長さの視覚インジケーションであって、視覚インジケーションはある期間にわたって更新される、視覚インジケーションを提供するアニメーションを表示することと、第２の位置が選択可能ユーザインタフェースオブジェクトの位置に対応していないという判定に従って、アニメーションの表示を取り止めることと、を含む。
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、表示生成構成要素と通信するコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、表示生成構成要素を介して、選択可能ユーザインタフェースオブジェクトと、ユーザインタフェース上の第１の位置に表示されるカーソルと、を含むユーザインタフェースを表示し、選択可能ユーザインタフェースオブジェクト及びユーザインタフェース上の第１の位置にあるカーソルを表示している間に、カーソルを第１の位置からユーザインタフェース上の第２の位置に移動させる要求を検出し、カーソルを第１の位置から第２の位置に移動させる要求の検出に応じて、カーソルを第２の位置に表示し、第２の位置が選択可能ユーザインタフェースオブジェクトの位置に対応するという判定に従って、動作を実行するためにカーソルが第２の位置に配置される必要がある時間の長さの視覚インジケーションであって、視覚インジケーションはある期間にわたって更新される、視覚インジケーションを提供するアニメーションを表示し、第２の位置が選択可能ユーザインタフェースオブジェクトの位置に対応していないという判定に従って、アニメーションの表示を取り止める、命令を含む。
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。一時的コンピュータ可読記憶媒体は、表示生成構成要素と通信するコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、表示生成構成要素を介して、選択可能ユーザインタフェースオブジェクトと、ユーザインタフェース上の第１の位置に表示されるカーソルと、を含むユーザインタフェースを表示し、選択可能ユーザインタフェースオブジェクト及びユーザインタフェース上の第１の位置にあるカーソルを表示している間に、カーソルを第１の位置からユーザインタフェース上の第２の位置に移動させる要求を検出し、カーソルを第１の位置から第２の位置に移動させる要求の検出に応じて、カーソルを第２の位置に表示し、第２の位置が選択可能ユーザインタフェースオブジェクトの位置に対応するという判定に従って、動作を実行するためにカーソルが第２の位置に配置される必要がある時間の長さの視覚インジケーションであって、視覚インジケーションはある期間にわたって更新される、視覚インジケーションを提供するアニメーションを表示し、第２の位置が選択可能ユーザインタフェースオブジェクトの位置に対応していないという判定に従って、アニメーションの表示を取り止める、命令を含む。
いくつかの実施形態によれば、コンピュータシステムが記載される。コンピュータシステムは、表示生成構成要素と、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、１つ以上のプログラムは、表示生成構成要素を介して、選択可能ユーザインタフェースオブジェクトと、ユーザインタフェース上の第１の位置に表示されるカーソルと、を含むユーザインタフェースを表示し、選択可能ユーザインタフェースオブジェクト及びユーザインタフェース上の第１の位置にあるカーソルを表示している間に、カーソルを第１の位置からユーザインタフェース上の第２の位置に移動させる要求を検出し、カーソルを第１の位置から第２の位置に移動させる要求の検出に応じて、カーソルを第２の位置に表示し、第２の位置が選択可能ユーザインタフェースオブジェクトの位置に対応するという判定に従って、動作を実行するためにカーソルが第２の位置に配置される必要がある時間の長さの視覚インジケーションであって、視覚インジケーションはある期間にわたって更新される、視覚インジケーションを提供するアニメーションを表示し、第２の位置が選択可能ユーザインタフェースオブジェクトの位置に対応していないという判定に従って、アニメーションの表示を取り止める、命令を含む。
いくつかの実施形態によれば、コンピュータシステムが記載される。コンピュータシステムは、表示生成構成要素と、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、１つ以上のプログラムは、表示生成構成要素を介して、選択可能ユーザインタフェースオブジェクトと、ユーザインタフェース上の第１の位置に表示されるカーソルと、を含むユーザインタフェースを表示する手段と、選択可能ユーザインタフェースオブジェクト及びユーザインタフェース上の第１の位置にあるカーソルを表示している間に、カーソルを第１の位置からユーザインタフェース上の第２の位置に移動させる要求を検出する手段と、カーソルを第１の位置から第２の位置に移動させる要求の検出に応じて、カーソルを第２の位置に表示する手段と、第２の位置が選択可能ユーザインタフェースオブジェクトの位置に対応するという判定に従って、動作を実行するためにカーソルが第２の位置に配置される必要がある時間の長さの視覚インジケーションであって、視覚インジケーションはある期間にわたって更新される、視覚インジケーションを提供するアニメーションを表示し、第２の位置が選択可能ユーザインタフェースオブジェクトの位置に対応していないという判定に従って、アニメーションの表示を取り止める、命令を含む。
いくつかの実施形態によれば、コンピュータプログラム製品が記載される。コンピュータプログラム製品は、表示生成構成要素と通信するコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、表示生成構成要素を介して、選択可能ユーザインタフェースオブジェクトと、ユーザインタフェース上の第１の位置に表示されるカーソルと、を含むユーザインタフェースを表示し、選択可能ユーザインタフェースオブジェクト及びユーザインタフェース上の第１の位置にあるカーソルを表示している間に、カーソルを第１の位置からユーザインタフェース上の第２の位置に移動させる要求を検出し、カーソルを第１の位置から第２の位置に移動させる要求の検出に応じて、カーソルを第２の位置に表示し、第２の位置が選択可能ユーザインタフェースオブジェクトの位置に対応するという判定に従って、動作を実行するためにカーソルが第２の位置に配置される必要がある時間の長さの視覚インジケーションであって、視覚インジケーションはある期間にわたって更新される、視覚インジケーションを提供するアニメーションを表示し、第２の位置が選択可能ユーザインタフェースオブジェクトの位置に対応していないという判定に従って、アニメーションの表示を取り止める、命令を含む。
これらの機能を実行する実行可能命令は、任意選択的に、１つ以上のプロセッサによって実行されるために構成された非一時的コンピュータ可読記憶媒体又は他のコンピュータプログラム製品内に含まれる。これらの機能を実行する実行可能命令は、任意選択的に、１つ以上のプロセッサによって実行されるために構成された一時的コンピュータ可読記憶媒体又は他のコンピュータプログラム製品内に含まれる。
この結果、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための、より速く、より効率的な方法及びインタフェースがデバイスに提供され、それにより、このようなデバイスの有効性、効率、及びユーザ満足度が増す。そのような方法及びインタフェースは、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための他の方法を補完するか又は置き換えることができる。
説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図の全てを通じて、対応する部分を指す。
いくつかの実施形態に係る、タッチ感知ディスプレイを備えたポータブル多機能デバイスを示すブロック図である。
いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。
いくつかの実施形態に係る、タッチスクリーンを有するポータブル多機能デバイスを示す図である。
いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。
いくつかの実施形態に係る、ポータブル多機能デバイス上のアプリケーションのメニューの例示的なユーザインタフェースを示す。
いくつかの実施形態に係る、ディスプレイとは別個のタッチ感知面を有する多機能デバイスの例示的なユーザインタフェースを示す。
いくつかの実施形態に係る、パーソナル電子デバイスを示す。
いくつかの実施形態に係る、パーソナル電子デバイスを示すブロック図である。
いくつかの実施形態に係る、ハンドジェスチャの例示的なセットを示す。
いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。
いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。
いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。
いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。
いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。
いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。
いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。
いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。
いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための方法を示すフロー図である。
いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための方法を示すフロー図である。
以下の説明は、例示的な方法、パラメータなどについて記載する。しかしながら、そのような説明は、本開示の範囲に対する限定として意図されるものではなく、むしろ例示的な実施形態の説明として提供されることを認識されたい。
ハンドジェスチャを使用してユーザインタフェースをナビゲートするための効率的な方法及びインタフェースを提供する電子デバイスが必要とされている。例えば、ユーザは、自分のデバイスのディスプレイに触れることなく、ユーザインタフェースをナビゲートしたい場合がある。そのような技術は、ユーザインタフェースをナビゲートするユーザの認識的及び／又は身体的負担を軽減し、それによって生産性を高めることができる。更に、そのような技術は、普通なら冗長なユーザ入力に浪費されるプロセッサ及びバッテリの電力を低減することができる。
以下、図１Ａ～図１Ｂ、図２、図３、図４Ａ～図４Ｂ、及び図５Ａ～図５Ｂは、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための技術を実行する例示的なデバイスの説明を提供する。図６は、いくつかの実施形態に係る、ハンドジェスチャの例示的なセットを示す。図７Ａ～図７ＡＡは、いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。図８Ａ～図８Ｊは、いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。図９Ａ～図９Ｈは、いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。図１０Ａ～図１０Ｆは、いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。図１１Ａ～図１１Ｈは、いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。図１２Ａ～図１２Ｊは、いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。図１３Ａ～図１３Ｇは、いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。図１４は、いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。図１５は、いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための方法を示すフロー図である。図１６は、いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための方法を示すフロー図である。図６、図７Ａ～図７ＡＡ、図８Ａ～図８Ｊ、図９Ａ～図９Ｈ、図１０Ａ～図１０Ｆ、図１１Ａ～図１１Ｈ、図１２Ａ～図１２Ｊ、図１３Ａ～図１３Ｇ、及び図１４のユーザインタフェースは、図１５及び図１６のプロセスを含む、以下で説明するプロセスを示すために使用される。
また、１つ以上のステップが１つ以上の条件を満たしていることを前提とする本明細書に記載の方法では、繰り返しの過程で、本方法におけるステップの前提である全ての条件が本方法の様々な繰り返しにおいて満たされるように、記載の方法を何回も繰り返すことができることを理解されたい。例えば、ある方法が、条件が満たされた場合に第１のステップを実行し、条件が満たされなかった場合に第２のステップを実行することを必要とする場合、当業者であれば、条件が満たされた場合と満たされなかった場合の両方が満たされるまで、請求されたステップを順不同に繰り返すことを理解できるであろう。したがって、１つ以上の条件が満たされることを条件とする１つ以上のステップで記述された方法は、その方法で記述された各条件が満たされるまで繰り返される方法に置き換えることができる。しかしながら、これは、システム又はコンピュータ可読媒体が、対応する１つ以上の条件が満たされていることに基づいて条件付き動作を実行する命令を含み、したがって、方法におけるステップの前提である全ての条件が満たされるまで方法におけるステップを明確に繰り返さずにコンティンジェンシが満たされたか否かを判定できるシステム又はコンピュータ可読媒体のクレームには必要とされない。当業者はまた、条件付きステップを備えた方法と同様に、システム又はコンピュータ可読記憶媒体が全ての条件付きステップが実行されたことを確保するのに必要な回数だけ方法ステップを繰り返すことができることを理解するであろう。
以下の説明では、様々な要素について説明するために、「第１の」、「第２の」などの用語を使用するが、これらの要素は、それらの用語によって限定されるべきではない。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、記載する様々な実施形態の範囲から逸脱することなく、第１のタッチを第２のタッチと呼ぶこともでき、同様に第２のタッチを第１のタッチと呼ぶこともできる。第１のタッチ及び第２のタッチはどちらもタッチであるが、これらは同じタッチではない。
本明細書に記載する様々な実施形態の説明で使用される術語は、特定の実施形態を説明することのみを目的とし、限定的であることは意図されていない。記載する様々な実施形態の説明及び添付の特許請求の範囲では、単数形の「ａ（１つ、一）」、「ａｎ（１つ、一）」、及び「ｔｈｅ（その、この）」は、文脈上別途明白に記載しない限り、複数形も同様に含むことが意図される。また、本明細書で使用されるとき、用語「及び／又は」は、関連する列挙された項目のうちの１つ以上のいずれか及び全ての考えられる組み合わせを指し、且つこれを含むことを理解されたい。用語「ｉｎｃｌｕｄｅｓ（含む）」、「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｅｓ（含む、備える）」、及び／又は「ｃｏｍｐｒｉｓｉｎｇ（含む、備える）」は、本明細書で使用する場合、述べられた特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在又は追加を除外しないことが更に理解されるであろう。
「～の場合（if）」という用語は、任意選択的に、文脈に応じて、「～とき（when）」若しくは「～とき（upon）」、又は「～と判定したことに応じて（in response to determining）」若しくは「～を検出したことに応じて（in response to detecting）」を意味すると解釈される。同様に、「～と判定された場合（if it is determined）」又は「［記載の条件又はイベント］が検出された場合（if [a stated condition or event] is detected）」という語句は、任意選択的に、文脈に応じて、「～と判定したとき（upon determining）」若しくは「～と判定したことに応じて（in response to determining）」、又は「［記載の条件又はイベント］を検出したとき（upon detecting [the stated condition or event]）」若しくは「［記載の条件又はイベント］を検出したことに応じて（in response to detecting [the stated condition or event]）」を意味すると解釈される。
電子デバイス、そのようなデバイス用のユーザインタフェース、及びそのようなデバイスを使用する関連するプロセスの実施形態が説明される。いくつかの実施形態では、デバイスは、ＰＤＡ機能及び／又は音楽プレーヤ機能などの他の機能も含む、携帯電話などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態としては、カリフォルニア州クパチーノのＡｐｐｌｅ Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）のデバイスが挙げられるが、これらに限定されない。任意選択的に、タッチセンシティブ面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を有するラップトップコンピュータ又はタブレットコンピュータなどの他のポータブル電子デバイスも使用される。また、いくつかの実施形態では、デバイスはポータブル通信デバイスではなく、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を有するデスクトップコンピュータであることも理解されたい。いくつかの実施形態では、電子デバイスは、表示生成構成要素と通信している（例えば、有線通信を介して、無線通信を介して）コンピュータシステムである。表示生成構成要素は、ＣＲＴディスプレイを介した表示、ＬＥＤディスプレイを介した表示、又は画像投影を介した表示などの視覚的な出力を提供するように構成されている。いくつかの実施形態では、表示生成構成要素は、コンピュータシステムと一体化される。いくつかの実施形態では、表示生成構成要素は、コンピュータシステムとは別個である。本明細書で使用するとき、「表示する」コンテンツは、コンテンツを視覚的に生成するために、有線又は無線接続で、データ（例えば、画像データ又はビデオデータ）を、一体型又は外部の表示生成構成要素に送信することによって、コンテンツ（例えば、ディスプレイコントローラ１５６によってレンダリング又はデコードされたビデオデータ）を表示させることを含む。
以下の論考では、ディスプレイ及びタッチ感知面を含む電子デバイスについて説明する。しかしながら、電子デバイスは、任意選択的に、物理キーボード、マウス、及び／又はジョイスティックなどの１つ以上の他の物理ユーザインタフェースデバイスを含むことを理解されたい。
デバイスは、通常、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレーヤアプリケーション、及び／又はデジタルビデオプレーヤアプリケーションのうちの１つ以上などの様々なアプリケーションをサポートする。
本デバイス上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも１つの共通の物理ユーザインタフェースデバイスを、任意選択的に使用する。タッチ感知面の１つ以上の機能、並びにデバイス上に表示される対応する情報は、アプリケーション毎に、及び／又は特定のアプリケーション内で、任意選択的に、調整及び／又は変更される。このように、デバイスの共通の物理アーキテクチャ（タッチ感知面など）は、任意選択的に、ユーザにとって直観的且つ透明なユーザインタフェースを備える様々なアプリケーションをサポートする。
ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注意を向ける。図１Ａは、いくつかの実施形態に係る、タッチ感知ディスプレイシステム１１２を有するポータブル多機能デバイス１００を示すブロック図である。タッチ感知ディスプレイ１１２は、便宜上「タッチスクリーン」と呼ばれることがあり、「タッチ感知ディスプレイシステム」として知られている又は呼ばれることがある。デバイス１００は、メモリ１０２（任意選択的に、１つ以上のコンピュータ可読記憶媒体を含む）、メモリコントローラ１２２、１つ以上の処理ユニット（ＣＰＵ）１２０、周辺機器インタフェース１１８、ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、入出力（Ｉ／Ｏ）サブシステム１０６、他の入力コントロールデバイス１１６、及び外部ポート１２４を含む。デバイス１００は、任意選択的に、１つ以上の光学センサ１６４を含む。デバイス１００は、任意選択的に、デバイス１００上の接触の強度を検出する１つ以上の接触強度センサ１６５（例えば、デバイス１００のタッチ感知ディスプレイシステム１１２などのタッチ感知面）を含む。デバイス１００は、任意選択的に、デバイス１００上で触覚出力を生成する（例えばデバイス１００のタッチ感知ディスプレイシステム１１２又はデバイス３００のタッチパッド３５５などのタッチ感知面上で触覚出力を生成する）１つ以上の触覚出力生成器１６７を含む。これらの構成要素は、任意選択的に、１つ以上の通信バス又は信号ライン１０３を介して通信する。
本明細書及び特許請求において使用されるとき、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触（例えば、指の接触）の力若しくは圧力（単位面積当たりの力）、又はタッチ感知面上の接触の力若しくは圧力に対する代理（プロキシ）を指す。接触の強度は、少なくとも４つの別個の値を含み、より典型的には、数百の（例えば、少なくとも２５６の）別個の値を含む、値の範囲を有する。接触の強度は、任意選択的に、様々な手法、及び様々なセンサ又はセンサの組み合わせを使用して、判定（又は測定）される。例えば、タッチ感知面の下又はそれに隣接する１つ以上の力センサは、任意選択的に、タッチ感知面上の様々なポイントにおける力を測定するために使用される。いくつかの実装形態では、複数の力センサからの力測定値が、接触の推定される力を決定するために組み合わされる（例えば、加重平均される）。同様に、スタイラスの感圧性先端部が、任意選択的に、タッチ感知面上のスタイラスの圧力を判定するために使用される。あるいは、タッチ感知面上で検出される接触エリアのサイズ及び／若しくはその変化、接触に近接するタッチ感知面の電気容量及び／若しくはその変化、並びに／又は、接触に近接するタッチ感知面の抵抗及び／若しくはその変化が、任意選択的に、タッチ感知面上の接触の力又は圧力の代替物として使用される。一部の実装形態では、接触の力又は圧力の代替測定値が、強度閾値を上回っているかどうかを判定するために直接使用される（例えば、強度閾値は、代替測定値に対応する単位で記述される）。いくつかの実装形態では、接触力又は圧力の代理測定値は、力又は圧力の推定値に変換され、力又は圧力の推定値が、強度閾値を上回っているかどうかを判定するために使用される（例えば、強度閾値は、圧力の単位で測定される圧力閾値である）。接触の強度をユーザ入力の属性として使用することにより、アフォーダンスを表示する実装面積が限られている低減されたサイズのデバイス上で、ユーザが他の方法ではアクセス不可能であり得る追加のデバイス機能にユーザがアクセスすること（例えば、タッチ感知ディスプレイ上で）、及び／又は、ユーザ入力を受け取ること（例えば、タッチ感知ディスプレイ、タッチ感知面、又は、ノブ若しくはボタンなどの物理的／機械的コントロールを介して）が可能となる。
本明細書及び特許請求の範囲で使用されるように、用語「触覚出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの従前の位置に対するそのデバイスの物理的変位、デバイスの構成要素（例えば、タッチ感知面）の、そのデバイスの別の構成要素（例えば、筐体）に対する物理的変位、又は、デバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザの表面（例えば、ユーザの手の指、手のひら、又は他の部分）に接触している状況では、物理的変位によって生成された触覚出力は、そのデバイス又はデバイスの構成要素の物理的特性の認識される変化に相当する触感として、ユーザによって解釈されることになる。例えば、タッチ感知面（例えば、タッチ感知ディスプレイ又はトラックパッド）の移動は、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として、任意選択的に解釈される。場合によっては、ユーザの動作により物理的に押圧された（例えば、変位された）タッチ感知面に関連付けられた物理アクチュエータボタンの移動がないときでさえ、ユーザは「ダウンクリック」又は「アップクリック」などの触感を感じる。別の例として、タッチ感知面の移動は、タッチ感知面の平滑度に変化がない場合であっても、ユーザによって、そのタッチ感知面の「粗さ」として、任意選択的に解釈又は感知される。そのようなユーザによるタッチの解釈は、ユーザの個人的な感覚認知に左右されるが、大多数のユーザに共通する、多くのタッチの感覚認知が存在する。したがって、触覚出力が、ユーザの特定の感覚認知（例えば、「アップクリック」「ダウンクリック」、「粗さ」）に対応するものと記述される場合、別途記載のない限り、生成された触覚出力は、典型的な（又は、平均的な）ユーザの記述された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。
デバイス１００は、ポータブル多機能デバイスの一例に過ぎず、デバイス１００は、任意選択的に、示されているものよりも多くの構成要素又は少ない構成要素を有するものであり、任意選択的に、２つ以上の構成要素を組み合わせるものであり、又は、任意選択的に、それらの構成要素の異なる構成若しくは配置を有するものであることを理解されたい。図１Ａに示す様々な構成要素は、１つ以上の信号処理回路及び／又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの両方の組み合わせで実装される。
メモリ１０２は、任意選択的に、高速ランダムアクセスメモリを含み、また任意選択的に、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスなどの不揮発性メモリを含む。メモリコントローラ１２２は、任意選択的に、デバイス１００の他の構成要素によるメモリ１０２へのアクセスを制御する。
周辺機器インタフェース１１８は、デバイスの入力及び出力周辺機器をＣＰＵ１２０及びメモリ１０２に結合するために使用することができる。１つ以上のプロセッサ１２０は、メモリ１０２に記憶された様々なソフトウェアプログラム（（例えば、命令を含む）コンピュータプログラムなど）及び／又は命令セットを動作させる又は実行して、デバイス１００のための様々な機能を実施し、データを処理する。いくつかの実施形態では、周辺機器インタフェース１１８、ＣＰＵ１２０、及びメモリコントローラ１２２は、任意選択的に、チップ１０４などの単一のチップ上に実装される。いくつかの他の実施形態では、それらは別々のチップ上に任意選択的に実装される。
ＲＦ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ、無線周波数）回路１０８は、電磁信号とも呼ばれるＲＦ信号を送受信する。ＲＦ回路１０８は、電気信号を電磁信号に又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。ＲＦ回路１０８は、任意選択的に、これらの機能を実行するための周知の回路を含み、それらの回路としては、限定するものではないが、アンテナシステム、ＲＦ送受信機、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュール（subscriber identity module、ＳＩＭ）カード、メモリなどが挙げられる。ＲＦ回路１０８は、任意選択的に、ワールドワイドウェブ（World Wide Web、ＷＷＷ）とも呼ばれるインターネット、イントラネット、並びに／又はセルラ電話ネットワーク、無線ローカルエリアネットワーク（local area network、ＬＡＮ）及び／若しくはメトロポリタンエリアネットワーク（metropolitan area network、ＭＡＮ）などの無線ネットワークなどのネットワークと、また他のデバイスと、無線通信によって通信する。ＲＦ回路１０８は、任意選択的に、短距離通信無線機などによって近距離通信（near field communication、ＮＦＣ）フィールドを検出するよく知られている回路を含む。無線通信は、任意選択的に、それだけに限定されるものではないが、モバイル通信用グローバルシステム（Global System for Mobile Communications、ＧＳＭ）、拡張データＧＳＭ環境（Enhanced Data GSM Environment、ＥＤＧＥ）、高速ダウンリンクパケットアクセス（high-speed downlink packet access、ＨＳＤＰＡ）、高速アップリンクパケットアクセス（high-speed uplink packet access、ＨＳＵＰＡ）、エボリューションデータオンリ（Evolution,Data-Only、ＥＶ－ＤＯ）、ＨＳＰＡ、ＨＳＰＡ＋、デュアルセルＨＳＰＡ（Dual-Cell HSPA、ＤＣ－ＨＳＰＤＡ）、ロングタームエボリューション（long term evolution、ＬＴＥ）、近距離通信（ＮＦＣ）、広帯域符号分割多元接続（wideband code division multiple access、Ｗ－ＣＤＭＡ）、符号分割多元接続（code division multiple access、ＣＤＭＡ）、時分割多元接続（time division multiple access、ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈローエネルギ（Bluetooth Low Energy、ＢＴＬＥ）、ワイヤレスフィデリティ（Wireless Fidelity、Ｗｉ－Ｆｉ）（例えば、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ、ＩＥＥＥ８０２．１１ｎ、及び／若しくはＩＥＥＥ８０２．１１ａｃ）、ボイスオーバインターネットプロトコル（voice over Internet Protocol、ＶｏＩＰ）、Ｗｉ－ＭＡＸ、電子メール用プロトコル（例えば、インターネットメッセージアクセスプロトコル（Internet message access protocol、ＩＭＡＰ）及び／若しくはポストオフィスプロトコル（post office protocol、ＰＯＰ））、インスタントメッセージング（例えば、拡張可能なメッセージング及びプレゼンスプロトコル（extensible messaging and presence protocol、ＸＭＰＰ）、インスタントメッセージング及びプレゼンスレベレイジングエクステンション用のセッション開始プロトコル（Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、ＳＩＭＰＬＥ）、インスタントメッセージング及びプレゼンスサービス（Instant Messaging and Presence Service、ＩＭＰＳ））、並びに／若しくはショートメッセージサービス（Short Message Service、ＳＭＳ）、又は本明細書の出願日の時点でまだ開発されていない通信プロトコルを含む任意の他の適切な通信プロトコルを含む、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
オーディオ回路１１０、スピーカ１１１、及びマイクロフォン１１３は、ユーザとデバイス１００との間のオーディオインタフェースを提供する。オーディオ回路１１０は、周辺機器インタフェース１１８からオーディオデータを受信し、このオーディオデータを電気信号に変換し、この電気信号をスピーカ１１１に送信する。スピーカ１１１は、電気信号を人間の可聴音波に変換する。また、オーディオ回路１１０は、マイクロフォン１１３によって音波から変換された電気信号を受信する。オーディオ回路１１０は、電気信号をオーディオデータに変換し、このオーディオデータを処理のために周辺機器インタフェース１１８に送信する。オーディオデータは、任意選択的に、周辺機器インタフェース１１８によって、メモリ１０２及び／若しくはＲＦ回路１０８から取得され、且つ／又はメモリ１０２及び／若しくはＲＦ回路１０８に伝送される。いくつかの実施形態では、オーディオ回路１１０はまた、ヘッドセットジャック（例えば、図２の２１２）を含む。ヘッドセットジャックは、オーディオ回路１１０と、出力専用ヘッドホン又は出力（例えば片耳又は両耳用のヘッドホン）及び入力（例えばマイクロフォン）の両方を備えるヘッドセットなどの着脱可能なオーディオ入出力周辺機器との間のインタフェースを提供する。
Ｉ／Ｏサブシステム１０６は、タッチスクリーン１１２及び他の入力コントロールデバイス１１６などのデバイス１００上の入出力周辺機器を、周辺機器インタフェース１１８に結合する。Ｉ／Ｏサブシステム１０６は、任意選択的に、ディスプレイコントローラ１５６、光学センサコントローラ１５８、深度カメラコントローラ１６９、強度センサコントローラ１５９、触覚フィードバックコントローラ１６１、及び、他の入力デバイス若しくはコントロールデバイス用の１つ以上の入力コントローラ１６０を含む。１つ以上の入力コントローラ１６０は、他の入力コントロールデバイス１１６からの電気信号の受信／他の入力コントロールデバイス１１６への電気信号の送信を行う。他の入力コントロールデバイス１１６は、任意選択的に、物理ボタン（例えば、プッシュボタン、ロッカボタンなど）、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイールなどを含む。いくつかの実施形態では、入力コントローラ（単数又は複数）１６０は、任意選択的に、キーボード、赤外線ポート、ＵＳＢポート、及びマウスなどのポインタデバイスのうちのいずれかに結合される（又はいずれにも結合されない）。１つ以上のボタン（例えば、図２の２０８）は、任意選択的に、スピーカ１１１及び／又はマイクロフォン１１３の音量制御のためのアップ／ダウンボタンを含む。１つ以上のボタンは、任意選択的に、プッシュボタン（例えば、図２の２０６）を含む。いくつかの実施形態では、電子デバイスは、１つ以上の入力デバイスと通信する（例えば、有線通信を介した無線通信を介して）コンピュータシステムである。いくつかの実施形態では、１つ以上の入力デバイスは、タッチ感知面（例えば、タッチ感知ディスプレイの一部としてのトラックパッド）を含む。いくつかの実施形態では、１つ以上の入力デバイスは、入力としてのユーザのジェスチャ（例えば、ハンドジェスチャ及び／又はエアジェスチャ）を追跡するためなど、１つ以上のカメラセンサ（例えば、１つ以上の光学センサ１６４及び／又は１つ以上の深度カメラセンサ１７５）を含む。いくつかの実施形態では、１つ以上の入力デバイスは、コンピュータシステムと一体化される。いくつかの実施形態では、１つ以上の入力デバイスは、コンピュータシステムとは別個である。いくつかの実施形態では、エアジェスチャは、ユーザがデバイスの一部である入力要素に触れることなく（又はデバイスの一部である入力要素から独立して）検出されるジェスチャであり、絶対的な基準に対するユーザの身体の動き（例えば、地面に対するユーザの腕の角度、又は地面に対するユーザの手の距離）、ユーザの身体の別の部分に対するユーザの身体の動き（例えば、ユーザの肩に対するユーザの手の動き、ユーザの一方の手に対するユーザの他方の手の動き、及び／又はユーザの手の別の指若しくは部分に対するユーザの指の動き）、及び／又は、ユーザの身体の一部の絶対的な動き（例えば、所定の量及び／又は速さによる所定のポーズでの手の動きを含むタップジェスチャ、又はユーザの身体の一部の所定の速さ又は量の回転を含むシェイクジェスチャ）を含む、ユーザの身体の一部の検出された動きに基づく。
全体が参照により本明細書に組み込まれる、２００５年１２月２３日出願の米国特許出願第１１／３２２，５４９号、「Ｕｎｌｏｃｋｉｎｇ ａ Ｄｅｖｉｃｅ ｂｙ Ｐｅｒｆｏｒｍｉｎｇ Ｇｅｓｔｕｒｅｓ ｏｎ ａｎ Ｕｎｌｏｃｋ Ｉｍａｇｅ」、米国特許第７，６５７，８４９号に記載されているように、プッシュボタンの素早い押圧は、任意選択的に、タッチスクリーン１１２のロックを解放し、又は任意選択的に、タッチスクリーン上のジェスチャを使用してデバイスをロック解除するプロセスを開始する。プッシュボタン（例えば、２０６）のより長い押圧は、任意選択的に、デバイス１００への電力をオン又はオフにする。ボタンのうちの１つ以上の機能性は、任意選択的に、ユーザによってカスタマイズ可能である。タッチスクリーン１１２は、仮想又はソフトボタン及び１つ以上のソフトキーボードを実装するために使用される。
タッチ感知ディスプレイ１１２は、デバイスとユーザとの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ１５６は、タッチスクリーン１１２からの電気信号の受信、及び／又はタッチスクリーン１１２への電気信号の送信を行う。タッチスクリーン１１２は、ユーザに対して視覚出力を表示する。この視覚出力は、グラフィック、テキスト、アイコン、動画、及びそれらの任意の組み合わせ（総称して「グラフィック」）を任意選択的に含む。いくつかの実施形態では、視覚出力の一部又は全ては、任意選択的に、ユーザインタフェースオブジェクトに対応する。
タッチスクリーン１１２は、触覚及び／又は触知接触に基づくユーザからの入力を受け入れるタッチ感知面、センサ、又はセンサのセットを有する。タッチスクリーン１１２及びディスプレイコントローラ１５６は、（メモリ１０２内の任意の関連モジュール及び／又は命令セットと共に）、タッチスクリーン１１２上で接触（及び任意の接触の移動又は中断）を検出し、検出された接触をタッチスクリーン１１２に表示されたユーザインタフェースオブジェクト（例えば、１つ以上のソフトキー、アイコン、ウェブページ、又は画像）との対話に変換する。例示的な実施形態では、タッチスクリーン１１２とユーザとの間の接触点は、ユーザの指に対応する。
タッチスクリーン１１２は、任意選択的に、ＬＣＤ（液晶ディスプレイ）技術、ＬＰＤ（発光ポリマーディスプレイ）技術、又はＬＥＤ（発光ダイオード）技術を使用するが、他の実施形態では、他のディスプレイ技術も使用される。タッチスクリーン１１２及びディスプレイコントローラ１５６は、任意選択的に、それだけに限定されるものではないが、容量性、抵抗性、赤外線、及び表面音波の技術、並びにタッチスクリーン１１２との１つ以上の接触点を判定する他の近接センサアレイ又は他の要素を含む、現在知られている又は今後開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及びそのあらゆる移動又は中断を検出する。例示的な実施形態では、カリフォルニア州クパチーノのＡｐｐｌｅ Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）及びｉＰｏｄ Ｔｏｕｃｈ（登録商標）に見られるものなどの、投影型相互静電容量感知技術が使用される。
タッチスクリーン１１２のいくつかの実施形態におけるタッチ感知ディスプレイは、任意選択的に、それぞれ全体が参照により本明細書に組み込まれる、米国特許第６，３２３，８４６号（Ｗｅｓｔｅｒｍａｎら）、同第６，５７０，５５７号（Ｗｅｓｔｅｒｍａｎら）、及び／若しくは同第６，６７７，９３２号（Ｗｅｓｔｅｒｍａｎ）、並びに／又は米国特許出願公開第２００２／００１５０２４（Ａ１）号に記載されているマルチタッチ感知タッチパッドに類似している。しかし、タッチスクリーン１１２はデバイス１００からの視覚出力を表示するのに対して、タッチ感知タッチパッドは視覚出力を提供しない。
タッチスクリーン１１２のいくつかの実施形態におけるタッチ感知ディスプレイは、以下の出願、（１）２００６年５月２日出願の米国特許出願第１１／３８１，３１３号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈ Ｓｕｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ」、（２）２００４年５月６日出願の米国特許出願第１０／８４０，８６２号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈｓｃｒｅｅｎ」、（３）２００４年７月３０日出願の米国特許出願第１０／９０３，９６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（４）２００５年１月３１日出願の米国特許出願第１１／０４８，２６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（５）２００５年１月１８日出願の米国特許出願第１１／０３８，５９０号、「Ｍｏｄｅ－Ｂａｓｅｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（６）２００５年９月１６日出願の米国特許出願第１１／２２８，７５８号、「Ｖｉｒｔｕａｌ Ｉｎｐｕｔ Ｄｅｖｉｃｅ Ｐｌａｃｅｍｅｎｔ Ｏｎ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ」、（７）２００５年９月１６日出願の米国特許出願第１１／２２８，７００号、「Ｏｐｅｒａｔｉｏｎ Ｏｆ Ａ Ｃｏｍｐｕｔｅｒ Ｗｉｔｈ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｉｎｔｅｒｆａｃｅ」、（８）２００５年９月１６日出願の米国特許出願第１１／２２８，７３７号、「Ａｃｔｉｖａｔｉｎｇ Ｖｉｒｔｕａｌ Ｋｅｙｓ Ｏｆ Ａ Ｔｏｕｃｈ－Ｓｃｒｅｅｎ Ｖｉｒｔｕａｌ Ｋｅｙｂｏａｒｄ」、及び（９）２００６年３月３日出願の米国特許出願第１１／３６７，７４９号、「Ｍｕｌｔｉ－Ｆｕｎｃｔｉｏｎａｌ Ｈａｎｄ－Ｈｅｌｄ Ｄｅｖｉｃｅ」で説明されている。これらの出願は全て、全体が参照により本明細書に組み込まれる。
タッチスクリーン１１２は、任意選択的に、１００ｄｐｉを超える動画解像度を有する。いくつかの実施形態では、タッチスクリーンは、約１６０ｄｐｉの動画解像度を有する。ユーザは、任意選択的に、スタイラス、指などの任意の適した物体又は付属物を使用して、タッチスクリーン１１２に接触する。いくつかの実施形態では、ユーザインタフェースは、指ベースの接触及びジェスチャを主に使用して動作するように設計されるが、これは、タッチスクリーン上の指の接触面積がより大きいため、スタイラスベースの入力ほど正確でない可能性がある。いくつかの実施形態では、デバイスは、指による粗い入力を、ユーザによって所望されているアクションを実行するための、正確なポインタ／カーソルの位置又はコマンドに変換する。
いくつかの実施形態では、タッチスクリーンに加えて、デバイス１００は、任意選択的に、特定の機能をアクティブ化又は非アクティブ化するためのタッチパッドを含む。いくつかの実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、デバイスのタッチ感知エリアである。タッチパッドは、任意選択的に、タッチスクリーン１１２とは別個のタッチ感知面又はタッチスクリーンによって形成されるタッチ感知面の拡張部である。
デバイス１００は、様々な構成要素に電力を供給する電力システム１６２も含む。電力システム１６２は、任意選択的に、電力管理システム、１つ以上の電源（例えば、バッテリ、交流（ＡＣ））、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状況インジケータ（例えば、発光ダイオード（ＬＥＤ））、並びにポータブルデバイス内での電力の生成、管理、及び分配に関連付けられた任意の他の構成要素を含む。
また、デバイス１００は、任意選択的に、１つ以上の光学センサ１６４を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の光学センサコントローラ１５８に結合された光学センサを示す。光学センサ１６４は、任意選択的に、電荷結合デバイス（charge-coupled device、ＣＣＤ）又は相補的金属酸化物半導体（complementary metal-oxide semiconductor、ＣＭＯＳ）フォトトランジスタを含む。光学センサ１６４は、１つ以上のレンズを通って投影された環境からの光を受信し、その光を、画像を表すデータに変換する。光学センサ１６４は、撮像モジュール１４３（カメラモジュールとも呼ばれる）と連携して、任意選択的に、静止画像又は動画をキャプチャする。いくつかの実施形態では、光学センサは、デバイスの前面にあるタッチスクリーンディスプレイ１１２とは反対側のデバイス１００の裏面に位置し、したがってタッチスクリーンディスプレイは、静止画像及び／又は動画の取得のためのビューファインダとして使用することが可能である。いくつかの実施形態では、ユーザが他のテレビ会議参加者をタッチスクリーンディスプレイ上で見ている間に、ユーザの画像が、任意選択的に、テレビ会議のために入手されるように、光学センサはデバイスの前面に配置される。いくつかの実施形態では、光学センサ１６４の位置は、ユーザによって（例えば、デバイス筐体内でレンズ及びセンサを回転させることによって）変更することができ、したがって単一の光学センサ１６４が、タッチスクリーンディスプレイと共に、テレビ会議にも静止画像及び／又は動画の取得にも使用される。
デバイス１００は、任意選択的に、１つ以上の深度カメラセンサ１７５もまた含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の深度カメラコントローラ１６９に結合された深度カメラセンサを示す。深度カメラセンサ１７５は、環境からデータを受信して、視点（例えば、深度カメラセンサ）からのシーン内の対象物（例えば、顔面）の３次元モデルを作成する。いくつかの実施形態では、撮像モジュール１４３（カメラモジュールとも呼ばれる）と連携して、深度カメラセンサ１７５は、任意選択的に、撮像モジュール１４３によってキャプチャされた画像の異なる部分の深度マップを決定するために使用される。いくつかの実施形態では、ユーザが他のテレビ会議参加者をタッチスクリーンディスプレイ上で見る間に、任意選択的に、深度情報を有するユーザの画像をテレビ会議のために取得し、また、深度マップデータを有する自撮り画像をキャプチャするために、デバイス１００の前面に深度カメラセンサが配置されている。いくつかの実施形態では、深度カメラセンサ１７５は、デバイスの背面に、又はデバイス１００の背面及び前面に配置される。いくつかの実施形態では、深度カメラセンサ１７５の位置は、ユーザによって（例えば、デバイス筐体内でレンズ及びセンサを回転させることによって）変更することができ、したがって深度カメラセンサ１７５が、タッチスクリーンディスプレイと共に、テレビ会議にも静止画像及び／又は動画の取得にも使用される。
デバイス１００はまた、任意選択的に、１つ以上の接触強度センサ１６５を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の強度センサコントローラ１５９に結合された接触強度センサを示す。接触強度センサ１６５は、任意選択的に、１つ以上のピエゾ抵抗ひずみゲージ、容量性力センサ、電気力センサ、圧電力センサ、光学力センサ、容量性タッチ感知面、又は他の強度センサ（例えば、タッチ感知面上の接触の力（若しくは圧力）を測定するために使用されるセンサ）を含む。接触強度センサ１６５は、接触強度情報（例えば、圧力情報、又は圧力情報に対するプロキシ）を環境から受信する。いくつかの実施形態では、少なくとも１つの接触強度センサは、タッチ感知面（例えばタッチ感知ディスプレイシステム１１２）と並置される、又はそれに近接される。いくつかの実施形態では、少なくとも１つの接触強度センサは、デバイス１００の前面に配置されたタッチスクリーンディスプレイ１１２の反対側である、デバイス１００の背面に配置される。
また、デバイス１００は、任意選択的に、１つ以上の近接センサ１６６を含む。図１Ａは、周辺機器インタフェース１１８に結合された近接センサ１６６を示す。あるいは、近接センサ１６６は、任意選択的に、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。近接センサ１６６は、任意選択的に、全体が参照により本明細書に組み込まれる、米国特許出願第１１／２４１，８３９号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、同第１１／２４０，７８８号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、同第１１／６２０，７０２号、「Ｕｓｉｎｇ Ａｍｂｉｅｎｔ Ｌｉｇｈｔ Ｓｅｎｓｏｒ Ｔｏ Ａｕｇｍｅｎｔ Ｐｒｏｘｉｍｉｔｙ Ｓｅｎｓｏｒ Ｏｕｔｐｕｔ」、同第１１／５８６，８６２号、「Ａｕｔｏｍａｔｅｄ Ｒｅｓｐｏｎｓｅ Ｔｏ Ａｎｄ Ｓｅｎｓｉｎｇ Ｏｆ Ｕｓｅｒ Ａｃｔｉｖｉｔｙ Ｉｎ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅｓ」、及び同第１１／６３８，２５１号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ｓｙｓｔｅｍｓ Ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｏｆ Ｐｅｒｉｐｈｅｒａｌｓ」で記載されているように機能する。いくつかの実施形態では、多機能デバイスが、ユーザの耳の近くに置かれた場合（例えば、ユーザが電話をかけている場合）、近接センサは、タッチスクリーン１１２をオフにして無効化する。
デバイス１００はまた、任意選択的に、１つ以上の触覚出力生成器１６７を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の触覚フィードバックコントローラ１６１に結合された触覚出力生成器を示す。触覚出力生成器１６７は、任意選択的に、スピーカ若しくは他のオーディオ構成要素などの１つ以上の電気音響デバイス、及び／又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触覚出力生成構成要素（例えば、デバイス上で電気信号を触覚出力に変換する構成要素）などのエネルギを直線の動きに変換する電気機械デバイスを含む。接触強度センサ１６５は、触知フィードバック生成命令を触覚フィードバックモジュール１３３から受信し、デバイス１００のユーザが感知することが可能な触覚出力をデバイス１００上に生成する。いくつかの実施形態では、少なくとも１つの触覚出力生成器は、タッチ感知面（例えば、タッチ感知ディスプレイシステム１１２）と並置される、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向（例えば、デバイス１００の表面の内／外）に、又は水平方向（例えば、デバイス１００の表面と同じ平面内の前後）に移動させることによって、触覚出力を生成する。いくつかの実施形態では、少なくとも１つの触覚出力生成器センサは、デバイス１００の前面に配置されたタッチスクリーンディスプレイ１１２の反対側である、デバイス１００の背面に配置される。
また、デバイス１００は、任意選択的に、１つ以上の加速度計１６８を含む。図１Ａは、周辺機器インタフェース１１８に結合された加速度計１６８を示す。あるいは、加速度計１６８は、任意選択的に、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。加速度計１６８は、任意選択的に、どちらも全体が参照により本明細書に組み込まれる、米国特許出願公開第２００５０１９００５９号、「Ａｃｃｅｌｅｒａｔｉｏｎ－ｂａｓｅｄ Ｔｈｅｆｔ Ｄｅｔｅｃｔｉｏｎ Ｓｙｓｔｅｍ ｆｏｒ Ｐｏｒｔａｂｌｅ Ｅｌｅｃｔｒｏｎｉｃ Ｄｅｖｉｃｅｓ」、及び米国特許出願公開第２００６００１７６９２号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ａｐｐａｒａｔｕｓｅｓ Ｆｏｒ Ｏｐｅｒａｔｉｎｇ Ａ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅ Ｂａｓｅｄ Ｏｎ Ａｎ Ａｃｃｅｌｅｒｏｍｅｔｅｒ」に記載されているように機能する。いくつかの実施形態では、情報は、１つ以上の加速度計から受信したデータの分析に基づいて、縦長表示又は横長表示でタッチスクリーンディスプレイに表示される。デバイス１００は、加速度計（単数又は複数）１６８に加えて、磁気計並びにデバイス１００の位置及び向き（例えば、縦方向又は横方向）に関する情報を取得するためのＧＰＳ（又はＧＬＯＮＡＳＳ又は他のグローバルナビゲーションシステム）受信機を任意選択的に含む。
いくつかの実施形態では、メモリ１０２内に記憶されているソフトウェア構成要素は、オペレーティングシステム１２６、通信モジュール（又は命令セット）１２８、接触／動きモジュール（又は命令セット）１３０、グラフィックモジュール（又は命令セット）１３２、テキスト入力モジュール（又は命令セット）１３４、全地球測位システム（Global Positioning System、ＧＰＳ）モジュール（又は命令セット）１３５、及びアプリケーション（又は命令セット）１３６を含む。更に、いくつかの実施形態では、メモリ１０２（図１Ａ）又は３７０（図３）は、図１Ａ及び図３に示すように、デバイス／グローバル内部状態１５７を記憶する。デバイス／グローバル内部状態１５７は、現在アクティブ状態のアプリケーションがある場合に、どのアプリケーションがアクティブであるかを示すアクティブアプリケーション状態、どのアプリケーション、ビュー、又は他の情報がタッチスクリーンディスプレイ１１２の様々な領域を占めているかを示す表示状態、デバイスの様々なセンサ及び入力コントロールデバイス１１６から取得した情報を含むセンサ状態、並びにデバイスの位置、及び／又は姿勢に関する位置情報のうちの１つ以上を含む。
オペレーティングシステム１２６（例えば、Ｄａｒｗｉｎ、ＲＴＸＣ、ＬＩＮＵＸ、ＵＮＩＸ（登録商標）、ＯＳ Ｘ（登録商標）、ｉＯＳ、ＷＩＮＤＯＷＳ（登録商標）、又はＶｘＷｏｒｋｓなどの組込み型オペレーティングシステム）は、全般的なシステムタスク（例えば、メモリ管理、記憶デバイス制御、電力管理など）を制御及び管理する様々なソフトウェア構成要素及び／又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を容易にする。
通信モジュール１２８は、１つ以上の外部ポート１２４を介して他のデバイスとの通信を容易にし、ＲＦ回路１０８及び／又は外部ポート１２４が受信したデータを処理するための様々なソフトウェア構成要素をも含む。外部ポート１２４（例えば、ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）、ＦＩＲＥＷＩＲＥ（登録商標）など）は、直接的に、又はネットワーク（例えばインターネット、無線ＬＡＮなど）を介して間接的に、他のデバイスに結合するように適合されている。いくつかの実施形態では、外部ポートは、ｉＰｏｄ（登録商標）（Ａｐｐｌｅ Ｉｎｃ．の商標）デバイス上で使用される３０ピンコネクタと同じ若しくは同様であり、且つ／又はそれに適合しているマルチピン（例えば、３０ピン）コネクタである。
接触／動きモジュール１３０は、任意選択的に、タッチスクリーン１１２及び他のタッチ感知デバイス（例えば、タッチパッド又は物理クリックホイール）との接触を（ディスプレイコントローラ１５６と連携して）検出する。接触／動きモジュール１３０は、接触が生じたかどうかを判定すること（例えば、指ダウンイベントを検出すること）、接触の強度（例えば、接触の力若しくは圧力、又は接触の力若しくは圧力の代替物）を判定すること、接触の移動が存在するかどうかを判定し、タッチ感知面を横断する移動を追跡すること（例えば、指をドラッグする１つ以上のイベントを検出すること）、及び接触が停止したかどうかを判定すること（例えば、指アップイベント又は接触の中断を検出すること）などの、接触の検出に関する様々な動作を実行するための、様々なソフトウェア構成要素を含む。接触／動きモジュール１３０は、タッチ感知面から接触データを受信する。一連の接触データによって表される、接触点の移動を判定することは、任意選択的に、接触点の速さ（大きさ）、速度（大きさ及び方向）、及び／又は加速度（大きさ及び／又は方向の変化）を判定することを含む。これらの動作は、任意選択的に、単一の接触（例えば、１本の指の接触）又は複数の同時接触（例えば、「マルチタッチ」／複数の指の接触）に適用される。いくつかの実施形態では、接触／動きモジュール１３０及びディスプレイコントローラ１５６は、タッチパッド上の接触を検出する。
いくつかの実施形態では、接触／動きモジュール１３０は、ユーザによって動作が実行されたかどうかを判定するために（例えば、ユーザがアイコン上で「クリック」したかどうかを判定するために）、１つ以上の強度閾値のセットを使用する。いくつかの実施形態では、強度閾値の少なくとも１つのサブセットは、ソフトウェアパラメータに従って判定される（例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって決定されるのではなく、デバイス１００の物理ハードウェアを変更することなく調整することができる）。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイハードウェアを変更することなく、広範囲の既定閾値のうちのいずれかに設定することができる。加えて、いくつかの実装形態では、デバイスのユーザに、（例えば、個々の強度閾値を調整すること、及び／又は複数の強度閾値をシステムレベルのクリック「強度」パラメータによって一度に調整することによって）強度閾値のセットのうちの１つ以上を調整するソフトウェア設定が提供される。
接触／動きモジュール１３０は、任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターンを有する（例えば検出される接触の動き、タイミング、及び／又は強度が異なる）。したがって、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指タップジェスチャを検出することは、指ダウンイベントを検出し、それに続いて指ダウンイベントと同じ位置（又は実質的に同じ位置）（例えば、アイコンの位置）で指アップ（リフトオフ）イベントを検出することを含む。別の例として、タッチ感知面上で指スワイプジェスチャを検出することは、指ダウンイベントを検出し、それに続いて１つ以上の指ドラッグイベントを検出し、その後それに続いて指アップ（リフトオフ）イベントを検出することを含む。
グラフィックモジュール１３２は、表示されるグラフィックの視覚的な影響（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚的特性）を変化させる構成要素を含む、タッチスクリーン１１２又は他のディスプレイ上にグラフィックをレンダリング及び表示する様々な既知のソフトウェア構成要素を含む。本明細書では、「グラフィック」という用語は、それだけに限定されるものではないが、文字、ウェブページ、アイコン（ソフトキーを含むユーザインタフェースオブジェクトなど）、デジタル画像、動画、アニメーションなどを含む、ユーザに表示することができる任意のオブジェクトを含む。
いくつかの実施形態では、グラフィックモジュール１３２は、使用されることになるグラフィックを表すデータを記憶する。各グラフィックには、任意選択的に、対応するコードが割り当てられる。グラフィックモジュール１３２は、アプリケーションなどから、必要に応じて、座標データ及び他のグラフィック特性データと共に、表示されることとなるグラフィックを指定する１つ以上のコードを受信し、次にディスプレイコントローラ１５６に出力するスクリーンの画像データを生成する。
触覚フィードバックモジュール１３３は、触覚出力生成器（単数又は複数）１６７によって使用される命令を生成するための様々なソフトウェア構成要素を含み、ユーザのデバイス１００との対話に応じて、デバイス１００上の１つ以上の位置での触覚出力を生成する。
テキスト入力モジュール１３４は、任意選択で、グラフィックモジュール１３２の構成要素であり、様々なアプリケーション（例えば、連絡先１３７、電子メール１４０、ＩＭ１４１、ブラウザ１４７、及びテキスト入力を必要とする任意の他のアプリケーション）でテキストを入力するためのソフトキーボードを提供する。
ＧＰＳモジュール１３５は、デバイスの位置を判定し、様々なアプリケーション内で使用するためにこの情報を提供する（例えば、場所ベースのダイアリングで使用するために電話１３８へ、ピクチャ／ビデオメタデータとしてカメラ１４３へ、及び気象ウィジェット、ローカルイエローページウィジェット、及び地図／ナビゲーションウィジェットなどの位置ベースのサービスを提供するアプリケーションへ）。
アプリケーション１３６は、任意選択的に、以下のモジュール（又は命令セット）又はそれらのサブセット若しくはスーパーセットを含む。
●連絡先モジュール１３７（アドレス帳又は連絡先リストと呼ばれることもある）、
●電話モジュール１３８、
●テレビ会議モジュール１３９、
●電子メールクライアントモジュール１４０、
●インスタントメッセージング（Instant messaging、ＩＭ）モジュール１４１、
●トレーニングサポートモジュール１４２、
●静止画像及び／又は動画用のカメラモジュール１４３、
●画像管理モジュール１４４、
●動画プレーヤモジュール、
●音楽プレーヤモジュール、
●ブラウザモジュール１４７、
●カレンダーモジュール１４８、
●任意選択的に、気象ウィジェット１４９－１、株価ウィジェット１４９－２、計算機ウィジェット１４９－３、アラーム時計ウィジェット１４９－４、辞書ウィジェット１４９－５、及びユーザによって入手された他のウィジェット、並びにユーザ作成ウィジェット１４９－６のうちの１つ以上を含むウィジェットモジュール１４９、
●ユーザ作成ウィジェット１４９－６を作成するためのウィジェットクリエータモジュール１５０、
●検索モジュール１５１、
●動画プレーヤモジュール及び音楽プレーヤモジュールを一体化した動画及び音楽プレーヤモジュール１５２、
●メモモジュール１５３、
●地図モジュール１５４、並びに／又は、
●オンライン動画モジュール１５５。
任意選択的にメモリ１０２に記憶される他のアプリケーション１３６の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ＪＡＶＡ（登録商標）対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連動して、連絡先モジュール１３７は、任意選択的に、アドレス帳に名前（単数又は複数）を追加すること、アドレス帳から名前（単数又は複数）を削除すること、電話番号（単数又は複数）、電子メールアドレス（単数又は複数）、住所（単数又は複数）、又は他の情報を名前に関連付けること、画像を名前に関連付けること、名前を分類して並べ替えること、電話番号又は電子メールアドレスを提供して、電話１３８、テレビ会議モジュール１３９、電子メール１４０、又はＩＭ１４１による通信を開始及び／又は促進することなどを含む。アドレス帳又は連絡先リスト（例えば、メモリ１０２又はメモリ３７０内の連絡先モジュール１３７のアプリケーション内部状態１９２内に記憶される）を管理するために使用される。
電話モジュール１３８は、ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、任意選択的に、電話番号に対応する一連の文字の入力、連絡先モジュール１３７内の１つ以上の電話番号へのアクセス、入力された電話番号の修正、特定の電話番号のダイヤル、通話の実行、並びに通話終了時の接続解除及び通話停止のために使用される。前述したように、無線通信は、任意選択的に、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
テレビ会議モジュール１３９は、ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、光学センサ１６４、光学センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、連絡先モジュール１３７、及び電話モジュール１３８と連携して、ユーザの命令に従ってユーザと１人以上の他の参加者との間のテレビ会議を開始、実行、及び終了するための実行可能な命令を含む。
電子メールクライアントモジュール１４０は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、ユーザの命令に応じて電子メールを作成、送信、受信、及び管理するための実行可能な命令を含む。画像管理モジュール１４４と連携して、電子メールクライアントモジュール１４０は、カメラモジュール１４３で撮影された静止画像又は動画画像を有する電子メールの作成及び送信を非常に容易にする。
インスタントメッセージングモジュール１４１は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、インスタントメッセージに対応する一連の文字の入力、以前に入力された文字の修正、（例えば、電話通信ベースのインスタントメッセージ向けのショートメッセージサービス（Short Message Service、ＳＭＳ）若しくはマルチメディアメッセージサービス（Multimedia Message Service、ＭＭＳ）プロトコル、又はインターネットベースのインスタントメッセージ向けのＸＭＰＰ、ＳＩＭＰＬＥ、若しくはＩＭＰＳを使用する）特定のインスタントメッセージの送信、インスタントメッセージの受信、及び受信したインスタントメッセージの閲覧のための実行可能な命令を含む。いくつかの実施形態では、送信される及び／又は受信されるインスタントメッセージは、任意選択的に、ＭＭＳ及び／又は拡張メッセージングサービス（Enhanced Messaging Service、ＥＭＳ）でサポートされるようなグラフィック、写真、オーディオファイル、動画ファイル、及び／又は他の添付ファイルを含む。本明細書では、「インスタントメッセージング」とは、電話通信ベースのメッセージ（例えば、ＳＭＳ又はＭＭＳを使用して送信されるメッセージ）と、インターネットベースのメッセージ（例えば、ＸＭＰＰ、ＳＩＭＰＬＥ、又はＩＭＰＳを使用して送信されるメッセージ）との両方を指す。
トレーニングサポートモジュール１４２は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、地図モジュール１５４、及び音楽プレーヤモジュールと連携して、トレーニング（例えば、時間、距離、及び／又はカロリー燃焼の目標を有する）を作成し、トレーニングセンサ（スポーツデバイス）と通信し、トレーニングセンサデータを受信し、トレーニングをモニタするために使用されるセンサを較正し、トレーニングのための音楽を選択及び再生し、並びに、トレーニングデータを表示、記憶、及び送信するための実行可能な命令を含む。
カメラモジュール１４３は、タッチスクリーン１１２、ディスプレイコントローラ１５６、光学センサ（単数又は複数）１６４、光学センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、及び画像管理モジュール１４４と連携して、静止画像若しくは（動画ストリームを含む）動画のキャプチャ及びメモリ１０２内への記憶、静止画像若しくは動画の特性の修正、又はメモリ１０２からの静止画像若しくは動画の削除のための実行可能な命令を含む。
画像管理モジュール１４４は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びカメラモジュール１４３と連携して、静止画像及び／若しくは動画の配置、修正（例えば、編集）、又はその他の操作、ラベル付け、削除、（例えば、デジタルスライドショー若しくはアルバムにおける）提示、及び記憶のための実行可能な命令を含む。
ブラウザモジュール１４７は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、ウェブページ又はその一部分、並びにウェブページにリンクされた添付ファイル及び他のファイルの検索、リンク、受信、及び表示を含む、ユーザの命令に従ってインターネットをブラウジングするための実行可能な命令を含む。
カレンダーモジュール１４８は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と連携して、ユーザの命令に従って、カレンダー及びカレンダーに関連付けられたデータ（例えば、カレンダーアイテム、ｔｏ－ｄｏリストなど）を作成、表示、修正、及び記憶するための実行可能な命令を含む。
ウィジェットモジュール１４９は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と連携して、任意選択的に、ユーザによってダウンロード及び使用されるミニアプリケーション（例えば、気象ウィジェット１４９－１、株価ウィジェット１４９－２、計算機ウィジェット１４９－３、アラーム時計ウィジェット１４９－４、及び辞書ウィジェット１４９－５）、又はユーザによって作成されたミニアプリケーション（例えば、ユーザ作成ウィジェット１４９－６）である。いくつかの実施形態では、ウィジェットは、ＨＴＭＬ（Ｈｙｐｅｒｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ、ハイパーテキストマークアップ言語）ファイル、ＣＳＳ（Ｃａｓｃａｄｉｎｇ Ｓｔｙｌｅ Ｓｈｅｅｔｓ、カスケーディングスタイルシート）ファイル、及びＪａｖａＳｃｒｉｐｔファイルを含む。いくつかの実施形態では、ウィジェットは、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ、拡張可能マークアップ言語）ファイル及びＪａｖａＳｃｒｉｐｔファイル（例えば、Ｙａｈｏｏ！ウィジェット（登録商標））を含む。
ウィジェットクリエータモジュール１５０は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と連携して、任意選択的に、ウィジェットを作成する（例えば、ウェブページのユーザ指定部分をウィジェットにする）ために、ユーザによって使用される。
検索モジュール１５１は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、ユーザの命令に従って１つ以上の検索基準（例えば、１つ以上のユーザ指定検索語）と一致するメモリ１０２内の文字、音楽、サウンド、画像、動画、及び／又は他のファイルを検索するための実行可能な命令を含む。
動画及び音楽プレーヤモジュール１５２は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、及びブラウザモジュール１４７と連携して、ＭＰ３又はＡＡＣファイルなどの１つ以上のファイル形式で記憶された録音済みの音楽及び他のサウンドファイルをユーザがダウンロード及び再生できるようにする実行可能な命令、並びに動画を（例えば、タッチスクリーン１１２上又は外部ポート１２４を介して接続された外部のディスプレイ上に）表示、提示、又は別の方法で再生するための実行可能な命令を含む。いくつかの実施形態では、デバイス１００は、任意選択的に、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）などのＭＰ３プレーヤの機能を含む。
メモモジュール１５３は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、ユーザの命令に従ってメモ、ｔｏ－ｄｏリストなどを作成及び管理するための実行可能な命令を含む。
地図モジュール１５４は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、及びブラウザモジュール１４７と連携して、任意選択的に、ユーザの命令に従って、地図及び地図に関連付けられたデータ（例えば、運転の道順、特定の位置又はその付近の店舗及び他の見どころに関するデータ、並びに他の位置ベースのデータ）を受信、表示、修正、及び記憶するために使用される。
オンライン動画モジュール１５５は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と連携して、ユーザが特定のオンライン動画へのアクセス、特定のオンライン動画のブラウジング、（例えば、ストリーミング及び／又はダウンロードによる）受信、（例えば、タッチスクリーン上又は外部ポート１２４を介して接続された外部ディスプレイ上の）再生、特定のオンライン動画へのリンクを有する電子メールの送信、並びにＨ．２６４などの１つ以上のファイル形式のオンライン動画の他の管理を行うことを可能にする命令を含む。いくつかの実施形態では、特定のオンライン動画へのリンクを送信するために、電子メールクライアントモジュール１４０ではなく、インスタントメッセージングモジュール１４１が使用される。オンライン動画アプリケーションについての追加の説明は、その内容の全体が参照により本明細書に組み込まれる、２００７年６月２０日出願の米国仮特許出願第６０／９３６，５６２号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」、及び２００７年１２月３１日出願の米国特許出願第１１／９６８，０６７号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」を参照されたい。
上記で特定したモジュール及びアプリケーションはそれぞれ、前述した１つ以上の機能及び本出願に記載した方法（例えば、本明細書に記載したコンピュータにより実装される方法及び他の情報処理方法）を実行する実行可能な命令のセットに対応する。これらのモジュール（例えば、命令セット）は、それぞれのソフトウェアプログラム（（例えば、命令を含む）コンピュータプログラムなど）、手順、又はモジュールとして実装される必要はなく、したがって様々な実施形態では、これらのモジュールの様々なサブセットが、任意選択的に組み合わされ、又は他の方法で再構成される。例えば、動画プレーヤモジュールは、任意選択的に、音楽プレーヤモジュールと組み合わされて、単一のモジュール（例えば、図１Ａの動画及び音楽プレーヤモジュール１５２）にされる。いくつかの実施形態では、メモリ１０２は、任意選択で、上記で特定されたモジュール及びデータ構造のサブセットを記憶する。更に、メモリ１０２は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
いくつかの実施形態では、デバイス１００は、そのデバイスにおける既定の機能のセットの動作がタッチスクリーン及び／又はタッチパッドのみを介して実行されるデバイスである。デバイス１００が動作するための主要な入力コントロールデバイスとしてタッチスクリーン及び／又はタッチパッドを使用することにより、任意選択的に、デバイス１００上の物理的な入力コントロールデバイス（プッシュボタン、ダイヤルなど）の数が削減される。
タッチスクリーン及び／又はタッチパッドを通じてのみ実行される既定の機能のセットは、任意選択的に、ユーザインタフェース間のナビゲーションを含む。いくつかの実施形態では、タッチパッドは、ユーザによってタッチされたときに、デバイス１００上に表示される任意のユーザインタフェースから、メインメニュー、ホームメニュー、又はルートメニューにデバイス１００をナビゲートする。このような実施形態では、「メニューボタン」は、タッチパッドを使用して実装される。一部の他の実施形態では、メニューボタンは、タッチパッドではなく、物理プッシュボタン又はその他の物理入力コントロールデバイスである。
図１Ｂは、いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ１０２（図１Ａ）又は３７０（図３）は、イベントソート部１７０（例えば、オペレーティングシステム１２６内）と、特定のアプリケーション１３６－１（例えば、前述のアプリケーション１３７～１５１、１５５、３８０～３９０のうちのいずれか）とを含む。
イベントソート部１７０は、イベント情報を受信し、イベント情報を配信するアプリケーション１３６－１、及びアプリケーション１３６－１のアプリケーションビュー１９１を判定する。イベントソート部１７０は、イベントモニタ１７１及びイベントディスパッチャモジュール１７４を含む。いくつかの実施形態では、アプリケーション１３６－１は、アプリケーションがアクティブ又は実行中であるときにタッチ感知ディスプレイ１１２に表示される現在のアプリケーションビュー（単数又は複数）を示すアプリケーション内部状態１９２を含む。いくつかの実施形態では、デバイス／グローバル内部状態１５７は、どのアプリケーション（単数又は複数）が現在アクティブであるかを判定するためにイベントソート部１７０によって使用され、アプリケーション内部状態１９２は、イベント情報が配信されるアプリケーションビュー１９１を判定するためにイベントソート部１７０によって使用される。
いくつかの実施形態では、アプリケーション内部状態１９２は、アプリケーション１３６－１が実行を再開するときに使用すべき再開情報、アプリケーション１３６－１によって表示されている情報を示す又は表示する準備ができたユーザインタフェース状態情報、ユーザがアプリケーション１３６－１の前の状態又はビューに戻ることを可能にする状態キュー、及びユーザによって行われた前のアクションのリドゥ／アンドゥキューのうちの１つ以上などの追加情報を含む。
イベントモニタ１７１は、周辺機器インタフェース１１８からイベント情報を受信する。イベント情報は、サブイベント（例えば、タッチ感知ディスプレイ１１２でのマルチタッチジェスチャの一部としてのユーザタッチ）に関する情報を含む。周辺機器インタフェース１１８は、Ｉ／Ｏサブシステム１０６、又は近接センサ１６６、加速度計（単数又は複数）１６８、及び／若しくは（オーディオ回路１１０を介した）マイクロフォン１１３などのセンサから受信する情報を送信する。周辺機器インタフェース１１８がＩ／Ｏサブシステム１０６から受信する情報は、タッチ感知ディスプレイ１１２又はタッチ感知面からの情報を含む。
いくつかの実施形態では、イベントモニタ１７１は、所定の間隔で周辺機器インタフェース１１８に要求を送信する。それに応じて、周辺機器インタフェース１１８は、イベント情報を送信する。他の実施形態では、周辺機器インタフェース１１８は、重要なイベント（例えば、所定のノイズ閾値を上回る及び／又は所定の持続時間を超える入力の受信）があるときのみイベント情報を送信する。
いくつかの実施形態では、イベントソート部１７０はまた、ヒットビュー判定モジュール１７２及び／又はアクティブイベント認識部判定モジュール１７３を含む。
ヒットビュー判定モジュール１７２は、タッチ感知ディスプレイ１１２が２つ以上のビューを表示しているときに、サブイベントが１つ以上のビュー内のどこで起きたかを判定するソフトウェア手順を提供する。ビューは、ユーザがディスプレイ上で見ることができる制御装置及び他の要素から構成されている。
アプリケーションに関連付けられたユーザインタフェースの別の態様は、本明細書ではアプリケーションビュー又はユーザインタフェースウィンドウと呼ばれることもあるビューのセットであり、その中で情報が表示され、タッチに基づくジェスチャが生じる。タッチが検出される（特定のアプリケーションの）アプリケーションビューは、任意選択的に、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに対応する。例えば、タッチが検出される最下位レベルビューは、任意選択的に、ヒットビューと呼ばれ、また、適切な入力として認識されるイベントのセットは、任意選択的に、タッチによるジェスチャを開始する初期タッチのヒットビューに少なくとも部分的に基づいて決定される。
ヒットビュー判定モジュール１７２は、タッチに基づくジェスチャのサブイベントに関連する情報を受信する。アプリケーションが階層状に構成された複数のビューを有するとき、ヒットビュー判定モジュール１７２は、サブイベントを処理すべき階層内の最下位のビューとして、ヒットビューを特定する。ほとんどの状況では、ヒットビューは、開始サブイベント（例えば、イベント又は潜在的イベントを形成する一連のサブイベントにおける第１のサブイベント）が発生する最も低いレベルのビューである。ヒットビューがヒットビュー判定モジュール１７２によって特定されると、ヒットビューは、通常、ヒットビューとして特定されたタッチ又は入力ソースと同じタッチ又は入力ソースに関係する全てのサブイベントを受信する。
アクティブイベント認識部判定モジュール１７３は、ビュー階層内のどのビュー（単数又は複数）が特定の一連のサブイベントを受信すべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール１７３は、ヒットビューのみが特定の一連のサブイベントを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール１７３は、サブイベントの物理位置を含む全てのビューがアクティブに関わりがあるビューであると判定し、したがって、全てのアクティブに関わりがあるビューが、特定の一連のサブイベントを受信すべきであると判定する。他の実施形態では、タッチサブイベントが１つの特定のビューに関連付けられたエリアに完全に限定された場合でも、階層内の上位のビューは、依然としてアクティブに関わりがあるビューであり続ける。
イベントディスパッチャモジュール１７４は、イベント情報をイベント認識部（例えばイベント認識部１８０）にディスパッチする。アクティブイベント認識部判定モジュール１７３を含む実施形態では、イベントディスパッチャモジュール１７４は、アクティブイベント認識部判定モジュール１７３により判定されたイベント認識部にイベント情報を配信する。いくつかの実施形態では、イベントディスパッチャモジュール１７４は、特定のイベント受信部１８２によって取得されるイベント情報をイベントキューに記憶する。
いくつかの実施形態では、オペレーティングシステム１２６は、イベントソート部１７０を含む。あるいは、アプリケーション１３６－１がイベントソート部１７０を含む。更に他の実施形態では、イベントソート部１７０は、独立型のモジュールであり、又は接触／動きモジュール１３０などのメモリ１０２内に記憶されている別のモジュールの一部分である。
いくつかの実施形態では、アプリケーション１３６－１は、それぞれがアプリケーションのユーザインタフェースの特定のビュー内で発生するタッチイベントを処理する命令を含む、複数のイベント処理部１９０及び１つ以上のアプリケーションビュー１９１を含む。アプリケーション１３６－１の各アプリケーションビュー１９１は、１つ以上のイベント認識部１８０を含む。典型的には、特定のアプリケーションビュー１９１は、複数のイベント認識部１８０を含む。他の実施形態では、イベント認識部１８０のうちの１つ以上は、ユーザインタフェースキット、又は、アプリケーション１３６－１がメソッド及び他のプロパティを継承する上位レベルのオブジェクトなどの、別個のモジュールの一部である。いくつかの実施形態では、特定のイベント処理部１９０は、データ更新部１７６、オブジェクト更新部１７７、ＧＵＩ更新部１７８、及び／又はイベントソート部１７０から受信されたイベントデータ１７９、のうちの１つ以上を含む。イベント処理部１９０は、任意選択的に、データ更新部１７６、オブジェクト更新部１７７、又はＧＵＩ更新部１７８を利用し又は呼び出して、アプリケーション内部状態１９２を更新する。あるいは、アプリケーションビュー１９１のうちの１つ以上が、１つ以上の特定のイベント処理部１９０を含む。また、いくつかの実施形態では、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８のうちの１つ以上は、特定のアプリケーションビュー１９１に含まれる。
特定のイベント認識部１８０は、イベントソート部１７０からイベント情報（例えば、イベントデータ１７９）を受信し、イベント情報からイベントを特定する。イベント認識部１８０は、イベント受信部１８２及びイベント比較部１８４を含む。いくつかの実施形態では、イベント認識部１８０はまた、メタデータ１８３及びイベント配信命令１８８（任意選択的にサブイベント配信命令を含む）の少なくともサブセットも含む。
イベント受信部１８２は、イベントソート部１７０からイベント情報を受信する。イベント情報は、サブイベント、例えば、タッチ又はタッチの移動についての情報を含む。サブイベントに応じて、イベント情報はまた、サブイベントの位置などの追加情報を含む。サブイベントがタッチの動きに関わるとき、イベント情報はまた任意選択的に、サブイベントの速さ及び方向を含む。いくつかの実施形態では、イベントは、１つの向きから別の向きへの（例えば、縦向きから横向きへ、又はその逆の）デバイスの回転を含み、イベント情報は、デバイスの現在の向き（デバイスの姿勢とも呼ぶ）についての対応する情報を含む。
イベント比較部１８４は、イベント情報を、定義済みのイベント又はサブイベントの定義と比較し、その比較に基づいて、イベント又はサブイベントを判定するか、あるいはイベント又はサブイベントの状態を判定若しくは更新する。いくつかの実施形態では、イベント比較部１８４は、イベント定義１８６を含む。イベント定義１８６は、例えばイベント１（１８７－１）及びイベント２（１８７－２）などのイベント（例えば、既定の一連のサブイベント）の定義を含む。いくつかの実施形態では、イベント（１８７）内のサブイベントは、例えば、タッチの開始、タッチの終了、タッチの移動、タッチの取り消し、及び複数のタッチを含む。一実施例では、イベント１（１８７－１）についての定義は、表示されたオブジェクト上のダブルタップである。ダブルタップは、例えば、所定の段階に対する表示オブジェクト上の第１のタッチ（タッチ開始）、所定の段階に対する第１のリフトオフ（タッチ終了）、所定の段階に対する表示オブジェクト上の第２のタッチ（タッチ開始）、及び所定の段階に対する第２のリフトオフ（タッチ終了）を含む。別の実施例では、イベント２（１８７－２）の定義は、表示されたオブジェクト上のドラッグである。ドラッグは、例えば、所定の段階に対する表示オブジェクト上のタッチ（又は接触）、タッチ感知ディスプレイ１１２にわたるタッチの移動、及びタッチのリフトオフ（タッチ終了）を含む。いくつかの実施形態では、イベントは、１つ以上の関連付けられたイベント処理部１９０に関する情報も含む。
いくつかの実施形態では、イベント定義１８７は、特定のユーザインタフェースオブジェクトについてのイベントの定義を含む。いくつかの実施形態では、イベント比較部１８４は、どのユーザインタフェースオブジェクトがサブイベントに関連付けられているかを判定するヒットテストを実行する。例えば、タッチ感知ディスプレイ１１２に３つのユーザインタフェースオブジェクトが表示されているアプリケーションビュー内で、タッチ感知ディスプレイ１１２上でタッチが検出されると、イベント比較部１８４は、ヒットテストを実行して、３つのユーザインタフェースオブジェクトのうちのどれがタッチ（サブイベント）に関連付けられているかを判定する。表示された各オブジェクトが、特定のイベント処理部１９０に関連付けられている場合、イベント比較部は、ヒットテストの結果を用いて、どのイベント処理部１９０をアクティブ化すべきかを判定する。例えば、イベント比較部１８４は、ヒットテストをトリガするサブイベント及びオブジェクトに関連付けられたイベント処理部を選択する。
いくつかの実施形態では、特定のイベント１８７の定義は、一連のサブイベントがイベント認識部のイベントタイプに対応するかどうかが判定されるまで、イベント情報の伝送を遅らせる遅延アクションも含む。
特定のイベント認識部１８０は、一連のサブイベントがイベント定義１８６のイベントのいずれとも一致しないと判断した場合、特定のイベント認識部１８０は、イベント不可能、イベント失敗、又はイベント終了の状態に入り、その後は、タッチに基づくジェスチャの次のサブイベントを無視する。この状況では、ヒットビューについてアクティブのままである他のイベント認識部があれば、そのイベント認識部は、進行中のタッチによるジェスチャのサブイベントの追跡及び処理を続行する。
いくつかの実施形態では、特定のイベント認識部１８０は、イベント配信システムがどのようにサブイベント配信を実行すべきかをアクティブに関与しているイベント認識部に示す構成可能なプロパティ、フラグ、及び／又はリストを有するメタデータ１８３を含む。いくつかの実施形態では、メタデータ１８３は、イベント認識部が互いにどのように対話するか、又はイベント認識部が互いにどのように対話することが可能となるかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。いくつかの実施形態では、メタデータ１８３は、サブイベントがビュー階層又はプログラム階層における多様なレベルに配信されるかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。
いくつかの実施形態では、特定のイベント認識部１８０は、イベントの１つ以上の特定のサブイベントが認識されるときに、イベントに関連付けられたイベント処理部１９０をアクティブ化する。いくつかの実施形態では、特定のイベント認識部１８０は、イベントに関連付けられたイベント情報をイベント処理部１９０に配信する。イベント処理部１９０をアクティブ化することは、特定のヒットビューにサブイベントを送信する（及び、送信を延期する）こととは別個である。いくつかの実施形態では、イベント認識部１８０は、認識したイベントに関連付けられたフラグを投入し、そのフラグに関連付けられたイベント処理部１９０は、そのフラグを捕らえ、既定のプロセスを実行する。
いくつかの実施形態では、イベント配信命令１８８は、イベント処理部をアクティブ化することなくサブイベントについてのイベント情報を配信するサブイベント配信命令を含む。代わりに、サブイベント配信命令は、一連のサブイベントと関連付けられたイベント処理部に、又はアクティブに関与しているビューにイベント情報を配信する。一連のサブイベント又はアクティブに関与しているビューと関連付けられたイベント処理部は、イベント情報を受信し、所定のプロセスを実行する。
いくつかの実施形態では、データ更新部１７６は、アプリケーション１３６－１で使用されるデータを作成及び更新する。例えば、データ更新部１７６は、連絡先モジュール１３７で使用される電話番号を更新し、又は動画プレーヤモジュールで使用される動画ファイルを記憶する。いくつかの実施形態では、オブジェクト更新部１７７は、アプリケーション１３６－１で使用されるオブジェクトを作成及び更新する。例えば、オブジェクト更新部１７７は、新たなユーザインタフェースオブジェクトを作成し、又はユーザインタフェースオブジェクトの位置を更新する。ＧＵＩ更新部１７８は、ＧＵＩを更新する。例えば、ＧＵＩ更新部１７８は、表示情報を準備し、タッチ感知ディスプレイ上に表示するために表示情報をグラフィックモジュール１３２に送る。
いくつかの実施形態では、イベント処理部（単数又は複数）１９０は、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８を含む又はそれらへのアクセスを有する。いくつかの実施形態では、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８は、特定のアプリケーション１３６－１又はアプリケーションビュー１９１の単一モジュールに含まれる。他の実施形態では、それらは、２つ以上のソフトウェアモジュールに含まれる。
タッチ感知ディスプレイ上のユーザのタッチのイベント処理に関する前述の記載は、入力デバイスを用いて多機能デバイス１００を動作させるための他の形態のユーザ入力にも適用されるが、それらの全てがタッチスクリーン上で開始されるわけではないことを理解されたい。例えば、キーボードの単一又は複数の押圧若しくは保持と任意選択的に連携される、マウスの移動及びマウスボタンの押圧、タッチパッド上のタップ、ドラッグ、スクロールなどの接触の移動、ペンスタイラス入力、デバイスの移動、口頭による命令、検出された目の動き、バイオメトリック入力、並びに／又はそれらの任意の組み合わせを、任意選択的に、認識するイベントを定義するサブイベントに対応する入力として利用する。
図２は、いくつかの実施形態に係る、タッチスクリーン１１２を有するポータブル多機能デバイス１００を示す。タッチスクリーンは、任意選択的に、ユーザインタフェース（user interface、ＵＩ）２００内に１つ以上のグラフィックを表示する。本実施形態、並びに以下で説明される他の実施形態では、ユーザは、例えば、１本以上の指２０２（図には正確な縮尺では描かれていない）又は１つ以上のスタイラス２０３（図には正確な縮尺では描かれていない）を使用して、グラフィック上でジェスチャを実施することによって、それらのグラフィックのうちの１つ以上を選択することが可能となる。いくつかの実施形態では、１つ以上のグラフィックの選択は、ユーザが、その１つ以上のグラフィックとの接触を中断する場合に実施される。いくつかの実施形態では、ジェスチャは、デバイス１００と接触した指の、１回以上のタップ、１回以上のスワイプ（左から右へ、右から左へ、上向きに及び／若しくは下向きに）、並びに／又は、ローリング（右から左へ、左から右へ、上向きに及び／若しくは下向きに）を、任意選択的に含む。一部の実装形態又は状況では、グラフィックとの不測の接触は、そのグラフィックを選択するものではない。例えば、選択に対応するジェスチャがタップである場合、アプリケーションアイコンの上をスイープするスワイプジェスチャは、任意選択的に、対応するアプリケーションを選択するものではない。
デバイス１００はまた、任意選択的に、「ホーム」ボタン又はメニューボタン２０４などの１つ以上の物理ボタンを含む。前述したように、メニューボタン２０４は、任意選択的にデバイス１００上で実行される１組のアプリケーション内の任意のアプリケーション１３６にナビゲートするために、任意選択的に使用される。あるいは、いくつかの実施形態では、メニューボタンは、タッチスクリーン１１２に表示されるＧＵＩ内のソフトキーとして実装される。
いくつかの実施形態では、デバイス１００は、タッチスクリーン１１２、メニューボタン２０４、デバイスの電源をオン／オフにしてデバイスをロックするプッシュボタン２０６、音量調整ボタン（単数又は複数）２０８、加入者識別モジュール（ＳＩＭ）カードスロット２１０、ヘッドセットジャック２１２、及びドッキング／充電用外部ポート１２４を含む。プッシュボタン２０６は、任意選択的に、ボタンを押し下げて、既定の期間にわたってボタンを押し下げた状態に保持することによって、デバイスの電源をオン／オフするため、ボタンを押し下げて、既定の時間が経過する前にボタンを解放することによってデバイスをロックするため、及び／又はデバイスをロック解除する、若しくはロック解除プロセスを開始するために、使用される。代替の実施形態では、デバイス１００は、マイクロフォン１１３を介して、いくつかの機能をアクティブ化又は非アクティブ化するための口頭入力もまた受け入れる。デバイス１００は、任意選択的に、タッチスクリーン１１２上の接触の強度を検出する１つ以上の接触強度センサ１６５、及び／又はデバイス１００のユーザに対する触覚出力を生成する１つ以上の触覚出力生成器１６７もまた含む。
図３は、いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。デバイス３００は、ポータブル型である必要はない。いくつかの実施形態では、デバイス３００は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディアプレーヤデバイス、ナビゲーションデバイス、教育的デバイス（子供の学習玩具など）、ゲームシステム、又は制御デバイス（例えば、家庭用又は業務用コントローラ）である。デバイス３００は、通常、１つ以上の処理ユニット（ＣＰＵ）３１０、１つ以上のネットワーク又は他の通信インタフェース３６０、メモリ３７０、及びこれらの構成要素を相互接続する１つ以上の通信バス３２０を含む。通信バス３２０は、任意選択的に、システム構成要素間の通信を相互接続及び制御する回路（チップセットと呼ばれることもある）を含む。デバイス３００は、ディスプレイ３４０を含む入出力（Ｉ／Ｏ）インタフェース３３０を含み、ディスプレイ３４０は、通常、タッチスクリーンディスプレイである。Ｉ／Ｏインタフェース３３０はまた、任意選択的に、キーボード及び／又はマウス（若しくは他のポインティングデバイス）３５０並びにタッチパッド３５５と、デバイス３００上に触覚出力を生成する（例えば、図１Ａを参照して前述した触覚出力生成器（単数又は複数）１６７に類似している）触覚出力生成器３５７と、センサ３５９（例えば、光、加速度、近接、タッチ感知、及び／又は図１Ａを参照して前述した、接触強度センサ（単数又は複数）１６５に類似している接触強度センサ）とを含む。メモリ３７０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、任意選択的に、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ３７０は、任意選択で、ＣＰＵ（単数又は複数）３１０からリモートに位置する１つ以上の記憶デバイスを含む。いくつかの実施形態では、メモリ３７０は、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２内に記憶されているプログラム、モジュール、及びデータ構造に類似したプログラム、モジュール、及びデータ構造、又はそのサブセットを記憶する。更に、メモリ３７０は、任意選択で、ポータブル多機能デバイス１００のメモリ１０２に存在しない追加のプログラム、モジュール、及びデータ構造を記憶する。例えば、デバイス３００のメモリ３７０は、任意選択的に、描画モジュール３８０、プレゼンテーションモジュール３８２、ワードプロセッシングモジュール３８４、ウェブサイト作成モジュール３８６、ディスクオーサリングモジュール３８８、及び／又はスプレッドシートモジュール３９０を記憶するのに対して、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２は、任意選択的に、これらのモジュールを記憶しない。
図３の上記で特定した要素はそれぞれ、任意選択的に、前述したメモリデバイスのうちの１つ以上の中に記憶される。上記で特定したモジュールはそれぞれ、前述した機能を実行する命令セットに対応する。上記で特定したモジュール又はコンピュータプログラム（例えば、命令セット又は命令を含む）は、別個のソフトウェアプログラム（（例えば、命令を含む）コンピュータプログラムなど）、手順、又はモジュールとして実装される必要はなく、したがって様々な実施形態では、これらのモジュールの様々なサブセットが、任意選択的に組み合わされ、又は他の方法で再構成される。いくつかの実施形態では、メモリ３７０は、任意選択的に、上記で特定したモジュール及びデータ構造のサブセットを記憶する。更に、メモリ３７０は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
次に、任意選択的に、例えばポータブル多機能デバイス１００に実装されるユーザインタフェースの実施形態に注意を向ける。
図４Ａは、いくつかの実施形態に係る、ポータブル多機能デバイス１００上のアプリケーションのメニューの例示的なユーザインタフェースを示す。同様のユーザインタフェースは、デバイス３００上に任意選択的に実装される。いくつかの実施形態では、ユーザインタフェース４００は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
●セルラ信号及びＷｉ－Ｆｉ信号などの無線通信（単数又は複数）用の信号強度インジケータ（単数又は複数）４０２、
●時刻４０４、
●Ｂｌｕｅｔｏｏｔｈインジケータ４０５、
●バッテリ状況インジケータ４０６、
●以下のような、頻繁に使用されるアプリケーションのアイコンを有するトレイ４０８
○不在着信又はボイスメールメッセージの数のインジケータ４１４を任意選択的に含む、「電話」とラベル付けされた、電話モジュール１３８のアイコン４１６、
○未読電子メールの数のインジケータ４１０を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール１４０のアイコン４１８、
○「ブラウザ」とラベル付けされた、ブラウザモジュール１４７のアイコン４２０、及び
○「ｉＰｏｄ」とラベル付けされる、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）モジュール１５２とも称される動画及び音楽プレーヤモジュール１５２用のアイコン４２２、及び
●以下のような、他のアプリケーションのアイコン、
○「メッセージ」とラベル付けされた、ＩＭモジュール１４１のアイコン４２４、
○「カレンダー」とラベル付けされた、カレンダーモジュール１４８のアイコン４２６、
○「写真」とラベル付けされた、画像管理モジュール１４４のアイコン４２８、
○「カメラ」とラベル付けされた、カメラモジュール１４３のアイコン４３０、
○「オンライン動画」とラベル付けされた、オンライン動画モジュール１５５のアイコン４３２、
○「株価」とラベル付けされた、株価ウィジェット１４９－２のアイコン４３４、
○「マップ」とラベル付けされた、地図モジュール１５４のアイコン４３６、
○「天気」とラベル付けされた、気象ウィジェット１４９－１のアイコン４３８、
○「時計」とラベル付けされた、アラーム時計ウィジェット１４９－４のアイコン４４０、
○「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール１４２のアイコン４４２、
○「メモ」とラベル付けされた、メモモジュール１５３のアイコン４４４、及び
○デバイス１００及びその様々なアプリケーション１３６の設定へのアクセスを提供する、「設定」とラベル付けされた、設定アプリケーション又はモジュールのアイコン４４６。
図４Ａに示すアイコンラベルは、単なる例示であることに留意されたい。例えば、動画及び音楽プレーヤモジュール１５２のアイコン４２２は、「音楽」又は「音楽プレーヤ」とラベル付けされる。他のラベルが、様々なアプリケーションアイコンのために、任意選択的に使用される。いくつかの実施形態では、特定のアプリケーションアイコンに関するラベルは、特定のアプリケーションアイコンに対応するアプリケーションの名前を含む。いくつかの実施形態では、特定のアプリケーションアイコンのラベルは、その特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
図４Ｂは、ディスプレイ４５０（例えば、タッチスクリーンディスプレイ１１２）とは別個のタッチ感知面４５１（例えば、図３のタブレット又はタッチパッド３５５）を有するデバイス（例えば、図３のデバイス３００）上の例示的なユーザインタフェースを示す。デバイス３００はまた、任意選択的に、タッチ感知面４５１上の接触の強度を検出する１つ以上の接触強度センサ（例えば、センサ３５９のうちの１つ以上）、及び／又はデバイス３００のユーザに対して触覚出力を生成する１つ以上の触覚出力生成器３５７を含む。
以下の例のうちのいくつかは、タッチスクリーンディスプレイ１１２（タッチ感知面及びディスプレイが組み合わされている）上の入力を参照して与えられるが、いくつかの実施形態では、デバイスは、図４Ｂに示すように、ディスプレイとは別個のタッチ感知面上の入力を検出する。いくつかの実施形態では、タッチ感知面（例えば、図４Ｂの４５１）は、ディスプレイ（例えば、４５０）上の一次軸（例えば、図４Ｂの４５３）に対応する一次軸（例えば、図４Ｂの４５２）を有する。これらの実施形態によれば、デバイスは、ディスプレイ上のそれぞれの位置に対応する位置（例えば、図４Ｂでは、４６０は４６８に対応し、４６２は４７０に対応する）で、タッチ感知面４５１との接触（例えば、図４Ｂの４６０及び４６２）を検出する。このようにして、タッチ感知面（例えば、図４Ｂの４５１）上でデバイスによって検出されるユーザ入力（例えば、接触４６０及び４６２、並びにこれらの移動）は、タッチ感知面がディスプレイとは別個であるとき、多機能デバイスのディスプレイ（例えば、図４Ｂの４５０）上のユーザインタフェースを操作するために、デバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインタフェースに任意選択的に使用されることを理解されたい。
加えて、以下の例は、主に指入力（例えば、指接触、指タップジェスチャ、指スワイプジェスチャ）を参照して与えられる一方、いくつかの実施形態では、指入力のうちの１つ以上が別の入力デバイスからの入力（例えば、マウスベースの入力又はスタイラス入力）に置き換えられることを理解されたい。例えば、スワイプジェスチャは、任意選択的に、（例えば、接触の代わりに、）マウスクリックであって、その後に（例えば、接触の移動の代わりに）スワイプの経路に沿ったカーソルの移動を伴うマウスクリックによって置き換えられる。別の例として、タップジェスチャは、任意選択的に、カーソルがタップジェスチャの位置上に位置する間は、（例えば、接触を検出して、それに続いて接触の検出を停止する代わりに）マウスクリックによって置き換えられる。同様に、複数のユーザ入力が同時に検出されるとき、複数のコンピュータマウスが、任意選択的に、同時に使用され、又はマウス及び指の接触が、任意選択的に、同時に使用されることを理解されたい。
図５Ａは、例示的なパーソナル電子デバイス５００を示す。デバイス５００は、本体５０２を含む。いくつかの実施形態では、デバイス５００は、デバイス１００及び３００（例えば、図１Ａ～図４Ｂ）に関して説明された特徴のうちのいくつか又は全てを含むことができる。いくつかの実施形態では、デバイス５００は、タッチ感知ディスプレイスクリーン５０４、以下ではタッチスクリーン５０４を有する。あるいは、又はタッチスクリーン５０４に加えて、デバイス５００は、ディスプレイ及びタッチ感知面を有する。デバイス１００及び３００と同様に、いくつかの実施形態では、タッチスクリーン５０４（又はタッチ感知面）は、任意選択的に、加えられている接触（例えば、タッチ）の強度を検出する１つ以上の強度センサを含む。タッチスクリーン５０４（又はタッチ感知面）の１つ以上の強度センサは、タッチの強度を表す出力データを提供することができる。デバイス５００のユーザインタフェースは、タッチ（複数）に、その強度に基づいて応答することができ、これは、異なる強度のタッチが、デバイス５００上で異なるユーザインタフェース動作を呼び出すことができることを意味する。
タッチ強度を検出し処理する例示的な技術は、例えば、それぞれ全体が参照により本明細書に組み込まれる関連出願である、国際公開第ＷＯ／２０１３／１６９８４９号として公開された、２０１３年５月８日出願の国際特許出願第ＰＣＴ／ＵＳ２０１３／０４００６１号、「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｄｉｓｐｌａｙｉｎｇ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｏｂｊｅｃｔｓ Ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ａｎ Ａｐｐｌｉｃａｔｉｏｎ」、及び国際公開第ＷＯ／２０１４／１０５２７６号として公開された、２０１３年１１月１１日出願の国際特許出願第ＰＣＴ／ＵＳ２０１３／０６９４８３号、「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｔｒａｎｓｉｔｉｏｎｉｎｇ Ｂｅｔｗｅｅｎ Ｔｏｕｃｈ Ｉｎｐｕｔ ｔｏ Ｄｉｓｐｌａｙ Ｏｕｔｐｕｔ Ｒｅｌａｔｉｏｎｓｈｉｐｓ」を参照されたい。
いくつかの実施形態では、デバイス５００は、１つ以上の入力機構５０６及び５０８を有する。入力機構５０６及び５０８は、含まれる場合、物理的であり得る。物理的入力機構の例としては、プッシュボタン及び回転可能機構が挙げられる。いくつかの実施形態では、デバイス５００は、１つ以上のアタッチメント機構を有する。そのようなアタッチメント機構は、含まれる場合、例えば帽子、眼鏡類、イアリング、ネックレス、シャツ、ジャケット、ブレスレット、ウォッチのバンド、チェーン、ズボン、ベルト、靴、財布、バックパックなどにデバイス５００を取り付けることを可能にすることができる。これらのアタッチメント機構は、ユーザがデバイス５００を着用することを可能にする。
図５Ｂは、例示的なパーソナル電子デバイス５００を示す。いくつかの実施形態では、デバイス５００は、図１Ａ、図１Ｂ、及び図３に関して説明した構成要素のうちのいくつか又は全てを含むことができる。デバイス５００は、Ｉ／Ｏセクション５１４を１つ以上のコンピュータプロセッサ５１６及びメモリ５１８に動作可能に結合するバス５１２を有する。Ｉ／Ｏセクション５１４は、ディスプレイ５０４に接続することができ、ディスプレイ５０４は、タッチ感知構成要素５２２と、任意選択で強度センサ５２４（例えば、接触強度センサ）とを有することができる。加えて、Ｉ／Ｏセクション５１４は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、近距離通信（near field communication、ＮＦＣ）、セルラ、及び／又は他の無線通信技術を使用してアプリケーション及びオペレーティングシステムデータを受信する通信ユニット５３０と接続することができる。デバイス５００は、入力機構５０６及び／又は５０８を含むことができる。入力機構５０６は、任意選択的に、例えば、回転可能な入力デバイスであるか、又は押下可能且つ回転可能な入力デバイスである。いくつかの実施例では、入力機構５０８は、任意選択的にボタンである。
いくつかの実施例では、入力機構５０８は、任意選択的にマイクロフォンである。パーソナル電子デバイス５００は、任意選択的に、ＧＰＳセンサ５３２、加速度計５３４、方向センサ５４０（例えば、コンパス）、ジャイロスコープ５３６、動きセンサ５３８、及び／又はそれらの組み合わせなどの様々なセンサを含み、それらは全て、Ｉ／Ｏセクション５１４に動作可能に接続することができる。
パーソナル電子デバイス５００のメモリ５１８は、コンピュータ実行可能命令を記憶するための１つ以上の非一時的コンピュータ可読記憶媒体を含み得、それらの命令は、１つ以上のコンピュータプロセッサ５１６によって実行されると、例えば、コンピュータプロセッサに、プロセス１５００及びプロセス１６００（図１５～図１６）を含めた、以下に説明する技術を実行させることができる。コンピュータ可読記憶媒体は、命令実行システム、装置、若しくはデバイスによって、又は命令実行システム、装置、若しくはデバイスに関連して、使用されるコンピュータ実行可能命令を、有形に含み又は記憶することができる任意の媒体であり得る。いくつかの実施例では、記憶媒体は、一時的コンピュータ可読記憶媒体である。いくつかの実施例では、記憶媒体は、非一時的コンピュータ可読記憶媒体である。非一時的コンピュータ可読記憶媒体は、それらに限定されるものではないが、磁気記憶装置、光学記憶装置、及び／又は半導体記憶装置を含むことができる。そのような記憶装置の例としては、磁気ディスク、ＣＤ、ＤＶＤ、又はＢｌｕ－ｒａｙ（登録商標）技術に基づく光学ディスク、並びにフラッシュ、ソリッドステートドライブなどの永続性ソリッドステートメモリなどが挙げられる。パーソナル電子デバイス５００は、図５Ｂの構成要素及び構成に限定されるものではなく、他の又は追加の構成要素を複数の構成で含むことができる。
本明細書で使用されるとき、「アフォーダンス」という用語は、任意選択的にデバイス１００、３００、及び／又は５００（図１Ａ、図３、及び図５Ａ～図５Ｂ）のディスプレイスクリーンに表示される、ユーザ対話グラフィカルユーザインタフェースオブジェクトを指す。例えば、画像（例えば、アイコン）、ボタン、及び文字（例えば、ハイパーリンク）はそれぞれ、任意選択的に、アフォーダンスを構成する。
本明細書で使用される「フォーカスセレクタ」という用語は、ユーザが対話しているユーザインタフェースの現在の部分を示す入力要素を指す。カーソル又は他の位置マーカを含むいくつかの実装形態では、カーソルが「フォーカスセレクタ」として作用し、したがってカーソルが特定のユーザインタフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素）の上に位置する間に、入力（例えば、押圧入力）がタッチ感知面（例えば、図３のタッチパッド３５５又は図４Ｂのタッチ感知面４５１）上で検出されたとき、特定のユーザインタフェース要素は、検出された入力に従って調整される。タッチスクリーンディスプレイ上のユーザインタフェース要素との直接対話を可能にするタッチスクリーンディスプレイ（例えば、図１Ａのタッチ感知ディスプレイシステム１１２又は図４Ａのタッチスクリーン１１２）を含むいくつかの実装形態では、タッチスクリーン上の検出された接触が「フォーカスセレクタ」として作用し、したがってタッチスクリーンディスプレイ上の特定のユーザインタフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素）の位置で入力（例えば、接触による押圧入力）が検出されたとき、特定のユーザインタフェース要素が、検出された入力に従って調整される。いくつかの実装形態では、（例えば、フォーカスを１つのボタンから別のボタンへ動かすためにタブキー又は矢印キーを使用することによって）タッチスクリーンディスプレイ上の対応するカーソルの移動又は接触の移動なしに、フォーカスがユーザインタフェースの１つの領域からユーザインタフェースの別の領域に動かされ、これらの実装形態では、フォーカスセレクタは、ユーザインタフェースの種々の領域間でのフォーカスの移動に従って移動する。フォーカスセレクタが取る具体的な形態に関わらず、フォーカスセレクタは、一般に、ユーザが意図するユーザインタフェースとの対話を（例えば、ユーザがそれを通じて対話することを意図しているユーザインタフェースの要素をデバイスに示すことによって）通信するためにユーザによって制御されるユーザインタフェース要素（又はタッチスクリーンディスプレイ上の接触）である。例えば、タッチ感知面（例えば、タッチパッド又はタッチスクリーン）上で押圧入力が検出されている間の、特定のボタンの上のフォーカスセレクタ（例えば、カーソル、接触、又は選択ボックス）の位置は、その特定のボタンを（そのデバイスのディスプレイ上に示される他のユーザインタフェース要素ではなく）アクティブ化することをユーザが意図していることを示すものである。
本明細書及び特許請求の範囲において使用されるとき、接触の「特性強度」という用語は、接触の１つ以上の強度に基づく、その接触の特性を指す。いくつかの実施形態では、特性強度は複数の強度サンプルに基づく。特性強度は、任意選択的に、既定の数の強度サンプル、すなわち、既定のイベント（例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終了を検出する前、接触の強度の増大を検出する前若しくは後、及び／又は、接触の強度の減少を検出する前若しくは後の）に関連する所定の時間（例えば、０．０５、０．１、０．２、０．５、１、２、５、１０秒）の間に収集された強度サンプルのセットに基づく。接触の特性強度は、任意選択的に、接触の強度の最大値、接触の強度の平均（mean）値、接触の強度の平均（average）値、接触の強度の上位１０パーセンタイル値、接触の強度の最大の２分の１の値、接触の強度の最大の９０パーセントの値などのうちの１つ以上に基づいている。いくつかの実施形態では、特性強度を判定する際に（例えば、特性強度が経時的な接触の強度の平均であるときに）、接触の持続期間が使用される。いくつかの実施形態では、特性強度は、ユーザによって動作が実行されたかどうかを判定するために、１つ以上の強度閾値のセットと比較される。例えば、１つ以上の強度閾値のセットは、任意選択的に、第１の強度閾値及び第２の強度閾値を含む。この例では、第１の閾値を超えない特性強度を有する接触は第１の動作をもたらし、第１の強度閾値を上回るが第２の強度閾値を超えない特性強度を有する接触は第２の動作をもたらし、第２の閾値を超える特性強度を有する接触は第３の動作をもたらす。いくつかの実施形態では、特性強度と１つ以上の閾値との間の比較は、第１の動作を実行するべきか、それとも第２の動作を実行するべきかを判定するために使用されるのではなく、１つ以上の動作を実行するべきか否か（例えば、特定の動作を実行するべきか、それとも特定の動作を実行するのを取り止めるべきか）を判定するために使用される。
図６は、いくつかの実施形態に係る、ハンドジェスチャの例示的なセットを示す。これらの図のユーザインタフェースは、図１５～図１６のプロセスを含む後述のプロセスを例示するために使用される。
図６は、コンピュータシステム６００によって検出することができるハンドジェスチャの例示的なセットを示す。コンピュータシステム６００は、入力機構６０２ａ（例えば、ウォッチの竜頭）、入力機構６０２ｂ（例えば、サイドボタン）、及びディスプレイスクリーン６０２ｃを含む。いくつかの実施形態では、コンピュータシステム６００は、デバイス１００、３００、及び／又は５００の１つ以上の構成要素を含む。いくつかの実施形態では、コンピュータシステム６００は、ウォッチなどのウェアラブルデバイスである。いくつかの実施形態では、入力機構６０２ａ及び６０２ｂは、図５Ａに関連して上述した入力機構５０６及び６０８の１つ以上の構成要素及び／又は特性を含むことができる。いくつかの実施形態では、ディスプレイスクリーン６０２ｃはタッチ感知ディスプレイであり、タッチスクリーン５０４に関連して上述したような１つ以上の構成要素及び／又は特性を含む。
図６に示すように、コンピュータシステム６００は、ユーザの手首の周りに装着されており、手６２２から離れている。コンピュータシステム６００は、コンピュータシステム６００の様々なハンドジェスチャ及び／又は動き（例えば、傾きなど）を検出するために、１つ以上の加速度計、ジャイロスコープ、及び／又はバイオメトリックセンサを含む。図６において、バイオメトリックセンサのうちの１つ以上は、コンピュータシステム６００が様々なハンドジェスチャを検出するために利用する光学センサ及び／又は心拍数センサを含む。いくつかの実施形態では、コンピュータシステム６００は、光学／心拍数センサとは異なる１つ以上のセンサを使用して、ハンドジェスチャを検出することができる。
図６は、コンピュータシステム６００によって（例えば、光学／心拍数センサを介して）検出され得る例示的なハンドジェスチャを示す。図６に示すように、ハンドジェスチャは、ニュートラルジェスチャ／ポジション６１０、クレンチジェスチャ６２０、ダブルクレンチジェスチャ６３０、ピンチジェスチャ６４０、及びダブルピンチジェスチャ６５０を含む。これらのハンドジェスチャ（例えば、６１０、６２０、６３０、６４０、及び６５０）は、本出願を通して議論されるが、ハンドジェスチャ（例えば、マルチフィンガータップハンドジェスチャ及び／又はトリプル（クアドルプル、クインタプル）クレンチ／ピンチジェスチャ）及びこれらのハンドジェスチャの１つ以上の組み合わせは、コンピュータシステム６００によって（例えば、光学／心拍数センサを介して）検出可能である、及び／又は以下に説明されるような１つ以上の動作を行うために使用されるものとして考えられる。したがって、本明細書で提供されるハンドジェスチャは、例示的な目的のみのためであり、本明細書で説明される実施形態は、これらの特定のハンドジェスチャに限定されない。また、本明細書で説明されるハンドジェスチャは、コンピュータシステム６００の１つ以上のカメラに向けられない（例えば、カメラによって捕捉されない）。また、本明細書で説明されるハンドジェスチャは、（例えば、ハンドジェスチャがコンピュータシステム６００によって検出されるために）ディスプレイスクリーン６０２ｃに接触せず、及び／又はディスプレイスクリーン６０２ｃの前で実行されない。
図６に示すように、ニュートラルハンドジェスチャ／位置６１０は、手６２２の指先のいずれもが手６２２のいずれの部分にも触れていないハンドジェスチャ／位置である。クレンチジェスチャ６２０は、ユーザが握りこぶしを形成しているときにユーザの手のひらがユーザの手の別の部分に触れるように、手６２２の１つ以上の指がユーザの手の別の部分に触れているハンドジェスチャである。ダブルクレンチジェスチャ６３０は、ニュートラルジェスチャ／位置６１０とクレンチジェスチャ６２０との組み合わせ（及び／又はシーケンス）であり、手６２２の指が閉じられて第１のクレンチジェスチャ（例えば、第１の部分６３０ａ）を形成し、開かれてニュートラルジェスチャ／位置（例えば、第２の部分６３０ｂ）を形成し、再び閉じられて第２のクレンチジェスチャ（例えば、第３の部分６３０ｃ）を形成する。したがって、ダブルクレンチジェスチャは、所定の期間（例えば、０～２秒）内に検出されるクレンチジェスチャの複数（例えば、２つ）のインスタンス（例えば、第１の部分６３０ａ及び第３の部分６３０ｃ）を含むジェスチャである。ピンチジェスチャ６４０は、手６２２の指のうちの１本以上（例えば、２本の指）が互いに触れているハンドジェスチャである。ピンチジェスチャを行うときには握りこぶしは形成されないが、クレンチジェスチャを行うときには最初が形成されるので、ピンチジェスチャはクレンチジェスチャとは異なる。ダブルピンチジェスチャ６５０は、ニュートラルジェスチャ／位置６１０とピンチジェスチャ６４０との組み合わせ（及び／又はシーケンス）であり、手６２２の指がタッチして第１のピンチジェスチャ（例えば、第１の部分６５０ａ）を形成し、開かれてニュートラルジェスチャ／位置（例えば、第２の部分６５０ｂ）を形成し、再び閉じられて第２のピンチジェスチャ（例えば、第３の部分６５０ｃ）を形成する。したがって、ダブルピンチジェスチャは、所定の期間（例えば、０～２秒）内に検出された期間で検出されたピンチジェスチャの複数（例えば、２つ）のインスタンス（例えば、第１の部分６５０ａ及び第３の部分６５０ｃ）を含むジェスチャである。図６に示すように、ダブルクレンチジェスチャ６３０及びクレンチジェスチャ６２０は、ピンチジェスチャ６４０の複数のインスタンスを含まず、ダブルピンチジェスチャ６５０及びピンチジェスチャ６４０は、クレンチジェスチャ６２０の複数のインスタンスを含まない。いくつかの実施形態では、２つのピンチジェスチャが所定の期間内で検出されると、コンピュータシステム６００は、２つのジェスチャをダブルピンチジェスチャであるとして登録（又は検出）する。いくつかの実施形態では、２つのピンチジェスチャが所定の期間内では検出されないとき、コンピュータシステム６００は、２つのジェスチャを（例えば、ダブルピンチジェスチャを登録せずに）２つの個別のピンチジェスチャとして登録（又は検出）する。いくつかの実施形態では、２つのクレンチジェスチャが所定の期間内で検出されると、コンピュータシステム６００は、２つのジェスチャをダブルクレンチジェスチャであるとして登録（又は検出）する。いくつかの実施形態では、２つのクレンチジェスチャが所定の期間内では検出されないとき、コンピュータシステム６００は、２つのジェスチャを（例えば、ダブルクレンチジェスチャを登録せずに）２つの個別のクレンチジェスチャとして登録（又は検出）する。
図７Ａ～図７ＡＡは、いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。これらの図のユーザインタフェースは、図１５～図１６のプロセスを含む後述のプロセスを例示するために使用される。
図７Ａ～図７Ｇは、ハンドジェスチャを使用して着信アラート（例えば、タイマアラート）に応答するための例示的なユーザインタフェースを示す。図７Ａは、現在時刻（例えば、１０：０９）を含む時計ユーザインタフェース７１０をディスプレイスクリーン６０２ｃ上に表示するコンピュータシステム６００を示す。コンピュータシステム６００が時計ユーザインタフェース７１０を表示している間、手６２２はニュートラル位置（例えば、図６の６１０）にある。図７Ａにおいて、コンピュータシステム６００は、タイマアプリケーション（例えば、コンピュータシステム６００にインストールされている）から着信アラートを受信する。図７Ｂに示すように、タイマアプリケーションから着信アラートを受信したことに応じて、コンピュータシステム６００は、タイマユーザインタフェース７１２を表示する。タイマユーザインタフェース７１２は、中止制御７１２ａ（例えば、アクティブ化されると、コンピュータシステム６００に着信アラートに関連する可聴音の出力を中止させる）と、反復制御７１２ｂ（例えば、アクティブ化されると、コンピュータシステム６００に着信アラートに関連するタイマを反復させる）と、タイマが終了したというインジケーション（例えば、「タイマ終了」）とを含む。図７Ｃにおいて、コンピュータシステム６００はピンチジェスチャ７５０ｃを検出する。しかしながら、図７Ｄに示すように、コンピュータシステム６００は、コンピュータシステム６００がハンドジェスチャナビゲーションモード（例えば、及び／又はアクセシビリティモード）で動作していないので、タイマユーザインタフェース７１２の表示を維持し、ピンチジェスチャ７５０ｃに応じていかなる動作も実行しない。いくつかの実施形態では、コンピュータシステム６００は、コンピュータシステム６００がハンドジェスチャナビゲーションモードで動作していないので、ピンチジェスチャ７５０ｃを検出しない。
図７Ｄにおいて、コンピュータシステム６００は、ダブルクレンチジェスチャ７５０ｄを検出する。図７Ｅにおいて、ダブルクレンチジェスチャ７５０ｄの検出に応じて、コンピュータシステム６００は、ハンドジェスチャナビゲーションモードで動作し始める。図７Ｅにおいて、コンピュータシステム６００は、ピンチジェスチャ７５０ｅ（例えば、第２のピンチジェスチャ）を検出する。図７Ｆに示すように、ピンチジェスチャ７５０ｅの検出に応じて、コンピュータシステム６００は、コンピュータシステム６００がハンドジェスチャナビゲーションモードで動作しているので、中止制御７１２ａの周りにフォーカスインジケータを表示する。コンピュータシステム６００は、中止制御７１２ａの周りにフォーカスインジケータを表示して、コンピュータシステム６００が特定のハンドジェスチャを検出したことに応じて中止制御７１２ａをアクティブ化することができることを示す。対照的に、コンピュータシステム６００は、図７Ｆの反復制御７１２ｂの周りにフォーカスインジケータを表示していない。したがって、反復制御７１２ｂは、コンピュータシステム６００が特定のハンドジェスチャを検出したことに応じて（例えば、反復制御７１２ｂがフォーカスインジケータと共に表示される前に）アクティブ化され得ない。図７Ｆにおいて、コンピュータシステム６００は、クレンチジェスチャ７５０ｆを検出する。図７Ｇにおいて、クレンチジェスチャ７５０ｆの検出に応じて、コンピュータシステム６００は、中止制御７１２ａをアクティブ化する。中止制御７１２ａをアクティブ化すると、コンピュータシステム６００は、タイマユーザインタフェース７１２の表示を停止し、着信アラートに関連する可聴音の出力を停止し、（例えば、図７Ｇに示すように）時計ユーザインタフェース７１０を再表示する。
図７Ｇ～図７Ｊは、ハンドジェスチャを使用して着信アラート（例えば、着信呼）に応答するための例示的なユーザインタフェースを示す。上述したように、図７Ｇは、ハンドジェスチャナビゲーションモードで動作している間に時計ユーザインタフェース７１０を表示するコンピュータシステム６００を示す。図７Ｇにおいて、コンピュータシステム６００は、着信電話呼に対応するアラートを受信する。図７Ｈに示すように、アラートの受信に応じて、コンピュータシステム６００は、コンピュータシステム６００がジョン・アップルシードから着信呼を受信していることを示す呼識別子７１４ａ（例えば、「ジョン・アップルシード着信呼」）を含む電話ユーザインタフェース７１４を表示する。電話ユーザインタフェース７１４はまた、拒否制御７１４ｂ（例えば、アクティブ化されると、コンピュータシステム６００に電話呼を拒否させる）、応答制御７１４ｃ（例えば、アクティブ化されると、コンピュータシステム６００に電話呼に応答させる）、及び追加オプション制御７１４ｄ（例えば、アクティブ化されると、コンピュータシステム６００に着信電話呼に応答するための追加オプションを表示させる）を含む。図７Ｈに示すように、コンピュータシステム６００は、ハンドジェスチャ通知７１６を表示し、これは、ユーザが、（例えば、電話に応答するために複数のジェスチャ（例えば、図７Ｃ～図７Ｇに関連して説明した１つ以上の技法を使用して、応答制御７１４ｃにナビゲートするための１つ以上のピンチジェスチャ及び応答制御７１４ｃにナビゲートするためのクレンチジェスチャ）を提供する代わりに）ダブルクランブルジェスチャを提供することによって電話に応答できることを示す。いくつかの実施形態では、コンピュータシステム６００は、コンピュータシステム６００がハンドジェスチャナビゲーションモードで動作している、及び／又はコンピュータシステム６００が、特定のタイプの動作（例えば、電話呼に応答すること、アラームを中止すること、及び／又はテキストメッセージに応答すること）が単一のハンドジェスチャ（例えば、所定のハンドジェスチャ）を介して完了され得る使用コンテキストで動作しているという決定が行われるため、ハンドジェスチャ通知７１６を表示する。いくつかの実施形態では、コンピュータシステム６００は、他の及び／又は異なるハンドジェスチャ通知（例えば、ハンドジェスチャ７１６からの）を表示して、１つ以上の他のジェスチャを使用して動作を実行できることをユーザに知らせる。
図７Ｉにおいて、コンピュータシステム６００は、ダブルクレンチジェスチャ７５０ｉを検出する。図７Ｊに示すように、ダブルクレンチジェスチャ７５０ｉの検出に応じて、コンピュータシステム６００は、呼識別子７１４ａを、着信電話呼が応答されたことを示す経過時間インジケータ７１４ｅに置き換え、（例えば、アクティブ化されると、コンピュータシステム６００の１つ以上のスピーカの音量レベルを調整させる）音量制御７１４ｆを表示する。言い換えれば、ダブルクレンチジェスチャ７５０ｉを検出したことに応じて、コンピュータシステム６００は、着信電話呼に応答する。いくつかの実施形態では、コンピュータシステム６００は、着信アラートが受信されていない（及び／又は所定の期間内に受信されていない）間にダブルクレンチジェスチャを検出したことに応じて、着信アラートが受信されている（及び／又は所定の期間内に受信された）間に実行される（例えば、図７Ｉ～図７Ｌに関連して説明したような）動作とは異なる動作（例えば、図７Ｄ～図７Ｅ及び図７Ｌ～図７Ｍに関連して説明したような）を実行する。
図７Ｉ～図７Ｕは、ハンドジェスチャ及び移動カーソルを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。特に、図７Ｉ～７Ｕは、ハンドジェスチャ及び移動カーソルを使用してトレーニングトラッカを終了する例示的なシナリオを示す。図７Ｋは、トレーニングメトリックのリストを含むトレーニングユーザインタフェース７１８を表示するコンピュータシステム６００を示す。トレーニングユーザインタフェース７１８を表示している間に、コンピュータシステム６００は、図７Ｌにおいて、ダブルクレンチジェスチャ７５０ｌを検出する。図７Ｍに示すように、ダブルクレンチジェスチャ７５０ｌの検出に応じて、コンピュータシステム６００は、デジタルハードウェア動作制御７３２ａ、移動カーソル制御７３２ｂ、対話制御７３２ｃ、及び追加オプション制御７３２ｄを含むメニュー７３２を表示する。メニュー７３２は、現在フォーカスされている制御（例えば、図７Ｍのデジタルハードウェア動作制御７３２ａの周りのブラックボックス）を識別する制御識別子７０８（「ＤＩＧＩＴＡＬ ＣＲＯＷＮ」）を含む。デジタルハードウェア動作制御７３２ａのアクティブ化を検出したことに応じて、コンピュータシステム６００は、デジタルハードウェア動作モード（例えば、異なるハンドジェスチャナビゲーションモード）で動作し始める。対話制御７３２ｃのアクティブ化を検出したことに応じて、コンピュータシステム６００は、メニュー７３２を、（例えば、図７Ｚに関連して以下で説明するような）アクティブ化されたときにコンピュータシステム６００上の位置で検出されている様々なジェスチャに対応する異なる動作をコンピュータシステム６００に実行させる制御を有するメニューに置き換える。追加オプション制御７３２ｄのアクティブ化を検出したことに応じて、コンピュータシステム６００は、メニュー７３２を、（例えば、図７Ｚに関連して以下で説明するような）追加の制御を含むメニューに置き換える。
図７Ｍに示すように、ダブルクレンチジェスチャ７５０ｌの検出に応じて、コンピュータシステム６００は、デジタルハードウェア動作制御７３２ａの周りにフォーカスインジケータを表示して、コンピュータシステム６００が１つ以上のハンドジェスチャを検出したことに応じて、デジタルハードウェア動作制御７３２ａをアクティブ化することができることを示す。図７Ｍにおいて、コンピュータシステム６００は、ピンチジェスチャ７５０ｍを検出する。図７Ｎに示すように、ピンチジェスチャ７５０ｍの検出に応じて、コンピュータシステム６００は、フォーカスインジケータを右に移動させ、フォーカスインジケータが移動カーソル制御７３２ｂの周りにあり、もはやデジタルハードウェア動作制御７３２ａの周りにないようにする。特に、ピンチジェスチャ７５０ｍの検出に応じて、コンピュータシステム６００は、ユーザインタフェース上でフォーカスインジケータを（例えば、位置に関して）１つの制御から次の制御に移動させる。図７Ｎにおいて、コンピュータシステム６００は、フォーカスインジケータが移動カーソル制御７３２ｂの周りに表示されている間に、クレンチジェスチャ７５０ｎを検出する。
図７Ｏに示すように、クレンチジェスチャ７５０ｎの検出に応じて、コンピュータシステム６００は、メニュー７３２の表示を停止し、トレーニングユーザインタフェース７１８上の位置にカーソル７４２を表示する。図７Ｏにおいて、クレンチジェスチャ７５０ｎの検出に応じて、コンピュータシステム６００は、移動カーソル動作モード（例えば、別のハンドジェスチャ動作モード）で動作し始める。図７Ｐにおいて、コンピュータシステム６００は、コンピュータシステム６００が左（例えば、７５０ｐ）に傾けられている（例えば、動かされている）ことを（例えば、１つ以上の加速度計及び／又はジャイロスコープを介して、光学／心拍数センサとは異なるセンサを介して、及び／又は１つ以上のハンドジェスチャを検出するセンサとは異なるセンサを介して）検出する。図７Ｐにおいて、コンピュータシステム６００が左に傾けられていることを検出したことに応じて、コンピュータシステム６００は、コンピュータシステム６００によって検出されている傾きの量及び／又は傾きの速度に基づいて、カーソル７４２を左に移動させる。図７Ｐに示すように、カーソル７４２は、トレーニングユーザインタフェース７１８の左端に向かって移動される。図７Ｐにおいて、カーソル７４２が（例えば、所定の期間にわたって）トレーニングユーザインタフェース７１８の左端に（例えば、及び／又はその近くに）位置しているという決定がなされる。図７Ｑ～図７Ｒに示すように、カーソル７４２がトレーニングユーザインタフェース７１８の左端に位置していると決定されたので、コンピュータシステム６００は、トレーニングユーザインタフェース７１８をディスプレイスクリーン６０２ｃの右端からスライドさせ、トレーニング制御ユーザインタフェースをディスプレイスクリーンの左端からディスプレイスクリーン６０２ｃ上にスライドさせる（例えば右にスライドさせる）アニメーションを表示する。したがって、カーソル７４２が（例えば、及び／又は近くに）位置付けられているという決定がなされるので、コンピュータシステム６００は、現在表示されているユーザインタフェースを別のユーザインタフェースに置き換える。
図７Ｒに示すように、トレーニング制御ユーザインタフェース７２０は、ロック制御７２０ａ（例えば、アクティブ化されると、コンピュータシステム６００上で検出されたタッチ入力をコンピュータシステム６００に無視させる）、新規制御７２０ｂ（例えば、アクティブ化されると、コンピュータシステム６００に新規トレーニングトラッカを開始させる）、終了制御７２０ｃ（例えば、アクティブ化されると、コンピュータシステム６００に、現在トレーニング活動を追跡しているトレーニングトラッカを中止させる）、及び一時停止制御７３０ｄ（例えば、アクティブ化されると、コンピュータシステム６００に、現在トレーニング活動を追跡しているトレーニングトラッカを一時停止させる）を含む。図７Ｒに示すように、手６２２はニュートラル位置（例えば、図６の６１０）にあり、カーソル７４２は終了制御７２０ｃの上に配置されている。図７Ｓでは、カーソル７４２が最初に終了制御７２０ｃの上に（及び／又はカーソル７４２の現在位置に）位置付けられてから一定期間が経過している（例えば、手６２２はニュートラル位置のままである）。図７Ｓに示すように、コンピュータシステム６００は、インジケーション７４４と共にカーソル７４２を表示する。インジケーション７４４は、終了制御７２０ｃをアクティブ化すること、及び／又はカーソル７４２の位置に対応する動作を実行するための１つ以上の制御を含むメニュー（例えば、図７Ｍのメニュー７３２）を表示することなど、カーソル７４２の位置に対応する動作（例えば、アクティブ化動作）が実行される前の時間量を示す。したがって、カーソル７４２が制御などのユーザインタフェースオブジェクトに対応する位置に表示されている間に、コンピュータシステム６００は、インジケーション７４４のサイズのアニメーションを表示し、及び／又はある期間（例えば、動作が実行される前の残り時間を示す期間）にわたってカーソル７４２を塞ぐ。図７Ｓにおいて、カーソル７４２のおよそ半分を塞ぐインジケーション７４４は、コンピュータシステム６００がカーソル７４２の位置に対応する動作を実行することができる前に、およそ半分の時間が経過したことを示す（例えば、カーソル７４２が終了制御７２０ｃの上に位置付けられてから）。図７Ｑ～図７Ｒを振り返ると、コンピュータシステム６００が特定の位置に表示された時間の長さに関係なく、コンピュータシステム６００がユーザインタフェース上及び／又はディスプレイの端に表示されなかった間に、コンピュータシステム６００はカーソル７４２を有するインジケーションを表示しなかった。したがって、いくつかの実施形態では、コンピュータシステム６００は、移動カーソル７４２がユーザインタフェースオブジェクト（例えば、選択可能及び／又は（アクティブ化されることが可能な）ユーザインタフェースオブジェクト、ディスプレイスクリーン６０２ｃ上で検出される１つ以上のジェスチャを介してアクティブ化され得るユーザインタフェースオブジェクト）の上にあるときにのみ、インジケーション７４４を含むアニメーションを表示する。
図７Ｓでは、カーソル７４２が最初に終了制御７２０ｃの上に位置付けられてからより多くの時間が経過している（例えば、手６２２はニュートラル位置のままである）。図７Ｔに示すように、コンピュータシステム６００は、インジケーション７４４がカーソル７４２の全てを塞ぐように、インジケーション７４４を更新している。図７Ｔにおいて、カーソル７４２が所定の期間（例えば、１～５秒）にわたって終了制御７２０ｃの上に位置付けられたという決定が行われる。図７Ｕでは、カーソル７４２が所定の期間にわたって終了制御７２０ｃの上に位置付けられたという決定が行われるので、コンピュータシステム６００は、終了制御７２０ｃをアクティブ化する。終了制御７２０ｃがアクティブ化されると、コンピュータシステム６００は、トレーニングトラッカが終了したことを示す完了ユーザインタフェース７７０を表示する。
図７Ｕ～図７ＡＡは、ハンドジェスチャ及び移動カーソルを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。特に、図７Ｕ～図７ＡＡは、コンピュータシステム６００がシェイクジェスチャの検出に応じて移動カーソル動作モードに入る例示的なシナリオを示す（例えば、図７Ｎに関連して上述したように、１つ以上のハンドジェスチャを介してメニュー７３２上の移動カーソル制御７３２ｂをアクティブ化する代わりに）。図７Ｕは、現在時刻（例えば、１０：０９）を含む時計ユーザインタフェース７１０を表示するコンピュータシステム６００を示す。図７Ｗにおいて、コンピュータシステム６００は、（例えば、１つ以上の加速度計及び／又はジャイロスコープを介して）シェイクされている（又はシェイクされた）ことを検出する（例えば、７５０ｗ）。図７Ｘにおいて、コンピュータシステム６００がシェイクされている（又はシェイクされた）ことを検出したことに応じて、コンピュータシステム６００は、移動カーソルモードで動作し始める（例えば、移動カーソルモードで動作していない状態から移動カーソルモードで動作する状態に遷移する）。コンピュータシステム６００がシェイクされている（又はシェイクされた）ことを検出したことに応じて、コンピュータシステム６００は、カーソル７４２を表示する。図７Ｙにおいて、コンピュータシステム６００は、コンピュータシステム６００が右（例えば、７５０ｙ）に傾けられている（例えば、動かされている）ことを検出する。図７Ｙにおいて、コンピュータシステム６００が右に傾けられていることを検出したことに応じて、コンピュータシステム６００は、コンピュータシステム６００によって検出されている傾きの量及び／又は傾きの速度に基づいて、カーソル７４２を右に移動させる。図７Ｙに示すように、カーソル７４２は、時計ユーザインタフェース７１０の右端に向かって移動される。図７Ｙにおいて、カーソル７４２が時計ユーザインタフェース７１０の右端（例えば、及び／又はその近く）に位置付けられているという決定がなされる。図７Ｚ～図７ＡＡに示すように、カーソル７４２がトレーニングユーザインタフェース７１８の左端に位置していると決定されたので、コンピュータシステム６００は、時計ユーザインタフェースをディスプレイスクリーン６０２ｃの左端から（例えばカーソル７４２が位置している端から離れるように）スライドさせるアニメーションを表示し、アナログ時計ユーザインタフェース７８０をディスプレイスクリーン６０２ｃの右からスライドさせてディスプレイスクリーン６０２ｃの左端に向かって移動させるように表示する。
図８Ａ～図８Ｊは、いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。これらの図のユーザインタフェースは、図１５～図１６のプロセスを含む後述のプロセスを例示するために使用される。
特に、図８Ａ～図８Ｊは、（例えば、図７Ｉ～図７Ｕに関連して上述したようにユーザインタフェースオブジェクトをアクティブ化する代わりに）カーソル７４２がユーザインタフェースオブジェクトの上に位置付けられた（例えば、表示された）ことに応じて、コンピュータシステム６００がメニュー７３２を表示する例示的なシナリオを示す。図８Ａは、アプリケーション制御８１０ａ～８１０ｄ（例えば、アクティブ化されると、各々がコンピュータシステム６００にアプリケーションを起動させる）を含む時計ユーザインタフェース８１０を表示するコンピュータシステム６００を示す。図８Ａにおいて、コンピュータシステム６００は、（例えば、図７Ｕ～７ＡＡに関連して上述したような１つ以上の技術を使用して）シェイクされている（又はシェイクされた）ことを検出する（例えば、８５０ａ）。図８Ｂにおいて、コンピュータシステム６００がシェイクされている（又はシェイクされた）ことを検出したことに応じて、コンピュータシステム６００は、移動カーソルモードで動作し始め、時計ユーザインタフェース８１０上にカーソル７４２を表示する。
図８Ｃにおいて、カーソル７４２は、所定の期間にわたって同じ位置（例えば、図８Ｂにおいて表示された位置）に表示されている。しかしながら、図８Ｃでは、（例えば、図７Ｉ～図７Ｕに関連して説明された１つ以上の技術を使用して）カーソル７４２がユーザインタフェースオブジェクト（例えば、選択可能なオブジェクト及び／又はアクティブ化され得るユーザインタフェースオブジェクト及び／又はコンピュータシステム６００がユーザインタフェースオブジェクト上で１つ以上の入力を検出したとき、及び一部の実施形態ではコンピュータシステムが通常動作モードで動作しているとき及び／又はハンドジェスチャを検出していないときにアクティブ化され得るユーザインタフェースオブジェクト）に対応する位置に配置されていないため、コンピュータシステム６００は、カーソル７４２が埋まるアニメーションを表示しない。図８Ｃにおいて、コンピュータシステム６００は、（例えば、図７Ｉ～７Ｕに関連して説明される１つ以上の技術を使用して）下向きに傾けられていることを検出する（例えば、８５０ｃ）。図８Ｄに示すように、コンピュータシステム６００が下方に傾けられていることを検出したことに応じて、コンピュータシステム６００は、カーソル７４２をアプリケーションアイコン８１０ｄの上に移動させる。
図８Ｅ～図８Ｇに示すように、コンピュータシステム６００は、カーソル７４２がアプリケーションアイコン８１０ｄ（例えば、選択可能ユーザインタフェースオブジェクト）の上に表示されるので（例えば、図７Ｉ～図７Ｕに関連して上述した１つ以上の技術を使用して）、ある期間にわたってカーソル７４２を埋めるインジケーション７４４のアニメーションカーソルを表示する。図８Ｇに示すように、インジケーション７４４はカーソル７４２を完全に埋めている。図８Ｇにおいて、カーソル７４２がアプリケーションアイコン８１０ｄ上に所定期間（例えば、１～５秒）配置されたと決定された上で、カーソル７４２が表示されたと決定される。
図８Ｈに示すように、カーソル７４２が所定の期間にわたってアプリケーションアイコン８１０ｄ上に位置付けられたという決定が行われるので、コンピュータシステム６００は、メニュー７３２を表示する（例えば、いくつかの実施形態では、アプリケーションアイコン８１０ｄをアクティブ化することなく、（例えば、アプリケーションアイコン８１０ｄ及び／又はアプリケーションアイコン８１０ｄの位置を使用し操作を実行することができるように）アプリケーションアイコン８１０ｄ及び／又はアプリケーションアイコン８１０ｄの位置を選択する）。また、図８Ｈにおいて、コンピュータシステム６００は、対話制御７３２ｃ上に位置決めされたカーソル７４２を表示している。いくつかの実施形態では、１つ以上の設定は、カーソル７４２が所定の期間にわたって特定のユーザインタフェースオブジェクトの上に位置決めされたと決定されたときにコンピュータシステム６００がユーザインタフェースオブジェクトをアクティブ化するかどうか、カーソル７４２が所定の期間にわたって特定のユーザインタフェースオブジェクトの上に位置決めされたと決定されたときにコンピュータシステム６００がメニューを表示するかどうか、又は両方を行うかどうかを制御する。いくつかの実施形態では、コンピュータシステム６００は、（カーソル７４２がその上をホバーしていたユーザインタフェースオブジェクトを覆い隠さないように）カーソル７４２がアプリケーションアイコン８１０ｄの上に位置決めされた場所から更に離れたディスプレイ上の位置にメニュー７３２を表示する。
図８Ｉに示すように、コンピュータシステム６００は、（例えば、図８Ｅ～８Ｇに関連して説明したような１つ以上の技術を使用して）カーソル７４２を埋めたインジケーション７４４を表示する。図８Ｉにおいて、カーソル７４２が所定の期間にわたって対話制御７３２ｃ上で検出されたという決定が行われる。図８Ｊにおいて、カーソル７４２が所定の期間にわたってカーソル７４２上で検出されたという決定が行われるので、コンピュータシステム６００は、対話制御７３２ｃをアクティブ化する。対話制御７３２ｃのアクティブ化に応じて、コンピュータシステム６００は、タップ制御８３２ａを含む追加の制御を表示する。特に、メニュー７３２が表示されている間に所定の時間にわたってカーソル７４２が選択可能ユーザインタフェースオブジェクト上で検出されたと決定されると、コンピュータシステム６００は、ユーザインタフェースオブジェクトをアクティブ化する（そして、コンピュータシステム６００の１つ以上の設定にかかわらず、メニュー７３２を再表示しない）。
図８Ｊにおいて、コンピュータシステム６００は、タップ制御８３２ａ上にカーソルを表示する。いくつかの実施形態では、カーソル７４２がタップ制御８３２ａ上で検出されたと決定されると、コンピュータシステム６００はタップ制御８３２ａをアクティブ化する。いくつかの実施形態では、タップ制御８３２ａのアクティブ化を検出したことに応じて、コンピュータシステム６００は、（例えば、図８Ｇ～図８Ｉにおいて）メニュー７３２を表示させたカーソル７４２が表示された位置でタップジェスチャが検出された場合に実行されたであろう動作を検出及び／又は実行する。例えば、図８Ｊにおいて、タップ制御８３２ａのアクティブ化を検出したことに応じて、コンピュータシステム６００は、アプリケーションアイコン８１０ｄに対応するアプリケーション（例えば、図１０Ｆのユーザインタフェース）を起動する。いくつかの実施形態では、コンピュータシステム６００が、メニュー７３２を表示させた位置にカーソル７４２が表示された位置で特定のジェスチャ（例えば、長押しジェスチャ、ドラッグジェスチャ）が検出された場合に実行されたであろう動作（例えば、タップジェスチャが検出された場合とは異なる動作）（例えば、時計の文字盤メニューを表示させるジェスチャ、時計ユーザインタフェース８１０上のある位置から別の位置にアプリケーションアイコンを移動させるジェスチャ、時計ユーザインタフェース８１０からアプリケーションアイコンを削除させるジェスチャ）を実行する場合、他のジェスチャ制御を表示及びアクティブ化することができる。
図９Ａ～図９Ｈは、いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。これらの図のユーザインタフェースは、図１５～図１６のプロセスを含む後述のプロセスを例示するために使用される。
特に、図９Ａ～９Ｈは、コンピュータシステム６００が、（例えば、図７Ａ～７Ｇに関連して上述したものと同様の技術を使用して）ハンドジェスチャの検出に応じてユーザインタフェースを通じてナビゲートする例示的なシナリオを示す。図９Ａは、ハンドジェスチャナビゲーションモードで動作していない間にメディアユーザインタフェース９１０を表示するコンピュータシステム６００を示す。メディアユーザインタフェース９１０は、バック制御９１０ａ（例えば、アクティブ化されると、コンピュータシステム６００に、以前に表示されたユーザインタフェースを表示させる）、リバース制御９１０ｂ（例えば、アクティブ化されると、コンピュータシステム６００を、メディアアイテムのリストにある以前のメディアアイテムを再生するように構成する）、一時停止制御９１０ｃ（例えば、アクティブ化されると、コンピュータシステム６００に、メディアアイテムの再生を一時停止させる）、フォワード制御９１０ｄ（例えば、アクティブ化されると、コンピュータシステム６００を、メディアアイテムのリストにある次のメディアアイテムを再生するように構成する）、追加オプション制御９１０ｅ（例えば、アクティブ化されると、コンピュータシステム６００に、現在図９Ａ表示されていない１つ以上の追加の制御を表示させる）、キュー制御９１０ｆ（例えば、アクティブ化されると、コンピュータシステム６００に、キューに入れられたメディアアイテムのリストを表示させる）、及び接続制御９１０ｇ（例えば、アクティブ化されると、コンピュータシステム６００に、コンピュータシステム６００を１つ以上の外部コンピュータシステムに接続するためのユーザインタフェースを表示させる）を含む。図９Ａにおいて、コンピュータシステム６００は、ダブルクレンチジェスチャ９５０ａを検出する。
図９Ｂにおいて、ダブルクレンチジェスチャ９５０ａの検出に応じて、コンピュータシステム６００は、（例えば、図７Ｄ～図７Ｅに関連して上述したような１つ以上の技術を使用して）ハンドジェスチャナビゲーションモードで動作し始める。図９Ｂに示すように、ダブルクレンチジェスチャ９５０ａの検出に応じて、コンピュータシステム６００は、（例えば、図７Ｄに関連して上述したような１つ以上の技術を使用して）フォーカスインジケータをフォワード制御９１０ｄの周りに表示する。いくつかの実施形態では、コンピュータシステム６００は、ダブルクレンチジェスチャ９５０ａの検出に応じて、メディアユーザインタフェース９１０上のフォワード制御９１０ｄ（例えば、制御９１０ａ～９１０ｄ又は９１０ｅ～９１０ｇ）とは異なる及び／又はフォワード制御でない制御の周りにフォーカスインジケータを表示する。
図９Ｂにおいて、コンピュータシステム６００は、ダブルピンチジェスチャ９５０ｂを検出する。図９Ｃに示すように、ダブルピンチジェスチャ９５０ｂの検出に応じて、コンピュータシステム６００は、フォーカスインジケータを左に移動させ、フォーカスインジケータが一時停止制御９１０ｃの周りに表示され、フォワード制御９１０ｄの周りに表示されないようにする。図９Ｃにおいて、ダブルピンチジェスチャ９５０ｂの検出に応じて、コンピュータシステム６００は、コンピュータシステム６００がフォワード制御９１０ｄについてメディアユーザインタフェース９１０上の前の制御であると決定した制御の周りにフォーカスインジケータを移動させる。いくつかの実施形態では、コンピュータシステム６００は、フォワード制御９１０ｄ（例えば、フォーカスインジケータが周りにあった以前の制御）の位置からメディアユーザインタフェース９１０上の開始行（例えば、メディアユーザインタフェース９１０の上部付近及び／若しくは上部の行上の位置、並びに／又はメディアユーザインタフェース９１０の左／右に最も遠く、上部付近にある選択可能ユーザインタフェースオブジェクト（例えば、制御）を有する行上の位置）に向かって進む、メディアユーザインタフェース９１０上の方向にある制御を識別することによって、以前の制御を決定する。いくつかの実施形態では、図９Ｃにおいて、一時停止制御９１０ｃは、フォワード制御９１０ｄに隣接しており（例えば、２つの制御の間に別の制御がない状態で隣接している）、フォワード制御９１０ｄ（又は、いくつかの実施形態では、他の隣接制御（例えば、キュー制御９１０ｆ、追加オプション制御９１０ｅ））よりもメディアユーザインタフェース９１０の開始行に近いので、一時停止制御９１０ｃは、フォワード制御９１０ｄの前の制御であると決定される。図９Ｃにおいて、コンピュータシステム６００は、クレンチジェスチャ９５０ｃを検出する。
図９Ｄにおいて、クレンチジェスチャ９５０ｃの検出に応じて、コンピュータシステム６００は、一時停止制御９１０ｃをアクティブ化し、メディア（例えば、「ポップスター」による「大事なこと」）の再生を一時停止する。図９Ｄに示すように、クレンチジェスチャ９５０ｃの検出に応じて、一時停止制御９１０ｃは、再生制御９１０ｈ（例えば、アクティブ化されると、メディアアイテムの再生を開始する）に置き換えられる。図９Ｄに示すように、クレンチジェスチャ９５０ｃの検出に応じて、コンピュータシステム６００は、メディアユーザインタフェース９１０上の同じ位置にフォーカスインジケータを維持する。したがって、いくつかの実施形態では、コンピュータシステム６００は、クレンチジェスチャ９５０ｃを検出したとき、及び／又はハンドジェスチャの検出に応じて制御をアクティブ化するとき、制御が別の制御と置き換えられるかどうかにかかわらず、フォーカス制御を移動させない。図９Ｅにおいて、コンピュータシステム６００は、ピンチジェスチャ９５０ｅを検出する。
図９Ｆに示すように、ピンチジェスチャ９５０ｅの検出に応じて、コンピュータシステム６００は、フォーカスインジケータを右に移動させ、フォーカスインジケータがフォワード制御９１０ｄの周りに表示され、再生制御９１０ｈの周りに表示されないようにする。図９Ｆにおいて、ピンチジェスチャ９５０ｅの検出に応じて、コンピュータシステム６００は、コンピュータシステム６００が再生制御９１０ｈに関連してメディアユーザインタフェース９１０上の次の制御であると決定した制御の周りにフォーカスインジケータを移動させる。いくつかの実施形態では、コンピュータシステム６００は、フォワード制御９１０ｄ（例えば、フォーカスインジケータが周りにあった以前の制御）の位置からメディアユーザインタフェース９１０上の終了行（例えば、メディアユーザインタフェース９１０の下部付近及び／若しくは下部の行上の位置、並びに／又はメディアユーザインタフェース９１０の左／右に最も遠く、上部付近にある選択可能ユーザインタフェースオブジェクト（例えば、制御）を有する行上の位置）に向かって進む、メディアユーザインタフェース９１０上の方向にある制御を識別することによって、次の制御を決定する。いくつかの実施形態では、図９Ｆにおいて、フォワード制御９１０ｄは、フォワード制御９１０ｄに隣接しており（例えば、２つの制御の間に別の制御がない状態で隣接している）、再生制御９１０ｈよりもメディアユーザインタフェース９１０の開始行に近いので、フォワード制御９１０ｄは、再生制御９１０ｈの次の制御であると決定される。
特に、図９Ｂのダブルピンチジェスチャ９５０ｂは、図９Ｅのピンチジェスチャ９５０ｅの複数のインスタンスを含む。更に、コンピュータシステム６００は、ピンチジェスチャ９５０ｅの検出に応じてコンピュータシステム６００が実行した動作に対して、ダブルピンチジェスチャ９５０ｂの検出に応じて反対の動作（例えば、前の制御へのナビゲーション）を実行する。したがって、いくつかの実施形態では、コンピュータシステム６００は、互いの複数のインスタンスを含むジェスチャの検出に応じて反対の動作を実行する。いくつかの実施形態では、反対のジェスチャは、異なるジェスチャのつながり（例えば、それらの間の類似性）のために、ユーザがユーザインタフェースをより容易にナビゲートするのを助ける。図９Ｆに戻ると、コンピュータシステム６００は、ピンチジェスチャ９５０ｆを検出する。
図９Ｇに示すように、ピンチジェスチャ９５０ｆの検出に応じて、コンピュータシステム６００は、フォーカスインジケータを下方に移動させ、フォーカスインジケータが追加オプション制御９１０ｅの周りに表示され、フォワード制御９１０ｄの周りに表示されないようにする。ここで、コンピュータシステム６００は、追加オプション制御９１０ｅが次の制御であるため、フォーカスインジケータを下方に移動させる。図９Ｇにおいて、コンピュータシステム６００は、接続制御９１０ｇがフォワード制御９１０ｄに隣接していない（例えば、接続制御９１０ｇが次の制御であると決定されない）ので、接続制御９１０ｇの周りにフォーカスインジケータを表示しない。いくつかの実施形態では、コンピュータシステム６００は、特定のユーザインタフェース上の制御の特定のレイアウトに基づくパターンで、ユーザインタフェースの周りにフォーカスを移動させる。図９Ａに戻ると、いくつかの実施形態では、コンピュータシステム６００は、制御の識別順序（９１０ａ、９１０ｂ、９１０ｃ、９１０ｄ、９１０ｅ、９１０ｆ、及び９１０ｇを連続的に（又は逆に））でメディアユーザインタフェース９１０の周りにフォーカスインジケータを移動させる。いくつかの実施形態では、フォーカスインジケータが最後の制御（例えば、９１０ｇ）の周りにあるとき、コンピュータシステム６００は、ピンチジェスチャ（又は次の制御を移動させるジェスチャ）の検出に応じて、フォーカスインジケータを第１の制御（例えば、９１０ａ）の周りに移動させる。いくつかの実施形態では、フォーカスインジケータが第１の制御（例えば、９１０ａ）の周りにあるとき、コンピュータシステム６００は、ダブルピンチジェスチャ（又は前の制御を移動させるジェスチャ）の検出に応じて、フォーカスインジケータを最後の制御（例えば、９１０ｇ）の周りに移動させる。図９Ｇに戻ると、コンピュータシステム６００は、フォーカスインジケータが追加オプション制御９１０ｅの周りにある間に、クレンチジェスチャ９５０ｇを検出する。
図９Ｈに示すように、クレンチジェスチャ９５０ｇの検出に応じて、コンピュータシステム６００は、追加オプションユーザインタフェース９２０を表示し、メディアユーザインタフェース９１０の表示を停止する。図９Ｈに示すように、クレンチジェスチャ９５０ｇの検出に応じて、コンピュータシステム６００は、追加オプションユーザインタフェース９２０の制御（例えば、開始行の位置の制御）の周りにフォーカスインジケータを表示する。いくつかの実施形態では、追加オプションユーザインタフェース９２０の周りにフォーカスインジケータを移動させるための１つ以上のハンドジェスチャ（例えば、ピンチジェスチャ及び／又はダブルピンチジェスチャ）の検出に応じて、コンピュータシステム６００は、追加オプションユーザインタフェース９２０に含まれる異なる制御の周りにフォーカスインジケータを移動させる。いくつかの実施形態では、コンピュータシステム６００は、（例えば、図９Ａ～図９Ｇに関連して上述したように）コンピュータシステム６００がメディアユーザインタフェース９１０に含まれる制御の周りにフォーカスインジケータを移動させたパターン（例えば、蛇行パターン）とは異なるパターン（例えば、垂直パターン）で、追加オプションユーザインタフェース９２０に含まれる異なる制御の周りにフォーカスインジケータを移動させる。
図１０Ａ～図１０Ｆは、いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。これらの図のユーザインタフェースは、図１５～図１６のプロセスを含む後述のプロセスを例示するために使用される。
特に、図１０Ａ～１０Ｆは、コンピュータシステム６００が、（例えば、図７Ａ～７Ｇに関連して上述したものと同様の技術を使用して）ハンドジェスチャの検出に応じてユーザインタフェースを通じてナビゲートする例示的なシナリオを示す。図１０Ａは、ハンドジェスチャナビゲーションモードで動作していない間にメディアユーザインタフェース１０１０を表示するコンピュータシステム６００を示す。メディアユーザインタフェース１０１０は、アプリケーションアイコン１０１０ａ～１０１０ｄ（例えば、アクティブ化されると、コンピュータシステム６００に、アクティブ化された特定のアプリケーションアイコンのためのユーザインタフェースを表示させる）を含む。図１０Ａにおいて、コンピュータシステム６００は、（例えば、図７Ａ～図７Ｇ及び図９Ａ～図９Ｈに関連して上述したように）ハンドナビゲーション動作モードで動作している。いくつかの実施形態では、コンピュータシステム６００は、図７Ａ～７Ｇ及び９Ａ～９Ｈに関連して上述した１つ以上の技術を使用して、メディアユーザインタフェース１０１０を通じてナビゲートする。図１０Ｂにおいて、コンピュータシステム６００は、ダブルクレンチジェスチャ１０５０ｂを検出する。
図１０Ｃに示すように、ダブルクレンチジェスチャ１０５０ｂの検出に応じて、コンピュータシステム６００は、（例えば、図７Ｄに関連して上述したようは）制御７３２ａ～７３２ｄを含むメニュー７３２を表示する。メニュー７３２は、現在フォーカスされている制御（例えば、図１０Ｃのデジタルハードウェア動作制御７３２ａの周りのブラックボックス）を識別する制御識別子７０８（「ＤＩＧＩＴＡＬ ＣＲＯＷＮ」）を含む。図１０Ｃに示すように、コンピュータシステム６００は、デジタルハードウェア動作制御７３２ａ及びアプリケーションアイコン１０１０ｃの両方の周囲にフォーカスインジケータを表示するが、これは、ダブルクレンチジェスチャ１０５０ｂが検出される前にアプリケーションアイコン１０１０ｃが選択されたため、及び／又はコンピュータシステム６００がアプリケーションアイコン１０１０ｃの位置で動作（例えば、図８Ｊに関連して上述したようなアプリケーションアイコン１０１０ｃのアクティブ化）を実行できるためである。図１０Ｃにおいて、コンピュータシステムは、ダブルクレンチジェスチャ１０５０ｃを検出する。
図１０Ｄに示すように、ダブルクレンチジェスチャ１０５０ｃの検出に応じて、コンピュータシステム６００は（例えば、コンピュータシステム６００がハンドジェスチャナビゲーションモードで動作し続けている間）メニュー７３２の表示を停止する。図１０Ｄにおいて、コンピュータシステム６００は、ピンチジェスチャ１０５０ｄを検出する。図１０Ｅに示すように、ピンチジェスチャ１０５０ｄの検出に応じて、コンピュータシステム６００は、フォーカスインジケータを下方及び左に移動させ、フォーカスインジケータがアプリケーションアイコン１０１０ｄの周りに表示され、アプリケーションアイコン１０１０ｃの周りに表示されないようにする。コンピュータシステム６００は、（例えば、ピンチジェスチャ１０５０ｄの検出に応じて）アプリケーションアイコン１０１０ｄが次の制御であったという決定が行われたので、フォーカスインジケータをアプリケーションアイコン１０１０ｄの周りに表示する。いくつかの実施形態では、この決定は、図９Ａ～９Ｈに関連して上述した１つ以上の技術を使用して行われた。図１０Ｅにおいて、コンピュータシステム６００は、クレンチジェスチャ１０５０ｅを検出する。図１０Ｆにおいて、クレンチジェスチャ１０５０ｅの検出に応じて、コンピュータシステム６００は、アプリケーションアイコン１０１０ｄをアクティブ化し、アプリケーションアイコン１０１０ｄ（例えば、呼吸アプリケーションアイコン）に対応するアプリケーション（例えば、呼吸アプリケーション）を表示する。
図１１Ａ～図１１Ｈは、いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。これらの図のユーザインタフェースは、図１５～図１６のプロセスを含む後述のプロセスを例示するために使用される。特に、図１１Ａ～１１Ｈは、コンピュータシステム６００が、１つ以上のハンドジェスチャの検出に応じて、ユーザインタフェースを自動的にスクロールし、異なる動作を実行する例示的なシナリオを示す。いくつかの実施形態では、コンピュータシステム６００は、コンピュータシステムがデジタルハードウェア動作モード（例えば、ハンドジェスチャナビゲーションモード）で動作しているときに、図１１Ａ～図１１Ｈに関連して説明したような１つ以上の技術を使用して、ユーザインタフェースを自動的にスクロールする。いくつかの実施形態では、コンピュータシステム６００は、デジタルハードウェア動作制御７３２ａのアクティブ化に応じて、デジタルハードウェア動作モードで動作し始める。いくつかの実施形態では、コンピュータシステム６００は、コンピュータシステム６００が入力機構上の入力（例えば、回転可能な入力）を検出したことに応じて、実行される動作（単数又は複数）と同様の動作（単数又は複数）でユーザインタフェースを自動的にスクロールし、及び／又は同じ動作を実行する。いくつかの実施形態では、コンピュータシステム６００は、コンピュータシステムが（例えば、１４１２に関連して後述するように）自動スクロールモードで動作しているとき、ユーザインタフェースを自動的にスクロールする。
図１１Ａは、テキストメッセージユーザインタフェース１１１０を表示するコンピュータシステム６００を示す。テキストメッセージユーザインタフェース１１１０は、テキストメッセージ領域１１２０と、アニメーション画像制御１１１０ａを含む１つ以上の制御とを含む。図１１Ａに示すように、テキストメッセージ領域１１２０は、テキストメッセージ１１２０ａ（「どこにいる？」）を含む。図１１Ａに示すように、コンピュータシステム６００は、テキストメッセージユーザインタフェース１１１０の下部に表示されるアニメーション画像制御１１１０ａの周りにフォーカスインジケータを表示している。図１１Ａにおいて、コンピュータシステム６００は、ダブルクレンチジェスチャ１１５０ａを検出する。
図１１Ｂに示すように、ダブルクレンチジェスチャ１１５０ａの検出に応じて、コンピュータシステム６００は、デジタルハードウェア動作制御７３２ａを含むメニュー７３２を表示する。図１１Ｂにおいて、コンピュータシステム６００は、テキストメッセージユーザインタフェース１１１０の上部にメニュー７３２を表示する。いくつかの実施形態では、フォーカスインジケータがアニメーション画像制御１１１０ａの周りに表示され、アニメーション画像制御１１１０ａがテキストメッセージユーザインタフェース１１１０の下部に表示されるので、コンピュータシステム６００は、テキストメッセージユーザインタフェース１１１０の上部にメニュー７３２を表示する。いくつかの実施形態では、コンピュータシステム６００は、選択された制御（例えば、その周りにフォーカスインジケータを有する制御）がメディアユーザインタフェース１１１０の下部に表示されていないという判定に応じて、メニュー７３２を下部（又はユーザインタフェースの別の領域）に表示する。図１１Ｂにおいて、コンピュータシステム６００は、フォーカスインジケータがデジタルハードウェア動作制御７３２ａの周りに表示されている間に、ダブルクレンチジェスチャ１１５０ｂを検出する。
図１１Ｃに示すように、ダブルクレンチジェスチャ１１５０ｂの検出に応じて、コンピュータシステム６００は、デジタルハードウェア動作モード（例えば、及び／又は自動スクロールモード）で動作し始める。デジタルハードウェア動作モードで動作している間に、コンピュータシステム６００は、あたかも１つ以上の入力（例えば、回転入力、押圧入力、スライド入力）がコンピュータシステム６００の入力機構で受信されたかのように動作を実行する。図１１Ｃのユーザインタフェースを表示した後しばらくして、コンピュータシステム６００は、入力及び／又はハンドジェスチャを検出することなく（例えば、手６２２はニュートラル位置にある）、入力機構６０２ａで検出されている１つ以上の入力と一致する動作を実行する。図１１Ｄに示すように、動作を実行するとき、コンピュータシステム６００は、フォーカスインジケータを、（例えば、入力機構６０２ａ上で入力が検出されることなく）アニメーション画像制御１１１０ａの周囲から言語制御１１１０ｂの周囲に移動させ、これは、入力機構６０２ａで検出されている入力と一致する動作である。図１１Ｄのユーザインタフェースを表示した後しばらくして、コンピュータシステム６００は、入力及び／又はハンドジェスチャを検出することなく（例えば、手６２２はニュートラル位置にある）、入力機構６０２ａで検出されている１つ以上の入力と一致する別の動作を実行する。図１１Ｅに示すように、動作を実行するとき、コンピュータシステム６００は、テキストメッセージユーザインタフェース１１１０をスクロールし、フォーカスインジケータを言語制御１１１０ｂの周りから応答制御１１１０ｃの周りに移動させる。図１１Ｅのユーザインタフェースを表示した後しばらくして、コンピュータシステム６００は、入力及び／又はハンドジェスチャを検出することなく（例えば、手６２２はニュートラル位置にある）、入力機構６０２ａで検出されている１つ以上の入力と一致する別の動作を実行し、コンピュータシステム６００は、テキストメッセージユーザインタフェース１１１０をスクロールし（例えば、新しい制御が表示される）、フォーカスインジケータを応答制御１１１０ｃの周りから応答制御１１１０ｅの周りに移動させる。図１１Ｆにおいて、コンピュータシステム６００は、フォーカスインジケータが応答制御１１１０ｅの周りに表示されている間にピンチジェスチャ１１５０ｆを検出する。図１１Ｇに示すように、ピンチジェスチャ１１５０ｆの検出に応じて、コンピュータシステム６００は、入力機構６０２ａで検出されている１つ以上の入力と一致する動作を自動的に実行することを停止する（例えば、及び／又はスクロールを一時停止する）。いくつかの実施形態では、追加のピンチジェスチャの検出に応じて、コンピュータシステム６００は、入力機構６０２ａで検出されている１つ以上の入力と一致する動作の実行を再開する。
図１１Ｇにおいて、コンピュータシステム６００は、フォーカスインジケータが応答制御１１１０ｅの周りに表示されている間に、クレンチジェスチャ１１５０ｇを検出する。図１１Ｇに示すように、クレンチジェスチャ１１５０ｇの検出に応じて、応答制御１１１０ｅがアクティブ化される。図１１Ｇにおいて、クレンチジェスチャ１１５０ｇの検出に応じて、コンピュータシステム６００は、テキストメッセージ領域１１２０内の応答制御１１１０ｅに対応する応答メッセージ１１２０ｂ（「途中です」）を挿入する。いくつかの実施形態では、コンピュータシステム６００は、１つ以上の外部コンピュータシステムに、テキストメッセージ会話の一部である返信メッセージ１１２０ｂを送信する。
図１２Ａ～図１２Ｊは、いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。これらの図のユーザインタフェースは、図１５～図１６のプロセスを含む後述のプロセスを例示するために使用される。
特に、図１２Ａ～１２Ｊは、コンピュータシステム６００が、１つ以上のハンドジェスチャの検出に応じて、ユーザインタフェースを自動的にスクロールし、異なる動作を実行する例示的なシナリオを示す。いくつかの実施形態では、コンピュータシステム６００は、コンピュータシステムがデジタルハードウェア動作モード（例えば、ハンドジェスチャナビゲーションモード）で動作しているときに、図１２Ａ～図１２Ｊに関連して説明したような１つ以上の技術を使用して、ユーザインタフェースを自動的にスクロールする。いくつかの実施形態では、コンピュータシステム６００は、デジタルハードウェア動作制御７３２ａのアクティブ化に応じて、デジタルハードウェア動作モードで動作し始める。いくつかの実施形態では、コンピュータシステム６００は、コンピュータシステム６００が入力機構上の入力（例えば、回転可能な入力）を検出したことに応じて、実行される動作（単数又は複数）と同様の動作（単数又は複数）でユーザインタフェースを自動的にスクロールし、及び／又は同じ動作を実行する。いくつかの実施形態では、コンピュータシステム６００は、コンピュータシステムが（例えば、１４１２に関連して後述するように）自動スクロールモードで動作しているとき、ユーザインタフェースを自動的にスクロールする。
図１２Ａは、時計文字盤ユーザインタフェース１２１０を表示するコンピュータシステム６００を示す。時計文字盤ユーザインタフェース１２１０は、選択可能な制御１２１０ａ～１２１０ｅを含む。図１２Ａにおいて、コンピュータシステム６００は自動スクロールモードで動作している。図１２Ａ～図１２Ｃに示すように、コンピュータシステム６００は、自動的に（例えば、ニュートラル位置にある手６２２によって示すように）、フォーカスインジケータを選択可能制御１２１０ａ～１２１０ｃの間で（例えば、コンピュータシステム６００が入力を検出することなく）（例えば、第１の速度で）移動させる。図１２Ｃにおいて、コンピュータシステム６００は、フォーカスインジケータが選択可能制御１２１０ｃの周りに表示されている間にピンチジェスチャ１２５０ｃを検出する。図１２Ｄに示すように、ピンチジェスチャ１２５０ｃの検出に応じて、コンピュータシステム６００は、選択可能制御間でフォーカスインジケータを自動的に移動させることを中止し、（例えば、ニュートラル位置にある手６２２によって示すように）選択可能制御１２１０ｃの周りにフォーカスインジケータを表示し続ける。図１２Ｅにおいて、コンピュータシステム６００は、フォーカスインジケータが選択可能制御１２１０ｃの周りに表示されている間にピンチジェスチャ１２５０ｅを検出する。図１２Ｆ～図１２Ｇに示すように、ピンチジェスチャ１２５０ｅの検出に応じて、コンピュータシステム６００は、フォーカスインジケータの移動を再開する（例えば、フォーカスインジケータを選択可能制御１２１０ｄの周りに表示し、次いで選択可能制御１２１０ｅの周りに表示する）。
図１２Ｈにおいて、コンピュータシステム６００は、フォーカスインジケータを左に移動させ、フォーカスインジケータが選択可能制御１２１０ｄの周りに表示され、１２１０ｅの周りに表示されないようにする。図１２Ｈにおいて、１２１０ｅが時計文字盤ユーザインタフェース１２１０上の最後の選択可能制御であると決定されているので、コンピュータシステム６００は、フォーカスインジケータを選択可能制御１２１０ｅから選択可能制御１２１０ｄに移動させる。したがって、図１２Ｈにおいて、コンピュータシステム６００は、時計文字盤ユーザインタフェース１２１０の選択可能ユーザインタフェースオブジェクトの周りのフォーカスインジケータの移動方向を反転させる。いくつかの実施形態では、コンピュータシステム６００は、所定の時間が経過したときに、選択可能制御１２１０ｃの周りにフォーカスインジケータを表示する。図１２Ｈにおいて、コンピュータシステム６００は、ダブルピンチジェスチャ１２５０ｈを検出する。図１２Ｇにおいて、ダブルピンチジェスチャ１２５０ｈの検出に応じて、コンピュータシステム６００は、時計文字盤ユーザインタフェース１２１０の選択可能ユーザインタフェースオブジェクトの周りのフォーカスインジケータの移動方向を反転させる。図１２Ｉに示すように、ダブルピンチジェスチャ１２５０ｈの検出に応じて、コンピュータシステム６００は、（例えば、ダブルピンチジェスチャ１２５０ｈが検出されなかった場合にコンピュータシステム６００がフォーカスインジケータを表示していたであろう選択可能制御１２１０ｃの周りにフォーカスインジケータを表示する代わりに）選択可能制御１２１０ｅの周りにフォーカスインジケータを表示する。図１２Ｉにおいて、コンピュータシステム６００は、フォーカスインジケータが選択可能制御１２１０ｅの周りに表示されている間に、クレンチジェスチャ１２５０ｉを検出する。図１２Ｊに示すように、クレンチジェスチャ１２５０ｊの検出に応じて、コンピュータシステム６００は、選択可能制御１２１０ｅをアクティブ化する。図１２Ｊに示すように、クレンチジェスチャ１２５０ｊの検出に応じて、コンピュータシステム６００は、選択可能制御１２１０ｅに対応するアプリケーションのユーザインタフェースであるカレンダーアプリケーションユーザインタフェース１２２０を表示する。
図１３Ａ～図１３Ｇは、いくつかの実施形態に係る、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための例示的なユーザインタフェースを示す。これらの図のユーザインタフェースは、図１５～図１６のプロセスを含む後述のプロセスを例示するために使用される。
特に、図１３Ａ～１３Ｇは、（例えば、図７Ａ～７ＡＡ、図８Ａ～８Ｊ、図９Ａ～９Ｈ、図１０Ａ～１０Ｆ、図１１Ａ～１１Ｈ、及び図１２Ａ～１２Ｊに関連して上述したような）１つ以上のハンドジェスチャナビゲーションモードを制御するための１つ以上の例示的な設定を示す。図１３Ａは、アクセシビリティ設定制御１３１２ａ、１３１２ｂ、及び１３１２ｃを含む１つ以上の設定を表示するコンピュータシステム６００を示す。いくつかの実施形態では、アクセシビリティ設定制御１３１２ａ上の入力を検出したことに応じて、コンピュータシステム６００は、（例えば、図１３Ｂに示すように）アクセシビリティ設定１３２２ａ～１３２２ｆのうちの１つ以上を表示する。
図１３Ｂに示すように、アクセシビリティ設定１３１２ａ～１３１２ｆは、ハンドジェスチャナビゲーション制御１３２２ｈを含む。いくつかの実施形態では、ハンドジェスチャナビゲーション制御１３２２ｈがオフ（例えば、非アクティブ）であるとき、コンピュータシステム６００は、ハンドジェスチャの検出に応じて動作を実行しない。いくつかの実施形態では、ハンドジェスチャナビゲーション制御１３２２ｈがオン（例えば、アクティブ）であるとき、コンピュータシステム６００は、ハンドジェスチャの検出に応じて動作を実行する。いくつかの実施形態では、ハンドジェスチャナビゲーション制御１３２２ｈに対するジェスチャを検出したことに応じて、コンピュータシステム６００は、図１３Ｃのユーザインタフェースを表示する。
図１３Ｃに示すように、コンピュータシステム６００は、ハンドジェスチャナビゲーション制御１３１４ａ～１３１４ｈを表示する。ハンドジェスチャナビゲーション制御は、メイン設定制御１３１４ａ、ハンドジェスチャ制御１３１４ｂ、移動カーソル制御１３１４ｃ、移動スタイル制御１３１４ｄ、及び１つ以上の外観設定制御１３１４ｅ～１３１４ｇ、ハンドジェスチャ確認制御１３１４ｈを含む。メイン設定制御１３１４ａに対する入力を検出したことに応じて、コンピュータシステム６００は、（例えば、ハンドジェスチャナビゲーション制御１３２２ｈに関連して上述したように）ハンドジェスチャナビゲーションモードをオン／オフする。ハンドジェスチャ制御１３１４ｂに対する入力を検出したことに応じて、コンピュータシステム６００は、ハンドジェスチャ制御１３１４ｂをオン／オフに切り替える。ハンドジェスチャ制御１３１４ｂがオンであるとき、コンピュータシステム６００は、ハンドジェスチャの検出に応じて１つ以上の動作を実行するように構成される。ハンドジェスチャ制御１３１４ｂがオフであるとき、コンピュータシステム６００は、ハンドジェスチャの検出に応じて１つ以上の動作を実行するように構成されない。移動カーソル制御１３１４ｃに対する入力の検出に応じて、コンピュータシステム６００は、移動カーソル制御をオン／オフに切り替える。移動カーソル制御１３１４ｃがオンであるとき、コンピュータシステム６００は、（例えば、図７Ｉ～７Ｕ及び図８Ａ～８Ｊに関連して上述したように）移動カーソルモードで動作するように構成することができる。移動カーソル制御１３１４ｃがオフであるとき、コンピュータシステム６００は、（例えば、シェイクジェスチャに応じて、及び／又は図７Ｎのメニュー７３２の移動カーソル制御７３２ｂ上の入力の検出に応じて）移動カーソルモードで動作するように構成することができない。移動スタイル制御１３１４ｄに対する入力を検出したことに応じて、コンピュータシステム６００は、異なる移動オプション間で移動スタイル制御１３１４ｄを切り替える。異なる移動オプションは、（例えば、表示されたユーザインタフェース上のフォーカスインジケータの）自動移動及び手動移動のうちの１つ以上を含む。１つ以上の外観設定制御１３１４ｅ～１３１４ｇに対する入力を検出したことに応じて、コンピュータシステム６００は、表示される１つ以上のユーザインタフェースオブジェクトの色及び／又は制御など、（例えば、図７Ｎに関連して説明したような）メニュー７３２、（例えば、図７Ａ～７ＡＡに関連して説明したような）カーソル７４２、及び（例えば、図７Ａ～７ＡＡに関連して説明したような）インジケーション７４４の１つ以上の外観を変更する。ハンドジェスチャ確認制御１３１４ｈの検出に対する入力に応じて、コンピュータシステム６００は、ハンドジェスチャ確認制御１３１４ｈをオン／オフに切り替える。ハンドジェスチャ確認制御１３１４ｈがオンであるとき、コンピュータシステム６００は、１つ以上のハンドジェスチャの検出に応じて、１つ以上の動作（例えば、支払取引）を確認するように構成される。ハンドジェスチャ確認制御１３１４ｈがオフであるとき、コンピュータシステム６００は、１つ以上のハンドジェスチャの検出に応じて１つ以上の動作を確認するように構成されない。
図１３Ｄに示すように、コンピュータシステム６００は、特定のハンドジェスチャの検出に応じてコンピュータシステム６００が実行する１つ以上の動作を変更するための１つ以上の設定制御（例えば、設定制御１３１６ａ～１３１３ｅ）を表示する。いくつかの実施形態では、学習制御１３１６ｅに対する１つ以上のジェスチャの検出に応じて、コンピュータシステム６００は、図１３Ｅのユーザインタフェースを表示する。
図１３Ｅに示すように、コンピュータシステム６００は、ユーザインタフェース１３１８を表示する。ユーザインタフェース１３１８は、ユーザが１つ以上のジェスチャをどのように行うことができるかを示す１つ以上の命令（例えば、グラフィカル表現を伴う）を含むことができる。いくつかの実施形態では、図１３Ｃにおいて、コンピュータシステム６００は、移動カーソル制御１３１４ｃに対するジェスチャを検出したことに応じて、図１３Ｆのユーザインタフェースを表示する。いくつかの実施形態では、ユーザインタフェース１３１８を表示している間に、コンピュータシステム６００は、学習モードセッション中にユーザがジェスチャを正しく及び／又は誤って実行したかどうかに関するフィードバックを提供する。
図１３Ｆに示すように、コンピュータシステム１３００は、感度（例えば、１３２２ｂ）（例えば、コンピュータシステム６００の動き（例えば、傾き）の検出に応じて移動カーソルがどのように及び／又はどれだけ移動するか）、アクティブ時間（例えば、１３２２ｃ）（例えば、動作を実行するために移動カーソルがユーザインタフェースオブジェクト上に位置しなければならない所定の時間量及び／又はインジケーション（例えば、図７Ｎのインジケーション７４４）が表す時間量）、移動許容範囲（例えば、１３２２ｄ）（例えば、移動カーソルがユーザインタフェースオブジェクトに対応する位置から移動した後に、インジケーション７４４がリセットされる及び／又はアニメーションの表示が停止される前に、動作が実行されなければならない時間量）、及び滞留制御（例えば、１３２２ｅ）（例えば、動作を実行するために及び／又はコンピュータシステムが１つ以上のシェイク入力を介して移動カーソルモードで動作を開始できるかどうかのために移動ユーザがユーザインタフェースオブジェクト上に位置しなければならない所定の時間量）などの移動カーソルモードの１つ以上の態様を制御するための１つ以上の制御を表示する。図１３Ｇにおいて、コンピュータシステム６００は、移動カーソルの色（例えば、１３２４ａ～１３２４ｃ）を変更するための１つ以上の設定を表示する。
図１４は、（例えば、図７Ｎに関連して上述したように）メニュー７３２上に表示することができる複数のメニュー制御を示す。メニュー７３２は、図１４に関連して説明した制御の階層などの制御の階層を含むことができる。いくつかの実施形態では、相互作用制御１４１０に対する入力の検出に応じて、コンピュータシステム６００は、（例えば、８３２ａに関連して上述したような）タップ制御ジェスチャ１４１０ａ、（例えば、移動カーソル制御７３２ｂに関連して上述したような）移動カーソル制御１４１０ｂ、（例えば、デジタルハードウェア動作７３２ａに関連して上述したような）デジタルハードウェア動作制御１４１０のうちの１つ以上を表示する。いくつかの実施形態では、システム制御１４１４に対する入力の検出に応じて、コンピュータシステム６００は、アイコングリッド１４１４ａ（例えば、アクティブ化されると、複数のアプリケーションアイコンを含むグリッドを表示する）、制御センター１４１４ｂ（例えば、アクティブ化されると、Ｗｉ－Ｆｉ設定を切り替えるためのＷｉ－Ｆｉ制御、Ｂｌｕｅｔｏｏｔｈ設定を切り替えるためのＢｌｕｅｔｏｏｔｈ制御、音出力を切り替えるためのミュート制御などの１つ以上のデバイス制御を表示する）、設定１４１４ｃ（例えば、アクティブ化されると、図１３Ａ～図１３Ｇに関連して上述したように構成されたコンピュータシステムの１つ以上の設定を表示する）、及びドック制御１４１４ｄ（例えば、アクティブ化されると、１つ以上のアプリケーション（例えば、開いているアプリケーション及び／又はバックグラウンドで実行されているアプリケーション）にナビゲートするための１つ以上の制御を表示する）のうちの１つ以上を表示する。いくつかの実施形態では、追加オプション制御１４１６（例えば、７３２ｄ）に対する入力を検出したことに応じて、コンピュータシステム６００は、ウォレット制御１４１６ａ（例えば、アクティブ化されると、コンピュータシステム６００に、支払取引を開始するための１つ以上のユーザインタフェースオブジェクトを表示させる）、サイドボタン１４１６ｂ（例えば、アクティブ化されると、コンピュータシステム６００に、コンピュータシステム６００をオフにするなど、入力機構６０２ｂが押下されることと一致する１つ以上の動作を実行させる）、及びジェスチャモード１４１６ｃ（例えば、アクティブ化されると、コンピュータシステム６０にジェスチャモードで動作を開始させる）を表示する。いくつかの実施形態では、自動スクロール制御１４１２に対する入力を検出したことに応じて、コンピュータシステム６００は、（例えば、図１１Ａ～１１Ｈ及び図１２Ａ～１２Ｊに関連して上述したように）自動スクロールモードで動作し始める。いくつかの実施形態では、終了制御１４１８に対する入力を検出したことに応じて、コンピュータシステム６００は、図７Ｎに関連して上述したように）メニュー７３２の表示を停止する。いくつかの実施形態では、メニュー７３２は、図１４に示されていない１つ以上の制御を含む。いくつかの実施形態では、メニュー７３２の制御は、図１４に記載されるものとは異なる階層にある。
図１５は、いくつかの実施形態に係る、コンピュータシステムを使用する方法１５００を示すフロー図である。方法１５００は、表示生成構成要素（例えば、ディスプレイコントローラ、タッチ感知ディスプレイシステム）及び光学センサ（例えば、聴力速度センサ）と通信するコンピュータシステム（例えば、１００、３００、５００）（例えば、ウェアラブルデバイス（例えば、スマートウォッチ））において実行される。いくつかの実施形態では、コンピュータシステムは、１つ以上のセンサ（例えば、１つ以上のバイオメトリックセンサ（例えば、光学センサ（例えば、心拍数センサ）、カメラ）、ジャイロスコープ、加速度計））と通信する。いくつかの実施形態では、コンピュータシステムは、１つ以上の入力デバイス（例えば、タッチ感知面、マイクロフォン）と通信する。いくつかの実施形態では、コンピュータシステムは、１つ以上の出力デバイス（例えば、１つ以上のスピーカ、１つ以上のマイクロフォン）と通信する。方法１５００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述するように、方法１５００は、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための直感的な方法を提供する。本方法は、ハンドジェスチャを使用してユーザインタフェースをナビゲートする際のユーザの認識的負担を軽減し、それにより、より効率的なヒューマン－マシンインタフェースを作り出す。バッテリ動作式コンピューティングデバイスの場合、ユーザがより高速且つ効率的にユーザインタフェースをナビゲートすることが可能になることにより、電力が節約され、バッテリ充電の間隔が長くなる。
コンピュータシステムは、表示生成構成要素を介して、第１のユーザインタフェースオブジェクト（例えば、７１２ａ～７１２ｂ、９１０ａ～９１０ｈ、又は１０１０ａ～１０１０ｄ）と、第２のユーザインタフェースオブジェクト（例えば、７１２ａ～７１２ｂ、９１０ａ～９１０ｈ、又は１０１０ａ～１０１０ｄ）と、第３のユーザインタフェースオブジェクト（例えば、７１２ａ～７１２ｂ、９１０ａ～９１０ｈ、又は１０１０ａ～１０１０ｄ）と、（例えば、第２のユーザインタフェースオブジェクト及び第３のユーザインタフェースオブジェクトが選択されたことを示すことなく）、第１のユーザインタフェースオブジェクト（例えば、７１２ａ～７１２ｂ、９１０ａ～９１０ｈ、又は１０１０ａ～１０１０ｄ）が選択されているというインジケーション（例えば、視覚インジケーション（例えば（例えば、その境界を）強調表示する、テキスト表示する、拡大する）（例えば、７１２ａ～７１２ｂ、９１０ａ～９１０ｈ、又は１０１０ａ～１０１０ｄの周囲にあるものとして説明されるフォーカスインジケータ）とを含むユーザインタフェースを表示する（１５０２）。いくつかの実施形態では、第１のユーザインタフェースオブジェクト、第２のユーザインタフェースオブジェクト、及び第３のユーザインタフェースオブジェクトは、互いに異なる。いくつかの実施形態では、第１のユーザインタフェースオブジェクトは、第２のユーザインタフェースオブジェクトと第３のユーザインタフェースオブジェクトとの間に表示される。いくつかの実施形態では、第１のユーザインタフェースオブジェクト、第２のユーザインタフェースオブジェクト、及び第３のユーザインタフェースオブジェクトは、異なるユーザインタフェースオブジェクトである。
いくつかの実施形態では、第１のユーザインタフェースオブジェクト（例えば、７１２ａ～７１２ｂ、９１０ａ～９１０ｈ、又は１０１０ａ～１０１０ｄ）（例えば、コンピュータシステムが第１の動作モード（例えば、第１のアクセシビリティモード）にある間））、第２のユーザインタフェースオブジェクト（例えば、７１２ａ～７１２ｂ、９１０ａ～９１０ｈ、又は１０１０ａ～１０１０ｄ）、第３のユーザインタフェースオブジェクト（例えば、７１２ａ～７１２ｂ、９１０ａ～９１０ｈ、又は１０１０ａ～１０１０ｄ）、及び第１のユーザインタフェースオブジェクトが選択されたことのインジケーション（例えば、７１２ａ～７１２ｂ、９１０ａ～９１０ｈ、又は１０１０ａ～１０１０ｄ付近にあるものと説明されるフォーカスインジケータ）を含むユーザインタフェースを表示している間に、コンピュータシステムは、少なくとも光学センサ（例えば、及び／又はジャイロスコープ、加速度計などの１つ以上の他のセンサ）を介して（例えば、使用して）、ハンドジェスチャ（例えば、７５０ｅ、７５０ｆ、７５０ｉ、７５０ｌ、７５０ｍ、７５０ｎ、９５０ａ、９５０ｂ、９５０ｃ、９５０ｅ、９５０ｆ、９５０ｇ、１０５０ｂ、１０５０ｃ、１０５０ｄ、又は１０５０ｅ）（例えば、第１のハンドジェスチャ）、（例えば、デバイスと接触しない（例えば、ユーザインタフェース上のオブジェクト及び／又はデバイスと通信する任意のデバイスに向けられない））、（例えば、デバイスの１つ以上のカメラによって検出されないハンドジェスチャ）（例えば、ユーザの手首が単一の位置に位置している及び／又は移動していない間に発生するハンドジェスチャ、コンピュータシステムが手首（例えば、ユーザの手首）に装着されている間に検出されるハンドジェスチャを検出する（１５０４）。
いくつかの実施形態では、少なくとも前記光学センサを介して、ハンドジェスチャ（例えば、７５０ｅ、７５０ｆ、７５０ｉ、７５０ｌ、７５０ｍ、７５０ｎ、９５０ａ、９５０ｂ、９５０ｃ、９５０ｅ、９５０ｆ、９５０ｇ、１０５０ｂ、１０５０ｃ、１０５０ｄ、又は１０５０ｅ）（及び第１のユーザインタフェースオブジェクト、第２のユーザインタフェースオブジェクト、第３のユーザインタフェースオブジェクトを含むユーザインタフェースを表示している間）（例えば、コンピュータシステムが第１の動作モードで動作している間）及びハンドジェスチャ（例えば、７５０ｅ、７５０ｆ、７５０ｉ、７５０ｌ、７５０ｍ、７５０ｎ、９５０ａ、９５０ｂ、９５０ｃ、９５０ｅ、９５０ｆ、９５０ｇ、１０５０ｂ、１０５０ｃ、１０５０ｄ、又は１０５０ｅ）が第１のタイプのジェスチャ（例えば、６１０、６２０、６３０、６４０、６５０）であるという判定に従って（例えば、ハンドジェスチャのタイプ）（例えば、フィンガータップ／ピンチジェスチャ（例えば、２本以上の指が互いに触れるジェスチャ）（及びいくつかの実施形態では、第１のタイプのジェスチャは、非フィンガータップ／ピンチジェスチャ（例えば、クレンチジェスチャ（例えば、拳を握るジェスチャ）、複数のクレンチジェスチャ（例えば、複数のクレンチジェスチャを含むジェスチャ）、指を広げるジェスチャ（例えば、１本以上の指が手の一部に触れないジェスチャ）、複数の指を広げるジェスチャ（例えば、複数の広げるジェスチャを含むジェスチャ）、及び／又はそれらの任意の組み合わせ）に応じて（１５０６）、コンピュータシステムは、表示生成構成要素を介して、第２のユーザインタフェースオブジェクト（例えば、７１２ａ～７１２ｂ、９１０ａ～９１０ｈ、又は１０１０ａ～１０１０ｄ）が選択されているというインジケーション（例えば、７１２ａ～７１２ｂ、９１０ａ～９１０ｈ、又は１０１０ａ～１０１０ｄの周囲にあるものとして説明されるフォーカスインジケータ）（例えば、視覚インジケーション（例えば、（例えば、その境界を）強調表示する、テキスト表示する、拡大する）（例えば、選択された新しいユーザインタフェースオブジェクト）を表示する（１５０８）（例えば、第１のユーザインタフェースオブジェクトが選択されたことを示すインジケーションを停止する及び／又は第３のユーザインタフェースオブジェクトが選択されたというインジケーションを表示することなく）（例えば、第１のユーザインタフェースオブジェクト及び第３のユーザインタフェースオブジェクトが選択されたことを示すことなく）。いくつかの実施形態では、第２のユーザインタフェースオブジェクトが以前に表示されなかったというインジケーションは、第１のユーザインタフェースオブジェクトが表示されたという第１のインジケーションの前に行われる。いくつかの実施形態では、ハンドジェスチャが第１のタイプのジェスチャであるという判定に従って、コンピュータシステムは、第１のユーザインタフェースオブジェクト（例えば、第１のユーザインタフェースオブジェクトが選択されているというインジケーション）から（例えば、第１のユーザインタフェースオブジェクトの周囲、隣（例えば、上に、下に、隣に）表示されていることから）、第２のユーザインタフェースオブジェクト（例えば、第２のユーザインタフェースオブジェクトが選択されているというインジケーション）に（例えば、第２のユーザインタフェースオブジェクトの周囲、隣（例えば、上に、下に、隣に）表示されていることに）インジケーションを移動させる。
いくつかの実施形態では、少なくとも前記光学センサを介して、ハンドジェスチャ（例えば、７５０ｅ、７５０ｆ、７５０ｉ、７５０ｌ、７５０ｍ、７５０ｎ、９５０ａ、９５０ｂ、９５０ｃ、９５０ｅ、９５０ｆ、９５０ｇ、１０５０ｂ、１０５０ｃ、１０５０ｄ、又は１０５０ｅ）（及び第１のユーザインタフェースオブジェクト、第２のユーザインタフェースオブジェクト、第３のユーザインタフェースオブジェクトを含むユーザインタフェースを表示している間）（例えば、コンピュータシステムが第１の動作モードで動作している間）及びハンドジェスチャ（例えば、７５０ｅ、７５０ｆ、７５０ｉ、７５０ｌ、７５０ｍ、７５０ｎ、９５０ａ、９５０ｂ、９５０ｃ、９５０ｅ、９５０ｆ、９５０ｇ、１０５０ｂ、１０５０ｃ、１０５０ｄ、又は１０５０ｅ）が第１のタイプのジェスチャとは異なる第２のタイプのジェスチャ（例えば、６１０、６２０、６３０、６４０、６５０）であるという判定に従って（例えば、ハンドジェスチャのタイプ）（例えば、マルチフィンガータップ／ピンチジェスチャ（例えば、２本以上の指が互いに複数回触れるジェスチャ）（及びいくつかの実施形態では、第１のタイプのジェスチャは、非フィンガータップ／ピンチジェスチャ（例えば、クレンチジェスチャ（例えば、拳を握るジェスチャ）、複数のクレンチジェスチャ（例えば、複数のクレンチジェスチャを含むジェスチャ）、指を広げるジェスチャ（例えば、１本以上の指が手の一部に触れないジェスチャ）、複数の指を広げるジェスチャ（例えば、複数の広げるジェスチャを含むジェスチャ）、及び／又はそれらの任意の組み合わせ）に応じて（１５０６）、コンピュータシステムは、表示生成構成要素を介して、第３のユーザインタフェースオブジェクト（例えば、７１２ａ～７１２ｂ、９１０ａ～９１０ｈ、又は１０１０ａ～１０１０ｄ）が選択されているというインジケーション（例えば、７１２ａ～７１２ｂ、９１０ａ～９１０ｈ、又は１０１０ａ～１０１０ｄの周囲にあるものとして説明されるフォーカスインジケータ）（例えば、視覚インジケーション（例えば、（例えば、その境界を）強調表示する、テキスト表示する、拡大する）（例えば、選択された以前のユーザインタフェースオブジェクト）を表示する（１５１０）（例えば、第１のユーザインタフェースオブジェクト及び第２のユーザインタフェースオブジェクトが選択されたことを示すことなく）（例えば、第１のユーザインタフェースオブジェクトが選択されたというインジケーションの表示を停止する及び／又は第２のユーザインタフェースオブジェクトが選択されたというインジケーションを表示することなく）。いくつかの実施形態では、第３のユーザインタフェースオブジェクトが以前に表示されたというインジケーションは、第１のユーザインタフェースオブジェクトが表示されたという第１のインジケーションの前に行われる。いくつかの実施形態では、ハンドジェスチャが第２のタイプのジェスチャであるという判定に従って、コンピュータシステムは、第１のユーザインタフェースオブジェクト（例えば、第１のユーザインタフェースオブジェクトが選択されているというインジケーション）から（例えば、第１のユーザインタフェースオブジェクトの周囲、隣（例えば、上に、下に、隣に）表示されていることから）、第３のユーザインタフェースオブジェクト（例えば、第２のユーザインタフェースオブジェクトが選択されているというインジケーション）に（例えば、第３のユーザインタフェースオブジェクトの周囲、隣（例えば、上に、下に、隣に）表示されていることに）、インジケーションを移動させる。いくつかの実施形態では、第１のユーザインタフェースオブジェクトが選択されているというインジケーション、第２のユーザインタフェースオブジェクトが選択されているというインジケーション、及び／又は第３のユーザインタフェースオブジェクトが選択されているというインジケーションのうちの少なくとも２つは、異なるサイズである。検出されたハンドジェスチャのタイプに基づいて、第２のユーザインタフェースオブジェクトが選択されているというインジケーションを表示するか、第３のユーザインタフェースオブジェクトが選択されているというインジケーションを表示するかを選択することは、ユーザにシステムのより多くの制御を提供し、ユーザがコンピュータシステムに触れることなくユーザインタフェースをナビゲートするのを助け、これは、一部のユーザにとってユーザインタフェースのより効率的な制御につながり得る。
いくつかの実施形態ではハンドジェスチャ（例えば、７５０ｅ、７５０ｆ、７５０ｉ、７５０ｌ、７５０ｍ、７５０ｎ、９５０ａ、９５０ｂ、９５０ｃ、９５０ｅ、９５０ｆ、９５０ｇ、１０５０ｂ、１０５０ｃ、１０５０ｄ、又は１０５０ｅ）は、光学センサを介して検出されたデータを使用して決定される心拍数データに基づいて検出される。いくつかの実施形態では第２のタイプのジェスチャ（例えば、６３０又は６５０）は、第１のタイプのジェスチャ（例えば、６２０又は６４０）の複数のインスタンス例えば、複数の指タップ／ピンチ、複数の指を広げるジェスチャ、及び／又は複数のクレンチジェスチャ）であるタイプのジェスチャである。いくつかの実施形態では、第２のタイプのジェスチャは、第１のタイプのジェスチャの少なくとも１つのインスタンスを含む。第２のタイプのジェスチャが、第１のタイプのジェスチャの複数のインスタンスであるタイプのジェスチャである場合に、検出されたハンドジェスチャのタイプに基づいて、第２のユーザインタフェースオブジェクトが選択されているというインジケーションを表示するか、又は第３のユーザインタフェースオブジェクトが選択されているというインジケーションを表示するかを選択することは、ユーザにシステムのより多くの制御を提供し、ユーザが、コンピュータシステムに触れることなく、類似のハンドジェスチャ（例えば、一方のハンドジェスチャが他方のハンドジェスチャを含む場合）を使用して、類似のアクションを異なるように実行する（例えば、右へのオブジェクトの選択対左へのオブジェクトの選択）ようにユーザインタフェースをナビゲートするのを助け、これは、一部のユーザにとってユーザインタフェースのより効率的な制御につながり得る。
いくつかの実施形態では少なくとも光学センサを介してハンドジェスチャ（例えば、７５０ｅ、７５０ｆ、７５０ｉ、７５０ｌ、７５０ｍ、７５０ｎ、９５０ａ、９５０ｂ、９５０ｃ、９５０ｅ、９５０ｆ、９５０ｇ、１０５０ｂ、１０５０ｃ、１０５０ｄ、又は１０５０ｅ）を検出したことに応じて、且つハンドジェスチャが第１のタイプのジェスチャ及び第２のタイプのジェスチャとは異なる第３のタイプのジェスチャ（例えば、６２０、６３０、６４０、又は６５０）（例えば、ハンドジェスチャのタイプ）であるという判定に従って、コンピュータシステムは、（例えば、表示生成構成要素を介して）第１のユーザインタフェースオブジェクトの選択に対応する動作（例えば、アクション）を実行する（例えば、再生／一時停止ボタンの選択、メニュー上での対話の選択、キャンセルボタンの選択、着信電話呼に対する応答／拒否ボタンの選択）（例えば、１つ以上の選択可能オプションを含むメニューを表示することなく）。いくつかの実施形態では、少なくとも光学センサを介してハンドジェスチャ（例えば、７５０ｅ、７５０ｆ、７５０ｉ、７５０ｌ、７５０ｍ、７５０ｎ、９５０ａ、９５０ｂ、９５０ｃ、９５０ｅ、９５０ｆ、９５０ｇ、１０５０ｂ、１０５０ｃ、１０５０ｄ、又は１０５０ｅ）を検出したことに応じて、且つハンドジェスチャが第１のタイプのジェスチャ、第２のタイプのジェスチャ、及び第３のタイプのジェスチャとは異なる第４のタイプのジェスチャ（例えば、６２０、６３０、６４０、又は６５０）（例えば、ハンドジェスチャのタイプ）であるという判定に従って、コンピュータシステムは、表示生成構成要素を介して、１つ以上の選択可能オプション（例えば、方法１６００に関連して以下に説明されるようなもの）を含むメニューを（例えば、第１のユーザインタフェースオブジェクトの選択に対応するオプションを実行せずに）表示する。検出されたハンドジェスチャのタイプに基づいて、第１のユーザインタフェースオブジェクトの選択に対応する動作を実行するか、又は１つ以上の選択可能オプションを含むメニューを表示するかを選択することは、ユーザにシステムのより多くの制御を提供し、ユーザがコンピュータシステムに触れることなくユーザインタフェースをナビゲートするのを助け、これは、一部のユーザにとってユーザインタフェースのより効率的な制御につながり得る。
いくつかの実施形態では、ハンドジェスチャ（例えば、７５０ｅ、７５０ｆ、７５０ｉ、７５０ｌ、７５０ｍ、７５０ｎ、９５０ａ、９５０ｂ、９５０ｃ、９５０ｅ、９５０ｆ、９５０ｇ、１０５０ｂ、１０５０ｃ、１０５０ｄ、又は１０５０ｅ）を検出する前に、コンピュータシステム（例えば、６００）は、第１の動作モード例えば、コンピュータシステムが、第１のタイプ、第２のタイプ、第３のタイプ、及び／又は第４のタイプのジェスチャのうちの１つ以上を検出したことに応じて、上述した動作（すなわち、動作）を実行する動作モード）（例えば、図７Ａ～図７Ｉに関連して上述したように）にある。いくつかの実施形態では、第１のユーザインタフェースオブジェクト（例えば、１４１２又は７３６ａ）の選択に対応する動作（例えば、図１１Ａ～図１１Ｈ及び図１２Ａ～図１２Ｊに関連して上述したような）を実行することの一部として、コンピュータシステムは、コンピュータシステムを（例えば、６００）第１の動作モードから第２の動作モード（例えば、図７Ｉ～図７Ｕに関連して上述したような）に遷移させる（例えば、カーソルがディスプレイを横切って自動的に移動するモード、ユーザインタフェースがある方向（例えば、上、下、右、左、斜め）に自動的にスクロールされるモード、第１のタイプ、第２のタイプ、第３のタイプ、及び／又は第４のタイプのジェスチャのうちの１つ以上の検出が、コンピュータシステムに、コンピュータシステムが第１の動作モードで動作しているときに実行する動作とは異なる動作を実行させるモードなど）。
いくつかの実施形態では、コンピュータシステム（例えば、６００）が第２の動作モードにある間に、コンピュータシステムは、少なくとも光学センサを介して、第２のハンドジェスチャ（例えば、７５０ｅ、７５０ｆ、７５０ｉ、７５０ｌ、７５０ｍ、７５０ｎ、９５０ａ、９５０ｂ、９５０ｃ、９５０ｅ、９５０ｆ、９５０ｇ、１０５０ｂ、１０５０ｃ、１０５０ｄ、又は１０５０ｅ）を検出する。いくつかの実施形態では、少なくとも光学センサを介して第２のハンドジェスチャを検出したことに応じて（例えば、コンピュータシステムが第２の動作モードにあり、第１の動作モードにない間）、第２のハンドジェスチャがジェスチャの第１のタイプ（例えば、６２０、６３０、６４０、又は６５０）であると決定したことに従って、コンピュータシステムは、第１の自動スクロール動作のアクティブ状態（例えば、再開状態）と非アクティブ状態（例えば、一時停止状態）とを切り替える（例えば、図１２Ｃ～図１２Ｅに関連して上述したように）（例えば、自動スクロール動作の方向を反転させることなく）（例えば、１つ以上のユーザインタフェースオブジェクトが自動的に（例えば、ユーザ入力なしに）順番に選択される動作）（例えば、自動スクロール動作のアクティブ状態と非アクティブ状態とを切り替えることは、第２のユーザインタフェースオブジェクトが選択されているというインジケーションを表示することとは異なる動作である）。いくつかの実施形態では、ハンドジェスチャが第１のタイプのジェスチャであるという判定に従って、且つスクロール動作が非アクティブ状態（例えば、一時停止状態、スクロール一時停止状態、スクロールオフ状態）であるという判定に従って、コンピュータシステムは、自動スクロール動作を非アクティブ状態からアクティブ状態に遷移させる（例えば、スクロール動作を再開する）。いくつかの実施形態では、ハンドジェスチャが第２のタイプのジェスチャであるという判定に従って、且つスクロール動作がアクティブ状態（例えば、スクロールオン状態、再開状態）にあるという判定に従って、コンピュータシステムは、自動スクロール動作をアクティブ状態から非アクティブ状態に遷移させる（例えば、スクロール動作を一時停止させる）。いくつかの実施形態では、自動スクロール動作がアクティブであるという判定に従って、コンピュータシステムは、自動スクロール動作がアクティブであることを示す通知を表示する。いくつかの実施形態では、自動スクロール動作が非アクティブであるという判定に従って、コンピュータシステムは、自動スクロール動作が非アクティブであることを示す通知を表示し、及び／又は自動スクロール動作がアクティブであることを示す通知の表示を停止する。いくつかの実施形態では、少なくとも光学センサを介して第２のハンドジェスチャを検出したことに応じて（例えば、コンピュータシステムが第２の動作モードにあり、第１の動作モードにない間）、第２のハンドジェスチャが第２のタイプのジェスチャであるという判定に従って、コンピュータシステムは、第１の自動スクロール動作の第１の方向を反転させる（例えば、自動スクロール動作のアクティブ状態と非アクティブ状態とを切り替えることなく）（例えば、自動スクロール動作の第１の方向を反転させることは、第３のユーザインタフェースオブジェクトが選択されているというインジケーションを表示することとは異なる動作ある）。いくつかの実施形態では、自動スクロール動作の方向を反転させることの一部として、コンピュータシステムは、ユーザインタフェースが以前に選択された順序とは逆の順序でユーザインタフェースオブジェクトを選択し、及び／又はある方向にスクロールしているインタフェースを反転させる。検出されたハンドジェスチャのタイプに基づいて、第１の自動スクロール動作のアクティブ状態と非アクティブ状態とを切り替えるか、又は自動スクロール動作の第１の方向を反転させるかを選択することは、ユーザにシステムのより多くの制御を提供し、ユーザがコンピュータシステムに触れることなくユーザインタフェースをナビゲートするのを助け、これは、一部のユーザにとってユーザインタフェースのより効率的な制御につながり得る。
いくつかの実施形態では、少なくとも光学センサを介して、第２のハンドジェスチャ（例えば、７５０ｅ、７５０ｆ、７５０ｉ、７５０ｌ、７５０ｍ、７５０ｎ、９５０ａ、９５０ｂ、９５０ｃ、９５０ｅ、９５０ｆ、９５０ｇ、１０５０ｂ、１０５０ｃ、１０５０ｄ、又は１０５０ｅ）を検出したことに応じて、第２のハンドジェスチャが第３のタイプのジェスチャ（例えば、６１０、６２０、６３０、６４０、又は６５０）であるという判定に従って、コンピュータシステムは、第２の動作例えば、自動スクロール動作の速度を変更すること）を実行する。第２のハンドジェスチャが第４のタイプのジェスチャ（例えば、６１０、６２０、６３０、６４０、又は６５０）であるという判定に従って、コンピュータシステムは、第２の動作とは異なる第３の動作を実行する（例えば、第２のハンドジェスチャが検出されたときにスクロール動作によって強調表示されたユーザインタフェースオブジェクトの現在位置にあるユーザインタフェースを選択し、自動スクロールモードを終了する）。検出されたハンドジェスチャのタイプに基づいて第１の動作を実行するか第２の動作を実行するかを選択することは、ユーザにシステムのより多くの制御を提供し、ユーザがコンピュータシステムに触れることなくユーザインタフェースをナビゲートするのを助け、これは、一部のユーザにとってユーザインタフェースのより効率的な制御につながり得る。
いくつかの実施形態では、コンピュータシステム（例えば、６００）が第２の動作モードにある間に、コンピュータシステムは、（例えば、図１２Ｇ～１２Ｈに関連して上述したように）複数のインタフェースオブジェクトのシーケンスを第２の方向にスクロールする第２の自動スクロール動作を実行する。いくつかの実施形態では、第２の自動スクロール動作を実行している間に、コンピュータシステムは、複数のユーザインタフェースオブジェクトのシーケンスの終了を検出する（例えば、スクロール位置がシーケンス内の最後のユーザインタフェースオブジェクトにあるか又はその近くにあることを検出する、及び／又はユーザインタフェースの境界を検出する）（図１２Ｇ～図１２Ｈに関連して上述したように）。いくつかの実施形態では、複数のユーザインタフェースオブジェクトのシーケンスの終了を検出したことに応じて、コンピュータシステムは、第２の方向とは異なる（例えば、反対の）第３の方向に複数のインタフェースオブジェクトのシーケンスをスクロールする第３の自動スクロール動作を実行する（例えば、図１２Ｇ～図１２Ｈに関連して上述したように）。複数のユーザインタフェースオブジェクトのシーケンスの終了を検出したことに応じて、第２の方向とは異なる第３の方向に複数のインタフェースオブジェクトのシーケンスをスクロールする第３の自動スクロール動作を自動的に実行することにより、コンピュータシステムは、自動ナビゲーションがユーザインタフェース上のユーザインタフェースオブジェクトを循環したときに、ユーザが追加の入力を提供して自動ナビゲーションを再開／リセットすることなく、ユーザインタフェースを自動的にナビゲートする方法をユーザに提供することができる。
いくつかの実施形態では、少なくとも光学センサを介して、第２のハンドジェスチャ（例えば、７５０ｅ、７５０ｆ、７５０ｉ、７５０ｌ、７５０ｍ、７５０ｎ、９５０ａ、９５０ｂ、９５０ｃ、９５０ｅ、９５０ｆ、９５０ｇ、１０５０ｂ、１０５０ｃ、１０５０ｄ、又は１０５０ｅ）を検出したことに応じて、及び第２のハンドジェスチャが第４のタイプのジェスチャ（例えば、６１０、６２０、６３０、６４０、又は６５０）であるという判定に従って、コンピュータシステムは、コンピュータシステムを第２の動作モードから第３の動作モードに遷移させる（及び／又は第２の動作モードを終了／出る）。いくつかの実施形態では、第３の動作モードは第１の動作モードである。第２のハンドジェスチャが第４のタイプのジェスチャであるという判定に従ってコンピュータシステムを第２の動作モードから第３の動作モードに遷移させることは、ユーザにシステムのより多くの制御を提供し、ユーザがコンピュータシステムに触れることなくユーザインタフェースをナビゲートするのを助け、これは、一部のユーザにとってユーザインタフェースのより効率的な制御につながり得る。
いくつかの実施形態では、第２のハンドジェスチャ（例えば、７５０ｅ、７５０ｆ、７５０ｉ、７５０ｌ、７５０ｍ、７５０ｎ、９５０ａ、９５０ｂ、９５０ｃ、９５０ｅ、９５０ｆ、９５０ｇ、１０５０ｂ、１０５０ｃ、１０５０ｄ、又は１０５０ｅ）が第１のタイプのジェスチャ（例えば、６１０、６２０、６３０、６４０、又は６５０）であるという判定に従って、コンピュータシステムは、自動スクロール動作の状態（例えば、スクロールが一時停止している、スクロールを中止している）を示す通知（例えば、７１６）を表示する。第２のハンドジェスチャが第１のタイプのジェスチャであるという判定に従って自動スクロール動作の状態を示す通知を表示することは、検出されているハンドジェスチャに応じて動作が実行されたという視覚的フィードバックをユーザに提供し、これは、コンピュータシステムに不必要な動作及び／又は意図しない動作を実行させ得る複数のジェスチャをユーザが誤って実行することを防止することができる。
いくつかの実施形態では、第３のタイプのジェスチャ（例えば、６１０、６２０、６３０、６４０、又は６５０）は、第４のタイプのジェスチャ（例えば、６１０、６２０、６３０、６４０、又は６５０）の複数のインスタンス（例えば、複数の指タップ／ピンチ、複数の指を広げるジェスチャ、及び／又は複数のクレンチジェスチャ）であるタイプのジェスチャである。いくつかの実施形態では、第３のタイプのジェスチャは、第４のタイプのジェスチャの少なくとも１つのインスタンスを含む。いくつかの実施形態では、第４のタイプのジェスチャ（例えば、６１０、６２０、６３０、６４０、又は６５０）は、第１のタイプのジェスチャ（例えば、６１０、６２０、６３０、６４０、又は６５０）（及び／又は第２のタイプのジェスチャ）の複数のインスタンスを含まず、第３のタイプのジェスチャ（例えば、６１０、６２０、６３０、６４０、又は６５０）は、第２のタイプのジェスチャ（例えば、６１０、６２０、６３０、６４０、又は６５０）（及び／又は第１のタイプのジェスチャ）（例えば、図６に関連して上述したように）の複数のインスタンスを含まない。いくつかの実施形態では、第４のタイプのジェスチャは、第１のタイプのジェスチャ及び／又は第２のタイプのジェスチャを含まない。いくつかの実施形態では、第３のタイプのジェスチャは、第１のタイプのジェスチャ及び／又は第２のタイプのジェスチャを含まない。
いくつかの実施形態では、少なくとも光学センサを介して、第２のハンドジェスチャ（例えば、７５０ｅ、７５０ｆ、７５０ｉ、７５０ｌ、７５０ｍ、７５０ｎ、９５０ａ、９５０ｂ、９５０ｃ、９５０ｅ、９５０ｆ、９５０ｇ、１０５０ｂ、１０５０ｃ、１０５０ｄ、又は１０５０ｅ）を検出したことに応じて、及び通知（例えば、電話呼、電子メール、テキストメッセージ、ボイスメールメッセージに対応する通知）が閾値期間内に受信されたという判定に従って、及び第２のハンドジェスチャが第４のタイプのジェスチャであるという判定に従って、コンピュータシステムは、通知に関連するアクション（例えば、電話呼に応答する、通知に対応するテキストメッセージ及び／又は電子メールに応答する／開く、ボイスメールメッセージを再生する）（例えば、図７Ｈに関連して上述したように）を実行する。通知が閾値期間内に受信されたという判定に従って、及び第２のハンドジェスチャが第４のタイプであるという判定に従って、通知に関連するアクションを実行することは、ユーザにシステムのより多くの制御を提供し、ユーザがコンピュータシステムに触れることなくユーザインタフェースをナビゲートする（例えば、コンピュータシステムに通知に関連するアクションを実行させる）のを助け、これは、一部のユーザにとってユーザインタフェースのより効率的な制御につながり得る。
いくつかの実施形態では、１つ以上の選択可能オプション（例えば、７３２ａ～７３２ｄ、８３２ａ、又は１４１０～１４１８）は、１つ以上のハンドジェスチャがコンピュータシステムに実行させることができる動作を変更するための第１の選択可能ユーザインタフェースオブジェクト（例えば、７３２ａ～７３２ｄ、８３２ａ、又は１４１０～１４１８）を含む。いくつかの実施形態では、第１の選択可能ユーザインタフェースオブジェクトの選択は、コンピュータシステムに複数の設定を表示させる。いくつかの実施形態では、各設定は、（例えば、図８Ａ～８Ｊに関連して上述したように）１つ以上のハンドジェスチャがコンピュータシステムによって検出されたときに、１つ以上のハンドジェスチャがコンピュータシステムに実行させることができる動作を制御する。１つ以上のハンドジェスチャがコンピュータシステムに実行させることができる動作を変更するための第１の選択可能ユーザインタフェースオブジェクト第１の選択可能ユーザインタフェースオブジェクトを含むメニューを表示することは、コンピュータシステムが、より複雑なハンドジェスチャを必要とせずに動作を実行するオプションをユーザに提供することを可能にし、これは、動作を実行するために使用されるハンドジェスチャの数を低減し、動作を実行させるハンドジェスチャをユーザがカスタマイズすることを可能にする。
いくつかの実施形態では、１つ以上の選択可能オプション（例えば、７３２ａ～７３２ｄ、８３２ａ、又は１４１０～１４１８）は、コンピュータシステムを第４の動作モードに遷移させるための第２の選択可能オプションと、コンピュータシステムを第４の動作モードとは異なる第５の動作モードに遷移させるための第３の選択可能オプションとを含む。いくつかの実施形態では、第２の選択可能オプション（例えば、７３２ａ～７３２ｄ、８３２ａ、又は１４１０～１４１８）の選択は、コンピュータシステムを第４の動作モード（例えば、自動スクロールモード、カーソルモード（例えば、方法１６００に関連して本明細書で説明されるような）に遷移させる。いくつかの実施形態では、第３の選択可能オプション（例えば、７３２ａ～７３２ｄ、８３２ａ、又は１４１０～１４１８）の選択は、コンピュータシステムを第５の動作モード（例えば、自動スクロールモード、カーソルモード（例えば、方法１６００に関連して本明細書で説明されるような）に遷移させる。コンピュータシステムを第４の動作モードに遷移させるための第２の選択可能オプションと、コンピュータシステムを第４の動作モードとは異なる第５の動作モードに遷移させるための第３の選択可能オプションとを含むメニューを表示することは、ユーザがコンピュータシステムを異なる動作モードに（例えば、より複雑なハンドジェスチャを提供することなく）遷移させることを可能にすることによって、ユーザにコンピュータシステムに対するより多くの制御を提供し、また、動作を実行するために使用されるハンドジェスチャの数を低減する。
いくつかの実施形態では、１つ以上の選択可能オプション（例えば、７３２ａ～７３２ｄ、８３２ａ、又は１４１０～１４１８）は、１つ以上の追加の選択可能オプション（例えば、選択可能ユーザインタフェースオブジェクトの位置（例えば、第２の位置）で入力が検出されたときに実行される動作に対応する動作を実行するオプションに対応するオプション、コンピュータシステムをオン／オフすること、異なるメニュー及び／又はユーザインタフェースを表示することなどの動作を実行するためのオプション、コンピュータシステムと通信する１つ以上の入力デバイスを介した入力の検出に応じて実行される動作に対応するオプション）を表示するための第４の選択可能オプション（例えば、１４１６）を含む。いくつかの実施形態では、第４の選択可能オプションの選択は、コンピュータシステム（例えば、６００）に、第４の選択可能オプションの選択の前に以前に表示されなかった１つ以上の追加の選択可能オプション（例えば、選択されると、各々がコンピュータシステムに１つ以上の動作（例えば、異なる動作）を実行させる）を表示させる。いくつかの実施形態では、第４の選択可能オプションの検出に応じて、コンピュータシステムは、第４の選択可能オプションの選択が検出される前に表示されていた１つ以上の選択可能オプションの表示を停止する。１つ以上の追加オプションを表示するための第４の選択可能オプションを含むメニューを表示することは、以前に表示されなかった追加の選択可能オプションを表示することをユーザが選択できるようにすることによって、コンピュータシステムに対するより多くの制御をユーザに提供し、追加の動作を実行するために使用されるハンドジェスチャの数を低減し、メニューが最初に表示されるときに表示される選択可能なユーザインタフェースオプションの数を低減し、これはユーザインタフェースをきれいにする。
いくつかの実施形態では、特定のユーザインタフェースオブジェクト（例えば、選択されたユーザインタフェースオブジェクト、フォーカスインジケータによって囲まれたユーザインタフェースオブジェクト）がユーザインタフェース上の第１の位置にあるという判定に従って、第１の位置にあり（例えば、図１１Ｂに関連して上述したように）、特定のユーザインタフェースオブジェクトがユーザインタフェース上の第１の位置になく、（例えば、図１１Ｂに関連して上述したように）第１の位置とは異なる第２の位置にあるという判定に従って、メニューが表示される。特定のユーザインタフェースオブジェクトが表示される場所に基づいて、ある位置にメニューを表示するように自動的に選択することは、コンピュータシステムが、ユーザにとって関心があり得るユーザインタフェースオブジェクト（例えば、選択されたユーザインタフェースオブジェクト）の位置にメニューを表示することを回避することを可能にし、また、ユーザインタフェースオブジェクトの表示に影響を及ぼすことからメニューを移動させるためにユーザが行う必要があるであろう入力の数を低減する。
いくつかの実施形態では、１つ以上の選択可能オプション（例えば、７３２ａ～７３２ｄ、８３２ａ、又は１４１０～１４１８）（例えば、１つ以上の選択可能オプションを含むメニュー、１つ以上の選択可能オプションを含む第２のメニュー）を含む第３のメニュー（例えば、７３２）を表示している間に、コンピュータシステムは、少なくとも光学センサを介して、第３のハンドジェスチャを検出する（例えば、図１０Ａ～図１０Ｅに関連して上述したように）。いくつかの実施形態では、少なくとも光学センサを介して第３のハンドジェスチャ（例えば、図１０Ａ～図１０Ｅに関連して上述したように）を検出したことに応じて、及び第３のハンドジェスチャが第４のタイプのジェスチャであるという判定に従って、コンピュータシステムは、１つ以上の選択可能オプションを含む第３のメニューの表示を停止する。第３のハンドジェスチャが第４のタイプのジェスチャであるという判定に従って、１つ以上の選択可能オプションを含むメニューの表示を停止することは、ユーザにシステムのより多くの制御を提供し、ユーザがコンピュータシステムに触れることなくユーザインタフェースをナビゲートするのを助け、これは、一部のユーザにとってユーザインタフェースのより効率的な制御につながり得る。
いくつかの実施形態では、第１のユーザインタフェースオブジェクト（例えば、７３２ａ～７３２ｄ、８３２ａ、又は１４１０～１４１８）を含むユーザインタフェースを表示した後に、コンピュータシステムは、少なくとも光学センサを介して、第４のハンドジェスチャを検出する。いくつかの実施形態では、少なくとも光学センサを介して第４のハンドジェスチャを検出したことに応じて、及び第４のハンドジェスチャが第１のタイプのジェスチャ及び第２のタイプのジェスチャ（及び／又は第１のタイプのジェスチャ）とは異なる第５のタイプのジェスチャである（例えば、いくつかの実施形態では、第５のタイプのジェスチャは第４のタイプのジェスチャと同じジェスチャである）という判定に従って、コンピュータシステムは、コンピュータシステムを非アクティブ状態（例えば、スリープ状態、ハイバネート状態、低電力モード状態、表示生成構成要素がアクティブ状態の表示生成構成要素よりも輝度が低い状態）からアクティブ（例えば、ウェイク状態、全電力状態）状態に遷移させる（又はコンピュータシステムをアクティブ状態から非アクティブ状態に遷移させる）（例えば、図１４（例えば、１４１６ｂ）に関連して上述したように）。第４のハンドジェスチャが第５のタイプのジェスチャであるという判定に従って、コンピュータシステムを非アクティブ状態からアクティブ状態に遷移させることは、ユーザに、コンピュータシステムに触れることなく、システムのより多くの制御を提供し、これは、一部のユーザにとってユーザインタフェースのより効率的な制御につながり得る。
いくつかの実施形態では、表示生成構成要素を介して、第２のユーザインタフェースオブジェクトが選択されているというインジケーションを表示している間に、コンピュータシステムは、少なくとも光学センサを介して、第５のハンドジェスチャを検出する。いくつかの実施形態では、少なくとも光学センサを介して第４のハンドジェスチャを検出したことに応じて、第５のハンドジェスチャが第１のタイプのジェスチャであるという判定に従って、コンピュータシステムは、表示生成構成要素を介して、第４の第１のユーザインタフェースオブジェクト（例えば、選択された次のユーザインタフェースオブジェクト）が選択されているというインジケーションを表示し、第５のハンドジェスチャが第２のタイプのジェスチャであるという判定に従って、コンピュータシステムは、表示生成構成要素を介して、第１のユーザインタフェースオブジェクト（例えば、選択された前のユーザインタフェースオブジェクト）が選択されているというインジケーションを表示する。いくつかの実施形態では、表示生成構成要素を介して、第３のユーザインタフェースオブジェクトが選択されているというインジケーションを表示している間に、コンピュータシステムは、少なくとも光学センサを介して、特定のハンドジェスチャを検出する。いくつかの実施形態では、特定のハンドジェスチャを検出したことに応じて、及び特定のハンドジェスチャが第１のタイプのジェスチャであるという判定に従って、コンピュータシステムは、第１、第２、及び第３のユーザインタフェースオブジェクトとは異なる第４のユーザインタフェースオブジェクトが選択されているというインジケーションを表示する。いくつかの実施形態では、特定のハンドジェスチャを検出したことに応じて、及び特定のハンドジェスチャが第２のタイプのジェスチャであるという判定に従って、コンピュータシステムは、第１のユーザインタフェースオブジェクトが選択されているというインジケーションを表示する。第２のユーザインタフェースオブジェクトが選択されているというインジケーションがある間に、検出されたハンドジェスチャのタイプに基づいて、第４の第１のユーザインタフェースオブジェクトが選択されているというインジケーションを表示するか、又は第１のユーザインタフェースオブジェクトが選択されているというインジケーションを表示するかを選択することは、ユーザにシステムのより多くの制御を提供し、ユーザがコンピュータシステムに触れることなくユーザインタフェースをナビゲートする（例えば、同じ方法でユーザインタフェースを一貫してナビゲートする）のを助け、これは、一部のユーザにとってユーザインタフェースのより効率的な制御につながり得る。
いくつかの実施形態では、第１のユーザインタフェースオブジェクトを含むユーザインタフェースを表示している間に、コンピュータシステムは、コンピュータシステムを第１の動作モードから第４の動作モード（例えば、図１３Ａ～図１３Ｇ及び図１４に関連して上述したような）（例えば、ハンドジェスチャの検出に応じてコンピュータシステムが動作を実行しない動作モード及び／又はコンピュータシステムが１つ以上のハンドジェスチャを検出しないモード）に遷移させる要求を検出する。いくつかの実施形態では、コンピュータシステムを第１の動作モードから第４の動作モードに遷移させる要求を検出したことに応じて、コンピュータシステムは、コンピュータシステムを第１の動作モードから第４の動作モードに遷移させる（例えば、図７Ａ～図７Ｃに関連して上述したように）。いくつかの実施形態では、コンピュータシステムが第４の動作モードにあり、第１のユーザインタフェースオブジェクトと、第２のユーザインタフェースオブジェクトと、第３のユーザインタフェースオブジェクトと、第１のユーザインタフェースオブジェクトが選択されているというインジケーションとを含むユーザインタフェースを表示している間に、コンピュータシステムは、少なくとも光学センサを介して、第６のハンドジェスチャ（例えば、図７Ａ～図７Ｃに関連して上述したように）を検出する。いくつかの実施形態では、少なくとも光学センサを介して、第６のハンドジェスチャを検出したことに応じて（例えば、コンピュータシステムが第４の動作モードにある間）、（例えば、図７Ａ～図７Ｃに関連して上述したように）ハンドジェスチャが第１のタイプのジェスチャであるという判定に従って、コンピュータシステムは、第１のユーザインタフェースオブジェクトが選択されているというインジケーションを表示し続け（表示生成構成要素を介して、第２のユーザインタフェースオブジェクトが選択されているというインジケーション及び／又は第３のユーザインタフェースオブジェクトが選択されているというインジケーションを表示することなく、及び／又は動作を実行することなく）（例えば、図７Ａ～図７Ｃに関連して上述したように）、ハンドジェスチャが第２のタイプのジェスチャであるという判定に従って、コンピュータシステムは、第１のユーザインタフェースオブジェクトが選択されているというインジケーションを表示し続ける（表示生成構成要素を介して、第３のユーザインタフェースオブジェクトが選択されているというインジケーション及び／又は第２のユーザインタフェースオブジェクトが選択されているというインジケーションを表示することなく、及び／又は動作を実行することなく）（例えば、図７Ａ～図７Ｃに関連して上述したように）。ハンドジェスチャが第１のタイプのジェスチャであるという判定に従って、及びハンドジェスチャが第１のタイプのジェスチャであるという判定に従って（例えば、コンピュータシステムが第４の動作モードにある間）、第１のユーザインタフェースオブジェクトが選択されているというインジケーションを表示し続けることは、ユーザに、コンピュータシステムのハンドジェスチャの検出及び／又はハンドジェスチャの検出に応じた動作の実行を制御するためのシステムの更なる制御を提供する。
方法１５００（例えば、図１５）に関して上述したプロセスの詳細はまた、本明細書に記載の方法に類似する方式でも適用可能であることに留意されたい。例えば、方法１５００は、方法１６００を参照して本明細書に記載する様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、方法１５００は、コンピュータシステムが方法１６００の技術を使用して動作する動作モードでの動作からコンピュータシステムが切り替えられるときに実行することができる。簡潔にするために、これらの詳細は、以下で繰り返さない。
図１６は、いくつかの実施形態に係る、コンピュータシステムを使用してナビゲートする方法を示すフロー図である。方法１６００は、表示生成構成要素（例えば、ディスプレイコントローラ、タッチ感知ディスプレイシステム）と通信するコンピュータシステム（例えば、１００、３００、５００）（例えば、ウェアラブルデバイス（例えば、スマートウォッチ））において実行される。いくつかの実施形態では、コンピュータシステムは、１つ以上のセンサ（例えば、１つ以上のバイオメトリックセンサ（例えば、心拍数センサ、カメラ）、ジャイロスコープ、加速度計））と通信する。いくつかの実施形態では、コンピュータシステムは、１つ以上の入力デバイス（例えば、タッチ感知面、マイクロフォン）と通信する。いくつかの実施形態では、コンピュータシステムは、１つ以上の出力デバイス（例えば、１つ以上のスピーカ、１つ以上のマイクロフォン）と通信する。方法１５００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述するように、方法１６００は、ハンドジェスチャを使用してユーザインタフェースをナビゲートするための直感的な方法を提供する。本方法は、ハンドジェスチャを使用してユーザインタフェースをナビゲートする際のユーザの認識的負担を軽減し、それにより、より効率的なヒューマン－マシンインタフェースを作り出す。バッテリ動作式コンピューティングデバイスの場合、ユーザがより高速且つ効率的にユーザインタフェースをナビゲートすることが可能になることにより、電力が節約され、バッテリ充電の間隔が長くなる。
コンピュータシステムは、表示生成構成要素を介して、ユーザインタフェース上の第１の位置（例えば、ユーザインタフェースオブジェクトの位置とは異なる位置）に表示される選択可能ユーザインタフェースオブジェクト（例えば、７２０ｃ、７３２ｃ、８１０ｄ、又は８３２ａ）及びカーソル（例えば、７４２）（例えば、ユーザインタフェースオブジェクト、非選択可能ユーザインタフェースオブジェクト）を含むユーザインタフェース（例えば、７１０、７２０、８１０、又は７８０）を表示する（１６０２）。
選択可能ユーザインタフェースオブジェクト（例えば、７２０ｃ、７３２ｃ、８１０ｄ、又は８３２ａ）及びカーソル（例えば、７４２）をユーザインタフェース（例えば、７１０、７２０、８１０、又は７８０）上の第１の位置に表示している間に、コンピュータシステムは、ユーザインタフェース上の第１の位置から第２の位置（例えば、第１の位置とは異なる位置）へと（例えば、ハンドジェスチャ（例えば、方法１５００に関連して上述したような手首の傾斜及び／又は１つ以上の他のハンドジェスチャ）を介してカーソル（例えば、７４２）を移動させる要求を検出する（１６０４）。いくつかの実施形態では、カーソルを移動させる要求は、コンピュータシステムの動き、コンピュータシステムに関連付けられた１つ以上のデバイス（例えば、マウス）の動き、及び／又はコンピュータシステムの表示生成構成要素上で検出された１つ以上の入力／ジェスチャ（例えば、スワイプジェスチャ）に基づいて検出される。
カーソルを第１の位置から第２の位置に移動させる要求（例えば、図７Ｙ又は７Ｚの７５０ｐ、８５０ｃ、８５０ｄ、又は傾斜）を検出したことに応じて（１６０６）、コンピュータシステムは、カーソルを第２の位置に表示する（１６０８）（例えば、カーソルを第１の位置から第２の位置に移動させる）。いくつかの実施形態では、第２の位置にカーソルを表示することの一部として、コンピュータシステムは、カーソルを第１の位置から第２の位置に移動させる。いくつかの実施形態では、コンピュータシステムは、コンピュータシステムが移動された方向に従ってカーソルを移動させる。
カーソルを第１の位置から第２の位置に移動させる要求（例えば、図７Ｙ又は７Ｚの７５０ｐ、８５０ｃ、８５０ｄ、又は傾斜）を検出したことに応じて（１６０６）、コンピュータシステムは、第２の位置が選択可能ユーザインタフェースオブジェクト（例えば、７２０ｃ、７３２ｃ、８１０ｄ、又は８３２ａ）の位置に対応する（及び／又はディスプレイの領域（例えば、エッジ）に対応する）という判定に従って、動作（例えば、視覚インジケーション（例えば、オブジェクト）のアニメーション充填、色の変化、点滅、カウントダウン／アップ、サイズの増減、フェードイン／フェードアウト）を実行するためにカーソル（例えば、７４２）を第２の位置に配置される必要がある時間の長さの視覚インジケーション（例えば、７４４）を提供するアニメーションを表示し（１６１０）、視覚インジケーション（例えば、７４２）は、ある期間（例えば、閾値期間以下の期間）にわたって更新される（例えば、カーソル／視覚インジケーションが第２の位置に表示されている間）（例えば、選択可能ユーザインタフェースオブジェクトを選択することを含むアクションを実行することなく）。いくつかの実施形態では、アニメーションを表示している間（例えば、期間未満の間）、コンピュータシステムは、カーソルを移動させる要求を検出し、第２の要求を検出したことに応じて、コンピュータシステムはアニメーションの表示を停止する。いくつかの実施形態では、アニメーションを表示した後に、コンピュータシステムはカーソルを再表示する。いくつかの実施形態では、カーソルは視覚インジケーションであり、及び／又は視覚インジケーションを含む。
カーソルを第１の位置から第２の位置に移動させる要求（例えば、図７Ｙ又は７Ｚにおける７５０ｐ、８５０ｃ、８５０ｄ、又は傾斜）を検出したことに応じて（１６０６）、コンピュータシステムは、第２の位置が選択可能ユーザインタフェースオブジェクト（例えば、７２０ｃ、７３２ｃ、８１０ｄ、又は８３２ａ）の位置に対応していない（及び／又はディスプレイの領域（例えば、エッジ）に対応していない）という判定に従って、コンピュータシステムは、（例えば、表示（例えば、７４４））を提供するアニメーションを表示することを取り止める（１６１２）。（及び、カーソルを表示し続ける）（例えば、選択可能ユーザインタフェースオブジェクトを選択することを含むアクションを実行することなく）。いくつかの実施形態では、視覚インジケーションを提供するアニメーションを表示することの一部として、コンピュータシステムは、カーソルの表示を視覚インジケーションに置き換える。いくつかの実施形態では、アニメーションを表示している間に、コンピュータシステムは、カーソルを第２の位置から第３の位置に移動させる要求を検出し、カーソルを第３の位置から第２の位置に移動させる要求を検出したことに応じて、カーソルを第３の位置に表示する（例えば、を表示することなく、及び／又は視覚インジケーションをカーソルで置き換えることなく）。いくつかの実施形態では、第３の位置は、第２の位置及び／又は第１の位置とは異なる。
いくつかの実施形態では、カーソル（例えば、７４２）を第１の位置から第２の位置に移動させる要求（例えば、図７Ｙ又は７Ｚの７５０ｐ、８５０ｃ、８５０ｄ、又は傾斜）を検出したことに応じて、及び第２の位置が選択可能ユーザインタフェースオブジェクト（例えば、７２０ｃ、７３２ｃ、８１０ｄ、又は８３２ａ）の位置に対応しており、カーソル（例えば、７４２）が第１の閾値期間より長く（例えば、０でない期間）（例えば、１～５秒））（例えば、アニメーションが表示される時間以上の期間）第２の位置に表示されているという判定に従って、コンピュータシステムは、動作を実行する（例えば、図７Ｉ～７Ｕに関連して説明したように、図８Ａ～８Ｊに関連して上述したように）。いくつかの実施形態では、動作の実行の一部として、コンピュータシステムは、選択可能ユーザインタフェースオブジェクトを選択する（例えば、図７Ｉ～図７Ｕに関連して説明したように、図８Ａ～図８Ｊに関連して上述したように）（例えば、選択可能ユーザインタフェースオブジェクトを強調表示すること、選択可能ユーザインタフェースオブジェクトに対応するメニューを起動すること、選択可能ユーザインタフェースオブジェクトに対応するアプリケーションを起動すること）。第２の位置が選択可能ユーザインタフェースオブジェクトの位置に対応しており、カーソルが第１の閾値期間より長く第２の位置に表示されるという判定に従って、選択可能ユーザインタフェースオブジェクトを選択することを含む動作を自動的に実行することは、コンピュータシステムが、所定の条件が満たされたときにユーザインタフェースオブジェクトを自動的に選択することを可能にする。第２の位置が選択可能ユーザインタフェースオブジェクトの位置に対応しており、カーソルが第１の閾値期間より長く第２の位置に表示されるという判定に従って、選択可能ユーザインタフェースオブジェクトを選択することを含む動作を実行することは、カーソルが特定の期間にわたって特定の位置に（例えば、ユーザによって）位置付けられたときにユーザインタフェースオブジェクトを選択する能力をユーザに与えることによって、コンピュータシステムに対するより多くの制御をユーザに提供する。
一部の実施形態では、カーソル（例えば、７４２）を第１の位置から第２の位置に移動させる要求を検出したことに応じて、及び第２の位置が選択可能ユーザインタフェースオブジェクト（例えば、７２０ｃ、７３２ｃ、８１０ｄ、又は８３２ａ）の位置に対応しており、カーソル（例えば、７４２）が第２の閾値期間より長く（例えば、０でない期間）（例えば、１～５秒）（例えば、アニメーションが表示される時間以上の期間）第２の位置に表示されるという判定に従って、コンピュータシステムは、（例えば、図７Ｉ～図７Ｕに関連して説明したような）動作を実行する。いくつかの実施形態では、動作を実行することは、選択可能ユーザインタフェースオブジェクトに対応するアプリケーションを起動することを含む（例えば、図７Ｉ～７Ｕに関連して説明したように）。第２の位置が選択可能ユーザインタフェースオブジェクトの位置に対応しており、カーソルが第１の閾値期間より長く第２の位置に表示されるという判定に従って、選択可能ユーザインタフェースオブジェクトに対応するアプリケーションを起動することを含む動作を自動的に実行することは、コンピュータシステムが、所定の条件が満たされたときに、選択可能ユーザインタフェースオブジェクトに対応するアプリケーションを自動的に起動することを可能にする。第２の位置が選択可能ユーザインタフェースオブジェクトの位置に対応しており、カーソルが第１の閾値期間より長く第２の位置に表示されるという判定に従って、選択可能ユーザインタフェースオブジェクトに対応するアプリケーションを起動することを含む動作を実行することは、カーソルが特定の期間にわたって特定の位置に（例えば、ユーザによって）位置付けられたときに、選択可能ユーザインタフェースオブジェクトに対応するアプリケーションを起動する能力をユーザに与えることによって、コンピュータシステムに対するより多くの制御をユーザに提供する。
いくつかの実施形態では、カーソルを第１の位置から第２の位置に移動させる要求を検出したことに応じて、及び第２の位置が選択可能ユーザインタフェースオブジェクト（例えば、７２０ｃ、７３２ｃ、８１０ｄ、又は８３２ａ）の位置に対応していないという判定に従って、動作（例えば、図８Ｃに関連して上述したような）の実行を取り止める（例えば、表示生成構成要素を介して、第２の位置で１つ以上の動作を実行するための１つ以上のユーザインタフェースオブジェクトを含むメニューを表示することを取り止める、選択可能ユーザインタフェースオブジェクトに対応するアプリケーションを起動することを取り止める）。いくつかの実施形態では、第２の位置が選択可能ユーザインタフェースオブジェクトの位置に対応せず、カーソルが閾値期間より長く表示されている及び／又は表示されていないという判定に従って、コンピュータシステムは、動作の実行を見合わせる。第２の位置が選択可能ユーザインタフェースオブジェクトの位置に対応していないという判定に従って動作を実行しないことを選択することは、所定の条件が満たされないときに動作を実行しない能力をコンピュータシステムに与え、コンピュータシステムが不必要な及び／又は意図しない動作を実行することを回避するのに役立つ。
いくつかの実施形態では、カーソル（例えば、７４２）を第１の位置から第２の位置に移動させる要求を検出したことに応じて、及びカーソル（例えば、７４２）が第３の閾値期間より長く（例えば、０でない期間）（例えば、１～５秒）（例えば、アニメーションが表示される時間以上の期間）第２の位置に表示されていないという判定に従って、コンピュータシステムは、（例えば、図８Ｄに示すように）動作の実行を見合わせる。いくつかの実施形態では、第２の位置が選択可能ユーザインタフェースオブジェクトの位置に対応する及び／又は対応せず、カーソルが閾値期間より長く第２の位置に表示されていないという判定に従って、コンピュータシステムは、動作の実行を見合わせる。カーソルが第３の閾値期間より長く第２の位置に表示されていないという判定に従って動作を実行しないことを選択することは、所定の条件が満たされないときに動作を実行しない能力をコンピュータシステムに与え、コンピュータシステムが不必要な及び／又は意図しない動作を実行することを回避するのに役立つ。
いくつかの実施形態では、カーソル（例えば、７４２）を第１の位置から第２の位置に移動させる要求を検出したことに応じて、及び第２の位置が表示生成構成要素の領域（例えば、図７Ｑの７４２又は図７Ｙの７４２）内にある位置に対応する（例えば、そこである）、及びカーソルが、第４の閾値期間を越えて（例えば、０でない期間）（例えば、１～５秒）（例えば、アニメーションが表示される時間以上の期間）第２の位置に表示されるという判定に従って、コンピュータシステムは、ユーザインタフェース（例えば、７１０又は７１８）とは異なる第２のユーザインタフェース（例えば、７８０又は７２０）を表示すること（及び、ユーザインタフェースの表示を停止すること）を含む第２の動作を実行する（カーソルの表示を継続しながら）（メニューを表示せずに）（例えば、動作（例えば、ユーザインタフェースオブジェクトを選択すること）とは異なる）。いくつかの実施形態ではユーザインタフェースとは異なる第２のユーザインタフェースを表示することの一部として、コンピュータシステムは、ユーザインタフェースを置き換える第２のユーザインタフェースのアニメーション（例えば、スライドアニメーション、フェードアニメーション、ディゾルブアニメーション、及び／又はスライドアニメーション）を表示する。いくつかの実施形態ではアニメーションは、ユーザインタフェースをスクリーンから領域に向かってスライドさせること、及び／又はスクリーン上の第２のユーザインタフェースオブジェクトを領域に向かってスライドさせることを含む。いくつかの実施形態では、第２の位置がディスプレイの領域内にある位置に対応しており、カーソルが閾値期間より長く第２の位置に表示されていないという判定に従って、コンピュータシステムは、第２のユーザインタフェースを表示することを含む第２の動作の実行を取り止める、及び／又はユーザインタフェースの表示を継続する。いくつかの実施形態では第２の閾値期間は、閾値期間と同じ期間である。いくつかの実施形態では第２の閾値期間は、閾値期間とは異なる閾値期間である。いくつかの実施形態では、領域は、１つ以上の選択可能ユーザインタフェースオブジェクトを含まない。いくつかの実施形態では、第２の位置が領域内にある位置に対応する（例えば、そこである）という判定に従って、コンピュータシステムは、アニメーションを表示する。いくつかの実施形態では、第２の位置が領域内にある位置に対応する（例えば、そこである）という判定に従って、コンピュータシステムは、アニメーションを表示することを取り止める。いくつかの実施形態では、第２の位置が領域内にある位置に対応していない（例えば、そこである）という判定に従って、コンピュータシステムは、アニメーションを表示する。いくつかの実施形態では、第２の位置が領域内にある位置に対応していない（例えば、そこである）という判定に従って、コンピュータシステムは、アニメーションを表示することを取り止める。第２の位置が表示生成構成要素の領域内にある位置に対応しており、カーソルが第４の閾値期間より長く第２の位置に表示されるという判定に従って、ユーザインタフェースとは異なる第２のユーザインタフェースを表示することを含む第２の動作を自動的に実行することは、カーソルが表示生成構成要素の特定の領域内にあるときに、コンピュータシステムが別のユーザインタフェースを表示することを可能にする。第２の位置が表示生成構成要素の領域内にある位置に対応しており、カーソルが第４の閾値期間より長く第２の位置に表示されるという判定に従って、ユーザインタフェースとは異なる第２のユーザインタフェースを表示することを含む第２の動作を実行することは、所定の条件が満たされたときに別のユーザインタフェースを表示する能力をユーザに与えることによって、コンピュータシステムに対するより多くの制御をユーザに提供する。
一部の実施形態では、第２の位置が選択可能ユーザインタフェースオブジェクト（例えば、７２０ｃ、７３２ｃ、８１０ｄ、又は８３２ａ）の位置に対応しており、カーソル（例えば、７４２）が第５の閾値期間より長く（例えば、０でない期間）（例えば、１～５秒）（例えば、第２の位置にカーソルを表示している間）（例えば、アニメーションが表示される時間以上の期間）（例えば、アニメーションが表示される時間以上の期間）第２の位置に表示されるという判定に従って、コンピュータシステムは動作を実行する。いくつかの実施形態では、動作を実行することは、表示生成構成要素を介して、１つ以上の動作（例えば、１つ以上の異なる動作）を実施するための１つ以上の選択可能オプション（例えば、７３２ａ～７３２ｄ及び／又は１４１０～１４１８）（例えば、ユーザインタフェースオブジェクト）を含むメニュー（例えば、７３２）を第２の位置に表示することを含む（例えば、タップ入力（例えば、及び／又は第１のタイプの入力）（例えば、シングルタップ入力／マルチタップ入力）が第２の位置で検出されたときに実行される動作（例えば、アプリケーションを起動する動作）、長押し入力（例えば、及び／又は第１のタイプの入力とは異なる第２のタイプの入力）が第２の位置で検出されたときに実行される動作（例えば、ユーザインタフェースオブジェクトを削除するためのメニューを表示する動作）、スワイプ入力（例えば、第１のタイプの入力及び第２のタイプの入力とは異なる第３のタイプの入力）が第２の位置で検出されたときに実行される動作、第２の位置で自動スクロール動作を開始する動作）。いくつかの実施形態ではメニューは、選択可能ユーザインタフェースオブジェクト及び／又はカーソルと同時に表示される。いくつかの実施形態ではメニューが表示されると、ユーザインタフェースの１つ以上の部分（例えば、選択可能ユーザインタフェースオブジェクト及び／又はカーソルを含まない部分）の表示が停止される。いくつかの実施形態ではメニューは、選択可能ユーザインタフェースオブジェクト及び／又はカーソルを含まないユーザインタフェース上の位置（例えば、上部／下部）に表示される。一部の実施形態では、選択可能ユーザインタフェースオブジェクト及び／又はカーソルが第１の特定に表示されるという判定に従って、メニューは、第２の特定の位置（例えば、第１の位置とは異なり、ディスプレイの第１の特定の位置とは反対側にある）に（第１の特定の位置に表示されることなく）表示される。一部の実施形態では、選択可能ユーザインタフェースオブジェクト及び／又はカーソルが第１の特定の位置に表示されていないという判定に従って、メニューは、第１の特定の位置に（第２の特定の位置に表示されることなく）表示される。第２の位置が選択可能ユーザインタフェースオブジェクトの位置に対応しており、カーソルが第１の閾値期間より長く第２の位置に表示されるという判定に従って、第２の位置で１つ以上の動作を実行するための１つ以上の選択可能オプションを含むメニューを表示することを含む動作を自動的に実行することは、コンピュータシステムが、所定の条件が満たされたときにメニューを自動的に表示することを可能にする。第２の位置が選択可能ユーザインタフェースオブジェクトの位置に対応しており、カーソルが第１の閾値期間より長く第２の位置に表示されるという判定に従って、１つ以上の動作を実行するための１つ以上の選択可能オプションを含むメニューを表示することを含む動作を実行することは、カーソルが特定の期間にわたって特定の位置に（例えば、ユーザによって）位置付けられた後に１つ以上の動作を実行するためのメニューを表示する能力をユーザに与えることによって、コンピュータシステムに対するより多くの制御をユーザに提供する。
いくつかの実施形態では、１つ以上の選択可能オプション（例えば、７３２ａ～７３２ｄ）は、選択動作を実行するための第１の選択可能オプション（例えば、８３２ａ、１４１０ａ、１４１０ｂ、１４１０ｃ、又は１４１２）を含み、第１の選択可能オプションの選択は、コンピュータシステムに、第２の位置で（例えば、選択可能ユーザインタフェースオブジェクト上で）選択動作（例えば、タップが第２の位置で受信されたときに実行されるアクション）を実行させる。いくつかの実施形態では第１の選択可能オプションの選択を検出したことに応じて、コンピュータシステムは、選択可能ユーザインタフェースオブジェクトに関連付けられたアプリケーションを起動することを含む選択動作を実行する。いくつかの実施形態では第１の選択可能オプションの選択を検出したことに応じて、コンピュータシステムは、第２の位置に表示された選択可能ユーザインタフェースオブジェクトを強調すること（例えば、強調表示）を含む選択動作を実行する。選択動作を実行するための第１の選択可能オプションを含むメニューを表示することは、ユーザがコンピュータシステムに選択動作を実行させることを可能にすることによって（例えば、より複雑なハンドジェスチャを提供することなく）、コンピュータシステムに対するより多くの制御をユーザに提供し、また、動作を実行するために使用されるハンドジェスチャの数を低減する。
いくつかの実施形態では、１つ以上の選択可能オプションは、入力（例えば、タップ入力、長押し入力、スワイプ入力）（及び／又はジェスチャ）が（例えば、コンピュータシステムによって）第２の位置で検出されたことに応答して実行される（及び／又は実行されるであろう）動作に対応する（例えば、それである）動作（例えば、入力（例えば、タップ入力、長押し入力、スワイプ入力）に応じてアプリケーションを起動すること、入力（例えば、タップ入力、長押し入力、スワイプ入力）に応じて第２の位置に表示される選択可能ユーザインタフェースオブジェクトを移動させること、第２の位置に表示される選択可能ユーザインタフェースオブジェクトに対応する通知（例えば、ポップアップ）を表示すること）を実行するための第２の選択可能オプション（例えば、８３２ａ）を含み、第２の選択可能オプションの選択は、コンピュータシステムに、入力が第２の位置で検出されたことに応じて実行される動作に対応する動作を実行させる（例えば、入力が第２の位置で検出されることなく）。入力が第２の位置で検出されたことに応じて実行される動作に対応する動作を実行するための第２の選択可能オプションを含むメニューを表示することは、入力が第２の位置で検出されたことに応じて実行される動作をユーザがコンピュータシステムに実行させることを可能にすることによって、コンピュータシステムに対するより多くの制御をユーザに提供し（例えば、より複雑なハンドジェスチャを提供することなく、ユーザがコンピュータシステム及び／又は表示生成構成要素に触れることなく）、また、動作を実行するために使用されるハンドジェスチャの数を低減する。
いくつかの実施形態では、１つ以上の選択可能オプションは、自動スクロール動作（例えば、方法１５００に関連して説明されるような）を実行するための第３の選択可能オプション（例えば、７３２ａ、１４１０ｃ、又は１４１２）を含み、第３の選択可能オプションの選択は、コンピュータシステムに、選択可能ユーザインタフェースオブジェクトを含む複数の選択可能ユーザインタフェースオブジェクトを自動的にスクロールさせる。いくつかの実施形態では、選択可能ユーザインタフェースオブジェクトを含む複数の選択可能ユーザインタフェースオブジェクトを自動的にスクロールすることの一部として、コンピュータシステムは、第２の位置から（例えば、第２の位置に表示される選択可能ユーザインタフェースオブジェクトから）自動スクロールを開始する。いくつかの実施形態では選択可能ユーザインタフェースオブジェクトを含む複数の選択可能ユーザインタフェースオブジェクトを自動的にスクロールすることの一部として、コンピュータシステムは、１つ以上の選択可能ユーザインタフェースオブジェクトを順番に強調（例えば、強調表示）する（例えば、方法１５００に関連して説明したように）。自動スクロール動作を実行するための第３の選択可能オプションを含むメニューを表示することは、ユーザがコンピュータシステムに選択可能ユーザインタフェースオブジェクトを含む複数の選択可能ユーザインタフェースオブジェクトを自動的にスクロールさせることを可能にすることによって（例えば、より複雑なハンドジェスチャを提供することなく）、コンピュータシステムに対するより多くの制御をユーザに提供し、また、動作を実行するために使用されるハンドジェスチャの数を低減する。
いくつかの実施形態では、１つ以上の選択可能オプションは、１つ以上のオプションの追加オプション（例えば、１４１６）を表示するための第４の選択可能オプション（例えば、選択可能ユーザインタフェースオブジェクトの位置（例えば、第２の位置）で入力が検出されたときに実行される動作に対応する動作を実行するオプションに対応するオプション、コンピュータシステムをオン／オフすること、異なるメニュー及び／又はユーザインタフェースを表示することなどの動作を実行するためのオプション、及び／又はコンピュータシステムと通信する１つ以上の入力デバイスを介した入力の検出に応じて実行される動作に対応するオプション）を含む。いくつかの実施形態では、第４の選択可能オプションの選択は、コンピュータシステムに、第４の選択可能オプションの選択が検出される前に以前に表示されていなかった１つ以上の追加オプション（例えば、図８Ｊに表示される８３２ａ及びメニュー）を表示させる。いくつかの実施形態では、第４の選択可能オプションの検出に応じて、コンピュータシステムは、第４の選択可能オプションの選択が検出される前に表示されていた１つ以上の選択可能オプションの表示を停止する。１つ以上のオプションの追加オプションを表示するための第４の選択可能オプションを含むメニューを表示することは、以前に表示されなかった追加の選択可能オプションを表示することをユーザが選択できるようにすることによって、コンピュータシステムに対するより多くの制御をユーザに提供し、追加の動作を実行するために使用されるハンドジェスチャの数を減らし、第４の選択可能オプションの選択が検出される前に以前に表示されなかった選択可能ユーザインタフェースオプションの数を減らす。
いくつかの実施形態では、第４の選択可能オプション（例えば、１４１４又は１４１６）の選択が検出される前に以前に表示されなかった１つ以上の追加オプション（例えば、図８Ｊに表示される８３２ａ及びメニュー）は、特定の追加オプション（例えば、１４１４ａ～１４１４ｄ又は１４１６ａ～１４１６ｃ）を含み、特定の追加オプションの選択は、コンピュータシステムに、第２の位置で実行されない動作（例えば、終了動作、メニューを閉じる動作）を実行させない。いくつかの実施形態では、１つ以上の選択可能オプションは、選択されたときに、コンピュータシステムに、第２の位置で実行されない（例えば、第２の位置で開始され、第２の位置で実行され、及び／又は第２の位置を含む）（例えば、いかなる動作）動作を実行させる選択動作を含まない。第４の選択可能オプションの選択が検出される前に以前に表示されなかった１つ以上の追加オプションを含むメニューを表示することは、特定の追加オプションが、第２の位置で実行されない動作を実行するオプションをユーザが選択できるようにすることによって、コンピュータシステムに対するより多くの制御をユーザに提供し、第２の位置で実行されない動作を実行するために使用されるハンドジェスチャの数を低減することを含む。
いくつかの実施形態では、コンピュータシステム（例えば、６００）は、１つ以上の入力デバイス（例えば、６０２ａ～６０２ｃ）と通信する。いくつかの実施形態では、１つ以上の選択可能オプションは、１つ以上の入力デバイス（例えば、ハードウェアボタン（例えば、スマートウォッチの竜頭、回転可能なハードウェアボタン、押下／押下解除可能なハードウェアボタン）、ハードウェアスライダ）を介した入力の検出に応じて実行される（及び／又は実行されるであろう）動作（例えば、メニューを表示するためのハードウェア入力デバイス上の押下（例えば、単一及び／又は複数の押下）、決済動作の開始、コンピュータシステムの電源オフの開始、音声支援の使用の開始、カーソルをある位置から別の位置に移動させるためのハードウェア入力デバイスの回転、及び／又はユーザインタフェースの１つ以上の構成要素をズーム、スクロール、及び／又は調整するためのハードウェア入力デバイスの回転）に対応する（例えば、である）動作を実行するための第５の選択可能オプション（例えば、７３２ａ、１４１０ｃ、又は１４１６ｂ）を含む。いくつかの実施形態では、第５の選択可能オプションの選択は、コンピュータシステムに、１つ以上の入力デバイスを介した入力の検出に応じて（例えば、１つ以上の入力デバイスにおける入力が検出されることなく）実行される動作に対応する動作を実行させる。１つ以上の入力デバイスを介して入力を検出したことに応じて、実行される動作に対応する動作を実行するための第５の選択可能オプションを含むメニューを表示することは、１つ以上の入力デバイスを介して入力が検出されたことに応じて実行される動作に対応する動作を実行することをユーザが選択できるようにすることによって（例えば、より複雑なハンドジェスチャを提供せず、ユーザが１つ以上の入力デバイスに触れることなく）、コンピュータシステムに対するより多くの制御をユーザに提供し、また、動作を実行するために使用されるハンドジェスチャの数を低減する。
いくつかの実施形態では、１つ以上の選択可能オプションは、第６の選択可能オプション（例えば、７３２ａ～７３２ｄ又は１４１０～１４１８）及び（例えば、第６の選択可能オプションとは異なる）第７の選択可能オプション（例えば、７３２ａ～７３２ｄ又は１４１０～１４１８）を含む。いくつかの実施形態では、メニュー（例えば、７３２）を表示している間に、コンピュータシステムは、ユーザインタフェース上の第２の位置から第３の位置にカーソルを移動させる要求（例えば、図７Ｙ又は７Ｚにおける７５０ｐ、８５０ｃ、８５０ｄ、又は傾斜）を検出する。いくつかの実施形態では、カーソルを移動させる第２の要求は、コンピュータシステムの動き、コンピュータシステムに関連付けられた１つ以上のデバイス（例えば、マウス）の動き、及び／又はコンピュータシステムの表示生成構成要素上で検出された１つ以上の入力／ジェスチャ（例えば、スワイプジェスチャ）に基づいて検出される。いくつかの実施形態では、ユーザインタフェース上でカーソルを第２の位置から第３の位置に移動させる要求を検出したことに応じて、コンピュータシステムは、第３の位置が第６の選択可能オプションの位置に対応しており、カーソルが第６の閾値期間より長く（例えば、０でない期間）（例えば、１～５秒）（例えば、アニメーションが表示される時間以上の期間）第３の位置に表示されるという判定に従って、（例えば、第２の動作を実行せずに）第６の選択可能オプションに対応する第１の動作を実行し、第３の位置が第７の選択可能オプションの位置に対応しており、カーソルが第６の閾値期間より長く第３の位置に表示されるという判定に従って、（例えば、第１の動作を実行せずに）第１の動作とは異なる第２の動作を実行する。いくつかの実施形態では、第３の位置が第６の選択可能オプションの位置に対応しており、カーソルが第３の閾値期間より長く第３の位置に表示されていないという判定に従って、コンピュータシステムは、第１の動作の実行を取り止める。いくつかの実施形態では、第３の位置が第７の選択可能オプションの位置に対応しており、カーソルが第３の閾値期間より長く第３の位置に表示されていないという判定に従って、コンピュータシステムは、第１の動作の実行を取り止める。いくつかの実施形態では、第３の閾値期間は、閾値期間と同じ期間である。いくつかの実施形態では、第３の閾値期間は、閾値期間とは異なる閾値期間である。カーソルが閾値期間にわたってどこに表示されるかに基づいて異なる動作を実行することは、カーソルの位置に基づいて異なる動作を実行するために、コンピュータシステムに対するより多くの制御をユーザに提供する。
いくつかの実施形態では、（例えば、カーソルを第２の位置に表示し、第２の位置が選択可能ユーザインタフェースオブジェクトに対応する間）、１つ以上の動作は、コンピュータシステム（例えば、６００）に、選択可能ユーザインタフェースオブジェクト（例えば、７２０ｃ、７３２ｃ、８１０ｄ、又は８３２ａ）に対応するアプリケーションのユーザインタフェースを表示させる動作を含む（例えば、図８Ｊに関連して上述したように）（第１のモードを終了することなく）。
いくつかの実施形態では、（例えば、第２の位置にカーソルを表示し、第２の位置が選択可能ユーザインタフェースオブジェクトに対応する間）、１つ以上の動作は、コンピュータシステムを第１の動作モードから第２の動作モードに遷移させる動作を含む（例えば、７３２ａ及び／又は１４１２に関連して上述したように）（例えば、動作（例えば、自動スクロール動作、モーションポインタ動作）が第２の位置で開始される（及び／又は第２の位置から開始される）動作モード）（選択可能ユーザインタフェースオブジェクトに対応するアプリケーションを起動せずに）。
いくつかの実施形態では、１つ以上の選択可能オプションを含むメニュー（例えば、７３２）を表示した後（例えば、メニューが表示されると、１つ以上のメニューオブジェクトが表示される）、コンピュータシステムは、ユーザインタフェースとは異なる第２のユーザインタフェースを表示する要求を検出する（例えば、図７Ｉ～図７Ｕ及び図８Ａ～図８Ｊに関連して上述したように）。いくつかの実施形態では、第２のユーザインタフェースを表示する要求を検出したことに応じて、コンピュータシステムは、第２のユーザインタフェースを（第１の動作モードで動作している間に）表示する。いくつかの実施形態では、第２のユーザインタフェースはメニューを含まず、第２の選択可能ユーザインタフェースオブジェクト（例えば、７３２ａ～７３２ｄ又は１４１０～１４１８）（例えば、選択可能ユーザインタフェースオブジェクトとは異なる）及びカーソル（例えば、７４４（例えば、図７Ｉ～図７Ｕ及び図８Ａ～図８Ｊに関連して上述したように））を含む。いくつかの実施形態では、第２の選択可能ユーザインタフェースオブジェクト及びカーソルを表示している間に、コンピュータシステムは、（例えば、図７Ｉ～図７Ｕ及び図８Ａ～図８Ｊに関連して上述したように）カーソルを第２のユーザインタフェース上の第４の位置から第２のユーザインタフェース上の第５の位置に移動させる要求を検出する。いくつかの実施形態では、カーソルを移動させる第３の要求は、コンピュータシステムの動き、コンピュータシステムに関連付けられた１つ以上のデバイス（例えば、マウス）の動き、及び／又はコンピュータシステムの表示生成構成要素上で検出された１つ以上の入力／ジェスチャ（例えば、スワイプジェスチャ）に基づいて検出される。いくつかの実施形態では、第２のユーザインタフェース上の第４の位置から第２のユーザインタフェース上の第５の位置へカーソルを移動させる要求を検出したことに応じて、コンピュータシステムは、（例えば、図７Ｉ～図７Ｕ及び図８Ａ～図８Ｊに関連して上述したように）第２のユーザインタフェース上の第５の位置にカーソルを表示する。いくつかの実施形態では、第２のユーザインタフェース上の第４の位置から第２のユーザインタフェース上の第５の位置へカーソルを移動させる要求を検出したことに応じて、コンピュータシステムは、第５の位置が第２の選択可能ユーザインタフェースオブジェクトの位置に対応しており、カーソルが第７の閾値期間より長く（例えば、０でない期間）（例えば、１～５秒）（例えば、アニメーションが表示される時間以上の期間）第２の位置に表示されるという判定に従って、コンピュータシステムは、表示生成構成要素を介して、１つ以上の選択可能オプションを含むメニュー（例えば、７３２）を（例えば、図７Ｉ～図７Ｕ及び図８Ａ～図８Ｊに関連して上述したように）再表示する（例えば、メニューが表示されると、１つ以上のメニューオブジェクトが表示される。いくつかの実施形態では、第５の位置が第２の選択可能ユーザインタフェースオブジェクトの位置に対応していない、及び／又はカーソルが第７の閾値期間より長く第２の位置に表示されていないという判定に従って、メニューを表示することを取り止める。第５の位置が第２の選択可能ユーザインタフェースオブジェクトの位置に対応しており、カーソルが第７の閾値期間より長く第２の位置に表示されるという判定に従ってメニューを再表示するように自動的に選択することにより、コンピュータシステムは、異なる選択可能ユーザインタフェースオブジェクトに対して同じセットの所定の条件が満たされた場合に、一貫したメニューをユーザに提供することができる。
いくつかの実施形態では、カーソル（例えば、７４２）を第１の位置から第２の位置に移動させる要求は、コンピュータシステム（例えば、６００）が特定の方向に傾けられた（例えば、図７Ｙ又は７Ｚにおける７５０ｐ、８５０ｃ、８５０ｄ、又は傾斜）（例えば、コンピュータシステムの片側（例えば、右側、左側）がコンピュータシステムの別の側よりも高い／低い）と決定されたときに検出される。いくつかの実施形態では、決定は、コンピュータシステムと通信する１つ以上のジャイロスコープを介して検出されるデータを使用して行われる。いくつかの実施形態では、特定の方向は、コンピュータシステムの高い側からコンピュータの低い側に向かう方向である。一部の実施形態では、カーソル（例えば、７４２）は、特定の方向に対応する方向に移動される。
いくつかの実施形態では、選択可能ユーザインタフェースオブジェクト（例えば、７２０ｃ、７３２ｃ、８１０ｄ、又は８３２ａ）を含むユーザインタフェースと、ユーザインタフェース上の第１の位置に表示されるカーソル（例えば、７４２）とを表示する前に、コンピュータシステムは、第３のユーザインタフェースを表示する。いくつかの実施形態では、第３のユーザインタフェース（例えば、７１０、７２０、８１０、又は７８０）を表示している間（及び、いくつかの実施形態では、ユーザインタフェースは選択可能ユーザインタフェースオブジェクトを含む）、コンピュータシステムは、第１の動作モードに入るための要求（例えば、７５０ｗ、８５０ａ）を検出する。いくつかの実施形態では、第１の動作モードに入る要求を検出したことに応じて、コンピュータシステムは、コンピュータシステム（例えば、６００）を（例えば、第１の動作モードとは異なる）第２の動作モードから第１の動作モードに遷移させる。いくつかの実施形態では、第１の動作モードに入る要求を検出したことに応じて、コンピュータシステムは、（例えば、第１の位置に）カーソルを表示する（例えば、及び／又は、選択可能ユーザインタフェースオブジェクトを含むユーザインタフェースと、ユーザインタフェース上の第１の位置に表示されるカーソル）。第１の動作モードに入る要求を検出したことに応じてカーソルを表示することは、コンピュータシステムが第１の動作モードで動作していること（例えば、／又はコンピュータシステムが第１の動作モードにあるので、１つ以上のユーザアクションはコンピュータシステムに１つ以上の特定の動作を実行させることができること）の視覚的フィードバックをユーザに提供する。
いくつかの実施形態では、第１の動作モードに入る要求を検出することの一部として、コンピュータシステムは、（例えば、コンピュータシステムが第２の動作モードにある間に）コンピュータシステムがシェイクされた（又はシェイクされている）ことを検出する（例えば、７５０ｗ、８５０ａ）。コンピュータシステムがシェイクされたことを検出したことに応じてコンピュータシステムを第２の動作モードから第１の動作モードに遷移させることは、コンピュータシステムをシェイクすることによって（例えば、デバイスの表示生成構成要素上に入力を提供することなく）ユーザがモード間で切り替えることを可能にすることによって、ユーザにコンピュータシステムに対するより多くの制御を提供する。
いくつかの実施形態では、コンピュータシステムが第１のモードにある間に、コンピュータシステムは、コンピュータシステム（例えば、６００）がシェイクされた（例えば、７５０ｗ、８５０ａ）ことを検出する。いくつかの実施形態では、コンピュータシステムがシェイクされたことを検出したことに応じて、コンピュータシステムは、コンピュータシステムを第１の動作モードから第３の動作モード（また、いくつかの実施形態では、第３の動作モードは第２の動作モードである）（例えば、方法１５００に関連して上述したような第１の動作モード）に遷移させる。コンピュータシステムがシェイクされたことを検出したことに応じてコンピュータシステムを第１の動作モードから第３の動作モードに遷移させることは、ユーザがコンピュータシステムをシェイクすることによって（例えば、デバイスの表示生成構成要素上に入力を提供することなく）モードを切り替えることを可能にすることによって、ユーザにコンピュータシステムに対するより多くの制御を提供する。
いくつかの実施形態では、コンピュータシステム（例えば、６００）を第１の動作モードから第３の動作モードに遷移させることの一部として、コンピュータシステムは、カーソル（例えば、７４２）の表示を停止する。いくつかの実施形態では、（例えば、コンピュータシステムが第１のモードにある間に）コンピュータシステムがシェイクされたことを検出したことに応じて、コンピュータシステムはカーソルの表示を停止する。コンピュータシステムがシェイクされたことを検出したことに応じてカーソルの表示を停止することは、コンピュータシステムが第１の動作モードで動作していないこと（及び／又はコンピュータシステムが第１の動作モードにないので、１つ以上のユーザアクションがコンピュータシステムに１つ以上の特定の動作を実行させることができないこと）のフィードバックをユーザに提供する。
いくつかの実施形態では、コンピュータシステムが第３の動作モードにあり、カーソル（例えば、７４２）が表示されている間に、コンピュータシステムは、カーソルを第６の位置から第７の位置に移動させる要求を検出する。いくつかの実施形態では、（例えば、コンピュータシステムが第３の動作モードにある間に）、カーソルを第６の位置から第７の位置に移動させる要求（例えば、図７Ｙ又は７Ｚにおける７５０ｐ、８５０ｃ、８５０ｄ、又は傾斜）を検出したことに応じて、コンピュータシステムは、カーソルを第７の位置に表示する。いくつかの実施形態では、（例えば、コンピュータシステムが第３の動作モードにある間に）カーソルを第６の位置から第７の位置に移動させる（例えば、７５０ｐ、８５０ｃ、８５０ｄ、又は図７Ｙ若しくは７Ｚの傾斜）要求を検出したことに応じて、及び第７の位置が選択可能ユーザインタフェースオブジェクトの位置に対応しており、カーソルが第８の閾値期間より長く（例えば、０でない期間）（例えば、１～５秒）（例えば、アニメーションが表示される時間以上の期間）第７の位置に表示されるという判定に従って、コンピュータシステムは、動作の実行を取り止める。第７の位置が選択可能ユーザインタフェースオブジェクトの位置に対応しており、カーソルが第８の閾値期間より長く第７の位置に表示されるという判定に従って動作を実行することを取り止めることは、（例えば、コンピュータシステムが第３の動作モードにある間に）、特定のハンドジェスチャが特定の動作をいつ実行するかを制御するために、コンピュータシステムに対するより多くの制御をユーザに提供する。
一部の実施形態では、カーソル（例えば、７４２）を第１の位置から第２の位置に移動させる要求を検出したことに応じて、及び第２の位置が選択可能ユーザインタフェースオブジェクト（例えば、７２０ｃ、７３２ｃ、８１０ｄ、又は８３２ａ）の位置に対応しており、カーソル（例えば、７４２）が第９の閾値期間より長く（例えば、０でない期間）（例えば、１～５秒）（例えば、カーソルを第２の位置に表示する間）（例えば、アニメーションが表示されるより長い期間）第２の位置に表示されるという判定に従って、コンピュータシステムは動作を実行する。いくつかの実施形態では、動作を実行することの一部として、コンピュータシステムの１つ以上の設定（例えば、ユーザ設定）が第１の状態にあるという判定に従って、コンピュータシステムは、選択可能ユーザインタフェースオブジェクトに対応する第２のアプリケーションを起動することなく、第２の位置で１つ以上の動作（例えば、１つ以上の異なる動作）を実行するための１つ以上の選択可能オプション（例えば、ユーザインタフェースオブジェクト）を含む第２のメニューを表示する。いくつかの実施形態では、動作を実行することの一部として、コンピュータシステムの１つ以上の設定（例えば、ユーザ設定）が第１の状態にあるという判定に従って、コンピュータシステムは、１つ以上の選択可能オプション（例えば、ユーザインタフェースオブジェクト）を含む第２のメニューを表示することなく、選択可能ユーザインタフェースオブジェクトに対応する第２のアプリケーションを起動して、第２の位置で１つ以上の動作（例えば、１つ以上の異なる動作）を実行する。所定の条件が満たされたときに第２のアプリケーションを起動するか、及び／又は第２のメニューを表示するかを選択することは、１つ以上のアクションがアプリケーションを起動させるか、及び／又はメニューを表示させるかを変更するために、コンピュータシステムに対するより多くの制御をユーザに提供する。
方法１６００（例えば、図１６）に関して上述したプロセスの詳細はまた、本明細書に記載の方法に類似する方式でも適用可能であることに留意されたい。例えば、方法１６００は、方法１５００を参照して本明細書に記載する様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、方法１６００は、コンピュータシステムが方法１５００の技術を使用して動作する動作モードでの動作からコンピュータシステムが切り替えられるときに実行することができる。簡潔にするために、これらの詳細は、以下で繰り返さない。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。本技術の原理、及びそれらの実際の用途を最も良く説明するために、実施形態が選択及び記載されている。それにより、他の当業者は、意図された具体的な用途に適するような様々な修正を用いて、本技術及び様々な実施形態を最も良好に利用することが可能となる。
添付図面を参照して、本開示及び例を十分に説明してきたが、様々な変更及び修正が、当業者には明らかとなるであろうことに留意されたい。そのような変更及び修正は、特許請求の範囲によって定義されるような、本開示及び例の範囲内に含まれるものとして理解されたい。
上述のように、本技術の一態様は、ハンドジェスチャの検出を向上させるために、様々なソースから入手可能なデータを収集及び使用することである。本開示は、いくつかの場合には、この収集されたデータが、特定の人を一意に特定する個人情報データ、又は特定の人に連絡する若しくはその所在を突き止めるために使用できる個人情報データを含み得ることを考察する。そのような個人情報データとしては、人口統計データ、位置ベースのデータ、電話番号、電子メールアドレス、ツイッター（登録商標）ＩＤ、自宅の住所、ユーザの健康若しくはフィットネスのレベルに関するデータ若しくは記録（例えば、バイタルサイン測定値、投薬情報、運動情報）、誕生日、又は任意の他の識別情報若しくは個人情報を挙げることができる。
本開示は、本技術におけるそのような個人情報データの使用がユーザの利益になる使用であり得る点を認識するものである。例えば、個人情報データは、ユーザのハンドジェスチャの検出を向上させるために使用することができる。したがって、そのような個人情報データを使用することにより、ユーザは、ハンドジェスチャの検出を向上させることができるデータのユーザの計算された制御を有することができる。更に、ユーザに利益をもたらす個人情報データに関する他の使用も本開示によって意図されている。例えば、健康データ及びフィットネスデータは、ユーザの全般的なウェルネスについての洞察を提供するために使用することができ、又は、ウェルネスの目標を追求する技術を使用している個人への、積極的なフィードバックとして使用することもできる。
本開示は、そのような個人情報データの収集、分析、開示、伝送、記憶、又は他の使用に関与するエンティティが、確固たるプライバシーポリシー及び／又はプライバシー慣行を遵守するものとなることを想到する。具体的には、そのようなエンティティは、個人情報データを秘密として厳重に保守するための、業界又は政府の要件を満たしているか又は上回るものとして一般に認識されている、プライバシーのポリシー及び慣行を実施し、一貫して使用するべきである。そのようなポリシーは、ユーザによって容易にアクセス可能とするべきであり、データの収集及び／又は使用が変化するにつれて更新されるべきである。ユーザからの個人情報は、そのエンティティの合法的且つ正当な使用のために収集されるべきであり、それらの合法的使用を除いては、共有又は販売されるべきではない。更には、そのような収集／共有は、ユーザに告知して同意を得た後に実施されるべきである。その上、そのようなエンティティは、そのような個人情報データへのアクセスを保護及び安全化し、個人情報データへのアクセス権を有する他者が、それらのプライバシーポリシー及び手順を忠実に守ることを保証するための、あらゆる必要な措置を講じることを考慮するべきである。更に、そのようなエンティティは、広く受け入れられているプライバシーポリシー及び慣行に対する自身の遵守を証明するために、サードパーティによる評価を自らが受けることができる。更には、ポリシー及び慣行は、収集及び／又はアクセスされる具体的な個人情報データのタイプに適合されるべきであり、また、管轄権固有の考慮事項を含めた、適用可能な法令及び規格に適合されるべきである。例えば、アメリカ合衆国では、特定の健康データの収集又はそれへのアクセスは、医療保険の相互運用性と説明責任に関する法律（ＨＩＰＡＡ）等の、連邦法及び／又は州法によって管理されてもよく、その一方で、他国における健康データは、他の規制及びポリシーの対象となり得るものであり、それに従って対処されるべきである。それゆえ、各国において、異なる個人データのタイプに関して異なるプライバシー慣行が保たれるべきである。
前述のことがらにも関わらず、本開示はまた、個人情報データの使用又は個人情報データへのアクセスを、ユーザが選択的に阻止する実施形態も想到する。すなわち、本開示は、そのような個人情報データへのアクセスを防止又は阻止するために、ハードウェア要素及び／又はソフトウェア要素が提供され得ることを意図している。例えば、ユーザインタフェース管理（例えば、ナビゲーションを含む）の場合、本技術は、ユーザが、サービスの登録中又はその後のいつでも、個人情報データの収集への参加の「オプトイン」又は「オプトアウト」を選択することができるように構成することができる。別の例では、ユーザは、ハンドジェスチャの検出を向上させるために使用され得る心拍数データ及び／又は他のデータを提供しないように選択することができる。更に別の例では、ユーザは、心拍数データ及び／又は他のデータが維持される時間の長さを制限することを選択することができる。「オプトイン」及び「オプトアウト」のオプションを提供することに加えて、本開示は、個人情報のアクセス又は使用に関する通知を提供することを意図している。例えば、ユーザの個人情報データにアクセスすることとなるアプリのダウンロード時にユーザに知らされ、その後、個人情報データがアプリによってアクセスされる直前に再びユーザに注意してもよい。
更には、本開示の意図は、個人情報データを、非意図的若しくは無許可アクセス又は使用の危険性を最小限に抑える方法で、管理及び処理するべきであるという点である。データの収集を制限し、データがもはや必要とされなくなると削除することにより、リスクを最小化することができる。加えて、且つ、特定の健康関連アプリケーションにおいて適用可能な場合、ユーザのプライバシーを保護するために、データの匿名化を使用することができる。非特定化は、適切な場合には、特定の識別子（例えば、生年月日など）を除去すること、記憶されたデータの量又は特異性を制御すること（例えば、位置データを住所レベルよりも都市レベルで収集すること）、データがどのように記憶されるかを制御すること（例えば、データをユーザ全体にわたって集約すること）及び／又は他の方法によって、容易にすることができる。
それゆえ、本開示は、１つ以上の様々な開示された実施形態を実施するための、個人情報データの使用を広範に網羅するものであるが、本開示はまた、そのような個人情報データにアクセスすることを必要とせずに、それらの様々な実施形態を実施することも可能であることを想到する。すなわち、本技術の様々な実施形態は、そのような個人情報データの全て又は一部分が欠如することにより、動作不可能にされるものではない。例えば、ハンドジェスチャは、ユーザに関連付けられたデバイスによって要求されたコンテンツなどの非個人情報データ若しくは必要最小限の量の個人情報、データ検出サービスに利用可能な他の非個人情報、又は公的に利用可能な情報に基づいて、検出することができる。

Claims (20)

  1. 方法であって、
    表示生成構成要素及び光学センサと通信するコンピュータシステムにおいて、
    少なくとも前記光学センサを介して第１のハンドジェスチャを検出することと、
    少なくとも前記光学センサを介して前記第１のハンドジェスチャを検出したことに応答して、
    前記第１のハンドジェスチャが第１のタイプのハンドジェスチャであり、前記第１のハンドジェスチャが前記コンピュータシステムがハンドジェスチャナビゲーションモードで動作していない間に検出されたとの判定に従って、前記コンピュータシステムでの前記ハンドジェスチャナビゲーションモードを開始することと、
    前記第１のハンドジェスチャが前記第１のタイプのハンドジェスチャであり、前記第１のハンドジェスチャが前記コンピュータシステムが前記ハンドジェスチャナビゲーションモードで動作している間に検出されたとの判定に従って、前記表示生成構成要素を介してメニューを表示することと、
    前記コンピュータシステムが前記ハンドジェスチャナビゲーションモードで動作している間に、
    前記表示生成構成要素を介して、第１のユーザインタフェースオブジェクトと、第２のユーザインタフェースオブジェクトと、第３のユーザインタフェースオブジェクトと、前記第１のユーザインタフェースオブジェクトが選択されているというインジケーションと、を含むユーザインタフェースを表示することと、
    前記第１のユーザインタフェースオブジェクトと、前記第２のユーザインタフェースオブジェクトと、前記第３のユーザインタフェースオブジェクトと、前記第１のユーザインタフェースオブジェクトが選択されているという前記インジケーションと、を含む前記ユーザインタフェースを表示している間に、少なくとも前記光学センサを介して第２のハンドジェスチャを検出することと、
    少なくとも前記光学センサを介して、前記第２のハンドジェスチャを検出したことに応じて、
    前記第２のハンドジェスチャが前記第１のタイプのジェスチャとは異なる第２のタイプのジェスチャであるという判定に従って、前記表示生成構成要素を介して、前記第２のユーザインタフェースオブジェクトが選択されているというインジケーションを表示することと、
    前記第２のハンドジェスチャが前記第１のタイプのジェスチャおよび前記第２のタイプのジェスチャとは異なる第３のタイプのジェスチャであるという判定に従って、前記表示生成構成要素を介して、前記第３のユーザインタフェースオブジェクトが選択されているというインジケーションを表示することと、
    前記第２のハンドジェスチャが前記第１のタイプのジェスチャ、前記第２のタイプのジェスチャ、および前記第３のタイプのジェスチャとは異なる第４のタイプのジェスチャであるという判定に従って、前記第１のユーザインタフェースオブジェクトの選択に対応する動作を実行することと、
    を含む、方法。
  2. 前記光学センサは心拍数センサを含む、請求項１に記載の方法。
  3. 前記第２のハンドジェスチャを検出する前に、前記コンピュータシステムは第１の動作モードにあり、
    前記第１のユーザインタフェースオブジェクトの選択に対応する前記動作を実行することは、前記コンピュータシステムを前記第１の動作モードから第２の動作モードに遷移させることを含み、前記コンピュータシステムが前記第２の動作モードにあるとき、前記コンピュータシステムは自動スクロール動作を実行し、前記自動スクロール動作において前記コンピュータシステムは、前記第２のハンドジェスチャ以外のユーザ入力を検出することなくコンテンツをスクロールし、前記方法が、
    前記コンピュータシステムが前記第２の動作モードにある間に、少なくとも前記光学センサを介して、第３のハンドジェスチャを検出することと、
    少なくとも前記光学センサを介して、前記第３のハンドジェスチャを検出したことに応じて、
    前記第３のハンドジェスチャが前記第２のタイプのジェスチャであるという判定に従って、自動スクロール動作を一時停止することと、
    前記第３のハンドジェスチャが前記第３のタイプのジェスチャであるという判定に従って、前記自動スクロール動作の第１の方向を反転させることと、
    前記第３のハンドジェスチャが前記第４のタイプのジェスチャであるという判定に従って、前記自動スクロール動作の速度を変化させることと、
    前記第３のハンドジェスチャが前記第１のタイプのジェスチャであるという判定に従って、前記自動スクロール動作を終了させることと、を更に含む、請求項１に記載の方法。
  4. 前記第３のタイプのジェスチャは、前記第２のタイプのジェスチャの複数のインスタンスであるタイプのジェスチャである、請求項３に記載の方法。
  5. 前記自動スクロール動作が、複数のユーザインタフェースオブジェクトのシーケンスを第２の方向にスクロールし、前記方法が、
    前記自動スクロール動作を実行している間に、前記複数のユーザインタフェースオブジェクトの前記シーケンスの前記終了を検出することと、
    前記複数のユーザインタフェースオブジェクトの前記シーケンスの終了を検出したことに応じて、前記第２の方向とは異なる第３の方向に前記複数のユーザインタフェースオブジェクトの前記シーケンスをスクロールする第２の自動スクロール動作を実行することと、を更に含む、請求項３に記載の方法。
  6. 前記第３のハンドジェスチャが前記第２のタイプのジェスチャであるという判定に従って、前記自動スクロール動作の状態を示す通知を表示することを更に含む、請求項３に記載の方法。
  7. 前記第１のタイプのジェスチャは、前記第４のタイプのジェスチャの複数のインスタンスであるタイプのジェスチャである、請求項３に記載の方法。
  8. 前記第１のタイプのジェスチャは前記第２のタイプのジェスチャの複数のインスタンスを含まず、前記第３のタイプのジェスチャは前記第４のタイプのジェスチャの複数のインスタンスを含まない、請求項１に記載の方法。
  9. 少なくとも前記光学センサを介して、第３のハンドジェスチャを検出することと、
    少なくとも前記光学センサを介して、前記第３のハンドジェスチャを検出したことに応じて、
    通知が閾値期間内に受信されたという判定に従って、及び前記第３のハンドジェスチャが前記第１のタイプのジェスチャであるという判定に従って、前記通知に関連するアクションを実行することを更に含む、請求項１に記載の方法。
  10. 前記メニューが１つ以上の選択可能なオプションを含み、前記１つ以上の選択可能なオプションは、１つ以上のハンドジェスチャが前記コンピュータシステムに実行させることができる動作を変更するための第１の選択可能ユーザインタフェースオブジェクトを含み、前記第１の選択可能ユーザインタフェースオブジェクトの選択は前記コンピュータシステムに複数の設定を表示させ、各設定は、前記１つ以上のハンドジェスチャが前記コンピュータシステムによって検出されたときに前記１つ以上のハンドジェスチャが前記コンピュータシステムに実行させることができる動作を制御する、請求項１に記載の方法。
  11. 前記メニューが１つ以上の選択可能なオプションを含み、
    前記１つ以上の選択可能なオプションは、前記コンピュータシステムを第４の動作モードに遷移させるための第２の選択可能オプションと、前記コンピュータシステムを前記第４の動作モードとは異なる第５の動作モードに遷移させるための第３の選択可能オプションとを含み、
    前記第２の選択可能オプションの選択は前記コンピュータシステムを前記第４の動作モードに遷移させ、
    前記第３の選択可能オプションの選択は前記コンピュータシステムを前記第５の動作モードに遷移させる、請求項１に記載の方法。
  12. 前記メニューが１つ以上の選択可能なオプションを含み、前記１つ以上の選択可能なオプションは、１つ以上の追加の選択可能オプションを表示するための第４の選択可能オプションを含み、前記第４の選択可能オプションの選択は、前記第４の選択可能オプションの選択前には表示されていなかった前記１つ以上の追加の選択可能オプションを前記コンピュータシステムに表示させる、請求項１に記載の方法。
  13. 前記メニューは、
    特定のユーザインタフェースオブジェクトが前記ユーザインタフェース上の第１の位置にあるという判定に従って、前記第１の位置に表示され、
    前記特定のユーザインタフェースオブジェクトが前記ユーザインタフェース上の前記第１の位置にないという判定に従って、前記第１の位置とは異なる第２の位置に表示される、請求項１に記載の方法。
  14. 前記メニューを表示している間に、少なくとも前記光学センサを介して、第３のハンドジェスチャを検出することと、
    少なくとも前記光学センサを介して前記第３のハンドジェスチャを検出したことに応じて、
    前記第３のハンドジェスチャが前記第１のタイプのジェスチャであるという判定に従って、前記メニューの表示を停止することと、を更に含む、請求項１に記載の方法。
  15. 前記第１のユーザインタフェースオブジェクトを含む前記ユーザインタフェースを表示した後に、少なくとも前記光学センサを介して第４のハンドジェスチャを検出することと、
    少なくとも前記光学センサを介して前記第４のハンドジェスチャを検出したことに応じて、
    前記第４のハンドジェスチャが前記第２のタイプのジェスチャ及び前記第３のタイプのジェスチャとは異なる第５のタイプのジェスチャであるという判定に従って、前記コンピュータシステムを非アクティブ状態からアクティブ状態に遷移させることと、を更に含む、請求項１に記載の方法。
  16. 前記表示生成構成要素を介して、前記第２のユーザインタフェースオブジェクトが選択されているという前記インジケーションを表示している間に、少なくとも前記光学センサを介して、第５のハンドジェスチャを検出することと、
    少なくとも前記光学センサを介して、前記第５のハンドジェスチャを検出したことに応じて、
    前記第５のハンドジェスチャが前記第２のタイプのジェスチャであるという判定に従って、前記表示生成構成要素を介して、第４のユーザインタフェースオブジェクトが選択されているというインジケーションを表示することと、
    前記第５のハンドジェスチャが前記第３のタイプのジェスチャであるという判定に従って、前記表示生成構成要素を介して、前記第１のユーザインタフェースオブジェクトが選択されているという前記インジケーションを表示することと、を更に含む、請求項１に記載の方法。
  17. 前記第１のユーザインタフェースオブジェクトを含む前記ユーザインタフェースを表示している間に、前記コンピュータシステムを第１の動作モードから第４の動作モードに遷移させる要求を検出することと、
    前記コンピュータシステムを前記第１の動作モードから前記第４の動作モードに遷移させる前記要求を検出したことに応じて、前記コンピュータシステムを前記第１の動作モードから前記第４の動作モードに遷移させることと、
    前記コンピュータシステムが前記第４の動作モードにある間、及び前記第１のユーザインタフェースオブジェクトと、前記第２のユーザインタフェースオブジェクトと、前記第３のユーザインタフェースオブジェクトと、前記第１のユーザインタフェースオブジェクトが選択されているという前記インジケーションとを含む前記ユーザインタフェースを表示している間に、少なくとも前記光学センサを介して、第６のハンドジェスチャを検出することと、
    少なくとも前記光学センサを介して、前記第６のハンドジェスチャを検出したことに応じて、
    前記第６のハンドジェスチャが前記第２のタイプのジェスチャであるという判定に従って、前記第１のユーザインタフェースオブジェクトが選択されているという前記インジケーションを表示し続けることと、
    前記第６のハンドジェスチャが前記第３のタイプのジェスチャであるという判定に従って、前記第１のユーザインタフェースオブジェクトが選択されているという前記インジケーションを表示し続けることと、を更に含む、請求項１に記載の方法。
  18. コンピュータに請求項１から１７のいずれか一項に記載の方法を実行させるコンピュータプログラム。
  19. コンピュータシステムであって、
    請求項１８に記載のコンピュータプログラムを記憶するメモリと、
    前記メモリに記憶された前記コンピュータプログラムを実行可能な１つ以上のプロセッサと、を有し、表示生成構成要素及び光学センサと通信するように構成された、コンピュータシステム。
  20. 表示生成構成要素及び光学センサと通信するように構成されたコンピュータシステムであって、
    請求項１から１７のいずれか一項に記載の方法を実行する手段を有する、コンピュータシステム。
JP2024023002A 2021-05-19 2024-02-19 ハンドジェスチャを使用したユーザインタフェースのナビゲーション Active JP7749045B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2025157234A JP7846296B2 (ja) 2021-05-19 2025-09-22 ハンドジェスチャを使用したユーザインタフェースのナビゲーション

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US202163190783P 2021-05-19 2021-05-19
US63/190,783 2021-05-19
US202163221331P 2021-07-13 2021-07-13
US63/221,331 2021-07-13
US17/747,613 US12449907B2 (en) 2021-05-19 2022-05-18 Navigating user interfaces using a cursor
US17/747,613 2022-05-18
JP2023513867A JP2023539880A (ja) 2021-05-19 2022-05-19 ハンドジェスチャを使用したユーザインタフェースのナビゲーション
PCT/US2022/030021 WO2022246060A1 (en) 2021-05-19 2022-05-19 Navigating user interfaces using hand gestures

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2023513867A Division JP2023539880A (ja) 2021-05-19 2022-05-19 ハンドジェスチャを使用したユーザインタフェースのナビゲーション

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2025157234A Division JP7846296B2 (ja) 2021-05-19 2025-09-22 ハンドジェスチャを使用したユーザインタフェースのナビゲーション

Publications (2)

Publication Number Publication Date
JP2024096687A JP2024096687A (ja) 2024-07-17
JP7749045B2 true JP7749045B2 (ja) 2025-10-03

Family

ID=84102770

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2023513867A Pending JP2023539880A (ja) 2021-05-19 2022-05-19 ハンドジェスチャを使用したユーザインタフェースのナビゲーション
JP2024023002A Active JP7749045B2 (ja) 2021-05-19 2024-02-19 ハンドジェスチャを使用したユーザインタフェースのナビゲーション
JP2025157234A Active JP7846296B2 (ja) 2021-05-19 2025-09-22 ハンドジェスチャを使用したユーザインタフェースのナビゲーション

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2023513867A Pending JP2023539880A (ja) 2021-05-19 2022-05-19 ハンドジェスチャを使用したユーザインタフェースのナビゲーション

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2025157234A Active JP7846296B2 (ja) 2021-05-19 2025-09-22 ハンドジェスチャを使用したユーザインタフェースのナビゲーション

Country Status (4)

Country Link
US (2) US12449907B2 (ja)
EP (2) EP4189520B1 (ja)
JP (3) JP2023539880A (ja)
CN (2) CN115968464A (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3195098B1 (en) 2014-07-21 2024-10-23 Apple Inc. Remote user interface
US10558278B2 (en) 2017-07-11 2020-02-11 Apple Inc. Interacting with an electronic device through physical movement
DK201970533A1 (en) 2019-05-31 2021-02-15 Apple Inc Methods and user interfaces for sharing audio
US12511021B2 (en) 2020-09-14 2025-12-30 Apple Inc. Device management user interface
US12449907B2 (en) * 2021-05-19 2025-10-21 Apple Inc. Navigating user interfaces using a cursor
US11954266B2 (en) * 2021-12-20 2024-04-09 Htc Corporation Method for interacting with virtual world, host, and computer readable storage medium
US12579758B2 (en) 2022-02-08 2026-03-17 Apple Inc. Devices, methods, and graphical user interfaces for interacting with virtual objects using hand gestures
US12386428B2 (en) 2022-05-17 2025-08-12 Apple Inc. User interfaces for device controls
US20230384420A1 (en) * 2022-05-31 2023-11-30 Samsung Electronics Co., Ltd. Apparatus and method for power saving in gesture recognition using mmwave radar
US12436620B2 (en) * 2022-08-18 2025-10-07 Meta Platforms Technologies, Llc Multi-stage gestures detected based on neuromuscular-signal sensors of a wearable device to activate user-interface interactions with low-false positive rates, and systems and methods of use thereof
US12360608B2 (en) 2022-08-18 2025-07-15 Meta Platforms Technologies, Llc Navigating a user interface using in-air gestures detected via neuromuscular-signal sensors of a wearable device, and systems and methods of use thereof
US11714539B1 (en) 2022-10-28 2023-08-01 Honeywell International Inc. Cursor management methods and systems
KR20240060067A (ko) * 2022-10-28 2024-05-08 삼성전자주식회사 전자 장치 및 그 ui 제공 방법
US11960668B1 (en) * 2022-11-10 2024-04-16 Honeywell International Inc. Cursor management methods and systems for recovery from incomplete interactions
US12451137B2 (en) 2023-01-19 2025-10-21 Honeywell International Inc. Speech recognition systems and methods for concurrent voice commands
US20240385691A1 (en) * 2023-05-05 2024-11-21 Apple Inc. User interfaces for gesture detection
WO2024232999A1 (en) * 2023-05-05 2024-11-14 Apple Inc. User interfaces for gestures
USD1062771S1 (en) * 2023-09-11 2025-02-18 Apple Inc. Display screen or portion thereof with graphical user interface
US12424037B2 (en) * 2023-11-28 2025-09-23 Junyang Tang Lock system, method, and computer program based on gesture detection
WO2025221689A1 (en) * 2024-04-15 2025-10-23 Apple Inc. Air gesture user interfaces

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000227832A (ja) 1998-12-04 2000-08-15 Sony Corp 情報処理装置及び方法、並びに媒体
JP2001216069A (ja) 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
JP2002033795A (ja) 2000-04-28 2002-01-31 Sony Corp 携帯情報端末装置
JP2006209563A (ja) 2005-01-31 2006-08-10 Victor Co Of Japan Ltd インターフェース装置
US20130239046A1 (en) 2007-01-07 2013-09-12 Apple Inc. Application Programming Interfaces for Scrolling Operations
US20160018900A1 (en) 2014-07-18 2016-01-21 Apple Inc. Waking a device in response to user gestures
US20160029899A1 (en) 2014-07-31 2016-02-04 Lg Electronics Inc. Mobile terminal and controlling method thereof
JP2017510912A (ja) 2014-02-10 2017-04-13 アップル インコーポレイテッド 光学センサを使用して検出されるモーションジェスチャ入力
WO2018131251A1 (ja) 2017-01-12 2018-07-19 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2018536933A (ja) 2015-10-30 2018-12-13 オステンド・テクノロジーズ・インコーポレーテッド 身体上ジェスチャ・インターフェース及び投影表示のためのシステム及び方法
US20190268771A1 (en) 2012-12-10 2019-08-29 Samsung Electronics Co., Ltd. Mobile device of bangle type, control method thereof, and ui display method

Family Cites Families (237)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3859005A (en) 1973-08-13 1975-01-07 Albert L Huebner Erosion reduction in wet turbines
US4826405A (en) 1985-10-15 1989-05-02 Aeroquip Corporation Fan blade fabrication system
US5483261A (en) 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
US5880411A (en) 1992-06-08 1999-03-09 Synaptics, Incorporated Object position detector with edge motion feature and gesture recognition
US5488204A (en) 1992-06-08 1996-01-30 Synaptics, Incorporated Paintbrush stylus for capacitive touch sensor pad
JPH0743804A (ja) * 1993-07-30 1995-02-14 Canon Inc 機能選択装置
US5825352A (en) 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
US5835079A (en) 1996-06-13 1998-11-10 International Business Machines Corporation Virtual pointing device for touchscreens
US6747632B2 (en) 1997-03-06 2004-06-08 Harmonic Research, Inc. Wireless control device
US6128010A (en) * 1997-08-05 2000-10-03 Assistive Technology, Inc. Action bins for computer user interface
US6310610B1 (en) 1997-12-04 2001-10-30 Nortel Networks Limited Intelligent touch display
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
KR100595926B1 (ko) 1998-01-26 2006-07-05 웨인 웨스터만 수동 입력 통합 방법 및 장치
US6031531A (en) * 1998-04-06 2000-02-29 International Business Machines Corporation Method and system in a graphical user interface for facilitating cursor object movement for physically challenged computer users
US6188391B1 (en) 1998-07-09 2001-02-13 Synaptics, Inc. Two-layer capacitive touchpad and method of making same
JP4542637B2 (ja) 1998-11-25 2010-09-15 セイコーエプソン株式会社 携帯情報機器及び情報記憶媒体
GB2348520B (en) * 1999-03-31 2003-11-12 Ibm Assisting user selection of graphical user interface elements
US7218226B2 (en) 2004-03-01 2007-05-15 Apple Inc. Acceleration-based theft detection system for portable electronic devices
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US6570557B1 (en) 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
JP3800984B2 (ja) 2001-05-21 2006-07-26 ソニー株式会社 ユーザ入力装置
JP2003173237A (ja) 2001-09-28 2003-06-20 Ricoh Co Ltd 情報入出力システム、プログラム及び記憶媒体
US6690387B2 (en) 2001-12-28 2004-02-10 Koninklijke Philips Electronics N.V. Touch-screen image scrolling system and method
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
GB0222094D0 (en) 2002-09-24 2002-10-30 Koninkl Philips Electronics Nv Graphical user interface navigation method and apparatus
US20060107226A1 (en) * 2004-11-16 2006-05-18 Microsoft Corporation Sidebar autohide to desktop
US8378811B2 (en) 2005-03-11 2013-02-19 Aframe Digital, Inc. Mobile wireless customizable health and condition monitor
US7616110B2 (en) 2005-03-11 2009-11-10 Aframe Digital, Inc. Mobile wireless customizable health and condition monitor
US8618930B2 (en) 2005-03-11 2013-12-31 Aframe Digital, Inc. Mobile wireless customizable health and condition monitor
US9526421B2 (en) 2005-03-11 2016-12-27 Nrv-Wellness, Llc Mobile wireless customizable health and condition monitor
US7657849B2 (en) 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
US8341537B2 (en) * 2006-02-28 2012-12-25 Microsoft Corporation Indication of delayed content output in a user interface
US7852315B2 (en) * 2006-04-07 2010-12-14 Microsoft Corporation Camera and acceleration based interface for presentations
GB0607270D0 (en) 2006-04-11 2006-05-17 Univ Nottingham The pulsing blood supply
JP4267648B2 (ja) 2006-08-25 2009-05-27 株式会社東芝 インターフェース装置及びその方法
US8508472B1 (en) 2006-11-28 2013-08-13 James W. Wieder Wearable remote control with a single control button
JP4855970B2 (ja) * 2007-02-20 2012-01-18 株式会社エヌ・ティ・ティ・ドコモ 端末装置およびプログラム
US9317110B2 (en) 2007-05-29 2016-04-19 Cfph, Llc Game with hand motion control
US7873906B2 (en) * 2007-06-22 2011-01-18 International Business Machines Corporation Method and system for presenting a visual notification and delaying an action responsive to an onscreen selection
US20110210931A1 (en) 2007-08-19 2011-09-01 Ringbow Ltd. Finger-worn device and interaction methods and communication methods
JP4670860B2 (ja) 2007-11-22 2011-04-13 ソニー株式会社 記録再生装置
US8244294B2 (en) 2007-12-10 2012-08-14 Lg Electronics Inc. Character input apparatus and method for mobile terminal
JP2009245239A (ja) * 2008-03-31 2009-10-22 Sony Corp ポインタ表示装置、ポインタ表示検出方法、ポインタ表示検出プログラム及び情報機器
ES2329328B1 (es) 2008-05-23 2010-08-30 Hanscan Ip B.V. Procedimiento y escaner biometrico para identificar a una persona.
US8447704B2 (en) 2008-06-26 2013-05-21 Microsoft Corporation Recognizing gestures from forearm EMG signals
US8170656B2 (en) 2008-06-26 2012-05-01 Microsoft Corporation Wearable electromyography-based controllers for human-computer interface
US9037530B2 (en) 2008-06-26 2015-05-19 Microsoft Technology Licensing, Llc Wearable electromyography-based human-computer interface
US20100026626A1 (en) 2008-07-30 2010-02-04 Macfarlane Scott Efficient keyboards
US10489747B2 (en) * 2008-10-03 2019-11-26 Leaf Group Ltd. System and methods to facilitate social media
US20100182126A1 (en) 2008-12-18 2010-07-22 Martis Dinesh J Biometric sensing apparatus and methods incorporating the same
US9569001B2 (en) 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US8786575B2 (en) 2009-05-18 2014-07-22 Empire Technology Development LLP Touch-sensitive device and method
US20100289740A1 (en) 2009-05-18 2010-11-18 Bong Soo Kim Touchless control of an electronic device
US20140078318A1 (en) 2009-05-22 2014-03-20 Motorola Mobility Llc Electronic Device with Sensing Assembly and Method for Interpreting Consecutive Gestures
JP4988016B2 (ja) 2009-08-27 2012-08-01 韓國電子通信研究院 指の動き検出装置およびその方法
US20110153435A1 (en) * 2009-09-17 2011-06-23 Lexos Media Inc. System and method of cursor-based content delivery
US8593576B2 (en) 2009-10-15 2013-11-26 At&T Intellectual Property I, L.P. Gesture-based remote control
US8669842B2 (en) 2009-12-18 2014-03-11 Electronics And Telecommunications Research Institute Apparatus and method for controlling contents player
US8631355B2 (en) 2010-01-08 2014-01-14 Microsoft Corporation Assigning gesture dictionaries
JP2011198268A (ja) 2010-03-23 2011-10-06 Sony Corp 情報処理装置および方法、並びにプログラム
US9241635B2 (en) 2010-09-30 2016-01-26 Fitbit, Inc. Portable monitoring devices for processing applications and processing analysis of physiological conditions of a user associated with the portable monitoring device
KR101413539B1 (ko) 2010-11-22 2014-07-02 한국전자통신연구원 자세인식을 이용하는 제어신호 입력장치 및 제어신호 입력방법
US20130154913A1 (en) * 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
WO2012138663A2 (en) 2011-04-04 2012-10-11 Integrated Monitoring Systems, Llc System for biometric identity confirmation
US8819576B2 (en) * 2011-05-09 2014-08-26 Blackberry Limited Systems and methods for facilitating an input to an electronic device
US9513799B2 (en) 2011-06-05 2016-12-06 Apple Inc. Devices, methods, and graphical user interfaces for providing control of a touch-based user interface absent physical touch capabilities
US9367860B2 (en) 2011-08-05 2016-06-14 Sean McKirdy Barcode generation and implementation method and system for processing information
US9477320B2 (en) 2011-08-16 2016-10-25 Argotext, Inc. Input device
WO2013032187A1 (en) 2011-09-01 2013-03-07 Samsung Electronics Co., Ltd. Mobile terminal for performing screen unlock based on motion and method thereof
US9094603B2 (en) 2011-10-07 2015-07-28 Panasonic Intellectual Property Corporation Of America Image pickup device and image pickup method
US9442517B2 (en) * 2011-11-30 2016-09-13 Blackberry Limited Input gestures using device movement
US20160011724A1 (en) * 2012-01-06 2016-01-14 Google Inc. Hands-Free Selection Using a Ring-Based User-Interface
US20140068526A1 (en) 2012-02-04 2014-03-06 Three Bots Ltd Method and apparatus for user interaction
US20150220149A1 (en) 2012-02-14 2015-08-06 Google Inc. Systems and methods for a virtual grasping user interface
US20130234926A1 (en) 2012-03-07 2013-09-12 Qualcomm Incorporated Visually guiding motion to be performed by a user
US20140031698A1 (en) 2012-05-02 2014-01-30 San Diego State University Research Foundation Apparatus and method for sensing bone position and motion
KR101336289B1 (ko) 2012-05-08 2013-12-03 도시바삼성스토리지테크놀러지코리아 주식회사 전자기기 제어장치 및 그 방법
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US9891718B2 (en) 2015-04-22 2018-02-13 Medibotics Llc Devices for measuring finger motion and recognizing hand gestures
EP2698686B1 (en) 2012-07-27 2018-10-10 LG Electronics Inc. Wrist-wearable terminal and control method thereof
WO2014019085A1 (en) 2012-08-01 2014-02-06 Whirlscape, Inc. One-dimensional input system and method
WO2014055459A1 (en) 2012-10-03 2014-04-10 Redbox Automated Retail, Llc System and method for event ticketing utilizing an article dispensing machine
US8963806B1 (en) 2012-10-29 2015-02-24 Google Inc. Device authentication
EP2917813A1 (en) * 2012-11-07 2015-09-16 Pepe, Davide Input device, particularly for computers or the like, and corresponding graphical user interface system
US8994827B2 (en) 2012-11-20 2015-03-31 Samsung Electronics Co., Ltd Wearable electronic device
US11237719B2 (en) 2012-11-20 2022-02-01 Samsung Electronics Company, Ltd. Controlling remote electronic device with wearable electronic device
US10185416B2 (en) 2012-11-20 2019-01-22 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving movement of device
US11157436B2 (en) 2012-11-20 2021-10-26 Samsung Electronics Company, Ltd. Services associated with wearable electronic device
US8634808B1 (en) 2012-11-21 2014-01-21 Trend Micro Inc. Mobile device loss prevention
EP3617843B1 (en) 2012-12-10 2025-03-19 Samsung Electronics Co., Ltd. Mobile device, control method thereof, and ui display method
AU2013368443B2 (en) 2012-12-29 2016-03-24 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
TW201502859A (zh) 2013-01-28 2015-01-16 Bayer Materialscience Ag 電活性聚合物致動器及其回饋系統
US20140247232A1 (en) * 2013-03-01 2014-09-04 Tobii Technology Ab Two step gaze interaction
US9442570B2 (en) 2013-03-13 2016-09-13 Google Technology Holdings LLC Method and system for gesture recognition
US20140293755A1 (en) * 2013-03-28 2014-10-02 Meta Watch Oy Device with functional display and method for time management
KR102099358B1 (ko) 2013-04-22 2020-04-09 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
DE102013007250A1 (de) 2013-04-26 2014-10-30 Inodyn Newmedia Gmbh Verfahren zur Gestensteuerung
TWI489227B (zh) 2013-05-06 2015-06-21 巨擘科技股份有限公司 腕錶結構、腕錶用的電子旋鈕以及顯示器型腕錶
KR102135092B1 (ko) * 2013-06-03 2020-07-17 엘지전자 주식회사 영상표시장치의 동작 방법
EP3003149A4 (en) 2013-06-03 2017-06-14 Kacyvenski, Isaiah Motion sensor and analysis
KR101824921B1 (ko) 2013-06-11 2018-02-05 삼성전자주식회사 제스처 기반 통신 서비스 수행 방법 및 장치
US10884493B2 (en) 2013-06-20 2021-01-05 Uday Parshionikar Gesture based user interfaces, apparatuses and systems using eye tracking, head tracking, hand tracking, facial expressions and other user actions
US9435641B2 (en) 2013-06-20 2016-09-06 Analog Devices, Inc. Optical angle measurement
US9606721B2 (en) 2013-07-22 2017-03-28 Lg Electronics Inc. Mobile terminal and control method thereof
US9335897B2 (en) * 2013-08-08 2016-05-10 Palantir Technologies Inc. Long click display of a context menu
KR102034587B1 (ko) 2013-08-29 2019-10-21 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
US10001817B2 (en) 2013-09-03 2018-06-19 Apple Inc. User interface for manipulating user interface objects with magnetic properties
US9483123B2 (en) 2013-09-23 2016-11-01 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
US20150084660A1 (en) 2013-09-25 2015-03-26 Tektronix, Inc. Time-domain reflectometer de-embed probe
KR102109407B1 (ko) 2013-09-25 2020-05-12 엘지전자 주식회사 스마트 와치 및 제어 방법
US9389694B2 (en) 2013-10-22 2016-07-12 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
US20160299570A1 (en) 2013-10-24 2016-10-13 Apple Inc. Wristband device input using wrist movement
US10466858B2 (en) * 2013-12-01 2019-11-05 Upskill, Inc. Systems and methods for interacting with a virtual menu
US9632655B2 (en) * 2013-12-13 2017-04-25 Amazon Technologies, Inc. No-touch cursor for item selection
JP2015127870A (ja) * 2013-12-27 2015-07-09 ソニー株式会社 制御装置、制御方法、プログラム、及び、電子機器
WO2015102588A1 (en) 2013-12-30 2015-07-09 Apple Inc. User identification system based on plethysmography
US20150199780A1 (en) * 2014-01-16 2015-07-16 Alex Beyk Methods and systems for digital agreement establishment, signing, centralized management, and a storefront using head mounted displays and networks
US20150205358A1 (en) 2014-01-20 2015-07-23 Philip Scott Lyren Electronic Device with Touchless User Interface
RU2016136366A (ru) 2014-02-12 2018-03-15 Конинклейке Филипс Н.В. Устройство обнаружения движения, обнаруживающее движение руки
US20220050425A1 (en) 2019-07-19 2022-02-17 Medibotics Llc Wrist-Worn Device with a Flip-Up or Pop-Up Component and One or More Cameras
US20150242083A1 (en) * 2014-02-27 2015-08-27 Nokia Corporation Circumferential span region of a virtual screen
US10691332B2 (en) 2014-02-28 2020-06-23 Samsung Electronics Company, Ltd. Text input on an interactive display
US9804753B2 (en) 2014-03-20 2017-10-31 Microsoft Technology Licensing, Llc Selection using eye gaze evaluation over time
US9414115B1 (en) 2014-03-28 2016-08-09 Aquifi, Inc. Use of natural user interface realtime feedback to customize user viewable ads presented on broadcast media
CA2851611A1 (en) * 2014-05-09 2015-11-09 Reza Chaji Touch screen accessibility and functionality enhancement
US20160328108A1 (en) 2014-05-10 2016-11-10 Chian Chiu Li Systems And Methods for Displaying Information
US10222868B2 (en) 2014-06-02 2019-03-05 Samsung Electronics Co., Ltd. Wearable device and control method using gestures
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
KR20160000330A (ko) 2014-06-24 2016-01-04 엘지전자 주식회사 이동 단말기
US9977566B2 (en) * 2014-06-24 2018-05-22 Google Llc Computerized systems and methods for rendering an animation of an object in response to user input
US20160004408A1 (en) 2014-07-01 2016-01-07 Naver Corporation Methods, systems and recording mediums for improving mobile devices using user gestures
EP3167357A4 (en) * 2014-07-08 2018-01-17 Tandem Interface Pty Ltd Systems and methods for implementing a user-actuated controller device for use with a standard computer operating system having a plurality of pre-existing applications
US20170065184A1 (en) 2014-07-14 2017-03-09 Sensifree Ltd. Systems and methods for contactless arterial pressure estimator
KR20160015050A (ko) 2014-07-30 2016-02-12 엘지전자 주식회사 반지형 이동 단말기
JP6447917B2 (ja) 2014-08-06 2019-01-09 パナソニックＩｐマネジメント株式会社 手首装着型の入力装置
KR102319530B1 (ko) 2014-08-18 2021-10-29 삼성전자주식회사 사용자 입력 처리 방법 및 장치
US10552009B2 (en) 2014-09-02 2020-02-04 Apple Inc. Stopwatch and timer user interfaces
KR20160034065A (ko) 2014-09-19 2016-03-29 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR102271434B1 (ko) 2014-09-26 2021-07-01 엘지전자 주식회사 이동단말기 및 그 제어방법
US10488936B2 (en) 2014-09-30 2019-11-26 Apple Inc. Motion and gesture input from a wearable device
KR102188267B1 (ko) 2014-10-02 2020-12-08 엘지전자 주식회사 이동단말기 및 그 제어방법
KR102188268B1 (ko) 2014-10-08 2020-12-08 엘지전자 주식회사 이동단말기 및 그 제어방법
KR101636460B1 (ko) 2014-11-05 2016-07-05 삼성전자주식회사 전자 장치 및 그 제어 방법
US9685005B2 (en) * 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
US10656720B1 (en) 2015-01-16 2020-05-19 Ultrahaptics IP Two Limited Mode switching for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
KR101638095B1 (ko) * 2015-01-16 2016-07-20 한국과학기술원 시선 인식 및 생체 신호를 이용한 헤드 마운트 디스플레이를 통해 사용자 인터페이스를 제공하는 방법, 이를 이용한 장치 및 컴퓨터 판독 가능한 기록 매체
JP2016194755A (ja) 2015-03-31 2016-11-17 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
KR101927323B1 (ko) 2015-04-03 2018-12-10 엘지전자 주식회사 이동단말기 및 그 제어방법
US10466861B2 (en) 2015-04-21 2019-11-05 Apple Inc. Adaptive user interfaces
KR20170014297A (ko) 2015-07-29 2017-02-08 엘지전자 주식회사 와치 타입의 이동 단말기 및 그 제어 방법
US10290147B2 (en) * 2015-08-11 2019-05-14 Microsoft Technology Licensing, Llc Using perspective to visualize data
US10374662B2 (en) 2015-09-04 2019-08-06 Lg Electronics Inc. Watch-type mobile terminal
KR20170035547A (ko) 2015-09-23 2017-03-31 엘지이노텍 주식회사 원격 제어장치, 원격 제어방법 및 원격 제어시스템
US9939899B2 (en) 2015-09-25 2018-04-10 Apple Inc. Motion and gesture input from a wearable device
GB2544116B (en) * 2015-11-09 2020-07-29 Sky Cp Ltd Television user interface
KR102479462B1 (ko) 2015-12-07 2022-12-21 삼성전자주식회사 플렉서블 전자장치 및 그 동작 방법
US10831273B2 (en) 2016-01-26 2020-11-10 Lenovo (Singapore) Pte. Ltd. User action activated voice recognition
US10459597B2 (en) 2016-02-03 2019-10-29 Salesforce.Com, Inc. System and method to navigate 3D data on mobile and desktop
US10222957B2 (en) 2016-04-20 2019-03-05 Google Llc Keyboard with a suggested search query region
KR102481632B1 (ko) * 2016-04-26 2022-12-28 삼성전자주식회사 전자 장치 및 전자 장치의 디스플레이를 이용한 적응적 터치 입력 방법
US11327566B2 (en) 2019-03-29 2022-05-10 Facebook Technologies, Llc Methods and apparatuses for low latency body state prediction based on neuromuscular data
AU2017301435B2 (en) 2016-07-25 2022-07-14 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear
US11331045B1 (en) 2018-01-25 2022-05-17 Facebook Technologies, Llc Systems and methods for mitigating neuromuscular signal artifacts
US20180036469A1 (en) * 2016-08-05 2018-02-08 Fresenius Medical Care Holdings, Inc. Remote User Interfaces for Dialysis Systems
US10110272B2 (en) 2016-08-24 2018-10-23 Centurylink Intellectual Property Llc Wearable gesture control device and method
KR102784503B1 (ko) 2016-08-30 2025-03-26 삼성전자주식회사 답변 제공 방법 및 이를 지원하는 전자 장치
US11782531B2 (en) 2016-09-19 2023-10-10 Apple Inc. Gesture detection, list navigation, and item selection using a crown and sensors
US10318034B1 (en) * 2016-09-23 2019-06-11 Apple Inc. Devices, methods, and user interfaces for interacting with user interface objects via proximity-based and contact-based inputs
JP6851470B2 (ja) * 2016-09-26 2021-03-31 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 無人機の制御方法、頭部装着式表示メガネおよびシステム
US10162422B2 (en) 2016-10-10 2018-12-25 Deere & Company Control of machines through detection of gestures by optical and muscle sensors
DK179492B1 (en) 2016-10-25 2019-01-08 Apple Inc. SYSTEMS AND METHODS FOR ENABLING LOW-VISION USERS TO INTERACT WITH A TOUCH-SENSITIVE SECONDARY DISPLAY
US10834236B2 (en) * 2016-11-01 2020-11-10 Adobe Inc. Server-driven custom context menus
KR102038120B1 (ko) 2016-12-02 2019-10-30 피손 테크놀로지, 인크. 신체 조직 전기 신호의 검출 및 사용
US10528214B2 (en) 2016-12-28 2020-01-07 Microsoft Technology Licensing, Llc Positioning mechanism for bubble as a custom tooltip
US10936067B1 (en) 2017-02-13 2021-03-02 Snap, Inc. Generating a response that depicts haptic characteristics
US10684693B2 (en) 2017-03-02 2020-06-16 Samsung Electronics Co., Ltd. Method for recognizing a gesture and an electronic device thereof
KR102857458B1 (ko) 2017-04-19 2025-09-09 매직 립, 인코포레이티드 웨어러블 시스템을 위한 멀티모달 임무 실행 및 텍스트 편집
US10261595B1 (en) 2017-05-19 2019-04-16 Facebook Technologies, Llc High resolution tracking and response to hand gestures through three dimensions
US10558278B2 (en) 2017-07-11 2020-02-11 Apple Inc. Interacting with an electronic device through physical movement
US10496162B2 (en) * 2017-07-26 2019-12-03 Microsoft Technology Licensing, Llc Controlling a computer using eyegaze and dwell
US10591730B2 (en) 2017-08-25 2020-03-17 II Jonathan M. Rodriguez Wristwatch based interface for augmented reality eyewear
JP6981106B2 (ja) * 2017-08-29 2021-12-15 株式会社リコー 撮像装置、画像表示システム、操作方法、プログラム
EP3669234B1 (en) * 2017-09-20 2022-07-27 Samsung Electronics Co., Ltd. Wearable device with bezel ring to enable motion in multiple degrees of freedom
US11314399B2 (en) 2017-10-21 2022-04-26 Eyecam, Inc. Adaptive graphic user interfacing system
US11048334B2 (en) 2017-12-22 2021-06-29 Butterfly Network, Inc. Methods and apparatuses for identifying gestures based on ultrasound data
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US20200310541A1 (en) 2019-03-29 2020-10-01 Facebook Technologies, Llc Systems and methods for control schemes based on neuromuscular data
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US20200097081A1 (en) 2018-09-20 2020-03-26 Jasmine Stone Neuromuscular control of an augmented reality system
US20230072423A1 (en) 2018-01-25 2023-03-09 Meta Platforms Technologies, Llc Wearable electronic devices and extended reality systems including neuromuscular sensors
US10895979B1 (en) 2018-02-16 2021-01-19 David Graham Boyers Methods and user interfaces for positioning a selection, selecting, and editing, on a computing device running under a touch-based operating system, using gestures on a touchpad device
EP3762809A4 (en) 2018-03-07 2021-12-01 University of Massachusetts Medical School Office Of Technology Management SYSTEM TO FACILITATE VOICE COMMUNICATION FOR INDIVIDUALS WHO CANNOT SPEAK OR WRITE
US10966149B2 (en) 2018-03-09 2021-03-30 Samsung Electronics Co., Ltd. Display device and control method thereof
JP2019185531A (ja) 2018-04-13 2019-10-24 セイコーエプソン株式会社 透過型頭部装着型表示装置、表示制御方法、およびコンピュータープログラム
EP3801743B1 (en) 2018-05-25 2024-07-03 Meta Platforms Technologies, LLC Methods and apparatus for providing sub-muscular control
US11074116B2 (en) 2018-06-01 2021-07-27 Apple Inc. Direct input from a remote device
US10802598B2 (en) 2018-08-05 2020-10-13 Pison Technology, Inc. User interface control of responsive devices
US11099647B2 (en) 2018-08-05 2021-08-24 Pison Technology, Inc. User interface control of responsive devices
WO2020033110A1 (en) 2018-08-05 2020-02-13 Pison Technology, Inc. User interface control of responsive devices
US10905350B2 (en) 2018-08-31 2021-02-02 Facebook Technologies, Llc Camera-guided interpretation of neuromuscular signals
EP3853698A4 (en) 2018-09-20 2021-11-17 Facebook Technologies, LLC NEUROMUSCULAR TEXT ENTRY, WRITING AND DRAWING IN SYSTEMS WITH EXTENDED REALITY
EP3860527B1 (en) 2018-10-05 2024-07-10 Meta Platforms Technologies, LLC Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
US10838490B2 (en) * 2018-10-23 2020-11-17 Microsoft Technology Licensing, Llc Translating combinations of user gaze direction and predetermined facial gestures into user input instructions for near-eye-display (NED) devices
US20200150772A1 (en) 2018-11-09 2020-05-14 Google Llc Sensing Hand Gestures Using Optical Sensors
JP2022507628A (ja) 2018-11-16 2022-01-18 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニー 様々なタイプの仮想現実および／または拡張現実環境内の神経筋活性化からのフィードバック
TWI689859B (zh) 2019-03-19 2020-04-01 國立臺灣科技大學 由手腕偵測肌動訊號識別使用者手勢之系統及方法
US11036368B1 (en) 2019-03-29 2021-06-15 Snap Inc. Messaging system with message transmission user interface
US20200379716A1 (en) 2019-05-31 2020-12-03 Apple Inc. Audio media user interface
GB2604215B (en) 2019-06-21 2024-01-31 Cirrus Logic Int Semiconductor Ltd A method and apparatus for configuring a plurality of virtual buttons on a device
WO2021006903A1 (en) * 2019-07-11 2021-01-14 Hewlett-Packard Development Company, L.P. Eye-tracking for displays
US11422623B2 (en) 2019-10-23 2022-08-23 Interlake Research, Llc Wrist worn computing device control systems and methods
US11199908B2 (en) * 2020-01-28 2021-12-14 Pison Technology, Inc. Wrist-worn device-based inputs for an operating system
US11256336B2 (en) * 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
US11416917B2 (en) 2020-08-04 2022-08-16 Contextlogic, Inc. Content carousel
US11899845B2 (en) 2020-08-04 2024-02-13 Samsung Electronics Co., Ltd. Electronic device for recognizing gesture and method for operating the same
AU2021349381B2 (en) 2020-09-25 2024-02-22 Apple Inc. Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments
US12039025B2 (en) 2020-11-19 2024-07-16 Jvckenwood Corporation Biometric authentication through vascular monitoring
US11928263B2 (en) 2020-12-07 2024-03-12 Samsung Electronics Co., Ltd. Electronic device for processing user input and method thereof
US20220253146A1 (en) 2021-02-09 2022-08-11 Finch Technologies Ltd. Combine Inputs from Different Devices to Control a Computing Device
US20220291753A1 (en) 2021-03-10 2022-09-15 Finch Technologies Ltd. Spatial Gesture Recognition using Inputs from Different Devices to Control a Computing Device
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
US12449907B2 (en) 2021-05-19 2025-10-21 Apple Inc. Navigating user interfaces using a cursor
US11347320B1 (en) 2021-06-29 2022-05-31 Google Llc Gesture calibration for devices
KR20230030930A (ko) 2021-08-26 2023-03-07 삼성전자주식회사 전자 장치, 헤드-마운티드 디스플레이 장치, 웨어러블 장치 및 그 동작 방법
EP4413446A1 (en) 2021-10-08 2024-08-14 Meta Platforms Technologies, Llc Apparatus, system, and method for detecting user input via hand gestures and arm movements
US11803247B2 (en) 2021-10-25 2023-10-31 Kyndryl, Inc. Gesture-based control of plural devices in an environment
TWI802123B (zh) 2021-12-02 2023-05-11 財團法人工業技術研究院 3d靜脈圖譜的辨識方法及其識別裝置
US20230090410A1 (en) 2021-12-14 2023-03-23 Meta Platforms Technologies, Llc Artificial Reality Input Models
US12579758B2 (en) 2022-02-08 2026-03-17 Apple Inc. Devices, methods, and graphical user interfaces for interacting with virtual objects using hand gestures
US12543986B2 (en) 2022-02-25 2026-02-10 Meta Platforms Technologies, Llc Smart electrodes for sensing signals and processing signals using internally-housed signal-processing components at wearable devices and wearable devices incorporating the smart electrodes
US12386428B2 (en) 2022-05-17 2025-08-12 Apple Inc. User interfaces for device controls
US12158992B1 (en) 2022-05-27 2024-12-03 Meta Platforms Technologies, Llc Systems for interpreting thumb movements of in-air hand gestures for controlling user interfaces based on spatial orientations of a user's hand, and method of use thereof
US12436620B2 (en) 2022-08-18 2025-10-07 Meta Platforms Technologies, Llc Multi-stage gestures detected based on neuromuscular-signal sensors of a wearable device to activate user-interface interactions with low-false positive rates, and systems and methods of use thereof
US20240094819A1 (en) 2022-09-21 2024-03-21 Apple Inc. Devices, methods, and user interfaces for gesture-based interactions
US20240385691A1 (en) 2023-05-05 2024-11-21 Apple Inc. User interfaces for gesture detection
US20240370093A1 (en) 2023-05-05 2024-11-07 Apple Inc. User interfaces for gestures

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000227832A (ja) 1998-12-04 2000-08-15 Sony Corp 情報処理装置及び方法、並びに媒体
JP2001216069A (ja) 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
JP2002033795A (ja) 2000-04-28 2002-01-31 Sony Corp 携帯情報端末装置
JP2006209563A (ja) 2005-01-31 2006-08-10 Victor Co Of Japan Ltd インターフェース装置
US20130239046A1 (en) 2007-01-07 2013-09-12 Apple Inc. Application Programming Interfaces for Scrolling Operations
US20190268771A1 (en) 2012-12-10 2019-08-29 Samsung Electronics Co., Ltd. Mobile device of bangle type, control method thereof, and ui display method
JP2017510912A (ja) 2014-02-10 2017-04-13 アップル インコーポレイテッド 光学センサを使用して検出されるモーションジェスチャ入力
US20160018900A1 (en) 2014-07-18 2016-01-21 Apple Inc. Waking a device in response to user gestures
US20160029899A1 (en) 2014-07-31 2016-02-04 Lg Electronics Inc. Mobile terminal and controlling method thereof
JP2018536933A (ja) 2015-10-30 2018-12-13 オステンド・テクノロジーズ・インコーポレーテッド 身体上ジェスチャ・インターフェース及び投影表示のためのシステム及び方法
WO2018131251A1 (ja) 2017-01-12 2018-07-19 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US20200073481A1 (en) 2017-01-12 2020-03-05 Sony Corporation Information processing apparatus, information processing method, and program

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHANG他，FinDroidHR: Smartwatch Gesture Input with Optical Heartrate Monitor，In: Proceedings of the ACM on Interactive Mobile, Wearable and Ubiquitaous Technologies [online]，ACM，2018年03月，Vol.2, No.1, Article 56，pp.56:1-56:42，＜検索日:2023年7月24日＞, ＜DOI: https://doi.org/10.1145/319788＞
西谷他，深層学習を用いた脈波からのジェスチャ推定，２０２０年度 情報処理学会関西支部 支部大会 講演論文集[online]，日本，情報処理学会，2020年09月11日，2020，第1-4頁，＜検索日：2023年7月24日＞＜ＵＲＬ：http:id.nii.ac.jp/1001/0020708/＞

Also Published As

Publication number Publication date
CN115968464A (zh) 2023-04-14
JP2024096687A (ja) 2024-07-17
EP4189520A1 (en) 2023-06-07
US12189865B2 (en) 2025-01-07
EP4189520B1 (en) 2024-09-25
US20230195237A1 (en) 2023-06-22
EP4439259A3 (en) 2025-01-01
US20220374085A1 (en) 2022-11-24
JP2023539880A (ja) 2023-09-20
CN116382557A (zh) 2023-07-04
JP2026009933A (ja) 2026-01-21
US12449907B2 (en) 2025-10-21
EP4439259A2 (en) 2024-10-02
JP7846296B2 (ja) 2026-04-14

Similar Documents

Publication Publication Date Title
JP7749045B2 (ja) ハンドジェスチャを使用したユーザインタフェースのナビゲーション
JP7798966B2 (ja) コンテキスト固有のユーザインターフェース
US11714597B2 (en) Methods and user interfaces for sharing audio
US11847378B2 (en) User interfaces for audio routing
US12615491B2 (en) Interfaces for device interactions
EP4334811B1 (en) User interfaces for audio routing
US12386428B2 (en) User interfaces for device controls
JP7825002B2 (ja) オーディオを共有するための方法及びユーザインタフェース
US20240403395A1 (en) User interfaces and methods for enabling a security mode
JP2026504094A (ja) ユーザインタフェースを追跡するハードウェア及びソフトウェアの統合
US20260016904A1 (en) User interfaces for device controls
US20250377732A1 (en) Method and systems for performing operations in response to motion inputs
US20240385795A1 (en) Techniques for managing one or more displays
CN117441156B (zh) 用于音频路由的用户界面
US20260056695A1 (en) Techniques for managing one or more displays
US20240402967A1 (en) User interfaces for conditionally prompting to perform an operation
WO2022246060A1 (en) Navigating user interfaces using hand gestures
WO2024253805A1 (en) User interfaces for conditionally prompting to perform an operation
WO2025221689A1 (en) Air gesture user interfaces

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240415

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20241107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250922

R150 Certificate of patent or registration of utility model

Ref document number: 7749045

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150