Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6495376B2 - 画面用の手書きキーボード - Google Patents
[go: Go Back, main page]

JP6495376B2 - 画面用の手書きキーボード - Google Patents

画面用の手書きキーボード Download PDF

Info

Publication number
JP6495376B2
JP6495376B2 JP2017108227A JP2017108227A JP6495376B2 JP 6495376 B2 JP6495376 B2 JP 6495376B2 JP 2017108227 A JP2017108227 A JP 2017108227A JP 2017108227 A JP2017108227 A JP 2017108227A JP 6495376 B2 JP6495376 B2 JP 6495376B2
Authority
JP
Japan
Prior art keywords
stroke
text
display
input
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017108227A
Other languages
English (en)
Other versions
JP2017220231A (ja
Inventor
ライアン エス． ディクソン，
ライアン エス． ディクソン，
イムラン チャウダリ，
イムラン チャウダリ，
ブラッドリー ダブリュー． グリフィン，
ブラッドリー ダブリュー． グリフィン，
ティファニー エス． ジョン，
ティファニー エス． ジョン，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2017220231A publication Critical patent/JP2017220231A/ja
Application granted granted Critical
Publication of JP6495376B2 publication Critical patent/JP6495376B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of two-dimensional [2D] relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0362—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of one-dimensional [1D] translations or rotations of an operating part of the device, e.g. scroll wheels, sliders, knobs, rollers or belts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/274—Converting codes to words; Guess-ahead of partial word inputs
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Character Discrimination (AREA)
  • Position Input By Displaying (AREA)
  • Telephone Function (AREA)

Description

本開示は、概してコンピュータユーザインタフェースに関し、より具体的には小型画面上での手書きのための技術に関する。
背景
ウェアラブル電子デバイスは、情報を表示するための、かつ電子デバイス及び同デバイスに記憶されたコンテンツとの最小限のインタフェースインタフェースを可能にするためのディスプレイ画面を有することが多い。
これらのウェアラブルデバイスのいくつかは、タッチ感知面を含むが、画面は小さく、デバイスにテキストを直接入力するのは困難である。口述入力等、他のデータ入力方法が可能であるが、マイナス面もある。メッセージングの場合、既定のメッセージが役立つのは、限られた数の既定のメッセージのうちの１つが現在の状況に当てはまる時のみである。
しかし、電子デバイスを用いた小型画面上での手書きのためのいくつかの技術は、概して煩雑であり非効率である。例えば、既存のいくつかの技術では、複数のキー押圧すなわちキーストロークを含み得る、複雑で時間がかかるユーザインタフェースが用いられる。既存の技術では、必要以上に時間がかかり、ユーザの時間及びデバイスのエネルギーを無駄にしてしまう。この後者の考慮事項は、バッテリ動作式のデバイスにおいては特に重要である。
したがって、本技術は、小型画面上での手書きのための、より速く、より効率的な方法及びインタフェースを伴う電子デバイスを提供する。かかる方法及びインタフェースは任意選択的に、小型画面上での手書きのための他の方法を補完するか、又はそれに取って代わる。かかる方法及びインタフェースは、ユーザの認識的負担を軽減し、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作式のコンピューティングデバイスの場合には、このような方法及びインタフェースにより、電力が節約され、バッテリを充電する間隔が増す。例えば、後述する技術では、認識済みのテキストを手動及び自動の両方で修正すること、ストローク入力をインテリジェントに収集及び処理すること、並びにストローク入力が現在の文字又は次の文字に属する場合を認識することを考慮することによって、タッチ感知面を通じて入力された手書きがより効率的に認識される。
ある実施形態によれば、１つ以上のプロセッサ、タッチ感知面、ディスプレイ、及び回転可能入力機構を有するポータブル電子デバイスにおいて、メッセージエリア及びストローク入力エリアを含むユーザ入力インタフェースをディスプレイに表示することと、タッチ感知面のストローク入力エリアで第１のストロークセットを受けることと、第１のストロークセットに基づいて第１のテキストを決定することと、ディスプレイのメッセージエリアに第１のテキストを表示することと、第１のテキストに基づいて１つ以上の候補を決定することであって、１つ以上の候補は、第１のテキストに対する１つ以上の変更を含む、ことと、１つ以上の候補を決定した後に、回転可能入力機構を介してユーザ入力を受けることと、ユーザ入力に応じて、１つ以上の候補のうちの少なくとも１つを表示し、１つ以上の候補のうちの選択された候補を指示する選択インジケータを表示することと、少なくとも１つの候補又は１つ以上の候補及び選択インジケータを表示した後に、第１のテキストの表示を選択された候補の表示に置換することと、を行う。
一時的コンピュータ可読記憶媒体のある実施形態は、タッチ感知面、ディスプレイ、及び回転可能入力機構を有するポータブル電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、メッセージエリア及びストローク入力エリアを含むユーザ入力インタフェースをディスプレイに表示し、タッチ感知面のストローク入力エリアで第１のストロークセットを受け、第１のストロークセットに基づいて第１のテキストを決定し、ディスプレイのメッセージエリアに第１のテキストを表示し、第１のテキストに基づいて１つ以上の候補であって、１つ以上の候補は、第１のテキストに対する１つ以上の変更を含む、を決定し、１つ以上の候補を決定した後に、回転可能入力機構を介してユーザ入力を受け、ユーザ入力に応じて、１つ以上の候補のうちの少なくとも１つを表示し、１つ以上の候補のうちの選択された候補を指示する選択インジケータを表示し、少なくとも１つの候補又は１つ以上の候補及び選択インジケータを表示した後に、第１のテキストの表示を選択された候補の表示に置換する、命令を含む。
ある実施形態によれば、１つ以上のプロセッサ、タッチ感知面、ディスプレイ、及び回転可能入力機構を有する電子デバイスにおいて、メッセージエリア及びストローク入力エリアを含むユーザ入力インタフェースをディスプレイに表示することと、タッチ感知面のストローク入力エリアで第１のストロークセットを受けることと、第１のストロークセットに基づいて第１のテキストを決定することと、メッセージエリアに第１のテキストを表示することと、第１のストロークセットを受け第１のテキストを表示した後に、タッチ感知面のストローク入力エリアで第２のストロークセットを受けることと、第１のストロークセット及び第２のストロークセットに基づいて、修正された第１のテキストを決定することと、第１のテキストの表示を修正された第１のテキストと置換することと、を行う。
一時的コンピュータ可読記憶媒体のある実施形態は、タッチ感知面、ディスプレイ、及び回転可能入力機構を有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、メッセージエリア及びストローク入力エリアを含むユーザ入力インタフェースをディスプレイに表示し、タッチ感知面のストローク入力エリアで第１のストロークセットを受け、第１のストロークセットに基づいて第１のテキストを決定し、メッセージエリアに第１のテキストを表示し、第１のストロークセットを受け第１のテキストを表示した後に、タッチ感知面のストローク入力エリアで第２のストロークセットを受け、第１のストロークセット及び第２のストロークセットに基づいて、修正された第１のテキストを決定することと、第１のテキストの表示を修正された第１のテキストと置換する、命令を含む。
ある実施形態によれば、１つ以上のプロセッサ、タッチ感知面、ディスプレイ、及び回転可能入力機構を有する電子デバイスにおいて、メッセージエリア及びストローク入力エリアを含むユーザ入力インタフェースをディスプレイに表示することと、タッチ感知面のストローク入力エリアで第１のストロークセットを受けることと、第１のストロークセットに基づいて第１のテキストの決定を開始することと、第１のストロークセットを受けた後に、メッセージエリアに第１のテキストを表示せずに、タッチ感知面のストローク入力エリアで第２のストロークセットを受けることと、第１のストロークセット及び第２のストロークセットに基づいて、修正された第１のテキストを決定することと、メッセージエリアに修正された第１のテキストを表示することと、を行う。
タッチ感知面、ディスプレイ、及び回転可能入力機構を有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する一時的コンピュータ可読記憶媒体のある実施形態であって、１つ以上のプログラムは、メッセージエリア及びストローク入力エリアを含むユーザ入力インタフェースをディスプレイに表示し、タッチ感知面のストローク入力エリアで第１のストロークセットを受け、第１のストロークセットに基づいて第１のテキストの決定を開始し、メッセージエリアに第１のテキストを表示せずに、第１のストロークセットを受けた後に、タッチ感知面のストローク入力エリアで第２のストロークセットを受け、第１のストロークセット及び第２のストロークセットに基づいて、修正された第１のテキストを決定し、メッセージエリアに修正された第１のテキストを表示する、命令を含む。
ある実施形態によれば、１つ以上のプロセッサ、タッチ感知面、ディスプレイ、及び回転可能入力機構を有する電子デバイスにおいて、メッセージエリア及びストローク入力エリアを含むユーザ入力インタフェースをディスプレイに表示することと、タッチ感知面のストローク入力エリアで第１のストロークを受けることと、第１のストロークを受けた後の第１の時間に、タッチ感知面で第２のストロークを受けることであって、第２のストロークは、第１のストロークとは異なる、ことと、第１の時間が閾値時間を超えているかどうかを判定することと、第１の時間が閾値時間を超えているとの判定に従って、第２のストロークではなく第１のストロークに基づいて第１の文字を決定することと、第１の時間が閾値時間未満であるとの判定に従って、第１のストローク及び第２のストロークに基づいて第１の文字を決定することと、メッセージエリアに第１の文字を表示することと、を行う。
一時的コンピュータ可読記憶媒体のある実施形態は、タッチ感知面、ディスプレイ、及び回転可能入力機構を有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、メッセージエリア及びストローク入力エリアを含むユーザ入力インタフェースをディスプレイに表示し、タッチ感知面のストローク入力エリアで第１のストロークを受け、第１のストロークを受けた後の第１の時間に、タッチ感知面で第２のストロークであって、第２のストロークは、第１のストロークとは異なる、受け、第１の時間が閾値時間を超えているかどうかを判定し、第１の時間が閾値時間を超えているとの判定に従って、第２のストロークではなく第１のストロークに基づいて第１の文字を決定し、第１の時間が閾値時間未満であるとの判定に従って、第１のストローク及び第２のストロークに基づいて第１の文字を決定し、メッセージエリアに第１の文字を表示する、命令を含む。
これらの機能を実行する実行可能命令は、任意選択的に、非一時的コンピュータ可読記憶媒体又は１つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。これらの機能を実行する実行可能命令は、任意選択的に、一時的コンピュータ可読記憶媒体又は１つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。
このため、小型画面上での手書きのための、より速く、より効率的な方法及びインタフェースをデバイスが備え、それによって、このようなデバイスの有効性、効率、及びユーザ満足度が増す。このような方法及びインタフェースは、小型画面上での手書きのための他の方法を補完するか又は置き換えてもよい。
上記の様々な実施形態をより良く理解するために、下記の図面と併せて、以下の実施形態の説明を参照されたい。類似の参照番号は、図面全体を通じて、対応する部品を指す。
いくつかの実施形態に係る、タッチ感知ディスプレイを備えたポータブル多機能デバイスを示すブロック図である。
いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。
いくつかの実施形態に係る、タッチスクリーンを有するポータブル多機能デバイスを示す図である。
いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を備えた例示的な多機能デバイスのブロック図である。
いくつかの実施形態に係る、ポータブル多機能デバイスのアプリケーションメニューのための例示的なユーザインタフェースを示す図である。
いくつかの実施形態に係る、ディスプレイとは別個のタッチ感知面を有する多機能デバイスのための例示的なユーザインタフェースを示す図である。
いくつかの実施形態に係る、パーソナル電子デバイスを示す図である。
いくつかの実施形態に係る、パーソナル電子デバイスを示すブロック図である。
画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。
タッチ感知面上での手書きのための方法を示すフロー図である。
電子デバイスの例示的な機能ブロック図である。
画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。
タッチ感知面上での手書きのための方法を示すフロー図である。
電子デバイスの例示的な機能ブロック図である。
画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。
タッチ感知面上での手書きのための方法を示すフロー図である。
電子デバイスの例示的な機能ブロック図である。
画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。 画面上での手書きのための例示的なユーザインタフェースを示す図である。
タッチ感知面上での手書きのための方法を示すフロー図である。
電子デバイスの例示的な機能ブロック図である。
以下の説明では、例示的な方法、パラメータなどが記載される。しかし、かかる説明は、本開示の範囲に対する制限を意図するものではなく、例示的な実施形態の説明として提供されることを認識されたい。
小型画面上での手書きのための効率的な方法及びインタフェースを提供する電子デバイスが必要である。例えば、小型のタッチ感知面を有するウェアラブルデバイスは、一部のコンテンツ及びデータへのアクセス及びナビゲーションを考慮するが、現在のところテキストデータを直接入力する時に、これらの画面を使用するのは困難である。本明細書に記述する技術は、タッチ感知面、特に小さなタッチ感知面上でのより良好な手書き入力をもたらす。そのような技術は、小型画面に手書きを入力するユーザの認識的負担を軽減し、それによって生産性を高め得る。更には、そのような技術は、通常であれば冗長なユーザ入力に対して浪費される、プロセッサ及びバッテリの電力を削減することができる。
以下、図１Ａ〜図１Ｂ、図２、図３、図４Ａ〜図４Ｂ、及び図５Ａ〜図５Ｈは、イベント通知を管理するための技術を実行するための例示的なデバイスの説明を提供する。図６Ａ〜図６Ｒは、イベント通知を管理するための例示的なユーザインタフェースを示す図である。図７は、いくつかの実施形態に係る、イベント通知を管理する方法を示すフロー図である。図６Ａ〜図６Ｒにおけるユーザインタフェースは、図７における処理を含む、以下に説明される処理を例示するために用いられる。
図９Ａ〜図９Ｉは、イベント通知を管理するための例示的なユーザインタフェースを示している。図１０は、いくつかの実施形態に係る、イベント通知を管理する方法を示すフロー図である。図９Ａ〜図９Ｉにおけるユーザインタフェースは、図１０Ｂにおける処理を含む、以下に説明される処理を例示するために用いられる。
図１２Ａ〜図１２Ｌは、イベント通知を管理するための例示的なユーザインタフェースを示している。図１３は、いくつかの実施形態に係る、イベント通知を管理する方法を示すフロー図である。図１２Ａ〜図１２Ｌにおけるユーザインタフェースは、図１３における処理を含む、以下に説明される処理を例示するために用いられる。
図１５Ａ〜図１５Ｊは、イベント通知を管理するための例示的なユーザインタフェースを示している。図１６は、いくつかの実施形態に係る、イベント通知を管理する方法を示すフロー図である。図１５Ａ〜図１５Ｊにおけるユーザインタフェースは、図１６における処理を含む、以下に説明される処理を例示するために用いられる。
以下の説明では、様々な要素を説明するために「第１」、「第２」などの用語を使用するが、これらの要素はこれらの用語によって限定されるべきではない。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、説明されている様々な実施形態の範囲から逸脱することなく、第１のタッチは第２のタッチと称することができ、同様に、第２のタッチは第１のタッチと称し得る。第１のタッチと第２のタッチは共にタッチであるが、同じタッチではない。
本明細書において様々な記載の実施形態の説明で用いられている用語は、特定の実施形態のみを説明することを目的とするものであって、限定することを意図するものではない。説明される様々な実施形態の説明及び添付の特許請求の範囲で使用される時、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈がそうではないことを明確に示さない限り、複数形もまた含むことが意図される。本明細書で使用される時に、用語「及び／又は」が、関連する列挙された項目のうちの１つ以上の全ての可能な任意の組み合わせを指し、かつこれを含むことをもまた理解されたい。用語「ｉｎｃｌｕｄｅｓ（含む）」、「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｅｓ（備える）」、及び／又は「ｃｏｍｐｒｉｓｉｎｇ（備える）」は、本明細書で使用される場合、記述される特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらの群の存在若しくは追加を排除するものではないことが、更に理解されるであろう。
用語「ｉｆ（〜場合に）」は、任意選択的に、文脈に応じて「ｗｈｅｎ（〜時に）」、「ｕｐｏｎ（〜時に）」、「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ（〜との判定に応じて）」、又は「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ（〜を検出するのに応じて）」を意味すると解釈される。同様に、語句「ｉｆ ｉｔ ｉｓ ｄｅｔｅｒｍｉｎｅｄ（〜と決定される場合には）」又は「ｉｆ （ａ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ） ｉｓ ｄｅｔｅｃｔｅｄ（（記述される条件又はイベント）が検出される場合には）」は、任意選択的に、文脈に応じて「ｕｐｏｎ ｄｅｔｅｒｍｉｎｉｎｇ（〜と決定されると）」、又は「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ（〜との判定に応じて）」、又は「ｕｐｏｎ ｄｅｔｅｃｔｉｎｇ（ｔｈｅ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ）（（記述される条件又はイベント）が検出されると）」、又は「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ（ｔｈｅ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ）（（記述される条件又はイベント）の検出に応じて）」を意味するものと解釈される。
電子デバイス、かかるデバイスのユーザインタフェース、及びかかるデバイスを使用するための関連する処理の実施形態を説明する。いくつかの実施形態では、このデバイスは、ＰＤＡ機能及び／又は音楽再生機能などの他の機能をも含む、モバイル電話機などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態は、限定を伴わずに、Ｃａｌｉｆｏｒｎｉａ州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ Ｉｎｃ．のｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）デバイスを含む。タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を備えたラップトップ又はタブレットコンピュータなど他のポータブル電子デバイスも、任意選択的に、使用できる。また、いくつかの実施形態では、このデバイスはポータブル通信デバイスではなく、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を備えるデスクトップコンピュータであることを理解されたい。
以下の考察では、ディスプレイ及びタッチ感知面を含む電子デバイスを説明する。しかし、この電子デバイスは、物理的なキーボード、マウス、及び／又はジョイスティックなどの１つ以上の他の物理的なユーザインタフェースデバイスを任意選択的に含むことを理解されたい。
このデバイスは、典型的には、描画アプリケーション、プレゼンテーションアプリケーション、文書作成アプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、ビデオ会議アプリケーション、電子メールアプリケーション、インスタントメッセージアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽再生アプリケーション、及び／又はデジタル映像再生アプリケーションのうちの１つ以上などの様々なアプリケーションをサポートする。
このデバイスで実行される様々なアプリケーションは、タッチ感知面などの、少なくとも１つの共通の物理的なユーザインタフェースデバイスを、任意選択的に、使用する。タッチ感知面の１つ以上の機能、並びにデバイスに表示される対応する情報は、アプリケーション毎に、及び／又は対応するアプリケーション内で、任意選択的に、調節及び／又は変更される。このように、デバイスの共通の（タッチ感知面などの）物理的なアーキテクチャは、ユーザにとって直観的かつ透過的なユーザインタフェースを有する様々なアプリケーションを、任意選択的にサポートする。
ここで、タッチ感知ディスプレイを備えたポータブルデバイスの実施形態に注目を向ける。図１Ａは、いくつかの実施形態に係る、タッチ感知ディスプレイシステム１１２を備えたポータブル多機能デバイス１００を示すブロック図である。タッチ感知ディスプレイ１１２は、便宜上「タッチスクリーン」と呼ばれる場合があり、タッチ感知ディスプレイシステムとして、既知である場合又は呼ばれる場合もある。デバイス１００は、メモリ１０２（任意選択的に、１つ以上のコンピュータ可読記憶媒体を含む）、メモリコントローラ１２２、１つ以上の処理ユニット（ＣＰＵ）１２０、周辺機器インタフェース１１８、ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、入出力（Ｉ／Ｏ）サブシステム１０６、他の入力制御デバイス１１６、及び外部ポート１２４を含む。デバイス１００は、１つ以上の光センサ１６４を任意選択的に含む。デバイス１００は、デバイス１００（例えば、デバイス１００のタッチ感知ディスプレイシステム１１２などのタッチ感知面）上の接触の強度を検出するための、１つ以上の接触強度センサ１６５を任意選択的に含む。デバイス１００は、デバイス１００上に触知出力を生成する（例えば、デバイス１００のタッチ感知ディスプレイシステム１１２又はデバイス３００のタッチパッド３５５などの、タッチ感知面に触知出力を生成する）ための、１つ以上の触知出力生成器１６７を任意選択的に含む。これらの構成要素は、１つ以上の通信バス又は信号ライン１０３を介して任意選択的に通信する。
本明細書及び特許請求の範囲で用いられている場合、用語、タッチ感知面上の接触の「強度」は、タッチ感知面上の接触（例えば、指接触）の力又は圧力（単位面積当たりの力）、又は、タッチ感知面上の接触の力若しくは圧力の代用物（プロキシ）を指す。接触の強度は、少なくとも４つの別個の値を含み、より典型的には、何百もの異なる値（例えば、少なくとも２５６）を含む、値の範囲を有する。接触の強度は、様々な方法及び様々なセンサ、又はセンサの組み合わせを使用して、任意選択的に、決定（又は、測定）される。例えば、タッチ感知面の下に又は隣接して配置された１つ以上の力センサは、タッチ感知面の様々な点における力を測定するために、任意選択的に使用される。いくつかの実装において、複数の力センサの力測定値を組み合わせて（例えば、加重平均）、接触力の推定値を決定する。同様に、スタイラスの感圧性先端部を任意選択的に使用して、タッチ感知面上のスタイラスの圧力を決定する。あるいは、タッチ感知面で検出される接触領域のサイズ及び／又はその変化、接触に近接するタッチ感知面の電気容量及び／又はその変化、並びに／若しくは、接触に近接するタッチ感知面の抵抗及び／又はその変化が、タッチ感知面上の接触の力又は圧力の代替物として、任意選択的に用いられる。いくつかの実装例では、接触の力又は圧力の代替的測定値は、強度閾値を超えているかどうかを判定するために直接に用いられる（例えば、強度閾値は、代替的測定値に対応する単位で記述される）。いくつかの実装例では、接触の力又は圧力の代替的測定値は、推定される力又は圧力に変換され、この推定される力又は圧力を用いて、強度閾値を超えているかどうかを判定する（例えば、強度閾値は、圧力の単位で測定された圧力閾値である）。接触の強度をユーザ入力の属性として使用することにより、アフォーダンスを（例えば、タッチ感知ディスプレイ上に）表示するための、及び／又は、ユーザ入力を（例えば、タッチ感知ディスプレイ、タッチ感知面、又はノブ若しくはボタンなどの物理的／機械的制御部を介して）受けるための、面積が制限されている、低減されたサイズのデバイスで、他の場合であればユーザによってアクセスすることが不可能であり得る、追加的なデバイス機能への、ユーザのアクセスが考慮される。
本明細書及び特許請求の範囲で用いられる場合、用語「触知出力」は、デバイスの従前の位置に対するデバイスの物理的な変位、デバイスの構成要素（例えば、タッチ感知面）のデバイスの別の構成要素（例えば、筐体）に対する物理的な変位、又は、ユーザの触感によりユーザによって検出されるデバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザの表面（例えば、ユーザの手の指、手のひら、又は他の部分）に接触している状況において、物理的な変位によって生成された触知出力は、デバイス又はデバイスの構成要素の物理的な特性の認識された変化に相当する触感として、ユーザによって解釈されるであろう。例えば、タッチ感知面（例えば、タッチ感知ディスプレイ又はトラックパッド）の移動は、ユーザによって、物理的なアクチュエータボタンの「ダウンクリック」又は「アップクリック」として任意選択的に解釈される。いくつかの場合、ユーザの動作により物理的に押圧された（例えば、変位された）タッチ感知面に関連付けられた物理的なアクチュエータボタンの移動がない時でさえ、ユーザは「ダウンクリック」又は「アップクリック」などの触感を感じるであろう。別の例として、タッチ感知面の移動は、タッチ感知面の平滑度に変化がない場合であっても、ユーザによって、そのタッチ感知面の「粗さ」として、任意選択的に解釈又は感知される。ユーザによるタッチのかかる解釈は、ユーザの個別の感覚認知によるが、大多数のユーザに共通したタッチの感覚認知が数多くある。したがって、触知出力が、ユーザの特定の感覚認知（例えば、「アップクリック」、「ダウンクリック」、「粗さ」）に対応するものとして記述される場合、別途記載のない限り、生成された触知出力は、典型的な（又は、平均的な）ユーザの記述された感覚認知を生成するデバイス、又はその構成要素の物理的な変位に対応する。
デバイス１００は、ポータブル多機能デバイスの一例に過ぎず、デバイス１００は、示されているよりも多くの又は少ない構成要素を、任意選択的に、有し、２つ以上の構成要素を、任意選択的に、組み合わせ、又は、異なる構成又は配置の構成要素を、任意選択的に、有することに注意すべきである。図１Ａに示される様々な構成要素は、１つ以上の信号処理回路及び／又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの双方の組み合わせで実装される。
メモリ１０２は、高速ランダムアクセスメモリを、任意選択的に、含み、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性固体記憶デバイスなどの不揮発性メモリを、任意選択的に、また含む。メモリコントローラ１２２は、任意選択的に、デバイス１００の他の構成要素によるメモリ１０２へのアクセスを制御することができる。
周辺機器インタフェース１１８は、デバイスの入力及び出力周辺機器をＣＰＵ１２０及びメモリ１０２に結合するために使用し得る。１つ以上のプロセッサ１２０は、デバイス１００のための様々な機能を実行するため並びにデータ処理を行うために、メモリ１０２に記憶された様々なソフトウェアプログラム及び／若しくは命令セットを動作させたり、又は実行したりする。いくつかの実施形態では、周辺機器インタフェース１１８、ＣＰＵ１２０、及びメモリコントローラ１２２は任意選択的に、チップ１０４などの単一チップ上に実装される。いくつかの他の実施形態において、これらは、個別のチップ上に任意選択的に実装される。
ＲＦ（無線周波数）回路１０８は、電磁信号とも称されるＲＦ信号を受信及び送信する。ＲＦ回路１０８は、電気信号を電磁信号に／電磁信号を電気信号に変換し、その電磁信号を介して、通信ネットワーク及び他の通信デバイスと通信する。ＲＦ回路１０８は、これらの機能を実行するための周知の回路を任意選択的に含み、それらの回路としては、アンテナシステム、ＲＦ送受信機、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュール（ＳＩＭ）カード、メモリなどが挙げられるが、これらに限定されない。ＲＦ回路１０８は、ワールドワイドウェブ（ＷＷＷ）とも称されるインターネットなどのネットワーク、セルラ電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）、及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）などの、イントラネット及び／又は無線ネットワーク、並びに他のデバイスと、無線通信によって任意選択的に通信する。ＲＦ回路１０８は、短距離通信無線（short-range communication radio）などにより、近距離通信（ＮＦＣ）フィールドを検出するための周知の回路を、任意選択的に含む。無線通信は、複数の通信規格、通信プロトコル、及び通信技術のうちのいずれかを、任意選択的に使用し、それらの通信規格、通信プロトコル、及び通信技術としては、移動通信用のグローバルシステム（Global System for Mobile Communications、ＧＳＭ（登録商標））、拡張データＧＳＭ環境（Enhanced Data GSM Environment、ＥＤＧＥ）、高速ダウンリンクパケット接続（high-speed downlink packet access、ＨＳＤＰＡ）、高速アップリンクパケット接続（high-speed uplink packet access、ＨＳＵＰＡ）、Ｅｖｏｌｕｔｉｏｎ，Ｄａｔａ−Ｏｎｌｙ（ＥＶ−ＤＯ）、ＨＳＰＡ、ＨＳＰＡ＋、２重セルＨＳＰＡ（Dual-Cell HSPA、ＤＣ−ＨＳＰＤＡ）、ロングタームエボリューション（long term evolution、ＬＴＥ）、近距離無線通信（near field communication、ＮＦＣ）、広帯域符号分割多元接続（wideband code division multiple access、Ｗ−ＣＤＭＡ）、符号分割多元接続（code division multiple access、ＣＤＭＡ）、時分割多元接続（time division multiple access、ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（ＢＴＬＥ）、Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ（Ｗｉ−Ｆｉ）（登録商標）（例えば、ＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ、ＩＥＥＥ ８０２．１１ｎ、及び／又はＩＥＥＥ ８０２．１１ａｃ）、ボイスオーバーインターネットプロトコル（voice over Internet Protocol、ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メール用のプロトコル（例えば、インターネットメッセージアクセスプロトコル（Internet message access protocol、ＩＭＡＰ）及び／又はポストオフィスプロトコル（post office protocol、ＰＯＰ））、インスタントメッセージング（例えば、拡張可能メッセージング及びプレゼンスプロトコル（extensible messaging and presence protocol、ＸＭＰＰ）、インスタントメッセージング及びプレゼンス利用拡張向けセッション開始プロトコル（Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、ＳＩＭＰＬＥ）、インスタントメッセージング及びプレゼンスサービス（Instant Messaging and Presence Service、ＩＭＰＳ））、及び／又はショートメッセージサービス（Short Message Service、ＳＭＳ）、あるいは本文書の出願日現在までにまだ開発されていない通信プロトコルを含めた任意の他の好適な通信プロトコルが挙げられるが、これらに限定されない。
オーディオ回路１１０、スピーカ１１１、及びマイクロフォン１１３は、ユーザとデバイス１００との間のインタフェースを提供する。オーディオ回路１１０は、周辺機器インタフェース１１８からオーディオデータを受信し、このオーディオデータを電気信号に変換し、この電気信号をスピーカ１１１に送信する。スピーカ１１１は、電気信号を人間の可聴音波に変換する。オーディオ回路１１０は、マイクロフォン１１３により音波から変換された電気信号もまた受信する。オーディオ回路１１０は、電気信号をオーディオデータに変換し、処理するためにオーディオデータを周辺機器インタフェース１１８に送信する。オーディオデータは、周辺機器インタフェース１１８によって任意選択的に、メモリ１０２及び／若しくはＲＦ回路１０８から取り込まれ、並びに／又はメモリ１０２及び／若しくはＲＦ回路１０８へ送信される。いくつかの実施形態では、オーディオ回路１１０はヘッドセットジャック（例えば、図２の２１２）を更に備える。ヘッドセットジャックは、オーディオ回路１１０と、出力専用ヘッドホン又は出力（例えば、片耳又は両耳用のヘッドホン）及び入力（例えば、マイクロフォン）の双方を有するヘッドセットなどの、取り外し可能なオーディオ入出力周辺機器と、の間のインタフェースを提供する。
Ｉ／Ｏサブシステム１０６は、タッチスクリーン１１２及び他の入力制御デバイス１１６などのデバイス１００の入出力周辺機器を周辺機器インタフェース１１８に結合する。Ｉ／Ｏサブシステム１０６は、任意選択的に、ディスプレイコントローラ１５６、光センサコントローラ１５８、強度センサコントローラ１５９、触覚フィードバックコントローラ１６１、及び他の入力若しくは制御デバイスのための１つ以上の入力コントローラ１６０を含む。１つ以上の入力コントローラ１６０は、他の入力制御デバイス１１６との間で、電気信号を受信／送信する。他の入力制御デバイス１１６は、任意選択的に、物理的なボタン（例えば、プッシュボタン、ロッカボタンなど）、ダイアル、スライダスイッチ、ジョイスティック、クリックホイールなどを含む。いくつかの代替的実施形態では、入力コントローラ（単数又は複数）１６０は、任意選択的に、キーボード、赤外線ポート、ＵＳＢポート、及びマウスなどのポインタデバイスのうちのいずれかに結合される（又は、いずれにも結合されない）。１つ以上のボタン（例えば、図２の２０８）は、任意選択的に、スピーカ１１１及び／又はマイクロフォン１１３の音量調節のための、アップ／ダウンボタンを含む。１つ以上のボタンは、任意選択的に、プッシュボタン（例えば、図２の２０６）を含む。
２００５年１２月２３日に出願された、米国特許第７，６５７，８４９号である米国特許出願第１１／３２２，５４９号、「Ｕｎｌｏｃｋｉｎｇ ａ Ｄｅｖｉｃｅ ｂｙ Ｐｅｒｆｏｒｍｉｎｇ Ｇｅｓｔｕｒｅｓ ｏｎ ａｎ Ｕｎｌｏｃｋ Ｉｍａｇｅ」に記載されているように、プッシュボタンの素早い押圧により、タッチスクリーン１１２のロックが任意選択的に解除されるか、又はデバイスのロック解除にタッチスクリーン上のジェスチャを用いる処理が任意選択的に開始されてもよい。この特許は、その全体が本明細書において参照により組み込まれている。プッシュボタン（例えば、２０６）をより長い押圧ことにより、デバイス１００の電源を任意選択的にオンオフする。ボタンのうちの１つ以上の機能は、任意選択的に、ユーザによってカスタマイズ可能である。タッチスクリーン１１２は、仮想又はソフトボタン、及び１つ以上のソフトキーボードを実現するために用いられる。
タッチ感知ディスプレイ１１２は、デバイスとユーザとの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ１５６は、タッチスクリーン１１２から電気信号を受信し、それへ電気信号を送信する。タッチスクリーン１１２は、ユーザに視覚出力を表示する。視覚出力は、グラフィック、テキスト、アイコン、ビデオ、及びこれらの任意の組み合わせ（総称して「グラフィック」と称する）を、任意選択的に含む。いくつかの実施形態では、視覚出力の一部又は全ては、任意選択的にユーザインタフェースオブジェクトに対応する。
タッチスクリーン１１２は、触覚及び／又は触覚接触に基づくユーザからの入力を受けるタッチ感知面、センサ、又はセンサのセットを有する。タッチスクリーン１１２及びディスプレイコントローラ１５６は（メモリ１０２内の任意の関連モジュール及び／又は命令セットと共に）、タッチスクリーン１１２で接触（及び任意の接触の移動又は中断）を検出し、検出された接触をタッチスクリーン１１２に表示されたユーザインタフェースオブジェクト（例えば、１つ以上のソフトキー、アイコン、ウェブページ、又は画像）との対話に変換する。ある例示的な実施形態では、タッチスクリーン１１２とユーザとの間の接触点は、ユーザの指に対応する。
タッチスクリーン１１２には、任意選択的に、ＬＣＤ（液晶ディスプレイ）技術、ＬＰＤ（発光ポリマディスプレイ）技術、又はＬＥＤ（発光ダイオード）技術が用いられるが、他の実施形態では、他のディスプレイ技術が用いられる。タッチスクリーン１１２及びディスプレイコントローラ１５６は、静電容量技術、抵抗性技術、赤外線技術、及び表面超音波技術、並びに、タッチスクリーン１１２との１つ以上の接触点を決定するための他の近接センサアレイ又は他の要素を含むが、これらに限定されない、現在既知の若しくは後日に開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及び任意の移動又はその中断を任意選択的に検出する。例示的な実施形態では、Ｃａｌｉｆｏｒｎｉａ州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ Ｉｎｃ．によるｉＰｈｏｎｅ（登録商標）及びｉＰｏｄ Ｔｏｕｃｈ（登録商標）において見られるような、投影型相互静電容量感知技術が使用されている。
タッチスクリーン１１２のいくつかの実施形態におけるタッチ感知ディスプレイは、任意選択的に、以下の米国特許、第６，３２３，８４６号（Ｗｅｓｔｅｒｍａｎら）、第６，５７０，５５７号（Ｗｅｓｔｅｒｍａｎら）、及び／又は第６，６７７，９３２号（Ｗｅｓｔｅｒｍａｎ）、及び／又は米国特許出願公開第２００２／００１５０２４（Ａ１）号に記載されているマルチタッチ感知タッチパッドに類似する。これらの文献は、それぞれその全体が本明細書において参照により組み込まれている。しかし、タッチスクリーン１１２はデバイス１００からの視覚出力を表示するのに対して、タッチ感知タッチパッドは視覚出力を提供しない。
タッチスクリーン１１２のいくつかの実施形態におけるタッチ感知ディスプレイは、以下の出願で説明されている。（１）２００６年５月２日出願の米国特許出願第１１／３８１，３１３号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈ Ｓｕｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ」、（２）２００４年５月６日出願の同第１０／８４０，８６２号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈｓｃｒｅｅｎ」、（３）２００４年７月３０日出願の同第１０／９０３，９６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（４）２００５年１月３１日出願の同第１１／０４８，２６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（５）２００５年１月１８日出願の同第１１／０３８，５９０号、「Ｍｏｄｅ−Ｂａｓｅｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（６）２００５年９月１６日出願の同第１１／２２８，７５８号、「Ｖｉｒｔｕａｌ Ｉｎｐｕｔ Ｄｅｖｉｃｅ Ｐｌａｃｅｍｅｎｔ Ｏｎ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ」、（７）２００５年９月１６日出願の同第１１／２２８，７００号、「Ｏｐｅｒａｔｉｏｎ Ｏｆ Ａ Ｃｏｍｐｕｔｅｒ Ｗｉｔｈ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｉｎｔｅｒｆａｃｅ」、（８）２００５年９月１６日出願の同第１１／２２８，７３７号、「Ａｃｔｉｖａｔｉｎｇ Ｖｉｒｔｕａｌ Ｋｅｙｓ Ｏｆ Ａ Ｔｏｕｃｈ−Ｓｃｒｅｅｎ Ｖｉｒｔｕａｌ Ｋｅｙｂｏａｒｄ」、及び、（９）２００６年３月３日出願の同第１１／３６７，７４９号、「Ｍｕｌｔｉ−Ｆｕｎｃｔｉｏｎａｌ Ｈａｎｄ−Ｈｅｌｄ Ｄｅｖｉｃｅ」。これらの出願の全ては、全体が参照により本明細書に組み込まれる。
タッチスクリーン１１２は、１００ｄｐｉ以上の映像解像度を、任意選択的に、有する。いくつかの実施形態では、タッチスクリーンは約１６０ｄｐｉの映像解像度を有する。ユーザは、スタイラス、指などの任意の好適なオブジェクト又は付属器を使用して、タッチスクリーン１１２と任意選択的に接触する。いくつかの実施形態では、ユーザインタフェースは、主として指に基づく接触及びジェスチャで機能するように設計され、タッチスクリーン上の指の接触面積が広いことにより、スタイラスに基づく入力よりも精度が低いことがある。いくつかの実施形態において、デバイスは、指に基づく粗い入力を正確なポインタ／カーソル位置又はユーザの望むアクションを実行するためのコマンドに変換する。
いくつかの実施形態において、タッチスクリーンに加えて、デバイス１００は、特定の機能をアクティブ化又は非アクティブ化するためのタッチパッド（不図示）を、任意選択的に、含む。いくつかの実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、デバイスのタッチ感知領域である。タッチパッドは、任意選択的に、タッチスクリーン１１２とは別個のタッチ感知面、又はタッチスクリーンによって形成されたタッチ感知面の延長である。
デバイス１００は、様々な構成要素に電力を供給するための電力システム１６２も含む。電力システム１６２は、任意選択的に、電力管理システム、１つ以上の電源（例えば、バッテリ、交流（ＡＣ））、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ（例えば、発光ダイオード（ＬＥＤ））、並びにポータブルデバイス内での電力の生成、管理、及び分配に関連付けられた任意の他の構成要素を含む。
デバイス１００はまた、１つ以上の光センサ１６４をも任意選択的に含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の光センサコントローラ１５８に結合された光センサを示す。光センサ１６４は、電荷結合デバイス（ＣＣＤ）又は相補的金属酸化物半導体（ＣＭＯＳ）フォトトランジスタを任意選択的に含む。光センサ１６４は、１つ以上のレンズを通して投影された、環境からの光を受光し、その光を、画像を表すデータに変換する。撮像モジュール１４３（カメラモジュールとも称する）と併用する、光センサ１６４は、静止画像又は映像を任意選択的にキャプチャする。いくつかの実施形態では、タッチスクリーンディスプレイを静止画像及び／又は映像取得のためのビューファインダとして有効化するように、光センサは、デバイスの前面のタッチスクリーンディスプレイ１１２の反対側である、デバイス１００の背面に配置されている。いくつかの実施形態では、ユーザが他のテレビ会議参加者をタッチスクリーンディスプレイで見るのと同時に、任意選択的にそのユーザの画像をテレビ会議のために得るように、デバイスの前面に光センサが配置されている。いくつかの実施形態では、光センサ１６４の位置は、ユーザによって（例えば、デバイス筐体内のレンズ及びセンサを回転させることによって）変更することができ、それにより、テレビ会議並びに静止画像及び／又はビデオ画像の取得の双方のために、単一の光センサ１６４が、タッチスクリーンディスプレイと共に使用される。
デバイス１００は、１つ以上の接触強度センサ１６５も、任意選択的に、含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の強度センサコントローラ１５９に結合された接触強度センサを示す。接触強度センサ１６５には、１つ以上のピエゾ抵抗ひずみゲージ、電気容量式力センサ、電気力センサ、圧電力センサ、光学力センサ、容量式タッチ感知面、又は他の強度センサ（例えば、タッチ感知面上の接触の力（又は圧力）を測定するために使用するセンサ）が、任意選択的に含まれる。接触強度センサ１６５は、環境から接触強度情報（例えば、圧力情報又は圧力情報の代用物）を受信する。いくつかの実施形態では、少なくとも１つの接触強度センサが、タッチ感知面（例えば、タッチ感知ディスプレイシステム１１２）に配置されているか、又は、それに近接している。いくつかの実施形態において、少なくとも１つの接触強度センサが、デバイス１００の前面に配置されたタッチスクリーンディスプレイ１１２の反対側である、デバイス１００の背面に配置されている。
デバイス１００は、１つ以上の近接センサ１６６をも任意選択的に含む。図１Ａは、周辺機器インタフェース１１８と結合された近接センサ１６６を示す。あるいは、近接センサ１６６は、任意選択的に、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。近接センサ１６６は、任意選択的に、米国特許出願第１１／２４１，８３９号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、同第１１／２４０，７８８号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、同第１１／６２０，７０２号、「Ｕｓｉｎｇ Ａｍｂｉｅｎｔ Ｌｉｇｈｔ Ｓｅｎｓｏｒ Ｔｏ Ａｕｇｍｅｎｔ Ｐｒｏｘｉｍｉｔｙ Ｓｅｎｓｏｒ Ｏｕｔｐｕｔ」、同第１１／５８６，８６２号、「Ａｕｔｏｍａｔｅｄ Ｒｅｓｐｏｎｓｅ Ｔｏ Ａｎｄ Ｓｅｎｓｉｎｇ Ｏｆ Ｕｓｅｒ Ａｃｔｉｖｉｔｙ Ｉｎ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅｓ」、及び、同第１１／６３８，２５１号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ｓｙｓｔｅｍｓ Ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｏｆ Ｐｅｒｉｐｈｅｒａｌｓ」で説明されるように機能するものであり、これらの出願は、全体が参照により本明細書に組み込まれる。いくつかの実施形態では、多機能デバイスがユーザの耳の近くに配置される場合（例えば、ユーザが電話で通話している場合）、近接センサは、タッチスクリーン１１２をオフにして無効化する。
デバイス１００は、１つ以上の触知出力生成器１６７も、任意選択的に、含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の触覚フィードバックコントローラ１６１に結合された、触知出力生成器を示す。触知出力生成器１６７には、スピーカ又は他のオーディオ構成要素などの１つ以上の電気音響デバイス、及び／又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素（例えば、デバイスで電気信号を触知出力に変換する構成要素）などの、エネルギーを直線運動に変換する電気機械デバイス、が任意選択的に含まれる。接触強度センサ１６５は、触覚フィードバックモジュール１３３から触知フィードバック生成命令を受信し、デバイス１００のユーザが感知できる触知出力をデバイス１００上で生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器は、タッチ感知面（例えば、タッチ感知ディスプレイシステム１１２）に配置されているか、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向（例えば、デバイス１００の表面の内／外）に、又は横方向（例えば、デバイス１００の表面と同じ平面内の前後）に動かすことによって、触知出力を生成する。いくつかの実施形態において、少なくとも１つの触知出力生成器センサは、デバイス１００の前面に配置されたタッチスクリーンディスプレイ１１２の反対側である、デバイス１００の背面に配置されている。
デバイス１００は、１つ以上の加速度計１６８も、任意選択的に、含む。図１Ａは、周辺機器インタフェース１１８に結合された加速度計１６８を示す。あるいは、加速度計１６８は、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に任意選択的に、結合される。加速度計１６８は、任意選択的に、米国特許出願公開第２００５０１９００５９号、「Ａｃｃｅｌｅｒａｔｉｏｎ−ｂａｓｅｄ Ｔｈｅｆｔ Ｄｅｔｅｃｔｉｏｎ Ｓｙｓｔｅｍ ｆｏｒ Ｐｏｒｔａｂｌｅ Ｅｌｅｃｔｒｏｎｉｃ Ｄｅｖｉｃｅｓ」、及び同第２００６００１７６９２号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ａｐｐａｒａｔｕｓｅｓ Ｆｏｒ Ｏｐｅｒａｔｉｎｇ Ａ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅ Ｂａｓｅｄ Ｏｎ Ａｎ Ａｃｃｅｌｅｒｏｍｅｔｅｒ」で説明されるように機能するものであり、これらの文献の双方は、全体が参照により本明細書に組み込まれる。いくつかの実施形態では、情報は、１つ以上の加速度計から受信したデータの分析に基づいて、縦長表示又は横長表示でタッチスクリーンディスプレイに表示される。デバイス１００は、加速度計（単数又は複数）１６８に加えて、磁気計（図示せず）並びにデバイス１００の位置及び向き（例えば、縦長又は横長）に関する情報を取得するためのＧＰＳ（又はＧＬＯＮＡＳＳ又は他のグローバルナビゲーションシステム）受信部（図示せず）を、任意選択的に含む。
いくつかの実施形態では、メモリ１０２に記憶されたソフトウェア構成要素は、オペレーティングシステム１２６、通信モジュール（又は命令セット）１２８、接触／動きモジュール（又は命令セット）１３０、グラフィックモジュール（又は命令セット）１３２、テキスト入力モジュール（又は命令セット）１３４、全地球測位システム（ＧＰＳ）モジュール（又は命令セット）１３５、及びアプリケーション（又は命令セット）１３６を含む。更に、いくつかの実施形態では、図１Ａ及び図３に示すように、メモリ１０２（図１Ａ）又はメモリ３７０（図３）は、デバイス／グローバル内部状態１５７を記憶する。デバイス／グローバル内部状態１５７は、現在アクティブ状態のアプリケーションがある場合、どのアプリケーションがアクティブかを示す、アクティブアプリケーション状態と、どのアプリケーション、ビュー、又は他の情報がタッチスクリーンディスプレイ１１２の様々な領域を占領しているかを示す、表示状態と、デバイスの様々なセンサ及び入力制御デバイス１１６から得られる情報を含む、センサ状態と、デバイスの位置及び／又は姿勢に関する位置情報と、のうちの１つ以上を含む。
オペレーティングシステム１２６（例えば、Ｄａｒｗｉｎ（登録商標）、ＲＴＸＣ（登録商標）、ＬＩＮＵＸ（登録商標）、ＵＮＩＸ（登録商標）、ＯＳ Ｘ（登録商標）、ｉＯＳ（登録商標）、ＷＩＮＤＯＷＳ（登録商標）、又はＶｘＷｏｒｋｓ（登録商標）などの組み込みオペレーティングシステム）は、一般的なシステムタスク（例えば、メモリ管理、記憶デバイス制御、電力管理など）を制御及び管理するための様々なソフトウェア構成要素及び／又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を容易にする。
通信モジュール１２８は、１つ以上の外部ポート１２４を介して他のデバイスとの通信を容易にし、ＲＦ回路１０８及び／又は外部ポート１２４が受信したデータを処理するための様々なソフトウェア構成要素も含む。外部ポート１２４（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＦＩＲＥＷＩＲＥ（登録商標）など）は、直接的に、又はネットワーク（例えば、インターネット、無線ＬＡＮなど）を通じて間接的に、他のデバイスに結合するように適応している。いくつかの実施形態では、外部ポートは、ｉＰｏｄ（登録商標）（Ａｐｐｌｅ Ｉｎｃ．の商標）デバイスで使用される３０ピンコネクタと同じか、若しくは同様のマルチピン（例えば、３０ピン）コネクタ、及び／又は互換性のあるマルチピン（例えば、３０ピン）コネクタである。
接触／動きモジュール１３０は、（ディスプレイコントローラ１５６と併用して）タッチスクリーン１１２及び他のタッチ感知デバイス（例えば、タッチパッド又は物理的なクリックホイール）との接触を、任意選択的に、検出する。接触／動きモジュール１３０は、接触が発生したか（例えば、フィンガダウンイベントの検出）どうかを判定すること、接触の強度（例えば、接触の力若しくは圧力、又は、接触の力若しくは圧力の代替物）の決定、接触の移動及びタッチ感知面にわたる移動の追跡（例えば、１つ以上のフィンガドラッグイベントの検出）があるかどうかを判定すること、及び接触が中止したかどうか（例えば、フィンガアップイベント又は接触の中断の検出）を判定することなどの、接触の検出に関係する様々な動作を実行するための様々なソフトウェア構成要素を含んでいる。接触／動きモジュール１３０は、タッチ感知面から接触データを受信する。一連の接触データにより表される接触点の移動を決定することは、接触点の速さ（大きさ）、速度（大きさ及び方向）、及び／又は加速度（大きさ及び／又は方向の変化）を決定することを任意選択的に含む。これらの動作は、任意選択的に、単一の接触（例えば、１本の指の接触）又は複数の同時接触（例えば、「マルチタッチ」／複数の指の接触）に適用される。いくつかの実施形態では、接触／動きモジュール１３０及びディスプレイコントローラ１５６は、タッチパッド上の接触を検出する。
いくつかの実施形態において、接触／動きモジュール１３０は、１つ以上の強度閾値のセットを用いて、動作がユーザによって実行されたかどうかを判定する（例えば、ユーザがアイコンを「クリックしたか」を決定する）。いくつかの実施形態において、少なくとも強度閾値のサブセットが、ソフトウェアパラメータに従って決定される（例えば、強度閾値は、特定の物理的なアクチュエータのアクティブ化閾値によって決定されず、デバイス１００の物理的なハードウェアを変更することなく調整し得る）。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイのハードウェアを変更することなく広範囲の既定の閾値のうちのいずれかに設定することができる。更に、いくつかの実装において、デバイスのユーザには、（例えば、個々の強度閾値を調整することにより、及び／又は、システムレベルのクリック「強度」パラメータにより、一度に複数の強度閾値を調整することによって）強度閾値のセットのうちの１つ以上を調整するためのソフトウェア設定が提供される。
接触／動きモジュール１３０は、ユーザによるジェスチャ入力を、任意選択的に、検出する。タッチ感知面上での異なるジェスチャは、異なる接触パターン（例えば、異なる動き、タイミング、及び／又は検出される接触の強度）を有する。したがって、ジェスチャは、特定の接触パターンを検出することによって、任意選択的に検出される。例えば、指のタップジェスチャを検出することは、（例えば、アイコンの位置での）指を下ろすイベントを検出し、続いてその指を下ろすイベントと同じ位置（又は、実質的に同じ位置）で指を上げる（リフトオフ）イベントを検出することを含む。別の実施例として、タッチ感知面上での指のスワイプジェスチャを検出することは、指を下ろすイベントを検出し、続いて、１つ以上の、指をドラッグするイベントを検出し、その後、続いて指を上げる（リフトオフ）イベントを検出することを含む。
グラフィックモジュール１３２は、表示されるグラフィックの視覚的インパクト（例えば、輝度、透明性、彩度、コントラスト、又は他の視覚的特性）を変更するための構成要素を含む、タッチスクリーン１１２又は他のディスプレイ上にグラフィックを表現及び表示するための様々な既知のソフトウェア構成要素を含む。本明細書で使用する時、用語「グラフィック」は、ユーザに対して表示することができる任意のオブジェクトを含み、これらのオブジェクトとしては、テキスト、ウェブページ、アイコン（ソフトキーを含むユーザインタフェースオブジェクトなど）、デジタル画像、ビデオ、アニメーションなどが挙げられるが、これらに限定されない。
いくつかの実施形態において、グラフィックモジュール１３２は、使用されるグラフィックを表すデータを記憶する。それぞれのグラフィックには、対応するコードが任意選択的に、割り当てられる。グラフィックモジュール１３２は、アプリケーションなどから、必要に応じて、座標データ及び他のグラフィック特性データと共に、表示されるグラフィックを指定する１つ以上のコードを受信し、次にディスプレイコントローラ１５６に出力する画面の画像データを生成する。
触覚フィードバックモジュール１３３は、ユーザのデバイス１００との対話に応じてデバイス１００上の１つ以上の位置で触知出力を発生するために触知出力生成器（単数又は複数）１６７が使用する命令を生成するための様々なソフトウェア構成要素を含む。
テキスト入力モジュール１３４は、任意選択的に、グラフィックモジュール１３２の構成要素であるが、様々なアプリケーション（例えば、連絡先１３７、電子メール１４０、ＩＭ１４１、ブラウザ１４７、及びテキスト入力を必要とする任意の他のアプリケーション）にテキストを入力するためのソフトキーボードを提供する。
ＧＰＳモジュール１３５は、デバイスの位置を決定し、この情報を様々な用途に用いるために提供する（例えば、位置ベースのダイアル呼出しに用いるために電話１３８に提供する、ピクチャ／ビデオメタデータとしてカメラ１４３に提供する、並びに、天気ウィジェット、地域イエローページウィジェット、及びマップ／ナビゲーションウィジェット等の位置ベースのサービスを提供するアプリケーションに提供する）。
アプリケーション１３６は、以下のモジュール（又は命令セット）又はこれらのサブセット若しくはスーパーセットを、任意選択的に、含む。
●連絡先モジュール１３７（時には、アドレス帳又は連絡先リストとも呼ぶ）、
●電話モジュール１３８、
●ビデオ会議モジュール１３９、
●電子メールクライアントモジュール１４０、
●インスタントメッセージング（ＩＭ）モジュール１４１、
●トレーニングサポートモジュール１４２、
●静止画像及び／又はビデオ画像用のカメラモジュール１４３、
●画像管理モジュール１４４、
●ビデオ再生モジュール
●音楽再生モジュール
●ブラウザモジュール１４７、
●カレンダモジュール１４８、
●天気ウィジェット１４９−１、株価ウィジェット１４９−２、計算機ウィジェット１４９−３、アラーム時計ウィジェット１４９−４、辞書ウィジェット１４９−５、及びユーザによって取得された他のウィジェット、並びにユーザ作成ウィジェット１４９−６のうちの１つ以上を任意選択的に含む、ウィジェットモジュール１４９、
●ユーザ作成ウィジェット１４９−６を作成するためのウィジェット作成モジュール１５０、
●検索モジュール１５１、
●ビデオ再生モジュール及び音楽再生モジュールを統合した、ビデオ及び音楽再生モジュール１５２、
●メモモジュール１５３、
●マップモジュール１５４、及び／又は、
●オンラインビデオモジュール１５５。
任意選択的に、メモリ１０２に記憶される他のアプリケーション１３６の例として、他の文書作成アプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ＪＡＶＡ（登録商標）対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と併用する、連絡先モジュール１３７は、（例えば、メモリ１０２又はメモリ３７０内の連絡先モジュール１３７のアプリケーション内部状態１９２に記憶される）アドレスブック又は連絡先リストを管理するために任意選択的に用いられ、それには、アドレスブックに名前（単数又は複数）を加えること、アドレスブックから名前（単数又は複数）を削除すること、電話番号（単数又は複数）、電子メールアドレス（単数又は複数）、実際の住所（単数又は複数）、又は他の情報を名前と関連付けること、画像を名前と関連付けること、名前を分類して並べ替えること、電話番号又は電子メールアドレスを提供して、電話１３８、テレビ会議モジュール１３９、電子メール１４０、若しくはＩＭ１４１による通信を開始する及び／又は容易にすること、などが含まれる。
ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と併用する、電話モジュール１３８は、任意選択的に、電話番号に対応する一連の文字を入力し、連絡先モジュール１３７内の１つ以上の電話番号にアクセスし、入力された電話番号を修正し、対応する電話番号をダイアルし、会話を行い、そして、会話が完了した際に接続を切るか又は電話を切るために、使用される。上述のように、無線通信は、複数の通信規格、プロトコル、及び技術のうちのいずれかを任意選択的に使用する。
ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、光センサ１６４、光センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、連絡先モジュール１３７、及び電話モジュール１３８と併用する、テレビ会議モジュール１３９は、ユーザの指示に従って、ユーザと１人以上の他の参加者との間のテレビ会議を開始し、遂行し、終了するための、実行可能命令を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と併用する、電子メールクライアントモジュール１４０は、ユーザの指示に応じて、電子メールを作成し、送信し、受信し、管理するための、実行可能命令を含む。画像管理モジュール１４４と併用する電子メールクライアントモジュール１４０により、カメラモジュール１４３で撮影した静止画像又はビデオ画像を添付した電子メールを作成して送信することが非常に容易になる。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と併用する、インスタントメッセージングモジュール１４１は、インスタントメッセージに対応する文字列を入力したり、入力済みの文字を修正したり、（例えば、電話ベースのインスタントメッセージのためのショートメッセージサービス（ＳＭＳ）若しくはマルチメディアメッセージサービス（ＭＭＳ）プロトコルを使用して、又はインターネットベースのインスタントメッセージのためのＸＭＰＰ、ＳＩＭＰＬＥ、若しくはＩＭＰＳを使用して）対応するインスタントメッセージを送信したり、インスタントメッセージを受信してその受信したインスタントメッセージを表示したりするための、実行可能命令を含む。いくつかの実施形態では、送信及び／又は受信されるインスタントメッセージは、任意選択的に、ＭＭＳ及び／又は拡張メッセージングサービス（ＥＭＳ：Enhanced Messaging Service）でサポートされるような、グラフィック、写真、オーディオファイル、ビデオファイル、及び／又は他の添付ファイルを含む。本明細書で使用する時、「インスタントメッセージング」とは、電話ベースのメッセージ（例えば、ＳＭＳ又はＭＭＳを使用して送信されるメッセージ）及びインターネットベースのメッセージ（例えば、ＸＭＰＰ、ＳＩＭＰＬＥ又はＩＭＰＳを使用して送信されるメッセージ）の双方を示す。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュー１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、マップモジュール１５４、及び音楽再生モジュールと併用する、トレーニングサポートモジュール１４２は、（例えば、時間、距離、及び／又はカロリー消費目標を有する）トレーニングを生成することと、トレーニングセンサ（スポーツデバイス）と通信することと、トレーニングセンサデータを受信することと、トレーニングをモニタするために使用されるセンサを較正することと、トレーニング用の音楽を選択及び再生し、トレーニングデータを表示、記憶、及び送信する、実行可能命令を含命令を含む。
タッチスクリーン１１２、ディスプレイコントローラ１５６、光センサ（単数又は複数）１６４、光センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、及び画像管理モジュール１４４と併用する、カメラモジュール１４３は、静止画像又は（ビデオストリームを含む）ビデオをキャプチャしてメモリ１０２にそれらを記憶したり、静止画像又はビデオの特性を変更したり、又はメモリ１０２から静止画像若しくはビデオを削除したりするための、実行可能命令を含む。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びカメラモジュール１４３と併用する、画像管理モジュール１４４は、静止画像及び／又はビデオ画像を配置し、修正し（例えば、編集し）及び別の方法で操作し、ラベルを付け、削除し、（例えば、デジタルスライドショー又はアルバムにおいて）提示し、並びに記憶したりするための実行可能命令を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及び、テキスト入力モジュール１３４と併用する、ブラウザモジュール１４７は、ウェブページ又はそれらの一部、並びにウェブページにリンクされた添付及び他のファイルを検索し、リンク付けし、受信し、表示することを含むユーザの指示に従い、インターネットを閲覧するための実行可能命令を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と併用する、カレンダモジュール１４８は、ユーザの指示に従い、カレンダ及びカレンダに関連付けられたデータ（例えば、カレンダ項目、ｔｏ ｄｏリストなど）を作成し、表示し、変更し、記憶するための実行可能命令を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と併用する、ウィジェットモジュール１４９は、任意選択的に、ユーザによりダウンロードされ、使用される（例えば、天気ウィジェット１４９−１、株式ウィジェット１４９−２、電卓ウィジェット１４９−３、アラーム時計ウィジェット１４９−４、及び辞書ウィジェット１４９−５）、又はユーザにより作成され得る（例えば、ユーザ作成ウィジェット１４９−６）ミニアプリケーションである。いくつかの実施形態では、ウィジェットは、ＨＴＭＬ（ハイパーテキストマークアップ言語）ファイル、ＣＳＳ（カスケーディングスタイルシート）ファイル、及びＪａｖａＳｃｒｉｐｔ（登録商標）ファイルを含む。いくつかの実施形態では、ウィジェットは、ＸＭＬ（拡張可能マークアップ言語）ファイル及びＪａｖａＳｃｒｉｐｔファイル（例えば、Ｙａｈｏｏ！（登録商標）ウィジェット）を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と併用する、ウィジェット作成モジュール１５０は、ウィジェットを作成する（例えば、ウェブページのユーザ指定の部分をウィジェットに対して回転すること）時に、任意選択的に、ユーザによって使用される。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と併用する、検索モジュール１５１は、ユーザの指示に従い、１つ以上の検索基準（例えば、１つ以上のユーザ指定の検索語句）と一致する、メモリ１０２内のテキスト、音楽、音、画像、ビデオ、及び／又は他のファイルを検索するための実行可能命令を含む。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、及びブラウザモジュール１４７と併用する、ビデオ及び音楽再生モジュール１５２は、ＭＰ３又はＡＡＣファイルなどの１つ以上のファイル形式で記憶された録音済みの音楽及び他のサウンドファイルをユーザがダウンロード及び再生できるようにする実行可能命令、並びにビデオを（タッチスクリーン１１２上又は外部ポート１２４を介して接続された外部のディスプレイ上に）表示、提示、又は別の方法で再生するための実行可能命令を含む。いくつかの実施形態では、デバイス１００は、任意選択的に、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）などのＭＰ３プレーヤの機能を備える。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と併用する、メモモジュール１５３は、ユーザの指示に従って、メモ、ｔｏ ｄｏリストなどを作成及び管理するための、実行可能命令を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、及びブラウザモジュール１４７と併用する、マップモジュール１５４は、ユーザの指示に従い、マップ及びマップに関連付けられたデータ（例えば、運転方向、特定の位置又はその近くの店舗及びその他の見所についてのデータ、及び他のロケーション別のデータ）を受信、表示、変更、及び記憶するために、任意選択的に、使用される。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と併用する、オンラインビデオモジュール１５５は、ユーザがＨ．２６４などの１つ以上のファイル形式のオンラインビデオにアクセスし、閲覧し、（例えば、ストリーミング及び／又はダウンロードにより）受信し、（例えば、タッチスクリーン上で又は外部ポート１２４を介して接続された外部のディスプレイ上で）再生し、特定のオンラインビデオへのリンクを含む電子メールを送信し、別の方法で管理することが可能となる命令を含む。いくつかの実施形態では、特定のオンラインビデオへのリンクを送信するために、電子メールクライアントモジュール１４０ではなく、インスタントメッセージングモジュール１４１が使用される。オンラインビデオアプリケーションの追加の説明は、２００７年６月２０日に出願された米国特許仮出願第６０／９３６，５６２号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」、及び２００７年１２月３１日に出願された米国特許出願第１１／９６８，０６７号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」に見出すことができ、これらの出願の内容はその全体が本明細書において参照により組み込まれている。
上記で識別されたモジュール及びアプリケーションのうちのそれぞれは、１つ以上の上記の機能を実行する実行可能命令セット及び本出願に記載の方法（例えば、コンピュータ実装の方法及び本明細書に記載の他の情報処理方法）に対応する。これらのモジュール（例えば、命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、それゆえ、様々な実施形態では、これらのモジュールの様々な部分集合は、任意選択的に、組み合わされるか、又は他の方式で再編成される。例えば、ビデオ再生モジュールは、任意選択的に、音楽再生モジュールと組み合わせて、単一のモジュール（例えば、図１Ａのビデオ及び音楽再生モジュール１５２）とされる。いくつかの実施形態では、メモリ１０２は、上述の識別されたモジュール及びデータ構造のサブセットを任意選択的に記憶する。更に、メモリ１０２は、上述されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
いくつかの実施形態において、デバイス１００は、デバイスの既定の機能セットの動作がタッチスクリーン及び／又はタッチパッドを介して排他的に実行されるデバイスであるデバイス１００の動作のための主要入力制御デバイスとしてタッチスクリーン及び／又はタッチパッドを使用することにより、デバイス１００の物理的な入力制御デバイス（プッシュボタン、ダイアル、及び類似物など）の数が任意選択的に低減する。
タッチスクリーン及び／又はタッチパッドを介して排他的に実行される既定の機能セットは、ユーザインタフェース間のナビゲーションを、任意選択的に、含む。いくつかの実施形態では、タッチパッドは、ユーザによってタッチされると、デバイス１００に表示される任意のユーザインタフェースから、メインメニュー、ホームメニュー、又はルートメニューへデバイス１００をナビゲートする。かかる実施形態では、「メニューボタン」はタッチパッドを使って実装される。いくつかの他の実施形態では、メニューボタンは、タッチパッドの代わりに、物理的なプッシュボタン又は他の物理的な入力制御デバイスである。
図１Ｂは、いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ１０２（図１Ａ）又はメモリ３７０（図３）は、イベントソート部１７０（例えば、オペレーティングシステム１２６内）及び対応するアプリケーション１３６−１（例えば、上述のアプリケーション１３７〜１５１、１５５、３８０〜３９０のうちのいずれか）を含む。
イベントソート部１７０は、イベント情報を受信し、イベント情報を配信するアプリケーション１３６−１及びアプリケーション１３６−１のアプリケーションビュー１９１を決定する。イベントソート部１７０は、イベントモニタ１７１及びイベントディスパッチャモジュール１７４を含む。いくつかの実施形態において、アプリケーション１３６−１は、アプリケーションがアクティブ又は実行中の時、タッチ感知ディスプレイ１１２に表示される現在のアプリケーションビュー（単数又は複数）を示す、アプリケーション内部状態１９２を含む。いくつかの実施形態では、デバイス／グローバル内部状態１５７は、いずれのアプリケーション（単数又は複数）が現在アクティブであるかを決定するためにイベントソート部１７０によって使用され、アプリケーション内部状態１９２は、イベント情報の配信先となるアプリケーションビュー１９１を決定するためにイベントソート部１７０によって使用される。
いくつかの実施形態において、アプリケーション内部状態１９２は、追加情報として、例えば、アプリケーション１３６−１が実行を再開する際に用いられる再開情報、アプリケーション１３６−１により表示されている又は表示の準備ができている情報を示すユーザインタフェース状態情報、ユーザがアプリケーション１３６−１の以前の状態又はビューに戻ることを可能にするための状態の待ち行列、及びユーザが以前にとったアクションの再実行／アンドゥの待ち行列のうちの１つ以上を含む。
イベントモニタ１７１は、周辺機器インーフェース１１８よりイベント情報を受信する。イベント情報は、サブイベント（例えば、マルチタッチジェスチャの一部としての、タッチ感知ディスプレイ１１２上でのユーザのタッチ）についての情報を含む。周辺機器インタフェース１１８は、Ｉ／Ｏサブシステム１０６、又は近接センサ１６６、加速度計（単数又は複数）１６８、及び／若しくは（オーディオ回路１１０を介する）マイクロフォン１１３などのセンサから受信する情報を送信する。周辺機器インタフェース１１８がＩ／Ｏサブシステム１０６から受信する情報は、タッチ感知ディスプレイ１１２又はタッチ感知面からの情報を含む。
いくつかの実施形態において、イベントモニタ１７１は、所定の間隔で周辺機器インタフェース１１８に要求を送る。これに応じて、周辺機器インタフェース１１８はイベント情報を送信する。他の実施形態では、周辺機器インタフェース１１８は、重要なイベント（例えば、所定のノイズ閾値を上回り、かつ／又は所定の持続時間を超えた入力を受けること）が存在する場合にのみ、イベント情報を送信する。
いくつかの実施形態において、イベントソート部１７０は、ヒットビュー決定モジュール１７２及び／又はアクティブイベント認識部決定モジュール１７３も含む。
ヒットビュー決定モジュール１７２は、タッチ感知ディスプレイ１１２が１つ以上のビューを表示した際に、１つ以上のビュー内のサブイベントが発生した場所を決定するためのソフトウェア手順を提供する。ビューは、制御部及びユーザがディスプレイで見ることが可能な他の要素で構成される。
アプリケーションに関連付けられたユーザインタフェースの別の態様は、本明細書中では、情報が表示されタッチベースのジェスチャが発生する、アプリケーションビュー又はユーザインタフェースィンドウと呼ばれることもあるビューのセットである。タッチが検出される（それぞれのアプリケーションの）アプリケーションビューは、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに任意選択的に、対応する。例えば、タッチが検出される最低レベルのビューは任意選択的に、ヒットビューと呼ばれ、適切な入力として認識されるイベントのセットは、少なくとも部分的に、タッチベースのジェスチャを開始する最初のタッチのヒットビューに基づいて任意選択的に、決定される。
ヒットビュー決定モジュール１７２は、タッチベースのジェスチャのサブイベントに関連した情報を受信する。アプリケーションが、階層として編成された複数のビューを有する場合、ヒットビュー決定モジュール１７２は、そのサブイベントを処理すべき階層内の最下位のビューとしての、ヒットビューを識別する。ほとんどの状況では、ヒットビューは、最初のサブイベント（例えば、イベント又は潜在的なイベントを形成するサブイベントのシーケンスにおける最初のサブイベント）が発生する最下位レベルのビューである。ヒットビューがヒットビュー決定モジュール１７２によって特定されると、ヒットビューは、典型的には、それがヒットビューとして特定された、同じタッチ又は入力ソースに関連する全てのサブイベントを受ける。
アクティブイベント認識部決定モジュール１７３は、ビュー階層内のどのビュー（単数又は複数）がサブイベントの特定のシーケンスを受けるべきかを決定する。いくつかの実施形態では、アクティブイベント認識部決定モジュール１７３は、ヒットビューのみがサブイベントの特定のシーケンスを受けるべきであると決定する。他の実施形態では、アクティブイベント認識部決定モジュール１７３は、サブイベントの物理的な位置を含む全てのビューはアクティブに関わっているビューであると決定し、したがって、全てのアクティブに関わっているビューは、サブイベントの特定のシーケンスを受けるべきであると決定する。他の実施形態では、タッチサブイベントがある特定のビューに関連付けられた領域に完全に限定されたとしても、階層の上位のビューは、依然としてアクティブに関わっているビューであり続ける。
イベントディスパッチャモジュール１７４は、イベント情報をイベント認識部（例えば、イベント識別部１８０）に送信する。アクティブイベント認識部決定モジュール１７３を含む実施形態において、イベントディスパッチャモジュール１７４は、アクティブイベント認識部決定モジュール１７３により決定されたイベント認識部にイベント情報を配信する。いくつかの実施形態では、イベントディスパッチャモジュール１７４は、対応するイベント受付部１８２により取得されるイベント情報をイベント待ち行列に記憶する。
いくつかの実施形態において、オペレーティングシステム１２６は、イベントソート部１７０を含む。あるいは、アプリケーション１３６−１が、イベントソート部１７０を含む。更に他の実施形態では、イベントソート部１７０は、スタンドアロンモジュール、又は接触／動きモジュール１３０などの、メモリ１０２に記憶された別のモジュールの一部である。
いくつかの実施形態において、アプリケーション１３６−１は、それぞれがアプリケーションのユーザインタフェースのそれぞれのビュー内で発生するタッチイベントを処理する命令を含む、複数のイベント処理部１９０及び１つ以上のアプリケーションビュー１９１を含む。アプリケーション１３６−１の各アプリケーションビュー１９１は、１つ以上のイベント認識部１８０を含む。通常は、各アプリケーションビュー１９１は、複数のイベント認識部１８０を含む。他の実施形態では、イベント認識部１８０のうちの１つ以上は、ユーザインタフェースキット（図示せず）又はアプリケーション１３６−１が方法及び他の特性を継承する上位レベルのオブジェクトなどの、別個のモジュールの一部である。いくつかの実施形態では、各イベント処理部１９０は、データ更新部１７６、オブジェクト更新部１７７、ＧＵＩ更新部１７８、及び／又はイベントソート部１７０から受信したイベントデータ１７９、のうちの１つ以上を含む。イベント処理部１９０は、アプリケーション内部状態１９２を更新するために、データ更新部１７６、オブジェクト更新部１７７、又はＧＵＩ更新部１７８を任意選択的に、利用若しくは呼び出す。あるいは、アプリケーションビュー１９１のうちの１つ以上は、１つ以上の各イベント処理部１９０を含む。また、いくつかの実施形態では、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８のうちの１つ以上も、対応するアプリケーションビュー１９１に含まれる。
それぞれのイベント認識部１８０は、イベントソート部１７０からイベント情報（例えば、イベントデータ１７９）を受け、イベント情報からイベントを識別する。イベント認識部１８０は、イベント受付部１８２及びイベント比較部１８４を含む。いくつかの実施形態において、イベント認識部１８０はまた、メタデータ１８３及びイベント配信命令１８８（任意選択的に、サブイベント配信命令を含む）の少なくともサブセットを含む。
イベント受付部１８２は、イベントソート部１７０よりイベント情報を受信する。このイベント情報は、サブイベントについての情報、例えば、タッチ又はタッチの移動についての情報を含む。サブイベントによっては、イベント情報はまた、サブイベントの場所などの追加情報も含む。サブイベントが、タッチの動きに関わる時、イベント情報は、サブイベントの速度及び方向を任意選択的に、更に含む。いくつかの実施形態では、イベントは、ある方向から別の方向へ（例えば、縦長の向きから横長の向きへ、又はその逆）のデバイスの回転を含み、イベント情報は、デバイスの現在の向き（デバイスの姿勢とも呼ばれる）についての対応する情報を含む。
イベント比較部１８４は、イベント情報を既定のイベント又はサブイベントの定義と比較し、その比較により、イベント又はサブイベントを決定、又はイベント若しくはサブイベントの状態を決定又は更新する。いくつかの実施形態では、イベント比較部１８４は、イベント定義１８６を含む。イベント定義１８６は、例えば、イベント１（１８７−１）、イベント２（１８７−２）などの、イベントの定義（例えば、サブイベントの既定のシーケンス）を含む。いくつかの実施形態では、イベント（１８７）内のサブイベントは、例えば、タッチ開始、タッチ終了、タッチの移動、タッチの中止、及び複数のタッチを含む。ある実施例では、イベント１（１８７−１）の定義は、表示されたオブジェクト上のダブルタップである。このダブルタップは、例えば、所定の段階に関する表示オブジェクト上での第１のタッチ（タッチの開始）、所定の段階に関する第１のリフトオフ（タッチの終了）、所定の段階に関する表示オブジェクト上での第２のタッチ（タッチの開始）、及び所定の段階に関する第２のリフトオフ（タッチの終了）を含む。別の実施例では、イベント２（１８７−２）の定義は、表示されたオブジェクト上のドラッグ操作である。このドラッグ操作は、例えば、所定の段階に関する表示オブジェクト上でのタッチ（又は、接触）、タッチ感知ディスプレイ１１２を横断するタッチの移動、及びタッチのリフトオフ（タッチの終了）を含む。いくつかの実施形態では、イベントはまた、１つ以上の関連付けられたイベント処理部１９０に関する情報も含む。
いくつかの実施形態において、イベント定義１８７は、それぞれのユーザインタフェースオブジェクト用のイベントの定義を含む。いくつかの実施形態では、イベント比較部１８４は、サブイベントに関連付けられたユーザインタフェースオブジェクトを決定するヒットテストを実行する。例えば、３つのユーザインタフェースオブジェクトがタッチ感知ディスプレイ１１２に表示されるアプリケーションビューにおいて、タッチ感知ディスプレイ１１２上でタッチが検出されると、イベント比較部１８４は、３つのユーザインタフェースオブジェクトのうちのどれがタッチ（サブイベント）に関連付けられているかを決定するためのヒットテストを行う。表示された各オブジェクトが、対応するイベント処理部１９０に関連付けられている場合、イベント比較部は、ヒットテストの結果を用いて、どのイベント処理部１９０をアクティブ化すべきかを決定する。例えば、イベント比較部１８４は、サブイベント及びヒットテストのトリガとなるオブジェクトに関連付けられたイベント処理部を選択する。
いくつかの実施形態において、それぞれのイベント（１８７）の定義は、サブイベントのシーケンスが、イベント認識部のイベントタイプに対応するか対応しないかが決定されるまで、イベント情報の配布を遅延させる遅延動作も含む。
各イベント認識部１８０は、一連のサブイベントが、イベント定義１８６のイベントのうちのいずれとも一致しないと決定した場合、各イベント認識部１８０は、イベント不可能、イベント失敗、又はイベント終了の状態に入り、その後は、タッチベースのジェスチャの次のサブイベントを無視する。この状況では、ヒットビューに関してアクティブのまま維持される他のイベント認識部があれば、進行中のタッチに基づくジェスチャのサブイベントを、引き続き追跡及び処理する。
いくつかの実施形態において、それぞれのイベント認識部１８０は、イベント配布システムが、アクティブに関わっているイベント認識部へのサブイベント配布を実行する方法を示す、構成可能なプロパティ、フラグ、及び／又はリストを有するメタリスト１８３を含む。いくつかの実施形態では、メタデータ１８３は、構成可能なプロパティと、フラグと、及び／又はイベント認識部が互いにどのように対話し得るか又は対話が可能になるかについて示すリストと、を含む。いくつかの実施形態では、メタデータ１８３は、構成可能なプロパティ、フラグ、及び／又はサブイベントがビュー階層又はプログラム階層内の様々なレベルに配信されるかどうかを示すリストを含む。
いくつかの実施形態において、それぞれのイベント認識部１８０は、イベントの１つ以上の特定のサブイベントが認識された時に、イベントに関連付けられたイベント処理部１９０をアクティブ化する。いくつかの実施形態では、各イベント認識部１８０は、イベントに関連付けられたイベント情報をイベント処理部１９０に配信する。イベント処理部１９０をアクティブ化することは、対応するヒットビューにサブイベントを送信（及び送信を延期する）することとは異なる。いくつかの実施形態では、イベント認識部１８０は、認識されたイベントに関連付けられたフラグをスローし、フラグに関連付けられたイベント処理部１９０は、フラグをキャッチし、既定の処理を実行する。
いくつかの実施形態において、イベント配布命令１８８は、イベント処理部をアクティブ化せずにサブイベントに関するイベント情報を配布するサブイベント配布命令を含む。その代わりに、サブイベント配信命令は、一連のサブイベントに関連付けられたイベント処理部又はアクティブに関わっているビューにイベント情報を送る。一連のサブイベント又はアクティブに関わっているビューに関連付けられているイベント処理部は、イベント情報を受信し、所定の処理を実行する。
いくつかの実施形態において、データ更新部１７６は、アプリケーション１３６−１で使用されるデータを作成及び更新する。例えば、データ更新部１７６は、連絡先モジュール１３７で使用される電話番号を更新したり、ビデオ再生モジュールで使用されるビデオファイルを記憶したりする。いくつかの実施形態では、オブジェクト更新部１７７は、アプリケーション１３６−１で使用されるオブジェクトを作成及び更新する。例えば、オブジェクト更新部１７７は、新たなユーザインタフェースオブジェクトを作成するか、又はユーザインタフェースオブジェクトの位置を更新する。ＧＵＩ更新部１７８は、ＧＵＩを更新する。例えば、ＧＵＩ更新部１７８は、表示情報を準備し、それをタッチ感知ディスプレイに表示するためにグラフィックモジュール１３２に送信する。
いくつかの実施形態において、イベント処理部１９０（単数又は複数）は、データ更新部１７６と、オブジェクト更新部１７７と、ＧＵＩ更新部１７８とを含む、又はこれらにアクセスする。いくつかの実施形態では、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８は、各アプリケーション１３６−１又はアプリケーションビュー１９１の単一モジュールに含まれる。他の実施形態では、それらは、２つ以上のソフトウェアモジュールに含まれる。
タッチ感知ディスプレイ上のユーザタッチのイベント処理に関する上記の考察は、入力デバイスを有する多機能デバイス１００であって、必ずしもその全てがタッチスクリーン上で起動されない，多機能デバイスを動作させる他の形のユーザ入力にも適用されることが理解されるであろう。例えば、単一又は複数のキーボードの押圧又は保持と任意選択的に合わせたマウスの移動及びマウスボタンの押圧、タッチパッド上でのタップ、ドラッグ、スクロールなどの接触移動、ペンスタイラス入力、デバイスの移動、口頭による指示検出された眼球運動、バイオメトリック入力及び／又はこれらの任意の組み合わせが、認識対象のイベントを定義するサブイベントに対応する入力として任意選択的に利用される。
図２は、いくつかの実施形態に係る、タッチスクリーン１１２を有するポータブル多機能デバイス１００を示す。タッチスクリーンは、ユーザインタフェース（ＵＩ）２００内に１つ以上のグラフィックを、任意選択的に表示する。本実施形態、並びに後述する実施形態において、ユーザは、例えば、１本以上の指２０２（図には、正確な縮尺率では描かれていない）又は１つ以上のスタイラス２０３（図には、正確な縮尺率では描かれていない）を用いて、グラフィック上でジェスチャを行うことにより、グラフィックのうちの１つ以上を選択することができる。いくつかの実施形態では、ユーザが１つ以上のグラフィックとの接触を断った際に、その１つ以上のグラフィックの選択が生じる。いくつかの実施形態では、ジェスチャは、１回以上のタップ、１回以上のスワイプ（左から右へ、右から左へ、上方向へ及び／又は下方向へ）、並びに／若しくは、デバイス１００と接触した指のローリング（右から左へ、左から右へ、上方向へ及び／又は下方向へ）を、任意選択的に含む。いくつかの実装又は状況では、グラフィックとの不測の接触は、そのグラフィックを選択するものではない。例えば、選択に対応するジェスチャがタップである場合、アプリケーションアイコンの上をスイープするスワイプジェスチャは、対応するアプリケーションを任意選択的に選択しない。
デバイス１００は、「ホーム」又はメニューボタン２０４などの１つ以上の物理的なボタンも、任意選択的に、含む。前述のように、メニューボタン２０４は、デバイス１００で任意選択的に、実行するアプリケーションのセット内の任意のアプリケーション１３６へのナビゲーションに任意選択的に、使用される。あるいは、いくつかの実施形態において、メニューボタンは、タッチスクリーン１１２に表示されたＧＵＩにおけるソフトキーとして実装されている。
いくつかの実施形態において、デバイス１００は、タッチスクリーン１１２、メニューボタン２０４、デバイスへの電源をオン／オフしてデバイスをロックするためのプッシュボタン２０６、音量調整ボタン（単数又は複数）２０８、加入者識別モジュール（ＳＩＭ）カードスロット２１０、ヘッドセットジャック２１２、及びドッキング／充電用外部ポート１２４を含む。プッシュボタン２０６は、ボタンを押し下げて、既定の時間にわたってボタンを押し下げた状態に保持することによってデバイスの電源をオン／オフするために、ボタンを押し下げて、既定時間が経過する前にボタンを解放することによってデバイスをロックし、かつ／又はデバイスをロック解除し、又はロック解除処理を起動するために、任意選択的に用いられる。別の実施形態では、デバイス１００はまた、マイクロフォン１１３を通して、一部の機能をアクティブ化又は非アクティブ化するための口頭入力を受ける。デバイス１００はまた、タッチスクリーン１１２上の接触の強度を検出するための１つ以上の接触強度センサ１６５、及び／又は、デバイス１００のユーザに対する触知出力を生成するための１つ以上の触知出力生成器１６７も、任意選択的に含む。
図３は、いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を備える例示的な多機能デバイスのブロック図である。デバイス３００は、ポータブル型である必要はない。いくつかの実施形態では、デバイス３００は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディアプレーヤデバイス、ナビゲーションデバイス、教育用デバイス（子供の学習玩具など）、ゲームシステム、又は制御デバイス（例えば、家庭用又は業務用コントローラ）である。デバイス３００は、典型的には、１つ以上の処理ユニット（ＣＰＵ）３１０、１つ以上のネットワーク若しくは他の通信インタフェース３６０、メモリ３７０、及びこれらの構成要素を相互接続するための１つ以上の通信バス３２０を含む。通信バス３２０は、システム構成要素間の通信を相互接続及び制御する回路（チップセットと呼ばれることがある）を、任意選択的に含む。デバイス３００は、典型的にはタッチスクリーンディスプレイであるディスプレイ３４０を備える入出力（Ｉ／Ｏ）インタフェース３３０を含む。Ｉ／Ｏインタフェース３３０はまた、キーボード及び／又はマウス（又は他のポインティングデバイス）３５０、並びにタッチパッド３５５、デバイス３００上に触知出力を生成するための（例えば、図１Ａを参照して上述した触知出力生成器１６７（単数又は複数）と同様の）触知出力生成器３５７、センサ３５９（例えば、光センサ、加速度センサ、近接センサ、タッチ感知センサ、及び／又は図１Ａを参照して上述した接触強度センサ（単数又は複数）１６５と同様の接触強度センサ）も、任意選択的に含む。メモリ３７０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの、高速ランダムアクセスメモリを含み、また任意選択的に、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性半導体記憶デバイスなどの、不揮発性メモリを含む。メモリ３７０は、ＣＰＵ（単数又は複数）３１０から離れて位置する１つ以上の記憶デバイスを任意選択的に含む。いくつかの実施形態では、メモリ３７０は、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２に記憶されたプログラム、モジュール、及びデータ構造、又はそれらの部分集合に類似する、プログラム、モジュール、及びデータ構造を記憶する。更に、メモリ３７０は、ポータブル多機能デバイス１００のメモリ１０２に存在しない追加のプログラム、モジュール、及びデータ構造を、任意選択的に記憶する。例えば、デバイス３００のメモリ３７０は、描画モジュール３８０、プレゼンテーションモジュール３８２、ワードプロセッシングモジュール３８４、ウェブサイト作成モジュール３８６、ディスクオーサリングモジュール３８８、及び／又はスプレッドシートモジュール３９０を任意選択的に記憶するが、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２はこれらのモジュールを任意選択的に記憶しない。
図３における上述の識別された要素のそれぞれは、前述のメモリデバイスのうちの１つ以上に、任意選択的に記憶される。上記で識別されたモジュールのうちのそれぞれは、上述した機能を実行する命令セットに対応する。上記で特定されたモジュール又はプログラム（例えば、命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、それゆえ、様々な実施形態では、これらのモジュールは、任意選択的に、様々なサブセットに組み合わされるか、又は他の方式で再編成される。いくつかの実施形態において、メモリ３７０は、上述の識別されたモジュール及びデータ構造のサブセットを任意選択的に記憶する。更に、メモリ３７０は、上述されていない追加のモジュール及びデータ構造を、任意選択的に記憶する。
次に、任意選択的に、例えばポータブル多機能デバイス１００に実装される、ユーザインタフェースの実施形態に注意を向ける。
図４Ａは、いくつかの実施形態に係る、ポータブル多機能デバイス１００におけるアプリケーションのメニュのための例示的なユーザインタフェースを示す。同様のユーザインタフェースがデバイス３００上に、任意選択的に、実装される。いくつかの実施形態では、ユーザインタフェース４００は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
●セルラ信号及びＷｉ−Ｆｉ信号などの無線通信（単数又は複数）に関する信号強度インジケータ（単数又は複数）４０２、
●時刻４０４、
●Ｂｌｕｅｔｏｏｔｈインジケータ４０５、
●バッテリ状態インジケータ４０６、
●下記などの、頻繁に使用されるアプリケーション用のアイコンを含むトレイ４０８、
○不在着信又は音声メールメッセージの数のインジケータ４１４を任意選択的に含む、「電話」とラベル付けされた、電話モジュール１３８用のアイコン４１６、
○未読電子メールの数のインジケータ４１０を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール１４０用のアイコン４１８、
○「ブラウザ」とラベル付けされた、ブラウザモジュール１４７用のアイコン４２０、及び
○「ｉＰｏｄ」とラベル付けされた、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）モジュール１５２とも称されるビデオ及び音楽再生モジュール１５２用のアイコン４２２、並びに
●下記などの、その他のアプリケーション用のアイコン、
○「メッセージ」とラベル付けされた、ＩＭモジュール１４１用のアイコン４２４、
○「カレンダ」とラベル付けされた、カレンダモジュール１４８用のアイコン４２６、
○「写真」とラベル付けされた、画像管理モジュール１４４用のアイコン４２８、
○「カメラ」とラベル付けされた、カメラモジュール１４３用のアイコン４３０、
○「オンラインビデオ」とラベル付けされた、オンラインビデオモジュール１５５用のアイコン４３２、
○「株価」とラベル付けされた、株価ウィジェット１４９−２用のアイコン４３４、
○「マップ」とラベル付けされた、マップモジュール１５４用のアイコン４３６、
○「天気」とラベル付けされた、天気ウィジェット１４９−１用のアイコン４３８、
○「時計」とラベル付けされた、アラーム時計ウィジェット１４９−４用のアイコン４４０、
○「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール１４２用のアイコン４４２、
○「メモ」とラベル付けされた、メモモジュール１５３用のアイコン４４４、及び
○デバイス１００及びその様々なアプリケーション１３６に関する設定へのアクセスを提供する、「設定」とラベル付けされた、設定アプリケーション若しくはモジュール用のアイコン４４６。
図４Ａに示されているアイコンのラベルは、単なる例示であることに留意されたい。例えば、ビデオ及び音楽再生モジュール１５２用のアイコン４２２は、「音楽」又は「音楽プレーヤ」とラベル付けされる。他のラベルは、様々なアプリケーションアイコンのために任意選択的に使用される。いくつかの実施形態では、各アプリケーションアイコンに関するラベルは、各アプリケーションアイコンに対応するアプリケーションの名前を含む。いくつかの実施形態では、特定のアプリケーションアイコンのラベルは、特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
図４Ｂは、ディスプレイ４５０（例えば、タッチスクリーンディスプレイ１１２）とは別個のタッチ感知面４５１（例えば、図３のタブレット又はタッチパッド３５５）を備えるデバイス（例えば、図３のデバイス３００）上の、例示的なユーザインタフェースを示す。デバイス３００はまた、タッチ感知面４５１上の接触の強度を検出するための１つ以上の接触強度センサ（例えば、センサ３５９のうちの１つ以上）、及び／又はデバイス３００のユーザに対する触知出力を生成するための１つ以上の触知出力生成器３５７を任意選択的に含む。
以下の実施例のうちのいくつかはタッチスクリーンディスプレイ１１２上での入力（タッチ感知面とディスプレイとが組み合わされている場合）を参照して説明されるが、いくつかの実施形態では、デバイスは、図４Ｂに示されるように、ディスプレイとは別個のタッチ感知面上での入力を検出する。いくつかの実施形態では、このタッチ感知面（例えば、図４Ｂの４５１）は、ディスプレイ（例えば、４５０）上の主軸（例えば、図４Ｂの４５３）に対応する主軸（例えば、図４Ｂの４５２）を有する。これらの実施形態によれば、デバイスは、タッチ感知面４５１との接触（例えば、図４Ｂの４６０及び４６２）を、ディスプレイ上のそれぞれの場所に対応する場所（例えば、図４Ｂでは、４６０は４６８に対応し、４６２は４７０に対応する）にて検出する。このように、タッチ感知面がディスプレイとは別個のものである場合、タッチ感知面（例えば、図４Ｂの４５１）上でデバイスによって検出されたユーザ入力（例えば、接触４６０及び４６２、並びにそれらの移動）が、多機能デバイスのディスプレイ（例えば、図４Ｂでの４５０）上のユーザインタフェースを操作するために、デバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインタフェースに、任意選択的に使用されることを理解されたい。
加えて、以下の実施例が主として指入力（例えば、指接触、指タップジェスチャ、指スワイプジェスチャ）を参照して示されているが、いくつかの実施形態において、これらの指入力のうちの１つ以上は、別の入力デバイス（例えば、マウスに基づく入力、又はスタイラス入力）に由来する入力に取って代わられることが理解されよう。例えば、スワイプジェスチャは、マウスクリック（例えば、接触の代わり）に続いて、スワイプの経路に沿ってカーソルを移動する動作（例えば、接触の移動の代わり）によって、任意選択的に置き換えられる。別の実施例としては、タップジェスチャは、（例えば、接触の検出に続いて、その接触の検出を停止する代わりに）カーソルがタップジェスチャの場所の上に配置されている間のマウスクリックによって、任意選択的に置き換えられる。同様に、複数のユーザ入力が同時に検出される場合、複数のコンピュータマウスが任意選択的に同時に使用されるか、又は、マウス及び／又は指の接触が任意選択的に同時に使用されることを理解されたい。
図５Ａは、例示的なパーソナル電子デバイス５００を示す。デバイス５００は、本体５０２を備える。いくつかの実施形態では、デバイス５００は、デバイス１００及び３００（例えば、図１Ａ〜図４Ｂ）に関して記載した特徴のいくつか又は全てを含み得る。いくつかの実施形態では、デバイス５００は、タッチ感知ディスプレイ画面５０４、以後、タッチスクリーン５０４を有する。タッチスクリーン５０４の代わりに、又はそれに追加して、デバイス５００は、ディスプレイ及びタッチ感知面を有する。デバイス１００及び３００と同様に、いくつかの実施形態では、タッチスクリーン５０４（又はタッチ感知面）は、任意選択的に、印加されている接触（例えば、タッチ）の強度を検出するための１つ以上の強度センサを有する。タッチスクリーン５０４（又はタッチ感知面）の１つ以上の強度センサは、タッチの強度を表す出力データを提供してもよい。デバイス５００のユーザインタフェースは、タッチの強度に基づきタッチに応じてもよく、これは、異なる強度のタッチは、デバイス５００上で異なるユーザインタフェース動作を呼び出し得ることを意味する。
タッチ強度を検出及び処理するための例示的な技術は、例えば、関連出願である、２０１３年５月８日に出願され、ＷＩＰＯ公報第ＷＯ／２０１３／１６９８４９号として公開された「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｄｉｓｐｌａｙｉｎｇ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｏｂｊｅｃｔｓ Ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ａｎ Ａｐｐｌｉｃａｔｉｏｎ」と題された国際特許出願第ＰＣＴ／ＵＳ２０１３／０４００６１号、及び２０１３年１１月１１日に出願され、ＷＩＰＯ公報第ＷＯ／２０１４／１０５２７６号として公開された「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｔｒａｎｓｉｔｉｏｎｉｎｇ Ｂｅｔｗｅｅｎ Ｔｏｕｃｈ Ｉｎｐｕｔ ｔｏ Ｄｉｓｐｌａｙ Ｏｕｔｐｕｔ Ｒｅｌａｔｉｏｎｓｈｉｐｓ」と題された国際特許出願第ＰＣＴ／ＵＳ２０１３／０６９４８３号に見出され、これらのそれぞれは、その全体が参照により本明細書に組み込まれる。
いくつかの実施形態では、デバイス５００は、１つ以上の入力機構５０６及び５０８を有する。入力機構５０６及び５０８は、含まれている場合、物理的であってもよい。物理的な入力機構の例は、プッシュボタン及び回転可能機構を含む。いくつかの実施形態では、デバイス５００は、１つ以上の取付機構を有する。かかる取付機構は、含まれる場合には、例えば、帽子、アイウェア、イヤリング、ネックレス、シャツ、ジャケット、ブレスレット、腕時計バンド、チェーン、ズボン、ベルト、靴、財布、背荷物などに、デバイス５００を取り付けることを可能にし得る。これらの取付機構によって、ユーザはデバイス５００を装着することができる。
図５Ｂは、例示的なパーソナル電子デバイス５００を示す。いくつかの実施形態では、デバイス５００は、図１Ａ、図１Ｂ及び図３に関して記載した構成要素のいくつか又は全てを含み得る。デバイス５００は、Ｉ／Ｏ部５１４を１つ以上のコンピュータプロセッサ５１６及びメモリ５１８に動作可能に結合するバス５１２を有する。Ｉ／Ｏセクション５１４は、タッチ感知構成要素５２２及び任意選択的に強度センサ５２４（例えば接触強度センサ）を有し得る、ディスプレイ５０４に接続することができる。更に、Ｉ／Ｏ部５１４は、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、近距離通信（ＮＦＣ）、セルラ及び／又は他の無線通信技術を使用して、アプリケーション及びオペレーティングシステムのデータを受信するための通信ユニット５３０に接続し得る。デバイス５００は、入力機構５０６及び／又は５０８を含むことができる。入力機構５０６は、任意選択的に、例えば、回転可能入力デバイス、又は押し下げ可能かつ回転可能な入力デバイスである。いくつかの実施形態では、回転可能入力デバイスが、１つ又は複数の指との相互作用によって回転可能な、クラウン、ノブ、リング、又はスクロールホイールである。回転可能入力デバイスは、図５Ａに示すようにデバイス５００の側面に取り付けられてもよく、又はディスプレイ５０４の上若しくは周りに組み込まれる等、他の位置に取り付けられてもよい。入力機構５０８は、いくつかの実施例では、任意選択的にボタンである。
入力機構５０８は、いくつかの実施例では、任意選択的にマイクロフォンである。パーソナル電子デバイス５００は、任意選択的に、ＧＰＳセンサ５３２、加速度計５３４、方向センサ５４０（例えば、コンパス）、ジャイロスコープ５３６、動きセンサ５３８、及び／又はこれらの組み合わせなどの、様々なセンサを含み、それらの全ては、Ｉ／Ｏセクション５１４に動作可能に接続することができる。
パーソナル電子デバイス５００のメモリ５１８は、コンピュータ実行可能命令を記憶するための、１つ以上の非一時的コンピュータ可読記憶媒体を含むことができ、それらの命令は、１つ以上のコンピュータプロセッサ５１６によって実行されると、例えば、コンピュータプロセッサに、方法７００（図７）、及び１０００（図１０）、１３００（図１３）及び１６００（図１６）を含めた、後述の技術を実行させることができる。パーソナル電子デバイス５００は、図５Ｂの構成要素及び構成に限定されるものではなく、他の構成要素又は追加的構成要素を、複数の構成で含み得る。
本明細書で使用する時、用語「アフォーダンス」は、デバイス１００、３００、及び／又は５００（図１、図３、及び図５）のディスプレイ画面に任意選択的に表示されるユーザ対話式のグラフィカルユーザインタフェースオブジェクトを指す。例えば、画像（例えば、アイコン）、ボタン、及びテキスト（例えば、ハイパーリンク）はそれぞれ、任意選択的に、アフォーダンスを構成する。
本明細書で用いられている用語「フォーカスセレクタ」は、ユーザが対話しているユーザインタフェースの現在の部分を指示する入力要素を指す。カーソル又は他の位置マーカを含むいくつかの実装において、タッチ感知面（例えば、図３のタッチパッド３５５、又は図４Ｂのタッチ感知面４５１）上で入力（例えば、押圧入力）が検出された時に、カーソルが特定のユーザインタフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素）の上にある時、カーソルは「フォーカスセレクタ」として機能し、特定のユーザインタフェース要素が、検出された入力に従って調整される。タッチスクリーンディスプレイ上のユーザインタフェース要素との直接的な対話を可能にする、タッチスクリーンディスプレイ（例えば、図１Ａでのタッチ感知ディスプレイシステム１１２、又は図４Ａでのタッチスクリーン１１２）を含むいくつかの実装例では、タッチスクリーン上で検出される接触が「フォーカスセレクタ」としての役割を果たすことにより、入力（例えば、接触による押圧入力）が、タッチスクリーンディスプレイ上の特定のユーザインタフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素）の場所で検出されると、その特定のユーザインタフェース要素が、検出された入力に従って調節される。いくつかの実装例では、フォーカスは、対応するカーソルの移動又はタッチスクリーンディスプレイ上の接触の移動を伴うことなく（例えば、タブキー又は矢印キーを使用して、１つのボタンから別のボタンにフォーカスを移動させることによって）、ユーザインタフェースの１つの領域からユーザインタフェースの別の領域に移動され、これらの実装例では、フォーカスセレクタは、ユーザインタフェースの種々の領域間でのフォーカスの移動に従って移動する。フォーカスセレクタが採用する具体的な形態とは関わりなく、フォーカスセレクタは、全般的に、ユーザが意図するユーザインタフェースとの対話を（例えば、ユーザが対話することを意図しているユーザインタフェースの要素を、デバイスに示すことによって）伝達するために、ユーザによって制御される、ユーザインタフェース要素（又は、タッチスクリーンディスプレイ上での接触）である。例えば、タッチ感知面（例えば、タッチパッド又はタッチスクリーン）上で押圧入力が検出される間の、対応のボタンの上のフォーカスセレクタ（例えば、カーソル、接触、又は選択ボックス）の場所は、その対応のボタンを（そのデバイスのディスプレイ上に示される他のユーザインタフェース要素ではなく）アクティブ化することをユーザが意図していることを示すものである。
本明細書及び特許請求の範囲で使用する時、接触の「特性強度」という用語は、接触の１つ以上の強度に基づく、その接触の特性を指す。いくつかの実施形態では、特性強度は、複数の強度サンプルに基づく。特性強度は、任意選択的に、既定数の強度サンプル、すなわち、既定のイベントに関連する（例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終了を検出する前、接触の強度の増大を検出する前若しくは後、及び／又は、接触の強度の減少を検出する前若しくは後の）所定の期間（例えば、０．０５、０．１、０．２、０．５、１、２、５、１０秒間）に収集された、強度サンプルのセットに基づく。接触の特性強度は、任意選択的に、接触の強度の最大値、接触の強度の平均値（mean value）、接触の強度の平均値（average value）、接触の強度の上位１０個のパーセンタイル値、接触の強度の最大値の半分の値、接触の強度の最大値の９０パーセントの値などのうちの、１つ以上に基づく。いくつかの実施形態では、特性強度を決定する際に、（例えば、特性強度が、経時的な接触の強度の平均である場合）接触の持続時間が使用される。いくつかの実施形態では、動作がユーザによって実行されたかどうかを判定するために、特性強度は、１つ以上の強度閾値のセットと比較される。例えば、１つ以上の強度閾値のセットは、任意選択的に、第１の強度閾値及び第２の強度閾値を含む。この実施例では、第１の閾値を上回らない特性強度を有する接触の結果として第１の動作が実行され、第１の強度閾値を上回り、第２の強度閾値を上回らない特性強度を有する接触の結果として第２の動作が実行され、第２の閾値を上回る特性強度を有する接触の結果として第３の動作が実行される。いくつかの実施形態では、特性強度と１つ以上の閾値との間の比較が、第１の動作又は第２の動作のいずれを実行するかを判定するために使用されるのではなく、１つ以上の動作を実行するかどうか（例えば、各動作を実行するのか、又は各動作の実行を見合わせるのか）を判定するために使用される。
いくつかの実施形態では、特性強度を決定する目的で、ジェスチャの一部分が識別される。例えば、タッチ感知面は、接触の強度が増加する、開始位置から遷移して終了位置まで達する連続的なスワイプ接触を任意選択的に受ける。この実施例では、終了位置における接触の特性強度は、連続的なスワイプ接触全体ではなく、そのスワイプ接触の一部分のみ（例えば、終了位置におけるスワイプ接触の部分のみ）に任意選択的に基づく。いくつかの実施形態では、接触の特性強度を決定する前に、平滑化アルゴリズムをそのスワイプ接触の強度に任意選択的に適用する。例えば、平滑化アルゴリズムは、任意選択的に、非荷重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、及び／又は指数平滑化アルゴリズム、のうちの１つ以上を含む。いくつかの状況では、これらの平滑化アルゴリズムは、特性強度を決定する目的で、スワイプ接触の強度の小幅な上昇又は低下を除外する。
タッチ感知面上の接触の強度は、接触検出強度閾値、軽い押圧強度閾値、深い押圧強度閾値、及び／又は１つ以上の他の強度閾値などの１つ以上の強度閾値に対して任意選択的に特徴付ける。いくつかの実施形態では、軽い押圧強度閾値は、物理的なマウスのボタン又はトラックパッドをクリックすることに典型的に関連付けられた動作を、デバイスが実行することになる強度に相当する。いくつかの実施形態では、深い押圧強度閾値は、物理的なマウスのボタン又はトラックパッドをクリックすることに典型的に関連付けられた動作とは異なる動作を、デバイスが実行することになる強度に相当する。いくつかの実施形態では、軽い押圧強度閾値を下回る（例えば、かつ、それを下回ると接触がもはや検出されない名目上の接触検出強度閾値を上回る）特性強度で接触が検出される場合、デバイスは、軽い押圧強度閾値又は深い押圧強度閾値に関連付けられた動作を実行することなく、タッチ感知面上での接触の移動に従って、フォーカスセレクタを移動させることになる。全般的には、特に明記しない限り、これらの強度閾値は、ユーザインタフェース図の異なるセット間でも一貫している。
軽い押圧強度閾値を下回る強度から、軽い押圧強度閾値と深い押圧強度閾値との間の強度への接触の特性強度の増大は、「軽い押圧」入力と称される場合がある。深い押圧強度閾値を下回る強度から、深い押圧強度閾値を上回る強度への接触の特性強度の増大は、「深い押圧」入力と称される場合がある。接触検出強度閾値を下回る強度から、接触検出強度閾値と軽い押圧強度閾値との間の強度への接触の特性強度の増大は、タッチ面上の接触の検出と称される場合がある。接触検出強度閾値を上回る強度から、接触検出強度閾値を下回る強度への接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と称される場合がある。いくつかの実施形態では、接触検出強度閾値はゼロである。いくつかの実施形態では、接触検出強度閾値はゼロを上回る。
本明細書で説明されるいくつかの実施形態では、１つ以上の動作は、それぞれの押圧入力を含むジェスチャの検出に応じて、又はそれぞれの接触（又は、複数の接触）で実行されるそれぞれの押圧入力の検出に応じて実行され、それぞれの押圧入力は、少なくとも部分的に、押圧入力強度閾値を上回る接触（又は、複数の接触）の強度の増大の検出に基づいて検出される。いくつかの実施形態では、それぞれの動作は、押圧入力強度閾値を上回る、対応する接触の強度の増大（例えば、対応する押圧入力の「ダウンストローク」）の検出に応じて実行される。いくつかの実施形態では、押圧入力は、押圧入力強度閾値を上回る、対応する接触の強度の増大、及び後続の、押圧入力強度閾値を下回る接触の強度の減少を含み、対応する動作は、その後続の押圧入力閾値を下回る対応する接触の強度の減少（例えば、対応する押圧入力の「アップストローク」）の検出に応じて、実行される。
いくつかの実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある不測の入力を回避するために強度ヒステリシスを採用し、デバイスは、押圧入力強度閾値との既定の関連性を有するヒステリシス強度閾値を定義又は選択する（例えば、ヒステリシス強度閾値は、押圧入力強度閾値よりもＸ強度単位低いか、又は、ヒステリシス強度閾値は、押圧入力強度閾値の７５％、９０％、若しくは何らかの妥当な比率である）。したがって、いくつかの実施形態では、押圧入力は、押圧入力強度閾値を上回る対応する接触の強度の増大、及び後続の、押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を含み、対応する動作は、そのヒステリシス強度閾値を下回る、後続の対応する接触の強度の減少（例えば、対応する押圧入力の「アップストローク」）の検出に応じて、実行される。同様に、いくつかの実施形態では、押圧入力は、デバイスが、ヒステリシス強度閾値以下の強度から押圧入力強度閾値以上の強度への接触の強度の増大、及び任意選択的に、ヒステリシス強度以下の強度への、後続の接触の強度の減少を検出する場合にのみ検出され、対応する動作は、その押圧入力の検出（例えば、状況に応じて、接触の強度の増大、又は接触の強度の減少）に応じて、実行される。
説明を容易にするために、押圧入力強度閾値に関連付けられた押圧入力に応じて、又はその押圧入力を含むジェスチャに応じて実行される動作の説明は、押圧入力強度閾値を上回る接触の強度の増大、ヒステリシス強度閾値を下回る強度から押圧入力強度閾値を上回る強度への接触の強度の増大、押圧入力強度閾値を下回る接触の強度の減少、及び／又は押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少のいずれかの検出に応じて、任意選択的にトリガされる。更に加えて、押圧入力強度閾値を下回る接触の強度の減少の検出に応じて動作が実行されるとして説明される実施例では、その動作は、押圧入力強度閾値に対応し、かつそれよりも低いヒステリシス強度閾値を下回る、接触の強度の減少の検出に応じて任意選択的に実行される。
次に、ポータブル多機能デバイス１００、デバイス３００、又はデバイス５００等の電子デバイスに実装される、ユーザインタフェース（「ＵＩ」）及び関連処理の実施形態に注目する。
図６Ａ〜図６Ｒは、いくつかの実施形態に係る、小型画面上での手書きのための例示的なユーザインタフェースを示す。これらの図のユーザインタフェースは、図７の処理を含めた、以下で説明される処理を例示するために使用される。
図６Ａは、電子デバイス６００を示しており、その変形例には、上述したデバイス１００、３００、又は５００の構成要素の一部又は全てが含まれる。例えば、電子デバイス６００は、場合によってはデバイス３００のディスプレイ３４０又はデバイス５００のディスプレイ５０４に対応する、ディスプレイ６０１を含む。いくつかの実施例では、タッチ感知面がディスプレイ６０１に組み込まれる。電子デバイス６００は、場合によっては電子デバイス５００の入力機構５０６に対応する、回転可能入力デバイス６０２も含む。
図６Ａでは、電子デバイス６００は、ディスプレイ６０１に手書きインタフェース６１０を表示している。手書きインタフェース６１０は、（点線のボックスで表した）ストローク入力エリア６０８及び（破線のボックスで表した）メッセージエリア６０９を含む。ストローク入力エリア６０８に入力されたユーザストロークが、ストロークが表すテキストを決定するために、電子デバイス６００の１つ以上のプロセッサによって分析される。決定されたテキストは、次いでメッセージエリア６０９に表示される。図６Ａは、部分的に重なり合うようにストローク入力エリア６０８とメッセージエリア６０９を示している。場合によっては、ストローク入力エリア６０８とメッセージエリア６０９は、完全に重なり合うか、重なり合わないが共通の境界を共有するか、いくらかの距離だけ離れるか、又は他の空間構成を有するかする。
手書きインタフェース６１０は、入力されたテキストが完成したことを示すアフォーダンス６０３と、手書きインタフェース６１０の現在のインスタンスにおける更なるテキスト入力をキャンセルするためのアフォーダンス６０４と、オーディオ入力を受けるための口述入力モードに入るためのアフォーダンス６０５と、入力済みのテキストを削除するためのアフォーダンス６０７と、現在のテキストにスペースを入力するためのアフォーダンス６０６と、も含む。アフォーダンス６０３を選択すると、場合によっては、メッセージエリア内のテキストが、手書きインタフェース６１０を起動したプログラムに返される。例えば、メッセージングアプリケーションが手書きインタフェース６１０を起動した場合には、アフォーダンス６０３を選択すると、メッセージエリア内のテキストがメッセージングアプリケーションに返される。
図６Ｂは、ディスプレイ及びタッチ感知面のストローク入力エリア６０８に接触するユーザの指の軌跡を表す軌跡６１１を示している。軌跡６１１は、ユーザの指が辿った方向を示す矢印を含んでいる。図６Ｂは、ユーザの指によって生じた軌跡６１１を示しているが、他の場合では、スタイラス又は他の物体等の、他の物体が用いられる。
図６Ｃは、図６Ｂの軌跡６１１に沿ってタッチ感知面に接触するユーザの指に対するタッチ感知面の応答出力に基づいて生じたストローク表現６１２の表示を示している。ストローク表現６１２は、一連のドット及び部分ドットとして表示されている。他の外観のストローク表現６１２も可能である。場合によっては、ストローク表現６１２の表示の強度は、同ストロークが検出された時間に基づく。
図６Ｄは、電子デバイス６００がストローク表現６１２に対応するストロークを分析して、ストロークを表すテキストを決定した結果を示している。この場合、ストロークは、メッセージエリア６０９に現れているテキスト６１４（字「ｈ」）を表すと決定された。ストローク表現６１２は、もはやストローク入力エリア６０８に表示されていない。場合によっては、ストローク入力エリア６０８に現れるストローク表現は、分析されて対応するテキストが決定された後には、もはや表示されない。場合によっては、ストローク入力エリア６０８に現れるストローク表現は、対応するストロークが分析されている時に、例えばアニメーションによって、メッセージエリア６０９内のテキストに遷移する。
図６Ｅは、分かり易くするためにメッセージエリア６０９及びストローク入力エリア６０８のボックスを省略した点を除いて、図６Ｄと同じである。電子デバイス６００の残りの図（図６Ｅ〜図６Ｒ、図９Ａ〜図９Ｉ、図１２Ａ〜図１２Ｌ、及び図１５Ａ〜図１５Ｊ）には、メッセージエリア６０９及びストローク入力エリア６０８を示す視覚的なボックスが含まれていない。しかし、これらの図に示すような電子デバイス６００は、図６Ａ〜図６Ｄと同じメッセージエリア及びストローク入力エリアを有するものとみなされる。
図６Ｆは、ストロークを認識し、認識したストロークに基づいてテキスト６１４を決定し、インジケータ６１６によって指示される、テキスト６１４のための１つ以上の候補のセットを決定した後の手書きインタフェース６１０を示している。場合によっては、テキスト６１４（又はメッセージエリア内の他のテキスト）のための１つ以上の候補のセットの決定は、ｎグラムモデル、メッセージのコンテキスト、可能性のあるテキストのオートコレクション、可能性のあるテキストのオートコンプリート、テキスト６１４の生成に用いられたストローク、デバイスのコンテキスト、又は他の要因等の様々な要因及び技術に基づく。
図６Ｇでは、入力デバイス６０２で入力（例えば、スクロール入力又は回転入力）を受けたことに応じて、電子デバイス６００は、メッセージエリア内のテキストに関する１つ以上の候補６２２を含む候補ボックス６２０を表示している。場合によっては、１つ以上の候補６２２は、メッセージエリア内のテキストに関する候補のセットの一部（又は全体）である。この場合、テキスト指示６１８によって指示されるように、候補は、メッセージエリア内の唯一のテキストであるテキスト「ｈ」に関する。場合によっては、後述するように、候補ボックスが、メッセージエリアに存在するテキストの一部分のみに関して表示される。インジケータ６２４が現在選択されている候補を指示しており、最初に選択される候補は、そのために１つ以上の候補６２２のセットが生成された元のテキストである。ステータスバー６２６は、１つ以上の候補のセット中の現在選択されている候補の位置（すなわち、インジケータ６２４の位置）を表しており、インジケータ６２４が移動され新たな候補を選択すると更新される。
図６Ｈは、入力デバイス６０２を介して更なるユーザ入力（例えば、スクロール入力又は回転入力）を受けることに対するデバイス６００の応答を示している。電子デバイス６００は、ユーザ入力に応じてインジケータ６２４をいくつかの候補分、下に移動させる。メッセージエリア６１８は、現在選択されている候補「ｈｅｌｌｏ」を指示するために更新されている。ステータスバー６２６は、１つ以上の候補６２２のセットにおけるインジケータ６２４の位置を反映するために更新される。
図６Ｉは、候補「ｈｅｌｌｏ」の選択に対する電子デバイス６００の応答を示している。電子デバイス６００は、選択された候補を含むためにメッセージエリアを更新する。場合によっては、選択は、入力デバイス６０２がもはやユーザ入力を受けない（例えば、スクロール入力又は回転入力をもはや受けない）ことに応じて生じる。他の場合、選択は、ボタンのアクティブ化、入力デバイス６０２の押下、タッチ感知面上でのジェスチャ、又は他のユーザ入力等の、他のユーザ入力に応じて生じる。メッセージエリア内のテキストに関する１つ以上の候補のセットが利用可能であることを示すインジケータ６１６が存在する。更なるユーザ入力（例えば、更なるスクロール入力）を受けたことに応じて、候補ボックス６２０及び１つ以上の候補６２２のセット（図６Ｇ）が再び表示されてもよい。いくつかの実施形態では、メッセージエリアに存在する新たなテキストに基づく新たな１つ以上の候補のセットが生成され、候補ボックスに表示される。
図６Ｊは、ストローク表現６２８を有する手書きインタフェース６１０を示している。ストローク表現６２８を生成したストロークに対応する入力を受けた後、かつストロークを分析して対応するテキスト及び候補を決定する前の、候補インジケータ（例えば、図６Ｉのインジケータ６１６）を伴わずに示される手書きインタフェース６１０が示されている。
図６Ｋは、ストローク表現６２８に対応するストロークを分析し、対応するテキストを決定した後の手書きインタフェース６１０を示している。この場合、ストローク表現６２８に対応するストロークの対応するテキストは、メッセージエリアに表示されている字「ｗ」である。スペースによって、前のテキスト（「ｈｅｌｌｏ」）が新たなテキスト（「ｗ」）から隔てられている。場合によっては、スペースは、アフォーダンス６０６を選択するユーザ入力に応じて存在する。他の場合、スペースは、例えば、「ｈｅｌｌｏ」が完全な単語であると決定した後に、電子デバイス６００がスペースを自動挿入したことに応じて存在する。インジケータ６１６は、メッセージエリア内のテキストに関する１つ以上の候補のセットも利用可能であることを示している。
図６Ｌでは、入力デバイス６０２を介して入力（例えば、スクロール入力又は回転入力）を受けたことに応じて、電子デバイス６００は、メッセージエリア内のテキストに関する１つ以上の候補のセットを含む候補ボックス６３２を表示している。この場合、テキスト指示６３０によって示されるように、候補は、メッセージエリア内のテキストのうちテキスト指示６３０によってハイライトされた部分であるテキスト「ｗ」に関する。
図６Ｍは、タッチ感知面で受けた多くの更なるストロークを処理し、対応するテキストを決定し、メッセージングエリアに表示した後の手書きインタフェース６１０を表示する電子デバイス６００を示している。インジケータ６３４は、更なるテキストが、表示されていないが利用可能であることを示している。いくつかの実施形態では、更なるテキストは、メッセージエリアでのスワイプジェスチャ等のユーザ入力に応じて、視認されアクセスされる。
図６Ｎは、電子デバイス６００が入力デバイス６０２を介してユーザ入力（例えばスクロール入力）を受けたことに応じて表示された手書きインタフェース６１０を示している。候補ボックス６３６は、テキスト指示６３８によって指示されるように、テキスト「ｄｏ」に関する候補のセットを含んでいる。「ｄｏ」で始まる単語に加えて、候補ボックス６３６内の候補のセットは、犬の絵文字を含む。
図６Ｏは、電子デバイス６００が入力デバイス６０２を介して更なるユーザ入力（例えばスクロール入力）を受けた後の手書きインタフェース６１０を示している。ユーザ入力によって、候補ボックス６３６内の候補のセットが移動し、それにより犬の絵文字が現在の選択となっている。手書きインタフェース６１０は、対応してボックス指示６３８内のテキストを犬の絵文字に更新している。
図６Ｐは、（例えば、ユーザ入力に応じて）電子デバイス６００が候補ボックス６３６（図６Ｏ）から犬の絵文字の候補を選択した後の手書きインタフェース６１０を示している。例えば、電子デバイス６００は、入力デバイス６０２を介してユーザ入力を受けることが停止した時に、候補ボックス６３６の選択インジケータが犬の絵文字を特定していたことに応じて犬の絵文字を選択する。メッセージエリアは、犬の絵文字を含むために更新される。
図６Ｑは、ストローク表現６４０及び６４２にそれぞれ対応する更なる２つのストロークを受けた後の手書きインタフェース６１０を示している。ストローク表現６４０に対応するＴストロークは、（後で受けたストロークに対応する）ストローク表現６４２に比べて薄い外観によって示されるように、先に受けられた。ストローク表現６４０及び６４２にそれぞれ対応するストロークの入力の間の時間が閾値時間未満である場合、ストローク表現６４０及び６４２に対応するストロークは、任意選択的に、同じセットの一部として一緒に分析される。しかし、これらのストロークは、一定の時間だけ離れる場合、それぞれに異なるセットの一部として別々に分析される。図６Ｑに示すように、ストローク表現６４０及び６４２にそれぞれ対応するストロークは、重なり合うようにストローク入力エリア内の実質的に同じ位置に入力された。
図６Ｒは、ストローク表現６４０及び６４２にそれぞれ対応するストロークが分析されてテキスト「ｔｏ」を生成した後の手書きインタフェース６１０を示している。場合によっては、このテキストは、ストローク表現６４０及び６４２にそれぞれ対応するストロークが一緒に分析されるか別々に分析されるかにかかわらず同じである。場合によっては、このテキストは、ストローク表現６４０及び６４２にそれぞれ対応するストロークが一緒に分析されるか別々に分析されるかに依存する。
図７は、いくつかの実施形態による電子デバイスを用いたタッチ感知面上での手書きのための方法を示すフロー図である。方法７００は、ディスプレイ、タッチ感知面、及び回転可能入力デバイスを有するデバイス（例えば、１００、３００、５００）において実施される。方法７００のいくつかの動作は、任意選択的に組み合わせられ、いくつかの動作は、任意選択的に順序を変更され、いくつかの動作は、任意選択的に省略される。
以下で説明するように、方法７００は、タッチ感知面上での手書きのための直観的方法を提供する。この方法により、タッチ感知面上での手書きのための、ユーザの認識的負担が軽減され、より効率的なヒューマン−マシンインタフェースが作成される。バッテリ動作式のコンピューティングデバイスに関しては、ユーザが、タッチ感知面上での手書きを、より速く、かつより効率的に入力することが可能となることにより、電力が節約され、バッテリを充電する間隔が増大する。
電子デバイスは、メッセージエリア（例えば６０９）及びストローク入力エリア（例えば６０８）（例えば、ディスプレイ及びタッチ感知面のうち指、スタイラス、又は他の物体を介してユーザから受けたストロークを検出及び表示するエリア）を含むユーザ入力インタフェース（例えば６１０）をディスプレイに表示する（７０２）。いくつかの実施例では、メッセージエリア（例えば６０９）とストローク入力エリア（例えば６０８）は部分的に重なり合う。いくつかの実施例では、メッセージエリアは、完全にストローク入力エリア（例えば６０８）内にある。いくつかの実施例では、メッセージエリアとストローク入力エリア（例えば６０８）は、重なり合わないが境界を共有する。いくつかの実施例では、メッセージエリアとストローク入力エリア（例えば６０８）は、離間する。いくつかの実施例では、タッチ感知面は、２インチ×２インチ未満、１．５インチ×１．５インチ未満、又は１インチ×１インチ未満である。
電子デバイスは、タッチ感知面のストローク入力エリア（例えば６０８）で（例えば、ストローク表現６１２に対応する）第１のストロークセット（例えば、連続した１つ以上のストロークであり、各ストロークが字又は字の一部を表す）を受ける（７０４）。いくつかの実施例では、第１のストロークセットは、１つの字、複数の字、１つの単語、又は複数の単語を表す。いくつかの実施例では、ディスプレイは、ストロークを受けると、第１のストロークセットのストロークの位置及び形状のフィードバックをユーザに提供する（例えば、図６Ｃのストローク表現６１２の表示）。
電子デバイスは、（例えば、ストローク表現６１２に対応する）第１のストロークセットに基づいて第１のテキスト（例えば、１つの字、複数の字、１つの単語、又は複数の単語）を決定する（７０６）。いくつかの実施例では、決定は、第１のストロークセットの前に受けたストローク、電子デバイスのコンテキスト（例えば、時刻、位置、現在のアクティビティ、カレンダ、メッセージが対象とする人）、又は他の情報に更に基づくことができる。
電子デバイスは、ディスプレイのメッセージエリアに第１のテキスト（例えば６１４）を表示する（７０８）（例えば図６Ｅ）。いくつかの実施例では、電子デバイスは、第１のテキストを表示する前に第１のストロークセットを表示する。いくつかの実施例では、電子デバイスは、アニメーションによって第１のストロークセットの表示を第１のテキストの表示に遷移させる。いくつかの実施例では、アニメーションは、電子デバイスが第１のストロークセットに基づいて第１のテキストを決定する間に生じる。
電子デバイスは、第１のテキスト（例えば６１４）に基づいて１つ以上の候補（例えば６２２）を決定し（７１０）、１つ以上の候補（例えば６２２）は、第１のテキストに対する１つ以上の変更を含む（例えば、変更によって、候補とされた完成、訂正、又は予測が実現されてもよい）。いくつかの実施例では、１つ以上の候補は、第１のテキストに関するスペリング訂正の候補を含む。いくつかの実施例では、１つ以上の候補は、第１のテキストの完成の候補を含む。いくつかの実施例では、１つ以上の候補は、第１のテキストに続く更なる単語の予測を含む。
電子デバイスは、１つ以上の候補（例えば６２２）を決定した後に、回転可能入力機構（例えば６０２）を介してユーザ入力を受ける（７１２）。いくつかの実施例では、回転可能入力機構は、クラウン、ノブ、リング、又はホイールである。いくつかの実施例では、回転の軸線は、ディスプレイの平面と垂直である。いくつかの実施例では、回転の軸線は、ディスプレイの平面と平行であるか、又はディスプレイの平面内にある。いくつかの実施例では、回転可能入力機構は、ディスプレイの側部にある。いくつかの実施例では、回転可能入力機構は、ディスプレイの周りにある。
電子デバイスは、ユーザ入力（７１４）（例えば、入力デバイス６０２を介して受けたユーザ入力）に応じて、１つ以上の候補のうちの少なくとも１つ（例えば、候補ボックス６２０内の候補６２２）を表示し（７１６）、１つ以上の候補（例えば６２２）のうちの選択された候補を指示する選択インジケータ（例えば６２４）を表示する（７１８）。いくつかの実施例では、１つ以上の候補のうちの少なくとも１つ候補は、周囲のグラフィック要素内に表示される。いくつかの実施例では、１つ以上の候補のうちの少なくとも１つを表示した直後にユーザ入力が停止したことに応じて、電子デバイスは、１つ以上の候補のうちの少なくとも１つの表示を終了する。いくつかの実施例では、選択インジケータは、選択された候補の側部にある。いくつかの実施例では、選択インジケータは、１つ以上の候補を囲む。いくつかの実施例では、選択インジケータは、選択された候補の色を変更したり、そうでなければ外観を変更したりする等、選択された候補と統合される。
電子デバイスは、１つ以上の候補（例えば６２２）のうちの少なくとも１つ及び選択インジケータ（例えば６２４）を表示した後に、メッセージエリア内の第１のテキストの表示を選択された候補の表示と置換する（７２０）（例えば、図６Ｈに対する図６Ｇ）。いくつかの実施例では、置換は、選択インジケータが新たな候補に移動したことに応じて起きる。
いくつかの実施形態によれば、１つ以上の候補を決定したことに応じて、電子デバイスは、１つ以上の候補が利用可能であるという指示（例えば６１６）を表示する。いくつかの実施例では、指示は、最初に第１のテキストの第１の表示と同時に表示される。いくつかの実施例では、指示は、回転可能入力機構（例えば６０２）に隣接し、それにより、ユーザを回転可能入力機構に導き、回転可能入力機構に隣接する指示の表示に応じて、回転可能入力機構を回転させるように導きさえする（例えば、図６Ｆのインジケータ６１６と、図６Ｇにおける位置及び回転の向きとを比較されたい）。
いくつかの実施形態によれば、更にユーザ入力を受けたことに応じて、電子デバイスは、ユーザ入力の特性（例えば、ユーザ入力が停止してからの時間）が第１の基準を満たすかどうかを判定する。候補インタフェースの終了基準を満たすとの判定に従って、電子デバイスは、１つ以上の候補（例えば６２２）に対応するグラフィックインタフェース（例えば６２０）の表示を終了する。
いくつかの実施形態によれば、回転可能入力機構（例えば入力デバイス６０２）を介してユーザ入力を受け続けたことに応じて、電子デバイスは、選択インジケータ（例えば６２４）を１つ以上の候補のうちの第１の候補から第２の候補に移動させる（例えば、図６Ｇ及び図６Ｈ）。
いくつかの実施形態によれば、１つ以上の候補の表示には、第１のテキストと、第１のテキストの上方にある大文字表記の１つ以上の候補と、第１のテキストの下方にある小文字表記の１つ以上の候補と、が含まれる（例えば、図６Ｇ、図６Ｌ、図６Ｎ）。
いくつかの実施形態によれば、１つ以上の候補は、オートコンプリートの候補（例えば、第１のテキストに基づく完全な単語の候補）又はオートコレクトの候補（例えば、第１のテキストの綴り又は文法の訂正）を含む。
いくつかの実施形態によれば、１つ以上の候補は、第１のテキストに基づいて特定された絵文字を含む（例えば図６Ｏ）。いくつかの実施例では、第１のテキストは、絵文字が表すアイテムの記述である（例えば、第１のテキスト「ｄｏｇ」が犬の絵文字の候補を生成し、又は第１のテキスト「：）」が笑顔の絵文字の候補を生成する）。いくつかの実施例では、第１のテキストは、絵文字の特性のより一般的な記述である（例えば、第１のテキスト「ｈａｐｐｙ」が、笑顔の絵文字の候補を生成する）。
いくつかの実施形態によれば、１つ以上の候補は、ｎグラムモデルを用いて決定される。
いくつかの実施形態によれば、電子デバイスは、第１のストロークセットを受ける前に、ストローク入力エリアで第２のストロークセット（例えば、前の単語又は同じ単語の前の字のストローク）を受ける。電子デバイスは、第２のストロークセットに基づいて第２のテキストを決定する。１つ以上の候補を決定することは、第２のテキストに更に基づく（例えば、第１のストロークセットを分析して第１のテキストを決定する際に第２のテキストのコンテキストが用いられる）。
いくつかの実施形態によれば、第１のストロークセットのうちの少なくとも一部分を受けたことに応じて、電子デバイスは、第１のストロークセットのグラフィック表現をストローク入力エリアに表示する（例えば、図６Ｃ及び図６Ｊ）。
いくつかの実施形態によれば、電子デバイスは、ストローク入力エリアで第１のストロークを受ける。第１のストロークを受けてからある期間が経過した後に、電子デバイスは、ストローク入力エリアで第２のストロークを受ける。期間が閾値を超えているとの判定に従って、電子デバイスは、第１のストローク及び第２のストロークを第１のストロークセットに含める。期間が閾値を超えていないとの判定に従って、電子デバイスは、第１のストロークを第１のストロークセットに含め、第２のストロークを第１のストロークセットから除く（例えば図６Ｑ）。
いくつかの実施形態によれば、第１のテキストは、複数の文字を含む（例えば、図６Ｑ及び図６Ｒ）。
いくつかの実施形態によれば、第１のテキストは、単一の文字である（例えば図６Ｄ）。
いくつかの実施形態によれば、電子デバイスは、ストローク入力エリア内の位置で第３のストローク（例えば６４０）を受ける。電子デバイスは、ストローク入力エリア内の実質的に同じ位置で第４のストローク（例えば６４２）を受け、第３のストロークと第４のストロークの両方は、第１のストロークセットに含まれる（例えば図６Ｑ）。
いくつかの実施形態によれば、第１のストロークセットは、連続した単一のストロークである（例えば６１２）。
いくつかの実施形態によれば、第１のストロークセットは、不連続な複数のストロークを含む（例えば６４０、６４２）。
いくつかの実施形態によれば、ユーザ入力インタフェースは、オーディオ入力に対応するアフォーダンス（例えば６０５）を含む複数のアフォーダンス（例えば６０３〜６０７）を含む。電子デバイスは、オーディオ入力に対応するアフォーダンス（例えば６０５）を選択するユーザ入力を受けたことに応じて、口述入力を受けるためのオーディオ入力インタフェースを表示する。
いくつかの実施形態によれば、電子デバイスは、１つ以上の候補（例えば６２２）のうちの少なくとも１つの表示及び選択インジケータ（例えば６２４）の表示と共にスクロールインジケータ（例えば６２６）を表示し、スクロールインジケータのサイズが、１つ以上の候補の数に基づき、スクロールインジケータの位置が、１つ以上の候補の数の中の選択インジケータの位置に基づく（例えば、図６Ｈに対する図６Ｇ）。
いくつかの実施形態によれば、第１のテキストの表示を選択された候補の表示に置換した後に、電子デバイスは、１つ以上の候補のうちの少なくとも１つの表示を終了する（例えば図６Ｉ）。１つ以上の候補のうちの少なくとも１つの表示を終了した後に、電子デバイスは、回転可能入力機構を介して更なるユーザ入力（例えば６０２）を受ける。更なるユーザ入力を受けたことに応じて、電子デバイスは、１つ以上の候補のうちの少なくとも更なる１つを表示し、選択インジケータを表示する（例えば、ユーザ入力を再び受けた場合に、同じ候補のセットを表示する）。
方法７００に関して上述された処理（例えば図７）の詳細はまた、以下で説明される方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法１０００（図１０）、方法１３００（図１３）、及び方法１６００（図１６）は、方法７００を参照して上述された、様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、方法１０００、１３００、及び１６００は、これらの方法の処理を補完するためにテキスト入力及び候補の一部として方法７００を含んでもよい。簡潔性のために、これらの詳細は、以下では繰り返されない。
いくつかの実施形態によれば、図８は、説明される様々な実施形態の原理に従って構成された電子デバイス８００の、例示的な機能ブロック図を示す。いくつかの実施形態によれば、電子デバイス８００の機能ブロックは、上述の技術を実行するように構成される。デバイス８００の機能ブロックは、説明される様々な実施例の原理を遂行するために、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの組み合わせによって、任意選択的に実装される。当業者であれば、図８に記載された機能ブロックは、説明された様々な実施例の原理を実現するために、任意選択的にサブブロックに組み合わされるか、又は分離されることが理解される。したがって、本明細書における説明は、本明細書で説明されている機能ブロックの任意の可能な組み合わせ若しくは分離、又は更なる定義を任意選択的にサポートする。
図８に示すように、電子デバイス８００は、ディスプレイユニット８０２と、タッチ感知面ユニット８０４と、回転可能入力機構ユニット８０６と、ディスプレイユニット８０２、タッチ感知面ユニット８０４及び回転可能入力機構ユニット８０６に結合された処理ユニット８０８とを含む。いくつかの実施形態では、処理ユニット８０８は、表示有効化ユニット８１０、受付ユニット８１２、決定ユニット８１４、及び組込みユニット８１６を含む。
処理ユニット８０８は、（例えば、表示有効化ユニット８１０によって）ディスプレイユニット８０２でメッセージエリア及びストローク入力エリアを含むユーザ入力インタフェースの表示を有効化し、（例えば、受付ユニット８１２によって）タッチ感知面ユニット８０４のストローク入力エリア上で第１のストロークセットを受け、（例えば、決定ユニット８１４によって）第１のストロークセットに基づいて第１のテキストを決定し、（例えば、表示有効化ユニット８１０によって）ディスプレイユニットのメッセージエリアで第１のテキストの表示を有効化し、（例えば、決定ユニット８１４によって）第１のテキストに基づいて１つ以上の候補であって、１つ以上の候補は、第１のテキストに対する１つ以上の変更を含む、１つ以上の候補を決定し、１つ以上の候補を決定した後に、（例えば、受付ユニット８１２によって）回転可能入力機構ユニット８０６を介してユーザ入力を受け、ユーザ入力に応じて、（例えば、表示有効化ユニット８１０によって）１つ以上の候補のうちの少なくとも１つの表示を有効化し、（例えば、表示有効化ユニット８１０によって）１つ以上の候補のうちの選択された候補を指示する選択インジケータの表示を有効化し、少なくとも１つの候補又は１つ以上の候補及び選択インジケータの表示を有効化した後に、（例えば、表示有効化ユニット８１０によって）第１のテキストの表示を選択された候補の表示と置換する、ように構成される。
いくつかの実施形態では、処理ユニット８０８は、１つ以上の候補を決定したことに応じて、（例えば、表示有効化ユニット８１０によって）１つ以上の候補が利用可能であるという指示の表示を有効化するように更に構成される。
いくつかの実施形態では、処理ユニット８０８は、更にユーザ入力を受けたことに応じて、（例えば、決定ユニット８１４によって）ユーザ入力の特性が第１の基準を満たすかどうかを判定し、候補インタフェースの終了基準を満たすとの判定に従って、（例えば、表示有効化ユニット８１０によって）１つ以上の候補に対応するグラフィックインタフェースの表示の有効化を終了する、ように更に構成される。
いくつかの実施形態では、処理ユニット８０８は、回転可能入力機構ユニット８０６を介してユーザ入力を受け続けたことに応じて、（例えば、表示有効化ユニット８１０によって）１つ以上の候補のうちの第１の候補から第２の候補に選択インジケータを移動させるように更に構成される。
いくつかの実施形態では、（例えば、表示有効化ユニット８１０によって）１つ以上の候補の表示を有効化することは、第１のテキストと、第１のテキストの上方にある大文字表記の１つ以上の候補と、第１のテキストの下方にある小文字表記の１つ以上の候補と、を含む。
いくつかの実施形態では、１つ以上の候補は、オートコンプリートの候補又はオートコレクトの候補を含む。
いくつかの実施形態では、１つ以上の候補は、第１のテキストに基づいて特定された絵文字を含む。
いくつかの実施形態では、１つ以上の候補は、ｎグラムモデルを用いて決定される。
いくつかの実施形態では、処理ユニット８０８は、第１のストロークセットを受ける前に、（例えば、受付ユニット８１２によって）ストローク入力エリアで第２のストロークセットを受け、（例えば、決定ユニット８１４によって）第２のストロークセットに基づいて第２のテキストを決定する、ように更に構成され、１つ以上の候補を決定することは、第２のテキストに更に基づく。
いくつかの実施形態では、処理ユニット８０８は、第１のストロークセットのうちの少なくとも一部分を受けたことに応じて、（例えば、表示有効化ユニット８１０によって）ストローク入力エリアで第１のストロークセットのグラフィック表現の表示を有効化するように更に構成される。
いくつかの実施形態では、処理ユニット８０８は、（例えば、受付ユニット８１２によって）ストローク入力エリアで第１のストロークを受け、第１のストロークを受けてからある期間が経過した後に、（例えば、受付ユニット８１２によって）ストローク入力エリアで第２のストロークを受け、期間が閾値を超えているとの判定に従って、（例えば、組込ユニット８１６によって）第１のストローク及び第２のストロークを第１のストロークセットに含め、期間が閾値を超えていないとの判定に従って、（例えば、組込ユニット８１６によって）第１のストロークを第１のストロークセットに含め、第２のストロークを第１のストロークセットから除く、ように更に構成される。
いくつかの実施形態では、第１のテキストは、複数の文字を含む。
いくつかの実施形態では、第１のテキストは、単一の文字である。
いくつかの実施形態では、処理ユニット８０８は、（例えば、受付ユニット８１２によって）ストローク入力エリア内の位置で第３のストロークを受け、（例えば、受付ユニット８１２によって）ストローク入力エリア内の実質的に同じ位置で第４のストロークを受ける、ように更に構成され、第３のストロークと第４のストロークの両方は、第１のストロークセットに含まれる。
いくつかの実施形態では、第１のストロークセットは、連続した単一のストロークである。
いくつかの実施形態では、第１のストロークセットは、不連続な複数のストロークを含む。
いくつかの実施形態では、ユーザ入力インタフェースは、オーディオ入力に対応するアフォーダンスを含む複数のアフォーダンスを含み、処理ユニット８０８は、オーディオ入力に対応するアフォーダンスを選択するユーザ入力を受けたことに応じて、（例えば、表示有効化ユニット８１０によって）、ディスプレイユニット８０２で、口述入力を受けるためのオーディオ入力インタフェースの表示を有効化するように更に構成される。
いくつかの実施形態では、処理ユニット８０８は、（例えば、表示有効化ユニット８１０によって）１つ以上の候補のうちの少なくとも１つの表示及び選択インジケータの表示と共にスクロールインジケータの表示を有効化するように更に構成され、スクロールインジケータのサイズが、１つ以上の候補の数に基づき、スクロールインジケータの位置が、１つ以上の候補の数の中の選択インジケータの位置に基づく。
いくつかの実施形態では、処理ユニット８０８は、第１のテキストの表示を選択された候補の表示に置換した後に、（例えば、表示有効化ユニット８１０によって）１つ以上の候補のうちの少なくとも１つの表示の有効化を終了し、（例えば、表示有効化ユニット８１０によって）１つ以上の候補のうちの少なくとも１つの表示の有効化を終了した後に、（例えば、受付ユニット８１２によって）回転可能入力機構ユニットを介して更なるユーザ入力を受け、更なるユーザ入力を受けたことに応じて、（例えば、表示有効化ユニット８１０によって）、ディスプレイユニット８０２で１つ以上の候補のうちの少なくとも更なる１つの表示を有効化し、（例えば、表示有効化ユニット８１０によって）、ディスプレイユニット８０２で選択インジケータの表示を有効化する、ように更に構成される。
図７を参照して上述された動作は、図１Ａ〜図１Ｂ又は図８に示される構成要素によって、任意選択的に実施される。例えば、受付動作７０４は、任意選択的に、イベントソート部１７０、イベント認識部１８０、及びイベント処理部１９０によって実施される。イベントソート部１７０のイベントモニタ１７１は、タッチ感知ディスプレイ１１２上の接触を検出し、イベントディスパッチャモジュール１７４は、イベント情報をアプリケーション１３６−１に配信する。アプリケーション１３６−１のそれぞれのイベント認識部１８０は、そのイベント情報を、それぞれのイベント定義１８６と比較して、タッチ感知面の第１の場所での第１の接触が、ユーザインタフェース上のアフォーダンスのアクティブ化などの、既定のイベント又はサブイベントに対応するかどうかを判定する。それぞれの既定のイベント又はサブイベントが検出されると、イベント認識部１８０は、そのイベント又はサブイベントの検出に関連付けられた、イベント処理部１９０をアクティブ化させる。イベント処理部１９０は、アプリケーション内部状態１９２を更新するために、データ更新部１７６若しくはオブジェクト更新部１７７を任意選択的に利用するか又は呼び出す。いくつかの実施形態では、イベント処理部１９０は、アプリケーションにより表示されるものを更新するために、対応するＧＵＩ更新部１７８にアクセスする。同様に、当業者にとって、他の処理が図１Ａ〜図１Ｂに示される構成要素に基づいてどのように実施されるかは明らかであろう。
図９Ａ〜図９Ｉは、いくつかの実施形態に係る、画面上での手書きのための例示的なユーザインタフェースを示す。これらの図のユーザインタフェースは、図１０の処理を含めた、以下で説明される処理を例示するために使用される。
図９Ａは、図６Ａ〜図６Ｒに関して記述した手書きインタフェース６１０を表示する電子デバイス６００を示している。電子デバイス６００は、ストローク入力エリアでストローク表現９００に対応するストロークを受けた。ストロークの表現は、ディスプレイに表示されているが、ストローク表現９００に対応するストロークを分析して第１のテキストを決定することは完了していない。
図９Ｂは、電子デバイス６００がストローク入力エリアでストローク表現９０２に対応するストロークを受けた後の手書きインタフェース６１０を示している。ストローク表現９００は、薄くなっている。場合によっては、電子デバイス６００は、ストロークを受けてからの時間の関数としてストロークの表現を薄くする。これにより、最近受けたストロークに対応するストローク表現９０２がストローク表現９００と比べて濃くなる。ストローク表現９００及び９０２にそれぞれ対応するストロークは、ストローク入力エリア内の実質的に同じ位置に入力された。
図９Ｃは、電子デバイス６００がストローク入力エリアでストローク表現９０４に対応するストロークを受けた後の手書きインタフェース６１０を示している。ストローク表現９００は、図９Ｂでのその外観よりも薄くなっている。ストローク表現９０２も薄くなっている。最も最近受けたストロークに対応するストローク表現９０４が、３つのストローク表現のうちで最も濃くなっている。ストローク表現９０２及び９０４にそれぞれ対応するストロークは、ストローク入力エリアにおいてストローク９００と実質的に同じ位置で入力された。
図９Ｄは、電子デバイス６００が第１のストロークセット（例えば、ストローク表現９００、９０２、及び９０４にそれぞれ対応するストローク）を分析し、対応するテキストが「ｎｅｏ」であると決定し、メッセージエリアに同テキストを表示した後の手書きインタフェース６１０を示している。図９Ｄの手書きインタフェース６１０は、メッセージエリア内のテキストの表示の次にストローク表現９０６に対応するストロークも受けている。新たなストロークを受けたことに応じて、電子デバイスは、第１のストロークセット及び第２のストロークセット（ストローク表現９０６に対応するストローク）に基づいて、修正されたテキストを決定する。
図９Ｅは、電子デバイス６００が第１のストロークセット及び第２のストロークセットを分析し、ストロークがテキスト「ｎｅｅｄ」に対応すると決定し、メッセージエリア内の前に決定されたテキストをメッセージエリア内の新たな対応するテキストに置換した後の手書きインタフェース６１０を示している。これらの図（図９Ａ〜図９Ｅ）は、電子デバイスが分析済みのストロークを、新たに受けたストロークをふまえてどのように再分析できるかを示している。このような処理によって、次に受けたストロークに基づいてストロークセットを明確にすることを支援することができる。電子デバイスは、同デバイスが個々の単語に関する全てのストロークを受けたかどうか、又は更なるストロークがストロークを正しく分析する助けになるかどうかを考慮する必要がない。図９Ｆ〜図９Ｉは、次に受けたストロークに基づいて単一の文字であるテキストを修正することに適用されるように、この概念を示している。
図９Ｆは、電子デバイス６００がストローク表現９０８に対応するストローク（例えば、実質的に垂直のストローク）を受けた後の手書きインタフェース６１０を示している。電子デバイス６００は、ストローク表現９０８に対応するストロークの対応するテキストをまだ決定していない。
図９Ｇは、電子デバイス６００が「ｌ」（「Ｌ」の小文字）に対応するストローク表現９０８に対応するストロークを含むストロークセットを決定した後の手書きインタフェース６１０を示している。対応するテキストは、メッセージエリアに表示されている。
図９Ｈは、電子デバイス６００がストローク表現９１０に対応するストロークを受けた後の手書きインタフェース６１０を示している。電子デバイス６００は、ストロークの対応するテキストをまだ決定していない。
図９Ｉは、電子デバイス６００が、ストローク表現９０８に対応するストロークに基づいてメッセージエリアのための新たなテキストを決定し、ストローク表現９１０に対応するストロークを次に受けた後の手書きインタフェース６１０を示している。ストローク表現９１０に対応するストロークは、ストローク表現９０８に対応する実質的に垂直のストロークに対応する（例えば、対を成す）ドットであると決定され、「ｌ」は「ｉ」と置換された。
単語に関して図９Ａ〜９Ｅに示し、単一の字に関して図９Ｆ〜図９Ｉに示す、修正されたテキストを決定するための処理は、第１のストロークセットを受けてから第２のストロークセットを受けるまでに経過する期間に基づいてもよい。期間が閾値を超えている場合、第２のストロークセットは、第１のストロークセットとは別に分析され、第１のストロークセットに対応するテキストは、第１のストロークセット及び第２のストロークセットの分析に基づいて、修正されない。期間が閾値を超えていない場合、第２のストロークセットは、第１のストロークセットと一緒に分析され、第１のストロークセットに関して修正されたテキストが生成され得る。
デバイスのコンテキストも、修正されたテキストを決定する際に考慮され得る。例えば、電子デバイスの位置、時刻、電子デバイスのモード、及び電子デバイスに関連する他の要因が、修正されたテキストを決定する際に考慮されてもよい。
図１０は、いくつかの実施形態による電子デバイスを用いたタッチ感知面上での手書きのための方法を示すフロー図である。方法１０００は、ディスプレイ、タッチ感知面、及び回転可能入力デバイスを有するデバイス（例えば、１００、３００、５００）において実施される。方法１０００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作は、任意選択的に順序を変更され、いくつかの動作は、任意選択的に省略される。
以下で説明するように、方法１０００は、タッチ感知面上での手書きのための直観的方法を提供する。この方法により、タッチ感知面上での手書きのための、ユーザの認識的負担が軽減され、より効率的なヒューマン−マシンインタフェースが作成される。バッテリ動作式のコンピューティングデバイスに関しては、ユーザが、タッチ感知面上での手書きを、より速く、かつより効率的に入力することが可能となることにより、電力が節約され、バッテリを充電する間隔が増大する。
電子デバイスは、メッセージエリア（例えば６０９）及びストローク入力エリア（例えば６０８）（例えば６１０）（例えば、ディスプレイ及びタッチ感知面のうち指、スタイラス、又は他の物体を介してユーザから受けたストロークを検出及び表示するエリア）を含むユーザ入力インタフェースをディスプレイに表示する（１００２）。いくつかの実施例では、メッセージエリアとストローク入力エリアは、部分的に重なり合う。いくつかの実施例では、メッセージエリアは、完全にストローク入力エリア内にある。いくつかの実施例では、メッセージエリアとストローク入力エリアは、重なり合わないが境界を共有する。いくつかの実施例では、メッセージエリアとストローク入力エリアは、離間する。いくつかの実施例では、タッチ感知面は、２インチ×２インチ未満、１．５インチ×１．５インチ未満、又は１インチ×１インチ未満である。
電子デバイスは、タッチ感知面のストローク入力エリア（例えば６０８）で第１のストロークセット（例えば、９００、９０２、９０４）（例えば、連続した１つ以上のストロークであり、各ストロークが字又は字の一部を表す）を受ける（１００４）。いくつかの実施例では、第１のストロークセットは、１つの字、複数の字、１つの単語、又は複数の単語を表す。いくつかの実施例では、ディスプレイは、ストロークを受けると、第１のストロークセットのストロークの位置及び形状のフィードバックをユーザに提供する（例えば、図９Ｃのストローク９００、９０２、９０４の表示）。いくつかの実施例では、第１のストロークセットの表示は、時間と共にストロークを薄くする等、各ストロークを受けてからの時間に基づく（例えば、図９Ｃのストローク９００、９０２、９０４の表示）。
電子デバイスは、第１のストロークセット（例えば、ストローク９００、９０２、９０４）に基づいて第１のテキスト（例えば、１つの字、複数の字、１つの単語、又は複数の単語）を決定する（１００６）。いくつかの実施例では、決定は、第１のストロークセットの前に受けたストロークに更に基づくことができる。いくつかの実施形態によれば、電子デバイスは、修正された第１のテキストの決定の時の電子デバイスの現在のコンテキスト（例えば、時刻、位置、現在のアクティビティ、カレンダ、メッセージが対象とする人）に基づいて、修正された第１のテキストを決定する。
電子デバイスは、ディスプレイのメッセージエリアに第１のテキスト（例えば９０５）を表示する（１００８）（例えば図９Ｄ）。いくつかの実施例では、電子デバイスは、第１のテキストを表示する前に第１のストロークセットを表示する（例えば図９Ｃ）。いくつかの実施例では、電子デバイスは、アニメーションによって第１のストロークセットの表示を第１のテキストの表示に遷移させる。いくつかの実施例では、アニメーションは、電子デバイスが第１のストロークセットに基づいて第１のテキストを決定する間に生じる。
電子デバイスは、第１のストロークセット（例えば、ストローク９００、９０２、９０４）を受け、第１のテキスト（例えば９０５）を表示した後に、タッチ感知面のストローク入力エリアで第２のストロークセット（例えば９０６）を受ける（１０１０）。いくつかの実施例では、第２のストロークセットは、字の一部、１つの字、複数の字、１つの単語、又は複数の単語を表す。いくつかの実施形態によれば、電子デバイスは、第２のストロークセットを受ける前に第１のテキストを表示する。
電子デバイスは、第１のストロークセット（例えば、９００、９０２、９０４）及び第２のストロークセット（例えば９０６）に基づいて、修正された第１のテキスト（例えば９０７）を決定する（１０１２）。いくつかの実施形態によれば、第２のストロークセットは、第１のストロークセットを受けてからある期間の後に受けられ、第１のストロークセット及び第２のストロークセットに基づく修正された第１のテキストの決定は、期間が閾値未満であるとの判定による。
電子デバイスは、第１のテキストの表示（例えば図９Ｄ）を修正された第１のテキストと置換する（１０１４）（例えば図９Ｅ）。いくつかの実施形態によれば、電子デバイスは、第２のストロークセットを受けた後、かつ修正された第１のテキストを表示した後に、タッチ感知面のストローク入力エリアで第３のストロークセットを受ける。電子デバイスは、第３のストロークセットに基づいて第２のテキストを決定する。電子デバイスは、修正された第１のテキストと共に第２のテキストを表示する。
いくつかの実施形態によれば、第１のストロークセットは、連続した単一のストロークであり、第１のテキストは、単一の文字である（例えば、図９Ｆ又は図９Ｇ）。
いくつかの実施形態によれば、第２のストロークセットは、連続した単一のストロークである（例えば、図９Ｄ又は図９Ｈ）。
いくつかの実施形態によれば、修正された第１のテキストは、単一の文字だけで第１のテキストと異なっている（例えば、図９Ｇと図９Ｉの比較）。
いくつかの実施形態によれば、修正された第１のテキストは、修正された第１のテキスト又は第１のテキストの最後の文字だけで第１のテキストと異なっている（例えば、図９Ｇと図９Ｉの比較）。
いくつかの実施形態によれば、図１１は、説明される様々な実施形態の原理に従って構成された電子デバイス１１００の、例示的な機能ブロック図を示す。いくつかの実施形態によれば、電子デバイス１１００の機能ブロックは、上述の技術を実行するように構成される。デバイス１１００の機能ブロックは、説明される様々な実施例の原理を遂行するために、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの組み合わせによって、任意選択的に実装される。当業者であれば、図１１に記載された機能ブロックは、説明された様々な実施例の原理を実現するために、任意選択的にサブブロックに組み合わされるか、又は分離されることが理解される。したがって、本明細書における説明は、本明細書で説明されている機能ブロックの任意の可能な組み合わせ若しくは分離、又は更なる定義を任意選択的にサポートする。
図１１に示すように、電子デバイス１１００は、ディスプレイユニット１１０２と、タッチ感知面ユニット１１０４と、回転可能入力機構ユニット１１０６と、ディスプレイユニット１１０２、タッチ感知面ユニット１１０４及び回転可能入力機構ユニット１１０６に結合された処理ユニット１１０８とを含む。いくつかの実施形態では、処理ユニット１１０８は、表示有効化ユニット１１１０、受付ユニット１１１２、及び決定ユニット８１４を含む。
処理ユニット１１０８は、（例えば、表示可能によって）ディスプレイユニット１１０２でメッセージエリア及びストローク入力エリアを含むユーザ入力インタフェースの表示を有効化し、（例えば、受付ユニット１１１２によって）タッチ感知面ユニットのストローク入力エリアで第１のストロークセットを受け、（例えば、決定ユニット１１１４によって）第１のストロークセットに基づいて第１のテキストを決定し、（例えば、表示有効化ユニット１１１０によって）メッセージエリアで第１のテキストの表示を有効化し、第１のストロークセットを受け第１のテキストを表示した後に、（例えば、受付ユニット１１１２によって）タッチ感知面ユニットのストローク入力エリアで第２のストロークセットを受け、（例えば、決定ユニット１１１４によって）第１のストロークセット及び第２のストロークセットに基づいて、修正された第１のテキストを決定しと、（例えば、表示有効化ユニット１１１０によって）第１のテキストの表示を修正された第１のテキストと置換する、ように構成される。
いくつかの実施形態では、第２のストロークセットは、第１のストロークセットを受けてからある期間の後に受けられ、第１のストロークセット及び第２のストロークセットに基づく修正された第１のテキストの決定は、期間が閾値未満であるとの判定による。
いくつかの実施形態では、第１のテキストの表示を有効化することが、第２のストロークセットを受ける前に生じる。
いくつかの実施形態では、修正された第１のテキストを決定することが、修正された第１のテキストを決定する時のポータブル電子デバイスの現在のコンテキストに更に基づく。
いくつかの実施形態では、処理ユニット１１０８は、第２のストロークセットを受けた後、かつ修正された第１のテキストの表示を有効化した後に、（例えば、受付ユニット１１１２によって）タッチ感知面のストローク入力エリアで第３のストロークセットを受けと、（例えば、決定ユニット１１１４によって）第３のストロークセットに基づいて第２のテキストを決定し、（例えば、表示有効化ユニット１１１０によって）修正された第１のテキストと共に第２のテキストの表示を有効化する、ように更に構成される。
いくつかの実施形態では、第１のストロークセットは、連続した単一のストロークであり、第１のテキストは、単一の文字である。
いくつかの実施形態では、第２のストロークセットは、連続した単一のストロークである。
いくつかの実施形態では、修正された第１のテキストは、単一の文字だけで第１のテキストと異なっている。
いくつかの実施形態では、修正された第１のテキストは、修正された第１のテキスト又は第１のテキストの最後の文字だけで第１のテキストと異なっている。
図１０を参照して上述された動作は、図１Ａ〜図１Ｂ又は図１１に示される構成要素によって、任意選択的に実施される。例えば、受付動作１００４は、任意選択的に、イベントソート部１７０、イベント認識部１８０、及びイベント処理部１９０によって実施される。イベントソート部１７０のイベントモニタ１７１は、タッチ感知ディスプレイ１１２上の接触を検出し、イベントディスパッチャモジュール１７４は、イベント情報をアプリケーション１３６−１に配信する。アプリケーション１３６−１のそれぞれのイベント認識部１８０は、そのイベント情報を、それぞれのイベント定義１８６と比較して、タッチ感知面の第１の場所での第１の接触が、ユーザインタフェース上のアフォーダンスのアクティブ化などの、既定のイベント又はサブイベントに対応するかどうかを判定する。それぞれの既定のイベント又はサブイベントが検出されると、イベント認識部１８０は、そのイベント又はサブイベントの検出に関連付けられた、イベント処理部１９０をアクティブ化させる。イベント処理部１９０は、アプリケーション内部状態１９２を更新するために、データ更新部１７６若しくはオブジェクト更新部１７７を任意選択的に利用するか又は呼び出す。いくつかの実施形態において、イベント処理部１９０は、アプリケーションにより表示されるものを更新するためのそれぞれのＧＵＩ更新部１７８にアクセスする。同様に、当業者にとって、他の処理が図１Ａ〜図１Ｂに示される構成要素に基づいてどのように実施されるかは明らかであろう。
図１２Ａ〜図１２Ｌは、いくつかの実施形態に係る、画面上での手書きのための例示的なユーザインタフェースを示す。これらの図のユーザインタフェースは、図１３の処理を含めた、以下で説明される処理を例示するために使用される。
図１２Ａ〜図１２Ｈは、電子デバイス６００を使用して複数のストロークを用いてタッチ感知面に単語「ｇｏｉｎｇ」を入力する一方で、ストロークが利用可能である時に電子デバイス６００がストロークを完全に処理するステップを示している。対照的に、図１２Ｉ〜図１２Ｌは、電子デバイス６００を使用して複数のストロークを用いてタッチ感知面に単語「ｇｏｉｎｇ」を入力する一方で、ストロークが利用可能である時に電子デバイス６００がストロークを処理するが、新たなストロークが利用可能になった時に前のストロークの分析を中断して新たなストロークで分析を再開するステップを示している。場合によっては、この後者の処理は、前者の処理よりも利益をもたらす。
図１２Ａは、電子デバイス６００がストローク１２００を受けた後の手書きインタフェース６１０を示している。図１２Ｂは、電子デバイス６００がストローク表現１２００に対応するストロークを分析した結果（テキスト１２０１）を示している。図１２Ｃは、電子デバイス６００がストローク表現１２０２に対応するストローク及びストローク表現１２０４に対応するストロークを受けた後の手書きインタフェース６１０を示している。図１２Ｄは、電子デバイス６００がストローク表現１２０２及び１２０４にそれぞれ対応するストロークの処理を開始した後であるが、ストロークの対応するテキストを決定する前の手書きインタフェース６１０を示している。図１２Ｄでは、ストローク表現１２０２及び１２０４にそれぞれ対応するストロークを処理しているという事実が、ストローク表現をもはや表示していないことによって示されている。しかし、この挙動は、例示的なものであり、必ずしも全ての場合には当てはまらない。図１２Ｄは、電子デバイス６００がストローク１２０６も受けたことを示している。つまり、電子デバイス６００は、ストローク表現１２０２及び１２０４にそれぞれ対応するストロークの処理を開始した後であるが、ストロークの対応するテキストを決定する前に、ストローク表現１２０６に対応するストロークを受けた。図１２Ｅは、ストローク表現１２０２及び１２０４にそれぞれ対応するストロークの分析を完了し、ストローク表現１２０６に対応するストロークの分析を開始した後であるが、ストローク表現１２０６に対応するストロークの分析を完了する前の電子デバイス６００を示している。図１２Ｆは、ストローク表現１２０６に対応するストロークの分析を完了した後の電子デバイス６００を示している。最後に、図１２Ｇでは、電子デバイス６００は、最後のストローク（ストローク表現１２０８に対応するストローク）を受け、それを処理する。結果は、テキスト１２０１として図１２Ｈに示されている。電子デバイス６００は、ストロークが利用可能になった時にストロークの処理を完了したため、テキスト１２０１は正しくなく、これは、ストロークが利用可能となった時に電子デバイス６００がストロークの全ての完全なコンテキストを有していなかったためである。電子デバイス６００は、図１２Ｈの正しいテキストに辿り着いたとしても、ストロークの全ての完全なコンテキストにアクセスせずにテキストを決定していたため、途中で余分又は冗長な処理を実施したはずである。
対照的に、図１２Ｉ〜図１２Ｌでは、ストロークが利用可能である時に、同じストロークが入力され処理が開始する。しかし、電子デバイス６００は、新たなストロークが利用可能となる毎に現在のストロークセットの処理を停止する。例えば、図１２Ｉは、電子デバイス６００が２つのストローク、すなわちストローク表現１２００及び１２０２にそれぞれ対応するストロークを受けたことを示している。図１２Ｊは、電子デバイス６００が、ストローク表現１２００及び１２０２にそれぞれ対応するストロークの処理を開始した（例えば、必ずしも全ての実施形態には当てはまらないが、ストローク表現１２００及び１２０２をもはや表示していないことによって示される）が、ストローク表現１２０４及び１２０６にそれぞれ対応するストロークを受けた時に対応するテキストをまだ決定していないことを示している。この場合、ストローク表現１２０４及び１２０６にそれぞれ対応するストロークを（又はストローク表現１２０４に対応する最初に入力されたストロークのみでさえも）受けたことに応じて、電子デバイス６００は、ストローク表現１２００及び１２０２に対応するストロークセットの処理を停止し、ストローク表現１２０４及び１２０６にそれぞれ対応するストロークをストロークセットに加え、ストロークセットの処理を続ける。図１２Ｋは、最後のストローク、すなわちストローク表現１２０８に対応するストロークが入力されることを示している。ストローク表現１２０４及び１２０６にそれぞれ対応するストロークが入力された時と同様に、電子デバイス６００は、ストローク１２０８を受けた時にストロークセットをまだ処理しているため、処理を停止し、ストローク表現１２０８に対応するストロークをストロークセットに加え、ストロークセットの処理を続ける。場合によっては、電子デバイス６００は、新たなストロークをストロークセットに加える時に、その分析をリセット／再開するが、このことは、必ずしも全ての実施形態には当てはまらない。
図１３は、いくつかの実施形態による電子デバイスを用いたタッチ感知面上での手書きのための方法を示すフロー図である。方法１３００は、ディスプレイ、タッチ感知面、及び回転可能入力デバイスを有するデバイス（例えば、１００、３００、５００）において実施される。方法１３００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作は、任意選択的に順序を変更され、いくつかの動作は、任意選択的に省略される。
以下で説明するように、方法１３００は、タッチ感知面上での手書きのための直観的方法を提供する。この方法により、タッチ感知面上での手書きのための、ユーザの認識的負担が軽減され、より効率的なヒューマン−マシンインタフェースが作成される。バッテリ動作式のコンピューティングデバイスに関しては、ユーザが、タッチ感知面上での手書きを、より速く、かつより効率的に入力することが可能となることにより、電力が節約され、バッテリを充電する間隔が増大する。
電子デバイスは、メッセージエリア（例えば６０９）及びストローク入力エリア（例えば６０８）（例えば、ディスプレイ及びタッチ感知面のうち指、スタイラス、又は他の物体を介してユーザから受けたストロークを検出及び表示するエリア）を含むユーザ入力インタフェース（例えば６１０）をディスプレイに表示する（１３０２）。いくつかの実施例では、メッセージエリアとストローク入力エリアは、部分的に重なり合う。いくつかの実施例では、メッセージエリアは、完全にストローク入力エリア内にある。いくつかの実施例では、メッセージエリアとストローク入力エリアは、重なり合わないが境界を共有する。いくつかの実施例では、メッセージエリアとストローク入力エリアは、離間する。いくつかの実施例では、タッチ感知面は、２インチ×２インチ未満、１．５インチ×１．５インチ未満、又は１インチ×１インチ未満である。
電子デバイスは、タッチ感知面のストローク入力エリア（例えば６０８）で第１のストロークセット（例えば、１２００、１２０２、１２０４）（例えば、連続した１つ以上のストロークであり、各ストロークが１つの字又は字の一部を表す）を受ける（１３０４）。いくつかの実施例では、第１のストロークセットは、１つの字、複数の字、１つの単語、又は複数の単語を表す。いくつかの実施例では、ディスプレイは、ストロークを受けると、第１のストロークセットのストロークの位置及び形状のフィードバック（例えば、ストローク１２００、１２０２、１２０４の表示）をユーザに提供する。
電子デバイスは、第１のストロークセット（例えばストローク１２００、１２０２、１２０４）に基づいて第１のテキスト（例えば、１つの字、複数の字、１つの単語、又は複数の単語）の決定を開始する（１３０６）。いくつかの実施例では、決定は、第１のストロークセットの前に受けたストローク、電子デバイスのコンテキスト（例えば、時刻、位置、現在のアクティビティ、カレンダ、メッセージが対象とする人）、又は他の情報に更に基づくことができる。
電子デバイスは、メッセージエリアに第１のテキストを表示せずに、タッチ感知面のストローク入力エリア（例えば６０８）で第２のストロークセット（例えば１２０６）（例えば、連続した１つ以上のストロークであり、各ストロークが字又は字の一部を表す）を受ける（１３０８）（例えば図１２Ｊ）。いくつかの実施例では、第２のストロークセットは、字の一部、１つの字、複数の字、１つの単語、又は複数の単語を表す。いくつかの実施例では、ディスプレイは、ストロークを受けると、第１のストロークセットのストロークの位置及び形状のフィードバック（例えば、ストローク１２０６の表示）をユーザに提供する。いくつかの実施形態によれば、電子デバイスは、第２のストロークセットを受ける前に、第１のストロークセットに基づいて第１のテキストを決定する。
電子デバイスは、第１のストロークセット及び第２のストロークセットに基づいて、修正された第１のテキスト（例えばテキスト１２０８）を決定する。
電子デバイスは、修正された第１のテキスト（例えばテキスト１２０８）をメッセージエリアに表示する。
いくつかの実施形態によれば、修正された第１のテキストは、第１の文字を含み、第１の文字は、第２のストロークセットに基づかない（例えば、第１の文字は「Ｇ」であり、ストローク１２０６に基づかない）。
いくつかの実施形態によれば、修正された第１のテキストは、複数の文字を含み、複数の文字は、第１のストロークセットに基づく（例えば、テキストは、第１のストロークセット１２００及び１２０２に基づく「Ｇｏ」を含む）。
いくつかの実施形態によれば、修正された第１のテキストは、第２の文字を含み、第２の文字は、第１のストロークセットに基づかない（例えば、第２の文字が、第１のストロークセット、ストローク１２００及び１２０２に基づかない「ｉ」である。
いくつかの実施形態によれば、修正された第１のテキストは、単一の単語（例えばテキスト１２０８）である。
いくつかの実施形態によれば、第１のストロークセット（例えば、１２００及び１２０２）は、ストローク入力エリアのうち第２のストロークセット（例えば、１２０６又は１２０８）が入力された位置と実質的に同じ位置に入力される。
いくつかの実施形態によれば、修正された第１のテキストは、第１のストロークセットの形状及び第２のストロークセットによって提供されるコンテキストに基づく第１の部分を含む（例えば、第１のストロークセットは、「ｎ」又は「ｈ」の形状であるが、形状からは、どの字が正しいか明確ではなく、第２のストロークセットの対応するテキストが「ｉｇｈｔ」であるため、第２のストロークを提供するコンテキストによって、対応する字が「ｎ」であるとの判定がもたらされる）。
いくつかの実施形態によれば、修正された第１のテキストは、第２のストロークセットの形状及び第１のストロークセットによって提供されるコンテキストに基づく第１の部分を含む（例えば、第２のストロークセットは、「ｎ」又は「ｈ」の形状であるが、形状からは、どの字が正しいか明確ではなく、第１のストロークセットの対応するテキストが「ｔｕｒ」であるため、第１のストロークを提供するコンテキストによって、対応する字が「ｎ」であるとの判定がもたらされる）。
いくつかの実施形態によれば、図１４は、説明される様々な実施形態の原理に従って構成された電子デバイス１４００の、例示的な機能ブロック図を示す。いくつかの実施形態によれば、電子デバイス１４００の機能ブロックは、上述の技術を実行するように構成される。デバイス１４００の機能ブロックは、説明される様々な実施例の原理を遂行するために、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの組み合わせによって、任意選択的に実装される。当業者であれば、図１４に記載された機能ブロックは、説明された様々な実施例の原理を実現するために、任意選択的にサブブロックに組み合わされるか、又は分離されることが理解される。したがって、本明細書における説明は、本明細書で説明されている機能ブロックの任意の可能な組み合わせ若しくは分離、又は更なる定義を任意選択的にサポートする。
図１４に示すように、電子デバイス１４００は、ディスプレイユニット１４０２と、タッチ感知面ユニット１４０４と、回転可能入力機構ユニット１４０６と、ディスプレイユニット１４０２、タッチ感知面ユニット１４０４及び回転可能入力機構ユニット１４０６に結合された処理ユニット１４０８とを含む。いくつかの実施形態では、処理ユニット１４０８は、表示有効化ユニット１４１０、受付ユニット１４１２、及び決定ユニット１４１４を含む。
処理ユニット１４０８は、（例えば、表示有効化ユニット１４１０によって）ディスプレイ１４０２でメッセージエリア及びストローク入力エリアを含むユーザ入力インタフェースの表示を有効化し、（例えば、受付ユニット１４１２によって）タッチ感知面のストローク入力エリアで第１のストロークセットを受け、（例えば、決定ユニット１４１４によって）第１のストロークセットに基づいて第１のテキストの決定を開始し、第１のストロークセットを受けた後に、メッセージエリアで第１のテキストの表示を有効化せずに、（例えば、受付ユニット１４１２によって）タッチ感知面のストローク入力エリアで第２のストロークセットを受け、（例えば、決定ユニット１４１４によって）第１のストロークセット及び第２のストロークセットに基づいて、修正された第１のテキストを決定し、（例えば、表示有効化ユニット１４１０によって）メッセージエリアで修正された第１のテキストの表示を有効化する、ように構成される。
いくつかの実施形態では、修正された第１のテキストは、第１の文字を含み、第１の文字は、第２のストロークセットに基づかない。
いくつかの実施形態では、修正された第１のテキストは、複数の文字を含み、複数の文字は、第１のストロークセットに基づく。
いくつかの実施形態では、修正された第１のテキストは、第２の文字を含み、第２の文字は、第１のストロークセットに基づかない。
いくつかの実施形態では、修正された第１のテキストは、単一の文字である。
いくつかの実施形態では、修正された第１のテキストは、単一の単語である。
いくつかの実施形態では、第１のストロークセットは、ストローク入力エリアのうち第２のストロークセットが入力される位置と実質的に同じ位置に入力される。
いくつかの実施形態では、処理ユニット１４０８は、第２のストロークセットを受ける前に、（例えば、決定ユニット１４１４によって）第１のストロークセットに基づいて第１のテキストを決定するように更に構成される。
いくつかの実施形態では、修正された第１のテキストは、第１のストロークセットの形状及び第２のストロークセットによって提供されるコンテキストに基づく第１の部分を含む。
いくつかの実施形態では、修正された第１のテキストは、第２のストロークセットの形状及び第１のストロークセットによって提供されるコンテキストに基づく第１の部分を含む。
図１３を参照して上述された動作は、図１Ａ〜図１Ｂ又は図１４に示される構成要素によって、任意選択的に実施される。例えば、受付動作１３０４は、任意選択的に、イベントソート部１７０、イベント認識部１８０、及びイベント処理部１９０によって実施される。イベントソート部１７０のイベントモニタ１７１は、タッチ感知ディスプレイ１１２上の接触を検出し、イベントディスパッチャモジュール１７４は、イベント情報をアプリケーション１３６−１に配信する。アプリケーション１３６−１のそれぞれのイベント認識部１８０は、そのイベント情報を、それぞれのイベント定義１８６と比較して、タッチ感知面の第１の場所での第１の接触が、ユーザインタフェース上のアフォーダンスのアクティブ化などの、既定のイベント又はサブイベントに対応するかどうかを判定する。それぞれの既定のイベント又はサブイベントが検出されると、イベント認識部１８０は、そのイベント又はサブイベントの検出に関連付けられた、イベント処理部１９０をアクティブ化させる。イベント処理部１９０は、アプリケーション内部状態１９２を更新するために、データ更新部１７６若しくはオブジェクト更新部１７７を任意選択的に利用するか又は呼び出す。いくつかの実施形態では、イベント処理部１９０は、アプリケーションにより表示されるものを更新するために、対応するＧＵＩ更新部１７８にアクセスする。同様に、当業者にとって、他の処理が図１Ａ〜図１Ｂに示される構成要素に基づいてどのように実施されるかは明らかであろう。
図１５Ａ〜図１５Ｊは、いくつかの実施形態に係る、画面上での手書きのための例示的なユーザインタフェースを示す。これらの図のユーザインタフェースは、図１６の処理を含めた、以下で説明される処理を例示するために使用される。
図１５Ａは、電子デバイス６００が、それぞれ図１５Ａで受けられる最後の２つのストロークである、ストローク表現１５０３に対応するストローク及びストローク表現１５０４に対応するストロークを含む、ストロークセット表現１５０２に対応するストロークセットを受けた後の手書きインタフェース６１０を示している。ストロークセット表現１５０２は、表語文字（例えば簡体字）を表す。重なり合う表語文字は、多くのストロークを含み、分析が困難であるため（例えば、重なり合う２つだけの表語文字の一例について図１５Ｅを参照）、電子デバイス６００は、表語文字のための全てのストロークを受けた時に、受けたストローク同士の間の時間に基づいて対応する表語文字を決定する。
ストローク表現１５０３及び１５０４にそれぞれ対応するストロークに関して、ストローク同士の間（例えば、ストローク表現１５０３に対応するストロークが完了した時からストローク表現１５０４に対応するストロークが開始した時まで）の時間が閾値を超えているかどうかが決定される。時間が閾値を超えていない場合、ストローク表現１５０３及び１５０４にそれぞれ対応するストロークは、図１５Ａに示すように同じ組に一緒に含まれる。
次のストローク（すなわち、図１５Ｂのストローク表現１５０６に対応するストローク）とストローク表現１５０４に対応するストロークとの間の時間が閾値を超えている場合、ストロークセット表現１５０２に対応するストロークセットは、対応する表語文字１５０８を決定するために、ストローク表現１５０６に対応するストロークを伴わずに、セットとして一緒に分析される。ストローク表現１５０６に対応するストロークは、図１５Ｃに示す次の文字のためにストロークセット（図１５Ｃのストロークセット表現１５１０に対応するストロークセット）に加えられる。図１６に関しても記述するこの方法によって、電子デバイス６００は、複数の表語文字の同時処理を回避することによりバッテリ電力を節約することが可能になる。
この技術は、表語文字と同様に表音文字を表すストロークを明確にするために用いることもできる。例えば、図１５Ｆは、電子デバイス６００がテキスト１５１４及びストローク表現１５１６に対応するストロークを受けた後の手書きインタフェース６１０を示している。図１５Ｇでは、次のストローク、すなわちストローク表現１５１８に対応するストロークが受けられる。ストローク表現１５１６に対応するストロークと、ストローク表現１５１８に対応するストロークとの間の時間に基づいて、電子デバイス６００は、ストローク表現１５１６及び１５１８にそれぞれ対応するストロークが、単語「ｃｏｏｋ」（図１５Ｈのテキスト１５１６）を綴るための字「ｋ」を意図しているかどうか、又はストローク表現１５１６及び１５１８にそれぞれ対応するストロークが別々の２つの文字であり、「ｃｏｏｌ」（図１５Ｊのテキスト１５２０）を綴ることを意図しているかどうかを判定することができる。
ストローク間の時間が閾値を超えている場合、電子デバイス６００は、図１５Iに示すように、ストローク表現１５１６及び１５１８にそれぞれ対応するストロークを異なる文字の部分として取り扱う。ストローク表現１５１８に対応するストロークは、別々に分析されて、例えば、単語「ｃａｒ」（図１５Ｈのテキスト１５１８）の一部として字「ｃ」を生成することができる。ストローク間の時間が閾値を超えていない場合、ストローク１５１６及び１５１８は、図１５Ｊに示すように、同じ文字の一部として取り扱われる。
図１６は、いくつかの実施形態による電子デバイスを用いたタッチ感知面上での書きのための方法を示すフロー図である。方法１６００は、ディスプレイ、タッチ感知面、及び回転可能入力デバイスを有するデバイス（例えば、１００、３００、５００）において実施される。方法１６００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作は、任意選択的に順序を変更され、いくつかの動作は、任意選択的に省略される。
以下で説明するように、方法１６００は、タッチ感知面上での手書きのための直観的方法を提供する。この方法により、タッチ感知面上での手書きのための、ユーザの認識的負担が軽減され、より効率的なヒューマン−マシンインタフェースが作成される。バッテリ動作式のコンピューティングデバイスに関しては、ユーザが、タッチ感知面上での手書きを、より速く、かつより効率的に入力することが可能となることにより、電力が節約され、バッテリを充電する間隔が増大する。
電子デバイスは、メッセージエリア（例えば６０９）及びストローク入力エリア（例えば６０８）（例えば、ディスプレイ及びタッチ感知面のうち指、スタイラス、又は他の物体を介してユーザから受けたストロークを検出及び表示するエリア）を含むユーザ入力インタフェース（例えば６１０）をディスプレイに表示する（１６０２）。いくつかの実施例では、メッセージエリアとストローク入力エリアは、部分的に重なり合う。いくつかの実施例では、メッセージエリアは、完全にストローク入力エリア内にある。いくつかの実施例では、メッセージエリアとストローク入力エリアは、重なり合わないが境界を共有する。いくつかの実施例では、メッセージエリアとストローク入力エリアは、離間する。いくつかの実施例では、タッチ感知面は、２インチ×２インチ未満、１．５インチ×１．５インチ未満、又は１インチ×１インチ未満である。
電子デバイスは、タッチ感知面のストローク入力エリアで第１のストローク（例えばストローク１５０４）を受ける（１６０４）。いくつかの実施例では、第１のストロークは、複数のストロークのうちの最新のものである。
電子デバイスは、第１のストロークを受けた後の第１の時間に、タッチ感知面で第２のストローク（例えば１５０６）を受ける（１６０６）。第２のストロークは、第１のストロークとは異なる（例えば、第１のストロークと第２のストロークは、同じではなく、同じストロークの異なる部分ではない）。
電子デバイスは、第１の時間が閾値時間を超えているかどうか（例えば、ストローク１５０４の終わりからストローク１５０６の始まりまでの時間が閾値を超えているかどうか）を決定する（１６０８）。
電子デバイスは、第１の時間が閾値時間を超えていると決定したことに応じて、第２のストローク（例えば１５０６）ではなく第１のストローク（例えば１５０４）に基づいて第１の文字（例えば文字１５０８）を決定する（１６１０）。
電子デバイスが第１の時間（例えば、ストローク１５０３を第１のストロークとして用いると共に、ストローク１５０４を第２のストロークとして用いて）が閾値時間未満であると決定したことに応じて、（例えば、ストロークセット１５０２のうちの他のストロークに加えて）第１のストローク（例えば１５０３）及び第２のストローク（例えば１５０４）に基づいて第１の文字（例えば文字１５０８）を決定する（１６１２）。
電子デバイスは、第１の文字（例えば文字１５０８）をメッセージエリアに表示する（１６１４）。
いくつかの実施形態によれば、電子デバイスは、更に第１の時間が閾値時間を超えているとの判定に従って、第２のストローク（例えば１５０６）に基づいて第２の文字（例えば文字１５１２）を決定する。電子デバイスは、第１の文字と共に第２の文字（例えば文字１５１２）をメッセージエリアに表示する。
いくつかの実施形態によれば、第１の文字及び第２の文字のそれぞれの表示は、スペースによって離れている（例えば図１５Ｉ）。
いくつかの実施形態によれば、第１の文字は、表音文字である（例えば、図１５Ｈ及び図１５Ｊ）。
いくつかの実施形態によれば、第１の文字は、表語文字である（例えば文字１５０８）。
いくつかの実施形態によれば、図１７は、説明される様々な実施形態の原理に従って構成された電子デバイス１７００の、例示的な機能ブロック図を示す。いくつかの実施形態によれば、電子デバイス１７００の機能ブロックは、上述の技術を実行するように構成される。デバイス１７００の機能ブロックは、説明される様々な実施例の原理を遂行するために、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの組み合わせによって、任意選択的に実装される。当業者であれば、図１７に記載された機能ブロックは、説明された様々な実施例の原理を実現するために、任意選択的にサブブロックに組み合わされるか、又は分離されることが理解される。したがって、本明細書における説明は、本明細書で説明されている機能ブロックの任意の可能な組み合わせ若しくは分離、又は更なる定義を任意選択的にサポートする。
図１７に示すように、電子デバイス１７００は、ディスプレイユニット１７０２と、タッチ感知面ユニット１７０４と、回転可能入力機構１７０６と、ディスプレイユニット１７０２、タッチ感知面ユニット１７０４、及び回転可能入力機構１７０６に結合された処理ユニット１７０８とを含む。いくつかの実施形態では、処理ユニット１７０８は、表示有効化ユニット１７１０、受付ユニット１７１２、及び決定ユニット１７１４を含む。
処理ユニット１７０８は、（例えば、表示有効化ユニット１７１０によって）ディスプレイユニット１７０２でメッセージエリア及びストローク入力エリアを含むユーザ入力インタフェースの表示を有効化し、（例えば、受付ユニット１７１２によって）、タッチ感知面ユニット１７０４のストローク入力エリアで第１のストロークを受け、第１のストロークを受けた後の第１の時間に、（例えば、受付ユニット１７１２によって）タッチ感知面ユニット１７０４で第２のストロークであって、第２のストロークは、第１のストロークとは異なる、第２のストロークを受け、（例えば、決定ユニット１７１４によって）第１の時間が閾値時間を超えているかどうかを判定し、第１の時間が閾値時間を超えているとの判定に従って、（例えば、決定ユニット１７１４によって）第２のストロークではなく第１のストロークに基づいて第１の文字を決定し、第１の時間が閾値時間未満であるとの判定に従って、（例えば、決定ユニット１７１４によって）第１のストローク及び第２のストロークに基づいて第１の文字を決定し、（例えば、表示有効化ユニット１７１０によって）メッセージエリアで第１の文字の表示を有効化する、ように構成される。
いくつかの実施形態では、処理ユニット１７０８は、更に第１の時間が閾値時間を超えているとの判定に従って、（例えば、決定ユニット１７１４によって）第２のストロークに基づいて第２の文字を決定し、（例えば、表示有効化ユニット１７１０によって）メッセージエリアで第１の文字と共に第２の文字の表示を有効化する、ように更に構成される。
いくつかの実施形態では、第１の文字及び第２の文字のそれぞれの表示は、スペースによって離れている。
いくつかの実施形態では、処理ユニット１７０８は、（例えば、決定ユニット１７１４によって）第１の文字に関連するコンテキストを決定し、（例えば、決定ユニット１７１４によって）更にコンテキストに基づいて第２の文字を決定する、ように更に構成される。
いくつかの実施形態では、第１の文字は、表音文字である。
いくつかの実施形態では、第１の文字は、表語文字である。
図１６を参照して上述された動作は、図１Ａ〜図１Ｂ又は図１７に示される構成要素によって、任意選択的に実施される。例えば、受付動作１６０４は、任意選択的に、イベントソート部１７０、イベント認識部１８０、及びイベント処理部１９０によって実施される。イベントソート部１７０のイベントモニタ１７１は、タッチ感知ディスプレイ１１２上の接触を検出し、イベントディスパッチャモジュール１７４は、イベント情報をアプリケーション１３６−１に配信する。アプリケーション１３６−１のそれぞれのイベント認識部１８０は、そのイベント情報を、それぞれのイベント定義１８６と比較して、タッチ感知面の第１の場所での第１の接触が、ユーザインタフェース上のアフォーダンスのアクティブ化などの、既定のイベント又はサブイベントに対応するかどうかを判定する。それぞれの既定のイベント又はサブイベントが検出されると、イベント認識部１８０は、そのイベント又はサブイベントの検出に関連付けられた、イベント処理部１９０をアクティブ化させる。イベント処理部１９０は、アプリケーション内部状態１９２を更新するために、データ更新部１７６若しくはオブジェクト更新部１７７を任意選択的に利用するか又は呼び出す。いくつかの実施形態では、イベント処理部１９０は、アプリケーションにより表示されるものを更新するために、対応するＧＵＩ更新部１７８にアクセスする。同様に、当業者にとって、他の処理が図１Ａ〜図１Ｂに示される構成要素に基づいてどのように実施されるかは明らかであろう。
上記の説明は、説明のため、特定の実施形態について述べられたものである。しかし、上述の例示的な説明は、網羅的であること、又は本発明を、開示される厳密な形態に限定することを意図するものではない。上述の教示を考慮すれば、多くの修正及び変形が可能である。実施形態は、技術の原理及びそれらの実際の適用を最もうまく説明するために選定され、説明された。これにより、他の当業者は、技術及び様々な実施形態を、企図される特定の用途に適した様々な修正を加えて最もうまく利用することが可能になる。
添付図面を参照して、本開示及び実施例を十分に説明してきたが、様々な変更及び修正が、当業者には明らかとなるであろうことに留意されたい。このような変更及び修正は、請求項によって定義されるとおりの本開示及び実施例の範囲内に含まれるものと理解されるべきである。

Claims (22)

  1. １つ以上のプロセッサ、タッチ感知面、ディスプレイ、及び回転可能入力機構を有するポータブル電子デバイスにおいて、
    メッセージエリア及びストローク入力エリアを含むユーザ入力インタフェースを前記ディスプレイに表示することと、
    前記タッチ感知面の前記ストローク入力エリアで第１のストロークセットを受けることと、
    前記第１のストロークセットに基づいて第１のテキストを決定することと、
    前記ディスプレイの前記メッセージエリアに前記第１のテキストを表示することと、
    前記第１のテキストに基づいて１つ以上の候補を決定することであって、前記１つ以上の候補は、前記第１のテキストに対する１つ以上の変更を含む、ことと、
    前記１つ以上の候補を決定した後に、
    前記ストローク入力エリアに候補を表示していない間に、前記回転可能入力機構を介してユーザ入力を受けることと、
    前記ユーザ入力に応じて、
    前記１つ以上の候補のうちの少なくとも１つを前記ストローク入力エリアに表示することと、
    前記１つ以上の候補のうちの選択された候補を指示する選択インジケータを前記ストローク入力エリアに表示することと、
    前記１つ以上の候補のうちの少なくとも１つ及び前記選択インジケータを表示した後に、前記第１のテキストの表示を前記選択された候補の表示に置換することと、
    を含む方法。
  2. 前記１つ以上の候補を決定したことに応じて、前記１つ以上の候補が利用可能であることの指示を表示することを更に含む、請求項１に記載の方法。
  3. 更に前記ユーザ入力を受けたことに応じて、前記ユーザ入力の特性が第１の基準を満たすかどうかを判定することと、
    前記第１の基準を満たすとの判定に従って、前記１つ以上の候補に対応するグラフィックインタフェースの表示を終了することと、
    を更に含む、請求項１又は２に記載の方法。
  4. 前記回転可能入力機構を介して前記ユーザ入力を受け続けたことに応じて、前記１つ以上の候補のうちの第１の候補から第２の候補に前記選択インジケータを移動させる、請求項１又は請求項２に記載の方法。
  5. 前記１つ以上の候補の前記表示は、前記第１のテキストと、前記第１のテキストの上方にある大文字表記の１つ以上の候補と、前記第１のテキストの下方にある小文字表記の１つ以上の候補と、を含む、請求項１から４のいずれか一項に記載の方法。
  6. 前記１つ以上の候補は、オートコンプリートの候補又はオートコレクトの候補を含む、請求項１から５のいずれか一項に記載の方法。
  7. 前記１つ以上の候補は、前記第１のテキストに基づいて特定された絵文字を含む、請求項１から６のいずれか一項に記載の方法。
  8. 前記１つ以上の候補は、ｎグラムモデルを用いて決定される、請求項１から７のいずれか一項に記載の方法。
  9. 前記第１のストロークセットを受ける前に、前記ストローク入力エリアで第２のストロークセットを受けることと、
    前記第２のストロークセットに基づいて第２のテキストを決定することと、
    を更に含み、前記１つ以上の候補を決定することは、前記第２のテキストに更に基づく、請求項１から８のいずれか一項に記載の方法。
  10. 前記第１のストロークセットのうちの少なくとも一部分を受けたことに応じて、前記第１のストロークセットのグラフィック表現を前記ストローク入力エリアに表示すること、
    を更に含む、請求項１から９のいずれか一項に記載の方法。
  11. 前記ストローク入力エリアで第１のストロークを受けることと、
    前記第１のストロークを受けてからある期間が経過した後に、前記ストローク入力エリアで第２のストロークを受けることと、
    前記期間が閾値を超えていないとの判定に従って、前記第１のストローク及び前記第２のストロークを前記第１のストロークセットに含めることと、
    前記期間が閾値を超えているとの判定に従って、前記第１のストロークを前記第１のストロークセットに含め、前記第２のストロークを前記第１のストロークセットから除くことと、
    を更に含む、請求項１から１０のいずれか一項に記載の方法。
  12. 前記第１のテキストは、複数の文字を含む、請求項１から１１のいずれか一項に記載の方法。
  13. 前記第１のテキストは、単一の文字である、請求項１から１１のいずれか一項に記載の方法。
  14. 前記ストローク入力エリア内の位置で第３のストロークを受けることと、
    前記ストローク入力エリア内の実質的に同じ位置で第４のストロークを受けることであって、前記第３のストロークと前記第４のストロークの両方は、前記第１のストロークセットに含まれる、ことと、
    を更に含む、請求項１から１３のいずれか一項に記載の方法。
  15. 前記第１のストロークセットは、連続した単一のストロークである、請求項１から１０、１２、又は１３のいずれか一項に記載の方法。
  16. 前記第１のストロークセットは、不連続な複数のストロークを含む、請求項１から１４のいずれか一項に記載の方法。
  17. 前記ユーザ入力インタフェースは、オーディオ入力に対応するアフォーダンスを含む複数のアフォーダンスを含み、前記方法は、
    オーディオ入力に対応する前記アフォーダンスを選択するユーザ入力を受けたことに応じて、口述入力を受けるためのオーディオ入力インタフェースを表示することを更に含む、請求項１から１６のいずれか一項に記載の方法。
  18. 前記１つ以上の候補のうちの前記少なくとも１つの前記表示及び前記選択インジケータの前記表示と共にスクロールインジケータを表示することであって、前記スクロールインジケータのサイズが、１つ以上の候補の数に基づき、前記スクロールインジケータの位置が、１つ以上の候補の数の中の前記選択インジケータの位置に基づく、ことを更に含む、請求項１から１７のいずれか一項に記載の方法。
  19. 前記第１のテキストの表示を前記選択された候補の表示に置換した後に、
    前記１つ以上の候補のうちの前記少なくとも１つの表示を終了することと、
    前記１つ以上の候補のうちの前記少なくとも１つの表示を終了した後に、前記回転可能入力機構を介して更なるユーザ入力を受けることと、
    前記更なるユーザ入力を受けたことに応じて、
    前記１つ以上の候補のうちの少なくとも更なる１つを表示することと、
    前記選択インジケータを表示することと、
    を更に含む、請求項１から１８のいずれか一項に記載の方法。
  20. 請求項１から１９のいずれか一項に記載の方法を実施する命令を含むコンピュータプログラム。
  21. タッチ感知面と、
    ディスプレイと、
    回転可能入力機構と、
    請求項２０に記載のコンピュータプログラムを記憶するメモリと、
    前記メモリに記憶された前記命令を実行可能な１つ以上のプロセッサと、
    を備える電子デバイス。
  22. タッチ感知面と、
    ディスプレイと、
    回転可能入力機構と、
    請求項１から１９のいずれか一項に記載の方法を実行するための手段と
    を備える、電子デバイス。
JP2017108227A 2016-06-12 2017-05-31 画面用の手書きキーボード Active JP6495376B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662349111P 2016-06-12 2016-06-12
US62/349,111 2016-06-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019040836A Division JP6997734B2 (ja) 2016-06-12 2019-03-06 画面用の手書きキーボード

Publications (2)

Publication Number Publication Date
JP2017220231A JP2017220231A (ja) 2017-12-14
JP6495376B2 true JP6495376B2 (ja) 2019-04-03

Family

ID=59054982

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2017108227A Active JP6495376B2 (ja) 2016-06-12 2017-05-31 画面用の手書きキーボード
JP2019040836A Active JP6997734B2 (ja) 2016-06-12 2019-03-06 画面用の手書きキーボード
JP2020205139A Active JP7289820B2 (ja) 2016-06-12 2020-12-10 画面用の手書きキーボード
JP2023056194A Active JP7605886B2 (ja) 2016-06-12 2023-03-30 画面用の手書きキーボード
JP2024217692A Active JP7825030B2 (ja) 2016-06-12 2024-12-12 画面用の手書きキーボード

Family Applications After (4)

Application Number Title Priority Date Filing Date
JP2019040836A Active JP6997734B2 (ja) 2016-06-12 2019-03-06 画面用の手書きキーボード
JP2020205139A Active JP7289820B2 (ja) 2016-06-12 2020-12-10 画面用の手書きキーボード
JP2023056194A Active JP7605886B2 (ja) 2016-06-12 2023-03-30 画面用の手書きキーボード
JP2024217692A Active JP7825030B2 (ja) 2016-06-12 2024-12-12 画面用の手書きキーボード

Country Status (7)

Country Link
US (6) US10228846B2 (ja)
EP (3) EP3255528B1 (ja)
JP (5) JP6495376B2 (ja)
KR (4) KR101978883B1 (ja)
CN (4) CN108089727B (ja)
AU (4) AU2017203816C1 (ja)
DK (2) DK179374B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022183012A (ja) * 2021-05-26 2022-12-08 株式会社リコー 表示装置、表示システム、表示方法、プログラム

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8074172B2 (en) 2007-01-05 2011-12-06 Apple Inc. Method, system, and graphical user interface for providing word recommendations
US9898187B2 (en) 2013-06-09 2018-02-20 Apple Inc. Managing real-time handwriting recognition
US20170236318A1 (en) * 2016-02-15 2017-08-17 Microsoft Technology Licensing, Llc Animated Digital Ink
USD798893S1 (en) * 2016-06-11 2017-10-03 Apple Inc. Display screen or portion thereof with animated graphical user interface
DK179374B1 (en) * 2016-06-12 2018-05-28 Apple Inc Handwriting keyboard for monitors
DE102016007357A1 (de) * 2016-06-15 2017-12-21 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Kraftfahrzeugeinrichtung mit einer bewegbaren Fensterscheibe, Kraftfahrzeug mit einer solchen Kraftfahrzeugeinrichtung und Verfahren zum Betrieb einer solchen Kraftfahrzeugeinrichtung
US10546061B2 (en) * 2016-08-17 2020-01-28 Microsoft Technology Licensing, Llc Predicting terms by using model chunks
USD868081S1 (en) * 2016-08-26 2019-11-26 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
US10533362B2 (en) 2017-06-16 2020-01-14 GM Global Technology Operations LLC Systems and methods for memory and touch position window
US11354503B2 (en) * 2017-07-27 2022-06-07 Samsung Electronics Co., Ltd. Method for automatically providing gesture-based auto-complete suggestions and electronic device thereof
US10810467B2 (en) * 2017-11-17 2020-10-20 Hong Kong Applied Science and Technology Research Institute Company Limited Flexible integrating recognition and semantic processing
KR20190091914A (ko) 2018-01-30 2019-08-07 최원호 온스크린 키보드 제공 방법 및 이를 수행하는 컴퓨팅 디바이스
US20190318652A1 (en) * 2018-04-13 2019-10-17 Microsoft Technology Licensing, Llc Use of intelligent scaffolding to teach gesture-based ink interactions
US12340034B2 (en) * 2018-06-01 2025-06-24 Apple Inc. Devices, methods, and graphical user interfaces for an electronic device interacting with a stylus
KR20200100379A (ko) * 2019-02-18 2020-08-26 삼성전자주식회사 전자 장치의 단축 기능 제공 방법 및 이를 사용하는 전자 장치
US11194467B2 (en) 2019-06-01 2021-12-07 Apple Inc. Keyboard management user interfaces
KR102727938B1 (ko) * 2019-08-06 2024-11-11 삼성전자주식회사 전자 장치 및 그의 필기 입력을 처리하는 방법
USD931896S1 (en) * 2019-11-20 2021-09-28 Beijing Zhangdianzishi Technology Co., Ltd. Display screen or portion thereof with an animated graphical user interface
KR102120324B1 (ko) 2020-02-13 2020-06-08 최원호 온스크린 키보드 제공 방법 및 이를 수행하는 컴퓨팅 디바이스
WO2022232127A1 (en) * 2021-04-30 2022-11-03 Dathomir Laboratories Llc Text suggestion based on environmental context
KR20230017538A (ko) * 2021-07-28 2023-02-06 삼성전자주식회사 전자 장치 및 필기 인식 방법
WO2025154924A1 (ko) * 2024-01-18 2025-07-24 삼성전자 주식회사 필기 입력을 변형하는 전자 장치, 이의 동작 방법 및 기록 매체

Family Cites Families (366)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3859005A (en) 1973-08-13 1975-01-07 Albert L Huebner Erosion reduction in wet turbines
JPS5827551B2 (ja) 1979-05-18 1983-06-10 日本電信電話株式会社 オンライン手書き文字認識方式
JPH0614372B2 (ja) 1984-01-23 1994-02-23 日本電信電話株式会社 文字読取方法
JPS60217477A (ja) 1984-04-12 1985-10-31 Toshiba Corp 手書き文字認識装置
JPS61272890A (ja) 1985-05-29 1986-12-03 Canon Inc 手書文字認識装置
US4826405A (en) 1985-10-15 1989-05-02 Aeroquip Corporation Fan blade fabrication system
US5031225A (en) 1987-12-09 1991-07-09 Ricoh Company, Ltd. Character recognition method for recognizing character in an arbitrary rotation position
WO1990008505A1 (en) 1989-01-24 1990-08-09 Dolphin Imaging Systems Inc. Method and apparatus for generating cephalometric images
JP2881866B2 (ja) 1989-11-30 1999-04-12 ソニー株式会社 手書き文字の認識方法及び装置
USRE34476E (en) 1990-05-14 1993-12-14 Norwood Donald D Hybrid information management system for handwriting and text
US5138304A (en) 1990-08-02 1992-08-11 Hewlett-Packard Company Projected image light pen
US5347295A (en) 1990-10-31 1994-09-13 Go Corporation Control of a computer through a position-sensed stylus
JP2718485B2 (ja) 1990-11-29 1998-02-25 株式会社リコー 文字認識方法
EP0498082B1 (en) 1991-02-01 1998-05-06 Koninklijke Philips Electronics N.V. Apparatus for the interactive handling of objects
JP3190074B2 (ja) 1991-09-11 2001-07-16 株式会社東芝 手書き入力装置
US5544257A (en) 1992-01-08 1996-08-06 International Business Machines Corporation Continuous parameter hidden Markov model approach to automatic handwriting recognition
US5652806A (en) 1992-01-10 1997-07-29 Compaq Computer Corporation Input device with data targeting to determine an entry field for a block of stroke data
US5347477A (en) 1992-01-28 1994-09-13 Jack Lee Pen-based form computer
JPH0757053B2 (ja) 1992-08-24 1995-06-14 株式会社ユアテック ケーブル延線ローラー
US5583543A (en) 1992-11-05 1996-12-10 Sharp Kabushiki Kaisha Pen input processing apparatus
US5502803A (en) 1993-01-18 1996-03-26 Sharp Kabushiki Kaisha Information processing apparatus having a gesture editing function
US5491758A (en) * 1993-01-27 1996-02-13 International Business Machines Corporation Automatic handwriting recognition using both static and dynamic parameters
US6011865A (en) 1993-05-12 2000-01-04 International Business Machines Corporation Hybrid on-line handwriting recognition and optical character recognition system
EP0632404B1 (en) 1993-07-01 1997-12-29 International Business Machines Corporation Pattern recognition by generating and using zonal features and anti-features
CA2124505C (en) 1993-07-21 2000-01-04 William A. S. Buxton User interface having simultaneously movable tools and cursor
US5710831A (en) 1993-07-30 1998-01-20 Apple Computer, Inc. Method for correcting handwriting on a pen-based computer
JP3353954B2 (ja) 1993-08-13 2002-12-09 ソニー株式会社 手書き入力表示方法および手書き入力表示装置
US5500937A (en) 1993-09-08 1996-03-19 Apple Computer, Inc. Method and apparatus for editing an inked object while simultaneously displaying its recognized object
US5438631A (en) 1993-10-12 1995-08-01 Dai; Xiao-Wei Handwriting and character recognition system
JPH07160827A (ja) 1993-12-09 1995-06-23 Matsushita Electric Ind Co Ltd 手書きストローク編集装置及び方法
JPH07200723A (ja) 1993-12-29 1995-08-04 Canon Inc 文字認識方法及び装置
US5687254A (en) 1994-06-06 1997-11-11 Xerox Corporation Searching and Matching unrecognized handwriting
JPH0855182A (ja) 1994-06-10 1996-02-27 Nippon Steel Corp 手書き文字入力装置
US5812697A (en) 1994-06-10 1998-09-22 Nippon Steel Corporation Method and apparatus for recognizing hand-written characters using a weighting dictionary
JP3486459B2 (ja) 1994-06-21 2004-01-13 キヤノン株式会社 電子情報機器及びその制御方法
JPH0816313A (ja) 1994-07-04 1996-01-19 Sanyo Electric Co Ltd 手書き入力方法及び装置
JPH09507937A (ja) 1994-11-14 1997-08-12 モトローラ・インコーポレーテッド 手書き入力を分割する方法
US5737443A (en) 1994-11-14 1998-04-07 Motorola, Inc. Method of joining handwritten input
JP2944439B2 (ja) 1994-12-27 1999-09-06 シャープ株式会社 手書き文字入力装置および方法
JP2939147B2 (ja) 1994-12-29 1999-08-25 シャープ株式会社 手書き文字入力表示装置および方法
JPH08228275A (ja) 1995-02-22 1996-09-03 Canon Inc ファクシミリ装置
JP3333362B2 (ja) 1995-04-11 2002-10-15 株式会社日立製作所 文字入力装置
US6016147A (en) 1995-05-08 2000-01-18 Autodesk, Inc. Method and system for interactively determining and displaying geometric relationships between three dimensional objects based on predetermined geometric constraints and position of an input device
JPH08314608A (ja) 1995-05-15 1996-11-29 Wacom Co Ltd デジタイザ、デジタイザ用の補助装置及びデジタイザシステム
TW338815B (en) 1995-06-05 1998-08-21 Motorola Inc Method and apparatus for character recognition of handwritten input
US5991441A (en) 1995-06-07 1999-11-23 Wang Laboratories, Inc. Real time handwriting recognition system
JP3437347B2 (ja) 1995-09-08 2003-08-18 キヤノン株式会社 文字認識装置及びその方法及びコンピュータ
US5902968A (en) 1996-02-20 1999-05-11 Ricoh Company, Ltd. Pen-shaped handwriting input apparatus using accelerometers and gyroscopes and an associated operational device for determining pen movement
US5828999A (en) 1996-05-06 1998-10-27 Apple Computer, Inc. Method and system for deriving a large-span semantic language model for large-vocabulary recognition systems
JPH09319829A (ja) 1996-06-03 1997-12-12 Nec Corp オンライン文字認識装置
US5796867A (en) 1996-06-12 1998-08-18 Industrial Technology Research Institute Stroke-number-free and stroke-order-free on-line Chinese character recognition method
US5864635A (en) 1996-06-14 1999-01-26 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by stroke analysis
US5862256A (en) 1996-06-14 1999-01-19 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by size discrimination
JPH1091346A (ja) * 1996-09-10 1998-04-10 Sharp Corp 手書き入力装置及び手書き入力装置制御プログラムを記憶した媒体
US5926566A (en) 1996-11-15 1999-07-20 Synaptics, Inc. Incremental ideographic character input method
JP4115568B2 (ja) 1996-12-18 2008-07-09 シャープ株式会社 文章入力装置
US5953541A (en) 1997-01-24 1999-09-14 Tegic Communications, Inc. Disambiguating system for disambiguating ambiguous input sequences by displaying objects associated with the generated input sequences in the order of decreasing frequency of use
JPH10307675A (ja) 1997-05-01 1998-11-17 Hitachi Ltd 手書き文字認識方法及び装置
JP3006545B2 (ja) 1997-06-09 2000-02-07 日本電気株式会社 オンライン文字認識装置
KR100595926B1 (ko) 1998-01-26 2006-07-05 웨인 웨스터만 수동 입력 통합 방법 및 장치
WO1999056198A2 (en) * 1998-04-24 1999-11-04 Natural Input Solutions Inc. Pen based edit correction interface method and apparatus
WO1999064982A1 (en) 1998-06-09 1999-12-16 Kent Ridge Digital Labs A recognition process
US6408092B1 (en) 1998-08-31 2002-06-18 Adobe Systems Incorporated Handwritten input in a restricted area
JP3775461B2 (ja) 1998-12-03 2006-05-17 セイコーエプソン株式会社 印字装置、その印字方法及び記録媒体
US8938688B2 (en) 1998-12-04 2015-01-20 Nuance Communications, Inc. Contextual prediction of user words and user actions
US7720682B2 (en) 1998-12-04 2010-05-18 Tegic Communications, Inc. Method and apparatus utilizing voice input to resolve ambiguous manually entered text input
US7881936B2 (en) 1998-12-04 2011-02-01 Tegic Communications, Inc. Multimodal disambiguation of speech recognition
US6970599B2 (en) 2002-07-25 2005-11-29 America Online, Inc. Chinese character handwriting recognition system
US7030863B2 (en) 2000-05-26 2006-04-18 America Online, Incorporated Virtual keyboard system with automatic correction
ATE443946T1 (de) 1999-05-27 2009-10-15 Tegic Communications Inc Tastatursystem mit automatischer korrektur
JP2001034399A (ja) * 1999-07-22 2001-02-09 Matsushita Electric Ind Co Ltd 数字キーによる中国語住所入力方法
US6707942B1 (en) * 2000-03-01 2004-03-16 Palm Source, Inc. Method and apparatus for using pressure information for improved computer controlled handwriting recognition, data entry and user authentication
US6760580B2 (en) 2000-03-06 2004-07-06 America Online, Incorporated Facilitating instant messaging outside of user-defined buddy group in a wireless and non-wireless environment
JP4663903B2 (ja) 2000-04-20 2011-04-06 パナソニック株式会社 手書き文字認識装置及び手書き文字認識プログラム並びに手書き文字認識プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2001325252A (ja) * 2000-05-12 2001-11-22 Sony Corp 携帯端末及びその情報入力方法、辞書検索装置及び方法、媒体
US7177797B1 (en) 2000-08-31 2007-02-13 Semantic Compaction Systems Linguistic retrieval system and method
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US7218226B2 (en) 2004-03-01 2007-05-15 Apple Inc. Acceleration-based theft detection system for portable electronic devices
CA2323856A1 (en) 2000-10-18 2002-04-18 602531 British Columbia Ltd. Method, system and media for entering data in a personal computing device
US7336827B2 (en) 2000-11-08 2008-02-26 New York University System, process and software arrangement for recognizing handwritten characters
AU2002226886A1 (en) 2000-11-09 2002-05-21 Change Tools, Inc. A user definable interface system, method and computer program product
US6912308B2 (en) * 2000-12-01 2005-06-28 Targus Communications Corp. Apparatus and method for automatic form recognition and pagination
US20020085772A1 (en) * 2000-12-29 2002-07-04 Gateway, Inc. Intelligent correction key
US6677932B1 (en) 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
US20020107896A1 (en) 2001-02-02 2002-08-08 Abraham Ronai Patent application drafting assistance tool
US6570557B1 (en) 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
US7020917B1 (en) 2001-03-12 2006-04-04 Steris Corporation Radiolucent surgical table with low shadow accessory interface profile
US7730401B2 (en) 2001-05-16 2010-06-01 Synaptics Incorporated Touch screen with user interface enhancement
US20050024341A1 (en) 2001-05-16 2005-02-03 Synaptics, Inc. Touch screen with user interface enhancement
US6690364B1 (en) 2001-05-31 2004-02-10 Palm Source, Inc. Method and system for on screen text correction via pen interface
AUPR687701A0 (en) 2001-08-08 2001-08-30 Litster, Gregory John Method of and apparatus for selecting symbols in ideographic languages
US6661409B2 (en) * 2001-08-22 2003-12-09 Motorola, Inc. Automatically scrolling handwritten input user interface for personal digital assistants and the like
US7202857B2 (en) * 2001-08-29 2007-04-10 Microsoft Corporation Manual controlled scrolling
US7286141B2 (en) 2001-08-31 2007-10-23 Fuji Xerox Co., Ltd. Systems and methods for generating and controlling temporary digital ink
US6952284B2 (en) 2001-08-31 2005-10-04 International Business Machines Corporation Manually operated digital printing device
AUPR824301A0 (en) 2001-10-15 2001-11-08 Silverbrook Research Pty. Ltd. Methods and systems (npw001)
US7113172B2 (en) 2001-11-09 2006-09-26 Lifescan, Inc. Alphanumeric keypad and display system and method
JP2003162687A (ja) 2001-11-28 2003-06-06 Toshiba Corp 手書き文字入力装置、手書き文字認識プログラム
JP4212270B2 (ja) 2001-12-07 2009-01-21 シャープ株式会社 文字入力装置、文字入力方法および文字を入力するためのプログラム
JP4050055B2 (ja) 2002-01-10 2008-02-20 株式会社リコー 手書き文字一括変換装置、手書き文字一括変換方法およびプログラム
US20030197736A1 (en) 2002-01-16 2003-10-23 Murphy Michael W. User interface for character entry using a minimum number of selection keys
US20030149978A1 (en) 2002-02-07 2003-08-07 Bruce Plotnick System and method for using a personal digital assistant as an electronic program guide
US7016529B2 (en) 2002-03-15 2006-03-21 Microsoft Corporation System and method facilitating pattern recognition
US20030193481A1 (en) 2002-04-12 2003-10-16 Alexander Sokolsky Touch-sensitive input overlay for graphical user interface
US6986106B2 (en) 2002-05-13 2006-01-10 Microsoft Corporation Correction widget
JP2004213269A (ja) 2002-12-27 2004-07-29 Toshiba Corp 文字入力装置
US7382358B2 (en) 2003-01-16 2008-06-03 Forword Input, Inc. System and method for continuous stroke word-based text input
US7098896B2 (en) 2003-01-16 2006-08-29 Forword Input Inc. System and method for continuous stroke word-based text input
US7453439B1 (en) 2003-01-16 2008-11-18 Forward Input Inc. System and method for continuous stroke word-based text input
CN1317633C (zh) * 2003-01-30 2007-05-23 富士通株式会社 手写输入设备及方法
US7490296B2 (en) * 2003-01-31 2009-02-10 Microsoft Corporation Utility object for specialized data entry
JP3903016B2 (ja) * 2003-02-13 2007-04-11 株式会社ジャストシステム 手書き文字認識装置及び方法、並びにプログラム
SG135918A1 (en) * 2003-03-03 2007-10-29 Xrgomics Pte Ltd Unambiguous text input method for touch screens and reduced keyboard systems
US20040183833A1 (en) 2003-03-19 2004-09-23 Chua Yong Tong Keyboard error reduction method and apparatus
US7729542B2 (en) 2003-04-04 2010-06-01 Carnegie Mellon University Using edges and corners for character input
US8479112B2 (en) 2003-05-13 2013-07-02 Microsoft Corporation Multiple input language selection
EP1652310A4 (en) 2003-07-17 2007-11-14 Xrgomics Pte Ltd METHOD FOR ENTERING TEXT BY CHOOSING LETTERS AND WORDS FOR REDUCED KEYBOARDS AND KEYBOARD SYSTEMS
US7571111B2 (en) 2004-03-29 2009-08-04 United Parcel Service Of America, Inc. Computer system for monitoring actual performance to standards in real time
US7912904B2 (en) 2004-03-31 2011-03-22 Google Inc. Email system with conversation-centric user interface
JP2005341411A (ja) * 2004-05-28 2005-12-08 Matsushita Electric Ind Co Ltd ユーザインタフェース装置
JP2005341387A (ja) 2004-05-28 2005-12-08 Nokia Corp リアルタイムコミュニケーションシステム、及びリアルタイムコミュニケーションに用いる送受信装置及び方法
JP4476725B2 (ja) 2004-07-21 2010-06-09 株式会社東芝 ディジタル放送受信装置
WO2006028438A1 (en) 2004-09-01 2006-03-16 Hewlett-Packard Development Company, L.P. System, method, and apparatus for continuous character recognition
US7443386B2 (en) 2004-11-01 2008-10-28 Nokia Corporation Mobile phone and method
US7669149B2 (en) * 2004-12-30 2010-02-23 Sap Ag Matching user interface elements to screen reader functions
US8552984B2 (en) 2005-01-13 2013-10-08 602531 British Columbia Ltd. Method, system, apparatus and computer-readable media for directing input associated with keyboard-type device
US7561145B2 (en) * 2005-03-18 2009-07-14 Microsoft Corporation Systems, methods, and computer-readable media for invoking an electronic ink or handwriting interface
JP5037491B2 (ja) * 2005-04-25 2012-09-26 テジック コミュニケーションズ インク 与えられた（１つ以上の）文字の全数より少ない数の文字、若しくは、その文字の字画の全数より少ない数の字画、又はその両方を供給することによる、表意言語の句の省略された手書き入力
US20060246955A1 (en) 2005-05-02 2006-11-02 Mikko Nirhamo Mobile communication device and method therefor
JP2006323502A (ja) 2005-05-17 2006-11-30 Canon Inc 情報処理装置及びその制御方法、プログラム
US7886233B2 (en) 2005-05-23 2011-02-08 Nokia Corporation Electronic text input involving word completion functionality for predicting word candidates for partial word inputs
US7496547B2 (en) 2005-06-02 2009-02-24 Microsoft Corporation Handwriting recognition using a comparative neural network
US20070016862A1 (en) * 2005-07-15 2007-01-18 Microth, Inc. Input guessing systems, methods, and computer program products
US7873356B2 (en) 2005-09-16 2011-01-18 Microsoft Corporation Search interface for mobile devices
US7634137B2 (en) 2005-10-14 2009-12-15 Microsoft Corporation Unfolded convolution for fast feature extraction
US7646913B2 (en) 2005-12-19 2010-01-12 Microsoft Corporation Allograph based writer adaptation for handwritten character recognition
US7657849B2 (en) 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
DE102006037156A1 (de) 2006-03-22 2007-09-27 Volkswagen Ag Interaktive Bedienvorrichtung und Verfahren zum Betreiben der interaktiven Bedienvorrichtung
US20080008387A1 (en) * 2006-07-06 2008-01-10 Cheng Yi-Hsun E Method and apparatus for recognition of handwritten symbols
JP4762070B2 (ja) 2006-07-19 2011-08-31 富士通株式会社 手書き入力装置、手書き入力方法、及びコンピュータプログラム
US7720316B2 (en) 2006-09-05 2010-05-18 Microsoft Corporation Constraint-based correction of handwriting recognition errors
US8564544B2 (en) * 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US8843754B2 (en) 2006-09-15 2014-09-23 Identity Metrics, Inc. Continuous user identification and situation analysis with identification of anonymous users through behaviormetrics
KR100859010B1 (ko) 2006-11-01 2008-09-18 노키아 코포레이션 필기 인식을 위한 장치 및 방법
US8074172B2 (en) 2007-01-05 2011-12-06 Apple Inc. Method, system, and graphical user interface for providing word recommendations
US7885456B2 (en) 2007-03-29 2011-02-08 Microsoft Corporation Symbol graph generation in handwritten mathematical expression recognition
US8457946B2 (en) * 2007-04-26 2013-06-04 Microsoft Corporation Recognition architecture for generating Asian characters
CN101311887A (zh) 2007-05-21 2008-11-26 刘恩新 一种计算机手写输入系统及输入方法和编辑方法
US8018441B2 (en) * 2007-06-11 2011-09-13 Samsung Electronics Co., Ltd. Character input apparatus and method for automatically switching input mode in terminal having touch screen
US7983478B2 (en) 2007-08-10 2011-07-19 Microsoft Corporation Hidden markov model based handwriting/calligraphy generation
EP2031485A1 (en) * 2007-08-31 2009-03-04 Research In Motion Limited Handheld electronic device and associated method providing disambiguation of an ambiguous object during editing and selectively providing prediction of future characters
CN101123044A (zh) * 2007-09-13 2008-02-13 无敌科技(西安)有限公司 汉字书写学习方法
US8015496B1 (en) 2007-10-26 2011-09-06 Sesh, Inc. System and method for facilitating visual social communication through co-browsing
JP2009110092A (ja) 2007-10-26 2009-05-21 Alps Electric Co Ltd 入力処理装置
US7502017B1 (en) 2007-11-20 2009-03-10 International Business Machines Corporation Handwriting recognizer user interface methods
CN101178633A (zh) 2007-12-13 2008-05-14 深圳华为通信技术有限公司 一种手写屏错误纠正的方法、系统及装置
US8116569B2 (en) 2007-12-21 2012-02-14 Microsoft Corporation Inline handwriting recognition and correction
KR20090072773A (ko) 2007-12-28 2009-07-02 엔에이치엔(주) 필기 이미지에 대응하는 이모티콘을 제공하기 위한 방법,시스템, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
US8908973B2 (en) 2008-03-04 2014-12-09 Apple Inc. Handwritten character recognition interface
US8650507B2 (en) * 2008-03-04 2014-02-11 Apple Inc. Selecting of text using gestures
US8610672B2 (en) 2008-04-10 2013-12-17 Nokia Corporation Device and method for stroke based graphic input
US9508059B2 (en) * 2008-04-25 2016-11-29 T-Mobile Usa, Inc. Messaging device having a graphical user interface for initiating communication to recipients
US8341184B2 (en) * 2008-05-07 2012-12-25 Smooth Productions Inc. Communications network system and service provider
JP2009288873A (ja) 2008-05-27 2009-12-10 Ntt Docomo Inc 携帯端末及び文字入力方法
US9355090B2 (en) 2008-05-30 2016-05-31 Apple Inc. Identification of candidate characters for text input
JP2009289188A (ja) * 2008-05-30 2009-12-10 Nec Corp 文字入力装置、文字入力方法および文字入力用プログラム
US8073680B2 (en) 2008-06-26 2011-12-06 Microsoft Corporation Language detection service
US8213914B2 (en) * 2008-08-04 2012-07-03 Lg Electronics Inc. Mobile terminal capable of providing web browsing function and method of controlling the mobile terminal
CN101676838B (zh) 2008-09-16 2012-05-23 夏普株式会社 输入装置
US20100104189A1 (en) 2008-10-23 2010-04-29 Aravamudhan Bharath Handwriting Identification Method, Program And Electronic Device
US8584031B2 (en) 2008-11-19 2013-11-12 Apple Inc. Portable touch screen device, method, and graphical user interface for using emoji characters
US8370737B2 (en) 2008-12-27 2013-02-05 Flash Networks, Ltd Method and system for inserting data in a web page that is transmitted to a handheld device
US20100166314A1 (en) 2008-12-30 2010-07-01 Microsoft Corporation Segment Sequence-Based Handwritten Expression Recognition
US8294680B2 (en) * 2009-03-27 2012-10-23 Sony Mobile Communications Ab System and method for touch-based text entry
US10191654B2 (en) * 2009-03-30 2019-01-29 Touchtype Limited System and method for inputting text into electronic devices
US8175389B2 (en) * 2009-03-30 2012-05-08 Synaptics Incorporated Recognizing handwritten words
US8111911B2 (en) 2009-04-27 2012-02-07 King Abdulaziz City For Science And Technology System and methods for arabic text recognition based on effective arabic text feature extraction
US8681106B2 (en) * 2009-06-07 2014-03-25 Apple Inc. Devices, methods, and graphical user interfaces for accessibility using a touch-sensitive surface
CN101930545A (zh) 2009-06-24 2010-12-29 夏普株式会社 手写识别方法和设备
US8391613B2 (en) 2009-06-30 2013-03-05 Oracle America, Inc. Statistical online character recognition
JP2011065623A (ja) 2009-08-21 2011-03-31 Sharp Corp 情報検索装置、情報検索装置の制御方法
JP5487208B2 (ja) 2009-08-27 2014-05-07 株式会社東芝 情報検索装置
TWI490734B (zh) 2009-11-23 2015-07-01 Htc Corp 動態調整手寫輸入之等待時間的方法、電子設備及其相關電腦程式產品
KR101623213B1 (ko) * 2009-12-24 2016-05-31 삼성전자주식회사 펜 입력 장치 및 방법
US8782556B2 (en) 2010-02-12 2014-07-15 Microsoft Corporation User-centric soft keyboard predictive technologies
EP2367097B1 (en) * 2010-03-19 2017-11-22 BlackBerry Limited Portable electronic device and method of controlling same
US8310461B2 (en) 2010-05-13 2012-11-13 Nuance Communications Inc. Method and apparatus for on-top writing
US8930360B2 (en) 2010-05-28 2015-01-06 Yahoo! Inc. System and method for online handwriting recognition in web queries
CN101893987A (zh) 2010-06-01 2010-11-24 华南理工大学 一种电子设备的手写输入方法
TW201201113A (en) 2010-06-22 2012-01-01 Sharp Kk Handwriting recognition method and device
CN101894266A (zh) 2010-06-30 2010-11-24 北京捷通华声语音技术有限公司 一种手写识别方法及系统
JP5430520B2 (ja) 2010-08-21 2014-03-05 京セラ株式会社 太陽電池の製造方法
WO2012024829A1 (en) 2010-08-24 2012-03-01 Nokia Corporation Method and apparatus for segmenting strokes of overlapped handwriting into one or more groups
KR101780440B1 (ko) * 2010-08-30 2017-09-22 삼성전자 주식회사 멀티 터치에 따른 리스트 데이터 출력 제어 방법 및 이를 지원하는 휴대 단말기
JP2012079252A (ja) * 2010-10-06 2012-04-19 Fujitsu Ltd 情報端末装置、文字入力方法および文字入力プログラム
TW201216124A (en) 2010-10-12 2012-04-16 Inventec Corp Multi-block handwriting system and method thereof
US8635061B2 (en) 2010-10-14 2014-01-21 Microsoft Corporation Language identification in multilingual text
JP2012108871A (ja) 2010-10-26 2012-06-07 Nec Corp 情報処理装置およびその手書き入力処理方法
US8587547B2 (en) 2010-11-05 2013-11-19 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
US8547354B2 (en) 2010-11-05 2013-10-01 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
KR101548835B1 (ko) 2010-12-02 2015-09-11 노키아 코포레이션 중첩 수기를 위한 방법, 장치 및 컴퓨터 프로그램 제품
CN102156608B (zh) * 2010-12-10 2013-07-24 上海合合信息科技发展有限公司 多字符连续书写的手写输入方法
JP5305545B2 (ja) 2011-01-06 2013-10-02 パナソニック株式会社 手書き文字入力装置および携帯端末
US20120206367A1 (en) 2011-02-14 2012-08-16 Research In Motion Limited Handheld electronic devices with alternative methods for text input
US20120216113A1 (en) * 2011-02-18 2012-08-23 Google Inc. Touch gestures for text-entry operations
US8922489B2 (en) * 2011-03-24 2014-12-30 Microsoft Corporation Text input using key and gesture information
JP5550598B2 (ja) 2011-03-31 2014-07-16 パナソニック株式会社 手書き文字入力装置
JP5862659B2 (ja) 2011-04-11 2016-02-16 日本電気株式会社 情報入力装置
WO2012143948A2 (en) * 2011-04-18 2012-10-26 Jeswill Hitech Solutions Pvt. Ltd. Method and apparatus for processing content written in an application form using an e-pen
JP2012238295A (ja) 2011-04-27 2012-12-06 Panasonic Corp 手書き文字入力装置及び手書き文字入力方法
CN102135838A (zh) 2011-05-05 2011-07-27 汉王科技股份有限公司 分区输入手写字符串的方法和系统
JP5644658B2 (ja) * 2011-05-10 2014-12-24 富士通株式会社 情報処理装置、入力制御方法および入力制御プログラム
CN102722240A (zh) * 2011-05-18 2012-10-10 北京大学深圳研究生院 一种文字信息输入系统、手写输入设备及方法
WO2012159250A1 (en) 2011-05-20 2012-11-29 Microsoft Corporation User interface for handwriting inputs
US8977059B2 (en) 2011-06-03 2015-03-10 Apple Inc. Integrating feature extraction via local sequential embedding for automatic handwriting recognition
US8094941B1 (en) 2011-06-13 2012-01-10 Google Inc. Character recognition for overlapping textual user input
EP3522075A1 (en) 2011-06-13 2019-08-07 Google LLC Character recognition for overlapping textual user input
US20130002553A1 (en) 2011-06-29 2013-01-03 Nokia Corporation Character entry apparatus and associated methods
US9417754B2 (en) * 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US8959430B1 (en) 2011-09-21 2015-02-17 Amazon Technologies, Inc. Facilitating selection of keys related to a selected key
CN102455911B (zh) 2011-09-29 2014-10-22 北京壹人壹本信息科技有限公司 手写输入显示装置及控制方法
JP6353786B2 (ja) * 2011-09-30 2018-07-04 アップル インコーポレイテッド ハンズフリーインタラクションに対するユーザインターフェースの自動適合化
JP5330478B2 (ja) 2011-10-14 2013-10-30 株式会社エヌ・ティ・ティ・ドコモ 入力支援装置、プログラム及び絵文字の入力支援方法
JP2013089131A (ja) 2011-10-20 2013-05-13 Kyocera Corp 装置、方法及びプログラム
KR101978687B1 (ko) * 2011-11-15 2019-05-16 삼성전자주식회사 터치스크린 단말기에서 문자 입력 방법 및 장치
JP6003047B2 (ja) 2011-11-24 2016-10-05 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
KR101338397B1 (ko) 2011-11-28 2013-12-10 장경호 사용자 고유의 필적 생성 시스템 및 그 방법
CN103186235B (zh) 2011-12-31 2015-11-25 北大方正集团有限公司 一种手写输入的处理方法及装置
CN102566933A (zh) 2011-12-31 2012-07-11 广东步步高电子工业有限公司 一种全屏手写有效区分命令手势和字符的方法
KR20130089486A (ko) * 2012-02-02 2013-08-12 삼성전자주식회사 휴대단말기의 키 입력 방법 및 장치
KR101898202B1 (ko) 2012-02-09 2018-09-12 삼성전자주식회사 필기 인식을 위한 필기 입력 가이드 장치 및 방법
US9928651B2 (en) * 2012-02-21 2018-03-27 Mahesh Babu Mariappan Overlaid virtual playground and overlaid virtual information delivery platform for restaurants, catering businesses and other businesses using menu cards, pizza boxes, salt and pepper shakers, and other objects
US9041727B2 (en) 2012-03-06 2015-05-26 Apple Inc. User interface tools for selectively applying effects to image
EP2828793A4 (en) * 2012-03-23 2015-07-01 Microsoft Technology Licensing Llc ROTATION-FREE DETECTION OF HAND-WRITTEN CHARACTERS
JP5563108B2 (ja) * 2012-03-27 2014-07-30 富士フイルム株式会社 撮影装置、撮影方法およびプログラム
CN103365446A (zh) * 2012-03-28 2013-10-23 联想(北京)有限公司 一种手写输入方法及装置
JP2013206141A (ja) * 2012-03-28 2013-10-07 Panasonic Corp 文字入力装置、文字入力方法、及び文字入力プログラム
CN104350459B (zh) * 2012-03-30 2017-08-04 诺基亚技术有限公司 用户接口、关联装置和方法
US8881269B2 (en) * 2012-03-31 2014-11-04 Apple Inc. Device, method, and graphical user interface for integrating recognition of handwriting gestures with a screen reader
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
CN104395860B (zh) * 2012-05-09 2018-06-22 苹果公司 用于确定计算设备中的反馈的阈值
KR101665223B1 (ko) 2012-05-17 2016-10-11 샤프 가부시키가이샤 표시 제어 장치, 전자 기기, 기록 매체 및 표시 장치의 제어 방법
JP5248696B1 (ja) 2012-05-25 2013-07-31 株式会社東芝 電子機器、手書き文書作成方法、及び手書き文書作成プログラム
US9779080B2 (en) * 2012-07-09 2017-10-03 International Business Machines Corporation Text auto-correction via N-grams
KR102021048B1 (ko) * 2012-07-31 2019-09-11 삼성전자주식회사 사용자 입력을 제어하기 위한 방법 및 그 전자 장치
US20140035823A1 (en) * 2012-08-01 2014-02-06 Apple Inc. Dynamic Context-Based Language Determination
US9141200B2 (en) 2012-08-01 2015-09-22 Apple Inc. Device, method, and graphical user interface for entering characters
JP2014056389A (ja) * 2012-09-12 2014-03-27 Panasonic Corp 文字認識装置、文字認識方法及びプログラム
US10254952B2 (en) 2012-09-26 2019-04-09 Google Llc Progress display of handwriting input
JP6003492B2 (ja) 2012-10-01 2016-10-05 富士ゼロックス株式会社 文字認識装置及びプログラム
US20140098038A1 (en) 2012-10-10 2014-04-10 Microsoft Corporation Multi-function configurable haptic device
US9547375B2 (en) 2012-10-10 2017-01-17 Microsoft Technology Licensing, Llc Split virtual keyboard on a mobile computing device
US9304683B2 (en) 2012-10-10 2016-04-05 Microsoft Technology Licensing, Llc Arced or slanted soft input panels
US9026428B2 (en) 2012-10-15 2015-05-05 Nuance Communications, Inc. Text/character input system, such as for use with touch screens on mobile phones
DE102012020608B4 (de) * 2012-10-19 2018-10-25 Audi Ag Kraftwagen mit einer Eingabevorrichtung zur Handschrifterkennung
JP2014092902A (ja) * 2012-11-02 2014-05-19 Toshiba Corp 電子機器および手書き文書処理方法
JP2014102669A (ja) 2012-11-20 2014-06-05 Toshiba Corp 情報処理装置、情報処理方法およびプログラム
US20140160032A1 (en) 2012-12-07 2014-06-12 Microsoft Corporation Swipe Stroke Input and Continuous Handwriting
US9430133B2 (en) 2012-12-17 2016-08-30 Sap Se Career history exercise with stage card visualization
CN103049207B (zh) * 2012-12-27 2016-01-13 富泰华工业（深圳）有限公司 手写输入识别系统及方法
DE102013009375A1 (de) * 2012-12-28 2014-07-03 Volkswagen Aktiengesellschaft Verfahren zum Eingeben und Erkennen einer Zeichenkette
AU2013368443B2 (en) 2012-12-29 2016-03-24 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
US9710462B2 (en) 2013-01-29 2017-07-18 Learning Sites, Inc. System and method for automatically translating an imaged surface of an object
JP5998964B2 (ja) 2013-01-31 2016-09-28 カシオ計算機株式会社 辞書情報表示装置、辞書情報表示方法、辞書情報表示プログラム、辞書情報表示システム、およびそのサーバ装置、端末装置
US20140245221A1 (en) 2013-02-25 2014-08-28 Apple Inc. Intelligent Scrolling In Digital Publications
US9858268B2 (en) * 2013-02-26 2018-01-02 International Business Machines Corporation Chinese name transliteration
US9069462B2 (en) * 2013-03-14 2015-06-30 Nuance Communications, Inc. Recognizing handwriting input using rotatable support lines
US9189157B2 (en) 2013-03-15 2015-11-17 Blackberry Limited Method and apparatus for word prediction selection
US10073536B2 (en) * 2013-03-15 2018-09-11 Google Llc Virtual keyboard input for international languages
JP6102374B2 (ja) 2013-03-15 2017-03-29 オムロン株式会社 読取文字訂正用のプログラムおよび文字読取装置
JPWO2014147712A1 (ja) * 2013-03-18 2017-02-16 株式会社東芝 情報処理装置、情報処理方法及びプログラム
US10027723B2 (en) * 2013-04-12 2018-07-17 Provenance Asset Group Llc Method and apparatus for initiating communication and sharing of content among a plurality of devices
WO2014166114A1 (en) * 2013-04-12 2014-10-16 Nokia Corporation An apparatus for text entry and associated methods
JP6229303B2 (ja) 2013-05-16 2017-11-15 富士通株式会社 プログラム、情報処理装置および文字認識方法
JP2014235582A (ja) * 2013-06-03 2014-12-15 コニカミノルタ株式会社 操作制御プログラム及び操作制御方法並びに手書き入力装置
CN109614846A (zh) 2013-06-09 2019-04-12 苹果公司 管理实时手写识别
US20140361983A1 (en) 2013-06-09 2014-12-11 Apple Inc. Real-time stroke-order and stroke-direction independent handwriting recognition
US9898187B2 (en) 2013-06-09 2018-02-20 Apple Inc. Managing real-time handwriting recognition
US9495620B2 (en) 2013-06-09 2016-11-15 Apple Inc. Multi-script handwriting recognition using a universal recognizer
US20140363082A1 (en) 2013-06-09 2014-12-11 Apple Inc. Integrating stroke-distribution information into spatial feature extraction for automatic handwriting recognition
WO2014205648A1 (en) * 2013-06-25 2014-12-31 Nokia Corporation Handwriting recognition based on writing speed
KR102125212B1 (ko) * 2013-08-29 2020-07-08 삼성전자 주식회사 전자 필기 운용 방법 및 이를 지원하는 전자 장치
US10001817B2 (en) * 2013-09-03 2018-06-19 Apple Inc. User interface for manipulating user interface objects with magnetic properties
US10496276B2 (en) * 2013-09-24 2019-12-03 Microsoft Technology Licensing, Llc Quick tasks for on-screen keyboards
US20150100537A1 (en) * 2013-10-03 2015-04-09 Microsoft Corporation Emoji for Text Predictions
US20150116283A1 (en) 2013-10-24 2015-04-30 Livescribe Inc. Paper Strip Presentation Of Grouped Content
US9330331B2 (en) 2013-11-11 2016-05-03 Wipro Limited Systems and methods for offline character recognition
CN103677632A (zh) * 2013-11-19 2014-03-26 三星电子（中国）研发中心 一种虚拟键盘调整方法和移动终端
WO2015083290A1 (ja) 2013-12-06 2015-06-11 株式会社 東芝 手書き文書情報を処理するための電子機器および方法
JP2015114976A (ja) * 2013-12-13 2015-06-22 株式会社東芝 電子機器及び方法
US9881224B2 (en) * 2013-12-17 2018-01-30 Microsoft Technology Licensing, Llc User interface for overlapping handwritten text input
US9411508B2 (en) * 2014-01-03 2016-08-09 Apple Inc. Continuous handwriting UI
JP2015148946A (ja) * 2014-02-06 2015-08-20 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US10048802B2 (en) * 2014-02-12 2018-08-14 Apple Inc. Rejection of false turns of rotary inputs for electronic devices
US9286527B2 (en) * 2014-02-20 2016-03-15 Google Inc. Segmentation of an input by cut point classification
JP2015162088A (ja) 2014-02-27 2015-09-07 株式会社東芝 電子機器、方法及びプログラム
US10691332B2 (en) * 2014-02-28 2020-06-23 Samsung Electronics Company, Ltd. Text input on an interactive display
JP6270565B2 (ja) 2014-03-18 2018-01-31 株式会社東芝 電子機器および方法
US9158426B1 (en) * 2014-03-19 2015-10-13 Google Inc. Touch keyboard calibration
CN104951175A (zh) * 2014-03-25 2015-09-30 上海三旗通信科技股份有限公司 一种改进的手持设备上的手写多字输入法
US9524428B2 (en) 2014-04-28 2016-12-20 Lenovo (Singapore) Pte. Ltd. Automated handwriting input for entry fields
US9864508B2 (en) * 2014-06-24 2018-01-09 Apple Inc. Character recognition on a computing device
US9946704B2 (en) * 2014-07-18 2018-04-17 Lenovo (Singapore) Pte. Ltd. Tone mark based text suggestions for chinese or japanese characters or words
JP6424506B2 (ja) * 2014-07-22 2018-11-21 ブラザー工業株式会社 データ処理装置およびデータ処理プログラム
US20160026730A1 (en) 2014-07-23 2016-01-28 Russell Hasan Html5-based document format with parts architecture
JP2017527033A (ja) 2014-09-02 2017-09-14 アップル インコーポレイテッド ユーザ入力を受信するためのユーザインタフェース
WO2016036481A1 (en) 2014-09-02 2016-03-10 Apple Inc. Reduced-size user interfaces for dynamically updated application overviews
US9940016B2 (en) 2014-09-13 2018-04-10 Microsoft Technology Licensing, Llc Disambiguation of keyboard input
JP6426417B2 (ja) 2014-09-26 2018-11-21 株式会社東芝 電子機器、方法及びプログラム
JP2016071819A (ja) 2014-10-02 2016-05-09 株式会社東芝 電子機器および方法
US10552013B2 (en) * 2014-12-02 2020-02-04 Apple Inc. Data detection
KR20170094279A (ko) * 2014-12-16 2017-08-17 미테일 리미티드 3d 의복 이미지와 조합되는 사람의 3d 가상 신체 모델을 생성하기 위한 방법들, 및 관련 디바이스들, 시스템들 및 컴퓨터 프로그램 제품들
KR200481600Y1 (ko) 2015-03-06 2016-10-19 대신정밀 주식회사 전자교탁
US9639184B2 (en) * 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10509790B2 (en) * 2015-06-07 2019-12-17 Apple Inc. Electronic message searching
US20180173373A1 (en) 2015-06-12 2018-06-21 Nureva Inc. Method and apparatus for using gestures across multiple devices
CN104932826B (zh) * 2015-06-26 2018-10-12 联想(北京)有限公司 一种信息处理方法和电子设备
US10003938B2 (en) * 2015-08-14 2018-06-19 Apple Inc. Easy location sharing
US10445425B2 (en) * 2015-09-15 2019-10-15 Apple Inc. Emoji and canned responses
US10346510B2 (en) 2015-09-29 2019-07-09 Apple Inc. Device, method, and graphical user interface for providing handwriting support in document editing
US10643067B2 (en) 2015-10-19 2020-05-05 Myscript System and method of handwriting recognition in diagrams
US20170300559A1 (en) 2016-04-18 2017-10-19 Farzan Fallah Systems and Methods for Facilitating Data Entry into Electronic Devices
WO2017183035A1 (en) * 2016-04-20 2017-10-26 Avi Elazari Reduced keyboard disambiguating system and method thereof
US11320982B2 (en) * 2016-05-18 2022-05-03 Apple Inc. Devices, methods, and graphical user interfaces for messaging
US11262909B2 (en) 2016-06-02 2022-03-01 Myscript System and method for input recognition linguistic resource management
DK179374B1 (en) 2016-06-12 2018-05-28 Apple Inc Handwriting keyboard for monitors
US11580608B2 (en) * 2016-06-12 2023-02-14 Apple Inc. Managing contact information for communication applications
US10614607B2 (en) * 2016-06-12 2020-04-07 Apple Inc. Playback of handwritten message
KR102544780B1 (ko) * 2016-07-04 2023-06-19 삼성전자주식회사 필기 입력에 따른 사용자 인터페이스 제어 방법 및 이를 구현한 전자 장치
US20180024726A1 (en) * 2016-07-21 2018-01-25 Cives Consulting AS Personified Emoji
US20180047200A1 (en) * 2016-08-11 2018-02-15 Jibjab Media Inc. Combining user images and computer-generated illustrations to produce personalized animated digital avatars
US10109083B2 (en) 2016-08-12 2018-10-23 Adobe Systems Incorporated Local optimization for curvy brush stroke synthesis
CN110109592B (zh) * 2016-09-23 2022-09-23 苹果公司 头像创建和编辑
EP3533161B1 (en) 2016-10-25 2020-07-29 Telefonaktiebolaget LM Ericsson (PUBL) User-worn device and touch-device for ultrasonic data transmission
US20180121074A1 (en) 2016-10-28 2018-05-03 Microsoft Technology Licensing, Llc Freehand table manipulation
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10558341B2 (en) 2017-02-20 2020-02-11 Microsoft Technology Licensing, Llc Unified system for bimanual interactions on flexible representations of content
US12242707B2 (en) 2017-05-15 2025-03-04 Apple Inc. Displaying and moving application views on a display of an electronic device
DK179948B1 (en) * 2017-05-16 2019-10-22 Apple Inc. Recording and sending Emoji
EP4366317A3 (en) * 2017-05-16 2024-08-07 Apple Inc. Emoji recording and sending
EP4468244A3 (en) 2017-06-02 2025-02-19 Apple Inc. Device, method, and graphical user interface for annotating content
US10430076B2 (en) 2017-12-18 2019-10-01 Motorola Solutions, Inc. Device and method for text entry using two axes at a display device
US10796470B2 (en) * 2018-06-03 2020-10-06 Apple Inc. Optimized avatar asset resource
US20200034025A1 (en) * 2018-07-26 2020-01-30 Lois Jean Brady Systems and methods for multisensory semiotic communications
US20200089402A1 (en) 2018-09-17 2020-03-19 Ca, Inc. Providing one or more new virtual keys in a virtual keyboard that each correspond to a predicted set of characters
US10600228B1 (en) 2018-10-14 2020-03-24 Adobe Inc. Automatic and interactive animation driven by change-based heuristics
US11107261B2 (en) * 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
KR102730751B1 (ko) * 2019-02-19 2024-11-15 삼성전자 주식회사 아바타 추천 및 다운로드를 지원하는 전자 장치
US11675476B2 (en) * 2019-05-05 2023-06-13 Apple Inc. User interfaces for widgets
AU2020267498B2 (en) * 2019-05-06 2023-04-06 Apple Inc. Handwriting entry on an electronic device
US11194467B2 (en) * 2019-06-01 2021-12-07 Apple Inc. Keyboard management user interfaces
US11829591B2 (en) * 2019-06-01 2023-11-28 Apple Inc. User interface for managing input techniques
US11188190B2 (en) * 2019-06-28 2021-11-30 Snap Inc. Generating animation overlays in a communication session
US20220301041A1 (en) * 2019-08-12 2022-09-22 Lg Electronics Inc. Virtual fitting provision device and provision method therefor
US20220350418A1 (en) * 2021-05-03 2022-11-03 Qiusheng Gao Composite computer keyboard
CN113763228B (zh) * 2020-06-01 2024-03-19 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
US11016577B2 (en) * 2020-07-20 2021-05-25 Shenzhen Ajazz Tongchuang Electronic Technology Co., Ltd. Keyboard for live streaming and method thereof
US11379056B2 (en) * 2020-09-28 2022-07-05 Arian Gardner Editor's pen pad
US12321577B2 (en) * 2020-12-31 2025-06-03 Snap Inc. Avatar customization system
CN116762103A (zh) * 2021-01-13 2023-09-15 三星电子株式会社 电子装置及在该电子装置中运行化身视频服务的方法
WO2022246369A2 (en) * 2021-05-17 2022-11-24 Apple Inc. Interacting with notes user interfaces
US20240111479A1 (en) * 2022-06-02 2024-04-04 Apple Inc. Audio-based messaging
CN119452334A (zh) * 2022-06-04 2025-02-14 苹果公司 用于在电子设备上显示手写内容的用户界面
JP2024153574A (ja) 2023-04-17 2024-10-29 和田工業有限会社 通気孔フィルタ
US20240386877A1 (en) * 2023-05-15 2024-11-21 Apple Inc. Techniques and user interfaces for generating synthesized speech

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022183012A (ja) * 2021-05-26 2022-12-08 株式会社リコー 表示装置、表示システム、表示方法、プログラム
JP7838380B2 (ja) 2021-05-26 2026-04-01 株式会社リコー 表示装置、表示システム、表示方法、プログラム

Also Published As

Publication number Publication date
JP6997734B2 (ja) 2022-01-18
AU2020200191A1 (en) 2020-01-30
DK179329B1 (en) 2018-05-07
KR102222143B1 (ko) 2021-03-04
AU2017203816C1 (en) 2020-04-30
US10228846B2 (en) 2019-03-12
AU2020273352B2 (en) 2022-06-09
US10466895B2 (en) 2019-11-05
CN113157113A (zh) 2021-07-23
KR20190052667A (ko) 2019-05-16
KR20210023946A (ko) 2021-03-04
EP3255528B1 (en) 2019-05-01
AU2017203816B2 (en) 2018-08-09
US10884617B2 (en) 2021-01-05
US20190163359A1 (en) 2019-05-30
US20240272789A1 (en) 2024-08-15
EP3324274A1 (en) 2018-05-23
US20170357438A1 (en) 2017-12-14
JP7605886B2 (ja) 2024-12-24
JP2017220231A (ja) 2017-12-14
JP2019175441A (ja) 2019-10-10
US12422979B2 (en) 2025-09-23
US11640237B2 (en) 2023-05-02
CN113157113B (zh) 2024-10-18
KR102342624B1 (ko) 2021-12-22
US20230384926A1 (en) 2023-11-30
DK201670624A1 (en) 2018-02-12
CN113190126A (zh) 2021-07-30
US11941243B2 (en) 2024-03-26
JP2023093497A (ja) 2023-07-04
JP7289820B2 (ja) 2023-06-12
EP3255528A1 (en) 2017-12-13
EP3557389B1 (en) 2022-07-27
KR101978883B1 (ko) 2019-05-15
AU2017203816A1 (en) 2018-01-04
US20210124485A1 (en) 2021-04-29
CN108089727B (zh) 2021-05-18
JP7825030B2 (ja) 2026-03-05
AU2020200191B2 (en) 2020-12-10
KR20200013023A (ko) 2020-02-05
AU2018260930B2 (en) 2019-11-21
EP3324274B1 (en) 2019-09-25
CN107491186A (zh) 2017-12-19
KR102072851B1 (ko) 2020-02-03
EP3557389A1 (en) 2019-10-23
AU2018260930A1 (en) 2018-11-29
DK179374B1 (en) 2018-05-28
KR20170140080A (ko) 2017-12-20
DK201670626A1 (en) 2018-01-02
JP2025066691A (ja) 2025-04-23
AU2020273352A1 (en) 2020-12-17
CN107491186B (zh) 2021-05-07
AU2018260930C1 (en) 2020-04-23
US20200057556A1 (en) 2020-02-20
CN108089727A (zh) 2018-05-29
JP2021064380A (ja) 2021-04-22

Similar Documents

Publication Publication Date Title
JP7825030B2 (ja) 画面用の手書きキーボード
DK201770921A1 (en) Handwriting keyboard for screens

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170629

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170629

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180330

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180709

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190306

R150 Certificate of patent or registration of utility model

Ref document number: 6495376

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250