Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7821769B2 - Creative Camera - Google Patents
[go: Go Back, main page]

JP7821769B2 - Creative Camera - Google Patents

Creative Camera

Info

Publication number
JP7821769B2
JP7821769B2 JP2023210355A JP2023210355A JP7821769B2 JP 7821769 B2 JP7821769 B2 JP 7821769B2 JP 2023210355 A JP2023210355 A JP 2023210355A JP 2023210355 A JP2023210355 A JP 2023210355A JP 7821769 B2 JP7821769 B2 JP 7821769B2
Authority
JP
Japan
Prior art keywords
representation
subject
camera
avatar
displaying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023210355A
Other languages
Japanese (ja)
Other versions
JP2024028968A (en
Inventor
オーエス， マルセル ヴァン
ジェシカ アボウカスム，
ディビッド アール． ブラック，
ロバート チン，
グレゴリー エル． デュデイ，
キャサリン ケイ． アーネスト，
グラント ポール，
ジェイソン リックワルド，
ザ サード， ウィリアム エイ． ソレンティノ
ブライアン イー． ウォルシュ，
ジャン－フランソワ エム． アルボウズ，
リー エス． ブロウグトン，
ジャエ ウー チャン，
アラン シー． ダイ，
アーレリオ グズマン，
ニコラス ヴィ． キング，
クリストファー ジェイ． モウリオス，
ジョアンナ エム． ニューマン，
ニコラス ヴィ． スカペル，
ジョセフ－アレキサンダー ピー． ウェイル，
クリストファー アイ． ウィルソン，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/110,514 external-priority patent/US10375313B1/en
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2024028968A publication Critical patent/JP2024028968A/en
Application granted granted Critical
Publication of JP7821769B2 publication Critical patent/JP7821769B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of two-dimensional [2D] relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—Three-dimensional [3D] animation
    • G06T13/40—Three-dimensional [3D] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—Two-dimensional [2D] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. short messaging services [SMS] or e-mails
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00095—Systems or arrangements for the transmission of the picture signal
    • H04N1/00103—Systems or arrangements for the transmission of the picture signal specially adapted for radio transmission, e.g. via satellites
    • H04N1/00106—Systems or arrangements for the transmission of the picture signal specially adapted for radio transmission, e.g. via satellites using land mobile radio networks, e.g. mobile telephone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3261—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal
    • H04N2201/3263—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal of a graphical motif or symbol, e.g. Christmas symbol, logo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3273—Display

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)

Description

（関連出願の相互参照）
本出願は、２０１８年５月７日に出願された「Ｃｒｅａｔｉｖｅ Ｃａｍｅｒａ」と題する米国仮特許出願第６２／６６８，２２７号に関連する。この出願の内容は、参照によりその全体が本明細書に組み込まれる。 CROSS-REFERENCE TO RELATED APPLICATIONS
This application is related to U.S. Provisional Patent Application No. 62/668,227, entitled "Creative Camera," filed May 7, 2018, the contents of which are incorporated herein by reference in their entirety.

本開示は、一般に、コンピュータユーザインタフェースに関し、より具体的には、ビジュアルエフェクトを表示するための技術に関する。 This disclosure relates generally to computer user interfaces, and more specifically to techniques for displaying visual effects.

ビジュアルエフェクトを用いて、電子デバイスを使用してメディアをキャプチャ及び視聴する際のユーザエクスペリエンスを向上させる。ビジュアルエフェクトは、画像データの外観を変えることができ、又は画像内にキャプチャされた環境の理想化された、又は完全に架空の表現を表すことができる。 Visual effects are used to enhance the user experience when capturing and viewing media using electronic devices. Visual effects can change the appearance of image data or can present idealized or completely fictional representations of the environment captured in the image.

しかしながら、電子デバイスを使用してビジュアルエフェクトを表示するための一部の技術は、一般的に扱いにくく非効率である。例えば、一部の既存の技術では、複数回のキー押下又は打鍵を含む場合がある、複雑かつ時間のかかるユーザインタフェースが使用されている。既存の技術では、必要以上の時間が必要であり、ユーザの時間及びデバイスの電力を浪費する。後者の問題は、バッテリ動作デバイスにおいては特に重大である。 However, some techniques for displaying visual effects using electronic devices are generally cumbersome and inefficient. For example, some existing techniques use complex and time-consuming user interfaces that may involve multiple key presses or keystrokes. Existing techniques require more time than necessary, wasting the user's time and the device's power. The latter problem is particularly acute in battery-operated devices.

したがって、本技術は、電子デバイスに、ビジュアルエフェクトを表示するためのより速くより効率的な方法及びインタフェースを提供する。そのような方法及びインタフェースは、ビジュアルエフェクトを表示するための他の方法を、任意選択的に補完又は置換する。そのような方法及びインタフェースは、ユーザの認知負担を軽減し、より効率的なヒューマン－マシンインタフェースを生成する。バッテリ動作コンピューティングデバイスの場合には、そのような方法及びインタフェースにより、電力が節約され、バッテリを充電する間隔が増す。 The present technology thus provides electronic devices with faster, more efficient methods and interfaces for displaying visual effects. Such methods and interfaces optionally complement or replace other methods for displaying visual effects. Such methods and interfaces reduce the cognitive burden on users and create a more efficient human-machine interface. In the case of battery-operated computing devices, such methods and interfaces conserve power and increase the time between battery charges.

方法について説明する。方法は、カメラと、表示装置と、１つ以上の入力デバイスとを有する電子デバイスにおいて実行される。方法は、表示装置を介して、少なくとも第１の参加者を含むメッセージ会話の、カメラアフォーダンスを含むメッセージングユーザインタフェースを表示することと、１つ以上の入力デバイスを介して、カメラアフォーダンスに向けられた第１の入力を検出することと、第１の入力を検出したことに応じて、キャプチャアフォーダンスを含むカメラユーザインタフェースを表示することと、１つ以上の入力デバイスを介して、キャプチャアフォーダンスに向けられた第２の入力を検出することと、第２の入力を検出したことに応じて、カメラを使用して画像データをキャプチャすることと、キャプチャアフォーダンスの表示を停止することと、キャプチャアフォーダンスによって以前に占有されていたカメラユーザインタフェース内の位置に送信アフォーダンスを表示することと、１つ以上の入力デバイスを介して、送信アフォーダンスに向けられた第３の入力を検出することと、第３の入力を検出したことに応じて、キャプチャされた画像データを第１の参加者に送信する処理を開始することと、を含む。 A method is described. The method is performed on an electronic device having a camera, a display device, and one or more input devices. The method includes displaying, via the display device, a messaging user interface including a camera affordance for a message conversation including at least a first participant; detecting, via one or more input devices, a first input directed at the camera affordance; in response to detecting the first input, displaying a camera user interface including a capture affordance; detecting, via the one or more input devices, a second input directed at the capture affordance; in response to detecting the second input, capturing image data using the camera; ceasing display of the capture affordance; displaying a send affordance in a location within the camera user interface previously occupied by the capture affordance; detecting, via the one or more input devices, a third input directed at the send affordance; and in response to detecting the third input, initiating a process of transmitting the captured image data to the first participant.

非一時的コンピュータ可読記憶媒体について説明する。非一時的コンピュータ可読記憶媒体は、カメラと、表示装置と、１つ以上の入力デバイスとを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、表示装置を介して、少なくとも第１の参加者を含むメッセージ会話の、カメラアフォーダンスを含むメッセージングユーザインタフェースを表示し、１つ以上の入力デバイスを介して、カメラアフォーダンスに向けられた第１の入力を検出し、第１の入力を検出したことに応じて、キャプチャアフォーダンスを含むカメラユーザインタフェースを表示し、１つ以上の入力デバイスを介して、キャプチャアフォーダンスに向けられた第２の入力を検出し、第２の入力を検出したことに応じて、カメラを使用して画像データをキャプチャし、キャプチャアフォーダンスの表示を停止し、キャプチャアフォーダンスによって以前に占有されていたカメラユーザインタフェース内の位置に送信アフォーダンスを表示し、１つ以上の入力デバイスを介して、送信アフォーダンスに向けられた第３の入力を検出し、第３の入力を検出したことに応じて、キャプチャされた画像データを第１の参加者に送信する処理を開始する、命令を含む。 A non-transitory computer-readable storage medium is described. The non-transitory computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device including a camera, a display device, and one or more input devices, the one or more programs including instructions to: display, via the display device, a messaging user interface including a camera affordance for a message conversation including at least a first participant; detect, via the one or more input devices, a first input directed at the camera affordance; in response to detecting the first input, display a camera user interface including a capture affordance; detect, via the one or more input devices, a second input directed at the capture affordance; in response to detecting the second input, capture image data using the camera; stop displaying the capture affordance; display a send affordance in a location within the camera user interface previously occupied by the capture affordance; detect, via the one or more input devices, a third input directed at the send affordance; and in response to detecting the third input, initiate a process to send the captured image data to the first participant.

一時的コンピュータ可読記憶媒体について説明する。一時的コンピュータ可読記憶媒体は、カメラと、表示装置と、１つ以上の入力デバイスとを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、表示装置を介して、少なくとも第１の参加者を含むメッセージ会話の、カメラアフォーダンスを含むメッセージングユーザインタフェースを表示し、１つ以上の入力デバイスを介して、カメラアフォーダンスに向けられた第１の入力を検出し、第１の入力を検出したことに応じて、キャプチャアフォーダンスを含むカメラユーザインタフェースを表示し、１つ以上の入力デバイスを介して、キャプチャアフォーダンスに向けられた第２の入力を検出し、第２の入力を検出したことに応じて、カメラを使用して画像データをキャプチャし、キャプチャアフォーダンスの表示を停止し、キャプチャアフォーダンスによって以前に占有されていたカメラユーザインタフェース内の位置に送信アフォーダンスを表示し、１つ以上の入力デバイスを介して、送信アフォーダンスに向けられた第３の入力を検出し、第３の入力を検出したことに応じて、キャプチャされた画像データを第１の参加者に送信する処理を開始する、命令を含む。 A temporary computer-readable storage medium is described. The temporary computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device including a camera, a display device, and one or more input devices, the one or more programs including instructions to: display, via the display device, a messaging user interface including a camera affordance for a message conversation including at least a first participant; detect, via the one or more input devices, a first input directed at the camera affordance; in response to detecting the first input, display a camera user interface including a capture affordance; detect, via the one or more input devices, a second input directed at the capture affordance; in response to detecting the second input, capture image data using the camera; stop displaying the capture affordance; display a send affordance in a location within the camera user interface previously occupied by the capture affordance; detect, via the one or more input devices, a third input directed at the send affordance; and in response to detecting the third input, initiate a process to send the captured image data to the first participant.

電子デバイスについて説明する。電子デバイスは、カメラと、表示装置と、１つ以上の入力デバイスと、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を含み、１つ以上のプログラムは、表示装置を介して、少なくとも第１の参加者を含むメッセージ会話の、カメラアフォーダンスを含むメッセージングユーザインタフェースを表示し、１つ以上の入力デバイスを介して、カメラアフォーダンスに向けられた第１の入力を検出し、第１の入力を検出したことに応じて、キャプチャアフォーダンスを含むカメラユーザインタフェースを表示し、１つ以上の入力デバイスを介して、キャプチャアフォーダンスに向けられた第２の入力を検出し、第２の入力を検出したことに応じて、カメラを使用して画像データをキャプチャし、キャプチャアフォーダンスの表示を停止し、キャプチャアフォーダンスによって以前に占有されていたカメラユーザインタフェース内の位置に送信アフォーダンスを表示し、１つ以上の入力デバイスを介して、送信アフォーダンスに向けられた第３の入力を検出し、第３の入力を検出したことに応じて、キャプチャされた画像データを第１の参加者に送信する処理を開始する、命令を含む。 An electronic device is described. The electronic device includes a camera, a display device, one or more input devices, one or more processors, and a memory storing one or more programs configured to be executed by the one or more processors. The one or more programs include instructions to: display, via the display device, a messaging user interface including a camera affordance for a message conversation including at least a first participant; detect, via the one or more input devices, a first input directed at the camera affordance; in response to detecting the first input, display a camera user interface including a capture affordance; detect, via the one or more input devices, a second input directed at the capture affordance; in response to detecting the second input, capture image data using the camera; stop displaying the capture affordance; display a send affordance in a location within the camera user interface previously occupied by the capture affordance; detect, via the one or more input devices, a third input directed at the send affordance; and in response to detecting the third input, initiate a process to send the captured image data to the first participant.

電子デバイスについて説明する。電子デバイスは、カメラと、表示装置と、１つ以上の入力デバイスと、表示装置を介して、少なくとも第１の参加者を含むメッセージ会話の、カメラアフォーダンスを含むメッセージングユーザインタフェースを表示する手段と、１つ以上の入力デバイスを介して、カメラアフォーダンスに向けられた第１の入力を検出する手段と、第１の入力を検出したことに応じて、キャプチャアフォーダンスを含むカメラユーザインタフェースを表示する手段と、１つ以上の入力デバイスを介して、キャプチャアフォーダンスに向けられた第２の入力を検出する手段と、第２の入力を検出したことに応じて、カメラを使用して画像データをキャプチャし、キャプチャアフォーダンスの表示を停止し、キャプチャアフォーダンスによって以前に占有されていたカメラユーザインタフェース内の位置に送信アフォーダンスを表示する手段と、１つ以上の入力デバイスを介して、送信アフォーダンスに向けられた第３の入力を検出する手段と、第３の入力を検出したことに応じて、キャプチャされた画像データを第１の参加者に送信する処理を開始する手段と、を含む。 An electronic device is described. The electronic device includes a camera, a display device, one or more input devices, and means for displaying, via the display device, a messaging user interface including a camera affordance for a message conversation including at least a first participant; means for detecting, via the one or more input devices, a first input directed at the camera affordance; means for displaying, in response to detecting the first input, a camera user interface including a capture affordance; means for detecting, via the one or more input devices, a second input directed at the capture affordance; means for capturing image data using the camera, ceasing display of the capture affordance, and displaying a send affordance in a location within the camera user interface previously occupied by the capture affordance, in response to detecting the second input; means for detecting, via the one or more input devices, a third input directed at the send affordance; and means for initiating, in response to detecting the third input, a process of transmitting the captured image data to the first participant.

方法について説明する。方法は、カメラと表示装置とを有する電子デバイスにおいて実行される。方法は、表示装置を介してカメラユーザインタフェースを表示することであって、カメラユーザインタフェースは、カメラを介してキャプチャされた画像データの表現を含むカメラ表示領域と、第１のカメラ表示モードに関連付けられた第１のアフォーダンスと、を含む、ことと、被写体がカメラの視野内に位置し、かつ、被写体及び背景の表現がカメラ表示領域に表示される間に、第１のアフォーダンスに向けられたジェスチャを検出することと、第１のアフォーダンス向けられたジェスチャを検出したことに応じて、第１のカメラ表示モードをアクティブ化することであって、第１のカメラ表示モードをアクティブ化することは、複数のアバターオプションのうちの選択された１つを含むアバター選択領域を表示することと、選択されたアバターオプションの表現を、カメラ表示領域内の被写体の表現上に表示することと、を含む、ことと、第１のカメラ表示モードがアクティブである間に、被写体の姿勢の変化を検出することと、被写体の姿勢の変化を検出したことに応じて、背景の表示を維持しながら、被写体の姿勢の検出された変化に基づいて、選択されたアバターオプションの表示された表現の外観を変更することと、を含む。 A method is described. The method is performed on an electronic device having a camera and a display. The method includes: displaying a camera user interface via the display, the camera user interface including a camera viewing area including a representation of image data captured via the camera and a first affordance associated with a first camera viewing mode; detecting a gesture directed toward the first affordance while a subject is located within the field of view of the camera and representations of the subject and a background are displayed in the camera viewing area; activating the first camera viewing mode in response to detecting the gesture directed toward the first affordance, where activating the first camera viewing mode includes displaying an avatar selection area including a selected one of a plurality of avatar options and displaying a representation of the selected avatar option over a representation of the subject in the camera viewing area; detecting a change in the subject's posture while the first camera viewing mode is active; and in response to detecting the change in the subject's posture, modifying an appearance of the displayed representation of the selected avatar option based on the detected change in the subject's posture while maintaining display of the background.

非一時的コンピュータ可読記憶媒体について説明する。非一時的コンピュータ読み可読記憶媒体は、カメラと表示装置とを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、表示装置を介して、カメラを介してキャプチャされた画像データの表現を含むカメラ表示領域と、第１のカメラ表示モードに関連付けられた第１のアフォーダンスと、を含む、カメラユーザインタフェースを表示し、被写体がカメラの視野内に位置し、かつ、被写体及び背景の表現がカメラ表示領域に表示される間に、第１のアフォーダンスに向けられたジェスチャを検出し、第１のアフォーダンス向けられたジェスチャを検出したことに応じて、第１のカメラ表示モードをアクティブ化し、第１のカメラ表示モードをアクティブ化することは、複数のアバターオプションのうちの選択された１つを含むアバター選択領域を表示することと、選択されたアバターオプションの表現を、カメラ表示領域内の被写体の表現上に表示することと、を含み、第１のカメラ表示モードがアクティブである間に、被写体の姿勢の変化を検出し、被写体の姿勢の変化を検出したことに応じて、背景の表示を維持しながら、被写体の姿勢の検出された変化に基づいて、選択されたアバターオプションの表示された表現の外観を変更する、命令を含む。 A non-transitory computer-readable storage medium is described. A non-transitory computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device including a camera and a display device, the one or more programs including instructions for: displaying, via the display device, a camera user interface including a camera viewing area including a representation of image data captured via the camera and a first affordance associated with a first camera viewing mode; detecting a gesture directed toward the first affordance while a subject is located within the field of view of the camera and representations of the subject and a background are displayed in the camera viewing area; activating the first camera viewing mode in response to detecting the gesture directed toward the first affordance; displaying an avatar selection area including a selected one of a plurality of avatar options and displaying a representation of the selected avatar option over a representation of the subject in the camera viewing area; detecting a change in the subject's posture while the first camera viewing mode is active; and, in response to detecting the change in the subject's posture, modifying an appearance of the displayed representation of the selected avatar option based on the detected change in the subject's posture while maintaining display of the background.

一時的コンピュータ可読記憶媒体について説明する。一時的コンピュータ読み可読記憶媒体は、カメラと表示装置とを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、表示装置を介して、カメラを介してキャプチャされた画像データの表現を含むカメラ表示領域と、第１のカメラ表示モードに関連付けられた第１のアフォーダンスと、を含む、カメラユーザインタフェースを表示し、被写体がカメラの視野内に位置し、かつ、被写体及び背景の表現がカメラ表示領域に表示される間に、第１のアフォーダンスに向けられたジェスチャを検出し、第１のアフォーダンス向けられたジェスチャを検出したことに応じて、第１のカメラ表示モードをアクティブ化し、第１のカメラ表示モードをアクティブ化することは、複数のアバターオプションのうちの選択された１つを含むアバター選択領域を表示することと、選択されたアバターオプションの表現を、カメラ表示領域内の被写体の表現上に表示することと、を含み、第１のカメラ表示モードがアクティブである間に、被写体の姿勢の変化を検出し、被写体の姿勢の変化を検出したことに応じて、背景の表示を維持しながら、被写体の姿勢の検出された変化に基づいて、選択されたアバターオプションの表示された表現の外観を変更する、命令を含む。 A temporary computer-readable storage medium is described. A temporary computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device having a camera and a display device, the one or more programs including instructions for: displaying, via the display device, a camera user interface including a camera viewing area including a representation of image data captured via the camera and a first affordance associated with a first camera viewing mode; detecting a gesture directed toward the first affordance while a subject is located within the camera's field of view and representations of the subject and a background are displayed in the camera viewing area; activating the first camera viewing mode in response to detecting the gesture directed toward the first affordance; displaying an avatar selection area including a selected one of a plurality of avatar options and displaying a representation of the selected avatar option over a representation of the subject in the camera viewing area; detecting a change in the subject's posture while the first camera viewing mode is active; and, in response to detecting the change in the subject's posture, modifying an appearance of the displayed representation of the selected avatar option based on the detected change in the subject's posture while maintaining display of the background.

電子デバイスについて説明する。電子デバイスは、カメラと、表示装置と、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を含み、１つ以上のプログラムは、表示装置を介して、カメラを介してキャプチャされた画像データの表現を含むカメラ表示領域と、第１のカメラ表示モードに関連付けられた第１のアフォーダンスと、を含む、カメラユーザインタフェースを表示し、被写体がカメラの視野内に位置し、かつ、被写体及び背景の表現がカメラ表示領域に表示される間に、第１のアフォーダンスに向けられたジェスチャを検出し、第１のアフォーダンス向けられたジェスチャを検出したことに応じて、第１のカメラ表示モードをアクティブ化し、第１のカメラ表示モードをアクティブ化することは、複数のアバターオプションのうちの選択された１つを含むアバター選択領域を表示することと、選択されたアバターオプションの表現を、カメラ表示領域内の被写体の表現上に表示することと、を含み、第１のカメラ表示モードがアクティブである間に、被写体の姿勢の変化を検出し、被写体の姿勢の変化を検出したことに応じて、背景の表示を維持しながら、被写体の姿勢の検出された変化に基づいて、選択されたアバターオプションの表示された表現の外観を変更する、命令を含む。 Explain electronic devices. The electronic device includes a camera, a display device, one or more processors, and memory storing one or more programs configured to be executed by the one or more processors. The one or more programs include instructions for displaying, via the display device, a camera user interface including a camera viewing area including a representation of image data captured via the camera and a first affordance associated with a first camera viewing mode; detecting a gesture directed toward the first affordance while a subject is located within the camera's field of view and representations of the subject and a background are displayed in the camera viewing area; activating the first camera viewing mode in response to detecting the gesture directed toward the first affordance; displaying an avatar selection area including a selected one of a plurality of avatar options and displaying a representation of the selected avatar option over a representation of the subject in the camera viewing area; and detecting a change in the subject's posture while the first camera viewing mode is active; and, in response to detecting the change in the subject's posture, modifying an appearance of the displayed representation of the selected avatar option based on the detected change in the subject's posture while maintaining display of the background.

電子デバイスについて説明する。電子デバイスは、カメラと、表示装置と、１つ以上の入力デバイスと、表示装置を介してカメラユーザインタフェースを表示する手段であって、カメラユーザインタフェースは、カメラを介してキャプチャされた画像データの表現を含むカメラ表示領域と、第１のカメラ表示モードに関連付けられた第１のアフォーダンスと、を含む、手段と、被写体がカメラの視野内に位置し、かつ、被写体及び背景の表現がカメラ表示領域に表示される間に、第１のアフォーダンスに向けられたジェスチャを検出する手段と、第１のアフォーダンス向けられたジェスチャを検出したことに応じて、第１のカメラ表示モードをアクティブ化する手段であって、第１のカメラ表示モードをアクティブ化することは、複数のアバターオプションのうちの選択された１つを含むアバター選択領域を表示することと、選択されたアバターオプションの表現を、カメラ表示領域内の被写体の表現上に表示することと、を含む、手段と、第１のカメラ表示モードがアクティブである間に、被写体の姿勢の変化を検出する手段と、被写体の姿勢の変化を検出したことに応じて、背景の表示を維持しながら、被写体の姿勢の検出された変化に基づいて、選択されたアバターオプションの表示された表現の外観を変更する手段と、を含む。 An electronic device is described. The electronic device includes: a camera; a display; one or more input devices; and means for displaying a camera user interface via the display, the camera user interface including a camera viewing area including a representation of image data captured via the camera and a first affordance associated with a first camera viewing mode. Also included are means for detecting a gesture directed toward the first affordance while a subject is located within the camera's field of view and representations of the subject and a background are displayed in the camera viewing area. In response to detecting the gesture directed toward the first affordance, activating the first camera viewing mode includes displaying an avatar selection area including a selected one of a plurality of avatar options and displaying a representation of the selected avatar option over a representation of the subject in the camera viewing area. Also included are means for detecting a change in the subject's posture while the first camera viewing mode is active. In response to detecting the change in the subject's posture, means for modifying the appearance of the displayed representation of the selected avatar option based on the detected change in the subject's posture while maintaining the display of the background.

方法について説明する。方法は、表示装置を有する電子デバイスにおいて実行される。方法は、表示装置を介して、メディアアイテムの表現を含むメディア表示領域と、エフェクトアフォーダンスとを含む、メディアユーザインタフェースを表示することと、エフェクトアフォーダンスに向けられたジェスチャを検出することと、エフェクトアフォーダンス向けられたジェスチャを検出したことに応じて、メディアアイテムの表現と同時に、メディアアイテムにエフェクトを適用するための複数のエフェクトオプションを表示することと、を、を含み、メディアアイテムが対応する深度データに関連付けられているとの判定に従って、複数のエフェクトオプションが、深度データに基づいてエフェクトを適用するためのそれぞれのエフェクトオプションを含み、画像データが深度データを含まないとの判定に従って、それぞれのエフェクトオプションが、複数のエフェクトオプションにおいてアクティブ化に利用できない、ことを含む。 A method is described. The method is performed on an electronic device having a display device. The method includes: displaying, via the display device, a media user interface including a media display area including a representation of a media item and an effect affordance; detecting a gesture directed at the effect affordance; and, in response to detecting the gesture directed at the effect affordance, displaying, concurrently with the representation of the media item, a plurality of effect options for applying an effect to the media item; wherein, in accordance with a determination that the media item is associated with corresponding depth data, the plurality of effect options includes respective effect options for applying an effect based on the depth data; and, in accordance with a determination that the image data does not include depth data, respective effect options are unavailable for activation in the plurality of effect options.

非一時的コンピュータ可読記憶媒体について説明する。非一時的コンピュータ読み可読記憶媒体は、表示装置を備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、表示装置を介して、メディアアイテムの表現を含むメディア表示領域と、エフェクトアフォーダンスとを含む、メディアユーザインタフェースを表示し、エフェクトアフォーダンスに向けられたジェスチャを検出し、エフェクトアフォーダンス向けられたジェスチャを検出したことに応じて、メディアアイテムの表現と同時に、メディアアイテムにエフェクトを適用するための複数のエフェクトオプションを表示する命令を含み、メディアアイテムが対応する深度データに関連付けられているとの判定に従って、複数のエフェクトオプションが、深度データに基づいてエフェクトを適用するためのそれぞれのエフェクトオプションを含み、画像データが深度データを含まないとの判定に従って、それぞれのエフェクトオプションが、複数のエフェクトオプションにおいてアクティブ化に利用できない、ことを含む。 A non-transitory computer-readable storage medium is described. The non-transitory computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device having a display device, the one or more programs including instructions for displaying, via the display device, a media user interface including a media display area including a representation of a media item and an effect affordance; detecting a gesture directed at the effect affordance; and, in response to detecting the gesture directed at the effect affordance, displaying, concurrently with the representation of the media item, a plurality of effect options for applying an effect to the media item; pursuant to a determination that the media item is associated with corresponding depth data, the plurality of effect options including respective effect options for applying an effect based on the depth data; and pursuant to a determination that the image data does not include depth data, the respective effect options being unavailable for activation in the plurality of effect options.

一時的コンピュータ可読記憶媒体について説明する。一時的コンピュータ可読記憶媒体は、表示装置を備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、表示装置を介して、メディアアイテムの表現を含むメディア表示領域と、エフェクトアフォーダンスとを含む、メディアユーザインタフェースを表示し、エフェクトアフォーダンスに向けられたジェスチャを検出し、エフェクトアフォーダンス向けられたジェスチャを検出したことに応じて、メディアアイテムの表現と同時に、メディアアイテムにエフェクトを適用するための複数のエフェクトオプションを表示する命令を含み、メディアアイテムが対応する深度データに関連付けられているとの判定に従って、複数のエフェクトオプションが、深度データに基づいてエフェクトを適用するためのそれぞれのエフェクトオプションを含み、画像データが深度データを含まないとの判定に従って、それぞれのエフェクトオプションが、複数のエフェクトオプションにおいてアクティブ化に利用できない、ことを含む。 A temporary computer-readable storage medium is described. The temporary computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device having a display device, the one or more programs including instructions for displaying, via the display device, a media user interface including a media display area including a representation of a media item and an effect affordance; detecting a gesture directed at the effect affordance; and, in response to detecting the gesture directed at the effect affordance, displaying, concurrently with the representation of the media item, a plurality of effect options for applying an effect to the media item; pursuant to a determination that the media item is associated with corresponding depth data, the plurality of effect options including respective effect options for applying an effect based on the depth data; and pursuant to a determination that the image data does not include depth data, respective effect options being unavailable for activation in the plurality of effect options.

電子デバイスについて説明する。電子デバイスは、表示装置と、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を含み、１つ以上のプログラムは、表示装置を介して、メディアアイテムの表現を含むメディア表示領域と、エフェクトアフォーダンスとを含む、メディアユーザインタフェースを表示し、エフェクトアフォーダンスに向けられたジェスチャを検出し、エフェクトアフォーダンス向けられたジェスチャを検出したことに応じて、メディアアイテムの表現と同時に、メディアアイテムにエフェクトを適用するための複数のエフェクトオプションを表示する命令を含み、メディアアイテムが対応する深度データに関連付けられているとの判定に従って、複数のエフェクトオプションが、深度データに基づいてエフェクトを適用するためのそれぞれのエフェクトオプションを含み、画像データが深度データを含まないとの判定に従って、それぞれのエフェクトオプションが、複数のエフェクトオプションにおいてアクティブ化に利用できない、ことを含む。 An electronic device is described. The electronic device includes a display device, one or more processors, and a memory storing one or more programs configured to be executed by the one or more processors. The one or more programs include instructions for displaying, via the display device, a media user interface including a media display area including a representation of a media item and an effect affordance; detecting a gesture directed at the effect affordance; and, in response to detecting the gesture directed at the effect affordance, displaying a plurality of effect options for applying an effect to the media item concurrently with the representation of the media item. In accordance with a determination that the media item is associated with corresponding depth data, the plurality of effect options include respective effect options for applying an effect based on the depth data. In accordance with a determination that the image data does not include depth data, the respective effect options are unavailable for activation in the plurality of effect options.

電子デバイスについて説明する。電子デバイスは、表示装置と、１つ以上の入力デバイスと、表示装置を介して、メディアアイテムの表現を含むメディア表示領域と、エフェクトアフォーダンスとを含む、メディアユーザインタフェースを表示する手段と、エフェクトアフォーダンスに向けられたジェスチャを検出する手段と、エフェクトアフォーダンス向けられたジェスチャを検出したことに応じて、メディアアイテムの表現と同時に、メディアアイテムにエフェクトを適用するための複数のエフェクトオプションを表示する手段と、を含み、メディアアイテムが対応する深度データに関連付けられているとの判定に従って、複数のエフェクトオプションが、深度データに基づいてエフェクトを適用するためのそれぞれのエフェクトオプションを含み、画像データが深度データを含まないとの判定に従って、それぞれのエフェクトオプションが、複数のエフェクトオプションにおいてアクティブ化に利用できない、ことを含む。 An electronic device is described. The electronic device includes: a display device; one or more input devices; means for displaying, via the display device, a media user interface including a media display area including a representation of a media item and an effect affordance; means for detecting a gesture directed at the effect affordance; and means for displaying, in response to detecting the gesture directed at the effect affordance, a plurality of effect options for applying an effect to the media item concurrently with the representation of the media item, wherein, in accordance with a determination that the media item is associated with corresponding depth data, the plurality of effect options include respective effect options for applying an effect based on the depth data; and, in accordance with a determination that the image data does not include depth data, respective effect options are unavailable for activation in the plurality of effect options.

方法について説明する。方法は、表示装置を有する電子デバイスにおいて実行される。方法は、表示装置を介して、ライブビデオ通信アプリケーションのライブビデオ通信ユーザインタフェースを表示することであって、ライブビデオ通信ユーザインタフェースが、ライブビデオ通信セッションに参加する被写体の表現と、第１のアフォーダンスとを含む、ことと、第１のアフォーダンスに向けられたジェスチャを検出することと、第１のアフォーダンスに向けられたジェスチャを検出したことに応じて、カメラエフェクトモードをアクティブ化し、ライブビデオ通信セッションに参加する被写体の表現のサイズを増大させることと、を含む。 A method is described. The method is executed on an electronic device having a display device. The method includes: displaying, via the display device, a live video communication user interface of a live video communication application, the live video communication user interface including a representation of a subject participating in the live video communication session and a first affordance; detecting a gesture directed toward the first affordance; and, in response to detecting the gesture directed toward the first affordance, activating a camera effects mode to increase the size of the representation of the subject participating in the live video communication session.

非一時的コンピュータ可読記憶媒体について説明する。非一時的コンピュータ可読記憶媒体は、表示装置を備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、ライブビデオ通信アプリケーションの、ライブビデオ通信セッションに参加する被写体の表現と、第１のアフォーダンスとを含むライブビデオ通信ユーザインタフェースを、表示装置を介して表示し、第１のアフォーダンスに向けられたジェスチャを検出し、第１のアフォーダンスに向けられたジェスチャを検出したことに応じて、カメラエフェクトモードをアクティブ化し、ライブビデオ通信セッションに参加する被写体の表現のサイズを増大させる、命令を含む。 A non-transitory computer-readable storage medium is described. The non-transitory computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device including a display device, the one or more programs including instructions for displaying, via the display device, a live video communication user interface of a live video communication application, the live video communication user interface including a representation of a subject participating in the live video communication session and a first affordance; detecting a gesture directed toward the first affordance; and, in response to detecting the gesture directed toward the first affordance, activating a camera effects mode and increasing the size of the representation of the subject participating in the live video communication session.

一時的コンピュータ可読記憶媒体について説明する。一時的コンピュータ読み可読記憶媒体は、表示装置を備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、ライブビデオ通信アプリケーションの、ライブビデオ通信セッションに参加する被写体の表現と、第１のアフォーダンスとを含むライブビデオ通信ユーザインタフェースを、表示装置を介して表示し、第１のアフォーダンスに向けられたジェスチャを検出し、第１のアフォーダンスに向けられたジェスチャを検出したことに応じて、カメラエフェクトモードをアクティブ化し、ライブビデオ通信セッションに参加する被写体の表現のサイズを増大させる、命令を含む。 A temporary computer-readable storage medium is described. The temporary computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device including a display device, the one or more programs including instructions for displaying, via the display device, a live video communication user interface of a live video communication application, the live video communication user interface including a representation of a subject participating in the live video communication session and a first affordance; detecting a gesture directed toward the first affordance; and, in response to detecting the gesture directed toward the first affordance, activating a camera effects mode and increasing the size of the representation of the subject participating in the live video communication session.

電子デバイスについて説明する。電子デバイスは、表示装置と、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を含み、１つ以上のプログラムは、ライブビデオ通信アプリケーションの、ライブビデオ通信セッションに参加する被写体の表現と、第１のアフォーダンスとを含む、ライブビデオ通信ユーザインタフェースを、表示装置を介して表示し、第１のアフォーダンスに向けられたジェスチャを検出するし、第１のアフォーダンスに向けられたジェスチャを検出したことに応じて、カメラエフェクトモードをアクティブ化し、ライブビデオ通信セッションに参加する被写体の表現のサイズを増大させる、命令を含む。 An electronic device is described. The electronic device includes a display device, one or more processors, and a memory storing one or more programs configured to be executed by the one or more processors, the one or more programs including instructions for displaying, via the display device, a live video communication user interface of a live video communication application, the live video communication user interface including a representation of a subject participating in the live video communication session and a first affordance; detecting a gesture directed toward the first affordance; and, in response to detecting the gesture directed toward the first affordance, activating a camera effects mode and increasing the size of the representation of the subject participating in the live video communication session.

電子デバイスについて説明する。電子デバイスは、表示装置と、１つ以上の入力デバイスと、表示装置を介して、ライブビデオ通信アプリケーションのライブビデオ通信ユーザインタフェースを表示する手段であって、ライブビデオ通信ユーザインタフェースが、ライブビデオ通信セッションに参加する被写体の表現と、第１のアフォーダンスとを含む、手段と、第１のアフォーダンスに向けられたジェスチャを検出する手段と、第１のアフォーダンスに向けられたジェスチャを検出したことに応じて、カメラエフェクトモードをアクティブ化し、ライブビデオ通信セッションに参加する被写体の表現のサイズを増大させる、手段と、を含む。 An electronic device is described. The electronic device includes: a display device; one or more input devices; means for displaying, via the display device, a live video communication user interface of a live video communication application, the live video communication user interface including a representation of a subject participating in the live video communication session and a first affordance; means for detecting a gesture directed toward the first affordance; and means for activating a camera effects mode and increasing the size of the representation of the subject participating in the live video communication session in response to detecting the gesture directed toward the first affordance.

方法について説明する。方法は、カメラと表示装置とを有する電子デバイスにおいて実行される。方法は、表示装置を介して、１つ以上のカメラを介してキャプチャされた画像データの表現を表示することであって、表現が被写体の表現を含み、かつ、画像データが被写体の深度データを含む深度データに対応する、ことと、表示装置を介して、被写体の表現の少なくとも一部の代わりに表示される仮想アバターの表現を表示することとであって、仮想アバターは、被写体の深度データに基づいて決定される、被写体の表現に対してシミュレーションされた深度に配置される、ことと、を含み、仮想アバターの表現を表示することは、深度データに基づいて、仮想アバターの第１の部分が、深度ベース表示基準であって、仮想アバターの第１の部分が被写体の対応する第１の部分の前にあるシミュレーションされた深度を有することを、被写体の深度データが示すという要求を含む、深度ベース表示基準のセットを満たすとの判定に従って、深度ベース表示基準が満たされるように、仮想アバターの表現の一部として、被写体の第１の部分の代わりに表示される仮想アバターの第１の部分の表現を含めることと、深度データに基づいて、仮想アバターの第１の部分が、被写体の第１の部分に対する深度ベース表示基準のセットを満たさないとの判定に従って、仮想アバターの表現から、仮想アバターの第１の部分の表現を除外し、仮想アバターの第１の部分によって占有されていたであろう領域に、被写体の第１の部分を表示することと、を含む。 A method is described. The method is performed in an electronic device having a camera and a display device. The method includes: displaying, via the display device, a representation of image data captured via one or more cameras, the representation including a representation of a subject, and the image data corresponding to depth data including depth data of the subject; and displaying, via the display device, a representation of a virtual avatar displayed in place of at least a portion of the representation of the subject, the virtual avatar being positioned at a simulated depth relative to the representation of the subject, the simulated depth being determined based on the depth data of the subject. Displaying the representation of the virtual avatar includes, based on the depth data, determining whether a first portion of the virtual avatar is positioned at a simulated depth relative to a corresponding first portion of the subject. pursuant to a determination that the depth data of the subject satisfies a set of depth-based display criteria, including a requirement that the depth data of the subject indicate that the subject has a simulated depth that is in front of the first portion of the virtual avatar, including a representation of the first portion of the virtual avatar displayed in place of the first portion of the subject, such that the depth-based display criteria are satisfied; and pursuant to a determination, based on the depth data, that the first portion of the virtual avatar does not satisfy the set of depth-based display criteria for the first portion of the subject, excluding the representation of the first portion of the virtual avatar from the representation of the virtual avatar and displaying the first portion of the subject in an area that would have been occupied by the first portion of the virtual avatar.

非一時的コンピュータ可読記憶媒体について説明する。非一時的コンピュータ読み可読記憶媒体は、カメラと表示装置とを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、表示装置を介して、１つ以上のカメラを介してキャプチャされた画像データの表現を表示し、表現が被写体の表現を含み、かつ、画像データが被写体の深度データを含む深度データに対応し、表示装置を介して、被写体の表現の少なくとも一部の代わりに表示される仮想アバターの表現を表示する命令を含み、仮想アバターは、被写体の深度データに基づいて決定された被写体の表現に対してシミュレーションされた深度に配置され、仮想アバターの表現を表示することは、深度データに基づいて、仮想アバターの第１の部分が、深度ベース表示基準であって、仮想アバターの第１の部分が被写体の対応する第１の部分の前にあるシミュレーションされた深度を有することを、被写体の深度データが示すという要求を含む、深度ベース表示基準のセットを満たすとの判定に従って、深度ベース表示基準が満たされるように、仮想アバターの表現の一部として、被写体の第１の部分の代わりに表示される仮想アバターの第１の部分の表現を含めることと、深度データに基づいて、仮想アバターの第１の部分が、被写体の第１の部分に対する深度ベース表示基準のセットを満たさないとの判定に従って、仮想アバターの表現から、仮想アバターの第１の部分の表現を除外し、仮想アバターの第１の部分によって占有されていたであろう領域に、被写体の第１の部分を表示することと、を含む。 A non-transitory computer-readable storage medium is described. The non-transitory computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device having a camera and a display device, the one or more programs including instructions for displaying, via the display device, a representation of image data captured via the one or more cameras, the representation including a representation of a subject, and the image data corresponding to depth data including depth data of the subject, and displaying, via the display device, a representation of a virtual avatar displayed in place of at least a portion of the representation of the subject, the virtual avatar being positioned at a simulated depth relative to the representation of the subject determined based on the depth data of the subject, and displaying the representation of the virtual avatar includes, based on the depth data, displaying a first portion of the virtual avatar at a depth-based pursuant to a determination that the depth data of the subject satisfies a set of depth-based display criteria, including a requirement that the depth data of the subject indicate that the first portion of the virtual avatar has a simulated depth that is in front of the corresponding first portion of the subject, including a representation of the first portion of the virtual avatar displayed in place of the first portion of the subject such that the depth-based display criteria are satisfied; and pursuant to a determination, based on the depth data, that the first portion of the virtual avatar does not satisfy the set of depth-based display criteria for the first portion of the subject, excluding the representation of the first portion of the virtual avatar from the representation of the virtual avatar and displaying the first portion of the subject in an area that would have been occupied by the first portion of the virtual avatar.

一時的コンピュータ可読記憶媒体について説明する。一時的コンピュータ可読記憶媒体は、カメラと表示装置とを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、表示装置を介して、１つ以上のカメラを介してキャプチャされた画像データの表現を表示し、表現が被写体の表現を含み、かつ、画像データが被写体の深度データを含む深度データに対応し、表示装置を介して、被写体の表現の少なくとも一部の代わりに表示される仮想アバターの表現を表示する命令を含み、仮想アバターは、被写体の深度データに基づいて決定された被写体の表現に対してシミュレーションされた深度に配置され、仮想アバターの表現を表示することは、深度データに基づいて、仮想アバターの第１の部分が、深度ベース表示基準であって、仮想アバターの第１の部分が被写体の対応する第１の部分の前にあるシミュレーションされた深度を有することを、被写体の深度データが示すという要求を含む、深度ベース表示基準のセットを満たすとの判定に従って、深度ベース表示基準が満たされるように、仮想アバターの表現の一部として、被写体の第１の部分の代わりに表示される仮想アバターの第１の部分の表現を含めることと、深度データに基づいて、仮想アバターの第１の部分が、被写体の第１の部分に対する深度ベース表示基準のセットを満たさないとの判定に従って、仮想アバターの表現から、仮想アバターの第１の部分の表現を除外し、仮想アバターの第１の部分によって占有されていたであろう領域に、被写体の第１の部分を表示することと、を含む。 A temporary computer-readable storage medium is described. The temporary computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device having a camera and a display device, the one or more programs including instructions for displaying, via the display device, a representation of image data captured via the one or more cameras, the representation including a representation of a subject, and the image data corresponding to depth data including depth data of the subject, and displaying, via the display device, a representation of a virtual avatar displayed in place of at least a portion of the representation of the subject, the virtual avatar being positioned at a simulated depth relative to the representation of the subject determined based on the depth data of the subject, and displaying the representation of the virtual avatar includes displaying, based on the depth data, a first portion of the virtual avatar at a simulated depth relative to the representation of the subject, the first portion of the virtual avatar being positioned at a simulated depth relative to the representation of the subject determined based on the depth data. In accordance with a determination that the depth data of the subject satisfies a set of depth-based display criteria, including a requirement that the depth data of the subject indicate that the first portion of the virtual avatar has a simulated depth that is in front of the corresponding first portion of the subject, including a representation of the first portion of the virtual avatar displayed in place of the first portion of the subject such that the depth-based display criteria are satisfied; and in accordance with a determination based on the depth data that the first portion of the virtual avatar does not satisfy the set of depth-based display criteria for the first portion of the subject, excluding the representation of the first portion of the virtual avatar from the representation of the virtual avatar and displaying the first portion of the subject in an area that would have been occupied by the first portion of the virtual avatar.

電子デバイスについて説明する。電子デバイスは、カメラと、表示装置と、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を含み、１つ以上のプログラムは、表示装置を介して、１つ以上のカメラを介してキャプチャされた画像データの表現を、表示し、表現が被写体の表現を含み、かつ、画像データが被写体の深度データを含む深度データに対応し、表示装置を介して、被写体の表現の少なくとも一部の代わりに表示される仮想アバターの表現を表示する命令を含み、仮想アバターは、被写体の深度データに基づいて決定された被写体の表現に対してシミュレーションされた深度に配置され、仮想アバターの表現を表示することは、深度データに基づいて、仮想アバターの第１の部分が、深度ベース表示基準であって、仮想アバターの第１の部分が被写体の対応する第１の部分の前にあるシミュレーションされた深度を有することを、被写体の深度データが示すという要求を含む、深度ベース表示基準のセットを満たすとの判定に従って、深度ベース表示基準が満たされるように、仮想アバターの表現の一部として、被写体の第１の部分の代わりに表示される仮想アバターの第１の部分の表現を含めることと、深度データに基づいて、仮想アバターの第１の部分が、被写体の第１の部分に対する深度ベース表示基準のセットを満たさないとの判定に従って、仮想アバターの表現から、仮想アバターの第１の部分の表現を除外し、と、仮想アバターの第１の部分によって占有されていたであろう領域に、被写体の第１の部分を表示することと、を含む。 An electronic device is described. The electronic device includes a camera, a display device, one or more processors, and a memory storing one or more programs configured to be executed by the one or more processors. The one or more programs include instructions for displaying, via the display device, a representation of image data captured via the one or more cameras, the representation including a representation of a subject, and the image data corresponding to depth data including depth data of the subject, and displaying, via the display device, a representation of a virtual avatar displayed in place of at least a portion of the representation of the subject, the virtual avatar being positioned at a simulated depth relative to the representation of the subject determined based on the depth data of the subject, and displaying the representation of the virtual avatar includes displaying, based on the depth data, a first portion of the virtual avatar at a simulated depth relative to the representation of the subject. In accordance with a determination that the depth data of the subject satisfies a set of depth-based display criteria, including a requirement that the depth data of the subject indicate that the first portion of the virtual avatar has a simulated depth that is in front of the corresponding first portion of the subject, including a representation of the first portion of the virtual avatar displayed in place of the first portion of the subject such that the depth-based display criteria are satisfied; in accordance with a determination based on the depth data that the first portion of the virtual avatar does not satisfy the set of depth-based display criteria for the first portion of the subject, excluding the representation of the first portion of the virtual avatar from the representation of the virtual avatar; and displaying the first portion of the subject in an area that would have been occupied by the first portion of the virtual avatar.

電子デバイスについて説明する。電子デバイスは、カメラと、表示装置と、表示装置を介して、１つ以上のカメラを介してキャプチャされた画像データの表現を表示する手段であって、表現が被写体の表現を含み、かつ、画像データが被写体の深度データを含む深度データに対応する、手段と、表示装置を介して、被写体の表現の少なくとも一部の代わりに表示される仮想アバターの表現を表示する手段であって、仮想アバターは、被写体の深度データに基づいて決定された被写体の表現に対してシミュレーションされた深度に配置される、手段と、を含み、仮想アバターの表現を表示することは、深度データに基づいて、仮想アバターの第１の部分が、深度ベース表示基準であって、仮想アバターの第１の部分が被写体の対応する第１の部分の前にあるシミュレーションされた深度を有することを、被写体の深度データが示すという要求を含む、深度ベース表示基準のセットを満たすとの判定に従って、深度ベース表示基準が満たされるように、仮想アバターの表現の一部として、被写体の第１の部分の代わりに表示される仮想アバターの第１の部分の表現を含めることと、深度データに基づいて、仮想アバターの第１の部分が、被写体の第１の部分に対する深度ベース表示基準のセットを満たさないとの判定に従って、仮想アバターの表現から、仮想アバターの第１の部分の表現を除外し、仮想アバターの第１の部分によって占有されていたであろう領域に、被写体の第１の部分を表示することと、を含む。 An electronic device is described. The electronic device includes a camera; a display device; means for displaying, via the display device, a representation of image data captured via one or more cameras, the representation including a representation of a subject, and the image data corresponding to depth data including depth data of the subject; and means for displaying, via the display device, a representation of a virtual avatar displayed in place of at least a portion of the representation of the subject, the virtual avatar being positioned at a simulated depth relative to the representation of the subject determined based on the depth data of the subject. The displaying of the virtual avatar representation includes displaying, based on the depth data, a first portion of the virtual avatar according to a depth-based display standard, such that the first portion of the virtual avatar is positioned at a simulated depth relative to the representation of the subject. pursuant to a determination that the depth data of the subject satisfies a set of depth-based display criteria, including a requirement that the depth data of the subject indicate that the subject has a simulated depth that is in front of the corresponding first portion, including a representation of the first portion of the virtual avatar displayed in place of the first portion of the subject such that the depth-based display criteria are satisfied; and pursuant to a determination, based on the depth data, that the first portion of the virtual avatar does not satisfy the set of depth-based display criteria for the first portion of the subject, excluding the representation of the first portion of the virtual avatar from the representation of the virtual avatar and displaying the first portion of the subject in an area that would have been occupied by the first portion of the virtual avatar.

これらの機能を実行するための実行可能命令は、任意選択的に、非一時的コンピュータ可読記憶媒体、又は１つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。これらの機能を実行するための実行可能命令は、任意選択的に、一時的コンピュータ可読記憶媒体、又は１つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。 Executable instructions for performing these functions are optionally included in a non-transitory computer-readable storage medium or other computer program product configured to be executed by one or more processors. Executable instructions for performing these functions are optionally included in a transitory computer-readable storage medium or other computer program product configured to be executed by one or more processors.

このため、ビジュアルエフェクトを表示するための、より速く、より効率的な方法及びインタフェースがデバイスに提供され、それによって、そのようなデバイスの有効性、効率、及びユーザ満足度が増す。そのような方法及びインタフェースは、ビジュアルエフェクトを表示するための他の方法を補完又は置換できる。 This provides devices with faster, more efficient methods and interfaces for displaying visual effects, thereby increasing the effectiveness, efficiency, and user satisfaction of such devices. Such methods and interfaces can complement or replace other methods for displaying visual effects.

説明される様々な実施形態を良好に理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきである。ここで、類似の参照番号は、それらの図全体を通じて、対応する部分を指す。 For a better understanding of the various embodiments described, reference should be made to the following Detailed Description in conjunction with the following drawings, in which like reference numerals refer to corresponding parts throughout the drawings:

一部の実施形態に係る、タッチ感知ディスプレイを備えるポータブル多機能デバイスを示すブロック図である。1 is a block diagram illustrating a portable multifunction device with a touch-sensitive display in accordance with some embodiments.

一部の実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。FIG. 1 is a block diagram illustrating exemplary components for event processing according to some embodiments.

一部の実施形態に係る、タッチスクリーンを有するポータブル多機能デバイスを示す。1 illustrates a portable multifunction device with a touch screen according to some embodiments.

一部の実施形態に係る、ディスプレイ及びタッチ感知面を備える例示的な多機能デバイスのブロック図である。FIG. 1 is a block diagram of an exemplary multifunction device with a display and a touch-sensitive surface in accordance with some embodiments.

一部の実施形態に係る、ポータブル多機能デバイス上のアプリケーションのメニュー用の例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for a menu of applications on a portable multifunction device in accordance with some embodiments.

一部の実施形態に係る、ディスプレイから分離したタッチ感知面を備える多機能デバイスのための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for a multifunction device with a touch-sensitive surface separate from a display in accordance with some embodiments.

一部の実施形態に係る、パーソナル電子デバイスを示す図である。FIG. 1 illustrates a personal electronic device according to some embodiments.

一部の実施形態に係る、パーソナル電子デバイスを示すブロック図である。1 is a block diagram illustrating a personal electronic device according to some embodiments.

メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a messaging application.

メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための方法を示すフロー図である。図６Ａ～図６ＢＱのユーザインタフェースを使用して、図７Ａの処理を含む、以下で説明する処理を示す。6A-6BQ are flow diagrams illustrating methods for displaying visual effects in messaging applications.The user interfaces of FIGS. 6A-6BQ are used to illustrate the processes described below, including the process of FIG. メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための方法を示すフロー図である。図６Ａ～図６ＢＱのユーザインタフェースを使用して、図７Ｂの処理を含む、以下で説明する処理を示す。6A-6BQ are flow diagrams illustrating methods for displaying visual effects in messaging applications.The user interfaces of Figures 6A-6BQ are used to illustrate the processes described below, including the process of Figure 7B.

カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application.

カメラアプリケーションにおいてビジュアルエフェクトを表示するための方法を示すフロー図である。FIG. 1 is a flow diagram illustrating a method for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための方法を示すフロー図である。FIG. 1 is a flow diagram illustrating a method for displaying visual effects in a camera application.

メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。クトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。10A-10C illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode.

メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための方法を示すフロー図である。FIG. 1 is a flow diagram illustrating a method for displaying visual effects in a media item viewing mode. メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための方法を示すフロー図である。FIG. 1 is a flow diagram illustrating a method for displaying visual effects in a media item viewing mode.

ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。1 illustrates an exemplary user interface for displaying visual effects in a live video communication session.

ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための方法を示すフロー図である。FIG. 1 is a flow diagram illustrating a method for displaying visual effects in a live video communication session. ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための方法を示すフロー図である。FIG. 1 is a flow diagram illustrating a method for displaying visual effects in a live video communication session.

カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す図である。FIG. 1 illustrates an exemplary user interface for displaying visual effects in a camera application.

カメラアプリケーションにおいてビジュアルエフェクトを表示するための方法を示すフロー図である。FIG. 1 is a flow diagram illustrating a method for displaying visual effects in a camera application. カメラアプリケーションにおいてビジュアルエフェクトを表示するための方法を示すフロー図である。FIG. 1 is a flow diagram illustrating a method for displaying visual effects in a camera application.

以下の説明では、例示的な方法、パラメータなどが記載される。しかし、そのような説明の目的は、本開示の範囲を制限することではなく、例示的な実施形態の説明を提供することであることを理解されたい。 In the following description, example methods, parameters, and the like are described. However, it should be understood that the purpose of such description is not to limit the scope of the present disclosure, but rather to provide a description of example embodiments.

ビジュアルエフェクトを表示するための効率的な方法及びインタフェースを提供する電子デバイスが必要とされている。例えば、ビジュアルエフェクトを表示するためのプログラムがすでに存在するが、これらのプログラムは、ユーザが様々なアプリケーションにおいてビジュアルエフェクトを表示することができる、以下の技術に比べて非効率で使いにくい。かかる技術によって、アプリケーションにおいてビジュアルエフェクトを表示するユーザの認知負担を軽減し、それによって生産性を向上させることができる。更に、そのような技術は、通常であれば冗長なユーザ入力に対して浪費される、プロセッサ及びバッテリの電力を低減することができる。 There is a need for electronic devices that provide efficient methods and interfaces for displaying visual effects. For example, while programs for displaying visual effects already exist, these programs are inefficient and difficult to use compared to the following techniques that allow users to display visual effects in various applications. Such techniques could reduce the cognitive burden on users of displaying visual effects in applications, thereby increasing productivity. Furthermore, such techniques could reduce processor and battery power that would otherwise be wasted on redundant user input.

以下、図１Ａ～図１Ｂ、図２、図３、図４Ａ～図４Ｂ、及び図５Ａ～図５Ｂは、イベント通知を管理する技術を実行するための例示的なデバイスの説明を提供する。 Figures 1A-1B, 2, 3, 4A-4B, and 5A-5B below provide a description of an exemplary device for implementing the techniques for managing event notifications.

図６Ａ～図６ＢＱは、メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す。図７Ａ及び図７Ｂは、一部の実施形態に係る、メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための方法を示すフロー図である。図６Ａ～図６ＢＱのユーザインタフェースを使用して、図７Ａ及び図７Ｂの処理を含む、以下で説明する処理を示す。 Figures 6A-6BQ illustrate example user interfaces for displaying visual effects in a messaging application. Figures 7A and 7B are flow diagrams illustrating methods for displaying visual effects in a messaging application, according to some embodiments. The user interfaces of Figures 6A-6BQ are used to illustrate the processes described below, including the processes of Figures 7A and 7B.

図８Ａ～図８ＢＱは、カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す。図９Ａ及び図９Ｂは、一部の実施形態に係る、カメラアプリケーションにおいてビジュアルエフェクトを表示するための方法を示すフロー図である。図８Ａ～図８ＢＱのユーザインタフェースを使用して、図９Ａ及び図９Ｂの処理を含む、以下で説明する処理を示す。 Figures 8A-8BQ show example user interfaces for displaying visual effects in a camera application. Figures 9A and 9B are flow diagrams illustrating methods for displaying visual effects in a camera application, according to some embodiments. The user interfaces of Figures 8A-8BQ are used to illustrate the processes described below, including the processes of Figures 9A and 9B.

図１０Ａ～図１０ＡＬは、カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す。図１１Ａ及び図１１Ｂは、一部の実施形態に係る、メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための方法を示すフロー図である。図１０Ａ～図１０ＡＬのユーザインタフェースを使用して、図１１Ａ及び図１１Ｂのプロセスを含む、以下で説明する処理を示す。 FIGS. 10A-10AL illustrate exemplary user interfaces for displaying visual effects in a camera application. FIGS. 11A and 11B are flow diagrams illustrating methods for displaying visual effects in a media item viewing mode, according to some embodiments. The user interfaces of FIGS. 10A-10AL are used to illustrate the processes described below, including the processes of FIGS. 11A and 11B.

図１２Ａ～図１２ＡＰは、ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す。図１３Ａ及び図１３Ｂは、一部の実施形態に係る、ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための方法を示すフロー図である。図１２Ａ～図１２ＡＰのユーザインタフェースを使用して、図１３Ａ及び１３Ｂのプロセスを含む、以下で説明するプロセスを示す。 FIGS. 12A-12AP illustrate exemplary user interfaces for displaying visual effects in a live video communication session. FIGS. 13A and 13B are flow diagrams illustrating methods for displaying visual effects in a live video communication session, according to some embodiments. The user interfaces of FIGS. 12A-12AP are used to illustrate processes described below, including the processes of FIGS. 13A and 13B.

図１４Ａ～図１４Ｍは、カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す。図１５Ａ及び図１５Ｂは、一部の実施形態に係る、カメラアプリケーションにおいてビジュアルエフェクトを表示するための方法を示すフロー図である。図１４Ａ～図１４Ｍのユーザインタフェースを使用して、図１５Ａ及び図１５Ｂのプロセスを含む、以下で説明するプロセスを示す。 Figures 14A-14M show example user interfaces for displaying visual effects in a camera application. Figures 15A and 15B are flow diagrams illustrating methods for displaying visual effects in a camera application, according to some embodiments. The user interfaces of Figures 14A-14M are used to illustrate processes described below, including the processes of Figures 15A and 15B.

以下の説明では、さまざまな要素を説明するために「第１」、「第２」などの用語が使用されるが、これらの要素はこれらの用語によって限定されるべきではない。これらの用語は、１つの要素を別の要素と区別するためにのみ使用される。例えば、説明されている様々な実施形態の範囲から逸脱することなく、第１のタッチは第２のタッチと称することができ、同様に、第２のタッチは第１のタッチと称し得る。第１のタッチ及び第２のタッチは共にタッチであるが、同じタッチではない。 In the following description, terms such as "first" and "second" are used to describe various elements, but these elements should not be limited by these terms. These terms are used only to distinguish one element from another. For example, a first touch can be referred to as a second touch, and similarly, a second touch can be referred to as a first touch, without departing from the scope of the various embodiments being described. A first touch and a second touch are both touches, but are not the same touch.

本明細書で説明される様々な実施形態の説明で使用される用語は、特定の実施形態を説明することのみを目的とするものであって、限定することを意図するものではない。説明される様々な実施形態の説明及び添付の特許請求の範囲で使用されるように、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈がそうではないことを明確に示さない限り、複数形もまた含むことが意図される。本明細書で使用されるように、用語「ａｎｄ／ｏｒ（及び／又は）」は、関連する列挙された項目のうちの１つ以上の任意のすべての可能な組合せを指し、かつこれを含むことをもまた理解されたい。用語「ｉｎｃｌｕｄｅｓ（含む）、「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｅｓ（含む）」、及び／又は「ｃｏｍｐｒｉｓｉｎｇ（含む）」は、本明細書で使用されるとき、述べられた特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在又は追加を除外しないことが更に理解されるであろう。 The terminology used in the description of the various embodiments set forth herein is for the purpose of describing particular embodiments only and is not intended to be limiting. As used in the description of the various embodiments set forth herein and in the appended claims, the singular forms "a," "an," and "the" are intended to include the plural forms as well, unless the context clearly dictates otherwise. As used herein, the term "and/or" should also be understood to refer to and include any and all possible combinations of one or more of the associated listed items. It will be further understood that the terms "includes," "including," "comprises," and/or "comprising," when used herein, specify the presence of stated features, integers, steps, operations, elements, and/or components, but do not exclude the presence or addition of one or more other features, integers, steps, operations, elements, components, and/or groups thereof.

任意選択的に、用語「ｉｆ（～場合に）」は、文脈に応じて「ｗｈｅｎ（～時に）」、「ｕｐｏｎ（～すると）」、「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ（～という判定に応じて）」、又は「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ（～を検出したことに応じて）」を意味すると解釈される。同様に、語句「ｉｆ ｉｔ ｉｓ ｄｅｔｅｒｍｉｎｅｄ（～と判定される場合）」又は「ｉｆ（ａ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ）ｉｓ ｄｅｔｅｃｔｅｄ（（述べられる条件又はイベント）が検出される場合）」は、任意選択で、文脈に依存して「ｕｐｏｎ ｄｅｔｅｒｍｉｎｉｎｇ（～と判定すると）」、「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ（～と判定したことに応じて）」、「ｕｐｏｎ ｄｅｔｅｃｔｉｎｇ（ｔｈｅ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ）（（述べられる条件又はイベント）を検出すると）」、又は「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ（ｔｈｅ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ）（（述べられる条件又はイベント）を検出したことに応じて）」を意味するものと解釈される。 Optionally, the term "if" is interpreted to mean "when," "upon," "in response to determining," or "in response to detecting," depending on the context. Similarly, the phrases "if it is determined" or "if (a stated condition or event) is detected" are, optionally, interpreted to mean "upon determining," "in response to determining," "upon detecting (the stated condition or event)," or "in response to detecting (the stated condition or event)," depending on the context.

電子デバイス、そのようなデバイス用のユーザインタフェース、及びそのようなデバイスを使用するための関連するプロセスの実施形態を説明する。一部の実施形態では、デバイスは、ＰＤＡ機能及び／又は音楽プレーヤ機能などの他の機能も含む、モバイル電話機などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態には、Ｃａｌｉｆｏｒｎｉａ州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ Ｉｎｃ．のｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）及びｉＰａｄ（登録商標）デバイスが挙げられるが、これらに限定されない。タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を備えたラップトップ又はタブレットコンピュータなどの他のポータブル電子デバイスも、任意選択的に、使用される。一部の実施形態では、デバイスがポータブル通信デバイスではなく、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を備えたデスクトップコンピュータであることもまた理解されたい。 Described below are embodiments of electronic devices, user interfaces for such devices, and associated processes for using such devices. In some embodiments, the device is a portable communication device, such as a mobile telephone, that also includes other functions, such as PDA and/or music player functions. Exemplary embodiments of portable multifunction devices include, but are not limited to, the iPhone®, iPod Touch®, and iPad® devices from Apple Inc. of Cupertino, California. Other portable electronic devices, such as laptops or tablet computers with touch-sensitive surfaces (e.g., touchscreen displays and/or touchpads), are also optionally used. It should also be understood that in some embodiments, the device is not a portable communication device, but rather a desktop computer with a touch-sensitive surface (e.g., touchscreen displays and/or touchpads).

以下の議論では、ディスプレイ及びタッチ感知面を含む電子デバイスが説明される。しかしながら、電子デバイスが物理キーボード、マウス、及び／又はジョイスティックなどの、１つ以上の他の物理ユーザインタフェースデバイスを任意選択的に含むことを理解されたい。 In the following discussion, electronic devices are described that include a display and a touch-sensitive surface. However, it should be understood that the electronic device optionally includes one or more other physical user interface devices, such as a physical keyboard, a mouse, and/or a joystick.

このデバイスは、一般的に、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレーヤアプリケーション及び／又はデジタルビデオプレーヤアプリケーションのうちの１つ以上などの様々なアプリケーションをサポートする。 The device typically supports a variety of applications, such as one or more of a drawing application, a presentation application, a word processing application, a website creation application, a disc authoring application, a spreadsheet application, a gaming application, a telephone application, a video conferencing application, an email application, an instant messaging application, a training support application, a photo management application, a digital camera application, a digital video camera application, a web browsing application, a digital music player application, and/or a digital video player application.

本デバイス上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも１つの共通の物理ユーザインタフェースデバイスを、任意選択的に使用する。タッチ感知面の１つ以上の機能、並びにデバイス上に表示される対応する情報は、アプリケーションごとに、及び／又はそれぞれのアプリケーション内で、任意選択的に、調節及び／又は変更される。このように、デバイスの共通の（タッチ感知面などの）物理アーキテクチャは、ユーザにとって直観的かつ透過的なユーザインタフェースを備える様々なアプリケーションを、任意選択的にサポートする。 The various applications running on the device optionally use at least one common physical user interface device, such as a touch-sensitive surface. One or more features of the touch-sensitive surface and corresponding information displayed on the device are optionally adjusted and/or changed for each application and/or within each application. In this way, the common physical architecture (such as the touch-sensitive surface) of the device optionally supports various applications with user interfaces that are intuitive and transparent to the user.

ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注意を向ける。図１Ａは、一部の実施形態による、タッチ感知ディスプレイシステム１１２を備えるポータブル多機能デバイス１００を示すブロック図である。タッチ感知ディスプレイ１１２は、便宜上「タッチスクリーン」と呼ばれる場合があり、「タッチ感知ディスプレイシステム」として既知であるか又は呼ばれる場合もある。デバイス１００は、（１つ以上のコンピュータ可読記憶媒体を任意選択的に含む）メモリ１０２、メモリコントローラ１２２、１つ以上の処理ユニット（ＣＰＵ）１２０、周辺機器インタフェース１１８、ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、入出力（Ｉ／Ｏ）サブシステム１０６、他の入力制御デバイス１１６、及び外部ポート１２４を含む。デバイス１００は、１つ以上の光センサ１６４を任意選択的に含む。デバイス１００は、デバイス１００（例えば、デバイス１００のタッチ感知ディスプレイシステム１１２などのタッチ感知面）上の接触の強度を検出するための、１つ以上の接触強度センサ１６５を任意選択的に含む。デバイス１００は、デバイス１００上に触知出力を生成する（例えば、デバイス１００のタッチ感知ディスプレイシステム１１２又はデバイス３００のタッチパッド３５５などの、タッチ感知面上に触知出力を生成する）ための、１つ以上の触知出力生成器１６７を、任意選択的に含む。これらの構成要素は、１つ以上の通信バス又は信号ライン１０３を介して任意選択的に通信する。 Attention is now directed to embodiments of portable devices with touch-sensitive displays. FIG. 1A is a block diagram illustrating a portable multifunction device 100 with a touch-sensitive display system 112, according to some embodiments. Touch-sensitive display 112 may conveniently be referred to as a "touch screen" and may also be known or referred to as a "touch-sensitive display system." Device 100 includes memory 102 (optionally including one or more computer-readable storage media), a memory controller 122, one or more processing units (CPUs) 120, a peripherals interface 118, RF circuitry 108, audio circuitry 110, a speaker 111, a microphone 113, an input/output (I/O) subsystem 106, other input control devices 116, and an external port 124. Device 100 optionally includes one or more light sensors 164. Device 100 optionally includes one or more contact intensity sensors 165 for detecting the intensity of a contact on device 100 (e.g., a touch-sensitive surface such as touch-sensitive display system 112 of device 100). Device 100 optionally includes one or more tactile output generators 167 for generating a tactile output on device 100 (e.g., generating a tactile output on a touch-sensitive surface such as touch-sensitive display system 112 of device 100 or touchpad 355 of device 300). These components optionally communicate via one or more communication buses or signal lines 103.

本明細書及び特許請求の範囲で使用されるとき、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触（例えば、指接触）の力若しくは圧力（単位面積当りの力）、又はタッチ感知面上の接触の力若しくは圧力の代替物（代用物）を指す。接触の強度は、少なくとも４つの別個の値を含み、より典型的には、何百もの（例えば、少なくとも２５６個の）別個の値を含む値範囲を有する。接触の強度は、任意選択的に、様々な手法、及び様々なセンサ又はセンサの組合せを使用して判定（又は、測定）される。例えば、タッチ感知面の下に又はこれに隣接する１つ以上の力センサは、任意選択的に、タッチ感知面上の様々な点における力を測定するために使用される。一部の実装形態では、複数の力センサからの力測定値は、接触の力の推定値を判定するために組み合わされる（例えば、加重平均）。同様に、スタイラスの感圧性先端部は、任意選択的に、タッチ感知面上のスタイラスの圧力を判定するために使用される。あるいは、タッチ感知面上で検出される接触領域のサイズ及び／若しくはその変化、接触に近接するタッチ感知面の電気容量及び／若しくはその変化、並びに／又は、接触に近接するタッチ感知面の抵抗及び／若しくはその変化が、タッチ感知面上の接触の力又は圧力の代替物として、任意選択的に用いられる。一部の実装形態では、接触の力又は圧力に対する代替的測定値は、強度閾値を超えているかを判定するために直接使用される（例えば、強度閾値は、代替的測定値に対応する単位で説明される）。一部の実装形態では、接触の力又は圧力に対する代替的測定値は、推定される力又は圧力に変換され、推定される力又は圧力は、強度閾値を超えているかを判定するために使用される（例えば、強度閾値は、圧力の単位で測定された圧力閾値である）。接触の強度をユーザ入力の属性として使用することによって、アフォーダンスを表示するための（例えば、タッチ感知ディスプレイ上で）、及び／又は、ユーザ入力を受信するための（例えば、タッチ感知ディスプレイ、タッチ感知面、又はノブ若しくはボタンなどの物理的／機械的制御部を介して）、面積が制限されている、低減されたサイズのデバイス上で別途ユーザによってアクセスすることができないことがある追加的なデバイス機能へのユーザのアクセスが可能となる。 As used herein and in the claims, the term "intensity" of a contact on a touch-sensitive surface refers to the force or pressure (force per unit area) of a contact (e.g., a finger contact) on the touch-sensitive surface, or a surrogate (proxy) for the force or pressure of a contact on the touch-sensitive surface. The intensity of a contact has a value range that includes at least four distinct values and more typically includes hundreds (e.g., at least 256) distinct values. The intensity of a contact is optionally determined (or measured) using various techniques and various sensors or combinations of sensors. For example, one or more force sensors beneath or adjacent to the touch-sensitive surface are optionally used to measure force at various points on the touch-sensitive surface. In some implementations, force measurements from multiple force sensors are combined (e.g., weighted average) to determine an estimate of the force of the contact. Similarly, a pressure-sensitive tip of a stylus is optionally used to determine the pressure of the stylus on the touch-sensitive surface. Alternatively, the size and/or change in the contact area detected on the touch-sensitive surface, the capacitance and/or change in the capacitance of the touch-sensitive surface proximate the contact, and/or the resistance and/or change in the capacitance of the touch-sensitive surface proximate the contact are optionally used as surrogates for the force or pressure of the contact on the touch-sensitive surface. In some implementations, the surrogate measure for the force or pressure of the contact is used directly to determine whether an intensity threshold is exceeded (e.g., the intensity threshold is described in units corresponding to the surrogate measure). In some implementations, the surrogate measure for the force or pressure of the contact is converted to an estimated force or pressure, and the estimated force or pressure is used to determine whether an intensity threshold is exceeded (e.g., the intensity threshold is a pressure threshold measured in units of pressure). Using the intensity of the contact as an attribute of user input for displaying affordances (e.g., on a touch-sensitive display) and/or for receiving user input (e.g., via a touch-sensitive display, touch-sensitive surface, or physical/mechanical controls such as knobs or buttons) allows the user access to additional device functionality that may not otherwise be accessible by the user on devices of reduced size with limited area.

本明細書及び特許請求の範囲で使用されるとき、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの前の位置に対するデバイスの物理的変位、デバイスの構成要素（例えば、タッチ感知面）のデバイスの別の構成要素（例えば、筐体）に対する物理的変位、又はデバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素がタッチに敏感なユーザの表面（例えば、ユーザの手の指、手のひら、又は他の部分）に接触している状況において、物理的変位によって生成された触知出力は、デバイス又はデバイスの構成要素の物理的特性における認識された変化に相当する触感として、ユーザによって解釈される。例えば、タッチ感知面（例えば、タッチ感知ディスプレイ又はトラックパッド）の移動は、任意選択的に、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として解釈される。一部の場合では、ユーザの動作により物理的に押された（例えば、変位された）タッチ感知面に関連付けられた物理アクチュエータボタンの移動がないときでさえ、ユーザは「ダウンクリック」又は「アップクリック」などの触知感を感じる。別の実施例として、タッチ感知面の移動は、任意選択的に、タッチ感知面の平滑度において変化がないときでさえ、ユーザによってタッチ感知面の「粗さ」として解釈又は感知される。ユーザによるそのようなタッチの解釈は、ユーザの個人的な感覚認知に左右されるが、大多数のユーザに共通する、多くのタッチの感覚認知が存在する。よって、触知出力が、ユーザの特定の感覚認知（例えば、「アップクリック」、「ダウンクリック」、「粗さ」）に対応するものとして説明されるとき、別途記載のない限り、生成された触知出力は、典型的な（又は、平均的な）ユーザの説明された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。 As used herein and in the claims, the term "tactile output" refers to a physical displacement of a device relative to its previous position, a physical displacement of a component of the device (e.g., a touch-sensitive surface) relative to another component of the device (e.g., a housing), or a displacement of a component relative to the center of mass of the device, which is detected by the user's sense of touch. For example, in a situation where a device or a component of the device is in contact with a touch-sensitive user surface (e.g., the fingers, palm, or other part of the user's hand), the tactile output produced by the physical displacement is interpreted by the user as a tactile sensation corresponding to a perceived change in the physical properties of the device or component of the device. For example, movement of the touch-sensitive surface (e.g., a touch-sensitive display or trackpad) is optionally interpreted by the user as a "downclick" or "upclick" of a physical actuator button. In some cases, the user feels a tactile sensation such as a "downclick" or "upclick" even when no movement of a physical actuator button associated with the touch-sensitive surface is physically pressed (e.g., displaced) by the user's action. As another example, movement of the touch-sensitive surface is interpreted or perceived by a user as "roughness" of the touch-sensitive surface, optionally even when there is no change in the smoothness of the touch-sensitive surface. While a user's interpretation of such touch depends on the user's personal sensory perception, there are many sensory perceptions of touch that are common to the majority of users. Thus, when a tactile output is described as corresponding to a particular sensory perception of a user (e.g., "upclick," "downclick," "roughness"), unless otherwise specified, the generated tactile output corresponds to a physical displacement of the device, or a component of the device, that produces the described sensory perception for a typical (or average) user.

デバイス１００は、ポータブル多機能デバイスの一実施例に過ぎず、デバイス１００は、示されているものよりも多くの構成要素又は少ない構成要素を任意選択的に有し、２つ以上の構成要素を任意選択的に組み合せて、又は構成要素の異なる構成若しくは配置を任意選択的に有することを理解されたい。図１Ａに示す様々な構成要素は、１つ以上の信号処理回路及び／又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア又はハードウェア及びソフトウェアの双方の組み合わせで実装される。 It should be understood that device 100 is only one example of a portable multifunction device, and that device 100 optionally has more or fewer components than those shown, optionally combines two or more components, or optionally has a different configuration or arrangement of components. The various components shown in FIG. 1A may be implemented in hardware, software, or a combination of both hardware and software, including one or more signal processing circuits and/or application-specific integrated circuits.

メモリ１０２は、高速ランダムアクセスメモリを任意選択的に含み、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス又は他の不揮発性ソリッドステートメモリデバイスなどの不揮発性メモリもまた任意選択的に含む。メモリコントローラ１２２は、任意選択的に、デバイス１００の他の構成要素によるメモリ１０２へのアクセスを制御する。 Memory 102 optionally includes high-speed random access memory, and optionally also includes non-volatile memory, such as one or more magnetic disk storage devices, flash memory devices, or other non-volatile solid-state memory devices. Memory controller 122 optionally controls access to memory 102 by other components of device 100.

周辺機器インタフェース１１８を使用して、本デバイスの入力及び出力周辺機器を、ＣＰＵ１２０及びメモリ１０２に接続することができる。１つ以上のプロセッサ１２０は、デバイス１００のための様々な機能を実行するため並びにデータを処理するために、メモリ１０２に記憶された様々なソフトウェアプログラム及び／又は命令セットを動作させる、又は実行する。一部の実施形態では、周辺機器インタフェース１１８、ＣＰＵ１２０、及びメモリコントローラ１２２は、チップ１０４などの単一チップ上に任意選択的に実装される。一部の他の実施形態では、それらは別々のチップ上に任意選択的に実装される。 The peripheral interface 118 can be used to connect input and output peripherals of the device to the CPU 120 and memory 102. The one or more processors 120 operate or execute various software programs and/or instruction sets stored in the memory 102 to perform various functions for the device 100 and to process data. In some embodiments, the peripheral interface 118, CPU 120, and memory controller 122 are optionally implemented on a single chip, such as chip 104. In some other embodiments, they are optionally implemented on separate chips.

ＲＦ（ｒａｄｉｏ ｒｅｑｕｅｎｃｙ）（無線周波数）回路１０８は、電磁信号とも呼ばれるＲＦ信号を送受信する。ＲＦ回路１０８は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。ＲＦ回路１０８は、アンテナシステム、ＲＦ送受信機、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュール（ＳＩＭ）カード、及びメモリなどを含むがこれらに限定されない、それらの機能を実行するための周知の回路を任意選択的に含む。ＲＦ回路１０８は任意選択で、ワールドワイドウェブ（ＷＷＷ）とも称されるインターネット、イントラネット、並びに／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）及び／若しくはメトロポリタンエリアネットワーク（ＭＡＮ）などの無線ネットワークなどのネットワークと、他のデバイスと無線通信によって通信する。ＲＦ回路１０８は、近距離通信無線などによる近距離通信（ＮＦＣ）（near field communication）フィールドを検出するための周知の回路を任意選択的に含む。無線通信は、複数の通信規格、通信プロトコル、及び通信技術のうちのいずれかを、任意選択的に使用し、それらの通信規格、通信プロトコル、及び通信技術としては、移動通信用のグローバルシステム（Global System for Mobile Communications、ＧＳＭ（登録商標））、拡張データＧＳＭ環境（Enhanced Data GSM Environment、ＥＤＧＥ）、高速ダウンリンクパケット接続（high-speed downlink packet access、ＨＳＤＰＡ）、高速アップリンクパケット接続（high-speed uplink packet access、ＨＳＵＰＡ）、Ｅｖｏｌｕｔｉｏｎ，Ｄａｔａ－Ｏｎｌｙ（ＥＶ－ＤＯ）、ＨＳＰＡ、ＨＳＰＡ＋、２重セルＨＳＰＡ（Dual-Cell HSPA、ＤＣ－ＨＳＰＤＡ）、ロングタームエボリューション（long term evolution、ＬＴＥ）、近距離無線通信（near field communication、ＮＦＣ）、広帯域符号分割多元接続（wideband code division multiple access、Ｗ－ＣＤＭＡ）、符号分割多元接続（code division multiple access、ＣＤＭＡ）、時分割多元接続（time division multiple access、ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）Ｌｏｗ Ｅｎｅｒｇｙ（ＢＴＬＥ）、Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ（Ｗｉ－Ｆｉ）（登録商標）（例えば、ＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ、ＩＥＥＥ ８０２．１１ｎ、及び／又はＩＥＥＥ ８０２．１１ａｃ）、ボイスオーバーインターネットプロトコル（voice over Internet Protocol、ＶｏＩＰ）、Ｗｉ－ＭＡＸ、電子メール用のプロトコル（例えば、インターネットメッセージアクセスプロトコル（Internet message access protocol、ＩＭＡＰ）及び／又はポストオフィスプロトコル（post office protocol、ＰＯＰ））、インスタントメッセージング（例えば、拡張可能メッセージング及びプレゼンスプロトコル（extensible messaging and presence protocol、ＸＭＰＰ）、インスタントメッセージング及びプレゼンス利用拡張向けセッション開始プロトコル（Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、ＳＩＭＰＬＥ）、インスタントメッセージング及びプレゼンスサービス（Instant Messaging and Presence Service、ＩＭＰＳ））、及び／又はショートメッセージサービス（Short Message Service、ＳＭＳ）、あるいは本文書の出願日現在までにまだ開発されていない通信プロトコルを含めた任意の他の好適な通信プロトコルが挙げられるが、これらに限定されない。 The RF (radio frequency) circuitry 108 transmits and receives RF signals, also called electromagnetic signals. The RF circuitry 108 converts electrical signals to electromagnetic signals and electromagnetic signals to electrical signals, and communicates with communication networks and other communication devices via electromagnetic signals. The RF circuitry 108 optionally includes well-known circuits for performing these functions, including, but not limited to, an antenna system, an RF transceiver, one or more amplifiers, a tuner, one or more oscillators, a digital signal processor, a CODEC chipset, a subscriber identity module (SIM) card, and memory. The RF circuitry 108 optionally communicates wirelessly with other devices and with networks, such as the Internet, also known as the World Wide Web (WWW), an intranet, and/or wireless networks, such as cellular telephone networks, wireless local area networks (LANs), and/or metropolitan area networks (MANs). RF circuitry 108 optionally includes well-known circuitry for detecting a near field communication (NFC) field, such as by near field communication radio. The wireless communication optionally uses any of a plurality of communication standards, protocols, and technologies, including Global System for Mobile Communications (GSM), Enhanced Data GSM Environment (EDGE), high-speed downlink packet access (HSDPA), high-speed uplink packet access (HSUPA), Evolution, Data-Only (EV-DO), HSPA, HSPA+, Dual-Cell HSPA (DC-HSPDA), long term evolution (LTE), near field communication (NFC), wideband code division multiple access (W-CDMA), code division multiple access (CDMA), time division multiple access (T ... access (TDMA), Bluetooth®, Bluetooth® Low Energy (BTLE), Wireless Fidelity (Wi-Fi)® (e.g., IEEE 802.11a, IEEE 802.11b, IEEE 802.11g, IEEE 802.11n, and/or IEEE 802.11ac), voice over Internet Protocol (VoIP), Wi-MAX, protocols for email (e.g., Internet message access protocol (IMAP) and/or post office protocol (POP)), instant messaging (e.g., extensible messaging and presence protocol (XMPP)), Session Initiation Protocol for Instant Messaging and Presence Extensions (SIP)), and Examples of suitable communication protocols include, but are not limited to, SIMPLE, Instant Messaging and Presence Leveraging Extensions (IMPLE), Instant Messaging and Presence Service (IMPS), and/or Short Message Service (SMS), or any other suitable communication protocol, including communication protocols not yet developed as of the filing date of this document.

オーディオ回路１１０、スピーカ１１１、及びマイクロフォン１１３は、ユーザとデバイス１００との間のオーディオインタフェースを提供する。オーディオ回路１１０は、周辺機器インタフェース１１８から音声データを受信し、その音声データを電気信号に変換し、その電気信号をスピーカ１１１に送信する。スピーカ１１１は、電気信号を人間の可聴音波に変換する。オーディオ回路１１０はまた、マイクロフォン１１３により音波から変換された電気信号を受信する。オーディオ回路１１０は、電気信号を音声データに変換し、音声データを処理のために周辺機器インタフェース１１８に送信する。音声データは任意選択で、周辺機器インタフェース１１８によって、メモリ１０２及び／若しくはＲＦ回路１０８から取得され、並びに／又はメモリ１０２及び／若しくはＲＦ回路１０８へ送信される。一部の実施形態では、オーディオ回路１１０はヘッドセットジャック（例えば、図２の２１２）を更に含む。ヘッドセットジャックは、オーディオ回路１１０と、出力専用ヘッドホン又は出力（例えば、片耳又は両耳用のヘッドホン）及び入力（例えば、マイクロフォン）の双方を有するヘッドセットなどの、取り外し可能なオーディオ入出力周辺機器と、の間のインタフェースを提供する。 The audio circuit 110, speaker 111, and microphone 113 provide an audio interface between the user and device 100. The audio circuit 110 receives audio data from the peripherals interface 118, converts the audio data into electrical signals, and transmits the electrical signals to the speaker 111. The speaker 111 converts the electrical signals into sound waves audible to humans. The audio circuit 110 also receives electrical signals converted from sound waves by the microphone 113. The audio circuit 110 converts the electrical signals into audio data and transmits the audio data to the peripherals interface 118 for processing. The audio data is optionally retrieved from and/or transmitted to memory 102 and/or RF circuit 108 by the peripherals interface 118. In some embodiments, the audio circuit 110 further includes a headset jack (e.g., 212 in FIG. 2 ). The headset jack provides an interface between the audio circuitry 110 and a detachable audio input/output peripheral, such as an output-only headphone or a headset with both an output (e.g., mono or binaural headphones) and an input (e.g., a microphone).

Ｉ／Ｏサブシステム１０６は、周辺機器インタフェース１１８に、タッチスクリーン１１２及び他の入力制御デバイス１１６などのデバイス１００の入出力周辺機器を結合する。Ｉ／Ｏサブシステム１０６は、任意選択的に、ディスプレイコントローラ１５６、光センサコントローラ１５８、強度センサコントローラ１５９、触覚フィードバックコントローラ１６１、及び他の入力若しくは制御デバイスのための１つ以上の入力コントローラ１６０を含む。１つ以上の入力コントローラ１６０は、電気信号を、他の入力制御デバイス１１６から受信／他の入力制御デバイス１１６に送信する。他の入力制御デバイス１１６は、物理ボタン（例えば、プッシュボタン、ロッカボタンなど）、ダイアル、スライダスイッチ、ジョイスティック、クリックホイールなどを任意選択的に含む。一部の代替的実施形態では、入力コントローラ（単数又は複数）１６０は、任意選択的に、キーボード、赤外線ポート、ＵＳＢポート、及びマウスなどのポインタデバイスのうちのいずれかに連結される（又は、いずれにも連結されない）。１つ以上のボタン（例えば、図２の２０８）は、スピーカ１１１及び／又はマイクロフォン１１３の音量調節のためのアップ／ダウンボタンを任意選択的に含む。１つ以上のボタンは、プッシュボタン（例えば、図２の２０６）を任意選択的に含む。 The I/O subsystem 106 couples input/output peripherals of the device 100, such as the touchscreen 112 and other input control devices 116, to the peripheral interface 118. The I/O subsystem 106 optionally includes one or more input controllers 160 for a display controller 156, a light sensor controller 158, an intensity sensor controller 159, a haptic feedback controller 161, and other input or control devices. The one or more input controllers 160 receive/send electrical signals from/to the other input control devices 116. The other input control devices 116 optionally include physical buttons (e.g., push buttons, rocker buttons, etc.), dials, slider switches, joysticks, click wheels, etc. In some alternative embodiments, the input controller(s) 160 are optionally coupled to any (or none) of a keyboard, an infrared port, a USB port, and a pointer device such as a mouse. The one or more buttons (e.g., 208 in FIG. 2) optionally include up/down buttons for adjusting the volume of the speaker 111 and/or microphone 113. The one or more buttons optionally include a push button (e.g., 206 in FIG. 2).

２００５年１２月２３日に出願された、米国特許第７，６５７，８４９号である米国特許出願第１１／３２２，５４９号、「Ｕｎｌｏｃｋｉｎｇ ａ Ｄｅｖｉｃｅ ｂｙ Ｐｅｒｆｏｒｍｉｎｇ Ｇｅｓｔｕｒｅｓ ｏｎ ａｎ Ｕｎｌｏｃｋ Ｉｍａｇｅ」（この特許は、その全体が本明細書において参照により組み込まれる）に記載されているように、任意選択的に、プッシュボタンの素早い押圧により、タッチスクリーン１１２のロックを解除するか、又はデバイスのロック解除にタッチスクリーン上のジェスチャを用いる処理を任意選択的に開始する。プッシュボタン（例えば、２０６）をより長く押圧することにより、任意選択的にデバイス１００の電源をオンオフする。ボタンのうちの１つ以上の機能は、任意選択的に、ユーザカスタマイズ可能である。タッチスクリーン１１２は、仮想ボタン又はソフトボタン及び１つ以上のソフトキーボードを実装するために使用される。 Optionally, a quick press of a push button unlocks the touchscreen 112 or optionally initiates a process that uses gestures on the touchscreen to unlock the device, as described in U.S. Patent Application No. 11/322,549, "Unlocking a Device by Performing Gestures on an Unlock Image," filed December 23, 2005, U.S. Patent No. 7,657,849 (which is incorporated herein by reference in its entirety). A longer press of a push button (e.g., 206) optionally powers the device 100 on or off. The functions of one or more of the buttons are optionally user-customizable. The touchscreen 112 is used to implement virtual or soft buttons and one or more soft keyboards.

タッチ感知ディスプレイ１１２は、デバイスとユーザとの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ１５６は、電気信号を、タッチスクリーン１１２から受信及び／又はタッチスクリーン１１２に送信する。タッチスクリーン１１２は、ユーザに視覚出力を表示する。視覚出力は、グラフィック、テキスト、アイコン、ビデオ及びこれらの任意の組み合わせ（総称して「グラフィック」と称する）を任意選択的に含む。一部の実施形態では、任意選択的に、視覚出力の一部又はすべてはユーザインタフェースオブジェクトに対応する。 The touch-sensitive display 112 provides an input and output interface between the device and a user. The display controller 156 receives and/or transmits electrical signals to and from the touchscreen 112. The touchscreen 112 displays visual output to the user. The visual output optionally includes graphics, text, icons, video, and any combination thereof (collectively referred to as "graphics"). In some embodiments, optionally, some or all of the visual output corresponds to user interface objects.

タッチスクリーン１１２は、触覚及び／又は触知接触に基づくユーザからの入力を受け付けるタッチ感知面、センサ、若しくはセンサのセットを有している。タッチスクリーン１１２及びディスプレイコントローラ１５６は（メモリ１０２内の任意の関連モジュール及び／又は命令セットと共に）、タッチスクリーン１１２上で接触（及び任意の接触の移動又は中断）を検出し、その検出された接触をタッチスクリーン１１２上に表示されたユーザインタフェースオブジェクト（例えば、１つ以上のソフトキー、アイコン、ウェブページ又は画像）との対話に変換する。例示的な実施形態では、タッチスクリーン１１２とユーザとの間の接触点は、ユーザの指に対応する。 Touchscreen 112 has a touch-sensitive surface, sensor, or set of sensors that accepts input from a user based on haptic and/or tactile contact. Touchscreen 112 and display controller 156 (along with any associated modules and/or instruction sets in memory 102) detects contact (and any movement or cessation of contact) on touchscreen 112 and translates the detected contact into interaction with user interface objects (e.g., one or more softkeys, icons, web pages, or images) displayed on touchscreen 112. In an exemplary embodiment, the point of contact between touchscreen 112 and the user corresponds to the user's finger.

タッチスクリーン１１２は任意選択的に、ＬＣＤ（液晶ディスプレイ）技術、ＬＰＤ（発光ポリマーディスプレイ）技術又はＬＥＤ（発光ダイオード）技術を使用するが、他の実施形態では、他のディスプレイ技術が使用される。タッチスクリーン１１２及びディスプレイコントローラ１５６は、静電容量技術、抵抗性技術、赤外線技術、及び表面超音波技術、並びに、タッチスクリーン１１２との１つ以上の接触点を判定するための他の近接センサアレイ又は他の要素を含むが、これらに限定されない、現在公知の若しくは後日に開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及び任意の移動又はその中断を、任意選択的に検出する。例示的な実施形態では、Ｃａｌｉｆｏｒｎｉａ州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ Ｉｎｃ．によるｉＰｈｏｎｅ（登録商標）及びｉＰｏｄ Ｔｏｕｃｈ（登録商標）において見られるような、投影型相互静電容量感知技術が使用されている。 Touchscreen 112 optionally uses LCD (liquid crystal display), LPD (light emitting polymer display), or LED (light emitting diode) technology, although other display technologies are used in other embodiments. Touchscreen 112 and display controller 156 optionally detect contact and any movement or disruption thereof using any of a number of now-known or later-developed touch sensing technologies, including, but not limited to, capacitive, resistive, infrared, and surface ultrasonic technologies, as well as other proximity sensor arrays or other elements for determining one or more points of contact with touchscreen 112. In an exemplary embodiment, projected mutual capacitance sensing technology is used, such as that found in the iPhone® and iPod Touch® by Apple Inc. of Cupertino, California.

タッチスクリーン１１２の一部の実施形態におけるタッチ感知ディスプレイは、任意選択的に、以下の米国特許、第６，３２３，８４６号（Ｗｅｓｔｅｒｍａｎら）、第６，５７０，５５７号（Ｗｅｓｔｅｒｍａｎら）、及び／又は第６，６７７，９３２号（Ｗｅｓｔｅｒｍａｎ）、及び／又は米国特許出願公開第２００２／００１５０２４（Ａ１）号に記載されているマルチタッチ感知タッチパッドに類似する。これらの文献は、それぞれその全体が本明細書において参照により組み込まれている。しかし、タッチスクリーン１１２は、デバイス１００からの視覚出力を表示するのに対して、タッチ感知タッチパッドは、視覚出力を提供しない。 The touch-sensitive display in some embodiments of touchscreen 112 is optionally similar to the multi-touch-sensing touchpad described in the following U.S. Patents: 6,323,846 (Westerman et al.), 6,570,557 (Westerman et al.), and/or 6,677,932 (Westerman), and/or U.S. Patent Application Publication No. 2002/0015024 (A1), each of which is incorporated by reference herein in its entirety. However, touchscreen 112 displays visual output from device 100, whereas touch-sensitive touchpads do not provide visual output.

タッチスクリーン１１２の一部の実施形態におけるタッチ感知ディスプレイは、以下の出願で説明されている。（１）２００６年５月２日出願の米国特許出願第１１／３８１，３１３号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈ Ｓｕｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ」、（２）２００４年５月６日出願の同第１０／８４０，８６２号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈｓｃｒｅｅｎ」、（３）２００４年７月３０日出願の同第１０／９０３，９６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（４）２００５年１月３１日出願の同第１１／０４８，２６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（５）２００５年１月１８日出願の同第１１／０３８，５９０号、「Ｍｏｄｅ－Ｂａｓｅｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（６）２００５年９月１６日出願の同第１１／２２８，７５８号、「Ｖｉｒｔｕａｌ Ｉｎｐｕｔ Ｄｅｖｉｃｅ Ｐｌａｃｅｍｅｎｔ Ｏｎ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ」、（７）２００５年９月１６日出願の同第１１／２２８，７００号、「Ｏｐｅｒａｔｉｏｎ Ｏｆ Ａ Ｃｏｍｐｕｔｅｒ Ｗｉｔｈ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｉｎｔｅｒｆａｃｅ」、（８）２００５年９月１６日出願の同第１１／２２８，７３７号、「Ａｃｔｉｖａｔｉｎｇ Ｖｉｒｔｕａｌ Ｋｅｙｓ Ｏｆ Ａ Ｔｏｕｃｈ－Ｓｃｒｅｅｎ Ｖｉｒｔｕａｌ Ｋｅｙｂｏａｒｄ」、及び（９）２００６年３月３日出願の同第１１／３６７，７４９号、「Ｍｕｌｔｉ－Ｆｕｎｃｔｉｏｎａｌ Ｈａｎｄ－Ｈｅｌｄ Ｄｅｖｉｃｅ」。これらの出願のすべては、全体が参照により本明細書に組み込まれる。 Touch-sensitive displays in some embodiments of touch screen 112 are described in the following applications: (1) U.S. Patent Application No. 11/381,313, filed May 2, 2006, entitled "Multipoint Touch Surface Controller," (2) U.S. Patent Application No. 10/840,862, filed May 6, 2004, entitled "Multipoint Touchscreen," (3) U.S. Patent Application No. 10/903,964, filed July 30, 2004, entitled "Gestures For Touch Sensitive Input Devices," (4) U.S. Patent Application No. 11/048,264, filed January 31, 2005, entitled "Gestures For Touch Sensitive Input Devices," (5) U.S. Patent No. 11/038,590, filed January 18, 2005, entitled "Mode-Based Graphical User Interfaces For Touch Sensitive Input Devices," (6) U.S. Patent No. 11/228,758, filed September 16, 2005, entitled "Virtual Input Device Placement On A Touch Screen User Interface," (7) U.S. Patent No. 11/228,700, filed September 16, 2005, entitled "Operation Of A Computer With A Touch Screen" (8) U.S. Patent No. 11/228,737, filed September 16, 2005, entitled "Activating Virtual Keys of a Touch-Screen Virtual Keyboard," and (9) U.S. Patent No. 11/367,749, filed March 3, 2006, entitled "Multi-Functional Hand-Held Device." All of these applications are incorporated herein by reference in their entirety.

タッチスクリーン１１２は、任意選択的に、１００ｄｐｉを超えるビデオ解像度を有する。一部の実施形態では、タッチスクリーンは約１６０ｄｐｉのビデオ解像度を有する。ユーザは、スタイラス、指などの任意の好適な物体又は付属器を使用して、タッチスクリーン１１２と任意選択的に接触する。一部の実施形態では、ユーザインタフェースは、主として指に基づく接触及びジェスチャと作用するように設計され、タッチスクリーン上の指の接触面積が広いことに起因して、スタイラスを基準とした入力よりも精度が低いことがある。一部の実施形態では、デバイスは、指に基づく粗い入力を正確なポインタ／カーソル位置又はユーザの望むアクションを実行するためのコマンドに変換する。 Touchscreen 112 optionally has a video resolution greater than 100 dpi. In some embodiments, the touchscreen has a video resolution of approximately 160 dpi. A user optionally contacts touchscreen 112 using any suitable object or appendage, such as a stylus, finger, or the like. In some embodiments, the user interface is designed to work primarily with finger-based contacts and gestures, which may be less precise than stylus-based input due to the large contact area of a finger on the touchscreen. In some embodiments, the device translates coarse finger-based input into precise pointer/cursor position or commands to perform the user's desired action.

一部の実施形態では、タッチスクリーンに加えて、デバイス１００は、特定の機能をアクティブ化又は非アクティブ化するためのタッチパッドを任意選択的に含む。一部の実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、デバイスのタッチ感知エリアである。タッチパッドは、任意選択的に、タッチスクリーン１１２とは別個のタッチ感知面又はタッチスクリーンによって形成されたタッチ感知面の拡張部である。 In some embodiments, in addition to the touchscreen, device 100 optionally includes a touchpad for activating or deactivating certain functions. In some embodiments, the touchpad is a touch-sensitive area of the device that, unlike the touchscreen, does not display visual output. The touchpad is optionally a touch-sensitive surface separate from touchscreen 112 or an extension of the touch-sensitive surface formed by the touchscreen.

デバイス１００はまた、様々な構成要素に電力を供給するための電力システム１６２を含む。電力システム１６２は任意選択で、電力管理システム、１つ以上の電源（例えば、バッテリ、交流（ＡＣ））、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ（例えば、発光ダイオード（ＬＥＤ））、並びにポータブルデバイス内での電力の生成、管理、及び分配と関連付けられた任意の他の構成要素を含む。 Device 100 also includes a power system 162 for providing power to the various components. Power system 162 optionally includes a power management system, one or more power sources (e.g., battery, alternating current (AC)), a recharging system, power failure detection circuitry, power converters or inverters, power status indicators (e.g., light-emitting diodes (LEDs)), and any other components associated with generating, managing, and distributing power within a portable device.

デバイス１００はまた任意選択で、１つ以上の光センサ１６４を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の光センサコントローラ１５８に接続された光センサを示す。光センサ１６４は、電荷結合デバイス（ＣＣＤ）又は相補的金属酸化物半導体（ＣＭＯＳ）フォトトランジスタを、任意選択的に含む。光センサ１６４は、１つ以上のレンズを通して投影された、環境からの光を受光し、その光を、画像を表現するデータに変換する。撮像モジュール１４３（カメラモジュールとも称する）と併用して、光センサ１６４は、静止画像又はビデオを任意選択的にキャプチャする。一部の実施形態では、タッチスクリーンディスプレイを静止画像及び／又はビデオ画像取得のためのビューファインダとして有効化するように、光センサは、デバイスの前面のタッチスクリーンディスプレイ１１２の反対側である、デバイス１００の背面に配置されている。一部の実施形態では、任意選択的に、ユーザが他のテレビ会議参加者をタッチスクリーンディスプレイ上で見るのと同時に、そのユーザの画像をテレビ会議のために得るように、デバイスの前面に光センサが配置されている。一部の実施形態では、光センサ１６４の位置は、ユーザによって（例えば、デバイス筐体内のレンズ及びセンサを回転させることによって）変更することができ、それにより、テレビ会議並びに静止画像及び／又はビデオ画像の取得の双方のために、単一の光センサ１６４を、タッチスクリーンディスプレイと共に使用する。 Device 100 also optionally includes one or more light sensors 164. FIG. 1A shows a light sensor connected to light sensor controller 158 in I/O subsystem 106. Light sensor 164 optionally includes a charge-coupled device (CCD) or a complementary metal-oxide semiconductor (CMOS) phototransistor. Light sensor 164 receives light from the environment projected through one or more lenses and converts the light into data representing an image. In conjunction with imaging module 143 (also referred to as a camera module), light sensor 164 optionally captures still images or video. In some embodiments, a light sensor is located on the back of device 100, opposite touchscreen display 112 on the front of the device, to enable the touchscreen display as a viewfinder for still and/or video image capture. In some embodiments, the light sensor is optionally located on the front of the device to obtain an image of the user for a videoconference while the user simultaneously views other videoconference participants on the touchscreen display. In some embodiments, the position of the optical sensor 164 can be changed by the user (e.g., by rotating the lens and sensor within the device housing), thereby using a single optical sensor 164 in conjunction with a touchscreen display for both video conferencing and capturing still and/or video images.

デバイス１００はまた、１つ以上の深度カメラセンサ１７５を任意選択的に含む。図１Ａは、Ｉ／Ｏサブシステム１０６内のカメラコントローラ１６９に結合された、深度カメラセンサを示す。深度カメラセンサ１７５は、環境からデータを受信して、視点（例えば、深度カメラセンサ）からのシーン内のオブジェクト（例えば、顔）の３次元モデルを生成する。一部の実施形態では、撮像モジュール１４３（カメラモジュールとも呼ばれる）と共に深度カメラセンサ１７５を任意選択的に使用して、撮像モジュール１４３によってキャプチャされた画像の異なる部分の深度マップを判定する。一部の実施形態では、深度カメラセンサがデバイス１００の前面に配置され、ユーザが、タッチスクリーンディスプレイ上で他のテレビ会議参加者を見ている間に、かつ、深度マップデータを用いて自撮りをキャプチャできるように、深度情報を有するユーザの画像を、テレビ会議のために任意選択的に取得することができる。一部の実施形態では、深度カメラセンサ１７５は、デバイスの背面、又はデバイス１００の背面及び前面に配置される。一部の実施形態では、深度カメラ１７５の位置をユーザが（例えば、デバイス筐体内のレンズ及びセンサを回転させることによって）変更することができ、深度カメラセンサ１７５を、テレビ会議並びに静止画像及び／又はビデオ画像の取得の両方のために、タッチスクリーンディスプレイと共に使用することができる。 Device 100 also optionally includes one or more depth camera sensors 175. FIG. 1A shows a depth camera sensor coupled to camera controller 169 in I/O subsystem 106. Depth camera sensor 175 receives data from the environment and generates a three-dimensional model of an object (e.g., a face) in a scene from a viewpoint (e.g., the depth camera sensor). In some embodiments, depth camera sensor 175 is optionally used in conjunction with imaging module 143 (also referred to as a camera module) to determine a depth map of different portions of an image captured by imaging module 143. In some embodiments, a depth camera sensor is located on the front of device 100, and can optionally capture images of a user with depth information for videoconferencing, such as allowing a user to capture a selfie using depth map data while viewing other videoconference participants on a touchscreen display. In some embodiments, depth camera sensor 175 is located on the back of the device, or on both the back and front of device 100. In some embodiments, the position of the depth camera 175 can be changed by the user (e.g., by rotating the lens and sensor within the device housing), and the depth camera sensor 175 can be used in conjunction with a touchscreen display for both video conferencing and capturing still and/or video images.

一部の実施形態では、深度マップ（例えば、深度マップ画像）は、視点（例えば、カメラ、光センサ、深度カメラセンサ）からのシーン内のオブジェクトの距離に関する情報（例えば、値）を含む。深度マップの一実施形態では、各深度ピクセルは、その対応する２次元ピクセルが配置される、視点のＺ軸内の位置を規定する。一部の実施形態では、深度マップは、各ピクセルが値（例えば、０～２５５）によって定義されるピクセルから構成される。例えば、「０」値は、「３次元」シーンにおける最も離れた位置に配置されるピクセルを表し、「２５５」値は、「３次元」シーンにおける視点（例えば、カメラ、光センサ、深度カメラセンサ）に最も近いピクセルを表す。他の実施形態では、深度マップは、シーン内のオブジェクトと視点の平面との間の距離を表す。一部の実施形態では、深度マップは、深度カメラの視点における関心あるオブジェクトの様々な特徴の相対的深度（例えば、ユーザの顔の目、鼻、口、耳の相対的深度）についての情報を含む。一部の実施形態では、深度マップは、ｚ方向の関心あるオブジェクトの輪郭をデバイスが判定することを可能にする情報を含む。 In some embodiments, a depth map (e.g., a depth map image) contains information (e.g., values) about the distance of objects in a scene from a viewpoint (e.g., a camera, light sensor, depth camera sensor). In one embodiment of a depth map, each depth pixel defines a location in the z-axis of the viewpoint where its corresponding two-dimensional pixel is located. In some embodiments, a depth map is composed of pixels, each defined by a value (e.g., 0-255). For example, a value of "0" represents the pixel located furthest in a "three-dimensional" scene, and a value of "255" represents the pixel closest to the viewpoint (e.g., a camera, light sensor, depth camera sensor) in the "three-dimensional" scene. In other embodiments, a depth map represents the distance between objects in a scene and the plane of the viewpoint. In some embodiments, a depth map contains information about the relative depth of various features of an object of interest in the viewpoint of a depth camera (e.g., the relative depth of the eyes, nose, mouth, and ears on a user's face). In some embodiments, a depth map contains information that enables a device to determine the contours of the object of interest in the z-direction.

デバイス１００はまた、１つ以上の接触強度センサ１６５を任意選択的に含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の強度センサコントローラ１５９に結合された、接触強度センサを示す。接触強度センサ１６５は、１つ以上のピエゾ抵抗ひずみゲージ、電気容量式力センサ、電気力センサ、圧電力センサ、光学力センサ、容量式タッチ感知面又は他の強度センサ（例えば、タッチ感知面上の接触の力（又は圧力）を測定するために使用するセンサ）を、任意選択的に含む。接触強度センサ１６５は、周辺環境から接触強度情報（例えば、圧力情報又は圧力情報の代用物）を受信する。一部の実施形態において、少なくとも１つの接触強度センサが、タッチ感知面（例えば、タッチ感知ディスプレイシステム１１２）に配置されているか、又は、それに近接している。一部の実施形態では、少なくとも１つの接触強度センサが、デバイス１００の前面に配置されたタッチスクリーンディスプレイ１１２の反対側である、デバイス１００の背面に配置されている。 Device 100 also optionally includes one or more contact intensity sensors 165. FIG. 1A shows a contact intensity sensor coupled to intensity sensor controller 159 in I/O subsystem 106. Contact intensity sensor 165 optionally includes one or more piezoresistive strain gauges, capacitive force sensors, electrical force sensors, piezoelectric force sensors, optical force sensors, capacitive touch-sensitive surfaces, or other intensity sensors (e.g., sensors used to measure the force (or pressure) of a contact on a touch-sensitive surface). Contact intensity sensor 165 receives contact intensity information (e.g., pressure information or a proxy for pressure information) from the surrounding environment. In some embodiments, at least one contact intensity sensor is located on or proximate to the touch-sensitive surface (e.g., touch-sensitive display system 112). In some embodiments, at least one contact intensity sensor is located on the back of device 100, opposite touchscreen display 112, which is located on the front of device 100.

デバイス１００はまた、１つ以上の近接センサ１６６を任意選択的に含む。図１Ａは、周辺機器インタフェース１１８に結合された近接センサ１６６を示す。あるいは、近接センサ１６６は、任意選択的に、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に接続される。近接センサ１６６は、任意選択的に、米国特許出願第１１／２４１，８３９号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、同第１１／２４０，７８８号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、同第１１／６２０，７０２号、「Ｕｓｉｎｇ Ａｍｂｉｅｎｔ Ｌｉｇｈｔ Ｓｅｎｓｏｒ Ｔｏ Ａｕｇｍｅｎｔ Ｐｒｏｘｉｍｉｔｙ Ｓｅｎｓｏｒ Ｏｕｔｐｕｔ」、同第１１／５８６，８６２号、「Ａｕｔｏｍａｔｅｄ Ｒｅｓｐｏｎｓｅ Ｔｏ Ａｎｄ Ｓｅｎｓｉｎｇ Ｏｆ Ｕｓｅｒ Ａｃｔｉｖｉｔｙ Ｉｎ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅｓ」、及び同第１１／６３８，２５１号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ｓｙｓｔｅｍｓ Ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｏｆ Ｐｅｒｉｐｈｅｒａｌｓ」で説明されるように任意選択的に実行してもよく、これらはその全体が参照により本明細書に組み込まれる。一部の実施形態において、多機能デバイスがユーザの耳の近くに配置されている場合（例えば、ユーザが電話通話を行っている場合）、近接センサは、タッチスクリーン１１２をオフにし無効にする。 Device 100 also optionally includes one or more proximity sensors 166. FIG. 1A shows proximity sensor 166 coupled to peripherals interface 118. Alternatively, proximity sensor 166 is optionally connected to input controller 160 within I/O subsystem 106. The proximity sensor 166 is optionally a proximity sensor as described in U.S. patent application Ser. No. 11/241,839, entitled "Proximity Detector In Handheld Device," Ser. No. 11/240,788, entitled "Proximity Detector In Handheld Device," Ser. No. 11/620,702, entitled "Using Ambient Light Sensor To Augment Proximity Sensor Output," and Ser. No. 11/586,862, entitled "Automated Response To And Sensing Of User Activity In Portable This may optionally be performed as described in "Devices" and "Methods And Systems For Automatic Configuration Of Peripherals," both of which are incorporated herein by reference in their entireties. In some embodiments, the proximity sensor turns off and disables touchscreen 112 when the multifunction device is placed near the user's ear (e.g., when the user is on a phone call).

デバイス１００はまた、任意選択的に、１つ以上の触知出力生成器１６７を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の触覚フィードバックコントローラ１６１に連結された触知出力生成器を示す。触知出力生成器１６７は、スピーカ又は他のオーディオ構成要素などの１つ以上の電気音響デバイス、及び／又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ若しくは他の触知出力生成構成要素（例えば、デバイス上で電気信号を触知出力に変換する構成要素）などの、エネルギを直線運動に変換する電気機械デバイスを、任意選択的に含む。接触強度センサ１６５は、触覚フィードバックモジュール１３３から触覚フィードバック生成命令を受信し、デバイス１００のユーザが感知できる触知出力をデバイス１００上で生成する。一部の実施形態において、少なくとも１つの触知出力生成器は、タッチ感知面（例えば、タッチ感知ディスプレイシステム１１２）に配置されているか、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向（例えば、デバイス１００の表面の内／外）に、又は横方向（例えば、デバイス１００の表面と同じ平面内の前後）に動かすことによって、触知出力を生成する。一部の実施形態において、少なくとも１つの触知出力生成器センサが、デバイス１００の前面に配置されたタッチスクリーンディスプレイ１１２の反対側である、デバイス１００の背面に配置されている。 Device 100 also optionally includes one or more tactile output generators 167. FIG. 1A shows a tactile output generator coupled to haptic feedback controller 161 in I/O subsystem 106. Tactile output generator 167 optionally includes one or more electroacoustic devices, such as speakers or other audio components, and/or electromechanical devices that convert energy into linear motion, such as motors, solenoids, electroactive polymers, piezoelectric actuators, electrostatic actuators, or other tactile output generating components (e.g., components that convert electrical signals into tactile output on the device). Contact intensity sensor 165 receives haptic feedback generation commands from haptic feedback module 133 and generates a tactile output on device 100 that can be sensed by a user of device 100. In some embodiments, at least one tactile output generator is located on or proximate to a touch-sensitive surface (e.g., touch-sensitive display system 112) and optionally generates a tactile output in response to moving the touch-sensitive surface vertically (e.g., in/out of the surface of device 100) or laterally (e.g., back and forth in the same plane as the surface of device 100). In some embodiments, at least one tactile output generator sensor is located on the back of device 100, opposite touchscreen display 112, which is located on the front of device 100.

デバイス１００はまた、１つ以上の加速度計１６８を任意選択的に含む。図１Ａは、周辺機器インタフェース１１８に結合された加速度計１６８を示す。あるいは、加速度計１６８は、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に任意選択的に結合される。加速度計１６８は、任意選択的に、米国特許出願公開第２００５０１９００５９号、「Ａｃｃｅｌｅｒａｔｉｏｎ－ｂａｓｅｄ Ｔｈｅｆｔ Ｄｅｔｅｃｔｉｏｎ Ｓｙｓｔｅｍ ｆｏｒ Ｐｏｒｔａｂｌｅ Ｅｌｅｃｔｒｏｎｉｃ Ｄｅｖｉｃｅｓ」、及び同第２００６００１７６９２号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ａｐｐａｒａｔｕｓｅｓ Ｆｏｒ Ｏｐｅｒａｔｉｎｇ Ａ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅ Ｂａｓｅｄ Ｏｎ Ａｎ Ａｃｃｅｌｅｒｏｍｅｔｅｒ」で説明されるように機能するものであり、これらの文献の双方は、全体が参照により本明細書に組み込まれる。一部の実施形態では、情報は、１つ以上の加速度計から受信したデータの分析に基づいて、縦長表示又は横長表示でタッチスクリーンディスプレイ上に表示される。デバイス１００は、加速度計（単数又は複数）１６８に加えて、磁気計並びにデバイス１００の位置及び向き（例えば、縦方向又は横方向）に関する情報を取得するためのＧＰＳ（又はＧＬＯＮＡＳＳ又は他のグローバルナビゲーションシステム）受信機を任意選択的に含む。 Device 100 also optionally includes one or more accelerometers 168. FIG. 1A shows accelerometer 168 coupled to peripherals interface 118. Alternatively, accelerometer 168 is optionally coupled to input controller 160 within I/O subsystem 106. The accelerometer 168 optionally functions as described in U.S. Patent Application Publication Nos. 20050190059, "Acceleration-based Theft Detection System for Portable Electronic Devices," and 20060017692, "Methods And Apparatuses For Operating A Portable Device Based On An Accelerometer," both of which are incorporated herein by reference in their entireties. In some embodiments, information is displayed on the touchscreen display in portrait or landscape orientation based on analysis of data received from one or more accelerometers. In addition to accelerometer(s) 168, device 100 optionally includes a magnetometer and a GPS (or GLONASS or other global navigation system) receiver for obtaining information about the location and orientation (e.g., vertical or horizontal) of device 100.

一部の実施形態では、メモリ１０２に記憶されたソフトウェア構成要素は、オペレーティングシステム１２６、通信モジュール（又は命令セット）１２８、接触／動きモジュール（又は命令セット）１３０、グラフィックモジュール（又は命令セット）１３２、テキスト入力モジュール（又は命令セット）１３４、全地球測位システム（Global Positioning System）（ＧＰＳ）モジュール（又は命令セット）１３５及びアプリケーション（又は命令セット）１３６を含む。更に、一部の実施形態において、図１Ａ及び図３に示すように、メモリ１０２（図１Ａ）又はメモリ３７０（図３）は、デバイス／グローバル内部状態１５７を記憶する。デバイス／グローバル内部状態１５７は、以下の１つ以上を含む：現在アクティブ状態のアプリケーションがある場合、どのアプリケーションがアクティブかを示す、アクティブアプリケーション状態、どのアプリケーション、ビュー又は他の情報がタッチスクリーンディスプレイ１１２の様々な領域を占領しているかを示す、表示状態、デバイスの様々なセンサ及び入力制御デバイス１１６から取得される情報を含む、センサ状態、並びに、デバイスの位置及び／又は姿勢に関する位置情報。 In some embodiments, the software components stored in memory 102 include an operating system 126, a communications module (or instruction set) 128, a touch/motion module (or instruction set) 130, a graphics module (or instruction set) 132, a text input module (or instruction set) 134, a Global Positioning System (GPS) module (or instruction set) 135, and applications (or instruction sets) 136. Additionally, in some embodiments, as shown in FIGS. 1A and 3, memory 102 (FIG. 1A) or memory 370 (FIG. 3) stores device/global internal state 157. Device/global internal state 157 includes one or more of the following: an active application state indicating which, if any, applications are currently active; a display state indicating which applications, views, or other information occupy various regions of touchscreen display 112; a sensor state including information obtained from the device's various sensors and input control devices 116; and location information regarding the device's position and/or orientation.

オペレーティングシステム１２６（例えば、Ｄａｒｗｉｎ（登録商標）、ＲＴＸＣ（登録商標）、ＬＩＮＵＸ（登録商標）、ＵＮＩＸ（登録商標）、ＯＳ Ｘ（登録商標）、ｉＯＳ（登録商標）、ＷＩＮＤＯＷＳ（登録商標）、又はＶｘＷｏｒｋｓ（登録商標）などの組み込みオペレーティングシステム）は、一般的なシステムタスク（例えば、メモリ管理、記憶デバイス制御、電力管理など）を制御及び管理するための様々なソフトウェアコンポーネント及び／又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を容易にする。 Operating system 126 (e.g., Darwin®, RTXC®, LINUX®, UNIX®, OS X®, iOS®, WINDOWS®, or an embedded operating system such as VxWorks®) includes various software components and/or drivers for controlling and managing common system tasks (e.g., memory management, storage device control, power management, etc.) and facilitating communication between various hardware and software components.

通信モジュール１２８は、１つ以上の外部ポート１２４を介して他のデバイスとの通信を容易にし、ＲＦ回路１０８及び／又は外部ポート１２４が受信したデータを処理するための様々なソフトウェア構成要素をも含む。外部ポート１２４（例えば、ユニバーサルシリアルバス（Universal Serial Bus）（ＵＳＢ）、ＦＩＲＥＷＩＲＥ（登録商標）など）は、直接的に、又はネットワーク（例えば、インターネット、無線ＬＡＮなど）を通して間接的に、他のデバイスに連結するように適応している。一部の実施形態では、外部ポートは、ｉＰｏｄ（登録商標）（Ａｐｐｌｅ Ｉｎｃ．の商標）デバイス上で使用される３０ピンコネクタと同じか、若しくは同様のマルチピン（例えば、３０ピン）コネクタ、及び／又は互換性のあるマルチピン（例えば、３０ピン）コネクタである。 The communications module 128 facilitates communication with other devices via one or more external ports 124 and also includes various software components for processing data received by the RF circuitry 108 and/or the external ports 124. The external ports 124 (e.g., Universal Serial Bus (USB), FIREWIRE®, etc.) are adapted to couple to other devices directly or indirectly through a network (e.g., the Internet, wireless LAN, etc.). In some embodiments, the external ports are multi-pin (e.g., 30-pin) connectors that are the same as or similar to the 30-pin connector used on iPod® (trademark of Apple Inc.) devices, and/or are compatible multi-pin (e.g., 30-pin) connectors.

接触／動きモジュール１３０は、（ディスプレイコントローラ１５６と連携して）タッチスクリーン１１２及び他のタッチ感知デバイス（例えば、タッチパッド又は物理クリックホイール）との接触を任意選択的に検出する。接触／動きモジュール１３０は、接触が生じたか否かを判定すること（例えば、指を下ろすイベントを検出すること）、接触の強度（例えば、接触の力若しくは圧力、又は接触の力若しくは圧力の代替物）を判定すること、接触の移動が存在するか否かを判定し、タッチ感知面を横断する移動を追跡すること（例えば、指をドラッグする１つ以上のイベントを検出すること）、及び接触が停止したか否かを判定すること（例えば、指を上げるイベント又は接触の中断を検出すること）などの、接触の検出に関する様々な動作を実行するための、様々なソフトウェア構成要素を含む。接触／動きモジュール１３０は、タッチ感知面から接触データを受信する。一連の接触データにより表される接触点の移動を判定することは、任意選択的に、接触点の速さ（大きさ）、速度（大きさ及び方向）、並びに／又は加速度（大きさ及び／又は方向における変化）を判定することを含む。これらの動作は、任意選択的に、単一の接触（例えば、１本の指の接触）又は複数の同時接触（例えば、「マルチタッチ」／複数の指の接触）に適用される。一部の実施形態では、接触／動きモジュール１３０及びディスプレイコントローラ１５６は、タッチパッド上の接触を検出する。 Contact/motion module 130 (in cooperation with display controller 156) optionally detects contact with touch screen 112 and other touch-sensing devices (e.g., a touchpad or physical click wheel). Contact/motion module 130 includes various software components for performing various operations related to contact detection, such as determining whether contact occurs (e.g., detecting a finger-down event), determining the intensity of the contact (e.g., contact force or pressure, or a surrogate for contact force or pressure), determining whether there is contact movement and tracking the movement across the touch-sensitive surface (e.g., detecting one or more finger-drag events), and determining whether contact has stopped (e.g., detecting a finger-up event or contact cessation). Contact/motion module 130 receives contact data from the touch-sensitive surface. Determining the movement of the contact point represented by the set of contact data optionally includes determining the speed (magnitude), velocity (magnitude and direction), and/or acceleration (change in magnitude and/or direction) of the contact point. These actions are optionally applied to a single contact (e.g., a single finger contact) or multiple simultaneous contacts (e.g., "multi-touch"/multiple finger contacts). In some embodiments, contact/motion module 130 and display controller 156 detect contacts on a touchpad.

一部の実施形態では、接触／動きモジュール１３０は、ユーザによって動作が実行されたか否かを判定するための（例えば、ユーザがアイコン上で「クリック」したか否かを判定するための）、１つ以上の強度閾値のセットを使用する。一部の実施形態では、強度閾値の少なくともサブセットは、ソフトウェアパラメータに従って判定される（例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によっては判定されず、デバイス１００の物理ハードウェアを変更することなく調整することができる）。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイのハードウェアを変更することなく、広範囲の予め定義された閾値のうちのいずれかに設定されてもよい。加えて、一部の実装形態では、デバイスのユーザは、強度閾値のセットのうちの１つ以上を調整するためのソフトウェア設定が提供される（例えば、個々の強度閾値を調整することによって、及び／又はシステムレベルのクリック「強度」パラメータで一度に複数の強度閾値を調整することによって）。 In some embodiments, the contact/motion module 130 uses a set of one or more intensity thresholds to determine whether an action has been performed by the user (e.g., whether the user has "clicked" on an icon). In some embodiments, at least a subset of the intensity thresholds are determined according to software parameters (e.g., the intensity thresholds are not determined by the activation threshold of a particular physical actuator and can be adjusted without modifying the physical hardware of the device 100). For example, the mouse "click" threshold of a trackpad or touchscreen display may be set to any of a wide range of predefined thresholds without modifying the trackpad or touchscreen display hardware. Additionally, in some implementations, a device user is provided with a software setting to adjust one or more of the set of intensity thresholds (e.g., by adjusting individual intensity thresholds and/or by adjusting multiple intensity thresholds at once with a system-level click "intensity" parameter).

接触／動きモジュール１３０は、ユーザによるジェスチャ入力を任意選択的に検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターン（例えば、検出される接触の異なる動き、タイミング、及び／又は強度）を有する。このように、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指のタップジェスチャを検出することは、（例えば、アイコンの位置での）指を下ろすイベントを検出し、続いてその指を下ろすイベントと同じ位置（又は、実質的に同じ位置）で指を上げる（リフトオフ）イベントを検出することを含む。別の実施例として、タッチ感知面上での指のスワイプジェスチャを検出することは、指を下ろすイベントを検出し、続いて、１つ以上の、指をドラッグするイベントを検出し、その後、続いて指を上げる（リフトオフ）イベントを検出することを含む。 Contact/motion module 130 optionally detects gesture input by a user. Different gestures on the touch-sensitive surface have different contact patterns (e.g., different movements, timing, and/or intensities of detected contacts). Thus, gestures are optionally detected by detecting particular contact patterns. For example, detecting a finger tap gesture includes detecting a finger down event (e.g., at an icon location), followed by detecting a finger lift (lift-off) event at the same location (or substantially the same location) as the finger down event. As another example, detecting a finger swipe gesture on the touch-sensitive surface includes detecting a finger down event, followed by detecting one or more finger drag events, followed by detecting a finger lift (lift-off) event.

グラフィックモジュール１３２は、表示されるグラフィックの視覚的効果（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性）を変更するための構成要素を含む、タッチスクリーン１１２又は他のディスプレイ上にグラフィックをレンダリングして表示するための、様々な既知のソフトウェア構成要素を含む。本明細書で使用されるとき、用語「グラフィック」は、テキスト、ウェブページ、アイコン（ソフトキーを含むユーザインタフェースオブジェクトなど）、デジタル画像、ビデオ、アニメーションなどを含むがこれらに限定はされない、ユーザに対して表示することができる任意のオブジェクトを含む。 The graphics module 132 includes various known software components for rendering and displaying graphics on the touchscreen 112 or other display, including components for modifying the visual effects (e.g., brightness, transparency, saturation, contrast, or other visual characteristics) of the displayed graphics. As used herein, the term "graphics" includes any object that can be displayed to a user, including, but not limited to, text, web pages, icons (e.g., user interface objects, including soft keys), digital images, video, animation, etc.

一部の実施形態では、グラフィックモジュール１３２は、使用予定のグラフィックを表すデータを記憶する。各グラフィックは任意選択で、対応するコードが割り当てられる。グラフィックモジュール１３２は、アプリケーションなどから、必要に応じて、座標データ及び他のグラフィック特性データと共に表示されることとなるグラフィックを指定する１つ以上のコードを受信し、次いで、ディスプレイコントローラ１５６に出力する画面の画像データを生成する。 In some embodiments, graphics module 132 stores data representing graphics to be used. Each graphic is optionally assigned a corresponding code. Graphics module 132 receives one or more codes specifying the graphics to be displayed, along with coordinate data and other graphic characteristic data, as appropriate, from an application or the like, and then generates screen image data for output to display controller 156.

触覚フィードバックモジュール１３３は、デバイス１００とのユーザ対話に応じて、デバイス１００上の１つ以上の位置で触知出力を生成するために、触知出力生成器（単数又は複数）１６７によって使用される命令を生成する様々なソフトウェア構成要素を含む。 The haptic feedback module 133 includes various software components that generate instructions used by the tactile output generator(s) 167 to generate tactile outputs at one or more locations on the device 100 in response to user interaction with the device 100.

テキスト入力モジュール１３４は任意選択的に、グラフィックモジュール１３２の構成要素であり、様々なアプリケーション（例えば、連絡先１３７、電子メール１４０、ＩＭ１４１、ブラウザ１４７、及びテキスト入力を必要とする任意の他のアプリケーション）でテキストを入力するためのソフトキーボードを提供する。 Text input module 134 is optionally a component of graphics module 132 and provides a soft keyboard for entering text in various applications (e.g., contacts 137, email 140, IM 141, browser 147, and any other application requiring text input).

ＧＰＳモジュール１３５は、デバイスの位置を判定し、この情報を、様々なアプリケーションでの使用のために提供する（例えば、位置に基づく電話での使用のために電話１３８へ、写真／ビデオメタデータとしてカメラ１４３へ、並びに、天気ウィジェット、ローカルイエローページウィジェット及び地図／ナビゲーションウィジェットなどの、位置に基づくサービスを提供するアプリケーションへ）。 GPS module 135 determines the device's location and provides this information for use by various applications (e.g., to phone 138 for location-based telephony use, to camera 143 as photo/video metadata, and to applications that provide location-based services such as weather widgets, local yellow pages widgets, and map/navigation widgets).

アプリケーション１３６は、以下のモジュール（若しくは命令セット）、又はそれらのサブセット若しくはスーパーセットを任意選択的に含む。
●連絡先モジュール１３７（場合により、アドレス帳又は連絡先リストとも呼ぶ）、
●電話モジュール１３８、
●テレビ会議モジュール１３９、
●電子メールクライアントモジュール１４０、
●インスタントメッセージング（ＩＭ）モジュール１４１、
●トレーニングサポートモジュール１４２、
●静止画像及び／又はビデオ画像用のカメラモジュール１４３、
●画像管理モジュール１４４、
●ビデオプレーヤモジュール、
●音楽プレーヤモジュール、
●ブラウザモジュール１４７、
●カレンダモジュール１４８、
●天気ウィジェット１４９－１、株式ウィジェット１４９－２、計算機ウィジェット１４９－３、アラーム時計ウィジェット１４９－４、辞書ウィジェット１４９－５及びユーザによって取得された他のウィジェット、並びにユーザ作成ウィジェット１４９－６のうちの１つ以上を任意選択的に含む、ウィジェットモジュール１４９、
●ユーザ作成ウィジェット１４９－６を作成するためのウィジェットクリエータモジュール１５０、
●検索モジュール１５１、
●ビデオプレーヤモジュール及び音楽プレーヤモジュールを統合した、ビデオ及び音楽プレーヤモジュール１５２、
●メモモジュール１５３、
●地図モジュール１５４、及び／又は
●オンラインビデオモジュール１５５。 Application 136 optionally includes the following modules (or sets of instructions), or a subset or superset thereof:
Contacts module 137 (sometimes referred to as an address book or contact list);
● Telephone module 138,
● videoconferencing module 139;
● email client module 140;
● Instant messaging (IM) module 141;
training support module 142;
camera module 143 for still and/or video images,
Image management module 144;
●Video player module,
●Music player module,
Browser module 147,
● calendar module 148;
A widget module 149, optionally including one or more of a weather widget 149-1, a stocks widget 149-2, a calculator widget 149-3, an alarm clock widget 149-4, a dictionary widget 149-5 and other widgets obtained by the user, and user-created widgets 149-6;
• A widget creator module 150 for creating user-created widgets 149-6;
Search module 151;
A video and music player module 152 that integrates a video player module and a music player module;
Memo module 153,
• a map module 154; and/or • an online video module 155.

任意選択的にメモリ１０２内に記憶される他のアプリケーション１３６の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ＪＡＶＡ（登録商標）対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。 Examples of other applications 136 that may optionally be stored in memory 102 include other word processing applications, other image editing applications, drawing applications, presentation applications, JAVA®-enabled applications, encryption, digital rights management, voice recognition, and voice duplication.

タッチスクリーン１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と共に、連絡先モジュール１３７は、（例えば、メモリ１０２又はメモリ３７０内の連絡先モジュール１３７のアプリケーション内部状態１９２に記憶される）アドレスブック又は連絡先リストを管理するために任意選択的に用いられ、それには、アドレスブックに名前（単数又は複数）を加えること、アドレス帳から名前（単数又は複数）を削除すること、電話番号（単数又は複数）、電子メールアドレス（単数又は複数）、住所（単数又は複数）、又は他の情報を名前と関連付けること、画像を名前と関連付けること、名前を分類かつ並べ替えること、電話番号又は電子メールアドレスを提供して、電話１３８、テレビ会議モジュール１３９、電子メール１４０、又はＩＭ１４１による通信を開始する及び／又は容易にすること、などが含まれる。 The contacts module 137, along with the touch screen 112, display controller 156, touch module 130, graphics module 132, and text input module 134, is optionally used to manage an address book or contact list (e.g., stored in memory 102 or in the application internal state 192 of the contacts module 137 in memory 370), including adding a name(s) to the address book, deleting a name(s) from the address book, associating phone number(s), email address(es), address(es), or other information with a name, associating an image with a name, categorizing and sorting names, providing phone numbers or email addresses to initiate and/or facilitate communication via telephone 138, videoconferencing module 139, email 140, or IM 141, etc.

ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、電話モジュール１３８は、任意選択的に、電話番号に対応する一連の文字を入力し、連絡先モジュール１３７内の１つ以上の電話番号にアクセスし、入力された電話番号を修正し、対応する電話番号をダイアルし、会話を行い、そして、会話が完了した際に接続を切るか又は電話を切るために、使用する。上述のように、無線通信は、複数の通信規格、プロトコル、及び技術のうちのいずれかを任意選択的に使用する。 In conjunction with the RF circuitry 108, audio circuitry 110, speaker 111, microphone 113, touchscreen 112, display controller 156, contact/motion module 130, graphics module 132, and text input module 134, the telephone module 138 is optionally used to enter a series of characters corresponding to a telephone number, access one or more telephone numbers in the contacts module 137, modify an entered telephone number, dial the corresponding telephone number, conduct a conversation, and disconnect or hang up when the conversation is completed. As noted above, wireless communication optionally uses any of a number of communication standards, protocols, and technologies.

ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、光センサ１６４、光センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、連絡先モジュール１３７、及び電話モジュール１３８と連携して、テレビ会議モジュール１３９は、ユーザの指示に従って、ユーザと１人以上の他の参加者との間のテレビ会議を開始し、遂行し、終了するための、実行可能な命令を含む。 In conjunction with the RF circuitry 108, audio circuitry 110, speaker 111, microphone 113, touch screen 112, display controller 156, light sensor 164, light sensor controller 158, contact/motion module 130, graphics module 132, text input module 134, contact module 137, and telephone module 138, the videoconferencing module 139 contains executable instructions for initiating, conducting, and terminating a videoconference between a user and one or more other participants in accordance with the user's instructions.

ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、電子メールクライアントモジュール１４０は、ユーザの指示に応じて、電子メールを作成し、送信し、受信し、管理するための、実行可能な命令を含む。画像管理モジュール１４４と連携して、電子メールクライアントモジュール１４０は、カメラモジュール１４３で撮影された静止画像又はビデオ画像を有する電子メールを作成及び送信することを非常に容易にする。 In conjunction with the RF circuitry 108, touch screen 112, display controller 156, contact/motion module 130, graphics module 132, and text input module 134, the email client module 140 contains executable instructions for creating, sending, receiving, and managing emails in response to user instructions. In conjunction with the image management module 144, the email client module 140 greatly facilitates creating and sending emails with still or video images captured by the camera module 143.

ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、インスタントメッセージングモジュール１４１は、インスタントメッセージに対応する文字列を入力したり、入力済の文字を修正したり、（例えば、電話ベースのインスタントメッセージのためのショートメッセージサービス（ＳＭＳ）若しくはマルチメディアメッセージサービス（ＭＭＳ）プロトコルを使用して、又はインターネットベースのインスタントメッセージのためのＸＭＰＰ、ＳＩＭＰＬＥ、若しくはＩＭＰＳを使用して）対応するインスタントメッセージを送信したり、インスタントメッセージを受信したり、及び受信したインスタントメッセージを閲覧したりする、実行可能な命令を含む。一部の実施形態では、送信及び／又は受信されるインスタントメッセージは、任意選択的に、ＭＭＳ及び／又は拡張メッセージングサービス（Enhanced Messaging Service、ＥＭＳ）でサポートされるような、グラフィック、写真、音声ファイル、ビデオファイル、及び／又は他の添付ファイルを含む。本明細書において使用するとき、「インスタントメッセージング」とは、電話ベースのメッセージ（例えば、ＳＭＳ又はＭＭＳを使用して送信されるメッセージ）及びインターネットベースのメッセージ（例えば、ＸＭＰＰ、ＳＩＭＰＬＥ、又はＩＭＰＳを使用して送信されるメッセージ）の双方を指す。 In cooperation with the RF circuitry 108, touch screen 112, display controller 156, contact/motion module 130, graphics module 132, and text input module 134, instant messaging module 141 includes executable instructions for entering text corresponding to an instant message, modifying entered text, sending the corresponding instant message (e.g., using Short Message Service (SMS) or Multimedia Message Service (MMS) protocols for telephone-based instant messaging, or using XMPP, SIMPLE, or IMPS for Internet-based instant messaging), receiving instant messages, and viewing received instant messages. In some embodiments, sent and/or received instant messages optionally include graphics, photos, audio files, video files, and/or other attachments, such as those supported by MMS and/or Enhanced Messaging Service (EMS). As used herein, "instant messaging" refers to both telephone-based messages (e.g., messages sent using SMS or MMS) and internet-based messages (e.g., messages sent using XMPP, SIMPLE, or IMPS).

ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、地図モジュール１５４及び音楽プレーヤモジュールと連携して、トレーニングサポートモジュール１４２は、（例えば、時間、距離及び／又はカロリー消費目標を有する）トレーニングを作成する、トレーニングセンサ（スポーツデバイス）と通信することと、トレーニングセンサデータを受信することと、トレーニングをモニタするために使用されるセンサを較正することと、トレーニングのための音楽を選択し、再生することと、トレーニングデータを表示し、記憶し、送信すること。 In conjunction with the RF circuitry 108, touchscreen 112, display controller 156, contact/motion module 130, graphics module 132, text input module 134, GPS module 135, map module 154, and music player module, the training support module 142 creates workouts (e.g., with time, distance, and/or calorie burn goals), communicates with training sensors (sports devices), receives training sensor data, calibrates sensors used to monitor workouts, selects and plays music for workouts, and displays, stores, and transmits workout data.

タッチスクリーン１１２、ディスプレイコントローラ１５６、光センサ（単数又は複数）１６４、光センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、及び画像管理モジュール１４４と連携して、カメラモジュール１４３は、静止画像若しくは（ビデオストリームを含む）ビデオをキャプチャしてメモリ１０２にそれらを記憶する、静止画像若しくはビデオの特性を変更する、又はメモリ１０２から静止画像若しくはビデオを削除する、実行可能な命令を含む。 In conjunction with the touch screen 112, display controller 156, light sensor(s) 164, light sensor controller 158, contact/motion module 130, graphics module 132, and image management module 144, the camera module 143 contains executable instructions to capture still images or video (including video streams) and store them in memory 102, change the characteristics of the still images or video, or delete the still images or video from memory 102.

タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４及びカメラモジュール１４３と連携して、画像管理モジュール１４４は、静止画像及び／又はビデオ画像を配置し、修正し（例えば、編集し）又は別の方法で操作し、ラベルを付け、削除し、（例えば、デジタルスライドショー又はアルバムにおいて）提示し、記憶するための、実行可能な命令を含む。 In conjunction with the touchscreen 112, display controller 156, contact/motion module 130, graphics module 132, text input module 134, and camera module 143, the image management module 144 includes executable instructions for arranging, modifying (e.g., editing) or otherwise manipulating, labeling, deleting, presenting (e.g., in a digital slideshow or album), and storing still and/or video images.

ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及び、テキスト入力モジュール１３４と連携して、ブラウザモジュール１４７は、ウェブページ又はそれらの一部、並びにウェブページにリンクされた添付及び他のファイルを検索し、リンク付けし、受信し、表示することを含むユーザの指示に従い、インターネットを閲覧する実行可能な命令を含む。 In conjunction with the RF circuitry 108, touch screen 112, display controller 156, contact/motion module 130, graphics module 132, and text input module 134, the browser module 147 contains executable instructions for browsing the Internet at the user's direction, including retrieving, linking to, receiving, and displaying web pages or portions thereof, as well as attachments and other files linked to web pages.

ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と連携して、カレンダモジュール１４８は、ユーザの指示に従い、カレンダ及びカレンダに関連付けられたデータ（例えば、カレンダ項目、ｔｏ ｄｏリストなど）を作成し、表示し、変更し、記憶する実行可能な命令を含む。 In conjunction with the RF circuitry 108, touch screen 112, display controller 156, contact/motion module 130, graphics module 132, text input module 134, email client module 140, and browser module 147, the calendar module 148 contains executable instructions to create, display, modify, and store calendars and data associated with the calendars (e.g., calendar entries, to-do lists, etc.) in accordance with user instructions.

ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と併せて、ウィジェットモジュール１４９は、ユーザによって任意選択的にダウンロードされて使用されるミニアプリケーション（例えば、気象ウィジェット１４９－１、株価ウィジェット１４９－２、計算機ウィジェット１４９－３、アラーム時計ウィジェット１４９－４、及び辞書ウィジェット１４９－５）、又はユーザによって作成されるミニアプリケーション（例えば、ユーザ作成ウィジェット１４９－６）である。一部の実施形態では、ウィジェットは、ＨＴＭＬ（Ｈｙｐｅｒｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）（ハイパーテキストマークアップ言語）ファイル、ＣＳＳ（Ｃａｓｃａｄｉｎｇ Ｓｔｙｌｅ Ｓｈｅｅｔｓ）（カスケーディングスタイルシート）ファイル及びＪａｖａＳｃｒｉｐｔファイルを含む。一部の実施形態では、ウィジェットは、ＸＭＬ（拡張可能マークアップ言語）ファイル及びＪａｖａＳｃｒｉｐｔファイル（例えば、Ｙａｈｏｏ！ウィジェット）を含む。 In conjunction with the RF circuitry 108, touch screen 112, display controller 156, touch/motion module 130, graphics module 132, text input module 134, and browser module 147, widget module 149 is a mini-application (e.g., weather widget 149-1, stock price widget 149-2, calculator widget 149-3, alarm clock widget 149-4, and dictionary widget 149-5) that is optionally downloaded and used by the user, or a mini-application (e.g., user-created widget 149-6) that is created by the user. In some embodiments, the widget includes an HTML (Hypertext Markup Language) file, a CSS (Cascading Style Sheets) file, and a JavaScript file. In some embodiments, a widget includes an XML (Extensible Markup Language) file and a JavaScript file (e.g., Yahoo! Widgets).

ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と連携して、ウィジェットクリエータモジュール１５０は、任意選択的に、ウィジェットを作成する（例えば、ウェブページのユーザ指定箇所をウィジェットに変える）ために、ユーザによって使用する。 In conjunction with the RF circuitry 108, touch screen 112, display controller 156, touch/motion module 130, graphics module 132, text input module 134, and browser module 147, the widget creator module 150 is optionally used by a user to create widgets (e.g., turn user-specified portions of a web page into widgets).

タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、検索モジュール１５１は、ユーザの指示に従い、１つ以上の検索基準（例えば、１つ以上のユーザ指定の検索語句）と一致する、メモリ１０２内のテキスト、音楽、音、画像、ビデオ、及び／又は他のファイルを検索するための、実行可能な命令を含む。 In cooperation with the touch screen 112, display controller 156, contact/motion module 130, graphics module 132, and text input module 134, the search module 151 contains executable instructions for searching the memory 102 for text, music, sound, images, video, and/or other files that match one or more search criteria (e.g., one or more user-specified search terms) in accordance with user instructions.

タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８及びブラウザモジュール１４７と連携して、ビデオ及び音楽プレーヤモジュール１５２は、ＭＰ３又はＡＡＣファイルなどの１つ以上のファイル形式で記憶された録音済みの音楽及び他のサウンドファイルをユーザがダウンロード及び再生できるようにする実行可能な命令、並びにビデオを（タッチスクリーン１１２上又は外部ポート１２４を介して接続された外部のディスプレイ上に）表示、提示又は別の方法で再生するための実行可能な命令を含む。一部の実施形態では、デバイス１００は、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）などのＭＰ３プレーヤの機能を任意選択的に含む。 In conjunction with touchscreen 112, display controller 156, contact/motion module 130, graphics module 132, audio circuitry 110, speaker 111, RF circuitry 108, and browser module 147, video and music player module 152 includes executable instructions that enable a user to download and play pre-recorded music and other sound files stored in one or more file formats, such as MP3 or AAC files, as well as executable instructions for displaying, presenting, or otherwise playing videos (on touchscreen 112 or on an external display connected via external port 124). In some embodiments, device 100 optionally includes the functionality of an MP3 player, such as an iPod (trademark of Apple Inc.).

タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２及びテキスト入力モジュール１３４と連携して、メモモジュール１５３は、ユーザの指示に従って、メモ、ｔｏ ｄｏリストなどを作成し、管理するための実行可能な命令を含む。 In conjunction with the touch screen 112, display controller 156, contact/motion module 130, graphics module 132, and text input module 134, the notes module 153 contains executable instructions for creating and managing notes, to-do lists, and the like, in accordance with user instructions.

ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、及びブラウザモジュール１４７と連携して、地図モジュール１５４は、任意選択的に、ユーザの指示に従い、地図及び地図に関連付けられたデータ（例えば、運転方向、特定の位置又はその近くの店舗及び他の見所のデータ、並びに他の位置ベースのデータ）を受信し、表示し、変更し、及び記憶するために、使用する。 In conjunction with the RF circuitry 108, touchscreen 112, display controller 156, contact/motion module 130, graphics module 132, text input module 134, GPS module 135, and browser module 147, the map module 154 is optionally used to receive, display, modify, and store maps and data associated with the maps (e.g., driving directions, data about businesses and other points of interest at or near a particular location, and other location-based data) in accordance with user instructions.

タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０及びブラウザモジュール１４７と連携して、オンラインビデオモジュール１５５は、ユーザがＨ．２６４などの１つ以上のファイル形式のオンラインビデオにアクセスし、閲覧し、（例えば、ストリーミング及び／又はダウンロードにより）受信し、（例えば、タッチスクリーン上で又は外部ポート１２４を介して接続された外部のディスプレイ上で）再生し、特定のオンラインビデオへのリンクを含む電子メールを送信し、別の方法で管理することが可能となる命令を含む。一部の実施形態では、特定のオンラインビデオへのリンクを送信するために、電子メールクライアントモジュール１４０ではなく、インスタントメッセージングモジュール１４１が使用される。オンラインビデオアプリケーションの追加の説明は、２００７年６月２０日に出願された米国特許仮出願第６０／９３６，５６２号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」、及び２００７年１２月３１日に出願された米国特許出願第１１／９６８，０６７号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」に見出すことができ、これらの出願の内容はその全体が本明細書において参照により組み込まれている。 In conjunction with the touchscreen 112, display controller 156, contact/motion module 130, graphics module 132, audio circuitry 110, speaker 111, RF circuitry 108, text input module 134, email client module 140, and browser module 147, online video module 155 contains instructions that enable a user to access, view, receive (e.g., by streaming and/or downloading), and play (e.g., on the touchscreen or on an external display connected via external port 124) online videos in one or more file formats, such as H.264, and send and otherwise manage emails containing links to particular online videos. In some embodiments, instant messaging module 141 is used to send links to particular online videos, rather than email client module 140. Additional description of online video applications can be found in U.S. Provisional Patent Application No. 60/936,562, filed June 20, 2007, entitled "Portable Multifunction Device, Method, and Graphical User Interface for Playing Online Videos," and U.S. Patent Application No. 11/968,067, filed December 31, 2007, entitled "Portable Multifunction Device, Method, and Graphical User Interface for Playing Online Videos," the contents of which are incorporated herein by reference in their entireties.

上記で特定されたモジュール及びアプリケーションのそれぞれは、１つ以上の上記の機能を実行する実行可能な命令セット及び本出願に記載の方法（例えば、コンピュータにより実装される方法及び本明細書に記載の他の情報処理方法）に対応する。これらのモジュール（例えば、命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、それゆえ、様々な実施形態では、任意選択的に、これらのモジュールの様々な部分集合を組み合わせるか、又は他の方式で再編成する。例えば、ビデオプレーヤモジュールは、任意選択的に、音楽プレーヤモジュールと組み合わせて、単一のモジュール（例えば、図１Ａのビデオ及び音楽プレーヤモジュール１５２）とする。一部の実施形態では、メモリ１０２は、上記で特定されたモジュール及びデータ構造のサブセットを任意選択的に記憶する。更に、メモリ１０２は、上述していない追加のモジュール及びデータ構造を任意選択的に記憶する。 Each of the above-identified modules and applications corresponds to an executable instruction set and method described herein (e.g., computer-implemented methods and other information processing methods described herein) that performs one or more of the above-identified functions. These modules (e.g., instruction sets) need not be implemented as separate software programs, procedures, or modules; thus, various embodiments optionally combine or otherwise rearrange various subsets of these modules. For example, a video player module is optionally combined with a music player module into a single module (e.g., video and music player module 152 of FIG. 1A). In some embodiments, memory 102 optionally stores a subset of the above-identified modules and data structures. Additionally, memory 102 optionally stores additional modules and data structures not described above.

一部の実施形態では、デバイス１００は、デバイス上で予め定義された機能の組の動作がタッチスクリーン及び／又はタッチパッドを通じて排他的に実行されるデバイスである。デバイス１００の動作のための主要な入力制御デバイスとしてタッチスクリーン及び／又はタッチパッドを使用することによって、デバイス１００上の物理的な入力制御デバイス（プッシュボタン、ダイアルなど）の数が任意選択で削減される。 In some embodiments, device 100 is a device on which operation of a predefined set of functions is performed exclusively through a touchscreen and/or touchpad. By using the touchscreen and/or touchpad as the primary input control device for operation of device 100, the number of physical input control devices (push buttons, dials, etc.) on device 100 is optionally reduced.

タッチスクリーン及び／又はタッチパッドを通じて排他的に実行される予め定義された機能のセットは、ユーザインタフェース間のナビゲーションを任意選択的に含む。一部の実施形態では、タッチパッドは、ユーザによってタッチされると、デバイス１００上で表示される任意のユーザインタフェースから、メインメニュー、ホームメニュー、又はルートメニューにデバイス１００をナビゲートする。そのような実施形態では、「メニューボタン」はタッチパッドを使用して実装される。一部の他の実施形態では、メニューボタンは、タッチパッドの代わりに、物理プッシュボタン又は他の物理入力制御デバイスである。 The set of predefined functions performed exclusively through the touchscreen and/or touchpad optionally includes navigation between user interfaces. In some embodiments, the touchpad, when touched by a user, navigates device 100 to a main menu, home menu, or root menu from any user interface displayed on device 100. In such embodiments, a "menu button" is implemented using the touchpad. In some other embodiments, the menu button is a physical push button or other physical input control device instead of a touchpad.

図１Ｂは、一部の実施形態に従った、イベント処理のための例示的な構成要素を示すブロック図である。一部の実施形態では、メモリ１０２（図１Ａ）又はメモリ３７０（図３）は、イベントソータ１７０（例えば、オペレーティングシステム１２６内）及び対応するアプリケーション１３６－１（例えば、上述のアプリケーション１３７～１５１、１５５、３８０～３９０のうちのいずれか）を含む。 FIG. 1B is a block diagram illustrating exemplary components for event processing, according to some embodiments. In some embodiments, memory 102 (FIG. 1A) or memory 370 (FIG. 3) includes event sorter 170 (e.g., within operating system 126) and corresponding application 136-1 (e.g., any of applications 137-151, 155, 380-390 described above).

イベントソート部１７０は、イベント情報を受信し、イベント情報が配信されるアプリケーション１３６－１及びアプリケーション１３６－１のアプリケーションビュー１９１を判定する。イベントソート部１７０は、イベントモニタ１７１及びイベントディスパッチャモジュール１７４を含む。一部の実施形態では、アプリケーション１３６－１には、アプリケーションがアクティブ又は実行中のときに、タッチ感知ディスプレイ１１２上に表示される現在のアプリケーションビュー（単数又は複数）を示す、アプリケーション内部状態１９２が含まれる。一部の実施形態では、デバイス／グローバル内部状態１５７は、いずれのアプリケーション（単数又は複数）が現在アクティブであるかを判定するために、イベントソータ１７０によって使用され、アプリケーション内部状態１９２は、イベント情報の配信先となるアプリケーションビュー１９１を決定するために、イベントソータ１７０によって使用される。 Event sorter 170 receives the event information and determines application 136-1 and application view 191 of application 136-1 to which the event information should be delivered. Event sorter 170 includes event monitor 171 and event dispatcher module 174. In some embodiments, application 136-1 includes application internal state 192 that indicates the current application view(s) that are displayed on touch-sensitive display 112 when the application is active or running. In some embodiments, device/global internal state 157 is used by event sorter 170 to determine which application(s) are currently active, and application internal state 192 is used by event sorter 170 to determine the application view(s) to which the event information should be delivered.

一部の実施形態では、アプリケーション内部状態１９２は、アプリケーション１３６－１が実行を再開するときに使用される再開情報、アプリケーション１３６－１によって表示されているか又は表示の準備がされている情報を示すユーザインタフェース状態情報、ユーザがアプリケーション１３６－１の前の状態又はビューに戻ることを可能にするための状態待ち行列、及びユーザが行った前のアクションのリドゥ／アンドゥ待ち行列、のうちの１つ以上などの追加の情報を含む。 In some embodiments, application internal state 192 includes additional information such as one or more of resume information used when application 136-1 resumes execution, user interface state information indicating information being displayed or prepared for display by application 136-1, a state queue to allow the user to return to a previous state or view of application 136-1, and a redo/undo queue of previous actions taken by the user.

イベントモニタ１７１は、周辺機器インタフェース１１８からイベント情報を受信する。イベント情報は、サブイベント（例えば、マルチタッチジェスチャの一部としての、タッチ感知ディスプレイ１１２上のユーザタッチ）についての情報を含む。周辺機器インタフェース１１８は、Ｉ／Ｏサブシステム１０６、又は近接センサ１６６、加速度計（単数又は複数）１６８、及び／若しくは（オーディオ回路１１０を通じて）マイクロフォン１１３などのセンサから受信する情報を送信する。周辺機器インタフェース１１８がＩ／Ｏサブシステム１０６から受信する情報は、タッチ感知ディスプレイ１１２又はタッチ感知面からの情報を含む。 Event monitor 171 receives event information from peripherals interface 118. The event information includes information about sub-events (e.g., a user touch on touch-sensitive display 112 as part of a multi-touch gesture). Peripherals interface 118 transmits information it receives from I/O subsystem 106 or sensors such as proximity sensor 166, accelerometer(s) 168, and/or microphone 113 (through audio circuitry 110). Information that peripherals interface 118 receives from I/O subsystem 106 includes information from touch-sensitive display 112 or a touch-sensitive surface.

一部の実施形態では、イベントモニタ１７１は、所定の間隔で周辺機器インタフェース１１８に要求を送信する。それに応じて、周辺機器インタフェース１１８はイベント情報を送信する。他の実施形態では、周辺機器インタフェース１１８は、重要なイベント（例えば、所定のノイズ閾値を上回るかつ／又は所定の期間よりも長い入力を受信すること）が存在するときのみ、イベント情報を送信する。 In some embodiments, event monitor 171 sends requests to peripherals interface 118 at predetermined intervals. In response, peripherals interface 118 transmits event information. In other embodiments, peripherals interface 118 transmits event information only when there is a significant event (e.g., receiving an input above a predetermined noise threshold and/or for longer than a predetermined duration).

いくつかの実施形態では、イベントソータ１７０はまた、ヒットビュー判定モジュール１７２及び／又はアクティブイベント認識部判定モジュール１７３を含む。 In some embodiments, event sorter 170 also includes a hit view determination module 172 and/or an active event recognizer determination module 173.

ヒットビュー判定モジュール１７２は、タッチ感知ディスプレイ１１２が２つ以上のビューを表示した際に、１つ以上のビュー内のどこにおいてサブイベントが発生したかを判定するためのソフトウェア手続きを提供する。ビューは、制御部及びユーザがディスプレイ上で見ることが可能な他の要素で構成される。 Hit view determination module 172 provides software procedures for determining where a sub-event occurred within one or more views when touch-sensitive display 112 displays two or more views. A view consists of controls and other elements that a user can see on the display.

アプリケーションに関連付けられたユーザインタフェースの別の態様は、本明細書においてアプリケーションビュー又はユーザインタフェースウィンドウと呼ばれる場合があるビューのセットであり、それらの中で情報が表示され、タッチに基づくジェスチャが生じる。タッチが検出される（それぞれのアプリケーションの）アプリケーションビューは、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに任意選択的に対応する。例えば、タッチが検出される最下位レベルのビューは任意選択で、ヒットビューと呼ばれ、また、適切な入力として認識されるイベントの組は任意選択で、タッチに基づくジェスチャを開始する初期のタッチのヒットビューに少なくとも部分的に基づいて判定される。 Another aspect of a user interface associated with an application is a set of views, sometimes referred to herein as application views or user interface windows, in which information is displayed and touch-based gestures occur. The application views (of each application) in which touches are detected optionally correspond to program levels within the application's programmatic or view hierarchy. For example, the lowest-level view in which touches are detected is optionally referred to as the hit view, and the set of events that are recognized as appropriate inputs is optionally determined based at least in part on the hit view of the initial touch that initiates the touch-based gesture.

ヒットビュー判定モジュール１７２は、タッチに基づくジェスチャのサブイベントに関連する情報を受信する。アプリケーションが階層において編成された複数のビューを有するとき、ヒットビュー判定モジュール１７２は、サブイベントを処理するべき階層内の最下位のビューとしてヒットビューを特定する。ほとんどの状況では、ヒットビューは、最初のサブイベント（例えば、イベント又は潜在的なイベントを形成するサブイベントのシーケンスにおける最初のサブイベント）が発生する最下位レベルのビューである。ヒットビューがヒットビュー判定モジュール１７２によって特定されると、ヒットビューは、それがヒットビューとして特定された、同じタッチ又は入力ソースに関連するすべてのサブイベントを一般的に受信する。 Hit view determination module 172 receives information related to sub-events of a touch-based gesture. When an application has multiple views organized in a hierarchy, hit view determination module 172 identifies the hit view as the lowest view in the hierarchy that should process the sub-events. In most situations, the hit view is the lowest-level view in which the first sub-event occurs (e.g., the first sub-event in a sequence of sub-events that form an event or potential event). Once a hit view is identified by hit view determination module 172, the hit view typically receives all sub-events related to the same touch or input source for which it was identified as the hit view.

アクティブイベント認識部判定モジュール１７３は、ビュー階層内のどのビュー（単数又は複数）がサブイベントの特定のシーケンスを受信すべきかを判定する。一部の実施形態では、アクティブイベント認識部判定モジュール１７３は、ヒットビューのみがサブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール１７３は、サブイベントの物理位置を含むすべてのビューはアクティブに関わっているビューであると判定し、したがって、すべてのアクティブに関わっているビューは、サブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、タッチサブイベントがある特定のビューに関連付けられた領域に完全に限定されたとしても、階層の上位のビューは、依然としてアクティブに関わっているビューであり続ける。 Active event recognizer determination module 173 determines which view(s) in the view hierarchy should receive the particular sequence of sub-events. In some embodiments, active event recognizer determination module 173 determines that only the hit view should receive the particular sequence of sub-events. In other embodiments, active event recognizer determination module 173 determines that all views that contain the physical location of the sub-event are actively participating views, and therefore all actively participating views should receive the particular sequence of sub-events. In other embodiments, even if the touch sub-event is completely confined to the area associated with a particular view, views higher in the hierarchy remain actively participating views.

イベントディスパッチャモジュール１７４は、イベント情報をイベント認識部（例えば、イベント認識部１８０）にディスパッチする。アクティブイベント認識部判定モジュール１７３を含む実施形態において、イベントディスパッチャモジュール１７４は、アクティブイベント認識部判定モジュール１７３により判定されたイベント認識部にイベント情報を配信する。一部の実施形態では、イベントディスパッチャモジュール１７４は、対応するイベント受信部１８２により取得されるイベント情報をイベント待ち行列に記憶する。 Event dispatcher module 174 dispatches event information to event recognizers (e.g., event recognizer 180). In embodiments that include active event recognizer determination module 173, event dispatcher module 174 delivers event information to the event recognizers determined by active event recognizer determination module 173. In some embodiments, event dispatcher module 174 stores event information retrieved by corresponding event receivers 182 in an event queue.

一部の実施形態では、オペレーティングシステム１２６は、イベントソータ１７０を含む。あるいは、アプリケーション１３６－１が、イベントソータ１７０を含む。更に他の実施形態では、イベントソータ１７０は、独立型のモジュール、又は接触／動きモジュール１３０などの、メモリ１０２に記憶された別のモジュールの一部である。 In some embodiments, operating system 126 includes event sorter 170. Alternatively, application 136-1 includes event sorter 170. In still other embodiments, event sorter 170 is a stand-alone module or part of another module stored in memory 102, such as contact/motion module 130.

一部の実施形態では、アプリケーション１３６－１は、それぞれがアプリケーションのユーザインタフェースの対応するビュー内で発生するタッチイベントを処理する命令を含む、複数のイベントハンドラ１９０及び１つ以上のアプリケーションビュー１９１を含む。アプリケーション１３６－１のそれぞれのアプリケーションビュー１９１は、１つ以上のイベント認識部１８０を含む。一般的には、対応するアプリケーションビュー１９１は、複数のイベント認識部１８０を含む。他の実施形態では、イベント認識部１８０のうちの１つ以上は、ユーザインタフェースキット又はアプリケーション１３６－１がメソッド及び他の性質をそれから継承する上位レベルのオブジェクトなどの、別々のモジュールの一部である。一部の実施形態では、対応するイベントハンドラ１９０は、データアップデーター１７６、オブジェクトアップデーター１７７、ＧＵＩアップデーター１７８及び／又はイベントソータ１７０から受信されたイベントデータ１７９、のうちの１つ以上を含む。イベントハンドラ１９０は、アプリケーション内部状態１９２を更新するために、データアップデーター１７６、オブジェクトアップデーター１７７、又はＧＵＩアップデーター１７８を任意選択的に、利用若しくは呼び出す。あるいは、アプリケーションビュー１９１のうちの１つ以上は、１つ以上の対応するイベントハンドラ１９０を含む。また、一部の実施形態では、データアップデーター１７６、オブジェクトアップデーター１７７及びＧＵＩアップデーター１７８のうちの１つ以上は、対応するアプリケーションビュー１９１に含まれる。 In some embodiments, application 136-1 includes multiple event handlers 190 and one or more application views 191, each containing instructions for handling touch events that occur within a corresponding view of the application's user interface. Each application view 191 of application 136-1 includes one or more event recognizers 180. Typically, a corresponding application view 191 includes multiple event recognizers 180. In other embodiments, one or more of the event recognizers 180 are part of a separate module, such as a user interface kit or a higher-level object from which application 136-1 inherits methods and other properties. In some embodiments, the corresponding event handler 190 includes one or more of data updater 176, object updater 177, GUI updater 178, and/or event data 179 received from event sorter 170. Event handler 190 optionally utilizes or invokes data updater 176, object updater 177, or GUI updater 178 to update application internal state 192. Alternatively, one or more of application views 191 include one or more corresponding event handlers 190. Also, in some embodiments, one or more of data updater 176, object updater 177, and GUI updater 178 are included in the corresponding application view 191.

対応するイベント認識部１８０は、イベントソータ１７０からイベント情報（例えば、イベントデータ１７９）を受信し、イベント情報からイベントを特定する。イベント認識部１８０は、イベント受信部１８２及びイベント比較部１８４を含む。一部の実施形態では、イベント認識部１８０はまた、メタデータ１８３及びイベント配信命令１８８（任意選択でサブイベント配信命令を含む）の少なくともサブセットも含む。 A corresponding event recognizer 180 receives event information (e.g., event data 179) from event sorter 170 and identifies an event from the event information. Event recognizer 180 includes an event receiver 182 and an event comparator 184. In some embodiments, event recognizer 180 also includes at least a subset of metadata 183 and event delivery instructions 188 (optionally including sub-event delivery instructions).

イベント受信部１８２は、イベントソータ１７０からイベント情報を受信する。イベント情報は、サブイベント、例えば、タッチ又はタッチの動きについての情報を含む。サブイベントに応じて、イベント情報はまた、サブイベントの位置などの追加の情報を含む。サブイベントがタッチの動きに関わるとき、イベント情報はまた任意選択で、サブイベントの速さ及び方向を含む。一部の実施形態では、イベントは、１つの向きから別の向きへの（例えば、縦向きから横向きへの、又はその逆の）デバイスの回転を含み、イベント情報は、デバイスの現在の向き（デバイスの姿勢とも呼ばれる）についての対応する情報を含む。 Event receiver 182 receives event information from event sorter 170. The event information includes information about a sub-event, e.g., a touch or touch movement. Depending on the sub-event, the event information also includes additional information, such as the location of the sub-event. When the sub-event involves touch movement, the event information also optionally includes the speed and direction of the sub-event. In some embodiments, the event includes a device rotation from one orientation to another (e.g., from portrait to landscape or vice versa), and the event information includes corresponding information about the device's current orientation (also called the device's attitude).

イベント比較部１８４は、イベント情報を予め定義されたイベント又はサブイベント定義と比較し、比較に基づいて、イベント又はサブイベントを判定し、又はイベント若しくはサブイベントの状態を判定若しくは更新する。一部の実施形態では、イベント比較部１８４は、イベント定義１８６を含む。イベント定義１８６は、例えば、イベント１（１８７－１）、イベント２（１８７－２）などのイベントの定義（例えば、予め定義された一連のサブイベント）を含む。一部の実施形態では、イベント１８７におけるサブイベントは、例えば、タッチの始め、タッチの終わり、タッチの移動、タッチの停止及び複数のタッチを含む。一実施例では、イベント１（１８７－１）についての定義は、表示されたオブジェクト上のダブルタップである。ダブルタップは、例えば、所定の段階の間の表示されたオブジェクト上の第１のタッチ（タッチの開始）、所定の段階の間の第１のリフトオフ（タッチの終了）、所定の段階の間の表示オブジェクト上の第２のタッチ（タッチの開始）、及び所定の段階の間の第２のリフトオフ（タッチの終了）を含む。別の実施例では、イベント２（１８７－２）の定義は、表示されたオブジェクト上のドラッグ操作である。このドラッグ操作は、例えば、所定の段階の間の表示オブジェクト上でのタッチ（又は、接触）、タッチ感知ディスプレイ１１２を横断するタッチの移動、及びタッチのリフトオフ（タッチの終了）を含む。一部の実施形態において、イベントはまた、１つ以上の関連付けられたイベントハンドラ１９０に関する情報も含む。 The event comparator 184 compares the event information with predefined event or sub-event definitions and, based on the comparison, determines the event or sub-event, or determines or updates the state of the event or sub-event. In some embodiments, the event comparator 184 includes an event definition 186. The event definition 186 includes an event definition (e.g., a predefined series of sub-events), such as Event 1 (187-1) and Event 2 (187-2). In some embodiments, the sub-events in Event 187 include, for example, a touch start, a touch end, a touch movement, a touch stop, and multiple touches. In one example, the definition for Event 1 (187-1) is a double tap on a displayed object. The double tap includes, for example, a first touch on a displayed object during a predetermined phase (touch start), a first lift-off (touch end) during the predetermined phase, a second touch on a displayed object during the predetermined phase (touch start), and a second lift-off (touch end) during the predetermined phase. In another example, the definition of Event 2 (187-2) is a drag operation on a displayed object. This drag operation includes, for example, a touch (or contact) on the displayed object during a predetermined phase, a movement of the touch across the touch-sensitive display 112, and a lift-off of the touch (end of the touch). In some embodiments, the event also includes information regarding one or more associated event handlers 190.

一部の実施形態において、イベント定義１８７は、それぞれのユーザインタフェースオブジェクトに関するイベントの定義を含む。一部の実施形態において、イベント比較部１８４は、サブイベントに関連付けられたユーザインタフェースオブジェクトを判定するヒットテストを実行する。例えば、３つのユーザインタフェースオブジェクトがタッチ感知ディスプレイ１１２上に表示されるアプリケーションビューにおいて、タッチ感知ディスプレイ１１２上でタッチが検出されると、イベント比較部１８４は、３つのユーザインタフェースオブジェクトのうちのどれがタッチ（サブイベント）に関連付けられているかを判定するためのヒットテストを行う。表示されたそれぞれのオブジェクトが、対応するイベントハンドラ１９０と関連付けられている場合、イベント比較部は、ヒットテストの結果を使用して、どのイベントハンドラ１９０がアクティブ化されるべきかを判定する。例えば、イベント比較部１８４は、ヒットテストをトリガするサブイベント及びオブジェクトと関連付けられたイベントハンドラを選択する。 In some embodiments, event definition 187 includes a definition of the event for each user interface object. In some embodiments, event comparator 184 performs a hit test to determine the user interface object associated with the sub-event. For example, in an application view in which three user interface objects are displayed on touch-sensitive display 112, when a touch is detected on touch-sensitive display 112, event comparator 184 performs a hit test to determine which of the three user interface objects is associated with the touch (sub-event). If each displayed object is associated with a corresponding event handler 190, event comparator 184 uses the results of the hit test to determine which event handler 190 should be activated. For example, event comparator 184 selects the event handler associated with the sub-event and object that triggers the hit test.

一部の実施形態では、対応するイベント（１８７）についての定義はまた、一連のサブイベントがイベント認識部のイベントタイプに対応するか否かが判定される後まで、イベント情報の配信を遅延させる遅延アクションを含む。 In some embodiments, the definition for the corresponding event (187) also includes a delay action that delays delivery of the event information until after it has been determined whether a set of sub-events corresponds to the event recognizer's event type.

対応するイベント認識部１８０が、一連のサブイベントがイベント定義１８６のイベントのいずれとも一致しないと判断したとき、対応するイベント認識部１８０は、イベント不可能、イベント失敗又はイベント終了の状態に入り、その後は、タッチに基づくジェスチャの次のサブイベントを無視する。この状況では、ヒットビューについてアクティブのままである他のイベント認識部がもしあれば、そのイベント認識部が進行中のタッチに基づくジェスチャのサブイベントの追跡及び処理を続行する。 When the corresponding event recognizer 180 determines that the sequence of sub-events does not match any of the events in the event definition 186, the corresponding event recognizer 180 enters an event-disabled, event-failed, or event-ended state, and thereafter ignores subsequent sub-events for the touch-based gesture. In this situation, other event recognizers, if any, that remain active for the hit view continue to track and process sub-events for the ongoing touch-based gesture.

一部の実施形態では、対応するイベント認識部１８０は、イベント配信システムがどのようにサブイベント配信を実行すべきかをアクティブに関与しているイベント認識部に示す構成可能なプロパティ、フラグ及び／又はリストを有するメタデータ１８３を含む。一部の実施形態では、メタデータ１８３は、イベント認識部が相互にどのように対話するか又は対話することが可能とされているかについて示す構成可能なプロパティ、フラグ、及び／又はリストを含む。一部の実施形態では、メタデータ１８３は、サブイベントがビュー階層又はプログラム階層における多様なレベルに配信されるかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。 In some embodiments, the corresponding event recognizer 180 includes metadata 183 with configurable properties, flags, and/or lists that indicate to actively participating event recognizers how the event delivery system should perform sub-event delivery. In some embodiments, metadata 183 includes configurable properties, flags, and/or lists that indicate how event recognizers interact or are enabled to interact with each other. In some embodiments, metadata 183 includes configurable properties, flags, and/or lists that indicate how sub-events are delivered to various levels in the view or programmatic hierarchy.

一部の実施形態では、それぞれのイベント認識部１８０は、イベントの１つ以上の特定のサブイベントが認識されるときに、イベントと関連付けられたイベントハンドラ１９０をアクティブ化する。一部の実施形態では、それぞれのイベント認識部１８０は、イベントと関連付けられたイベント情報をイベントハンドラ１９０に配信する。イベントハンドラ１９０をアクティブ化することは、それぞれのヒットビューにサブイベントを送信する（及び、送信を延期する）こととは別個である。一部の実施形態では、イベント認識部１８０は、認識されたイベントと関連付けられたフラグを投入し、フラグと関連付けられたイベントハンドラ１９０は、フラグを捕らえ、予め定義された処理を実行する。 In some embodiments, each event recognizer 180 activates an event handler 190 associated with an event when one or more specific sub-events of the event are recognized. In some embodiments, each event recognizer 180 delivers event information associated with the event to the event handler 190. Activating the event handler 190 is separate from sending (and deferring sending) the sub-events to the respective hit view. In some embodiments, the event recognizer 180 pops a flag associated with the recognized event, and the event handler 190 associated with the flag captures the flag and performs predefined processing.

一部の実施形態では、イベント配信命令１８８は、イベントハンドラをアクティブ化することなくサブイベントについてのイベント情報を配信するサブイベント配信命令を含む。代わりに、サブイベント配信命令は、一連のサブイベントと関連付けられたイベントハンドラに、又はアクティブに関与しているビューにイベント情報を配信する。一連のサブイベントに又はアクティブに関与しているビューと関連付けられたイベントハンドラは、イベント情報を受信し、予め定義された処理を実行する。 In some embodiments, the event delivery instructions 188 include sub-event delivery instructions that deliver event information about a sub-event without activating an event handler. Instead, the sub-event delivery instructions deliver the event information to an event handler associated with the set of sub-events or to an actively participating view. The event handler associated with the set of sub-events or to an actively participating view receives the event information and performs predefined processing.

一部の実施形態では、データアップデーター１７６は、アプリケーション１３６－１で使用されるデータを作成及び更新する。例えば、データアップデーター１７６は、連絡先モジュール１３７で使用される電話番号を更新するか、又はビデオプレーヤモジュールで使用されるビデオファイルを記憶する。一部の実施形態において、オブジェクトアップデーター１７７は、アプリケーション１３６－１で使用されるオブジェクトを作成及び更新する。例えば、オブジェクトアップデーター１７７は、新たなユーザインタフェースオブジェクトを作成するか、又はユーザインタフェースオブジェクトの位置を更新する。ＧＵＩアップデーター１７８は、ＧＵＩを更新する。例えば、ＧＵＩアップデーター１７８は、表示情報を準備し、タッチ感知ディスプレイ上に表示するために表示情報をグラフィックモジュール１３２に送信する。 In some embodiments, data updater 176 creates and updates data used by application 136-1. For example, data updater 176 updates phone numbers used in contacts module 137 or stores video files used in a video player module. In some embodiments, object updater 177 creates and updates objects used by application 136-1. For example, object updater 177 creates new user interface objects or updates the positions of user interface objects. GUI updater 178 updates the GUI. For example, GUI updater 178 prepares display information and sends the display information to graphics module 132 for display on the touch-sensitive display.

一部の実施形態では、イベントハンドラ（単数又は複数）１９０は、データアップデーター１７６、オブジェクトアップデーター１７７、及びＧＵＩアップデーター１７８を含むか、又はそれらへのアクセスを有する。一部の実施形態では、データアップデーター１７６、オブジェクトアップデーター１７７、及びＧＵＩアップデーター１７８は、それぞれのアプリケーション１３６－１又はアプリケーションビュー１９１の単一モジュールに含まれる。他の実施形態では、それらは、２つ以上のソフトウェアモジュールに含まれる。 In some embodiments, the event handler(s) 190 include or have access to a data updater 176, an object updater 177, and a GUI updater 178. In some embodiments, the data updater 176, the object updater 177, and the GUI updater 178 are included in a single module of the respective application 136-1 or application view 191. In other embodiments, they are included in two or more software modules.

タッチ感知ディスプレイ上のユーザのタッチのイベント処理に関する前述の議論はまた、入力デバイスで多機能デバイス１００を動作させるための他の形態のユーザ入力にも適用されるが、そのすべてがタッチスクリーン上で開始されるわけではないことを理解されたい。例えば、単一若しくは複数のキーボードの押圧若しくは保持に任意選択的に連携されたマウスの移動及びマウスボタンの押圧、タッチパッド上でのタップ、ドラッグ、スクロールなどの接触移動、ペンスタイラス入力、デバイスの移動、口頭による指示検出された眼球運動、バイオメトリック入力、並びに／又はそれらのいずれかの組合せは、任意選択的に、認識されることになるイベントを定義するサブイベントに対応する入力として利用される。 It should be understood that the foregoing discussion regarding event processing of a user's touch on a touch-sensitive display also applies to other forms of user input for operating multifunction device 100 with an input device, not all of which are initiated on the touchscreen. For example, mouse movements and mouse button presses, optionally coordinated with one or more keyboard presses or holds, touch movements such as tapping, dragging, scrolling, etc. on a touchpad, pen stylus input, device movement, verbal commands, detected eye movements, biometric input, and/or any combination thereof, are optionally utilized as inputs corresponding to sub-events that define the event to be recognized.

図２は、一部の実施形態に係る、タッチスクリーン１１２を有するポータブル多機能デバイス１００を示す。タッチスクリーンは、ユーザインタフェース（user interface）（ＵＩ）２００内に１つ以上のグラフィックを、任意選択的に表示する。本実施形態、並びに後述する実施形態において、ユーザは、例えば、１本以上の指２０２（図には、正確な縮尺率では描かれていない）又は１つ以上のスタイラス２０３（図には、正確な縮尺率では描かれていない）を用いて、グラフィック上でジェスチャを行うことにより、グラフィックのうちの１つ以上を選択することができる。一部の実施形態では、ユーザが１つ以上のグラフィックとの接触を断った際に、その１つ以上のグラフィックの選択が生じる。一部の実施形態では、ジェスチャは、１回以上のタップ、１回以上のスワイプ（左から右へ、右から左へ、上方向へ及び／又は下方向へ）、並びに／又は、デバイス１００と接触した指のローリング（右から左へ、左から右へ、上方向へ及び／若しくは下方向へ）を、任意選択的に含む。一部の実現形態又は状況では、グラフィックとの不測の接触は、グラフィックを選択しない。例えば、選択に対応するジェスチャがタップであるとき、アプリケーションアイコンの上をスイープするスワイプジェスチャは任意選択で、対応するアプリケーションを選択しない。 FIG. 2 illustrates portable multifunction device 100 having touchscreen 112, according to some embodiments. The touchscreen optionally displays one or more graphics within user interface (UI) 200. In this embodiment, as well as embodiments described below, a user can select one or more of the graphics by making a gesture on the graphics, for example, with one or more fingers 202 (not drawn to scale) or one or more styluses 203 (not drawn to scale). In some embodiments, selection of one or more graphics occurs when the user loses contact with the one or more graphics. In some embodiments, the gesture optionally includes one or more taps, one or more swipes (left to right, right to left, upward and/or downward), and/or rolling of a finger in contact with device 100 (right to left, left to right, upward and/or downward). In some implementations or situations, accidental contact with a graphic does not select the graphic. For example, when the gesture corresponding to selection is a tap, a swipe gesture sweeping over an application icon optionally does not select the corresponding application.

デバイス１００はまた、「ホーム」又はメニューボタン２０４などの、１つ以上の物理ボタンも任意選択的に含む。前述のように、メニューボタン２０４は、デバイス１００上で任意選択的に、実行するアプリケーションのセット内の任意のアプリケーション１３６へのナビゲーションに任意選択的に、使用される。あるいは、一部の実施形態では、メニューボタンは、タッチスクリーン１１２に表示されたＧＵＩにおけるソフトキーとして実装されている。 Device 100 also optionally includes one or more physical buttons, such as a "home" or menu button 204. As previously mentioned, menu button 204 is optionally used for navigation to any application 136 within a set of applications optionally running on device 100. Alternatively, in some embodiments, the menu button is implemented as a soft key in a GUI displayed on touchscreen 112.

一部の実施形態において、デバイス１００は、タッチスクリーン１１２、メニューボタン２０４、デバイスへの電源をオン／オフしてデバイスをロックするためのプッシュボタン２０６、音量調整ボタン（単数又は複数）２０８、加入者識別モジュール（ＳＩＭ）カードスロット２１０、ヘッドセットジャック２１２、及びドッキング／充電用外部ポート１２４を含む。プッシュボタン２０６は、ボタンを押し下げて、既定の時間にわたってボタンを押し下げた状態で保持することによってデバイス上の電源をオン／オフし、ボタンを押し下げて、既定の時間が経過する前にボタンを解放することによってデバイスをロックし、及び／又は、デバイスのロックを解除する、若しくは、ロック解除処理を開始するように、任意選択的に用いられる。代替実施形態では、デバイス１００はまた、マイクロフォン１１３を通して、一部の機能をアクティブ化又は非アクティブ化するための口頭入力を受ける。デバイス１００はまた、タッチスクリーン１１２上の接触の強度を検出するための１つ以上の接触強度センサ１６５、及び／又は、デバイス１００のユーザに対する触知出力を生成するための１つ以上の触知出力生成器１６７も、任意選択的に含む。 In some embodiments, device 100 includes a touchscreen 112, a menu button 204, a pushbutton 206 for turning power to the device on/off and locking the device, volume control button(s) 208, a subscriber identity module (SIM) card slot 210, a headset jack 212, and a docking/charging external port 124. Pushbutton 206 is optionally used to turn power on/off on the device by pressing and holding the button down for a predetermined time, lock the device by pressing and releasing the button before the predetermined time has elapsed, and/or unlock the device or initiate an unlocking process. In an alternative embodiment, device 100 also receives verbal input through microphone 113 for activating or deactivating certain functions. Device 100 also optionally includes one or more contact intensity sensors 165 for detecting the intensity of a contact on touchscreen 112 and/or one or more tactile output generators 167 for generating a tactile output for a user of device 100.

図３は、一部の実施形態に従った、ディスプレイ及びタッチ感知面を備える例示的な多機能デバイスのブロック図である。デバイス３００は、ポータブル型である必要はない。一部の実施形態では、デバイス３００は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディア再生デバイス、ナビゲーションデバイス、教育的デバイス（子供の学習玩具など）、ゲームシステム、又は制御デバイス（例えば、家庭用又は業務用コントローラ）である。デバイス３００は、１つ以上の処理ユニット（ＣＰＵ）３１０、１つ以上のネットワーク若しくは他の通信インタフェース３６０、メモリ３７０、及びこれらの構成要素を相互接続するための１つ以上の通信バス３２０を一般的に含む。通信バス３２０は、システム構成要素間の通信を相互接続及び制御する回路（チップセットと呼ばれることがある）を、任意選択的に含む。デバイス３００は、一般的にはタッチスクリーンディスプレイであるディスプレイ３４０を含む、入出力（Ｉ／Ｏ）インタフェース３３０を含む。Ｉ／Ｏインタフェース３３０はまた、キーボード及び／又はマウス（又は他のポインティングデバイス）３５０並びにタッチパッド３５５、デバイス３００上に触知出力を生成するための（例えば、図１Ａを参照して上述された触知出力生成器（単数又は複数）１６７と同様の）触知出力生成器３５７、センサ３５９（例えば、光センサ、加速度センサ、近接センサ、タッチ感知センサ及び／又は図１Ａを参照して上述された接触強度センサ（単数又は複数）１６５と同様の接触強度センサ）を任意選択的に含む。メモリ３７０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、また、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス又は他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを任意選択的に含む。メモリ３７０は、ＣＰＵ（単数又は複数）３１０からリモートに位置する１つ以上の記憶デバイスを任意選択的に含む。一部の実施形態では、メモリ３７０は、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２に記憶されたプログラム、モジュール及びデータ構造、又はそれらのサブセットに類似する、プログラム、モジュール及びデータ構造を記憶する。更に、メモリ３７０は、ポータブル多機能デバイス１００のメモリ１０２に存在しない追加のプログラム、モジュール、及びデータ構造を任意選択的に記憶する。例えば、デバイス３００のメモリ３７０は、描画モジュール３８０、プレゼンテーションモジュール３８２、ワードプロセッシングモジュール３８４、ウェブサイト作成モジュール３８６、ディスクオーサリングモジュール３８８及び／又はスプレッドシートモジュール３９０を任意選択的に記憶するが、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２は、これらのモジュールを任意選択的に記憶しない。 FIG. 3 is a block diagram of an exemplary multifunction device with a display and a touch-sensitive surface, according to some embodiments. Device 300 need not be portable. In some embodiments, device 300 is a laptop computer, desktop computer, tablet computer, multimedia playback device, navigation device, educational device (such as a child's learning toy), gaming system, or control device (e.g., a home or commercial controller). Device 300 typically includes one or more processing units (CPUs) 310, one or more network or other communication interfaces 360, memory 370, and one or more communication buses 320 for interconnecting these components. Communication bus 320 optionally includes circuitry (sometimes referred to as a chipset) that interconnects and controls communication between system components. Device 300 includes input/output (I/O) interfaces 330, including a display 340, which is typically a touchscreen display. I/O interface 330 also optionally includes a keyboard and/or mouse (or other pointing device) 350 and a touchpad 355, a tactile output generator 357 (e.g., similar to tactile output generator(s) 167 described above with reference to FIG. 1A ) for generating tactile output on device 300, sensors 359 (e.g., optical sensors, acceleration sensors, proximity sensors, touch-sensitive sensors, and/or contact intensity sensors similar to contact intensity sensor(s) 165 described above with reference to FIG. 1A ). Memory 370 includes high-speed random-access memory such as DRAM, SRAM, DDR RAM, or other random-access solid-state memory devices, and optionally includes non-volatile memory such as one or more magnetic disk storage devices, optical disk storage devices, flash memory devices, or other non-volatile solid-state storage devices. Memory 370 optionally includes one or more storage devices located remotely from CPU(s) 310. In some embodiments, memory 370 stores programs, modules, and data structures similar to, or a subset of, the programs, modules, and data structures stored in memory 102 of portable multifunction device 100 (FIG. 1A). Additionally, memory 370 optionally stores additional programs, modules, and data structures not present in memory 102 of portable multifunction device 100. For example, memory 370 of device 300 optionally stores drawing module 380, presentation module 382, word processing module 384, website creation module 386, disc authoring module 388, and/or spreadsheet module 390, while memory 102 of portable multifunction device 100 (FIG. 1A) optionally does not store these modules.

上記で特定された図３の要素のそれぞれは任意選択的に、前述のメモリデバイスのうち１つ以上に記憶される。上記で特定されたモジュールのうちのそれぞれは、上述した機能を実行する命令セットに対応する。上記で特定されたモジュール又はプログラム（例えば、命令セット）は、任意選択的に、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、それゆえ、様々な実施形態では、これらのモジュールの様々なサブセットを組み合わせるか、又は他の方式で再編成する。一部の実施形態では、メモリ３７０は、上記で特定されたモジュール及びデータ構造のサブセットを任意選択的に記憶する。更に、メモリ３７０は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。 Each of the above-identified elements of FIG. 3 is optionally stored in one or more of the aforementioned memory devices. Each of the above-identified modules corresponds to an instruction set that performs the functions described above. The above-identified modules or programs (e.g., instruction sets) optionally need not be implemented as separate software programs, procedures, or modules; thus, various embodiments combine or otherwise rearrange various subsets of these modules. In some embodiments, memory 370 optionally stores a subset of the above-identified modules and data structures. Additionally, memory 370 optionally stores additional modules and data structures not described above.

ここで、例えばポータブル多機能デバイス１００上に、任意選択的に実装されるユーザインタフェースの実施形態に着目する。 We now turn our attention to embodiments of user interfaces that may be optionally implemented, for example, on portable multifunction device 100.

図４Ａは、一部の実施形態に係る、ポータブル多機能デバイス１００上のアプリケーションのメニューに関する例示的なユーザインタフェースを示す。同様のユーザインタフェースは、デバイス３００上に任意選択的に実装される。一部の実施形態では、ユーザインタフェース４００は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
●セルラー及びＷｉ－Ｆｉ信号などの無線通信（単数又は複数）のための信号強度インジケータ（単数又は複数）４０２、
●時刻４０４、
●Ｂｌｕｅｔｏｏｔｈ（登録商標）インジケータ４０５、
●バッテリ状態インジケータ４０６、
●下記などの、頻繁に利用されるアプリケーション用のアイコンを含むトレー４０８、
○不在着信又は音声メールメッセージの数のインジケータ４１４を任意選択的に含む、「電話」とラベル付けされる、電話モジュール１３８用のアイコン４１６、
○未読電子メールの数のインジケータ４１０を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール１４０用のアイコン４１８、
○「ブラウザ」とラベル付けされる、ブラウザモジュール１４７用のアイコン４２０、及び
○「ｉＰｏｄ」とラベル付けされる、ｉＰｏｄ（登録商標）（Ａｐｐｌｅ Ｉｎｃ．の商標）モジュール１５２とも称されるビデオ及び音楽プレーヤモジュール１５２用のアイコン４２２、及び
●下記などの、他のアプリケーション用のアイコン、
○「メッセージ」とラベル付けされるＩＭモジュール１４１のためのアイコン４２４、
○「カレンダ」とラベル付けされる、カレンダモジュール１４８用のアイコン４２６、
○「写真」とラベル付けされる、画像管理モジュール１４４用のアイコン４２８、
○「カメラ」とラベル付けされる、カメラモジュール１４３用のアイコン４３０、
○「オンラインビデオ」とラベル付けされる、オンラインビデオモジュール１５５用のアイコン４３２、
○「株価」とラベル付けされる、株価ウィジェット１４９－２用のアイコン４３４、
○「地図」とラベル付けされる、地図モジュール１５４用のアイコン４３６、
○「天気」とラベル付けされる、天気ウィジェット１４９－１用のアイコン４３８、
○「時計」とラベル付けされる、アラーム時計ウィジェット１４９－４用のアイコン４４０、
○「トレーニングサポート」とラベル付けされる、トレーニングサポートモジュール１４２用のアイコン４４２、
○「メモ」とラベル付けされる、メモモジュール１５３用のアイコン４４４、及び
○デバイス１００及びその様々なアプリケーション１３６に関する設定へのアクセスを提供する、「設定」とラベル付けされる、設定アプリケーション若しくはモジュール用のアイコン４４６。 4A shows an exemplary user interface for a menu of applications on portable multifunction device 100, according to some embodiments. A similar user interface is optionally implemented on device 300. In some embodiments, user interface 400 includes the following elements, or a subset or superset thereof:
signal strength indicator(s) 402 for wireless communication(s), such as cellular and Wi-Fi signals;
●Time 404,
Bluetooth® indicator 405,
Battery status indicator 406;
A tray 408 containing icons for frequently used applications, such as:
An icon 416 for the phone module 138, labeled "Phone", optionally including an indicator 414 of the number of missed calls or voicemail messages;
An icon 418 for the email client module 140, labeled "Mail", optionally including an indicator 410 of the number of unread emails;
○ An icon 420 for the browser module 147, labeled "Browser", and ○ An icon 422 for the video and music player module 152, also called the iPod® (trademark of Apple Inc.) module 152, labeled "iPod", and ● Icons for other applications, such as:
○ An icon 424 for the IM module 141 labeled "Messages";
○ An icon 426 for the calendar module 148, labeled "Calendar";
○ An icon 428 for the Image Management module 144, labeled "Photos";
○ An icon 430 for the camera module 143, labeled "Camera",
○ An icon 432 for the online video module 155, labeled "Online Video";
○ An icon 434 for stock price widget 149-2, labeled "Stock Price";
○ An icon 436 for the map module 154, labeled "Map";
○ An icon 438 for the weather widget 149-1, labeled "Weather";
○ An icon 440 for the alarm clock widget 149-4, labeled "Clock",
○ An icon 442 for the training support module 142, labeled "Training Support";
○ An icon 444 for the notes module 153, labeled "Notes," and ○ An icon 446 for the settings application or module, labeled "Settings," which provides access to settings related to the device 100 and its various applications 136.

図４Ａに示されるアイコンのラベルは、単なる例示であることに留意されたい。例えば、ビデオ及び音楽プレーヤモジュール１５２用のアイコン４２２は、「音楽」又は「音楽プレーヤ」とラベル付けされる。他のラベルが、様々なアプリケーションアイコンのために、任意選択的に使用される。一部の実施形態では、それぞれのアプリケーションアイコンに関するラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。一部の実施形態では、特定のアプリケーションアイコンのラベルは、特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。 Note that the icon labels shown in FIG. 4A are merely exemplary. For example, icon 422 for video and music player module 152 is labeled "Music" or "Music Player." Other labels are optionally used for various application icons. In some embodiments, the label for each application icon includes the name of the application corresponding to the respective application icon. In some embodiments, the label for a particular application icon is different from the name of the application corresponding to the particular application icon.

図４Ｂは、ディスプレイ４５０（例えば、タッチスクリーンディスプレイ１１２）から分離するタッチ感知面４５１（例えば、図３のタブレット又はタッチパッド３５５）を備えるデバイス（例えば、図３のデバイス３００）上の、例示的なユーザインタフェースを示す。デバイス３００はまた、タッチ感知面４５１上の接触の強度を検出するための１つ以上の接触強度センサ（例えば、センサ３５９のうちの１つ以上）及び／又はデバイス３００のユーザに対して触知出力を生成するための１つ以上の触知出力生成器３５７を任意選択的に含む。 FIG. 4B shows an exemplary user interface on a device (e.g., device 300 of FIG. 3) that includes a touch-sensitive surface 451 (e.g., tablet or touchpad 355 of FIG. 3) separate from a display 450 (e.g., touchscreen display 112). Device 300 also optionally includes one or more contact intensity sensors (e.g., one or more of sensors 359) for detecting the intensity of a contact on touch-sensitive surface 451 and/or one or more tactile output generators 357 for generating a tactile output for a user of device 300.

以下の実施例のうちのいくつかはタッチスクリーンディスプレイ１１２上での入力（タッチ感知面とディスプレイとが組み合わされている場合）を参照して説明されるが、一部の実施形態では、デバイスは、図４Ｂに示されるように、ディスプレイとは別個のタッチ感知面上での入力を検出する。一部の実施形態では、このタッチ感知面（例えば、図４Ｂの４５１）は、ディスプレイ（例えば、４５０）上の主軸（例えば、図４Ｂの４５３）に対応する主軸（例えば、図４Ｂの４５２）を有する。これらの実施形態によれば、デバイスは、タッチ感知面４５１との接触（例えば、図４Ｂの４６０及び４６２）を、ディスプレイ上のそれぞれの位置に対応する位置（例えば、図４Ｂでは、４６０は４６８に対応し、４６２は４７０に対応する）にて検出する。このように、タッチ感知面がディスプレイから分離するものである場合、タッチ感知面（例えば、図４Ｂの４５１）上でデバイスによって検出されたユーザ入力（例えば、接触４６０及び４６２、並びにそれらの移動）が、多機能デバイスのディスプレイ（例えば、図４Ｂでの４５０）上のユーザインタフェースを操作するために、デバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインタフェースに任意選択的に使用されることを理解されたい。 Although some of the following examples are described with reference to input on touchscreen display 112 (when the touch-sensitive surface and display are combined), in some embodiments, the device detects input on a touch-sensitive surface that is separate from the display, as shown in FIG. 4B . In some embodiments, this touch-sensitive surface (e.g., 451 in FIG. 4B ) has a major axis (e.g., 452 in FIG. 4B ) that corresponds to a major axis (e.g., 453 in FIG. 4B ) on the display (e.g., 450). According to these embodiments, the device detects contact with touch-sensitive surface 451 (e.g., 460 and 462 in FIG. 4B ) at locations that correspond to their respective locations on the display (e.g., in FIG. 4B , 460 corresponds to 468 and 462 corresponds to 470). In this manner, when the touch-sensitive surface is separate from the display, user input (e.g., contacts 460 and 462 and their movement) detected by the device on the touch-sensitive surface (e.g., 451 in FIG. 4B ) is used by the device to operate a user interface on the display (e.g., 450 in FIG. 4B ) of the multifunction device. It should be understood that similar methods are optionally used for the other user interfaces described herein.

更に加えて、以下の実施例は、主に指入力（例えば、指の接触、指のタップジェスチャ、指のスワイプジェスチャ）を参照して説明されるが、一部の実施形態では、それらの指入力のうちの１つ以上は、別の入力デバイスからの入力（例えば、マウスに基づく入力又はスタイラス入力）で置き換えられることを理解されたい。例えば、スワイプジェスチャは、マウスクリックと任意選択的に置き換えられ（例えば、接触の代わりに）、その後、スワイプの経路に沿って（例えば、接触の移動の代わりに）カーソルの移動が行われる。別の実施例として、タップジェスチャは任意選択で、カーソルがタップジェスチャの位置の上に位置する間のマウスクリックと置き換えられる（例えば、接触の検出、それに続いて接触の検出を停止する代わりに）。同様に、複数のユーザ入力が同時に検出されるとき、複数のコンピュータマウスは任意選択で同時に使用され、又はマウス及び指の接触が任意選択で同時に使用されることを理解されたい。 Additionally, while the following examples are described primarily with reference to finger input (e.g., finger touches, finger tap gestures, finger swipe gestures), it should be understood that in some embodiments, one or more of the finger inputs are replaced with input from another input device (e.g., mouse-based input or stylus input). For example, a swipe gesture is optionally replaced with a mouse click (e.g., instead of a touch), followed by cursor movement along the path of the swipe (e.g., instead of a touch movement). As another example, a tap gesture is optionally replaced with a mouse click while the cursor is positioned over the tap gesture location (e.g., instead of detecting a touch followed by ceasing contact detection). Similarly, it should be understood that when multiple user inputs are detected simultaneously, multiple computer mice are optionally used simultaneously, or a mouse and finger touches are optionally used simultaneously.

図５Ａは、例示的なパーソナル電子デバイス５００を示す。デバイス５００は、本体５０２を含む。一部の実施形態では、デバイス５００は、デバイス１００及び３００（例えば、図１Ａ～図４Ｂ）に関して記載した特徴のうちの一部又はすべてを含むことができる。一部の実施形態では、デバイス５００は、タッチ感知ディスプレイスクリーン５０４、以後、タッチスクリーン５０４とする、を有する。タッチスクリーン５０４の代わりに、又はそれに追加して、デバイス５００は、ディスプレイ及びタッチ感知面を有する。デバイス１００及びデバイス３００と同様に、一部の実施形態では、タッチスクリーン５０４（又はタッチ感知面）は、任意選択的に、加えられている接触（例えば、タッチ）の強度を検出するための１つ以上の強度センサを有する。タッチスクリーン５０４（又は、タッチ感知面）の１つ以上の強度センサは、タッチの強度を表現する出力データを提供することができる。デバイス５００のユーザインタフェースは、タッチの強度に基づいてタッチに応答することができ、これは、異なる強度のタッチは、デバイス５００上で異なるユーザインタフェース動作を呼び出すことができることを意味する。 FIG. 5A illustrates an exemplary personal electronic device 500. Device 500 includes a main body 502. In some embodiments, device 500 may include some or all of the features described with respect to devices 100 and 300 (e.g., FIGS. 1A-4B). In some embodiments, device 500 includes a touch-sensitive display screen 504, hereafter referred to as touchscreen 504. Instead of, or in addition to, touchscreen 504, device 500 includes a display and a touch-sensitive surface. Similar to devices 100 and 300, in some embodiments, touchscreen 504 (or the touch-sensitive surface) optionally includes one or more intensity sensors for detecting the intensity of an applied contact (e.g., a touch). The one or more intensity sensors of touchscreen 504 (or the touch-sensitive surface) can provide output data representing the intensity of the touch. The user interface of device 500 can respond to a touch based on the intensity of the touch, meaning that touches of different intensities can invoke different user interface actions on device 500.

タッチ強度を検出して処理するための例示的な技術は、例えば、関連出願である、２０１３年５月８日出願の「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｄｉｓｐｌａｙｉｎｇ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｏｂｊｅｃｔｓ Ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ａｎ Ａｐｐｌｉｃａｔｉｏｎ」と題された国際特許出願第ＰＣＴ／ＵＳ２０１３／０４００６１号（国際公開第２０１３／１６９８４９号として公開）、及び２０１３年１１月１１日出願の「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｔｒａｎｓｉｔｉｏｎｉｎｇ Ｂｅｔｗｅｅｎ Ｔｏｕｃｈ Ｉｎｐｕｔ ｔｏ Ｄｉｓｐｌａｙ Ｏｕｔｐｕｔ Ｒｅｌａｔｉｏｎｓｈｉｐｓ」と題された同第ＰＣＴ／ＵＳ２０１３／０６９４８３号（国際公開第２０１４／１０５２７６号として公開）にみられ、これらの文献のそれぞれは、全体が参照により本明細書に組み込まれる。 Exemplary techniques for detecting and processing touch intensity are described, for example, in related applications, International Patent Application No. PCT/US2013/040061 (published as WO 2013/169849), filed May 8, 2013, entitled "Device, Method, and Graphical User Interface for Displaying User Interface Objects Corresponding to an Application," and International Patent Application No. PCT/US2013/040061 (published as WO 2013/169849), filed November 11, 2013, entitled "Device, Method, and Graphical User Interface for Transitioning Between Touch Input to and PCT Application No. PCT/US2013/069483 (published as WO 2014/105276) entitled "Display Output Relationships," each of which is incorporated herein by reference in its entirety.

一部の実施形態では、デバイス５００は、１つ以上の入力機構５０６及び入力機構５０８を有する。入力機構５０６及び５０８は、含まれる場合には、物理的なものとすることができる。物理入力機構の例としては、プッシュボタン及び回転可能機構が挙げられる。一部の実施形態では、デバイス５００は、１つ以上のアタッチメント機構を有する。かかるアタッチメント機構は、含まれる場合には、例えば、デバイス５００を、帽子、アイウェア、イヤリング、ネックレス、シャツ、ジャケット、ブレスレット、腕時計バンド、チェーン、ズボン、ベルト、靴、財布、バックパックなどに、取り付けることを可能にする。これらのアタッチメント機構は、ユーザによってデバイス５００が着用されることを可能にし得る。 In some embodiments, device 500 has one or more input mechanisms 506 and 508. Input mechanisms 506 and 508, if included, may be physical. Examples of physical input mechanisms include push buttons and rotatable mechanisms. In some embodiments, device 500 has one or more attachment mechanisms. Such attachment mechanisms, if included, may allow device 500 to be attached to, for example, hats, eyewear, earrings, necklaces, shirts, jackets, bracelets, watch bands, chains, pants, belts, shoes, wallets, backpacks, etc. These attachment mechanisms may allow device 500 to be worn by a user.

図５Ｂは、例示的なパーソナル電子デバイス５００を示す。一部の実施形態では、デバイス５００は、図１Ａ、図１Ｂ及び図３に関して記載した構成要素の一部又はすべてを含むことができる。デバイス５００は、Ｉ／Ｏ部５１４を１つ以上のコンピュータプロセッサ５１６及びメモリ５１８に動作可能に結合するバス５１２を有する。Ｉ／Ｏ部５１４は、ディスプレイ５０４に接続することができ、ディスプレイ５０４は、タッチ感知構成要素５２２と、任意選択的に、強度センサ５２４（例えば、接触強度センサ）と、を有し得る。更に、Ｉ／Ｏ部５１４は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離通信（ＮＦＣ）、セルラー及び／又は他の無線通信技術を使用して、アプリケーション及びオペレーティングシステムのデータを受信するための通信ユニット５３０に接続し得る。デバイス５００は、入力機構５０６及び／又は入力機構５０８を含むことができる。入力機構５０６は、任意選択的に、例えば、回転可能入力デバイス、又は押下可能かつ回転可能な入力デバイスである。入力機構５０８は、任意選択的に、一部の実施例では、ボタンである。 FIG. 5B illustrates an exemplary personal electronic device 500. In some embodiments, device 500 may include some or all of the components described with respect to FIGS. 1A, 1B, and 3. Device 500 has a bus 512 operably coupling I/O unit 514 to one or more computer processors 516 and memory 518. I/O unit 514 may be connected to a display 504, which may have touch-sensing components 522 and, optionally, an intensity sensor 524 (e.g., a contact intensity sensor). Additionally, I/O unit 514 may connect to a communication unit 530 for receiving application and operating system data using Wi-Fi, Bluetooth, near-field communication (NFC), cellular, and/or other wireless communication technologies. Device 500 may include input mechanism 506 and/or input mechanism 508. Input mechanism 506 is optionally, for example, a rotatable input device or a depressible and rotatable input device. Input mechanism 508 is optionally a button in some embodiments.

入力機構５０８は、任意選択的に、一部の実施例では、マイクロフォンである。パーソナル電子デバイス５００は、任意選択的に、ＧＰＳセンサ５３２、加速度計５３４、方向センサ５４０（例えば、コンパス）、ジャイロスコープ５３６、動きセンサ５３８及び／又はこれらの組み合わせなどの、様々なセンサを含むものであり、それらのすべては、Ｉ／Ｏ部５１４に動作可能に接続できる。 Input mechanism 508 is optionally a microphone in some embodiments. Personal electronic device 500 optionally includes various sensors, such as a GPS sensor 532, an accelerometer 534, an orientation sensor 540 (e.g., a compass), a gyroscope 536, a motion sensor 538, and/or combinations thereof, all of which may be operably connected to I/O section 514.

パーソナル電子デバイス５００のメモリ５１８は、コンピュータ実行可能命令を記憶するための１つ以上の非一時的コンピュータ可読記憶媒体を含むことができ、それらの命令は、１つ以上のコンピュータプロセッサ５１６によって実行されると、例えば、コンピュータプロセッサに、プロセス７００、９００、１１００、１３００及び１５００（図７Ａ～図７Ｂ、図９Ａ～図９Ｂ、図１１Ａ～図１１Ｂ、図１３Ａ～図１３Ｂ、及び図１５Ａ～図１５Ｂ）を含む、以下に説明する技術を実行させることができる。コンピュータ可読記憶媒体は、命令実行システム、装置若しくはデバイスによって、又はこれらと関連して使用するためのコンピュータ実行可能命令を有形的に収容又は記憶することができる、任意の媒体とすることができる。一部の例では、記憶媒体は、一時的コンピュータ可読記憶媒体である。一部の例では、記憶媒体は、非一時的コンピュータ可読記憶媒体である。非一時的コンピュータ可読記憶媒体には、磁気的記憶装置、光学的記憶装置及び／又は半導体記憶装置を挙げることができるが、これらに限定されない。そのような記憶装置の例には、磁気ディスク、ＣＤ、ＤＶＤ又はＢｌｕ－ｒａｙ技術に基づく光ディスク、及び、フラッシュ、ソリッドステートドライブなどの永続的ソリッドステートメモリが挙げられる。パーソナル電子デバイス５００は、図５Ｂの構成要素及び構成に限定されるものではなく、他の構成要素又は追加的構成要素を、複数の構成で含み得る。 The memory 518 of the personal electronic device 500 may include one or more non-transitory computer-readable storage media for storing computer-executable instructions that, when executed by one or more computer processors 516, may cause the computer processors to perform the techniques described below, including processes 700, 900, 1100, 1300, and 1500 (FIGS. 7A-7B, 9A-9B, 11A-11B, 13A-13B, and 15A-15B). A computer-readable storage medium may be any medium that can tangibly contain or store computer-executable instructions for use by or in connection with an instruction execution system, apparatus, or device. In some examples, the storage medium is a transient computer-readable storage medium. In some examples, the storage medium is a non-transitory computer-readable storage medium. Non-transitory computer-readable storage media may include, but are not limited to, magnetic, optical, and/or semiconductor storage devices. Examples of such storage devices include magnetic disks, optical disks based on CD, DVD, or Blu-ray technology, and persistent solid-state memory such as flash and solid-state drives. Personal electronic device 500 is not limited to the components and configuration of FIG. 5B and may include other or additional components in multiple configurations.

本明細書において使用するとき、用語「アフォーダンス」は、デバイス１００、３００及び／又は５００（図１Ａ、図３及び図５Ａ～図５Ｂ）のディスプレイ画面上に任意選択的に表示されるユーザ対話式のグラフィックユーザインタフェースオブジェクトを指す。例えば、画像（例えば、アイコン）、ボタン及びテキスト（例えば、ハイパーリンク）はそれぞれ、任意選択的に、アフォーダンスを構成する。 As used herein, the term "affordance" refers to a user-interactive graphic user interface object that is optionally displayed on the display screen of device 100, 300, and/or 500 (FIGS. 1A, 3, and 5A-5B). For example, images (e.g., icons), buttons, and text (e.g., hyperlinks) each optionally constitute an affordance.

本明細書において使用するとき、用語「フォーカスセレクタ」は、ユーザが対話しているユーザインタフェースの現在の部分を示す入力要素を指す。カーソル又は他の位置マーカを含む一部の実現例において、タッチ感知面（例えば、図３のタッチパッド３５５、又は図４Ｂのタッチ感知面４５１）上で入力（例えば、押圧入力）が検出された時に、カーソルが特定のユーザインタフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素）の上にある時、カーソルは「フォーカスセレクタ」として機能し、特定のユーザインタフェース要素が、検出された入力に従って調整される。タッチスクリーンディスプレイ上のユーザインタフェース要素との直接的な対話を可能にする、タッチスクリーンディスプレイ（例えば、図１Ａでのタッチ感知ディスプレイシステム１１２、又は図４Ａでのタッチスクリーン１１２）を含む一部の実現例では、タッチスクリーン上で検出される接触が「フォーカスセレクタ」としての役割を果たすことにより、入力（例えば、接触による押圧入力）が、タッチスクリーンディスプレイ上の特定のユーザインタフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素）の位置で検出されると、その特定のユーザインタフェース要素が、検出された入力に従って調節される。一部の実現形態では、タッチスクリーンディスプレイ上の対応するカーソルの移動又は接触の移動なしに、（例えば、タブキー又は矢印キーを使用してフォーカスを１つのボタンから別のボタンに移動させることによって）ユーザインタフェースの１つの領域からユーザインタフェースの別の領域にフォーカスが移動され、それらの実現形態では、フォーカスセレクタは、ユーザインタフェースの異なる領域の間のフォーカスの移動に従って移動する。フォーカスセレクタによってとられる具体的な形態とは関わりなく、フォーカスセレクタは、全般的に、ユーザの意図したユーザインタフェースとの対話を通信するために（例えば、ユーザが対話することを意図しているユーザインタフェースの要素をデバイスに示すことによって）、ユーザによって制御されるユーザインタフェース要素（又はタッチスクリーンディスプレイ上の接触）である。例えば、押圧入力がタッチ感知面（例えば、タッチパッド又はタッチスクリーン）上で検出されたときに、対応するボタンの上にあるフォーカスセレクタ（例えば、カーソル、接触又は選択ボックス）の位置は、（デバイスのディスプレイ上に示されている他のユーザインタフェース要素ではなく）対応するボタンをユーザがアクティブ化しようとしていることを示すものである。 As used herein, the term "focus selector" refers to an input element that indicates the current portion of a user interface with which a user is interacting. In some implementations involving a cursor or other position marker, when input (e.g., a press input) is detected on a touch-sensitive surface (e.g., touchpad 355 in FIG. 3 or touch-sensitive surface 451 in FIG. 4B ), and the cursor is over a particular user interface element (e.g., a button, window, slider, or other user interface element), the cursor acts as a "focus selector" and the particular user interface element is adjusted according to the detected input. In some implementations including a touchscreen display (e.g., touch-sensitive display system 112 in FIG. 1A or touchscreen 112 in FIG. 4A ) that allows direct interaction with user interface elements on the touchscreen display, contact detected on the touchscreen acts as a “focus selector” such that when input (e.g., a contact press input) is detected at the location of a particular user interface element (e.g., a button, window, slider, or other user interface element) on the touchscreen display, the particular user interface element is adjusted according to the detected input. In some implementations, focus is moved from one region of the user interface to another region of the user interface (e.g., by using the tab key or arrow keys to move focus from one button to another) without corresponding cursor movement or contact movement on the touchscreen display, and in those implementations, the focus selector moves in accordance with the movement of focus between different regions of the user interface. Regardless of the specific form taken by the focus selector, the focus selector is generally a user interface element (or a contact on a touchscreen display) that is controlled by a user to communicate the user's intended interaction with the user interface (e.g., by indicating to the device which element of the user interface the user intends to interact with). For example, when a press input is detected on a touch-sensitive surface (e.g., a touchpad or touchscreen), the position of the focus selector (e.g., a cursor, contact, or selection box) over a corresponding button indicates that the user intends to activate the corresponding button (rather than other user interface elements shown on the device's display).

本明細書及び特許請求の範囲において使用するとき、接触の「特性強度」という用語は、接触の１つ以上の強度に基づく接触の特性を指す。一部の実施形態では、特性強度は複数の強度サンプルに基づく。特性強度は、予め定義された数の強度サンプル、あるいは予め定義されたイベントに対する（例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終了を検出する前、接触の強度における増大を検出する前若しくは後、及び／又は接触の強度における減少を検出する前若しくは後）予め定められた時間期間の間（例えば、０．０５、０．１、０．２、０．５、１、２、５、１０秒）に収集された強度サンプルのセットに任意選択的に基づく。接触の特性強度は、任意選択的に、接触の強度の最大値、接触の強度の平均値（mean value）、接触の強度の平均値（average value）、接触の強度の上位１０％値、接触の強度の最大値の半分の値、接触の強度の最大値の９０％の値など、のうちの１つ以上に基づく。一部の実施形態では、特性強度を判定するために、（例えば、特性強度が経時的な接触の強度の平均であるとき）接触の持続期間が使用される。一部の実施形態では、動作がユーザによって実行されたか否かを判定するために、特性強度を１つ以上の強度閾値のセットと比較する。例えば、１つ以上の強度閾値のセットは、任意選択的に、第１の強度閾値及び第２の強度閾値を含む。この実施例では、第１の閾値を越えない特性強度を有する接触の結果として第１の動作が実行され、第１の強度閾値を越え、第２の強度閾値を越えない特性強度を有する接触の結果として第２の動作が実行され、第２の閾値を越える特性強度を有する接触の結果として第３の動作が実行される。一部の実施形態では、特性強度と１つ以上の閾値との間の比較が、第１の動作又は第２の動作のいずれを実行するかを判定するために使用されるのではなく、１つ以上の動作を実行するか否か（例えば、各動作を実行するのか、又は各動作の実行を見合わせるのか）を判定するために使用される。 As used herein and in the claims, the term "characteristic intensity" of a contact refers to a characteristic of the contact based on one or more intensities of the contact. In some embodiments, the characteristic intensity is based on a plurality of intensity samples. The characteristic intensity is optionally based on a predefined number of intensity samples or a set of intensity samples collected during a predefined time period (e.g., 0.05, 0.1, 0.2, 0.5, 1, 2, 5, 10 seconds) relative to a predefined event (e.g., after detecting the contact, before detecting liftoff of the contact, before or after detecting the start of contact movement, before detecting the end of the contact, before or after detecting an increase in the intensity of the contact, and/or before or after detecting a decrease in the intensity of the contact). The characteristic intensity of the contact is optionally based on one or more of the maximum intensity of the contact, the mean value of the intensity of the contact, the average value of the intensity of the contact, the top 10% of the intensity of the contact, half the maximum intensity of the contact, 90% of the maximum intensity of the contact, etc. In some embodiments, the duration of the contact is used to determine the characteristic intensity (e.g., when the characteristic intensity is an average of the intensity of the contact over time). In some embodiments, the characteristic intensity is compared to a set of one or more intensity thresholds to determine whether an action is performed by the user. For example, the set of one or more intensity thresholds optionally includes a first intensity threshold and a second intensity threshold. In this example, a contact having a characteristic intensity that does not exceed the first threshold results in a first action being performed, a contact having a characteristic intensity that exceeds the first intensity threshold but does not exceed the second intensity threshold results in a second action being performed, and a contact having a characteristic intensity that exceeds the second threshold results in a third action being performed. In some embodiments, the comparison between the characteristic intensity and the one or more thresholds is not used to determine whether to perform the first or second action, but rather to determine whether to perform one or more actions (e.g., whether to perform each action or to forgo performing each action).

一部の実施形態では、特性強度を判定する目的で、ジェスチャの一部が特定される。例えば、タッチ感知面は、任意選択的に、接触の強度が増加する、開始位置から遷移して終了位置まで達する連続的なスワイプ接触を受け取る。この実施例では、終了位置における接触の特性強度は、任意選択的に、連続的なスワイプ接触全体ではなく、そのスワイプ接触の一部分のみ（例えば、終了位置におけるスワイプ接触の部分のみ）に基づく。一部の実施形態では、任意選択的に、接触の特性強度を判定する前に、平滑化アルゴリズムをそのスワイプ接触の強度に適用する。例えば、平滑化アルゴリズムは任意選択で、非加重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、及び／又は指数平滑化アルゴリズムのうちの１つ以上を含む。一部の状況では、それらの平滑化アルゴリズムは、特性強度を判定する目的で、スワイプ接触の強度における小幅な上昇又は低下を除去する。 In some embodiments, a portion of the gesture is identified for purposes of determining the characteristic intensity. For example, the touch-sensitive surface optionally receives successive swipe contacts that transition from a start position to an end position, where the intensity of the contact increases. In this example, the characteristic intensity of the contact at the end position is optionally based on only a portion of the swipe contacts (e.g., only the portion of the swipe contact at the end position) rather than the entire successive swipe contacts. In some embodiments, a smoothing algorithm is optionally applied to the intensity of the swipe contacts before determining the characteristic intensity of the contacts. For example, the smoothing algorithm optionally includes one or more of an unweighted moving average smoothing algorithm, a triangular smoothing algorithm, a median filter smoothing algorithm, and/or an exponential smoothing algorithm. In some situations, the smoothing algorithms remove small increases or decreases in the intensity of the swipe contacts for purposes of determining the characteristic intensity.

タッチ感知面上の接触の強度は、任意選択的に、接触検出強度閾値、軽い押圧強度閾値、深い押圧強度閾値、及び／又は１つ以上の他の強度閾値などの１つ以上の強度閾値に対して特徴付けする。一部の実施形態では、軽い押圧強度閾値は、物理マウスのボタン又はトラックパッドをクリックすることと一般的に関連付けられた操作をデバイスが実行する強度に対応する。一部の実施形態では、深い押圧強度閾値は、物理マウスのボタン又はトラックパッドをクリックすることと典型的に関連付けられた操作とは異なる操作をデバイスが実行する強度に対応する。一部の実施形態では、軽い押圧強度閾値を下回る（例えば、かつ、それを下回ると接触がもはや検出されないわずかな接触検出強度閾値を上回る）特性強度で接触が検出される場合、デバイスは、軽い押圧強度閾値又は深い押圧強度閾値に関連付けられた動作を実行することなく、タッチ感知面上の接触の移動に従って、フォーカスセレクタを移動させる。概して、特に明記しない限り、これらの強度閾値は、ユーザインタフェース図の異なるセット間で一貫している。 The intensity of the contact on the touch-sensitive surface is optionally characterized relative to one or more intensity thresholds, such as a contact-detection intensity threshold, a light pressure intensity threshold, a deep pressure intensity threshold, and/or one or more other intensity thresholds. In some embodiments, the light pressure intensity threshold corresponds to an intensity at which the device performs an operation typically associated with clicking a physical mouse button or trackpad. In some embodiments, the deep pressure intensity threshold corresponds to an intensity at which the device performs an operation different from an operation typically associated with clicking a physical mouse button or trackpad. In some embodiments, if the contact is detected with a characteristic intensity below the light pressure intensity threshold (e.g., and above a slight contact-detection intensity threshold below which the contact is no longer detected), the device moves a focus selector in accordance with the movement of the contact on the touch-sensitive surface without performing an action associated with the light pressure intensity threshold or the deep pressure intensity threshold. Generally, unless otherwise specified, these intensity thresholds are consistent across different sets of user interface diagrams.

軽い押圧強度閾値を下回る強度から、軽い押圧強度閾値と深い押圧強度閾値との間の強度への接触の特性強度の増大は、「軽い押圧」入力と呼ばれる場合がある。深い押圧強度閾値を下回る強度から、深い押圧強度閾値を上回る強度への接触の特性強度の増大は、「深い押圧」入力と呼ばれる場合がある。接触検出強度閾値を下回る強度から、接触検出強度閾値と軽い押圧強度閾値との間の強度への接触の特性強度の増大は、タッチ面上の接触の検出と呼ばれる場合がある。接触検出強度閾値を上回る強度から、接触検出強度閾値を下回る強度への接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と呼ばれる場合がある。一部の実施形態では、接触検出強度閾値はゼロである。一部の実施形態では、接触検出強度閾値はゼロより大きい。 An increase in the characteristic intensity of a contact from an intensity below the light pressure intensity threshold to an intensity between the light pressure intensity threshold and the deep pressure intensity threshold may be referred to as a "light press" input. An increase in the characteristic intensity of a contact from an intensity below the deep pressure intensity threshold to an intensity above the deep pressure intensity threshold may be referred to as a "deep press" input. An increase in the characteristic intensity of a contact from an intensity below the contact detection intensity threshold to an intensity between the contact detection intensity threshold and the light pressure intensity threshold may be referred to as detecting a contact on the touch surface. A decrease in the characteristic intensity of a contact from an intensity above the contact detection intensity threshold to an intensity below the contact detection intensity threshold may be referred to as detecting a lift-off of the contact from the touch surface. In some embodiments, the contact detection intensity threshold is zero. In some embodiments, the contact detection intensity threshold is greater than zero.

本明細書で説明される一部の実施形態では、１つ以上の操作は、それぞれの押圧入力を含むジェスチャを検出したことに応じて、又はそれぞれの接触（又は、複数の接触）で実行されるそれぞれの押圧入力を検出したことに応じて実行され、それぞれの押圧入力は、押圧入力強度閾値を上回る接触（又は、複数の接触）の強度における増大を検出したことに少なくとも部分的に基づいて検出される。一部の実施形態では、それぞれの動作は、押圧入力強度閾値を上回る、それぞれの接触の強度の増大（例えば、それぞれの押圧入力の「ダウンストローク」）の検出に応じて実行される。一部の実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大、及び後続の押圧入力強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、後続の押圧入力閾値を下回るそれぞれの接触の強度の減少（例えば、それぞれの押圧入力の「アップストローク」）の検出に応じて実行される。 In some embodiments described herein, one or more operations are performed in response to detecting a gesture including the respective pressure input, or in response to detecting the respective pressure inputs performed with the respective contact(s), where the respective pressure inputs are detected based at least in part on detecting an increase in the intensity of the contact(s) above a pressure input intensity threshold. In some embodiments, the respective actions are performed in response to detecting an increase in the intensity of the respective contact(s) above the pressure input intensity threshold (e.g., a "downstroke" of the respective pressure input). In some embodiments, the pressure input includes an increase in the intensity of the respective contact(s) above the pressure input intensity threshold and a subsequent decrease in the intensity of the contact(s) below the pressure input intensity threshold, where the respective actions are performed in response to detecting a subsequent decrease in the intensity of the respective contact(s) below the pressure input intensity threshold (e.g., an "upstroke" of the respective pressure input).

一部の実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある不測の入力を回避するために強度ヒステリシスを採用し、デバイスは、押圧入力強度閾値との予め定義された関係を有するヒステリシス強度閾値を定義又は選択する（例えば、ヒステリシス強度閾値は、押圧入力強度閾値よりもＸ強度単位低いか、又はヒステリシス強度閾値は、押圧入力強度閾値の７５％、９０％、若しくは何らかの妥当な比率である）。よって、一部の実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大、及び後続の押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、そのヒステリシス強度閾値を下回る後続のそれぞれの接触の強度の減少（例えば、それぞれの押圧入力の「アップストローク」）の検出に応じて実行される。同様に、一部の実施形態では、押圧入力は、デバイスが、ヒステリシス強度閾値以下の強度から押圧入力強度閾値以上の強度への接触の強度の増大、及び任意選択的に、ヒステリシス強度以下の強度への後続の接触の強度の減少を検出するときのみ検出され、それぞれの動作は、その押圧入力の検出（例えば、状況に応じて、接触の強度の増大、又は接触の強度の減少）に応じて実行される。 In some embodiments, the device employs intensity hysteresis to avoid accidental inputs, sometimes referred to as "jitter," and the device defines or selects a hysteresis intensity threshold that has a predefined relationship to the pressure input intensity threshold (e.g., the hysteresis intensity threshold is X intensity units below the pressure input intensity threshold, or the hysteresis intensity threshold is 75%, 90%, or some reasonable percentage of the pressure input intensity threshold). Thus, in some embodiments, the pressure input includes an increase in the intensity of each contact above the pressure input intensity threshold and a subsequent decrease in the intensity of each contact below the hysteresis intensity threshold corresponding to the pressure input intensity threshold, and a respective action is performed in response to detecting a subsequent decrease in the intensity of each contact below that hysteresis intensity threshold (e.g., an "upstroke" of each pressure input). Similarly, in some embodiments, a pressure input is detected only when the device detects an increase in the intensity of the contact from an intensity below the hysteresis intensity threshold to an intensity above the pressure input intensity threshold, and optionally a subsequent decrease in the intensity of the contact to an intensity below the hysteresis intensity, and a respective action is performed in response to detection of that pressure input (e.g., an increase in the intensity of the contact or a decrease in the intensity of the contact, as the case may be).

説明を容易にするために、押圧入力強度閾値と関連付けられた押圧入力に応じて、又は押圧入力を含むジェスチャに応じて実行される動作の説明は、任意選択的に、押圧入力強度閾値を上回る接触の強度の増大、ヒステリシス強度閾値を下回る強度から押圧入力強度閾値を上回る強度への接触の強度の増大、押圧入力強度閾値を下回る接触の強度の減少、及び／又は押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少のいずれかを検出したことに応じてトリガされる。加えて、押圧入力強度閾値を下回る接触の強度の減少を検出したことに応じて動作が実行されるとして説明される実施例では、動作は、任意選択的に、押圧入力強度閾値に対応し、かつそれよりも低いヒステリシス強度閾値を下回る接触の強度の減少を検出したことに応じて実行される。 For ease of explanation, descriptions of actions performed in response to a pressure input associated with a pressure input intensity threshold or in response to a gesture including a pressure input are, optionally, triggered in response to detecting any of: an increase in the intensity of the contact above the pressure input intensity threshold; an increase in the intensity of the contact from an intensity below the hysteresis intensity threshold to an intensity above the pressure input intensity threshold; a decrease in the intensity of the contact below the pressure input intensity threshold; and/or a decrease in the intensity of the contact below a hysteresis intensity threshold corresponding to the pressure input intensity threshold. Additionally, in embodiments where an action is described as being performed in response to detecting a decrease in the intensity of the contact below the pressure input intensity threshold, the action is optionally performed in response to detecting a decrease in the intensity of the contact below a hysteresis intensity threshold corresponding to and lower than the pressure input intensity threshold.

ここで、ポータブル多機能デバイス１００、デバイス３００、又はデバイス５００などの電子デバイス上に実装されるユーザインタフェース（「ＵＩ」）及び関連するプロセスの実施形態に着目する。 Attention is now directed to embodiments of user interfaces ("UIs") and associated processes implemented on electronic devices such as portable multifunction device 100, device 300, or device 500.

図６Ａ～図６ＢＱは、一部の実施形態に係る、メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す。それらの図におけるユーザインタフェースは、図７Ａ～図７Ｂにおける処理を含む、以下で説明される処理を例示するために使用される。 Figures 6A-6BQ show example user interfaces for displaying visual effects in a messaging application, according to some embodiments. The user interfaces in those figures are used to illustrate the processes described below, including the processes in Figures 7A-7B.

図６Ａは、一部の場合ではタッチ感知ディスプレイである、ディスプレイ６０１を有するデバイス６００を描く。一部の実施形態では、デバイス６００はまた、光スペクトルの一部（例えば、可視光、赤外光、又は紫外光）を表すデータをキャプチャできるイメージセンサを、最低限に含むカメラ６０２を含む。一部の実施形態では、カメラ６０２は、複数の画像センサ及び／又は他のタイプのセンサを含む。一部の実施形態では、カメラ６０２は、検出された光を表すデータをキャプチャすることに加えて、深度データなどの、他のタイプのデータをキャプチャすることができる。例えば、一部の実施形態では、カメラ６０２はまた、スペックル、飛行時間、視差、又は焦点に基づく技術を使用して、深度データをキャプチャする。デバイス６００がカメラ６０２を使用してキャプチャする画像データは、カメラの視野内のシーンに対する光スペクトルの一部に対応するデータを含む。加えて、一部の実施形態では、キャプチャされた画像データはまた、光データの深度データを含む。一部の他の実施形態では、キャプチャされた画像データは、光スペクトルの一部のデータに対する深度データを決定、又は生成するのに十分なデータを含む。一部の実施形態では、デバイス６００は、デバイス１００、３００、又は５００の１つ以上の特徴を含む。 6A depicts device 600 having display 601, which in some cases is a touch-sensitive display. In some embodiments, device 600 also includes camera 602, which minimally includes an image sensor capable of capturing data representing a portion of the light spectrum (e.g., visible light, infrared light, or ultraviolet light). In some embodiments, camera 602 includes multiple image sensors and/or other types of sensors. In some embodiments, camera 602, in addition to capturing data representing the detected light, can capture other types of data, such as depth data. For example, in some embodiments, camera 602 also captures depth data using speckle, time-of-flight, parallax, or focus-based techniques. The image data that device 600 captures using camera 602 includes data corresponding to a portion of the light spectrum for a scene within the camera's field of view. In addition, in some embodiments, the captured image data also includes depth data of the light data. In some other embodiments, the captured image data includes sufficient data to determine or generate depth data for data of a portion of the light spectrum. In some embodiments, device 600 includes one or more features of devices 100, 300, or 500.

一部の例では、電子デバイス６００は、赤外線カメラ、サーモグラフィーカメラ、又はそれらの組み合わせなどの、深度カメラを含む。一部の例では、デバイスは、ＩＲフラッド光などの発光デバイス（例えば、光プロジェクタ）、構造化光プロジェクタ、又はそれらの組み合わせを更に含む。発光デバイスは、任意選択的に、可視光カメラ及び深度カメラ（例えば、ＩＲカメラ）による画像のキャプチャ中に被写体を照明するために使用され、深度カメラ及び可視光カメラからの情報は、可視光カメラによってキャプチャされた被写体の異なる部分の深度マップを決定するために使用される。一部の実施形態では、深度マップ（例えば、深度マップ画像）は、視点（例えば、カメラ）からのシーン内のオブジェクトの距離に関する情報（例えば、値）を含む。深度マップの一実施形態では、各深度ピクセルは、その対応する２次元ピクセルが位置する、視点のＺ軸内の位置を規定する。一部の例では、深度マップは、各ピクセルが値（例えば、０～２５５）によって定義されるピクセルから構成される。例えば、「０」値は、「３次元」シーンにおける最も離れた位置に配置されたピクセルを表し、「２５５」値は、「３次元」シーンにおける視点（例えば、カメラ）に最も近いピクセルを表す。他の例では、深度マップは、シーン内のオブジェクトと視点の平面との間の距離を表す。一部の実施形態では、深度マップは、深度カメラの視点における関心あるオブジェクトの様々な特徴の相対的深度（例えば、ユーザの顔の目、鼻、口、耳の相対的な深度）についての情報を含む。一部の実施形態では、深度マップは、ｚ方向の関心あるオブジェクトの輪郭をデバイスが判定することを可能にする情報を含む。一部の実施形態では、本明細書に記載の照明エフェクトは、背面画像用の２つのカメラ（例えば、２つの可視光カメラ）からの視差情報を使用して、及び正面画像（例えば、自撮り画像）用の可視光カメラからの画像データに結合された深度カメラからの深度情報を使用して、表示される。一部の実施形態では、２つの可視光カメラを使用して深度情報を判定し、深度カメラを使用して深度情報を判定する場合には、同じユーザインタフェースが使用されて、照明エフェクトを生成する際に使用される情報を判定するために著しく異なる技術を使用する場合でさえも、ユーザーに一貫性のある体験を提供する。一部の実施形態では、適用される照明エフェクトのうちの１つを用いてカメラユーザインタフェースを表示している間に、デバイスは、ライティングエフェクトを適用し、正面カメラの視野の表示を背面カメラの視界に（又はその逆）置換するためのユーザインタフェース制御の表示を維持しながら、カメラスイッチングアフォーダンスの選択を検出し、正面カメラ（例えば、深度カメラ及び可視光カメラ）から背面カメラ（例えば、互いに離間した２つの可視光カメラ）に（又はその逆）切り替える。 In some examples, the electronic device 600 includes a depth camera, such as an infrared camera, a thermographic camera, or a combination thereof. In some examples, the device further includes a light emitting device (e.g., a light projector), such as an IR flood light, a structured light projector, or a combination thereof. The light emitting device is optionally used to illuminate the subject during image capture by the visible light camera and the depth camera (e.g., the IR camera), and information from the depth camera and the visible light camera is used to determine a depth map of different portions of the subject captured by the visible light camera. In some embodiments, the depth map (e.g., a depth map image) includes information (e.g., values) about the distance of objects in the scene from the viewpoint (e.g., the camera). In one depth map embodiment, each depth pixel defines a position in the Z-axis of the viewpoint where its corresponding two-dimensional pixel is located. In some examples, the depth map is composed of pixels, each pixel defined by a value (e.g., 0-255). For example, a value of "0" represents the pixel located furthest away in a "3D" scene, and a value of "255" represents the pixel in the "3D" scene closest to the viewpoint (e.g., camera). In other examples, the depth map represents the distance between objects in a scene and the plane of the viewpoint. In some embodiments, the depth map includes information about the relative depth of various features of an object of interest in the viewpoint of the depth camera (e.g., the relative depth of the eyes, nose, mouth, and ears of a user's face). In some embodiments, the depth map includes information that allows a device to determine the contours of the object of interest in the z-direction. In some embodiments, the lighting effects described herein are displayed using disparity information from two cameras (e.g., two visible light cameras) for the rear view and depth information from the depth camera combined with image data from the visible light camera for the front view (e.g., a selfie). In some embodiments, the same user interface is used when determining depth information using two visible light cameras and when determining depth information using a depth camera, providing a consistent experience for the user even when using significantly different techniques for determining information used in generating lighting effects. In some embodiments, while displaying a camera user interface with one of the lighting effects applied, the device detects selection of a camera switching affordance and switches from the front camera (e.g., a depth camera and a visible light camera) to the rear camera (e.g., two visible light cameras spaced apart) (or vice versa) while applying the lighting effect and maintaining display of user interface controls for replacing the display of the front camera's field of view with the rear camera's field of view (or vice versa).

図６Ａでは、デバイス６００は、メッセージングアプリケーションのメッセージングユーザインタフェース６０３を表示している。メッセージングユーザインタフェース６０３は、メッセージ会話において参加者（受信者識別子６０６によって表される）に伝送されるメッセージ６０５を含むメッセージ表示領域６０４を含む。メッセージングユーザインタフェース６０３はまた、メッセージ会話の参加者に送信するための入力（例えば、テキスト入力、マルチメディア入力など）を表示するためのメッセージ作成フィールド６０８を含む。メッセージングユーザインタフェース６０３はまた、カメラアプリケーションアフォーダンス６０９、アプリケーションドックアフォーダンス６１０、キーボード表示領域６１２、及びテキスト提案領域６１４を含む。 In FIG. 6A, device 600 displays a messaging user interface 603 of a messaging application. Messaging user interface 603 includes a message display area 604 that includes a message 605 to be transmitted to participants (represented by recipient identifiers 606) in a message conversation. Messaging user interface 603 also includes a message composition field 608 for displaying input (e.g., text input, multimedia input, etc.) to send to participants in the message conversation. Messaging user interface 603 also includes a camera application affordance 609, an application dock affordance 610, a keyboard display area 612, and a text suggestion area 614.

図６Ｂでは、デバイス６００は、カメラアプリケーションアフォーダンス６０９に対応する位置において入力６１６（例えば、ディスプレイ６０１上のタッチ入力）を検出する。 In FIG. 6B, device 600 detects input 616 (e.g., touch input on display 601) at a location corresponding to camera application affordance 609.

図６Ｃでは、入力６１６を検出したことに応じて、デバイス６００は、カメラアプリケーションアフォーダンス６０９に関連付けられたカメラアプリケーションを起動し、カメラアプリケーションユーザインタフェース６１５を表示する。カメラアプリケーションユーザインタフェース６１５は、例えば、カメラ（例えば、背面カメラ又はカメラ６０２）の視野内に位置するオブジェクトを表すストリーミングされた画像データ（例えば、ライブカメラプレビュー、ライブカメラ記録、若しくはライブビデオ通信セッション）、又は、例えば写真若しくはビデオ録画などのメディアアイテム、などの画像データの表現を表示する、画像表示領域６２０を含む。図６Ｃに示す実施形態では、画像表示領域６２０は、デバイス６００の背面カメラからのライブカメラプレビュー６２０－１'を示す。 6C, in response to detecting input 616, device 600 launches a camera application associated with camera application affordance 609 and displays camera application user interface 615. Camera application user interface 615 includes an image display area 620 that displays a representation of image data, such as, for example, streamed image data (e.g., a live camera preview, a live camera recording, or a live video communication session) representing objects located within the field of view of a camera (e.g., the rear-facing camera or camera 602), or media items, such as photographs or video recordings. In the embodiment shown in FIG. 6C, image display area 620 shows a live camera preview 620-1' from the rear-facing camera of device 600.

カメラアプリケーションユーザインタフェース６１５はまた、カメラ固有アフォーダンス６１７、及びカメラアプリケーションユーザインタフェース６１５を終了させるための完了アフォーダンス６１８を含む、画像表示領域６２０の上の領域を含む。カメラ固有アフォーダンスには、カメラフラッシュ機能に関連付けられたアフォーダンス６１７－１、カメラモード機能に関連付けられたアフォーダンス６１７－２、タイマー機能に関連付けられたアフォーダンス６１７－３、及びフィルタ機能に関連付けられたアフォーダンス６１７－４が含まれる。 The camera application user interface 615 also includes an area above the image display area 620 that includes camera-specific affordances 617 and a completion affordance 618 for exiting the camera application user interface 615. The camera-specific affordances include an affordance 617-1 associated with a camera flash function, an affordance 617-2 associated with a camera mode function, an affordance 617-3 associated with a timer function, and an affordance 617-4 associated with a filter function.

カメラアプリケーションユーザインタフェース６１５はまた、画像表示領域６２０の下に配置されたカメラオプション領域６２５を含む。カメラオプション領域６２５は、カメラ（例えば、背面カメラとカメラ６０２）間を切り替えるためのカメラセレクタアフォーダンス６２７、及びカメラが画像データを記録できる異なるキャプチャモードに関連付けられたカメラオプションアフォーダンス６１９を含む。例えば、ビデオアフォーダンス６１９－１は、カメラのビデオ録画キャプチャモードをアクティブ化するための機能に関連付けられ、写真アフォーダンス６１９－２は、カメラの静止画像キャプチャモードをアクティブ化するための機能に関連付けられる。図６Ｃ～図６ＡＸに関して以下に論じる実施形態では、デバイス６００は、写真アフォーダンス６１９－２に関連付けられた操作の静止画像キャプチャモードにある。しかしながら、特に明記しない限り、これらの実施形態はまた、ビデオアフォーダンス６１９－１に関連付けられたビデオ録画モードに適用される。 The camera application user interface 615 also includes a camera options area 625 located below the image display area 620. The camera options area 625 includes a camera selector affordance 627 for switching between cameras (e.g., the rear camera and camera 602) and camera options affordances 619 associated with different capture modes in which the camera can record image data. For example, video affordance 619-1 is associated with functionality for activating the camera's video recording capture mode, and photo affordance 619-2 is associated with functionality for activating the camera's still image capture mode. In the embodiments discussed below with respect to FIGS. 6C-6AX, the device 600 is in the still image capture mode of operation associated with photo affordance 619-2. However, unless otherwise noted, these embodiments also apply to the video recording mode associated with video affordance 619-1.

カメラオプション領域６２５は、画像表示領域６２０にビジュアルエフェクトを表示するためにデバイス６００が有効化又は無効化されるデバイス６００のモードを、有効化又は無効化するためのエフェクトアフォーダンス６２２を更に含む。デバイス６００のこのモードは、本明細書ではしばしばエフェクトモードと呼ばれる。 Camera options area 625 further includes an effects affordance 622 for enabling or disabling a mode of device 600 in which device 600 is enabled or disabled to display visual effects in image display area 620. This mode of device 600 is sometimes referred to herein as effects mode.

カメラオプション領域６２５はまた、画像表示領域６２０に表される画像データをキャプチャするために選択可能なキャプチャアフォーダンス６２１を含む。一部の実施形態では、デバイス６００は、現在有効化されているキャプチャモード（例えば、ビデオ録画キャプチャモード又は画像キャプチャモード）に基づく方法で、画像データをキャプチャする。一部の実施形態では、デバイス６００は、キャプチャアフォーダンス６２１上で検出されたジェスチャのタイプに応じて、画像データをキャプチャする。例えば、デバイス６００がキャプチャアフォーダンス６２１上でタップジェスチャを検出した場合、デバイス６００は、タップジェスチャが発生した時点で画像表示領域６２０に表された画像データの静止画像をキャプチャする。デバイス６００がキャプチャアフォーダンス６２１上でタップアンドホールドジェスチャを検出した場合、デバイス６００は、タップアンドホールドジェスチャが持続する期間中、画像表示領域６２０に表される画像データのビデオ録画をキャプチャする。一部の実施形態では、指がアフォーダンスから持ち上げられると、ビデオ録画が停止する。一部の実施形態では、ビデオ録画は、アフォーダンスに対応する位置において後続の入力（例えば、タップ入力）が検出されるまで続く。一部の実施形態では、キャプチャされた画像（例えば、静止画像又はビデオ録画）は、メッセージ作成フィールド６０８内に挿入され、続いてメッセージ会話の参加者に送信される。一部の実施形態では、キャプチャされた画像は、メッセージ作成フィールド６０８内にキャプチャされた画像を挿入することなく、メッセージ会話の参加者に直接送信される。 The camera options area 625 also includes a selectable capture affordance 621 to capture the image data represented in the image display area 620. In some embodiments, the device 600 captures the image data in a manner based on the currently enabled capture mode (e.g., video recording capture mode or image capture mode). In some embodiments, the device 600 captures the image data depending on the type of gesture detected on the capture affordance 621. For example, if the device 600 detects a tap gesture on the capture affordance 621, the device 600 captures a still image of the image data represented in the image display area 620 at the time the tap gesture occurred. If the device 600 detects a tap-and-hold gesture on the capture affordance 621, the device 600 captures a video recording of the image data represented in the image display area 620 for the duration of the tap-and-hold gesture. In some embodiments, the video recording stops when the finger is lifted from the affordance. In some embodiments, video recording continues until a subsequent input (e.g., a tap input) is detected at a location corresponding to the affordance. In some embodiments, the captured image (e.g., a still image or a video recording) is inserted into the message creation field 608 and subsequently sent to participants in the message conversation. In some embodiments, the captured image is sent directly to participants in the message conversation without inserting the captured image into the message creation field 608.

図６Ｄでは、デバイス６００は、エフェクトアフォーダンス６２２上の入力６２３（例えば、ディスプレイ６０１上のタップジェスチャ）を検出する。 In FIG. 6D, device 600 detects input 623 on effect affordance 622 (e.g., a tap gesture on display 601).

図６Ｅでは、デバイス６００は、入力６２３を検出したことに応じて、カメラ６０２をアクティブ化し（例えば、背面カメラから切り替えて）、画像表示領域６２０を更新して、カメラ６０２からのライブカメラプレビュー６２０－１を表示し、カメラ６０２の視野内に位置する被写体６３２、及び被写体６３２の背後に表示された背景６３６の表現を示す。本明細書で論じるように、一部の実施形態では、カメラ６０２を使用してキャプチャされた画像データは、カメラ６０２の視野内のオブジェクトの深度を決定するために使用され得る深度データを含む。一部の実施形態では、デバイス６００は、検出されたこれらのオブジェクトの深度に基づいてオブジェクト（例えば、画像データ内の）を解析し、この判定を使用して、本明細書で論じるビジュアルエフェクトを適用する。例えば、デバイス６００は、被写体６３２をライブカメラプレビュー６２０－１の前景にあるものとして、ユーザの背後に位置するオブジェクトをライブカメラプレビュー６２０－１の背景にあるものとして、分類することができる。これらの背景オブジェクトは、ここでは背景６３６と総称する。 6E, in response to detecting input 623, device 600 activates camera 602 (e.g., switches from the rear camera) and updates image display area 620 to display a live camera preview 620-1 from camera 602, showing a representation of object 632 located within the field of view of camera 602 and a background 636 displayed behind object 632. As discussed herein, in some embodiments, image data captured using camera 602 includes depth data that can be used to determine the depth of objects within the field of view of camera 602. In some embodiments, device 600 analyzes objects (e.g., in the image data) based on the detected depths of these objects and uses this determination to apply visual effects as discussed herein. For example, device 600 can classify object 632 as being in the foreground of live camera preview 620-1 and objects located behind the user as being in the background of live camera preview 620-1. These background objects are collectively referred to herein as background 636.

デバイス６００はまた、表示のためにビジュアルエフェクトを有効化していることを示すエフェクトアフォーダンス６２２を強調表示し、カメラオプションアフォーダンス６１９をビジュアルエフェクトオプションアフォーダンス６２４に置換することによってカメラオプション領域６２５を更新する。ビジュアルエフェクトオプションアフォーダンスは、アバターエフェクトアフォーダンス６２４－１及びステッカーエフェクトアフォーダンス６２４－２を含む。ビジュアルエフェクトオプションアフォーダンス６２４は、画像表示領域６２０に表示される画像に適用できる異なるビジュアルエフェクトに対応する。ビジュアルエフェクトオプションアフォーダンス（例えば、６２４－１又は６２４－２）のうちの１つを選択することにより、選択されたビジュアルエフェクトオプションアフォーダンスに対応するビジュアルエフェクトオプションと共に、メニューが表示される。 The device 600 also highlights the effects affordance 622, indicating that visual effects are enabled for display, and updates the camera options area 625 by replacing the camera options affordance 619 with visual effects option affordance 624. The visual effects option affordances include an avatar effects affordance 624-1 and a sticker effects affordance 624-2. The visual effects option affordances 624 correspond to different visual effects that can be applied to the image displayed in the image display area 620. Selecting one of the visual effects option affordances (e.g., 624-1 or 624-2) displays a menu with visual effect options that correspond to the selected visual effects option affordance.

ユーザは、エフェクトアフォーダンス６２２を選択することによって、デバイス６００のエフェクトモードを有効化又は無効化することができる。エフェクトアフォーダンス６２２が強調表示されると、デバイス６００のエフェクトモードが有効化され、画像表示領域６２０にビジュアルエフェクトを表示する。ユーザが強調表示されたアフォーダンス６２２上をタップすると、エフェクトアフォーダンス６２２はもはや強調表示されず、画像表示領域６２０における表示のためにビジュアルエフェクトが有効化されないように、エフェクトモードが無効化される。一部の実施形態では、エフェクトモードが有効化されると、デバイス６００は、画像表示領域６２０に示される画像を更新して、画像に適用されている１つ以上のビジュアルエフェクト（ライブ画像ストリームに適用されるビジュアルエフェクトを含む）を表示し、エフェクトモードが無効化されると、デバイス６００は、画像表示領域６２０に示される画像からビジュアルエフェクトを除去するか、又は隠す。 A user can enable or disable the effects mode of device 600 by selecting effects affordance 622. When effects affordance 622 is highlighted, the effects mode of device 600 is enabled and displays visual effects in image display area 620. When a user taps on the highlighted affordance 622, effects affordance 622 is no longer highlighted and the effects mode is disabled such that visual effects are not enabled for display in image display area 620. In some embodiments, when effects mode is enabled, device 600 updates the image shown in image display area 620 to display one or more visual effects applied to the image (including visual effects applied to a live image stream), and when effects mode is disabled, device 600 removes or hides the visual effects from the image shown in image display area 620.

図６Ｆでは、デバイス６００は、アバターエフェクトアフォーダンス６２４－１上の入力６２６（例えば、ディスプレイ６０１上のタップジェスチャ）を検出する。 In FIG. 6F, device 600 detects input 626 (e.g., a tap gesture on display 601) on avatar effect affordance 624-1.

図６Ｇでは、入力６２６を検出したことに応じて、デバイス６００は、アバターオプション６３０のスクロール可能リストと共に、アバターオプションメニュー６２８を表示する。アバターオプションメニュー６２８はまた、アバターオプション６３０のうちの選択された１つを示すための選択領域６２９を含む。図６Ｇに示すように、ロボットアバターオプション６３０－３が選択領域６２９に配置され、ロボットアバターオプション６３０－１が選択されていることを示す。図６Ｇに示す別のアバターオプション６３０は、カスタマイズされた女性アバターオプション６３０－１、ヌルアバターオプション６３０－２、ウサギアバターオプション６３０－４、及びエイリアンアバターオプション６３０－５を含む。以下で詳細に論じるように、ヌルアバターオプション６３０－２は、アバターが画像表示領域６２０内の被写体上に表示されないためのアバターオプションに対応する。一部の実施形態では、ヌルアバターオプション６３０－２は、アバターオプションメニュー６２８が表示されているときに、デフォルトで選択されるアバターオプションである。 In FIG. 6G, in response to detecting input 626, device 600 displays avatar options menu 628 with a scrollable list of avatar options 630. Avatar options menu 628 also includes a selection area 629 for indicating a selection of one of the avatar options 630. As shown in FIG. 6G, robot avatar option 630-3 is located in selection area 629, indicating that robot avatar option 630-1 is selected. Other avatar options 630 shown in FIG. 6G include a customized female avatar option 630-1, a null avatar option 630-2, a rabbit avatar option 630-4, and an alien avatar option 630-5. As discussed in more detail below, null avatar option 630-2 corresponds to an avatar option for which no avatar is displayed over the subject in image display area 620. In some embodiments, null avatar option 630-2 is the avatar option selected by default when avatar options menu 628 is displayed.

アバターオプション６３０は、画像表示領域６２０内の被写体の表現に適用される仮想アバタービジュアルエフェクトに対応する。具体的には、各アバターオプション６３０は、選択されると、画像表示領域内の被写体の顔の上に転置される仮想アバターに対応し、他方、画像表示領域内の画像の他の部分（背景、又はユーザの身体などのユーザの他の部分など）は表示されたままとなる。カメラ６０２の視野内に位置するユーザ（例えば、被写体６３２）は、様々な顔の特徴の動き（例えば、ウインク、舌の突き出し、笑顔など）を含む顔の姿勢（例えば、回転又は向き）を変更することによって、仮想アバターの視覚的態様を制御することができる。仮想アバターの表示及び動きを制御するための詳細は、米国特許出願第１５／８７０，１９５号に提供されており、これは、すべての目的のために参照により本明細書に組み込まれる。 Avatar options 630 correspond to virtual avatar visual effects applied to the subject's representation in image display area 620. Specifically, when selected, each avatar option 630 corresponds to a virtual avatar that is transposed over the subject's face in the image display area, while other portions of the image in the image display area (e.g., the background or other parts of the user, such as the user's body) remain displayed. A user (e.g., subject 632) positioned within the field of view of camera 602 can control the visual aspects of the virtual avatar by changing the pose (e.g., rotation or orientation) of their face, including the movement of various facial features (e.g., winking, sticking out their tongue, smiling, etc.). Details for controlling the display and movement of a virtual avatar are provided in U.S. Patent Application No. 15/870,195, which is incorporated herein by reference for all purposes.

一部の実施形態では、仮想アバターは、グラフィックに描くことができるユーザーの表現（例えば、ユーザーのグラフィック表現）である。一部の実施形態では、仮想アバターは非写実的（例えば、漫画的である）である。一部の実施形態では、仮想アバターは、１つ以上のアバター特徴（例えば、アバター顔部特徴）を有するアバター顔部を含む。一部の実施形態では、アバター特徴は、ユーザの物理的特徴の検出された動きが（例えば、深度検出カメラなどのカメラに基づいて判定されるように）、アバター特徴（例えば、特徴のグラフィック表現に影響を及ぼす）に影響を及ぼすように、ユーザの顔の１つ以上の物理的特徴に対応する（例えば、マッピングされる）。 In some embodiments, the virtual avatar is a graphically depictable representation of the user (e.g., a graphical representation of the user). In some embodiments, the virtual avatar is non-photorealistic (e.g., cartoonish). In some embodiments, the virtual avatar includes an avatar face having one or more avatar features (e.g., avatar facial features). In some embodiments, the avatar features correspond to (e.g., are mapped to) one or more physical features of the user's face such that detected movement of the user's physical features (e.g., as determined based on a camera, such as a depth-sensing camera) affects the avatar feature (e.g., affects the graphical representation of the feature).

一部の例では、ユーザは、カメラセンサ（例えば、カメラモジュール１４３、光センサ１６４）、及び任意選択的に深度センサ（例えば、深度カメラセンサ１７５）を使用して、仮想アバターの特性又は特徴を操作することができる。ユーザの物理的特徴（顔の特徴など）及び位置（頭の位置、頭の回転、又は頭の傾きなど）が変化すると、電子デバイスは、その変化を検出し、仮想アバターの表示された画像を変更して、ユーザの身体的特徴及び位置の変化を反映する。一部の実施形態では、ユーザの身体的特徴及び位置に対する変化は、様々な表現、感情、コンテキスト、トーン、又は他の非言語コミュニケーションを示す。一部の実施形態では、電子デバイスは、これらの表現、感情、コンテキスト、トーン、又は他の非言語コミュニケーションを表すために、仮想アバターの表示された画像を変更する。 In some examples, a user can manipulate the characteristics or features of a virtual avatar using camera sensors (e.g., camera module 143, light sensor 164) and, optionally, depth sensors (e.g., depth camera sensor 175). As the user's physical characteristics (e.g., facial features) and position (e.g., head position, head rotation, or head tilt) change, the electronic device detects the changes and modifies the displayed image of the virtual avatar to reflect the changes in the user's physical characteristics and position. In some embodiments, changes to the user's physical characteristics and position indicate different expressions, emotions, context, tone, or other non-verbal communication. In some embodiments, the electronic device modifies the displayed image of the virtual avatar to represent these expressions, emotions, context, tone, or other non-verbal communication.

一部の実施形態では、仮想アバターは、カスタマイズ可能なアバター（例えば、カスタマイズ可能なアバター８３５）である。カスタマイズ可能なアバターは、例えば、所望の外観（例えば、ユーザーのように見える）を達成するために、ユーザーが選択し、カスタマイズできる仮想アバターである。カスタマイズ可能なアバターは、一般的に、動物又は他の非人間オブジェクトの擬人化構成物などの非人間キャラクタではなく、人間キャラクタの外観を有する。加えて、アバターの特徴は、アバター編集ユーザインタフェース（例えば、図８ＡＡ～図８ＡＢに関して以下に論じるアバター編集ユーザインタフェースなど）を使用して、必要に応じて、作成又は変更することができる。一部の実施形態では、カスタマイズ可能なアバターを、カスタマイズされた物理的外観、物理的構成物、又はモデル化された挙動を達成するように、生成及び構成することができる。 In some embodiments, the virtual avatar is a customizable avatar (e.g., customizable avatar 835). A customizable avatar is a virtual avatar that a user can select and customize, for example, to achieve a desired appearance (e.g., to resemble the user). Customizable avatars generally have the appearance of human characters, rather than non-human characters such as anthropomorphic constructs of animals or other non-human objects. Additionally, avatar characteristics can be created or modified as desired using an avatar editing user interface (e.g., the avatar editing user interface discussed below with respect to Figures 8AA-8AB). In some embodiments, customizable avatars can be generated and configured to achieve customized physical appearances, physical constructs, or modeled behaviors.

一部の実施形態では、仮想アバターはカスタマイズ不可能なアバターである。カスタマイズ不可能なアバターは、ユーザによって選択できる仮想アバターであるが、以下でより詳細に説明するように、それらの外観は顔追跡を介して変更することができるものの、一般的には本来構成可能ではない。代わりに、カスタマイズ不可能なアバターは予め構成されており、一般にユーザによって変更できる特徴成分を有しない。一部の実施形態では、カスタマイズ不可能なアバターは、動物又は他の非人間オブジェクトの擬人化構成物（例えば、ロボットアバター６３３、ウサギアバター６３４を参照）などの非人間キャラクタの外観を有する。カスタマイズ不可能なアバターは、ユーザが作成できず、又は、物理的外観、物理的構成物、若しくはカスタマイズ不可能なアバターのモデル化された挙動において著しい変更を達成するように変更することができない。 In some embodiments, the virtual avatar is a non-customizable avatar. Non-customizable avatars are virtual avatars that can be selected by a user, but are generally not inherently configurable, although their appearance can be changed via face tracking, as described in more detail below. Instead, non-customizable avatars are pre-configured and generally do not have feature components that can be changed by a user. In some embodiments, a non-customizable avatar has the appearance of a non-human character, such as an anthropomorphic composition of an animal or other non-human object (see, e.g., robot avatar 633, rabbit avatar 634). A non-customizable avatar cannot be created by a user or modified to achieve significant changes in the physical appearance, physical composition, or modeled behavior of the non-customizable avatar.

図６Ｇでは、ロボットアバター６３０－３が選択されているので、デバイス６００は、画像表示領域６２０に表示された被写体６３２（例えば、ユーザ）の顔に配置されたロボットアバター６３３を表示する。デバイス６００は、アバターがカメラ６０２の視野内を移動する際に被写体の顔に固定されたままになるようにアバターを表示する。デバイス６００はまた、表示された被写体の身体及び背景６３６を画像表示領域６２０に示される画像内に維持しながら、顔の姿勢又は表情の変化を含むユーザの顔の検出された変化に基づいて、アバターを継続的に変更する。 In FIG. 6G, robot avatar 630-3 has been selected, causing device 600 to display robot avatar 633 positioned over the face of subject 632 (e.g., a user) displayed in image display area 620. Device 600 displays the avatar so that it remains fixed on the subject's face as it moves within the field of view of camera 602. Device 600 also continuously modifies the avatar based on detected changes in the user's face, including changes in facial pose or expression, while maintaining the displayed subject's body and background 636 within the image shown in image display area 620.

図６Ｈに示すように、デバイス６００がユーザの頭部がカメラ６０２の視野を越えて移動したことを検出した場合、デバイス６００は、例えば、選択されたアバター（例えば、ロボットアバター）の表現６４０を含むプロンプト６３８と、ユーザにカメラ６０２の視野内に頭部を再配置するように指示するメッセージ６４２とを表示する。一部の実施形態では、プロンプト６３８が、ぼやけた背景６４４（ユーザ６３２及び背景６３６をぼかすことを含む）と共に表示される。一部の実施形態では、プロンプト６３８を表示することは、画像表示領域６２０の中心位置に戻っていく選択されたアバターのアニメーションを表示すること、及びアバター特徴の物理モデルに基づいて停止するように見える、アバター及びその特徴の遅くなった動きを示すことを含む。 As shown in FIG. 6H, if device 600 detects that the user's head has moved beyond the field of view of camera 602, device 600 may display, for example, a prompt 638 including a representation 640 of a selected avatar (e.g., a robot avatar) and a message 642 instructing the user to reposition their head within the field of view of camera 602. In some embodiments, prompt 638 is displayed with a blurred background 644 (including blurring user 632 and background 636). In some embodiments, displaying prompt 638 includes displaying an animation of the selected avatar returning to a center position in image display area 620 and showing slowed movement of the avatar and its features that appear to stop based on a physical model of the avatar's features.

いったんデバイス６００がカメラ６０２の視野に戻るユーザの頭部を検出すると、デバイスは、図６Ｉに示すように、ユーザの顔において検出された変化に基づいて、選択されたアバター（例えば、ロボットアバター６３３）を更新し続ける。一部の実施形態では、デバイス６００がカメラ６０２の視野に戻るユーザの顔を検出すると、デバイス６００は、画像表示領域６２０の中心位置からユーザの顔の位置に移動するアバター６３３を表示し、検出されたユーザの顔の変化に基づいてアバターの変更を再開する。 Once device 600 detects the user's head returning to the field of view of camera 602, the device continues to update the selected avatar (e.g., robot avatar 633) based on the detected changes in the user's face, as shown in FIG. 6I. In some embodiments, once device 600 detects the user's face returning to the field of view of camera 602, device 600 displays avatar 633, which moves from the center position in image display area 620 to the position of the user's face, and resumes changing the avatar based on the detected changes in the user's face.

図６Ｉ～図６Ｋでは、デバイス６００は、アバターオプション６３０の表示されたリスト上の入力６４４（例えば、ディスプレイ６０１上のスクロールジェスチャ）を検出する。入力６４４がディスプレイ６０１を横切って左方向に移動すると、デバイス６００は、左にスクロールして追加のアバターオプション（例えば、うんちアバターオプション及びキツネアバターオプション）を明らかにするアバターオプション６３０を表示する。一部の実施形態では、アバターオプションのうちの１つが選択領域６２９に入ると、デバイスは、その時点における入力６４４の終了が、選択領域６２９内に現在位置しているアバターオプションの選択をもたらし得ることをユーザに示すための触覚フィードバック（例えば、音声出力を伴う、又は伴わない触知出力）を生成する。例えば、図６Ｋでは、デバイス６００は、エイリアンアバターオプション６３０－５が選択領域６２９内に位置するときに、触覚フィードバック６４６を生成する。 6I-6K, device 600 detects input 644 (e.g., a scrolling gesture on display 601) on a displayed list of avatar options 630. As input 644 moves leftward across display 601, device 600 displays avatar options 630 that scroll left to reveal additional avatar options (e.g., a poop avatar option and a fox avatar option). In some embodiments, when one of the avatar options enters selection region 629, the device generates haptic feedback (e.g., a tactile output, with or without audio output) to indicate to the user that termination of input 644 at that time may result in selection of the avatar option currently located within selection region 629. For example, in FIG. 6K, device 600 generates haptic feedback 646 when alien avatar option 630-5 is located within selection region 629.

図６Ｊでは、デバイス６００は、入力６４４の終了を検出し、エイリアンアバターオプション６３０－５が選択領域６２９内に位置していると判定する。結果として、デバイス６００は、被写体の身体及び背景６３６の表示を維持しながら、ロボットアバター６３３を、選択されたエイリアンアバターオプション６３０－５に対応するエイリアンアバター６３５に置換する。一部の実施形態では、以前に選択されたアバター（例えば、ロボットアバター６３３）を現在選択されているアバター（例えば、エイリアンアバター６３５）に置換することは、オフスクリーン（例えば、画像表示領域６２０の外）で移動する、以前に選択されたアバターのアニメーション、及びアバターオプションメニュー６２８から画像表示領域６２０内のユーザの顔に移動する、現在選択されているアバターのアニメーション、を表示することを含む。一部の実施形態では、現在選択されているアバターの顔追跡は、アバターがアバターオプションメニュー６２８からユーザーの顔に移動すると開始する。一部の実施形態では、アバターの切り替え操作が発生している間、背景をぼかしている。 In FIG. 6J, device 600 detects the end of input 644 and determines that alien avatar option 630-5 is located within selection region 629. As a result, device 600 replaces robot avatar 633 with alien avatar 635 corresponding to the selected alien avatar option 630-5, while maintaining display of the subject's body and background 636. In some embodiments, replacing the previously selected avatar (e.g., robot avatar 633) with the currently selected avatar (e.g., alien avatar 635) includes displaying an animation of the previously selected avatar moving off-screen (e.g., outside of image display region 620) and an animation of the currently selected avatar moving from avatar options menu 628 to the user's face in image display region 620. In some embodiments, face tracking of the currently selected avatar begins as the avatar moves from avatar options menu 628 to the user's face. In some embodiments, the background is blurred while the avatar switching operation is occurring.

図６Ｍ～図６Ｎでは、デバイス６００は、アバターオプションメニュー６２８上の垂直ジェスチャ６４６（例えば、ディスプレイ６０１上の垂直スワイプ又はタッチアンドドラッグ）を検出し、これに応じて、図６Ｎに示すように、アバターオプションメニュー６２８を拡大ビュー６２８－１に拡大する。図６Ｎでは、アバターオプション６３０はマトリクス状に配置されており、図６Ｏに示すように、選択されて（例えば、ジェスチャ６４８はロボットアバターオプション６３０－３を選択する）、画像表示領域６２０に異なるアバターを表示することができる。 In Figures 6M-6N, device 600 detects a vertical gesture 646 (e.g., a vertical swipe or touch-and-drag on display 601) on avatar options menu 628 and, in response, expands avatar options menu 628 to expanded view 628-1, as shown in Figure 6N. In Figure 6N, avatar options 630 are arranged in a matrix and can be selected (e.g., gesture 648 selects robot avatar option 630-3) to display a different avatar in image display area 620, as shown in Figure 6O.

図６Ｐに示すように、ジェスチャ６４８に応じて、デバイス６００は、選択されたロボットアバターオプション６３０－３（選択領域６２９に配置される）を含むアバターオプションメニュー６２８、及び画像表示領域６２０内のユーザの頭部に表示されるロボットアバター６３３を示す（例えば、メニューを逆拡大することによって）。 As shown in FIG. 6P, in response to gesture 648, device 600 presents avatar options menu 628 with selected robot avatar option 630-3 (located in selection area 629) and robot avatar 633 displayed over the user's head within image display area 620 (e.g., by demagnifying the menu).

図６Ｑでは、デバイス６００は、クローズアイコン６５０上の入力６４９（例えば、ディスプレイ６０１上のタップジェスチャ）を検出して、アプリケーションオプションメニュー６２８をクローズし、画像表示領域６２０上の画像ストリーム（例えば、ライブカメラプレビュー）内のユーザの顔のロボットアバター６３３の表示を維持しながら、カメラオプション領域６２５を示している図６Ｒ示すカメラユーザインタフェース６１５に戻る。カメラオプション領域６２５は、キャプチャアフォーダンス６２１、ビジュアルエフェクトオプションアフォーダンス６２４、及び強調表示エフェクトアフォーダンス６２２を示す。図６Ｓ及び図６Ｔに以下示すように、ユーザは、アバターメニューアフォーダンス６２４－１を選択して、アバターオプションメニュー６２８を再度表示することができる。 In FIG. 6Q, the device 600 detects input 649 (e.g., a tap gesture on the display 601) on the close icon 650 to close the application options menu 628 and return to the camera user interface 615 shown in FIG. 6R, which shows the camera options area 625, while maintaining the display of a robotic avatar 633 of the user's face in the image stream (e.g., a live camera preview) on the image display area 620. The camera options area 625 shows a capture affordance 621, a visual effects options affordance 624, and a highlighting effects affordance 622. As shown below in FIGS. 6S and 6T, the user can select the avatar menu affordance 624-1 to redisplay the avatar options menu 628.

例えば、図６Ｓでは、デバイス６００は、アバターエフェクトアフォーダンス６２４－１上の入力６５２（例えば、ディスプレイ６０１上のタップジェスチャ）を検出する。図６Ｔでは、入力６５２を検出したことに応じて、デバイス６００は、キャプチャアフォーダンス６２１、エフェクトアフォーダンス６２２、及びビジュアルエフェクトオプションアフォーダンス６２４を含むカメラオプション領域６２５を置換するアバターオプション６３０を有する、アバターオプションメニュー６２８を表示する。アバターオプションメニュー６２８は、前述したように、クローズアフォーダンス６５０を選択することによって再びクローズして、図６Ｕに示すように、カメラアプリケーションユーザインタフェース６１５に再び戻ることができる。 For example, in FIG. 6S, device 600 detects input 652 (e.g., a tap gesture on display 601) on avatar effects affordance 624-1. In FIG. 6T, in response to detecting input 652, device 600 displays avatar options menu 628 with avatar options 630 that replaces camera options area 625, which includes capture affordance 621, effects affordance 622, and visual effects options affordance 624. Avatar options menu 628 can be closed again by selecting close affordance 650, as described above, to return again to camera application user interface 615, as shown in FIG. 6U.

図６Ｕでは、デバイス６００は、ステッカーエフェクトアフォーダンス６２４－２上の入力６５４（例えば、ディスプレイ６０１上のタップジェスチャ）を検出する。図６Ｖでは、入力６５４を検出したことに応じて、デバイス６００は、ステッカー６５８のスクロール可能リストを有するステッカーオプションメニュー６５６を表示する。ステッカーは、ユーザが選択できて、画像表示領域６２０内の画像に適用される、静的なグラフィカルオブジェクトである。一部の実施形態では、ステッカーは、選択されたステッカー上で開始し、ステッカーを所望の位置にドラッグし、次いでドラッグを終了（例えば、指をリフト）することによってステッカーを所望の位置に配置する、タッチアンドドラッグジェスチャによって選択することができる。一部の実施形態では、ステッカーはタップジェスチャによって選択することができ、次いで対応するステッカーが画像表示領域６２０上の位置に表示される。このような実施形態の一例は図６Ｗ～図６Ｘに示され、次いで画像表示領域６２０の中央に表示されるヘルメットステッカー６５８－１上のタップジェスチャ６６０を示している。 6U, device 600 detects input 654 (e.g., a tap gesture on display 601) on sticker effect affordance 624-2. In FIG. 6V, in response to detecting input 654, device 600 displays sticker options menu 656 having a scrollable list of stickers 658. Stickers are static graphical objects that a user can select and apply to an image in image display area 620. In some embodiments, stickers can be selected with a touch-and-drag gesture, starting on the selected sticker, dragging the sticker to the desired location, and then placing the sticker in the desired position by ending the drag (e.g., lifting the finger). In some embodiments, a sticker can be selected with a tap gesture, and the corresponding sticker is then displayed in a position on image display area 620. An example of such an embodiment is shown in FIGS. 6W-6X, which show a tap gesture 660 on helmet sticker 658-1 displayed in the center of image display area 620.

図６Ｙ～図６Ｚは、ステッカーを新しい位置にドラッグすることによって、配置されたステッカー（例えば、ステッカー６５８－１）を画像表示領域６２０上に再配置できることを示す（ステッカー６５８－１を図６Ｚの新しい位置に動かしているジェスチャ６６２参照）。 Figures 6Y-6Z show that a placed sticker (e.g., sticker 658-1) can be repositioned on the image display area 620 by dragging the sticker to a new location (see gesture 662 moving sticker 658-1 to a new location in Figure 6Z).

図６ＡＡは、配置されたステッカー（例えば、ステッカー６５８－１）が、２本指のジェスチャ６６４を使用して回転できることを示す。 Figure 6AA shows that a placed sticker (e.g., sticker 658-1) can be rotated using a two-finger gesture 664.

図６ＡＢは、配置されたステッカー（例えば、ステッカー６５８－１）が、ピンチ又はデピンチジェスチャを使用してサイズ変更できることを示す。図６ＡＢでは、ヘルメットステッカー６５８－１が、デピンチジェスチャ６６６に応じて拡大されている。サイズ変更され、回転され、再配置されたヘルメットステッカー６５８－１が、図６ＡＣのロボットアバターの頭部上に配置されて示されている。 FIG. 6AB illustrates that a placed sticker (e.g., sticker 658-1) can be resized using a pinch or de-pinch gesture. In FIG. 6AB, helmet sticker 658-1 is enlarged in response to a de-pinch gesture 666. The resized, rotated, and repositioned helmet sticker 658-1 is shown placed on the head of the robot avatar in FIG. 6AC.

図６ＡＤでは、デバイス６００は、クローズアイコン６７０上の入力６６８（例えば、ディスプレイ６０１上のタップジェスチャ）を検出して、ステッカーオプションメニュー６５６をクローズし、図６ＡＥに示すように、キャプチャアフォーダンス６２１を示すカメラオプション領域６２５、ビジュアルエフェクトオプションアフォーダンス６２４、及びビジュアルエフェクトが表示可能にされていることを示す強調表示エフェクトアフォーダンス６２２を含む、カメラアプリケーションユーザインタフェース６１５に戻る。図６ＡＥでは、デバイス６００は、画像表示領域６２０上の画像にユーザの表現を示すが、ロボットアバター６３３（例えば、アバターオプションメニュー６２８から選択された）及びヘルメットステッカー６５８－１（例えば、ステッカーオプションメニュー６５６から選択された）を含むビジュアルエフェクトを用いて変更される。ビジュアルエフェクトの表示は動的である。例えば、デバイス６００は、ユーザの顔の検出された変化に応じてロボットアバター６３３を連続的に変更する。一部の実施形態では、ステッカー６５８－１の位置決めはまた、以下に一層詳細に論じるように、動的であり、かつユーザの検出された動きに基づいて変化する。 6AD, device 600 detects input 668 (e.g., a tap gesture on display 601) on close icon 670 to close sticker options menu 656 and return to camera application user interface 615, which includes camera options area 625 showing capture affordance 621, visual effects options affordance 624, and highlight effects affordance 622 indicating that visual effects are enabled to be displayed, as shown in FIG. 6AE. In FIG. 6AE, device 600 shows a representation of the user in the image on image display area 620, but modified with visual effects including robot avatar 633 (e.g., selected from avatar options menu 628) and helmet sticker 658-1 (e.g., selected from sticker options menu 656). The display of the visual effects is dynamic. For example, device 600 continuously changes robot avatar 633 in response to detected changes in the user's face. In some embodiments, the positioning of sticker 658-1 is also dynamic and changes based on detected movement of the user, as discussed in more detail below.

ビジュアルエフェクトがデバイス６００に対して有効化されている（例えば、エフェクトアフォーダンス６２２が強調表示されている）ときに、強調表示されたエフェクトアフォーダンス６２２を選択解除する（例えば、強調表示されているときにアフォーダンス６２２を選択して、ビジュアルエフェクトを無効化する）ことによって、適用されたビジュアルエフェクト（例えば、アバター及びステッカーなど）を画像表示領域６２０から除去する、又は隠すことができる。例えば、図６ＡＦでは、デバイスは、強調表示エフェクトアフォーダンス６２２上の入力６７２（例えば、ディスプレイ６０１上のタップジェスチャ）を検出する。これに応答して、デバイス６００は、カメラ６０２の視野内に被写体６３２及び背景６３６を含む画像ストリーム（例えば、ライブカメラプレビュー６２０－１）の表示を維持しながら、図６ＡＧに示すように、表示されたビジュアルエフェクト（例えば、図６ＡＦのヘルメットステッカー６５８－１及びロボットアバター６３３）を画像表示領域６２０から除去する。 When visual effects are enabled for device 600 (e.g., effect affordance 622 is highlighted), deselecting the highlighted effect affordance 622 (e.g., selecting affordance 622 while highlighted to disable the visual effect) can remove or hide the applied visual effects (e.g., avatars and stickers) from image display area 620. For example, in FIG. 6AF, the device detects input 672 (e.g., a tap gesture on display 601) on the highlighted effect affordance 622. In response, device 600 removes the displayed visual effects (e.g., helmet sticker 658-1 and robot avatar 633 in FIG. 6AF) from image display area 620, as shown in FIG. 6AG, while maintaining the display of an image stream (e.g., live camera preview 620-1) including subject 632 and background 636 within the field of view of camera 602.

一部の実施形態では、ビジュアルエフェクトモードが（例えば強調表示エフェクトアフォーダンス６２２を選択解除することにより）無効化された後、除去されたビジュアルエフェクトは、例えば、所定の時間内にエフェクトアフォーダンス６２２を再選択することによって、復元することができる。例えば、図６ＡＨでは、デバイスは、非強調表示エフェクトアフォーダンス６２２上の入力６７４（例えば、ディスプレイ６０１上のタップジェスチャ）を検出する。入力６７４を検出したことに応じて、デバイス６００は、図６ＡＩに示すように、被写体６３２の身体及び背景６３６を含む画像ストリーム（例えば、ライブカメラプレビュー６２０－１）を表示し続けながら、エフェクトアフォーダンス６２２を強調表示し、ヘルメットステッカー６５８－１及びロボットアバター６３３を再表示する。 In some embodiments, after the visual effects mode is disabled (e.g., by deselecting highlight effect affordance 622), the removed visual effects can be restored, for example, by reselecting effect affordance 622 within a predetermined time. For example, in FIG. 6AH, the device detects input 674 (e.g., a tap gesture on display 601) on the unhighlight effect affordance 622. In response to detecting input 674, device 600 highlights effect affordance 622 and re-displays helmet sticker 658-1 and robot avatar 633 while continuing to display an image stream (e.g., live camera preview 620-1) including the body of subject 632 and background 636, as shown in FIG. 6AI.

図６ＡＪでは、デバイス６００は、キャプチャアフォーダンス６２１上の入力６７６（例えば、ディスプレイ６０１上のタップジェスチャ）を検出する。入力６７６を検出したことに応じて、デバイス６００は、図６ＡＪのライブカメラプレビュー６２０－１の画像をキャプチャし、図６ＡＫのメディアアイテム６２０－２（例えば、デバイス６００がキャプチャアフォーダンス６２１上の入力６７６を検出した時間におけるライブカメラプレビュー６２０－１の状態の静止画像）を表示する。 In FIG. 6AJ, device 600 detects input 676 on capture affordance 621 (e.g., a tap gesture on display 601). In response to detecting input 676, device 600 captures an image of live camera preview 620-1 of FIG. 6AJ and displays media item 620-2 of FIG. 6AK (e.g., a still image of the state of live camera preview 620-1 at the time device 600 detects input 676 on capture affordance 621).

一部の実施形態では、画像がキャプチャされる（例えば、メディアアイテムとして記憶される）と、デバイス６００は、深度データをメディアアイテム内に符号化する。深度データをメディアに記憶することにより、深度ベースのエフェクト（例えば、ｚ方向におけるオブジェクト（例えば、ユーザの顔）の位置に基づくエフェクト）を後で適用することが可能になる。一部の実施形態では、エフェクトが適用されている間に画像がキャプチャされると、他のデバイスとの互換性を改善するために、そのエフェクトが視覚（例えば、ＲＧＢ）情報に直接符号化される。 In some embodiments, when an image is captured (e.g., stored as a media item), device 600 encodes depth data into the media item. Storing the depth data in the media allows for the later application of depth-based effects (e.g., effects based on the position of an object (e.g., the user's face) in the z-direction). In some embodiments, when an image is captured while an effect is being applied, the effect is encoded directly into the visual (e.g., RGB) information for improved compatibility with other devices.

図６ＡＫでは、デバイス６００は、画像表示領域６２０にキャプチャされた画像（例えば、メディアアイテム６２０－２）を示すカメラアプリケーションユーザインタフェース６１５を表示する（例えば、メディアアイテム６２０－２は、画像表示領域６２０に示されるライブカメラプレビュー６２０－１を置換する）。メディアアイテム６２０－２は、キャプチャアフォーダンス６２１が選択された時点でのライブカメラプレビュー６２０－１の表現である。このように、メディアアイテム６２０－２は、被写体６３２の顔、及び背景６３６の上に表示されるヘルメットステッカー６５８－１及びロボットアバター６３３を含む。 In FIG. 6AK, device 600 displays camera application user interface 615 showing a captured image (e.g., media item 620-2) in image display area 620 (e.g., media item 620-2 replaces live camera preview 620-1 shown in image display area 620). Media item 620-2 is a representation of live camera preview 620-1 at the time capture affordance 621 is selected. As such, media item 620-2 includes the face of subject 632 and helmet sticker 658-1 and robot avatar 633 displayed over background 636.

デバイス６００はまた、カメラ固有アフォーダンス（例えば、図６ＡＪに示すアフォーダンス６１７）を、再撮影アフォーダンス６７９、及び、受信者識別子６０６に置換し、受信者識別子６０６は、以下に論じるように、ユーザが続いてメディアアイテムを送信すべき、メディアアイテム６２０－２の現在選択されている受信者を示す。 Device 600 also replaces the camera-specific affordance (e.g., affordance 617 shown in FIG. 6AJ) with a re-capture affordance 679 and a recipient identifier 606, which indicates the currently selected recipient of media item 620-2 to which the user should subsequently send the media item, as discussed below.

デバイス６００は、ビジュアルエフェクトオプションアフォーダンス６２４を含むカメラオプション領域６２５を表示する。ビジュアルエフェクトオプションアフォーダンス６２４を選択して、それぞれのオプションメニューを表示することができ、メニューを使用して、キャプチャされたメディアアイテム６２０－２（並びに、後述する録画されたビデオメディアアイテム６２０－４）を変更することができる。 The device 600 displays a camera options area 625 that includes a visual effects option affordance 624. The visual effects option affordance 624 can be selected to display a respective options menu, which can be used to modify the captured media item 620-2 (as well as the recorded video media item 620-4, described below).

デバイス６００はまた、カメラオプション領域６２５を更新して、キャプチャアフォーダンス６２１及びカメラセレクタアフォーダンス６２７を、マークアップアフォーダンス６７７、編集アフォーダンス６７８、及び送信アフォーダンス６８０に置換する。マークアフォーダンス６７７は、ユーザがメディアアイテム６２０－２をマークアップすることを可能にする。編集アフォーダンス６７８により、ユーザが、画像を切り取ること、又はメディアアイテム６２０－２の他の特性を調整することによってなどで、メディアアイテム６２０－２を編集することが可能になる。図６ＡＫに示すように、送信アフォーダンス６８０がキャプチャアフォーダンス６２１をディスプレイ上でに置換するように、キャプチャアフォーダンス６２１が表示された同じ位置／領域内に、送信アフォーダンス６８０が表示される。 The device 600 also updates the camera options area 625, replacing the capture affordance 621 and camera selector affordance 627 with a markup affordance 677, an edit affordance 678, and a send affordance 680. The mark affordance 677 allows the user to mark up the media item 620-2. The edit affordance 678 allows the user to edit the media item 620-2, such as by cropping the image or adjusting other properties of the media item 620-2. As shown in FIG. 6AK, the send affordance 680 is displayed in the same location/area where the capture affordance 621 was displayed, such that the send affordance 680 replaces the capture affordance 621 on the display.

送信アフォーダンス６８０は、受信者識別子６０６によって示される受信者にメディアアイテム６２０－２を、ユーザが直ちに送信することを可能にする。例えば、図６ＡＬでは、デバイス６００は、送信アフォーダンス６８０上の入力６８２（例えば、ディスプレイ６０１上のタップジェスチャ）を検出し、図６ＡＭのメッセージングユーザインタフェース６０３に示すように、受信者識別子６０６に対応する連絡先であるＪｏｈｎに、メディアアイテム６２０－２を直ちに送信する。一部の実施形態では、デバイス６００は、メッセージングユーザインタフェース６０３を表示することなくメディアアイテム６２０－２を送信する。図６ＡＭに示すなどの一部の実施形態では、デバイスは、メディアアイテム６２０－２を送信し、メディアアイテム６２０－２を有するメッセージングユーザインタフェース６０３をメッセージ表示領域６０４に表示して、メディアアイテム６２０－２がメッセージ会話の参加者（例えば、Ｊｏｈｎ）に送信されたこと、及びキーボード表示領域６１２の上方に配置されたアプリケーションドック６９０を表示していること、を示す。アプリケーションドック６９０は、異なるアプリケーションにアクセスするために選択可能なアプリケーションアフォーダンス６９２を含む。 The send affordance 680 allows a user to immediately send media item 620-2 to a recipient indicated by recipient identifier 606. For example, in FIG. 6AL, the device 600 detects input 682 on the send affordance 680 (e.g., a tap gesture on the display 601) and immediately sends the media item 620-2 to John, the contact corresponding to recipient identifier 606, as shown in the messaging user interface 603 of FIG. 6AM. In some embodiments, the device 600 sends the media item 620-2 without displaying the messaging user interface 603. In some embodiments, such as that shown in FIG. 6AM, the device sends the media item 620-2 and displays the messaging user interface 603 with the media item 620-2 in the message display area 604 to indicate that the media item 620-2 has been sent to a participant in the message conversation (e.g., John), and displays an application dock 690 positioned above the keyboard display area 612. The application dock 690 includes selectable application affordances 692 to access different applications.

一部の実施形態では、メディアアイテム６２０－２は、メッセージング会話の参加者に直ちには送信されない。例えば、図６ＡＮでは、送信アフォーダンス６８０を選択する代わりに、ユーザは完了アフォーダンス６１８を選択する。完了アフォーダンス６１８上の入力６８４（例えば、ディスプレイ６０１上のタップジェスチャ）を検出したことに応じて、デバイス６００は、図６ＡＯに示すように、メッセージングユーザインタフェース６０３のメッセージ作成フィールド６０８に、メディアアイテム６８５の表現を表示する。この実施形態（図６ＡＯ～図６ＡＲに示す）では、アプリケーションドック６９０を表示する代わりに、デバイス６００は、メッセージを送信する前に、キーボード表示領域６１２と一緒にテキスト提案領域６１４を表示し、ユーザがテキスト（例えば、６８７）を作成するか、又は任意選択的に他のメッセージコンテンツ（例えば、マルチメディアコンテンツ）を追加できるようにする。送信アイコン６８８上の入力６８６（例えば、ディスプレイ６０１上のタップジェスチャ）を検出したことに応じて、デバイス６００は、図６ＡＱ～図６ＡＲに示すように、メディアアイテム６８５の表現をメッセージ会話の参加者に送信する。 In some embodiments, media item 620-2 is not immediately sent to participants in the messaging conversation. For example, in FIG. 6AN, instead of selecting send affordance 680, the user selects completion affordance 618. In response to detecting input 684 on completion affordance 618 (e.g., a tap gesture on display 601), device 600 displays a representation of media item 685 in message creation field 608 of messaging user interface 603, as shown in FIG. 6AO. In this embodiment (shown in FIGS. 6AO-6AR), instead of displaying application dock 690, device 600 displays text suggestion area 614 along with keyboard display area 612 to allow the user to compose text (e.g., 687) or, optionally, add other message content (e.g., multimedia content) before sending the message. In response to detecting input 686 (e.g., a tap gesture on display 601) on send icon 688, device 600 sends a representation of media item 685 to participants in the message conversation, as shown in FIGS. 6AQ-6AR.

一部の実施形態では、メディアアイテム６８５を送信することは、メディアアイテムに符号化された深度データを有するメディアアイテムを送信することを含む。深度データと共にメディアアイテムをメディアに記憶することにより、深度ベースのエフェクト（例えば、ｚ方向におけるオブジェクト（例えば、ユーザの顔）の位置に基づくエフェクト）を、後で適用すること（例えば、受信者が後で適用すること）が可能になる。一部の実施形態では、メディアアイテムが送信されると、他のデバイスとの互換性を向上させるために、そのエフェクトが視覚（例えばＲＧＢ）情報に直接符号化される。 In some embodiments, transmitting the media item 685 includes transmitting the media item with depth data encoded therein. Storing the media item with the depth data allows depth-based effects (e.g., effects based on the position of an object (e.g., a user's face) in the z-direction) to be applied later (e.g., by the recipient). In some embodiments, when the media item is transmitted, the effects are encoded directly into the visual (e.g., RGB) information to improve compatibility with other devices.

一部の実施形態では、メディアアイテム６８５の表現を送信した後、デバイス６００は、図６ＡＲに示すように、キーボード表示領域６１２の上方に表示されるテキスト提案領域６１４を有するメッセージングユーザインタフェース６０３を表示する。アプリケーションドックアフォーダンス６１０上の入力６９４（例えば、ディスプレイ６０１上のタップジェスチャ）を受信したことに応じて、デバイス６００は、図６ＡＴに示すように、テキスト提案領域６１４をアプリケーションドック６９０に置換する。 In some embodiments, after transmitting the representation of the media item 685, the device 600 displays a messaging user interface 603 having a text suggestion area 614 displayed above a keyboard display area 612, as shown in FIG. 6AR. In response to receiving input 694 on the application dock affordance 610 (e.g., a tap gesture on the display 601), the device 600 replaces the text suggestion area 614 with an application dock 690, as shown in FIG. 6AT.

一部の実施形態では、ユーザがメッセージ作成フィールド６０８又ははキーボード領域６１２（メッセージのテキストを作成することに関連付けられた動作）を選択するまで、アプリケーションドック６９０はメッセージングユーザインタフェース６０３に表示されたままである。例えば、図６ＡＵに示すように、デバイス６００は、キーボード表示領域６１２上の入力６９６（例えば、デバイス６０１上のタップジェスチャ）を検出する。これに応じて、図６ＡＶに示すように、デバイス６００は、アプリケーションドック６９０を除去し、キーボード表示領域６１２の上方にテキスト提案領域６１４を表示する。一部の実施形態では、入力６９６が（キーボード表示領域６１２の代わりに）メッセージ作成フィールド上の入力である場合、デバイス６００はまた、図６ＡＶに示すように、アプリケーションドック６９０を除去し、テキスト提案領域６１４を表示する。 In some embodiments, the application dock 690 remains displayed in the messaging user interface 603 until the user selects the message composition field 608 or the keyboard area 612 (an action associated with composing the text of a message). For example, as shown in FIG. 6AU, the device 600 detects an input 696 (e.g., a tap gesture on the device 601) on the keyboard display area 612. In response, as shown in FIG. 6AV, the device 600 removes the application dock 690 and displays the text suggestion area 614 above the keyboard display area 612. In some embodiments, if the input 696 is an input on the message composition field (instead of the keyboard display area 612), the device 600 also removes the application dock 690 and displays the text suggestion area 614, as shown in FIG. 6AV.

図６ＡＷは、アプリケーションドックアフォーダンス６１０が選択された後（例えば、図６ＡＳの入力６９４に応じて）のメッセージングユーザインタフェース６０３を示す。アプリケーションドック６９０は、キーボード選択領域６１２の上方に表示される（例えば、テキスト提案領域６１４を置換する）。アプリケーションアフォーダンス６９２－１上の入力６９８（例えば、ディスプレイ６０１上のタップジェスチャ）を検出したことに応じて、デバイス６００は、テキスト提案領域６１４及びキーボード表示領域６１２によって以前に占有されていた位置にアプリケーション表示領域６９９を表示する。アプリケーション表示領域６９９は、アプリケーションドック６９０を任意選択的に含み、アプリケーションドック６９０は、図６ＡＸに示すように、選択されたアプリケーションアフォーダンス（例えば、アプリケーションアフォーダンス６９２－１）の表示６１００を含む。 Figure 6AW shows the messaging user interface 603 after an application dock affordance 610 is selected (e.g., in response to input 694 in Figure 6AS). The application dock 690 is displayed above the keyboard selection region 612 (e.g., replacing the text suggestion region 614). In response to detecting input 698 on application affordance 692-1 (e.g., a tap gesture on the display 601), the device 600 displays an application display region 699 in the position previously occupied by the text suggestion region 614 and keyboard display region 612. The application display region 699 optionally includes an application dock 690, which includes a representation 6100 of the selected application affordance (e.g., application affordance 692-1), as shown in Figure 6AX.

一部の実施形態では、アプリケーション表示領域６９９は、メッセージングユーザインタフェース６０３で使用するために選択できるグラフィカルオブジェクト６１０２を含む。一部の実施形態では、アプリケーション表示領域６９９に表示されるグラフィカルオブジェクトのタイプは、アプリケーション表示領域の表示を呼び出すために選択されたアプリケーションアフォーダンスに依存する。図６ＡＸに示す実施形態では、選択されたアプリケーションアフォーダンス６９２－１は、アバターアプリケーションに対応する。したがって、アプリケーション表示領域６９９に表示されるグラフィカルオブジェクト６１０２－１及び６１０２－２は、メッセージングユーザインタフェースで使用するために選択できるアバターに対応する。アプリケーションドック６１０から選択されたアプリケーションアフォーダンスがステッカーアプリケーションに対応する場合、グラフィカルオブジェクト６１０２は、メッセージングユーザーインタフェースで使用するために選択できるステッカーに対応する。 In some embodiments, application display area 699 includes graphical objects 6102 that can be selected for use in messaging user interface 603. In some embodiments, the type of graphical objects displayed in application display area 699 depends on the application affordance selected to invoke the display of the application display area. In the embodiment shown in FIG. 6AX, the selected application affordance 692-1 corresponds to an avatar application. Thus, graphical objects 6102-1 and 6102-2 displayed in application display area 699 correspond to avatars that can be selected for use in the messaging user interface. If the application affordance selected from application dock 610 corresponds to a sticker application, then graphical objects 6102 correspond to stickers that can be selected for use in the messaging user interface.

前述したように、図６Ｃ～図６ＡＸに関して説明した先の実施形態は、写真アフォーダンス６１９－２に関連付けられた動作の静止画像キャプチャモードで動作するデバイス６００に関して論じられる。しかしながら、特に明記しない限り、これらの実施形態はまた、デバイスがビデオアフォーダンス６１９－１に関連付けられたビデオ録画モードで動作しているときのデバイス６００の動作に適用される。このようにして、ビデオアフォーダンス６１９－１に関連付けられたビデオ録画モードで動作しているときにデバイス６００に適用される先の実施形態の多くを示す、図６ＡＹ～図６ＢＱの下記の説明は、冗長性を避けるために必要に応じて省略されている。 As previously mentioned, the previous embodiments described with respect to FIGS. 6C-6AX are discussed with respect to device 600 operating in a still image capture mode of operation associated with photo affordance 619-2. However, unless otherwise noted, these embodiments also apply to the operation of device 600 when the device is operating in a video recording mode associated with video affordance 619-1. As such, the following description of FIGS. 6AY-6BQ, which show many of the previous embodiments applied to device 600 when operating in a video recording mode associated with video affordance 619-1, has been omitted as necessary to avoid redundancy.

図６ＡＹ～図６ＡＺは、カメラアプリケーションユーザインタフェース６１５のビデオアフォーダンス６１９－１上の入力６１０４を検出したことに応じて、デバイス６００がビデオ録画モードに切り替わることを示す。ビデオ録画モードに切り替えると、デバイス６００は、カメラ固有アフォーダンス６１７－２、６１７－３、及び６１７－４を除外し、タイマ６１２２を表示する。 Figures 6AY-6AZ show device 600 switching to video recording mode in response to detecting input 6104 on video affordance 619-1 of camera application user interface 615. Upon switching to video recording mode, device 600 removes camera-specific affordances 617-2, 617-3, and 617-4 and displays timer 6122.

図６ＡＺ～図６ＢＢは、エフェクトアフォーダンス６２２上の入力６１０６に応じてエフェクトモードを有効化し、次いでビデオ記録モードが有効化されている間に、カメラオプション領域６２５にビジュアルエフェクトオプションアフォーダンス６２４を表示するデバイス６００を示す。 Figures 6AZ-6BB show device 600 activating effects mode in response to input 6106 on effects affordance 622, and then displaying visual effects option affordance 624 in camera options area 625 while video recording mode is enabled.

図６ＢＣ～図６ＢＥは、アバターエフェクトアフォーダンス６２４－１上の入力６１０８を検出したことに応じて、アバターオプションメニュー６２８を表示するデバイス６００を示す。アバターオプションメニュー６２８は、ビデオモード中に被写体の顔に対応するアバターを表示するために選択できる、アバターオプション６３０を含む。ロボットアバターオプション６３０－３が選択されると、デバイス６００は、被写体の身体及び背景６３６の表示を維持しながら、ロボットアバター６３３を被写体の顔に表示する。クローズアイコン６５０は入力６１１０により選択され、アバターオプションメニュー６２８をクローズし、強調表示されたエフェクトアフォーダンス６２２及び表示されたビジュアルエフェクトオプションアフォーダンス６２４を有するカメラオプション領域６２５に戻る。 Figures 6BC-6BE show device 600 displaying avatar options menu 628 in response to detecting input 6108 on avatar effects affordance 624-1. Avatar options menu 628 includes avatar options 630 that can be selected to display an avatar corresponding to the subject's face during video mode. When robot avatar option 630-3 is selected, device 600 displays robot avatar 633 on the subject's face while maintaining display of the subject's body and background 636. Close icon 650 is selected with input 6110 to close avatar options menu 628 and return to camera options area 625 with effects affordance 622 highlighted and visual effects options affordance 624 displayed.

図６ＢＦ～図６ＢＨは、画像表示領域６２０に表された画像データの録画されたビデオを生成するデバイス６００を示す。デバイス６００は、キャプチャアフォーダンス６２１上の入力６１１２を検出し、画像表示領域６２０に表された画像データのキャプチャを開始する。一部の実施形態では、デバイス６００は、デバイス６００のビデオ録画モードが有効化されているとの判定に基づいて、画像データのビデオ記録を生成する。一部の実施形態では、デバイス６００は、キャプチャアフォーダンス６２１上で検出された入力６１１２に基づいて、ビデオ録画又は任意選択で静止画像キャプチャを生成する。例えば、入力６１１２がタップジェスチャとして検出されると、デバイス６００は、画像表示領域６２０に表される画像データの静止画像をキャプチャする。入力６１１２がタップアンドホールドジェスチャとして検出された場合、デバイス６００は、一層詳細に上述したように、画像データのビデオ録画をキャプチャする。 6BF-6BH illustrate device 600 generating a recorded video of image data represented in image display area 620. Device 600 detects input 6112 on capture affordance 621 and initiates capture of the image data represented in image display area 620. In some embodiments, device 600 generates a video recording of the image data based on determining that a video recording mode of device 600 is enabled. In some embodiments, device 600 generates a video recording or optionally a still image capture based on input 6112 detected on capture affordance 621. For example, if input 6112 is detected as a tap gesture, device 600 captures a still image of the image data represented in image display area 620. If input 6112 is detected as a tap-and-hold gesture, device 600 captures a video recording of the image data, as described in more detail above.

図６ＢＧでは、キャプチャアフォーダンス６２１上の入力６１１２を検出したことに応じて、デバイス６００は、被写体、背景、及びビジュアルエフェクトを含む画像表示領域６２０に表される画像データを記録するための処理を開始する。デバイス６００はまた、カメラエフェクト領域６２５を除去し、画像表示領域６２０を拡張し、並びに停止アフォーダンス６１１４、及び任意選択的に、ライブカメラ記録の静止画像をキャプチャするための画像キャプチャアフォーダンス６１１６を表示することによって、カメラアプリケーションユーザーインタフェース６１５を変更する。図６ＢＧ及び図６ＢＨでは、画像表示領域６２０は、上述のようになされた様々な選択に従って有効化されるビジュアルエフェクト（例えば、ロボットアバター６３３）の追加を伴う、カメラ６０２の視野内のオブジェクトのライブカメラ記録６２０－３を表す。ステッカー及びフルスクリーンエフェクトを含むこともできる、これらのビジュアルエフェクトは、ライブ画像データの一部として画像表示領域６２０に表示され、結果としてのメディアアイテムの一部を形成するために記録される。本明細書で論じるように、これらのビジュアルエフェクトは、メディアアイテムが記録された後、メディアアイテムに任意選択的に表示又は隠すことができる。 6BG, in response to detecting input 6112 on capture affordance 621, device 600 initiates processing to record image data represented in image display area 620, including the subject, background, and visual effects. Device 600 also modifies camera application user interface 615 by removing camera effects area 625, expanding image display area 620, and displaying stop affordance 6114 and, optionally, image capture affordance 6116 for capturing a still image of the live camera recording. In FIGS. 6BG and 6BH, image display area 620 represents a live camera recording 620-3 of objects within the field of view of camera 602, with the addition of visual effects (e.g., robot avatar 633) enabled according to various selections made as described above. These visual effects, which may include stickers and full-screen effects, are displayed in image display area 620 as part of the live image data and recorded to form part of the resulting media item. As discussed herein, these visual effects can be optionally revealed or hidden in the media item after the media item has been recorded.

図６ＢＨでは、デバイス６００は、ユーザの顔の変化を検出し、ライブ画像ストリームを記録しながら、ユーザの顔の検出された変化に基づいてロボットアバター６３３を変更する。停止アフォーダンス６１１４上の入力６１１８を検出したことに応じて、デバイス６００は、画像表示領域６２０に表される画像データの記録を停止し、図６ＢＩに示す再生インタフェースを表示する。 In FIG. 6BH, device 600 detects changes in the user's face and modifies robot avatar 633 based on the detected changes in the user's face while recording the live image stream. In response to detecting input 6118 on stop affordance 6114, device 600 stops recording image data represented in image display area 620 and displays the playback interface shown in FIG. 6BI.

図６ＢＩでは、デバイス６００は、画像表示領域６２０に記録されたビデオメディアアイテム６２０－４を表示し、再撮影アフォーダンス６７９及び受信者識別子６０６を表示し、受信者識別子は、本明細書で論じるように、ユーザが続いてメディアアイテムを送信すべき、ビデオアイテム６２０－４の現在選択されている受信者を示す。 In FIG. 6BI, device 600 displays recorded video media item 620-4 in image display area 620 and displays a re-capture affordance 679 and a recipient identifier 606, which indicates the currently selected recipient of video item 620-4 to whom the user should subsequently send the media item, as discussed herein.

デバイス６００はまた、停止アフォーダンス６１１４及び画像キャプチャアフォーダンス６１１６を除去し、記録されたビデオメディアアイテム６２０－４用のビデオスクラバ６１２０、エフェクトアフォーダンス６２２、編集アフォーダンス６７８、マークアップアフォーダンス６７７、及び送信アフォーダンス６８０を有するカメラオプション領域６２５を表示する。カメラオプション領域６２５はまた、ビジュアルエフェクトオプションアフォーダンス６２４を含む。ビジュアルエフェクトオプションアフォーダンス６２４を選択して、キャプチャされたメディアアイテム６２０－４を変更するために使用できる、それぞれのオプションメニューを表示することができる。図６ＢＪ～図６ＢＮは、キャプチャされたビデオメディアアイテム６２０－４においてビジュアルエフェクトを変更する例を示す。図６ＢＩに示すように、送信アフォーダンス６８０がキャプチャアフォーダンス６１１６をディスプレイ上でに置換するように、キャプチャアフォーダンス６１１６が表示された同じ位置／領域内に、送信アフォーダンス６８０が表示される。 The device 600 also removes the stop affordance 6114 and image capture affordance 6116 and displays a camera options area 625 with a video scrubber 6120, effects affordance 622, edit affordance 678, markup affordance 677, and send affordance 680 for the recorded video media item 620-4. The camera options area 625 also includes a visual effects options affordance 624. The visual effects options affordance 624 can be selected to display a respective options menu that can be used to modify the captured media item 620-4. Figures 6BJ-6BN show examples of modifying visual effects in the captured video media item 620-4. As shown in Figure 6BI, the send affordance 680 is displayed in the same location/area where the capture affordance 6116 was displayed, such that the send affordance 680 replaces the capture affordance 6116 on the display.

図６ＢＪ～図６ＢＮは、アバターエフェクトアフォーダンス６２４－１上の入力６１２４を検出したことに応じて、アバターオプションメニュー６２８を表示するデバイス６００を示す。図６ＢＫに示すように、アバターオプションメニュー６２８は、選択されたロボットアバターオプション６３０－３を含むアバターオプション６３０を示す。図６ＢＬに示すように、デバイス６００は、入力６１２６を検出してウサギアバターオプション６３０－４を選択し、ビデオメディアアイテム６２０－４を更新して、図６ＢＭに示すように、被写体の身体及び背景６３６をなおも表示しながら、被写体の頭部に配置されたウサギアバター６３４を示す。図６ＢＮに示すように、クローズアイコン６５０上の入力６１２８を検出したことに応じて、デバイス６００は、アバターオプションメニュー６２８をクローズし、図６ＢＯのカメラオプション領域６２５を表示する。ビデオスクラバ６１２０を含むカメラオプション領域６２５は、図６ＢＪのロボットアバター６３３の表示から、ウサギアバター６３４の表示に更新される。一部の実施形態では、ビデオスクラバ６１２０に向けられた入力（例えば、ビデオスクラバ６１２０の位置で開始する接触の動きを含むスワイプ入力又はドラッグ入力）に応じて、デバイスは、録画されたビデオを通じてスクラブする（例えば、ビデオのプレビューの外観を変更し、及び入力に従って、スクラバを移動させるか又はスクラバ内の再生ヘッドを移動させる）。一部の実施形態では、記録されたビデオを通じてスクラブすることは、ビデオに適用されるエフェクトが経時的にどのように影響を及ぼすか（例えば、ステッカー及び／又はアバターが、ユーザの頭部／顔が動くにつれて、どのように動き、及び／又は表現を変化させるか、若しくは１つ以上のカメラの視野内の表現を変化させるか）を示す。一部の実施形態では、ビデオスクラバ６１２０は、ビデオをクロッピングする（例えば、ビデオスクラバの両端の編集アフォーダンスをドラッグすることにより、ビデオスクラバの開始又は終了時間を変更する）ための選択可能なアフォーダンスを含む。例えば、図８ＡＷのビデオスクラバ８１２０に向けられたユーザ入力に応じて、デバイスは、図８ＡＷ～８ＡＺに示すように、アバター及びステッカーを用いて、しかし入力（例えば、タッチ感知ディスプレイ上の接触の動きの大きさ及び方向）の変化に基づいて決定されたレートで、ビデオを通じてスクラブし得る。上述したビデオスクラバ６１２０（及び後述するビデオスクラバ８１２０）との相互作用は、本明細書に記載する他のスクラバとの相互作用に対するのと同様の方法で、任意選択的に適用される。 Figures 6BJ-6BN show device 600 displaying avatar options menu 628 in response to detecting input 6124 on avatar effect affordance 624-1. As shown in Figure 6BK, avatar options menu 628 shows avatar options 630, including selected robot avatar option 630-3. As shown in Figure 6BL, device 600 detects input 6126 to select rabbit avatar option 630-4 and updates video media item 620-4 to show rabbit avatar 634 positioned on the subject's head while still displaying the subject's body and background 636, as shown in Figure 6BM. As shown in Figure 6BN, in response to detecting input 6128 on close icon 650, device 600 closes avatar options menu 628 and displays camera options area 625 of Figure 6BO. The camera options area 625, which includes the video scrubber 6120, updates from displaying a robot avatar 633 in FIG. 6BJ to displaying a rabbit avatar 634. In some embodiments, in response to input directed at the video scrubber 6120 (e.g., a swipe input or a drag input involving a contact movement beginning at the location of the video scrubber 6120), the device scrubs through the recorded video (e.g., changing the appearance of the video preview and moving the scrubber or the playhead within the scrubber according to the input). In some embodiments, scrubbing through the recorded video shows how effects applied to the video affect the video over time (e.g., how stickers and/or avatars move and/or change expression as the user's head/face moves, or change expression within the field of view of one or more cameras). In some embodiments, the video scrubber 6120 includes a selectable affordance for cropping the video (e.g., changing the start or end time of the video scrubber by dragging the edit affordances on either end of the video scrubber). For example, in response to user input directed at video scrubber 8120 in FIG. 8AW, the device may scrub through the video using avatars and stickers, but at a rate determined based on changes in the input (e.g., the magnitude and direction of movement of a contact on a touch-sensitive display), as shown in FIGS. 8AW-8AZ. Interactions with video scrubber 6120 described above (and video scrubber 8120 described below) are optionally applied in a manner similar to interactions with other scrubbers described herein.

図６ＡＫ～図６ＡＯに関して上述したように、ビデオメディアアイテム６２０－４を、図６ＢＰ及び図６ＢＱに示すように、送信アフォーダンス６８０上の入力（例えば、入力６１３０）を検出したことに応じて、メッセージ会話の参加者に直ちに送信することができる。ビデオメディアアイテム６２０－４の表現は、完了アフォーダンス６１８の入力に応じて、メッセージ作成フィールド６０８に表示することができる。 As described above with respect to Figures 6AK-6AO, video media item 620-4 can be immediately sent to participants in a message conversation in response to detecting an input (e.g., input 6130) on the send affordance 680, as shown in Figures 6BP and 6BQ. A representation of video media item 620-4 can be displayed in the message creation field 608 in response to inputting the completion affordance 618.

図７Ａ～図７Ｂは、一部の実施形態に係る、電子デバイスを使用してメッセージングアプリケーションにビジュアルエフェクトを表示するための方法を示すフロー図である。方法７００は、カメラ、表示装置、及び１つ以上の入力デバイスを備えたデバイス（例えば、１００、３００、５００、６００）にて実行される。方法７００におけるいくつか動作は、任意選択的に組み合わせられ、いくつかの動作の順序は任意選択的に変更され、いくつかの動作は任意選択的に省略される。 7A-7B are flow diagrams illustrating a method for displaying visual effects in a messaging application using an electronic device, according to some embodiments. Method 700 is performed on a device (e.g., 100, 300, 500, 600) that includes a camera, a display device, and one or more input devices. Some operations in method 700 are optionally combined, the order of some operations is optionally changed, and some operations are optionally omitted.

以下に説明するように、方法７００は、メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための直感的な仕方を提供する。この方法は、メッセージングアプリケーションにおいて送信する画像にビジュアルエフェクトを適用するためユーザの認知負担を軽減し、それによって、より効率的なヒューマン－マシンインタフェースを作り出す。バッテリ動作コンピューティングデバイスでは、画像にビジュアルエフェクトをユーザーがより迅速かつ効率的に表示できるようにすることで、電力を節約し、バッテリ充電間の時間を増大させる。 As described below, method 700 provides an intuitive way to display visual effects in messaging applications. This method reduces the cognitive burden on users to apply visual effects to images sent in messaging applications, thereby creating a more efficient human-machine interface. In battery-operated computing devices, enabling users to more quickly and efficiently display visual effects on images conserves power and increases the time between battery charges.

電子デバイス（例えば、６００）は、表示装置（例えば、６０１）を介して、少なくとも第１の参加者を含むメッセージ会話の、カメラアフォーダンス（例えば、６０９、カメラアプリケーションをアクティブ化するための機能に関連付けられた選択可能なアイコン）を含むメッセージングユーザインタフェース（例えば、６０３）を表示する（７０２）。 The electronic device (e.g., 600) displays (702) via a display device (e.g., 601) a messaging user interface (e.g., 603) of a message conversation involving at least a first participant, the messaging user interface including a camera affordance (e.g., 609, a selectable icon associated with functionality for activating a camera application).

電子デバイス（例えば、６００）は、１つ以上の入力デバイスを介して、カメラアフォーダンスに向けられた第１の入力（例えば、６１６、カメラアフォーダンスに対応する位置におけるタッチスクリーンディスプレイ上のタッチジェスチャ）を検出する（７０４）。 The electronic device (e.g., 600) detects (704) a first input (e.g., 616, a touch gesture on a touchscreen display at a location corresponding to the camera affordance) directed at the camera affordance via one or more input devices.

第１の入力（例えば、６１６）を検出したことに応じて、電子デバイス（例えば、６００）は、カメラユーザインタフェース（例えば、６１５）を表示する（７０６）。カメラユーザインタフェースは、キャプチャアフォーダンス（例えば、電子デバイスのカメラを使用して画像データをキャプチャするための機能に関連付けられた選択可能なアイコン、６２１）を含む（７０８）。 In response to detecting a first input (e.g., 616), the electronic device (e.g., 600) displays (706) a camera user interface (e.g., 615). The camera user interface includes (708) a capture affordance (e.g., a selectable icon 621 associated with functionality for capturing image data using the electronic device's camera).

一部の実施形態では、カメラユーザインタフェース（例えば、６１５）は、キャプチャされた画像データに表示するためにビジュアルエフェクトが有効化されるモードに関連付けられたエフェクトモードアフォーダンス（例えば、６２２、画像データを変更するために様々なビジュアルエフェクトが利用可能なモードをアクティブ化するための機能に関連付けられた選択可能なアイコン）を含む（７１０）。カメラユーザインタフェースにエフェクトモードアフォーダンスを含めることにより、ユーザが、カメラユーザインタフェースを介して特定のエフェクト（例えば、ビジュアルエフェクト）を画像に適用できることを認識することが可能になる。デバイスの追加の制御を提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、ビジュアルエフェクトを、カメラの視野内の画像データの表現に付加することができる。一部の実施形態では、ビジュアルエフェクトを、キャプチャされた画像データに付加することができる。一部の実施形態では、ビジュアルエフェクトは深度データに基づく。一部の実施形態では、電子デバイスは、１つ以上の入力デバイスを介して、エフェクトモードアフォーダンスの選択（たとえば、６２３）を検出する。一部の実施形態では、エフェクトモードアフォーダンスの選択を検出したことに応じて、電子デバイスは、第１のカメラモード（例えば、標準カメラモード）から、第１のカメラモードとは異なる第２のカメラモード（例えば、エフェクトカメラモード、画像データを変更するために様々なビジュアルエフェクトを利用できるモード）に、電子デバイスを遷移させる。一部の実施形態では、デバイスが第２のカメラモードにある間に、第２のカメラモードが動作しているという視覚表示が表示される（例えば、エフェクトモードアフォーダンスが強調表示される）。 In some embodiments, the camera user interface (e.g., 615) includes an effects mode affordance (e.g., 622, a selectable icon associated with a function for activating a mode in which various visual effects are available to modify the image data) associated with a mode in which visual effects are enabled for display on the captured image data (710). Including the effects mode affordance in the camera user interface enables a user to recognize that a particular effect (e.g., a visual effect) can be applied to an image via the camera user interface. Providing additional control of the device improves device usability, making the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and additionally reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently. In some embodiments, visual effects can be added to a representation of the image data within the camera's field of view. In some embodiments, visual effects can be added to the captured image data. In some embodiments, the visual effects are based on depth data. In some embodiments, the electronic device detects selection of an effects mode affordance (e.g., 623) via one or more input devices. In some embodiments, in response to detecting selection of the effects mode affordance, the electronic device transitions the electronic device from a first camera mode (e.g., a standard camera mode) to a second camera mode different from the first camera mode (e.g., an effects camera mode, a mode that utilizes various visual effects to modify image data). In some embodiments, while the device is in the second camera mode, a visual indication that the second camera mode is active is displayed (e.g., the effects mode affordance is highlighted).

一部の実施形態では、エフェクトモードアフォーダンス（例えば、６２２）の選択（例えば、６２３）を検出することに更に応じて、電子デバイス（例えば、６００）は、１つ以上のカメラモードアフォーダンスを表示することを停止する。一部の実施形態では、エフェクトモードアフォーダンスの選択を検出したことに更に応じて、電子デバイスは、複数のエフェクトオプションアフォーダンス（例えば、６２４、ビジュアルエフェクトを生成するための機能にそれぞれ関連付けられた選択可能なアイコン）を表示する。一部の実施形態では、エフェクトオプションアフォーダンスは、１つ以上のカメラモードアフォーダンスによって以前に占有されていた、カメラユーザインタフェース（例えば、６１５）内の位置に、ステッカーアフォーダンス（例えば、６２４－２）及び／又はアバターアフォーダンス（例えば、６２４－１）を含む。一部の実施形態では、エフェクトオプションアフォーダンスが表示される位置は、カメラモードアフォーダンスが以前に表示された特定の領域（例えば、カメラエフェクト領域６２５）内の任意の位置である。一部の実施形態では、それぞれのエフェクトオプションアフォーダンスが表示される位置は、それぞれのカメラモードアフォーダンスがその領域に表示されたのと同じ位置である。一部の実施形態では、エフェクトオプションアフォーダンスを表示することは、カメラモードアフォーダンスをエフェクトオプションアフォーダンスに置換することを含む。 In some embodiments, further in response to detecting a selection (e.g., 623) of an effects mode affordance (e.g., 622), the electronic device (e.g., 600) stops displaying one or more camera mode affordances. In some embodiments, further in response to detecting a selection of an effects mode affordance, the electronic device displays multiple effects option affordances (e.g., 624, selectable icons each associated with a function for generating a visual effect). In some embodiments, the effects option affordances include a sticker affordance (e.g., 624-2) and/or an avatar affordance (e.g., 624-1) in a location within the camera user interface (e.g., 615) previously occupied by one or more camera mode affordances. In some embodiments, the effects option affordances are displayed at any location within a particular area (e.g., camera effects area 625) where the camera mode affordance was previously displayed. In some embodiments, the locations at which each effects option affordance is displayed are the same locations at which the respective camera mode affordance was displayed in that area. In some embodiments, displaying the effects option affordance includes replacing the camera mode affordance with the effects option affordance.

一部の実施形態では、電子デバイス（例えば、６００）は、１つ以上の入力デバイスを介して、エフェクトオプションアフォーダンスの第１のもの（例えば、ステッカーアフォーダンス６２４－２）の選択（例えば、６５４）を検出する。一部の実施形態では、エフェクトオプションアフォーダンスのうちの第１のものの選択を検出したことに応じて、電子デバイスは、複数のエフェクトオプションアフォーダンス（例えば、６２４）を表示することを停止し、複数の選択可能なグラフィックアイコン（例えば、６５８、ステッカー）を表示する。エフェクトオプションアフォーダンスのうちの第１のものの選択を検出したことに応じて、複数のエフェクトオプションアフォーダンスの表示を停止し、複数の選択可能なグラフィックアイコンを表示することにより、ユーザは、エフェクトオプションアフォーダンスのうちの第１のものがグラフィックアイコン（例えば、ステッカー）オプションに関連することを迅速かつ容易に認識することができ、それによって、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、ステッカーを表示することは、エフェクトオプションのアフォーダンスの上に領域（例えば、ステッカーメニュー６５６）を表示することを含み、この領域は、カメラユーザインタフェースに表される画像上に表示するために選択できる複数のステッカーオプションを含む。一部の実施形態では、ユーザは、ステッカー上をタップすることによってステッカー（例えば、６５８－１）を選択し（例えば、６６０）、ステッカーは画像上に自動的に表示される（例えば、画像の中心などのデフォルト位置に）。一部の実施形態では、ユーザは、ステッカーをタッチし、ステッカーをステッカーメニューから画像上にドラッグすることによって、ステッカーを選択する。一部の実施形態では、キャプチャアフォーダンスを表示している間に、エフェクトオプションアフォーダンスのうちの第１のものの選択を検出したことに更に応じて、電子デバイスは、キャプチャアフォーダンスの表示を停止する。 In some embodiments, an electronic device (e.g., 600) detects selection (e.g., 654) of a first one of the effect option affordances (e.g., sticker affordance 624-2) via one or more input devices. In some embodiments, in response to detecting the selection of the first one of the effect option affordances, the electronic device ceases displaying the multiple effect option affordances (e.g., 624) and displays the multiple selectable graphic icons (e.g., 658, stickers). By ceasing displaying the multiple effect option affordances and displaying the multiple selectable graphic icons in response to detecting the selection of the first one of the effect option affordances, a user can quickly and easily recognize that the first one of the effect option affordances is associated with the graphic icon (e.g., sticker) option, thereby improving usability of the device and making the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs and reducing user errors when operating/interacting with the device), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently. In some embodiments, displaying the stickers includes displaying an area (e.g., sticker menu 656) above the effect options affordance, the area including multiple sticker options that can be selected for display on the image represented in the camera user interface. In some embodiments, the user selects a sticker (e.g., 658-1) by tapping on the sticker (e.g., 660), and the sticker is automatically displayed on the image (e.g., in a default position such as the center of the image). In some embodiments, the user selects a sticker by touching and dragging the sticker from the sticker menu onto the image. In some embodiments, further in response to detecting a selection of a first of the effect options affordances while displaying the capture affordance, the electronic device stops displaying the capture affordance.

一部の実施形態では、電子デバイス（例えば、６００）は、１つ以上の入力デバイスを介して、エフェクトオプションアフォーダンスのうちの第２のもの（例えば、アバターアフォーダンス６２４－１）の選択（例えば、６２６）を検出する。一部の実施形態では、エフェクトオプションアフォーダンスのうちの第２のものの選択を検出したことに応じて、電子デバイスは、複数のエフェクトオプションアフォーダンス（例えば、６２４）の表示を停止し、複数のアバターアフォーダンス（例えば、直線配置で表示される６３０）（例えば、アバターを表すアフォーダンス）を有するアバター選択領域（例えば、アバターメニュー６２８）を表示する。エフェクトオプションアフォーダンスのうちの第２のものの選択を検出したことに応じて、複数のエフェクトオプションアフォーダンスの表示を停止し、アバター選択領域を表示することにより、ユーザは、エフェクトオプションアフォーダンスのうちの第２がアバター選択に関連することを迅速かつ容易に認識することができ、それによって、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、アバターアフォーダンスは、カスタマイズ可能、カスタマイズ不可能、又はそれらの組み合わせであるアバターに対応する。一部の実施形態では、アバター選択領域を表示することは、エフェクトオプションアフォーダンスの上に領域（例えば、アバターメニュー６２８）を表示することを含み、この領域は、カメラユーザインタフェースに表される画像上に対応するアバターを表示するために選択できる複数のアバターアフォーダンスを含む。 In some embodiments, the electronic device (e.g., 600) detects selection (e.g., 626) of a second one of the effect option affordances (e.g., avatar affordance 624-1) via one or more input devices. In some embodiments, in response to detecting selection of the second one of the effect option affordances, the electronic device ceases displaying the multiple effect option affordances (e.g., 624) and displays an avatar selection area (e.g., avatar menu 628) having multiple avatar affordances (e.g., 630 displayed in a linear arrangement) (e.g., affordances representing avatars). By ceasing the display of the multiple effect option affordances and displaying the avatar selection area in response to detecting selection of a second of the effect option affordances, the user can quickly and easily recognize that the second of the effect option affordances is associated with avatar selection, thereby improving usability of the device and making the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently. In some embodiments, the avatar affordance corresponds to an avatar that is customizable, non-customizable, or a combination thereof. In some embodiments, displaying the avatar selection area includes displaying an area (e.g., avatar menu 628) above the effect option affordances, the area including multiple avatar affordances that can be selected to display corresponding avatars on an image presented in the camera user interface.

一部の実施形態では、電子デバイス（例えば、６００）は、１つ以上の入力デバイスを介して、アバター選択領域（例えば、６２８）上のスワイプ入力（例えば、６４６、垂直スワイプジェスチャ）を検出する。一部の実施形態では、アバター選択領域上のスワイプ入力を検出したことに応じて、電子デバイスは、アバター選択領域（例えば、６２８－１）のサイズを増大させ、マトリックス状に配置された複数のアバターアフォーダンス（例えば、６３０）を表示する。アバター選択領域上のスワイプ入力を検出したことに応じて、アバター選択領域のサイズを増大させ、複数のアバターアフォーダンスをマトリクス状に表示することにより、ユーザは、アバター選択領域では（同時に）見えない、１つ以上の追加選択可能なアバターを（同時に）見ることができる。追加表示されたコントロールによりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、アバター表示領域のサイズを増大することは、アバター表示領域の全画面表示を提示するために、アバター表示領域にマトリックス状に表示されたアバターアフォーダンスを用いて、アバター表示領域を垂直方向に拡張することを含む。 In some embodiments, an electronic device (e.g., 600) detects a swipe input (e.g., 646, a vertical swipe gesture) on an avatar selection area (e.g., 628) via one or more input devices. In response to detecting the swipe input on the avatar selection area, the electronic device increases the size of the avatar selection area (e.g., 628-1) and displays multiple avatar affordances (e.g., 630) arranged in a matrix. By increasing the size of the avatar selection area and displaying multiple avatar affordances in a matrix in response to detecting the swipe input on the avatar selection area, the user can simultaneously view one or more additional selectable avatars that are not simultaneously visible in the avatar selection area. Providing additional control options without cluttering the user interface with additional displayed controls improves device usability and makes the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs and reducing user errors when operating/interacting with the device), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently. In some embodiments, increasing the size of the avatar display area includes vertically expanding the avatar display area with avatar affordances displayed in a matrix in the avatar display area to present a full-screen view of the avatar display area.

一部の実施形態では、カメラユーザインタフェース（例えば、６１５）は、画像データの第１の表現（例えば、ライブカメラプレビュー６２０－１）を更に含む。画像データの第１の表現（例えば、ライブカメラプレビュー）を提供することにより、変更を保存／確認する前に、ユーザによってなされた１つ以上の（画像への）変更についての視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、エフェクトモードアフォーダンス（例えば、６２４－１、６２４－２）の選択を検出したことに更に応じて、電子デバイス（例えば、６００）は、画像データの第１の表現が、第２のカメラ（例えば、背面カメラ）から取得された画像データに対応するとの判定に従って、画像データの第１の表現の表示を停止し、画像データの第２の表現（例えば、ライブカメラプレビュー）を表示し、この画像データの第２の表現は、カメラ（例えば、正面カメラ）から取得された画像データに対応する。一部の実施形態では、正面カメラに対応する画像データの表現は、正面カメラの視野内に位置するユーザの表現を含む。 In some embodiments, the camera user interface (e.g., 615) further includes a first representation of the image data (e.g., a live camera preview 620-1). Providing the first representation of the image data (e.g., a live camera preview) provides visual feedback about one or more changes (to the image) made by the user before saving/confirming the changes. Providing improved visual feedback to the user improves usability of the device, making the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and additionally reduces device power usage and improves battery life by allowing the user to use the device more quickly and efficiently. In some embodiments, further in response to detecting a selection of an effects mode affordance (e.g., 624-1, 624-2), the electronic device (e.g., 600) ceases displaying the first representation of the image data in accordance with determining that the first representation of the image data corresponds to image data obtained from a second camera (e.g., a rear-facing camera), and displays a second representation of the image data (e.g., a live camera preview), where the second representation of the image data corresponds to image data obtained from a camera (e.g., a front-facing camera). In some embodiments, the representation of the image data corresponding to the front-facing camera includes a representation of a user positioned within a field of view of the front-facing camera.

一部の実施形態では、電子デバイス（例えば、６００）が第２のカメラモード（例えば、エフェクトカメラモード、画像データを変更するための様々なビジュアルエフェクトを利用できるモード）である間に、電子デバイスは、第１のカメラモード（例えば、通常モード、非エフェクトモード）への遷移要求（例えば、アクティブなビジュアルエフェクトアフォーダンスの選択）を受信する。一部の実施形態では、電子デバイスは、第１のカメラモードへの遷移要求を受信したことに応じて、電子デバイスを第２のカメラモードから第１のカメラモードに遷移させる。一部の実施形態では、電子デバイスは、第１のビジュアルエフェクトがアクティブである（例えば、キャプチャされた画像データ又はキャプチャ用の画像データのプレビューにアクティブに適用されている）ことに従って、第１のビジュアルエフェクトを非アクティブ化する（例えば、無効化する、表示された第１のビジュアルエフェクトの表示を停止する）。 In some embodiments, while the electronic device (e.g., 600) is in a second camera mode (e.g., an effects camera mode, a mode in which various visual effects are available to modify image data), the electronic device receives a transition request (e.g., selection of an active visual effect affordance) to a first camera mode (e.g., a normal mode, a no-effects mode). In some embodiments, in response to receiving the transition request to the first camera mode, the electronic device transitions the electronic device from the second camera mode to the first camera mode. In some embodiments, the electronic device deactivates the first visual effect (e.g., disables or stops displaying a displayed first visual effect) in accordance with the first visual effect being active (e.g., being actively applied to captured image data or a preview of image data for capture).

一部の実施形態では、第１のビジュアルエフェクトを非アクティブ化した後、電子デバイス（例えば、６００）は、１つ以上の入力デバイスを介して、エフェクトモードアフォーダンス（例えば、６２４－１、６２４－２）の後続の選択を検出する。一部の実施形態では、エフェクトモードアフォーダンスの後続の選択を検出したことに応じて、電子デバイスは、第１のビジュアルエフェクトを非アクティブ化した後の所定の時間内に、エフェクトモードアフォーダンスの後続の選択が発生したとの判定に従って、第１のビジュアルエフェクトを再アクティブ化する。第１のビジュアルエフェクトを非アクティブ化した後の所定の時間内に、エフェクトモードアフォーダンスの後続の選択が発生したとの判定に従って、第１のビジュアルエフェクトを再アクティブ化することにより、ユーザは、（例えば、エフェクトを再選択／再生成する必要なく）以前のビジュアルエフェクトに迅速かつ容易に戻ることができる。追加表示されたコントロールによりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、画像からビジュアルエフェクトを除去するエフェクトモードアフォーダンスを選択した後、所定の時間内にエフェクトモードアフォーダンスが再び選択されると、除去されたビジュアルエフェクトが画像に復元される。 In some embodiments, after deactivating the first visual effect, the electronic device (e.g., 600) detects a subsequent selection of an effect mode affordance (e.g., 624-1, 624-2) via one or more input devices. In some embodiments, in response to detecting the subsequent selection of the effect mode affordance, the electronic device reactivates the first visual effect pursuant to a determination that the subsequent selection of the effect mode affordance occurred within a predetermined time after deactivating the first visual effect. Reactivating the first visual effect pursuant to a determination that the subsequent selection of the effect mode affordance occurred within a predetermined time after deactivating the first visual effect allows a user to quickly and easily return to a previous visual effect (e.g., without having to reselect/regenerate the effect). Providing additional control options without cluttering the user interface with additional displayed controls improves usability of the device, making the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces power usage and improves battery life of the device by allowing the user to use the device more quickly and efficiently. In some embodiments, after selecting an effect mode affordance that removes visual effects from an image, if the effect mode affordance is selected again within a predetermined time, the removed visual effects are restored to the image.

電子デバイス（例えば、６００）は、１つ以上の入力デバイスを介して、キャプチャアフォーダンス（例えば、６２１）に向けられた第２の入力（例えば、６７６、キャプチャアフォーダンスに対応する位置におけるタッチスクリーンディスプレイ上のタッチジェスチャ）を検出する（７１２）。 The electronic device (e.g., 600) detects (712) a second input (e.g., 676, a touch gesture on the touchscreen display at a location corresponding to the capture affordance) directed toward the capture affordance (e.g., 621) via one or more input devices.

電子デバイス（例えば、６００）は、第２の入力（７１４）を検出したことに応じて、カメラ（例えば６０２）を使用して画像データをキャプチャする（７１６）。一部の実施形態では、画像データをキャプチャすることは、第１のキャプチャモード基準（例えば、閾値持続時間よりも小さい）を満たす第２の入力の特性（例えば、接触の持続時間）の値に従って、第１の画像キャプチャモード（例えば、写真キャプチャモード、静止画像キャプチャモード）で画像データをキャプチャすることを含む。一部の実施形態では、画像データをキャプチャすることは、第２のキャプチャモード基準（例えば、第２の閾値持続時間よりも大きい）を満たす第２の入力の特性の値に従って、第２の画像キャプチャモード（例えば、ビデオキャプチャモード、連続キャプチャモード）で画像データをキャプチャすることを含む。一部の実施形態では、キャプチャアフォーダンス（例えば、６２１）は、多機能キャプチャアフォーダンスである。一部の実施形態では、キャプチャアフォーダンス上でタップが検出されると、電子デバイスは写真（例えば、静止画像）をキャプチャする。一部の実施形態では、電子デバイスは、キャプチャアフォーダンス上でプレスアンドホールドジェスチャが検出されると、ビデオ（例えば、連続画像）をキャプチャする。 In response to detecting a second input (714), the electronic device (e.g., 600) captures image data (716) using the camera (e.g., 602). In some embodiments, capturing the image data includes capturing the image data in a first image capture mode (e.g., photo capture mode, still image capture mode) according to a value of a characteristic (e.g., duration of contact) of the second input satisfying a first capture mode criterion (e.g., less than a threshold duration). In some embodiments, capturing the image data includes capturing the image data in a second image capture mode (e.g., video capture mode, continuous capture mode) according to a value of a characteristic of the second input satisfying a second capture mode criterion (e.g., greater than a second threshold duration). In some embodiments, the capture affordance (e.g., 621) is a multi-function capture affordance. In some embodiments, when a tap is detected on the capture affordance, the electronic device captures a photo (e.g., a still image). In some embodiments, the electronic device captures video (e.g., continuous images) when a press-and-hold gesture is detected on the capture affordance.

第２の入力（例えば、６７６）を検出すること（７１４）に応答して、電子デバイス（例えば、６００）は、キャプチャアフォーダンス（例えば、６２１）の表示を停止する（７１８）。 In response to detecting (714) a second input (e.g., 676), the electronic device (e.g., 600) stops displaying (718) the capture affordance (e.g., 621).

一部の実施形態では、電子デバイス（例えば、６００）は、カメラ（例えば、６０２）を使用して画像データをキャプチャした後、マークアップアフォーダンス（例えば、６７７）、編集アフォーダンス（例えば、６７８）、及び再撮影アフォーダンス（例えば、６７９）を表示する。一部の実施形態では、電子デバイスは、マークアップアフォーダンス、編集アフォーダンス、及び再撮影アフォーダンスを表示している間に、１つ以上の入力デバイスを介して、第４のユーザ入力を受信する。一部の実施形態では、電子デバイスは、第４のユーザ入力を検出したことに応じて、編集アフォーダンスに対応する第４のユーザ入力に従って、キャプチャされた画像データを編集するための処理を開始する。一部の実施形態では、編集のための処理は、キャプチャされた画像データを編集するための１つ以上のアフォーダンスを表示することを含む。一部の実施形態では、電子デバイスは、第４のユーザ入力を検出したことに応じて、マークアップアフォーダンスに対応する第４のユーザ入力に従って、キャプチャされた画像データをマークアップするための処理を開始する。一部の実施形態では、編集のための処理は、キャプチャされた画像データをマークアップするための１つ以上のアフォーダンスを表示することを含む。一部の実施形態では、電子デバイスは、第４のユーザ入力を検出したことに応じて、再撮影アフォーダンスに対応する第４のユーザ入力に従って、キャプチャされた画像データを再撮影するための処理を開始する。一部の実施形態では、キャプチャされた画像データを再撮影する処理を開始することは、新たな画像データをキャプチャし、キャプチャされた画像データを新しい画像データに置換することを含む。 In some embodiments, the electronic device (e.g., 600) displays a markup affordance (e.g., 677), an edit affordance (e.g., 678), and a re-capture affordance (e.g., 679) after capturing image data using the camera (e.g., 602). In some embodiments, the electronic device receives a fourth user input via one or more input devices while displaying the markup affordance, the edit affordance, and the re-capture affordance. In some embodiments, the electronic device, in response to detecting the fourth user input, initiates a process for editing the captured image data in accordance with the fourth user input corresponding to the edit affordance. In some embodiments, the process for editing includes displaying one or more affordances for editing the captured image data. In some embodiments, the electronic device, in response to detecting the fourth user input, initiates a process for marking up the captured image data in accordance with the fourth user input corresponding to the markup affordance. In some embodiments, the process for editing includes displaying one or more affordances for marking up the captured image data. In some embodiments, in response to detecting the fourth user input, the electronic device initiates a process to re-capture the captured image data in accordance with the fourth user input corresponding to the re-capture affordance. In some embodiments, initiating the process to re-capture the captured image data includes capturing new image data and replacing the captured image data with the new image data.

第２の入力（例えば、６７６）を検出すること（７１４）に応じて、電子デバイス（例えば、６００）は、キャプチャアフォーダンス（例えば、６２１）によって以前に占有されていたカメラユーザインタフェース（例えば、６１５）内の位置に、送信アフォーダンス（例えば、６８０、キャプチャされた画像データを会話中の参加者に送信するための、又は後続の送信前に、キャプチャされた画像データを作成領域に提示するための機能に関連付けられた選択可能なアイコン）を表示する（７２０）。キャプチャアフォーダンスによって以前に占有されていたカメラユーザインタフェース内の位置に送信アフォーダンスを表示することにより、キャプチャされた画像を意図する受信者に送信する準備ができているという視覚フィードバックを提供する。ユーザインタフェースを雑然とさせることなく視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、送信アフォーダンス（例えば、６８０）が表示される位置は、キャプチャアフォーダンスが以前に表示された特定の領域（例えば、カメラエフェクト領域６２５）内の任意の位置である。一部の実施形態では、送信アフォーダンスが表示される位置は、キャプチャアフォーダンスがその領域内に表示されたのと同じ位置である。一部の実施形態では、送信アフォーダンスを表示することは、キャプチャアフォーダンスを送信アフォーダンスに置換することを含む。 In response to detecting (714) a second input (e.g., 676), the electronic device (e.g., 600) displays (720) a send affordance (e.g., 680, a selectable icon associated with functionality for sending captured image data to a participant in a conversation or for presenting the captured image data in a composition area prior to subsequent transmission) in a location within the camera user interface (e.g., 615) previously occupied by the capture affordance (e.g., 621). Displaying the send affordance in a location within the camera user interface previously occupied by the capture affordance provides visual feedback that the captured image is ready to be sent to an intended recipient. Providing the user with visual feedback without cluttering the user interface improves device usability and makes the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs and reducing user errors when operating/interacting with the device), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently. In some embodiments, the location at which the send affordance (e.g., 680) is displayed is anywhere within a particular region (e.g., camera effect region 625) where the capture affordance was previously displayed. In some embodiments, the location at which the send affordance is displayed is the same location at which the capture affordance was displayed within that region. In some embodiments, displaying the send affordance includes replacing the capture affordance with the send affordance.

一部の実施形態では、送信アフォーダンス（例えば、６８０）を表示している間に、電子デバイス（例えば、６００）は、第１の参加者の表現（例えば、アイコン、写真、アバター、又は第１の参加者に関連付けられた他の識別子）を表示する（７２２）。送信アフォーダンスを表示している間に第１の参加者の表現を表示することにより、ユーザは、意図する受信者を迅速かつ容易に認識することができ、それによって、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、第１の参加者の表現は、キャプチャされた写真が第１の参加者に送信されることをユーザに示すインジケーションとして働く。一部の実施形態では、第１の参加者の表現は、カメラ（例えば、６０２）を使用して画像データをキャプチャする前には表示されない（７２４）。一部の実施形態では、カメラユーザインタフェース（例えば、６１５）は、画像データをキャプチャする前に表示されるカメラ固有アフォーダンス（例えば、フィルタ、照明オプション、タイマオプションなどに対応する６１９）を含む。一部の実施形態では、第１の参加者の表現を表示することで、表示されたカメラ固有アフォーダンスを第１の参加者の表現に置き換える。 In some embodiments, while displaying the send affordance (e.g., 680), the electronic device (e.g., 600) displays a representation of the first participant (e.g., an icon, photo, avatar, or other identifier associated with the first participant) (722). Displaying the representation of the first participant while displaying the send affordance allows the user to quickly and easily recognize the intended recipient, thereby improving device usability and making the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently. In some embodiments, the representation of the first participant serves as an indication to the user that the captured photo will be sent to the first participant. In some embodiments, the representation of the first participant is not displayed prior to capturing image data using the camera (e.g., 602) (724). In some embodiments, the camera user interface (e.g., 615) includes camera-specific affordances (e.g., 619 corresponding to filters, lighting options, timer options, etc.) that are displayed prior to capturing image data. In some embodiments, displaying a representation of the first participant replaces the displayed camera-specific affordances with the representation of the first participant.

電子デバイス（例えば、６００）は、１つ以上の入力デバイスを介して、送信アフォーダンスに向けられた第３の入力（例えば、送信アフォーダンス６８０に対応する位置におけるタッチスクリーンディスプレイ上のタッチジェスチャ）を検出する（７２６）。 The electronic device (e.g., 600) detects (726) a third input directed toward the transmit affordance (e.g., a touch gesture on a touchscreen display at a location corresponding to the transmit affordance 680) via one or more input devices.

第３の入力を検出したことに応じて、電子デバイス（例えば、６００）は、（例えば、後続の送信前に、作成領域内でキャプチャされた画像データを即座に送信又は提示する）処理を開始し（７２８）、キャプチャされた画像データを第１の参加者に送信する。 In response to detecting the third input, the electronic device (e.g., 600) initiates (728) a process (e.g., immediately transmitting or presenting the captured image data within the creation area before subsequent transmission) to transmit the captured image data to the first participant.

一部の実施形態では、電子デバイス（例えば、６００）は、送信アフォーダンス（例えば、６８０）に向けられた第３の入力を検出する前に、完了アフォーダンス（例えば、カメラユーザインタフェースをクローズしてメッセージングユーザインタフェースを表示するための機能に関連付けられた選択可能なアイコン）を表示する。一部の実施形態では、電子デバイスは、１つ以上の入力デバイスを介して、完了アフォーダンスの選択を検出する。一部の実施形態では、電子デバイスは、完了アフォーダンスの選択を検出したことに応じて、メッセージ作成領域（例えば６０８）を有するメッセージングユーザーインタフェース（例えば、６０３）を表示する。一部の実施形態では、電子デバイスは、完了アフォーダンスの選択を検出したことに応じて、キャプチャされた画像データの表現をメッセージ作成領域に表示する。一部の実施形態では、完了アフォーダンスを選択すると、カメラユーザインタフェースをクローズし、キャプチャされた画像データを送信することなく、キャプチャされた画像データをメッセージングユーザインタフェースのメッセージ作成フィールドに表示する。 In some embodiments, the electronic device (e.g., 600) displays a completion affordance (e.g., a selectable icon associated with a function for closing the camera user interface and displaying a messaging user interface) before detecting a third input directed toward the send affordance (e.g., 680). In some embodiments, the electronic device detects selection of the completion affordance via one or more input devices. In some embodiments, the electronic device displays a messaging user interface (e.g., 603) having a message composition area (e.g., 608) in response to detecting selection of the completion affordance. In some embodiments, the electronic device displays a representation of the captured image data in the message composition area in response to detecting selection of the completion affordance. In some embodiments, selection of the completion affordance closes the camera user interface and displays the captured image data in a message composition field of the messaging user interface without sending the captured image data.

一部の実施形態では、電子デバイス（例えば、６００）は、第３のユーザ入力を検出する前に、第１の画像キャプチャモード（例えば、写真キャプチャモード、ビデオキャプチャモード）にある。一部の実施形態では、電子デバイスは、第３のユーザ入力を検出したことに更に応じて、第１の画像キャプチャモードを維持する。一部の実施形態では、電子デバイスは、複数のモード（例えば、写真キャプチャモード、ビデオキャプチャモード）に従って画像データをキャプチャするように構成（例えば、ユーザ構成）することができる。一部の実施形態では、電子デバイスが第１のカメラモード（例えば、標準カメラモード、非エフェクトカメラモード）から第２のカメラモード（例えば、エフェクトカメラモード）に遷移する場合でさえも、画像キャプチャモードの選択は持続的である。 In some embodiments, the electronic device (e.g., 600) is in a first image capture mode (e.g., photo capture mode, video capture mode) before detecting a third user input. In some embodiments, the electronic device maintains the first image capture mode further in response to detecting a third user input. In some embodiments, the electronic device can be configured (e.g., user-configured) to capture image data according to multiple modes (e.g., photo capture mode, video capture mode). In some embodiments, the selection of the image capture mode is persistent even when the electronic device transitions from a first camera mode (e.g., standard camera mode, no-effects camera mode) to a second camera mode (e.g., effects camera mode).

一部の実施形態では、キャプチャされた画像データを第１の参加者に送信する処理を開始することは、（例えば、メッセージングユーザインタフェース６１５を表示することなく）キャプチャされた画像データを第１の参加者に送信することを含む。一部の実施形態では、カメラユーザインタフェースから送信アフォーダンス（例えば、６８０）を選択すると、中間ユーザインタフェースを表示することなく、又はユーザからの更なる入力を要求することなく、メッセージ会話の他の参加者にキャプチャされた画像データを直ちに送信する。 In some embodiments, initiating the process of sending the captured image data to the first participant includes sending the captured image data to the first participant (e.g., without displaying the messaging user interface 615). In some embodiments, selecting a send affordance (e.g., 680) from the camera user interface immediately sends the captured image data to other participants in the messaging conversation without displaying an intermediate user interface or requiring further input from the user.

一部の実施形態では、キャプチャされた画像データを第１の参加者に送信する処理を開始することは、メッセージングユーザインタフェース（例えば、６１５）を再表示することを含み、メッセージングユーザインタフェースは、キーボード領域（例えば、６１２）及びアプリケーションメニューアフォーダンス（例えば、６１０、アプリケーションメニューユーザインタフェースを表示するための機能に関連付けられた選択可能なアイコン）を更に含む。キャプチャされた画像データを第１の参加者に送信する処理を開始することの一部としてメッセージングユーザインタフェースを再表示することにより、キャプチャされた画像データがメッセージ会話を介して送信されているという視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、アプリケーションメニューアフォーダンスは、メッセージングユーザインタフェース内のメッセージ作成フィールドに隣接して表示される。一部の実施形態では、電子デバイス（例えば、６００）は、１つ以上の入力デバイスを介して、アプリケーションメニューアフォーダンスの選択を検出する。一部の実施形態では、アプリケーションメニューアフォーダンスの選択を検出したことに応じて、電子デバイスは、キーボード領域に隣接する（例えば、その上方の）アプリケーションメニュー領域であって、複数のアプリケーションアフォーダンス（例えば、それぞれのアプリケーションアフォーダンスに関連付けられたアプリケーションを開始するための機能にそれぞれ関連付けられた選択可能なアイコン）を有する、アプリケーションメニュー領域を表示する。一部の実施形態では、アプリケーションアフォーダンスは、ステッカーアフォーダンス及びアバターアフォーダンスを含む。 In some embodiments, initiating the process of sending the captured image data to the first participant includes redisplaying a messaging user interface (e.g., 615), where the messaging user interface further includes a keyboard area (e.g., 612) and an application menu affordance (e.g., 610, a selectable icon associated with a function for displaying the application menu user interface). Redisplaying the messaging user interface as part of initiating the process of sending the captured image data to the first participant provides visual feedback that the captured image data is being sent via the message conversation. Providing the user with improved visual feedback improves device usability, makes the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and additionally reduces device power usage and improves battery life by allowing the user to use the device more quickly and efficiently. In some embodiments, the application menu affordance is displayed adjacent to a message composition field within the messaging user interface. In some embodiments, the electronic device (e.g., 600) detects selection of the application menu affordance via one or more input devices. In some embodiments, in response to detecting selection of the application menu affordance, the electronic device displays an application menu area adjacent to (e.g., above) the keyboard area, the application menu area having a plurality of application affordances (e.g., selectable icons each associated with a function for starting an application associated with the respective application affordance). In some embodiments, the application affordances include a sticker affordance and an avatar affordance.

一部の実施形態では、電子デバイス（例えば、６００）は、メッセージングユーザインタフェース（例えば、６１５）上の第４の入力を検出する。一部の実施形態では、第４の入力が、キーボード領域（例えば、６１２）の位置、又はメッセージングユーザインタフェース内のメッセージ作成領域（例えば、６０８）の位置に対応するとの判定に従って、電子デバイスは、アプリケーションメニュー領域の表示を停止し、アプリケーションメニュー領域によって以前に占有されていたメッセージングユーザインタフェース内の位置に、テキスト提案領域（例えば、ユーザが便利に選択するための推奨ワードのリストを有する領域）を表示する。 In some embodiments, the electronic device (e.g., 600) detects a fourth input on a messaging user interface (e.g., 615). In some embodiments, pursuant to determining that the fourth input corresponds to the location of a keyboard area (e.g., 612) or the location of a message composition area (e.g., 608) within the messaging user interface, the electronic device ceases displaying the application menu area and displays a text suggestion area (e.g., an area having a list of suggested words for the user to conveniently select) in the location within the messaging user interface previously occupied by the application menu area.

一部の実施形態では、電子デバイス（例えば、６００）は、アプリケーションメニュー領域内の複数のアプリケーションアフォーダンス（例えば、ステッカーアフォーダンス又はアバターアフォーダンス）のうちの１つの選択を検出する。一部の実施形態では、アプリケーションアフォーダンス（例えば、６１０）の選択を検出したことに応じて、電子デバイスは、キーボード領域（例えば、６１２）の表示を停止し、キーボード領域によって以前に占有されていたメッセージングユーザインタフェース（例えば、６１５）内の位置にアプリケーション表示領域を表示し、アプリケーション表示領域は、選択されたアプリケーションアフォーダンスに対応する複数のグラフィカルオブジェクト（例えば、アバター又はステッカー）を含む。一部の実施形態では、選択されたアプリケーションアフォーダンスはステッカーアフォーダンスであり、アプリケーション表示領域に表示されるグラフィカルオブジェクトはステッカーである。一部の実施形態では、選択されたアプリケーションアフォーダンスはアバターアフォーダンスであり、アプリケーション表示領域に表示されるグラフィカルオブジェクトは、アバター（例えば、カスタマイズ可能なアバター、及び／又はカスタマイズ不可能なアバター）である。 In some embodiments, the electronic device (e.g., 600) detects selection of one of a plurality of application affordances (e.g., a sticker affordance or an avatar affordance) within an application menu region. In some embodiments, in response to detecting selection of the application affordance (e.g., 610), the electronic device ceases displaying a keyboard region (e.g., 612) and displays an application display region in the location within the messaging user interface (e.g., 615) previously occupied by the keyboard region, the application display region including a plurality of graphical objects (e.g., avatars or stickers) corresponding to the selected application affordance. In some embodiments, the selected application affordance is a sticker affordance, and the graphical object displayed in the application display region is a sticker. In some embodiments, the selected application affordance is an avatar affordance, and the graphical object displayed in the application display region is an avatar (e.g., a customizable avatar and/or a non-customizable avatar).

なお、方法７００に関して上述された処理（例えば、図７Ａ～図７Ｂ）の詳細はまた、以下で説明される方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法９００、１１００、１３００、及び１５００は、方法７００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターなどのビジュアルエフェクトが、カメラアプリケーションユーザインタフェース、メディアユーザーインタフェース、及びライブビデオ通信セッションのためのユーザーインタフェースにおいて画像データに表示される。簡潔にするために、これらの詳細は、以下では繰り返さない。 It should be noted that the details of the processes described above with respect to method 700 (e.g., FIGS. 7A-7B) are also applicable in an analogous manner to the methods described below. For example, methods 900, 1100, 1300, and 1500 optionally include one or more of the features of the various methods described above with respect to method 700. For example, visual effects such as stickers and virtual avatars are displayed on image data in a camera application user interface, a media user interface, and a user interface for a live video communication session. For the sake of brevity, these details will not be repeated below.

図８Ａ～図８ＢＱは、一部の実施形態に係る、カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す。これらの図のユーザインタフェースは、図９Ａ及び図９Ｂの処理を含めた、以下で説明される処理を示すために用いられる。 Figures 8A-8BQ show exemplary user interfaces for displaying visual effects in a camera application, according to some embodiments. The user interfaces in these figures are used to illustrate the processes described below, including the processes of Figures 9A and 9B.

図８Ａでは、デバイス６００は、ホーム画面８００を示し、カメラアプリケーションアフォーダンス８０２上の入力８０１を検出する。 In FIG. 8A, device 600 shows home screen 800 and detects input 801 on camera application affordance 802.

図８Ｂでは、入力８０１を検出したことに応じて、デバイス６００は、カメラアプリケーションアフォーダンス８０２に関連付けられたカメラアプリケーションを起動し、カメラアプリケーションユーザインタフェース８１５を表示する。カメラアプリケーションユーザインタフェース８１５は、図６Ａ～図６ＢＱに示す実施形態に関して上述した、カメラアプリケーションユーザインタフェース６１５に類似する。 In FIG. 8B, in response to detecting input 801, device 600 launches the camera application associated with camera application affordance 802 and displays camera application user interface 815. Camera application user interface 815 is similar to camera application user interface 615 described above with respect to the embodiment shown in FIGS. 6A-6BQ.

カメラアプリケーションユーザインタフェース８１５は、例えば、カメラ（例えば、背面カメラ又はカメラ６０２）の視野内に位置するオブジェクトを表すストリーミングされた画像データ（例えば、ライブカメラプレビュー、ライブカメラ記録、若しくはライブビデオ通信セッション）、又は、例えば写真若しくはビデオ録画などのメディアアイテム、などの画像データの表現を表示する画像表示領域８２０を含む。図８Ｂに示す実施形態では、画像表示領域８２０は、デバイス６００の背面カメラからのライブカメラプレビュー８２０－１'を示す。 The camera application user interface 815 includes an image display area 820 that displays a representation of image data, such as, for example, streamed image data (e.g., a live camera preview, a live camera recording, or a live video communication session) representing objects located within the field of view of a camera (e.g., the rear camera or camera 602), or media items, such as photographs or video recordings. In the embodiment shown in FIG. 8B, the image display area 820 shows a live camera preview 820-1' from the rear camera of the device 600.

カメラアプリケーションユーザインタフェース８１５はまた、カメラ固有アフォーダンス８１７を含む画像表示領域８２０の上の領域を含む。カメラ固有アフォーダンスには、カメラフラッシュ機能に関連付けられたアフォーダンス８１７－１、カメラモード機能に関連付けられたアフォーダンス８１７－２、タイマー機能に関連付けられたアフォーダンス８１７－３、及びフィルタ機能に関連付けられたアフォーダンス８１７－４が含まれる。 The camera application user interface 815 also includes an area above the image display area 820 that contains camera-specific affordances 817. The camera-specific affordances include an affordance 817-1 associated with a camera flash function, an affordance 817-2 associated with a camera mode function, an affordance 817-3 associated with a timer function, and an affordance 817-4 associated with a filter function.

カメラアプリケーションユーザインタフェース８１５はまた、（画像表示領域６２０と同様に）画像表示領域８２０の下に配置されたカメラオプション領域８２５を（カメラオプション領域６２５と同様に）含む。カメラオプション領域８２５は、カメラ（例えば、背面カメラとカメラ６０２）間を切り替えるためのカメラセレクタアフォーダンス８２７、及びカメラが画像データを記録できる異なるキャプチャモードに関連付けられたカメラオプションアフォーダンス８１９を含む。例えば、ビデオアフォーダンス８１９－１は、カメラのビデオ録画キャプチャモードをアクティブ化するための機能に関連付けられ、写真アフォーダンス８１９－２は、カメラの静止画像キャプチャモードをアクティブ化するための機能に関連付けられる。図８Ｂ～図８ＡＱに関して以下に論じる実施形態では、デバイス６００は、写真アフォーダンス８１９－２に関連付けられた操作の静止画像キャプチャモードにある。しかしながら、特に明記しない限り、これらの実施形態はまた、ビデオアフォーダンス８１９－１に関連付けられたビデオ録画モードに適用される。 The camera application user interface 815 also includes a camera options area 825 (similar to the camera options area 625) located below the image display area 820. The camera options area 825 includes a camera selector affordance 827 for switching between cameras (e.g., the rear camera and the camera 602) and camera options affordances 819 associated with different capture modes in which the camera can record image data. For example, video affordance 819-1 is associated with functionality for activating the camera's video recording capture mode, and photo affordance 819-2 is associated with functionality for activating the camera's still image capture mode. In the embodiments discussed below with respect to FIGS. 8B-8AQ, the device 600 is in the still image capture mode of operation associated with photo affordance 819-2. However, unless otherwise noted, these embodiments also apply to the video recording mode associated with video affordance 819-1.

カメラオプション領域８２５は、画像表示領域８２０にビジュアルエフェクトを表示するためにデバイス６００が有効化又は無効化されるデバイス６００のモード（ビジュアルエフェクトモード、エフェクトモード）を、有効化又は無効化するためのエフェクトアフォーダンス８２２を更に含む。エフェクトアフォーダンス８２２は、エフェクトアフォーダンス６２２に類似しており、従って、特に明記しない限り、エフェクトアフォーダンス６２２と同じ機能を有する。したがって、エフェクトアフォーダンス８２２は、ビジュアルエフェクトの表示を可能化するために選択され、ビジュアルエフェクトの表示を無効化するために選択解除される。 The camera options area 825 further includes an effects affordance 822 for enabling or disabling a mode (visual effects mode, effects mode) of the device 600 in which the device 600 is enabled or disabled to display visual effects in the image display area 820. The effects affordance 822 is similar to the effects affordance 622 and therefore has the same functionality as the effects affordance 622 unless otherwise specified. Thus, the effects affordance 822 is selected to enable the display of visual effects and deselected to disable the display of visual effects.

カメラオプション領域８２５はまた、上述したキャプチャアフォーダンス６２１と同様に機能するキャプチャアフォーダンス８２１を含む。キャプチャアフォーダンス８２１を、画像表示領域８２０に表される画像データをキャプチャするために選択することができる。一部の実施形態では、デバイス６００は、現在有効化されているキャプチャオプション（例えば、ビデオ録画キャプチャモード又は画像キャプチャモード）に基づく方法で、画像データをキャプチャする。一部の実施形態では、デバイス６００は、キャプチャアフォーダンス８２１上で検出されたジェスチャのタイプに応じて画像データをキャプチャする。例えば、デバイス６００がキャプチャアフォーダンス８２１上でタップジェスチャを検出した場合、デバイス６００は、タップジェスチャが発生した時点で画像表示領域８２０に表された画像データの静止画像をキャプチャする。デバイス６００がキャプチャアフォーダンス８２１上でタップアンドホールドジェスチャを検出した場合、デバイス６００は、タップアンドホールドジェスチャが持続する期間中、画像表示領域８２０に表される画像データのビデオ録画をキャプチャする。一部の実施形態では、指がアフォーダンスから持ち上げられると、ビデオ録画が停止する。一部の実施形態では、ビデオ録画は、アフォーダンスに対応する位置において後続の入力（例えば、タップ入力）が検出されるまで続く。一部の実施形態では、キャプチャされた画像（例えば、静止画像又はビデオ録画）は、例えば、メッセージングアプリケーションを使用して、他のデバイスと共有することができる。 The camera options area 825 also includes a capture affordance 821 that functions similarly to the capture affordance 621 described above. The capture affordance 821 can be selected to capture image data represented in the image display area 820. In some embodiments, the device 600 captures the image data in a manner based on the currently enabled capture option (e.g., video recording capture mode or image capture mode). In some embodiments, the device 600 captures the image data according to the type of gesture detected on the capture affordance 821. For example, if the device 600 detects a tap gesture on the capture affordance 821, the device 600 captures a still image of the image data represented in the image display area 820 at the time the tap gesture occurred. If the device 600 detects a tap-and-hold gesture on the capture affordance 821, the device 600 captures a video recording of the image data represented in the image display area 820 for the duration of the tap-and-hold gesture. In some embodiments, the video recording stops when the finger is lifted from the affordance. In some embodiments, video recording continues until a subsequent input (e.g., a tap input) is detected at a location corresponding to the affordance. In some embodiments, the captured image (e.g., a still image or video recording) can be shared with other devices, for example, using a messaging application.

図８Ｃでは、デバイス６００は、エフェクトアフォーダンス８２２上の入力８２３を検出する。 In FIG. 8C, device 600 detects input 823 on effect affordance 822.

図８Ｄでは、デバイス６００は、入力８２３を検出したことに応じて、カメラ６０２をアクティブ化し（例えば、背面カメラから切り替えて）、画像表示領域８２０を更新して、カメラ６０２からのライブカメラプレビュー８２０－１を表示し、カメラ６０２の視野内に位置する被写体８３２、及び被写体８３２の背後に表示された背景８３６の表現を示す。本明細書で論じるように、一部の実施形態では、カメラ６０２を使用してキャプチャされた画像データは、カメラ６０２の視野内のオブジェクトの深度を決定するために使用され得る深度データを含む。一部の実施形態では、デバイス６００は、検出されたこれらのオブジェクトの深度に基づいてオブジェクト（例えば、画像データ内の）を解析し、この判定を使用して、本明細書で論じるビジュアルエフェクトを適用する。例えば、デバイス６００は、被写体８３２をライブカメラプレビュー８２０－１の前景にあるものとして、ユーザの背後に位置するオブジェクトをライブカメラプレビュー８２０－１の背景にあるものとして、分類することができる。これらの背景オブジェクトは、ここでは背景８３６と総称する。 8D , in response to detecting input 823, device 600 activates camera 602 (e.g., switches from the rear-facing camera) and updates image display area 820 to display a live camera preview 820-1 from camera 602, showing a representation of object 832 located within the field of view of camera 602 and a background 836 displayed behind object 832. As discussed herein, in some embodiments, image data captured using camera 602 includes depth data that can be used to determine the depth of objects within the field of view of camera 602. In some embodiments, device 600 analyzes objects (e.g., in the image data) based on the detected depths of these objects and uses this determination to apply visual effects as discussed herein. For example, device 600 can classify object 832 as being in the foreground of live camera preview 820-1 and objects located behind the user as being in the background of live camera preview 820-1. These background objects are collectively referred to herein as background 836.

デバイス６００はまた、表示のためにビジュアルエフェクトが有効化されていることを示すエフェクトアフォーダンス８２２を強調表示し、カメラオプションアフォーダンス８１９をビジュアルエフェクトオプションアフォーダンス８２４に置換することによってカメラオプション領域８２５を更新する。ビジュアルエフェクトオプションアフォーダンスは、アバターエフェクトアフォーダンス８２４－１及びステッカーエフェクトアフォーダンス８２４－２を含む。ビジュアルエフェクトオプションアフォーダンス８２４は、上述のビジュアルエフェクトオプションアフォーダンス６２４と同様である。ビジュアルエフェクトオプションアフォーダンス８２４は、画像表示領域８２０に表示される画像に適用できる異なるビジュアルエフェクトに対応する。ビジュアルエフェクトオプションアフォーダンス（例えば、８２４－１又は８２４－２）のうちの１つを選択することによって、選択されたビジュアルエフェクトオプションアフォーダンスに対応するビジュアルエフェクトオプションと共に、メニューが表示される。 The device 600 also highlights the effects affordance 822, indicating that visual effects are enabled for display, and updates the camera options area 825 by replacing the camera options affordance 819 with visual effects option affordance 824. The visual effects option affordances include an avatar effects affordance 824-1 and a sticker effects affordance 824-2. The visual effects option affordance 824 is similar to the visual effects option affordance 624 described above. The visual effects option affordances 824 correspond to different visual effects that can be applied to the image displayed in the image display area 820. Selecting one of the visual effects option affordances (e.g., 824-1 or 824-2) displays a menu with visual effect options that correspond to the selected visual effects option affordance.

図８Ｅ～図８Ｆでは、デバイス６００は、アバターエフェクトアフォーダンス８２４－１上の入力８２６を検出し、アバターオプションメニュー８２８を表示する。アバターオプションメニュー８２８は、アバターオプションメニュー６２８と同様である。アバターオプションメニュー８２８は、アバターオプション８３０のスクロール可能なリスト、及びアバターオプション８３０のうちの選択された１つを示すための選択領域８２９を含む。表示されるアバターオプションは、カスタマイズ可能な女性アバター８３０－１、ヌルアバターオプション８３０－２、ロボットアバターオプション８３０－３、ウサギアバターオプション８３０－４、及び第２のカスタマイズ可能な女性アバター８３０－５、を含む。図８Ｆに示すように、ヌルアバターオプション８３０－２が、デフォルトアバターオプション８３０として選択される。これにより、画像表示領域８２０に表示される被写体８３２の表現は、被写体の顔にアバターが表示されないで示される。アバターオプション８３０は、アバターオプション８３０－３若しくは８３０－４のように予め構成することができ、又はアバターオプション８３０－１若しくは８３０－５などのカスタマイズ可能なアバターとすることができる。 8E-8F, device 600 detects input 826 on avatar effect affordance 824-1 and displays avatar options menu 828. Avatar options menu 828 is similar to avatar options menu 628. Avatar options menu 828 includes a scrollable list of avatar options 830 and a selection area 829 for indicating a selected one of the avatar options 830. The displayed avatar options include a customizable female avatar 830-1, a null avatar option 830-2, a robot avatar option 830-3, a rabbit avatar option 830-4, and a second customizable female avatar 830-5. As shown in FIG. 8F, null avatar option 830-2 is selected as the default avatar option 830. As a result, the representation of subject 832 displayed in image display area 820 is shown without an avatar displayed on the subject's face. Avatar options 830 may be pre-configured, such as avatar options 830-3 or 830-4, or may be customizable avatars, such as avatar options 830-1 or 830-5.

アバターオプション８３０は、アバターオプション６３０と同様の機能を有する。このように、アバターオプション８３０は、画像表示領域８２０内の被写体の表現に適用される仮想アバタービジュアルエフェクトに対応する。具体的には、各アバターオプション８３０は、選択されると、画像表示領域内の被写体の顔に転置される仮想アバターに対応し、他方、画像表示領域内の画像の他の部分（背景、又はユーザの身体などのユーザの他の部分など）は表示されたままとなる。カメラ６０２の視野内に位置するユーザ（例えば、被写体８３２）は、上述したように、顔の姿勢（例えば、回転又は向き）を変更することによって、仮想アバターの視覚的態様を制御することができる。 Avatar options 830 have similar functionality to avatar option 630. As such, avatar options 830 correspond to virtual avatar visual effects that are applied to a representation of the subject in image display area 820. Specifically, when selected, each avatar option 830 corresponds to a virtual avatar that is transposed onto the subject's face in the image display area, while other portions of the image in the image display area (e.g., the background or other parts of the user, such as the user's body) remain displayed. A user (e.g., subject 832) positioned within the field of view of camera 602 can control the visual aspects of the virtual avatar by changing the pose (e.g., rotation or orientation) of their face, as described above.

アバターオプション８３０は、アバターオプションメニュー８２８上のジェスチャによってスクロールすることができる。例えば、図８Ｈに示すように、ロボットアバターオプション８３０－３を選択すると、次いで、画像表示領域８２０内の被写体の顔にロボットアバター８３３として表示される、水平ジェスチャ８４４ａを図８Ｇに示す。水平ジェスチャ８４４ｂを介して継続的にスクロールすることにより、追加のアバターオプション８３０を表示されたアバターオプションメニュー８２８上にスクロールする。一部の実施形態では、ユーザがアバターオプション８３０をスクロールすると、画像表示領域８２０は、アバターの背後に表される画像データに適用されるぼかしエフェクト８０３を含むアバター（例えば、図８Ｊのロボットアバター８３３）を示す。 The avatar options 830 can be scrolled through via gestures on the avatar options menu 828. For example, selecting the robot avatar option 830-3 as shown in FIG. 8H then causes a horizontal gesture 844a, shown in FIG. 8G, to appear as a robot avatar 833 on the subject's face in the image display area 820. Continuing to scroll via horizontal gesture 844b scrolls additional avatar options 830 onto the displayed avatar options menu 828. In some embodiments, as the user scrolls through the avatar options 830, the image display area 820 shows an avatar (e.g., the robot avatar 833 in FIG. 8J) that includes a blur effect 803 applied to the image data depicted behind the avatar.

図８Ｋでは、デバイス６００は、選択される直前（例えば、ジェスチャ８４４ｂがまだ終了していない）に、選択領域８２９内に配置されたカスタマイズ可能な女性アバターオプション８３０－５、及びカスタマイズ可能な女性アバターオプション８３０－５の下方に表示された編集アフォーダンス８０４を表示する。デバイス６００は、ぼかしエフェクト８０３を有するロボットアバター８３３を表示し続ける。一部の実施形態では、カスタマイズ可能なアバターオプションが選択領域８２９に配置されると、デバイス６００は、選択領域８２９に編集アフォーダンス８０４を表示する。編集アフォーダンス８０４を、図８ＡＡに関して以下に論じるものような、アバター編集ユーザインタフェースを表示するために選択することができる。 In FIG. 8K, device 600 displays customizable female avatar option 830-5 positioned within selection area 829 just before it is selected (e.g., gesture 844b has not yet ended), and edit affordance 804 displayed below customizable female avatar option 830-5. Device 600 continues to display robot avatar 833 with blur effect 803. In some embodiments, once the customizable avatar option is positioned in selection area 829, device 600 displays edit affordance 804 in selection area 829. Edit affordance 804 can be selected to display an avatar editing user interface, such as that discussed below with respect to FIG. 8AA.

図８Ｌは、アバターオプション８３０－５が選択された後である（例えば、ジェスチャ８４４ｂが終了した）。デバイス６００は、（ぼかしエフェクト８０３を継続しながら）画像表示領域８２０からロボットアバター８３３を除去し、選択領域８２９内のアバターオプション８３０－５から現れて、画像表示領域８２０（例えば、画像表示領域８２０の中央の位置、又は被写体の顔に対応する位置）に移動する、カスタマイズ可能な女性アバター８３５のアニメーションを表示し、アバター８３５は、被写体の顔への検出された変化に基づいて変更される。一部の実施形態では、アニメーションは、静的外観（例えば、表示されたアバターオプションと一致するステッカーと同様）から始まり、次いで、ユーザの顔への変化を検出するデバイス６００に基づいてアバター（例えば、８３５）が修正される、動的状態（図８Ｌに示す）に遷移していく、アバター（例えば、８３５）を含む。一部の実施形態では、アバターの静的から動的への遷移は、アバターが選択領域から移動する前に発生する。一部の実施形態では、アバターの静的から動的への遷移は、アバターが選択領域８２９から画像表示領域８２０に移動するときに発生する。 8L is after avatar option 830-5 is selected (e.g., gesture 844b is ended). Device 600 removes robot avatar 833 from image display area 820 (while continuing blur effect 803) and displays an animation of customizable female avatar 835 emerging from avatar option 830-5 in selection area 829 and moving into image display area 820 (e.g., to a center position in image display area 820 or a position corresponding to the subject's face), with avatar 835 changing based on detected changes to the subject's face. In some embodiments, the animation includes the avatar (e.g., 835) beginning with a static appearance (e.g., similar to a sticker matching the displayed avatar option) and then transitioning to a dynamic state (shown in FIG. 8L) in which the avatar (e.g., 835) is modified based on device 600 detecting changes to the user's face. In some embodiments, the transition of the avatar from static to dynamic occurs before the avatar moves out of the selection area. In some embodiments, the transition from static to dynamic for an avatar occurs when the avatar moves from the selection area 829 to the image display area 820.

図８Ｍ及び図８Ｎに示すように、アバター８３５が被写体の顔に適用されると、デバイス６００は、カメラ６０２の視野内の顔の位置への変化を含む、被写体の顔の検出された変化に基づいてアバター８３５を変更する。 As shown in Figures 8M and 8N, once avatar 835 is applied to the subject's face, device 600 modifies avatar 835 based on detected changes in the subject's face, including changes to the position of the face within the field of view of camera 602.

一部の実施形態では、デバイス６００がカメラ６０２の視野内に被写体の顔をもはや検出しなくなると、デバイス６００は、背景にぼかしエフェクト８０３（ぼかしエフェクト６４４と同様）を再度適用し、カメラ６０２の視野に顔を戻すようにユーザに指示するプロンプト８３８を表示する。図８Ｐに示す実施形態では、デバイス６００は、選択されたアバター（例えば、カスタマイズ可能な女性アバター）の表現８４０を含むプロンプト８３８、及びカメラ６０２の視野内で頭部を再配置するようにユーザーに指示するメッセージ８４２を表示する。一部の実施形態では、プロンプト８３８を表示することは、画像表示領域８２０の中心位置に戻っていく選択されたアバター（例えば、８３５）のアニメーションを表示すること、及びアバター特徴の物理モデルに基づいて停止するように見える、アバター及びその特徴の遅くなった動きを示すことを含む。 In some embodiments, when device 600 no longer detects the subject's face within the field of view of camera 602, device 600 re-applies blur effect 803 (similar to blur effect 644) to the background and displays prompt 838 instructing the user to return their face to the field of view of camera 602. In the embodiment shown in FIG. 8P, device 600 displays prompt 838 including a representation 840 of a selected avatar (e.g., a customizable female avatar) and a message 842 instructing the user to reposition their head within the field of view of camera 602. In some embodiments, displaying prompt 838 includes displaying an animation of the selected avatar (e.g., 835) returning to a center position in image display area 820 and showing slowed movement of the avatar and its features that appear to stop based on a physical model of the avatar's features.

一部の実施形態では、デバイス６００がカメラ６０２の視野に戻るユーザの顔を検出すると、デバイス６００は、画像表示領域８２０の中心位置からユーザの顔の位置に移動するアバター８３５を表示し、検出されたユーザの顔の変化に基づいてアバターの変更を再開する。 In some embodiments, when device 600 detects the user's face returning to the field of view of camera 602, device 600 displays avatar 835, which moves from the center position in image display area 820 to the position of the user's face, and resumes changing the avatar based on the detected changes in the user's face.

一部の実施形態では、アバターオプションメニュー８２８を垂直ジェスチャ（例えば、８０５）で拡大して、図８Ｑ～８Ｔに示すアバターオプションメニューの拡大バージョンを表示することができる。アバターオプションメニューの拡大バージョンは、異なるタイプのアバター（例えば、カスタマイズ可能及びカスタマイズ不可能）を含む、一層多数のアバターオプション８３０を表示する。拡大されたアバター表示メニューにおいて、新規アバターオプション（例えば、ロボットアバターオプション８３０－３）を選択することができる。次いで、デバイス６００は、図８Ｕに示すように、アバターオプションメニューの拡大バージョンが元の（例えば、凝縮された）状態に戻ったときに、対応するアバター（例えば、ロボットアバター８３３）をユーザの顔に表示する。 In some embodiments, the avatar options menu 828 can be expanded with a vertical gesture (e.g., 805) to display an expanded version of the avatar options menu shown in FIGS. 8Q-8T. The expanded version of the avatar options menu displays a larger number of avatar options 830, including different types of avatars (e.g., customizable and non-customizable). In the expanded avatar display menu, a new avatar option (e.g., robot avatar option 830-3) can be selected. The device 600 then displays the corresponding avatar (e.g., robot avatar 833) on the user's face when the expanded version of the avatar options menu returns to its original (e.g., condensed) state, as shown in FIG. 8U.

一部の実施形態では、デバイス６００は、画像表示領域８２０上のスワイプジェスチャを検出したことに応じて、ユーザの頭部上に異なるアバターを表示する。例えば、図８Ｖでは、デバイス６００は、画像表示領域８２０を横切って右方向に移動するスワイプジェスチャ８０６を検出する。スワイプジェスチャ８０６を検出したことに応じて、デバイス６００は、アバターオプションメニュー８２８内のアバターオプション８３０をスクロールする。一部の実施形態では、スクロールの大きさはスワイプジェスチャの大きさによって決定される。これにより、ユーザはスワイプジェスチャの大きさに基づいて複数のアバターをスクロールすることができる。加えて、スクロールの方向、及び画像表示領域８２０上のアバターの対応する動きは、スワイプジェスチャ８０６の方向に基づいて決定される。したがって、アバターオプションのスクロール、及び遷移するアバターの対応する動きは、スワイプが左方向にある場合には、左方向にあり得て、又はスワイプが右方向にある場合には、右方向にあり得る（図８Ｖ及び図８Ｗに示すように）。 In some embodiments, device 600 displays different avatars over the user's head in response to detecting a swipe gesture on image display area 820. For example, in FIG. 8V, device 600 detects a swipe gesture 806 moving in a rightward direction across image display area 820. In response to detecting swipe gesture 806, device 600 scrolls through avatar options 830 in avatar options menu 828. In some embodiments, the magnitude of the scrolling is determined by the magnitude of the swipe gesture. This allows the user to scroll through multiple avatars based on the magnitude of the swipe gesture. Additionally, the direction of the scrolling and the corresponding movement of the avatar on image display area 820 is determined based on the direction of swipe gesture 806. Thus, the scrolling of avatar options and the corresponding movement of the transitioning avatars can be leftward if the swipe is leftward, or rightward if the swipe is rightward (as shown in FIGS. 8V and 8W).

アバターオプション８３０をスクロールし始めると、現在選択されているアバターオプション（例えば、図８Ｖのロボットアバターオプション８３０－３）は選択領域８２９を離れ、スクロールが継続すると、新規アバターオプション（例えば、図８Ｗのアバターオプション８３０－１）は選択領域８２９に入る。アバターオプションをスクロールすると、デバイス６００はまた、次のアバター（例えば、カスタマイズ可能なアバター８３１）が左から画像表示領域８２０に入って、ユーザーの顔に移動している間に、ユーザの顔から離れて画像表示領域８２０の右側に出ていく、現在選択されているアバター（例えば、ロボットアバター８３３）のアニメーションを、画像表示領域８２０に表示する。一部の実施形態では、デバイス６００は、アバターが画像表示領域８２０を横切ってスクロールされている間に、画像表示領域８２０にぼかしエフェクト８０３を適用する。 As the user begins scrolling through the avatar options 830, the currently selected avatar option (e.g., robot avatar option 830-3 in FIG. 8V) leaves the selection area 829, and as scrolling continues, a new avatar option (e.g., avatar option 830-1 in FIG. 8W) enters the selection area 829. As the user scrolls through the avatar options, the device 600 also displays an animation in the image display area 820 of the currently selected avatar (e.g., robot avatar 833) moving away from the user's face and exiting the image display area 820 to the right, while the next avatar (e.g., customizable avatar 831) enters the image display area 820 from the left and moves toward the user's face. In some embodiments, the device 600 applies a blur effect 803 to the image display area 820 while the avatar is being scrolled across the image display area 820.

図８Ｖ及び図８Ｗに示す実施形態では、ヌルアバターオプション８３０－２は選択されず、現在選択されているアバターから画像表示領域８２０に現れる新規アバターへの遷移をより良く示す。しかしながら、ヌルアバターオプション８３０－２は、画像表示領域８２０上のスワイプジェスチャにより選択できることを理解されたい。このような場合には、背景がぼやけている間に現在選択されているアバターを画面外に移動させた後、次いでぼかしエフェクトを除去してアバターなしのユーザーの顔を表示する。 In the embodiment shown in Figures 8V and 8W, the null avatar option 830-2 is not selected to better illustrate the transition from the currently selected avatar to the new avatar that appears in the image display area 820. However, it should be understood that the null avatar option 830-2 can also be selected with a swipe gesture on the image display area 820. In such a case, the currently selected avatar is moved off-screen while the background is blurred, and then the blur effect is removed to reveal the user's face without the avatar.

図８Ｘ及び図８Ｙは、異なるカスタマイズ可能なアバターオプション（例えば、カスタマイズ可能なアバターオプション８３０－５）及び対応する表示されたカスタマイズ可能なアバター８３５の選択を示す。カスタマイズ可能なアバターオプション８３０－５が選択領域８２９に表示されると、編集アフォーダンス８０４が表示される。編集アフォーダンス８０４は、図８ＡＡに示すアバター編集ユーザインタフェース８０８を表示するために（例えば、入力８０７を介して）選択できる。アバター編集ユーザインタフェース８０８は、選択された編集アフォーダンス８０４に関連付けられたカスタマイズ可能なアバターオプション（例えば、８３０－５）に対応するアバター（例えば、カスタマイズ可能なアバター８３５）を編集するためのインタフェースを提供する。 Figures 8X and 8Y illustrate the selection of a different customizable avatar option (e.g., customizable avatar option 830-5) and the corresponding displayed customizable avatar 835. When customizable avatar option 830-5 is displayed in selection area 829, edit affordance 804 is displayed. Edit affordance 804 can be selected (e.g., via input 807) to display avatar edit user interface 808 shown in Figure 8AA. Avatar edit user interface 808 provides an interface for editing the avatar (e.g., customizable avatar 835) corresponding to the customizable avatar option (e.g., 830-5) associated with the selected edit affordance 804.

一部の実施形態では、適用されるビジュアルエフェクトは、適用されたカスタムアバター８３５の下方の被写体の首部に示される影８５１、又は眼鏡の光反射などの照明エフェクトを含むことができる。デバイス６００がアバター８３５を変更してユーザのリアルタイム動作を反映すると、デバイス６００はまた、モデル化された光源とアバター８３５との相対位置に基づいて、反射陰影の表示位置を移動させることを含む、アバター８３５上及び被写体上に投影された照明エフェクトを変更する。 In some embodiments, the applied visual effects may include a shadow 851 shown on the subject's neck below the applied custom avatar 835, or lighting effects such as light reflections on eyeglasses. As device 600 modifies avatar 835 to reflect the user's real-time actions, device 600 also modifies the lighting effects projected onto avatar 835 and the subject, including moving the display position of the reflected shadow, based on the relative position of the modeled light source and avatar 835.

図８ＡＡに示すように、アバター編集ユーザインタフェース８０８は、カスタマイズ可能なアバター８３５の表現、並びに現在選択されているアバター特徴オプション及びアバター８３５を変更するために選択できる利用可能な機能オプションを表す様々なアバター特徴オプション８１０（例えば、顔色オプション８１０－１及び顔形状オプション８１０－２）を含む。アバター特徴オプションは、特定のアバター特徴、具体的には強調表示されたアバター頭部アフォーダンス８０９－１によって示されるアバター頭部特徴などの、現在選択されているアバター特徴の態様に対する値に対応する。アバター編集ユーザインタフェース８０８は、アバター８３５に表される、選択された顔色オプション８１０－１ａ及び選択された顔形状オプション８１０－２ａを示す。表示されるアバター特徴オプションは、異なるアバター特徴を選択することによって変更できる。例えば、図８ＡＢでは、デバイス６００は、アバター髪部アフォーダンス８０９－２が選択されると、アバター編集ユーザインタフェース８０８を更新して、異なるアバター髪部特徴オプション（例えば、髪部テクスチャオプション８１１－１及び髪部色オプション８１１－２）を表示する。 As shown in FIG. 8AA, the avatar editing user interface 808 includes a representation of a customizable avatar 835, as well as various avatar feature options 810 (e.g., facial color option 810-1 and facial shape option 810-2) that represent the currently selected avatar feature option and available feature options that can be selected to modify the avatar 835. The avatar feature options correspond to values for aspects of the currently selected avatar feature, such as a particular avatar feature, specifically the avatar head feature indicated by the highlighted avatar head affordance 809-1. The avatar editing user interface 808 shows a selected facial color option 810-1a and a selected facial shape option 810-2a, as represented on the avatar 835. The displayed avatar feature options can be changed by selecting a different avatar feature. For example, in FIG. 8AB, when avatar hair affordance 809-2 is selected, device 600 updates avatar editing user interface 808 to display different avatar hair feature options (e.g., hair texture option 811-1 and hair color option 811-2).

デバイス６００は、異なるアバター特徴オプションが選択されると、アバター８３５を変更する。例えば、図８ＡＢでは、デバイス６００は、ストレート髪部テクスチャオプション８１１－２ａの選択を検出し、選択されたストレート髪部テクスチャオプションを有するようにアバター８３５を更新する。一部の実施形態では、デバイス６００は、ユーザの顔の検出された変化に応じて、アバター編集ユーザインタフェース８０８に示されるアバター８３５の表現を変更する。 Device 600 modifies avatar 835 when a different avatar feature option is selected. For example, in FIG. 8AB, device 600 detects the selection of straight hair texture option 811-2a and updates avatar 835 to have the selected straight hair texture option. In some embodiments, device 600 modifies the representation of avatar 835 shown in avatar editing user interface 808 in response to detected changes in the user's face.

完了アフォーダンス８１２の選択を検出したことに応じて、デバイス６００は、アバター編集ユーザインタフェース８０８を出て、カメラアプリケーションユーザインタフェース８１５に戻り、アバター編集ユーザーインタフェースで選択された髪部テクスチャオプションに基づいて、選択されたアバターオプション８３０－５及び対応するアバター８３５を示す。 In response to detecting selection of the completion affordance 812, the device 600 exits the avatar editing user interface 808 and returns to the camera application user interface 815, showing the selected avatar option 830-5 and corresponding avatar 835 based on the hair texture option selected in the avatar editing user interface.

図８ＡＤ～図８ＡＦは、新たにカスタマイズされたアバターを作成して、アバターオプションメニュー８２８に追加することができる実施形態を示す。新規アバターアフォーダンス８１３の選択を検出したことに応じて、デバイス６００は、図８ＡＥに示すように、選択されたアバター特徴オプションを含まないデフォルトアバターの表現を有するアバター編集ユーザインタフェース８０８を表示する。デバイス６００は、アバター特徴オプションのユーザ選択に基づいてデフォルトアバターを変更し、アバターオプションメニュー８２８から選択可能な新規アバターとしてアバターを保存することができる。それゆえ、図８ＡＦでは、デバイス６００は、取消アフォーダンスの選択を検出し、図８ＡＧに示すように、変更されたアバターをアバターオプションメニュー８２８に保存することをやめる。 Figures 8AD-8AF illustrate an embodiment in which a new, customized avatar can be created and added to the avatar options menu 828. In response to detecting selection of the new avatar affordance 813, the device 600 displays the avatar editing user interface 808 having a representation of the default avatar without the selected avatar feature options, as shown in Figure 8AE. The device 600 can modify the default avatar based on the user selection of the avatar feature options and save the avatar as a new avatar selectable from the avatar options menu 828. Thus, in Figure 8AF, the device 600 detects selection of the cancel affordance and refrains from saving the modified avatar to the avatar options menu 828, as shown in Figure 8AG.

図８ＡＧのキャンセルアイコン８５０の選択を検出したことに応じて、デバイス６００は、アバターオプションメニュー８２８をクローズし、図８ＡＨに示すようにカメラオプション領域８２５を表示する。 In response to detecting selection of the cancel icon 850 in FIG. 8AG, the device 600 closes the avatar options menu 828 and displays the camera options area 825 as shown in FIG. 8AH.

ステッカーエフェクトアフォーダンス８２４－２の選択を検出したことに応じて、デバイス６００は、図８ＡＩのステッカー８５８のスクロール可能なリストを有するステッカーオプションメニュー８５６を表示する。ステッカーオプションメニュー８５６及びステッカー８５８は、上述のステッカーオプションメニュー６５６及びステッカー６５８と同様のものである。ステッカーは、ユーザが選択できて、画像表示領域８２０内の画像に適用される、静的なグラフィカルオブジェクトである。一部の実施形態では、ステッカーはタップジェスチャによって選択することができ、次いで、対応するステッカーは画像表示領域８２０上の位置に表示される。一部の実施形態では、ステッカーは、選択されたステッカー上で開始し、ステッカーを所望の位置にドラッグし、次いでドラッグを終了（例えば、指をリフト）することによってステッカーを所望の位置に配置する、タッチアンドドラッグジェスチャによって選択することができる。このような実施形態の一例が図８ＡＩ～図８ＡＫに示されており、ヘルメットステッカー８５８－１が選択され（例えば、入力８５３）、カスタムアバター８３５の上方の（例えば、離れた）位置にドラッグされている。図８ＡＫでは、デバイス６００は、被写体８３２が、図８ＡＪに示す位置から横方向に移動するのを検出する。これに応じて、デバイス６００は、被写体の表現の横方向の動き（例えば、方向及び大きさ）に基づいて横方向に動くヘルメットステッカー８５８－１及びアバター８３５の両方を表示する。 In response to detecting selection of sticker effect affordance 824-2, device 600 displays sticker options menu 856 having a scrollable list of stickers 858 of FIG. 8AI. Sticker options menu 856 and stickers 858 are similar to sticker options menu 656 and stickers 658 described above. Stickers are static graphical objects that a user can select and apply to an image in image display area 820. In some embodiments, stickers can be selected with a tap gesture, and the corresponding sticker is then displayed in a position on image display area 820. In some embodiments, stickers can be selected with a touch-and-drag gesture, starting on the selected sticker, dragging the sticker to the desired location, and then ending the drag (e.g., lifting the finger) to place the sticker in the desired location. An example of such an embodiment is shown in FIGS. 8AI-8AK, where helmet sticker 858-1 has been selected (e.g., input 853) and dragged to a position above (e.g., away from) custom avatar 835. In FIG. 8AK, device 600 detects that subject 832 moves laterally from the position shown in FIG. 8AJ. In response, device 600 displays both helmet sticker 858-1 and avatar 835, which move laterally based on the lateral movement (e.g., direction and magnitude) of the subject's representation.

図８ＡＫでは、デバイス６００は、クローズアフォーダンス８５５上の入力８５４を検出する。これに応じて、デバイス６００は、ステッカーオプションメニュー８５６をクローズして、図８ＡＬのカメラオプション領域８２５を表示する。図８ＡＬでは、デバイス６００は、被写体８３２が、頭を傾けて画面の中心にシフトして戻ることを示す。被写体８３２のこの動きを検出したことに応じて、デバイス６００は、図８ＡＬのカスタマイズ可能なアバター８３５の上方にヘルメットステッカー８５８－１を表示し、被写体の頭部の画面中心への動きに基づいて（図８ＡＫに示す位置から）横方向にシフトさせる。デバイス６００は、ヘルメットステッカー８５８－１を、アバター８３５に対して相対的な間隔を維持しながら表示する。しかしながら、図８ＡＬに示すように、ヘルメットステッカー８５８－１は、被写体の頭部の回転（例えば、傾斜）に応じて回転しない（例えば、傾かない）が、アバター８３５は回転する（例えば、傾く）。 8AK, device 600 detects input 854 on close affordance 855. In response, device 600 closes sticker options menu 856 and displays camera options area 825 of FIG. 8AL. In FIG. 8AL, device 600 shows subject 832 tilting their head and shifting back toward the center of the screen. In response to detecting this movement of subject 832, device 600 displays helmet sticker 858-1 above customizable avatar 835 of FIG. 8AL, shifting it laterally (from the position shown in FIG. 8AK) based on the subject's head moving toward the center of the screen. Device 600 displays helmet sticker 858-1 while maintaining a relative spacing to avatar 835. However, as shown in FIG. 8AL, helmet sticker 858-1 does not rotate (e.g., tilt) in response to the rotation (e.g., tilt) of the subject's head, while avatar 835 does.

図８ＡＬでは、デバイス６００は、ビジュアルエフェクト（例えば、カスタマイズされたアバター８３５及びヘルメットステッカー８５８－１）を含む、画像表示領域８２０に表示されたライブカメラプレビュー８２０－１の画像、並びに、被写体８３２及び背景８３６を含む他の画像データを、デバイス６００にキャプチャさせるキャプチャアフォーダンス８２１の選択を検出する。 In FIG. 8AL, device 600 detects selection of capture affordance 821, which causes device 600 to capture an image of live camera preview 820-1 displayed in image display area 820, including visual effects (e.g., customized avatar 835 and helmet sticker 858-1), as well as other image data including subject 832 and background 836.

図８ＡＭでは、デバイス６００は、画像表示領域８２０にキャプチャされた画像（例えば、メディアアイテム８２０－２）を示すカメラアプリケーションユーザインタフェース８１５を表示する（例えば、メディアアイテム８２０－２は、画像表示領域８２０に示されるライブカメラプレビュー８２０－１を置換する）。メディアアイテム８２０－２は、キャプチャアフォーダンス８２１が選択された時点での、ライブカメラプレビュー８２０－１の表現である。このように、メディアアイテム８２０－２は、被写体８３２の顔及び背景８３６の上に表示されるヘルメットステッカー８５８－１及びアバター８３５を含む。 In FIG. 8AM, device 600 displays camera application user interface 815 showing a captured image (e.g., media item 820-2) in image display area 820 (e.g., media item 820-2 replaces live camera preview 820-1 shown in image display area 820). Media item 820-2 is a representation of live camera preview 820-1 at the time capture affordance 821 was selected. As such, media item 820-2 includes helmet sticker 858-1 and avatar 835 displayed over subject 832's face and background 836.

デバイス６００はまた、カメラ固有アフォーダンス（例えば、図８ＡＬに示すアフォーダンス８１７）を再撮影アフォーダンス８７９に置換し、キャプチャされたメディアアイテム８２０－２を保存するためのアフォーダンス８１８を保存する。 Device 600 also replaces the camera-specific affordance (e.g., affordance 817 shown in FIG. 8AL) with a re-capture affordance 879 and saves affordance 818 for saving the captured media item 820-2.

デバイス６００はまた、カメラオプション領域８２５を更新して、キャプチャアフォーダンス８２１及びカメラセレクタアフォーダンス８２７を、マークアップアフォーダンス８７７、編集アフォーダンス８７８、及び共有アフォーダンス８８０に置換する。マークアップアフォーダンス８７７は、ユーザがメディアアイテム８２０－２をマークアップすることを可能にする。編集アフォーダンス８７８により、ユーザが、画像を切り取ること、又はメディアアイテム８２０－２の他の特性を調整することによってなどで、メディアアイテム８２０－２を編集することが可能になる。共有アフォーダンス８８０は、ユーザが、例えばメッセージングアプリケーション又は電子メールアプリケーションなどの別のデバイスに、メディアアイテム８２０－２を送信することを可能にする。 The device 600 also updates the camera options area 825, replacing the capture affordance 821 and camera selector affordance 827 with a markup affordance 877, an edit affordance 878, and a share affordance 880. The markup affordance 877 allows the user to mark up the media item 820-2. The edit affordance 878 allows the user to edit the media item 820-2, such as by cropping the image or adjusting other properties of the media item 820-2. The share affordance 880 allows the user to send the media item 820-2 to another device, such as a messaging application or email application.

デバイス６００は、ビジュアルエフェクトオプションアフォーダンス８２４を含むカメラオプション領域８２５を表示する。ビジュアルエフェクトオプションアフォーダンス８２４を選択して、それぞれのオプションメニューを表示することができ、オプションメニューを使用して、キャプチャされたメディアアイテム８２０－２（並びに、後述する記録されたビデオメディアアイテム８２０－４）を変更することができる。例えば、図８ＡＮ～図８ＡＰは、ステッカーをメディアアイテム８２０－２に追加するデバイス６００を示す。図８ＡＯのステッカーオプションメニュー８５６をデバイス６００に表示させる、ステッカーエフェクトアフォーダンス８２４－２が、図８ＡＮで選択され、図８ＡＰに示すメディアアイテム８２０－２内の被写体８３２上に配置された、ウサギステッカー８５８－２の選択も示す。ステッカーオプションメニュー８５６は、図８ＡＰではクローズされており、図８ＡＱではカメラオプション領域８２５を表示している。 Device 600 displays a camera options area 825 that includes a visual effects option affordance 824. The visual effects option affordance 824 can be selected to display a respective options menu that can be used to modify the captured media item 820-2 (as well as the recorded video media item 820-4, described below). For example, Figures 8AN-8AP show device 600 adding a sticker to media item 820-2. The sticker effects affordance 824-2, which causes device 600 to display the sticker options menu 856 of Figure 8AO, is selected in Figure 8AN, also showing selection of a rabbit sticker 858-2 placed on the subject 832 within media item 820-2 shown in Figure 8AP. The sticker options menu 856 is closed in Figure 8AP, revealing the camera options area 825 in Figure 8AQ.

図８ＡＱでは、デバイス６００はまた、他のビジュアルエフェクト（例えば、アバター８３５及びヘルメットステッカー８５８－１）と一緒に、被写体８３２上に配置されたウサギステッカー８５８－２を含むメディアアイテム８２０－２を表示する。 In FIG. 8AQ, device 600 also displays media item 820-2, which includes rabbit sticker 858-2 placed on subject 832, along with other visual effects (e.g., avatar 835 and helmet sticker 858-1).

ステッカーは、メディアアイテム８２０－２（静止画）について上述したのと同様の方法で、ビデオフォーマット内の記録されたメディアアイテムに追加することができる。例えば、図８ＡＲは、ビデオメディアアイテム８２０－４が記録されたビデオである実施形態を示す。メディアアイテム８２０－４は、メディアアイテム６２０－４について上述したのと同様の方法で作成することができる。 Stickers can be added to recorded media items in a video format in a manner similar to that described above for media item 820-2 (a still image). For example, FIG. 8AR shows an embodiment in which video media item 820-4 is a recorded video. Media item 820-4 can be created in a manner similar to that described above for media item 620-4.

図８ＡＲでは、デバイス６００は、記録されたビデオメディアアイテム８２０－４を画像表示領域８２０に表示する。デバイス６００はまた、記録されたビデオメディアアイテム８２０－４用のビデオスクラバ８１２０、エフェクトアフォーダンス８２２、編集アフォーダンス８７８、マークアップアフォーダンス８７７、及び共有アフォーダンス８８０を有するカメラオプション領域８２５を表示する。カメラオプション領域８２５はまた、ビジュアルエフェクトオプションアフォーダンス８２４を含む。ビジュアルエフェクトオプションアフォーダンス８２４を選択して、キャプチャされたメディアアイテム８２０－４を変更するために使用できる、それぞれのオプションメニューを表示することができる。例えば、図８ＡＲ～図８ＡＶは、デバイス６００がステッカー８５８－２及び８５８－３をメディアアイテム８２０－４に追加することを示す。 In FIG. 8AR, the device 600 displays a recorded video media item 820-4 in an image display area 820. The device 600 also displays a camera options area 825 with a video scrubber 8120, an effects affordance 822, an edit affordance 878, a markup affordance 877, and a share affordance 880 for the recorded video media item 820-4. The camera options area 825 also includes a visual effects options affordance 824. The visual effects options affordance 824 can be selected to display a respective options menu that can be used to modify the captured media item 820-4. For example, FIGS. 8AR-8AV show the device 600 adding stickers 858-2 and 858-3 to the media item 820-4.

一部の実施形態では、表示されるステッカーは、ビデオメディアアイテム（又はライブビデオストリーム）において異なってモデル化された挙動を有することができる。例えば、一部のステッカーは、ディスプレイ（例えば、６０１）に適用されている外観を有し、画像データ内のオブジェクトが移動する際に静的に保たれる。このようなステッカーの例が、図８ＡＸ～図８ＢＣのハートステッカー８５８－３によって表示されている。一部の実施形態では、デバイス６００が、メディアアイテム、ライブカメラプレビュー、又はカメラ６０２の視野内の被写体の表現のすべて又は一部（例えば、頭部又は顔）の存在を検出しない場合、ステッカーが、メディアアイテム（例えば、８２０－４）又はライブカメラプレビュー（例えば、８２０－１）に配置されると、ステッカーはこの静的な挙動を有する。例えば、被写体の顔が完全に画面から外れていて（例えば、カメラ６０２の視野内で検出されていない）、ステッカーが画像表示領域８２０上に配置されている場合、いったん顔がカメラ６０２の視野内で検出され、前に配置されたステッカーと共に画像表示領域８２０上に表示されると、ステッカーは静止していて、被写体の顔のいかなる動きも追跡しない。 In some embodiments, displayed stickers may have behavior modeled differently in a video media item (or live video stream). For example, some stickers have the appearance of being applied to a display (e.g., 601) and remain static as objects in the image data move. An example of such a sticker is shown by heart sticker 858-3 in FIGS. 8AX-8BC. In some embodiments, if device 600 does not detect the presence of all or part of a subject's representation (e.g., head or face) within the media item, live camera preview, or field of view of camera 602, the sticker will have this static behavior when placed on a media item (e.g., 820-4) or live camera preview (e.g., 820-1). For example, if the subject's face is completely off-screen (e.g., not detected within the field of view of camera 602) and the sticker is placed on image display area 820, once the face is detected within the field of view of camera 602 and displayed on image display area 820 along with the previously placed sticker, the sticker will remain stationary and will not track any movement of the subject's face.

他のステッカーは、ディスプレイに適用されていて、画像内のオブジェクト（例えば、アバター又は被写体の表現を含む、カメラの視野内のアイテム）に追従して動いている外観を有する。一部の実施形態では、ステッカーは、ステッカーが追従するオブジェクトから離れた位置に配置される。このようなステッカーの例が、図８ＡＫ及び８ＡＸ～図８ＢＣのヘルメットステッカー８５８－１によって表示されている。ヘルメットステッカー８５８－１は、被写体８３２の横方向の動きに追従するが、被写体の回転運動には追従しない。このようなステッカーの別の例が、図８ＢＥ～８ＢＱのヒトデステッカー８５８－５によって表示されている。被写体の顔から離れて配置されると、ヒトデステッカー８５８－５は、顔に対する相対的な位置を維持しながら被写体の顔の動きに追従する（例えば、ヒトデのステッカー８５８－５は、被写体の顔の前方、後方、及び左右の動きには追従するが、被写体の顔の回転運動には追従しない）。 Other stickers are applied to the display and have the appearance of moving and following objects in the image (e.g., items in the camera's field of view, including an avatar or representation of the subject). In some embodiments, the stickers are positioned at a distance from the object they are following. An example of such a sticker is displayed by helmet sticker 858-1 in Figures 8AK and 8AX-8BC. Helmet sticker 858-1 follows the lateral movement of subject 832, but does not follow the rotational movement of the subject. Another example of such a sticker is displayed by starfish sticker 858-5 in Figures 8BE-8BQ. When positioned at a distance from the subject's face, starfish sticker 858-5 follows the movement of the subject's face while maintaining its position relative to the face (e.g., starfish sticker 858-5 follows the forward, backward, and side-to-side movement of the subject's face, but does not follow the rotational movement of the subject's face).

しかし、他のステッカーは、カメラ６０２の視野内のオブジェクトに適用されている外観を有し、視野内のオブジェクトに追従するように（例えば、ステッカーが画像内のオブジェクトに合わせた深度の外観を有しながら）移動する。このようなステッカーの例が、図８ＡＸ～図８ＢＣのウサギステッカー８５８－２によって表示されている。ウサギステッカー８５８－２は、被写体（具体的には、被写体の肩）の横方向及び回転運動と共に動く。このようなステッカーの別の例が、図８ＢＧ～図８ＢＭの眼鏡ステッカー８５８－４によって表示されている。図８ＢＧ～図８ＢＭの被写体の顔に配置されると、眼鏡ステッカー８５８－４は、被写体の顔の横方向の動き（例えば、左右、上／下）、被写体の顔の前後の動き、及び被写体の顔の回転運動に追従する。眼鏡ステッカー８５８－４は、被写体の顔に物理的に貼り付けられている（例えば、接着されている）外観を有する。 However, other stickers have the appearance of being applied to an object in the field of view of camera 602 and move to follow the object in the field of view (e.g., the sticker has the appearance of depth matching the object in the image). An example of such a sticker is represented by rabbit sticker 858-2 in FIGS. 8AX-8BC. Rabbit sticker 858-2 moves with the lateral and rotational movement of the subject (specifically, the subject's shoulders). Another example of such a sticker is represented by eyeglasses sticker 858-4 in FIGS. 8BG-8BM. When placed on the face of the subject in FIGS. 8BG-8BM, eyeglasses sticker 858-4 follows the lateral movement of the subject's face (e.g., left/right, up/down), the forward/backward movement of the subject's face, and the rotational movement of the subject's face. Glasses sticker 858-4 has the appearance of being physically attached (e.g., glued) to the subject's face.

一部の実施形態では、ステッカーの挙動は、メディアアイテム内のオブジェクト（又はライブカメラプレビュー又はカメラの視野）に対するその位置に基づいて変化する。一部の実施形態では、ステッカーの挙動は、オブジェクトに対するステッカーの位置の変化を検出したことに応じて変化する。そのようなステッカーの例を図８ＢＥ～図８ＢＱに示し、以下に一層詳細に説明する。 In some embodiments, the behavior of a sticker changes based on its position relative to an object within a media item (or the live camera preview or camera's field of view). In some embodiments, the behavior of a sticker changes in response to detecting a change in the sticker's position relative to the object. Examples of such stickers are shown in Figures 8BE-8BQ and described in more detail below.

図８ＡＷ～図８ＢＣは、アバター８３５、ヘルメットステッカー８５８－１、ウサギステッカー８５８－２、及びハートステッカー８５８－３を含む、メディアアイテム８２０－４のビデオ再生及び編集を示す。再生中にメディアアイテム８２０－４が進行すると、ハートステッカー８５８－３は、ディスプレイ６０１に貼り付けられていて動かない外観を有しながら、静止したままである。ヘルメットステッカー８５８－１は、ディスプレイに貼り付けられている外観を有するが、アバター８３５の位置の変化に応じて移動する（例えば、変形する）。ウサギステッカー８５８－２は、メディアアイテム８２０－４内の被写体８３２の肩に貼り付けられている外観を有する。肩が動くと、ウサギステッカー８５８－２は、向き及び表示サイズを含む位置を変更して、メディアアイテム８２０－４の再生中に被写体の肩に追従している外観を与える。 8AW-8BC illustrate video playback and editing of media item 820-4, which includes avatar 835, helmet sticker 858-1, rabbit sticker 858-2, and heart sticker 858-3. As media item 820-4 progresses during playback, heart sticker 858-3 remains stationary, appearing to be attached to display 601 and not moving. Helmet sticker 858-1 appears to be attached to the display, but moves (e.g., deforms) as the position of avatar 835 changes. Rabbit sticker 858-2 appears to be attached to the shoulder of subject 832 within media item 820-4. As the shoulder moves, rabbit sticker 858-2 changes position, including orientation and displayed size, to give the appearance of following the subject's shoulder during playback of media item 820-4.

一部の実施形態では、３次元で（例えば、深度センサからの深度情報を介して）追跡されている、それぞれのオブジェクト（例えば、デバイスのユーザの顔、手、又は他の身体の部分）を含む、１つ以上のカメラの視野の表現の位置に適用されるステッカー又は他の仮想オブジェクトは、１つ以上のカメラの視野内で、それぞれのオブジェクトが横方向に（例えば、左右に、及び／又は上下に）移動すると、横方向に（例えば、左右に、及び／又は上下に）移動することに加えて、１つ以上のカメラからのそれぞれのオブジェクトの距離、及び／又は１つ以上のカメラに対するそれぞれのオブジェクトの向きが変化すると、仮想オブジェクトのサイズ及び／又は向きが変化するように、それぞれのオブジェクトに付着している。例えば、図８ＡＳ～図８ＡＴに示すように、ウサギステッカー８５８－２が被写体の肩の表現上に配置されている。図８ＡＸ～図８ＡＹでは、肩がカメラの上方及びカメラに向かって動くにつれて、ウサギステッカー８５８－２は、肩と共に横方向（上方）に動き、肩がカメラに向かって動くにつれて拡大する。一部の実施形態では、３次元で（例えば、深度センサからの深度情報を介して）追跡されている、それぞれのオブジェクト（例えば、デバイスのユーザの顔、手、又は他の身体の部分）から離れている（例えば、遠隔の）、１つ以上のカメラの視野の表現の位置に適用されるステッカー又は他の仮想オブジェクトは、１つ以上のカメラからのそれぞれのオブジェクトの距離、及び／又は１つ以上のカメラに対するそれぞれのオブジェクトの向きが変化しても、仮想オブジェクトのサイズ及び／又は向きが変化しないように、オブジェクトに付着することなく、１つ以上のカメラの視界内で、それぞれのオブジェクトが横方向に（例えば、左右に、及び／又は上下に）移動すると、横方向に（例えば、左右に、及び／又は上下に）移動する。例えば、図８ＡＸ及び図８ＡＹに示すように、ヘルメットステッカー８５８－１は、被写体の表現から離れた位置に配置される。図８ＡＸ及び図８ＡＹでは、被写体の表現が横向きにカメラに近づいて動くにつれて、ヘルメットステッカー８５８－１は、ユーザの表現の動きに基づいて横方向に移動するが、向き又はサイズは変化しない。 In some embodiments, stickers or other virtual objects applied to the position of a representation of the field of view of one or more cameras, including a respective object (e.g., a face, hand, or other body part of a device user) being tracked in three dimensions (e.g., via depth information from a depth sensor), are attached to the respective object such that as the respective object moves laterally (e.g., left and right and/or up and down) within the field of view of one or more cameras, the size and/or orientation of the virtual object changes as the distance of the respective object from and/or the orientation of the respective object relative to the one or more cameras changes. For example, as shown in FIGS. 8AS-8AT, rabbit sticker 858-2 is placed on a representation of a subject's shoulder. In FIGS. 8AX-8AY, as the shoulder moves above and toward the camera, rabbit sticker 858-2 moves laterally (upward) with the shoulder and expands as the shoulder moves toward the camera. In some embodiments, stickers or other virtual objects applied to positions in the field of view of one or more cameras that are separate (e.g., remote) from a respective object (e.g., a face, hand, or other body part of a device user) being tracked in three dimensions (e.g., via depth information from a depth sensor) move laterally (e.g., left and right and/or up and down) as the respective object moves laterally (e.g., left and right and/or up and down) within the field of view of one or more cameras without attaching to the object, such that the size and/or orientation of the virtual object does not change as the distance of the respective object from the one or more cameras and/or the orientation of the respective object relative to the one or more cameras changes. For example, as shown in FIGS. 8AX and 8AY, helmet sticker 858-1 is positioned separate from a representation of a subject. In FIGS. 8AX and 8AY, as the representation of the subject moves sideways toward the camera, helmet sticker 858-1 moves laterally based on the movement of the user's representation, but does not change orientation or size.

図８ＡＹでは、デバイス６００は、スクラバ８１２０上の入力８８２（例えば、スワイプ又はドラッグジェスチャ）を検出し、入力に基づいてメディアアイテム８２０－４をスクラブする。図８ＡＺに示すように、入力８８２に応じて、デバイス６００は、メディアアイテム８２０－４を通じて反転して、図８ＡＸで以前に表示されたメディアアイテム８２０－４の部分を表示する。デバイス６００は、編集アフォーダンス８７８上の入力８８４を検出する。 In FIG. 8AY, device 600 detects input 882 (e.g., a swipe or drag gesture) on scrubber 8120 and scrubs media item 820-4 based on the input. As shown in FIG. 8AZ, in response to input 882, device 600 flips through media item 820-4 to display the portion of media item 820-4 previously displayed in FIG. 8AX. Device 600 detects input 884 on edit affordance 878.

図８ＢＡでは、デバイス６００は、編集モードに入り（メディアアイテム８２０－４を編集するために）、ビデオスクラバ８１２０の端部に（入力８８３を介して）アフォーダンス８８５をドラッグすることによってビデオをクロッピングするために選択可能なアフォーダンス８８５を表示して、ビデオスクラバの終了時間を変更する。 In FIG. 8BA, device 600 enters edit mode (to edit media item 820-4) and displays a selectable affordance 885 to crop the video by dragging affordance 885 (via input 883) to the end of video scrubber 8120 to change the end time of the video scrubber.

図８ＢＢに示すように、ビデオスクラバ８１２０は、入力８８３に応じてトリミングされる。デバイス６００は、完了アフォーダンス８８７上の入力８８６を検出し、編集モードを終了させる。 As shown in FIG. 8BB, the video scrubber 8120 is trimmed in response to the input 883. The device 600 detects the input 886 on the completion affordance 887, causing the edit mode to end.

図８ＢＣでは、ビデオスクラバ８１２０は、トリミングされて示されている（例えば、図８ＡＺの編集モードに入る前よりも長さが短い）。デバイス６００は、エフェクトアフォーダンス８２２上の入力８８８を検出し、エフェクトモードを終了させる。 In FIG. 8BC, the video scrubber 8120 is shown cropped (e.g., shorter in length than it was before entering edit mode in FIG. 8AZ). The device 600 detects input 888 on the effects affordance 822, causing the effects mode to exit.

図８ＢＤに表すように、メディアアイテム８２０－４に表示されるビジュアルエフェクトビジュアルエフェクトは、エフェクトアフォーダンス８２２を選択解除する入力８８８を検出したことに応じて表示から隠される。 As shown in FIG. 8BD, the visual effect displayed on media item 820-4 is hidden from view in response to detecting input 888 that deselects effect affordance 822.

一部の実施形態では、ステッカーは、ステッカーの配置の条件（例えば、他のオブジェクトに対するステッカーの位置、ステッカーが配置されたときのオブジェクトの存在（又は不存在）など）に基づいて決定される挙動を有することができる。例えば、一部の実施形態では、ステッカーは、オブジェクト又は領域から離れて配置される場合には第１のタイプの挙動を、オブジェクト又は領域上に配置される場合には第２のタイプの挙動を有することができる。一部の実施形態では、ステッカーが配置されるときにオブジェクトが存在しない場合には、ステッカーは、第３のタイプの挙動を有することができる。一部の実施形態では、ステッカーの挙動は、（例えば、オブジェクトに対する）ステッカーの配置の変化に基づいて変化し得る。 In some embodiments, a sticker may have a behavior that is determined based on conditions of the sticker's placement (e.g., the sticker's position relative to other objects, the presence (or absence) of an object when the sticker is placed, etc.). For example, in some embodiments, a sticker may have a first type of behavior when placed away from an object or area, and a second type of behavior when placed on an object or area. In some embodiments, if no object is present when the sticker is placed, the sticker may have a third type of behavior. In some embodiments, the behavior of a sticker may change based on changes in the sticker's placement (e.g., relative to an object).

例えば、図８ＢＥ～図８ＢＱは、ライブカメラプレビュー８２０－１に表示される様々なステッカーの挙動を示す例示的な実施形態を示し、被写体の顔に対するステッカーの配置の変化に基づいてステッカーの挙動を変更する。図８ＢＥ～図８ＢＱに示す実施形態では、ステッカーの挙動は、被写体の顔に対するステッカーの位置に基づいて決定される。 For example, Figures 8BE-8BQ show exemplary embodiments illustrating various sticker behaviors displayed in the live camera preview 820-1, changing the behavior of the sticker based on changes in the placement of the sticker relative to the subject's face. In the embodiments shown in Figures 8BE-8BQ, the behavior of the sticker is determined based on the position of the sticker relative to the subject's face.

図８ＢＥでは、デバイス６００は、図８Ｄに示すものと同様の外観であるが、画像表示領域８２０に表示されたステッカー８５８を有する、カメラアプリケーションユーザインタフェース８１５を表示する。画像表示領域８２０は、カメラ６０２の視野内に位置する被写体８３２の表現、及び被写体８３２の背後に表示された背景８３６を示している、カメラ６０２からのライブカメラプレビュー８２０－１を示す。眼鏡ステッカー８５８－４、ヒトデステッカー８５８－５、及び野球ステッカー８５８－６は、被写体８３２の顔から離れて（例えば、上にではなく）、それぞれ配置されて表示される。図８ＢＥ～図８ＢＱに示すステッカーは、本明細書で論じる様々な実施形態に従って、画像表示領域内に配置され、移動させることができる。 In FIG. 8BE, device 600 displays a camera application user interface 815 similar in appearance to that shown in FIG. 8D, but with stickers 858 displayed in an image display area 820. Image display area 820 shows a live camera preview 820-1 from camera 602, showing a representation of subject 832 located within the field of view of camera 602 and a background 836 displayed behind subject 832. Glasses sticker 858-4, starfish sticker 858-5, and baseball sticker 858-6 are each displayed positioned away from (e.g., not on) the face of subject 832. The stickers shown in FIGS. 8BE-8BQ can be positioned and moved within the image display area according to various embodiments discussed herein.

ステッカー８５８が被写体の顔から離れて（例えば、その上ではなく）配置される場合、ステッカー８５８は第１の種類の挙動を有する。例えば、ステッカーは、横方向（例えば、横から横、及び上／下）、前方（例えば、カメラ６０２に向かう）、及び後方（例えば、カメラ６０２から離れる）の被写体の顔の動きには追従するが、被写体の顔の回転運動には追従しない（例えば、被写体の顔のピッチ及びヨーに追従しない）。 When sticker 858 is placed away from (e.g., not on) the subject's face, sticker 858 has a first type of behavior. For example, the sticker follows lateral (e.g., side-to-side and up/down), forward (e.g., towards camera 602), and backward (e.g., away from camera 602) movements of the subject's face, but does not follow rotational movements of the subject's face (e.g., does not follow the pitch and yaw of the subject's face).

図８ＢＦでは、デバイス６００は、眼鏡ステッカー８５８－４上の入力８８９（例えば、ディスプレイ６０１上のタッチアンドドラッグジェスチャ）を検出する。入力８８９を検出したことに応じて、デバイス６００は、図８ＢＧ及び図８ＢＨに示すように、入力と共に移動する眼鏡ステッカー８５８－４を（例えば、入力８８９の動きの向き及び大きさで）表示する。 In FIG. 8BF, device 600 detects input 889 (e.g., a touch-and-drag gesture on display 601) on glasses sticker 858-4. In response to detecting input 889, device 600 displays glasses sticker 858-4 that moves with the input (e.g., in the direction and magnitude of the movement of input 889), as shown in FIGS. 8BG and 8BH.

一部の実施形態では、デバイス６００は、ステッカーが追従しているオブジェクトに対応する位置にステッカーが移動したときにインジケーションを提供する。例えば、図８ＢＧでは、デバイス６００は、眼鏡ステッカー８５８－４が、被写体の顔から離れた位置から被写体の顔の位置に移動していることを示す。デバイス６００は、眼鏡ステッカー８５８－４が被写体の顔に移動すると、被写体の顔の周りにブラケット８９０を表示し、任意選択的に、触覚フィードバック８９２（例えば、音声出力を伴う、又は伴わない触知出力）を生成する。一部の実施形態では、ブラケット８９０は、眼鏡ステッカー８５８－４が被写体の顔に表示されることになるように（眼鏡ステッカー８５８－４の変更された挙動がもたらされるように）、眼鏡ステッカー８５８－４を配置できる領域の視覚的表示を提供する。このように、ユーザがステッカーを被写体の顔に配置されることになる配置領域（例えば、ブラケットの内側）にステッカーをドラッグしている間に、ブラケット８９０（及び触覚フィードバック８９２）をユーザーに示すことができる。一部の実施形態では、触覚フィードバック８９２は、眼鏡ステッカー８５８－４が、被写体の顔の外側の領域（例えば、ステッカーが第１のタイプの挙動を有する領域）から、被写体の顔の領域（例えば、ステッカーが第２のタイプの挙動を有する領域）に移動したことを示す。 In some embodiments, device 600 provides an indication when the sticker moves to a position corresponding to the object it is following. For example, in FIG. 8BG, device 600 indicates that eyeglasses sticker 858-4 is moving from a position away from the subject's face to a position on the subject's face. Device 600 displays bracket 890 around the subject's face as eyeglasses sticker 858-4 moves to the subject's face, and optionally generates haptic feedback 892 (e.g., tactile output with or without audio output). In some embodiments, bracket 890 provides a visual indication of an area in which eyeglasses sticker 858-4 can be placed so that it will appear on the subject's face (resulting in a modified behavior of eyeglasses sticker 858-4). In this manner, bracket 890 (and haptic feedback 892) can be indicated to the user while the user drags the sticker to a placement area (e.g., inside the bracket) where the sticker will be placed on the subject's face. In some embodiments, haptic feedback 892 indicates that glasses sticker 858-4 has moved from an area outside the subject's face (e.g., an area where the sticker has a first type of behavior) to an area on the subject's face (e.g., an area where the sticker has a second type of behavior).

一部の実施形態では、ステッカーが追従しているオブジェクトに対応する位置にステッカー（又は他のビジュアルエフェクト）の位置が移動することをデバイス６００が検出すると、デバイス６００は、オブジェクトの位置に基づいてステッカーの外観を変更し、ステッカーの挙動を変更する（一部の実施形態では、ステッカーの挙動は、入力８８９の終了を検出した後に変更される）。デバイス６００はまた、ステッカーが追従しているオブジェクトに対応する位置からオブジェクトから離れた位置にステッカーが移動すると、ステッカーの外観及び挙動を逆の方法で変更する。 In some embodiments, when device 600 detects that the position of the sticker (or other visual effect) is moving to a position corresponding to the object the sticker is following, device 600 changes the appearance of the sticker and changes the behavior of the sticker based on the position of the object (in some embodiments, the behavior of the sticker is changed after detecting the end of input 889). Device 600 also changes the appearance and behavior of the sticker in the opposite manner when the sticker moves from a position corresponding to the object the sticker is following to a position away from the object.

図８ＢＨでは、デバイス６００が被写体の顔の眼鏡ステッカー８５８－４の位置を検出すると（例えば、ブラケット８９０内に位置する）、デバイス６００は、被写体の顔の位置（例えば、サイズ及び向き）に基づいてステッカーを変更する。例えば、眼鏡ステッカー８５８－４は、サイズが（例えば、被写体の顔のサイズに比例して適合するように）増大し、図８ＢＧの静的位置から図８ＢＨの被写体の顔の位置と一致するように回転する。一部の実施形態では、ステッカーは、被写体の鼻に対応する平面上に配置され、顔が動くとその位置の座標を変換する。一部の実施形態では、顔メッシュ（例えば、深度マスク）を使用して鼻の点を決定する。一部の実施形態では、ステッカーは、平面上に配置されるが、被写体の顔の形状には適合しない。 In FIG. 8BH, when device 600 detects the position of eyeglasses sticker 858-4 on the subject's face (e.g., located within bracket 890), device 600 modifies the sticker based on the position (e.g., size and orientation) of the subject's face. For example, eyeglasses sticker 858-4 increases in size (e.g., to proportionally fit the size of the subject's face) and rotates from its static position in FIG. 8BG to match the position of the subject's face in FIG. 8BH. In some embodiments, the sticker is placed on a plane corresponding to the subject's nose and transforms its coordinates as the face moves. In some embodiments, a face mesh (e.g., a depth mask) is used to determine the nose point. In some embodiments, the sticker is placed on a plane but does not fit the shape of the subject's face.

デバイス６００はまた、ステッカーの挙動を第２の種類の挙動（例えば、第１の種類の挙動とは異なる挙動）に変更する。図８ＢＨに示すように、挙動の第２のタイプは、横方向の動き及び前後方向の動きに加えて、ステッカーが被写体の顔の回転運動に追従して（例えば、顔のピッチ及びヨーに追従して）、顔のその３Ｄ位置を維持する挙動を含むことができる。他のステッカーの挙動は変化しない。このように、野球ステッカー８５８－６及びヒトデステッカー８５８－５は、被写体の顔には配置されれないので、挙動の第１のタイプを有し続けている。代わりに、ヒトデステッカー８５８－５及び野球ステッカー８５８－６は、顔からの相対的間隔を維持し続ける。 Device 600 also changes the behavior of the sticker to a second type of behavior (e.g., behavior different from the first type of behavior). As shown in FIG. 8BH, the second type of behavior can include side-to-side and forward-to-back movement, as well as behavior in which the sticker follows the rotational movement of the subject's face (e.g., follows the pitch and yaw of the face) to maintain its 3D position on the face. The behavior of the other stickers remains unchanged. Thus, baseball sticker 858-6 and starfish sticker 858-5 continue to have the first type of behavior because they are not positioned on the subject's face. Instead, starfish sticker 858-5 and baseball sticker 858-6 continue to maintain their relative distance from the face.

一部の実施形態では、ブラケット８９０は入力８８９と共に持続し、入力８８９は被写体の顔に（例えば、ブラケット内に）配置される。このように、デバイス６００が入力８８９の終了を検出すると、デバイス６００は、図８ＢＩに示すように、ブラケット８９０の表示を停止する。 In some embodiments, the bracket 890 persists along with the input 889, and the input 889 is positioned on the subject's face (e.g., within the bracket). Thus, when the device 600 detects the end of the input 889, the device 600 stops displaying the bracket 890, as shown in FIG. 8BI.

図８ＢＩ及び図８ＢＪは、被写体の顔と共に眼鏡ステッカー８５８－４を回転しているデバイス６００を示しているが、ヒトデステッカー８５８－５及び野球ステッカー８５８－６は静止したままである（眼鏡ステッカー８５８－４とは異なり、それらは被写体の顔の回転運動に追従しない）。 Figures 8BI and 8BJ show device 600 rotating eyeglasses sticker 858-4 along with the subject's face, while starfish sticker 858-5 and baseball sticker 858-6 remain stationary (unlike eyeglasses sticker 858-4, they do not follow the rotational movement of the subject's face).

図８ＢＫでは、被写体はカメラ６０２に近づくように動く。眼鏡ステッカー８５８－４は、被写体の顔の前方への動きと共に動き、被写体の顔との回転位置を維持する。同様に、野球ステッカー８５８－６及びヒトデステッカー８５８－５は、被写体の顔に対する相対的間隔を維持しながら、被写体の顔の前方への動きと共に動く。野球ステッカー８５８－６及びヒトデステッカー８５８－５は、被写体の顔と共に回転しない。 In FIG. 8BK, the subject moves closer to camera 602. Glasses sticker 858-4 moves with the forward movement of the subject's face and maintains its rotational position relative to the subject's face. Similarly, baseball sticker 858-6 and starfish sticker 858-5 move with the forward movement of the subject's face while maintaining their relative spacing to the subject's face. Baseball sticker 858-6 and starfish sticker 858-5 do not rotate with the subject's face.

図８ＢＫでは、デバイス６００は、キャプチャアフォーダンス８２１上で入力８９３を検出し、これに応じて、ライブカメラプレビュー８２０－１の画像をキャプチャする。 In FIG. 8BK, device 600 detects input 893 on capture affordance 821 and, in response, captures an image of live camera preview 820-1.

図８ＢＬでは、デバイス６００は、画像表示領域８２０にキャプチャされた画像（例えば、メディアアイテム８２０－５）を示すカメラアプリケーションユーザインタフェース８１５を表示する（例えば、メディアアイテム８２０－５は、画像表示領域８２０に示されるライブカメラプレビュー８２０－１を置換する）。メディアアイテム８２０－５は、キャプチャアフォーダンス８２１が選択された時点でのライブカメラプレビュー８２０－１の表現である。図８ＢＬに示す実施形態は、図８ＡＭに示したものと同様であるが、（メディアアイテム８２０－２の代わりに）メディアアイテム８２０－５を有し、メディアアイテム８２０－５は、被写体８３２の顔及び背景８３６に対して表示される、眼鏡ステッカー８５８－４、ヒトデステッカー８５８－５、及び野球ステッカー８５８－６を含む。 In FIG. 8BL, device 600 displays camera application user interface 815 showing a captured image (e.g., media item 820-5) in image display area 820 (e.g., media item 820-5 replaces live camera preview 820-1 shown in image display area 820). Media item 820-5 is a representation of live camera preview 820-1 at the time capture affordance 821 is selected. The embodiment shown in FIG. 8BL is similar to that shown in FIG. 8AM, but includes media item 820-5 (instead of media item 820-2), which includes glasses sticker 858-4, starfish sticker 858-5, and baseball sticker 858-6 displayed against subject 832's face and background 836.

本明細書で論じるように、ビジュアルエフェクトの表示は、異なる実施形態にわたって同様である。例えば、他に明記しない限り、ビジュアルエフェクトは、カメラアプリケーション、メッセージングアプリケーション、アバター編集アプリケーション、ライブビデオメッセージングアプリケーション、又は本明細書で論じる任意の他のアプリケーションにおける同様の方法で、表示及び操作することができる。加えて、画像データの異なるタイプにわたって、同様の方法でビジュアルエフェクトを表示及び操作することができる。例えば、特に明記しない限り、ビジュアルエフェクトは、ライブカメラプレビュー、メディアアイテム、ストリーミングされた画像データ、又は本明細書で論じられる任意の他の画像データにおける同様の方法で、表示及び操作することができる。例えば、図８ＢＬ～図８ＢＱは、ライブカメラプレビュー８２０－１について上述したのと同様の方法で、メディアアイテム８２０－５にステッカーを表示することを示す。具体的には、図８ＢＬ～図８ＢＱは、ライブ画像プレビュー８２０－１に関して上述したのと同様の方法で、メディアアイテム（例えば、８２０－５）内のステッカーを再配置し、それに応じてそれらのそれぞれの挙動を変更できることを表す。 As discussed herein, the display of visual effects is similar across different embodiments. For example, unless otherwise specified, visual effects may be displayed and manipulated in a similar manner in a camera application, a messaging application, an avatar editing application, a live video messaging application, or any other application discussed herein. Additionally, visual effects may be displayed and manipulated in a similar manner across different types of image data. For example, unless otherwise specified, visual effects may be displayed and manipulated in a similar manner in a live camera preview, a media item, streamed image data, or any other image data discussed herein. For example, FIGS. 8BL-8BQ illustrate displaying stickers on media item 820-5 in a similar manner as described above for live camera preview 820-1. Specifically, FIGS. 8BL-8BQ illustrate the ability to rearrange stickers within media items (e.g., 820-5) and change their respective behavior accordingly in a similar manner as described above for live image preview 820-1.

図８ＢＭでは、デバイス６００は、眼鏡のステッカー８５８－４上の入力８９４を検出し、ブラケット８９０を表示する。図８ＢＮでは、入力８９４は、眼鏡ステッカー８５８－４を被写体の顔から動かして外す。眼鏡ステッカーを顔から動かして外すと、デバイス６００は、触覚フィードバック８９２を生成し、ブラケット８９０の表示を停止し、眼鏡ステッカー８５８－４をその元の形状（例えば、眼鏡ステッカーが図８ＢＥの被写体の顔から離れて配置されたときからわずかに傾斜した形状）に変更して戻す。デバイス６００はまた、眼鏡ステッカー８５８－４の挙動を、第１のタイプの挙動（ステッカーが追跡しているオブジェクトから離れた配置されたステッカーに関連付けられた挙動）に変更して戻し、変更された挙動に基づいてステッカーの外観を変更する。このように、眼鏡ステッカー８５８－４は、（図８ＢＥ～図８ＢＧの眼鏡ステッカー８５８－４のサイズと比較して）図８ＢＮ～８ＢＱのより大きいサイズを有して表示され、ヒトデステッカー８５８－５及び野球ステッカー８５８－６のサイズ変化と同様に、図８ＢＪ～８ＢＫの被写体の顔の前方への動きに基づいて、眼鏡ステッカー８５８－４のメディアアイテム８２０－５内の被写体の顔の位置に対する相対的間隔を維持する。 In FIG. 8BM, device 600 detects input 894 on eyeglasses sticker 858-4 and displays bracket 890. In FIG. 8BN, input 894 moves eyeglasses sticker 858-4 away from the subject's face. Upon moving the eyeglasses sticker away from the face, device 600 generates haptic feedback 892, stops displaying bracket 890, and changes eyeglasses sticker 858-4 back to its original shape (e.g., a slightly tilted shape from when the eyeglasses sticker was positioned away from the subject's face in FIG. 8BE). Device 600 also changes the behavior of eyeglasses sticker 858-4 back to a first type of behavior (a behavior associated with a sticker positioned away from the object it is tracking) and changes the sticker's appearance based on the changed behavior. Thus, eyeglasses sticker 858-4 is displayed with a larger size in FIGS. 8BN-8BQ (compared to the size of eyeglasses sticker 858-4 in FIGS. 8BE-8BG), maintaining the relative spacing of eyeglasses sticker 858-4 to the position of the subject's face within media item 820-5 based on the forward movement of the subject's face in FIGS. 8BJ-8BK, as well as the size changes of starfish sticker 858-5 and baseball sticker 858-6.

図８ＢＯ～図８ＢＱは、メディアアイテム８２０－５内の被写体の顔に異なるステッカーを配置すること、及び異なるステッカーが、被写体の顔に動かされたことに応じて、ステッカーの異なる挙動に基づいて変更されることを表す。例えば、図８ＢＯでは、デバイス６００は、野球ステッカー８５８－６上の入力８９５を検出する。野球ステッカー８５８－６が図８ＢＰの被写体の顔にドラッグされると、デバイス６００は、ブラケット８９０を表示し、触覚フィードバック８９２（例えば、触知出力）を生成し、被写体の顔の角度に基づいて野球ステッカー８５８－６を再配置する。言い換えれば、野球ステッカー８５８－６の挙動は、眼鏡ステッカー８５８－４が被写体の顔に配置されたときの被写体の顔の回転運動に追従する方法と同様に、被写体の顔の回転運動に追従するように変化する。 8BQ illustrate the placement of different stickers on a subject's face in media item 820-5 and the different stickers changing based on different sticker behaviors as they are moved across the subject's face. For example, in FIG. 8BQ, device 600 detects input 895 on baseball sticker 858-6. When baseball sticker 858-6 is dragged across the subject's face in FIG. 8BP, device 600 displays bracket 890, generates haptic feedback 892 (e.g., tactile output), and repositions baseball sticker 858-6 based on the angle of the subject's face. In other words, the behavior of baseball sticker 858-6 changes to follow the rotational movement of the subject's face, similar to how eyeglasses sticker 858-4 follows the rotational movement of the subject's face when placed on the subject's face.

図８ＢＱでは、入力８９５が終了し、デバイス６００はブラケット８９０の表示を停止する。 In FIG. 8BQ, the input 895 ends and the device 600 stops displaying the bracket 890.

図９Ａ～図９Ｂは、一部の実施形態に係る、電子デバイスを使用してカメラアプリケーションにビジュアルエフェクトを表示するための方法を示すフロー図である。方法９００は、カメラと表示装置とを備えたデバイス（例えば、１００、３００、５００、６００）にて実行される。方法９００におけるいくつかの動作は、任意選択的に組み合わせられ、いくつかの動作の順序は任意選択的に変更され、いくつかの動作は任意選択的に省略される。 FIGS. 9A-9B are flow diagrams illustrating a method for displaying visual effects in a camera application using an electronic device, according to some embodiments. Method 900 is performed on a device (e.g., 100, 300, 500, 600) that includes a camera and a display device. Some operations in method 900 are optionally combined, the order of some operations is optionally changed, and some operations are optionally omitted.

以下に説明するように、方法９００は、カメラアプリケーションにビジュアルエフェクトを表示するための直感的な仕方を提供する。かかる方法は、カメラアプリケーションにおいて閲覧される画像にビジュアルエフェクトを適用するためのユーザの認知負担を軽減し、それによって、より効率的なヒューマン－マシンインタフェースを作り出す。バッテリ動作コンピューティングデバイスでは、画像にビジュアルエフェクトをユーザーがより迅速かつ効率的に表示できるようにすることで、電力を節約し、バッテリ充電間の時間を増大させる。 As described below, method 900 provides an intuitive way to display visual effects in a camera application. Such a method reduces the cognitive burden on a user to apply visual effects to images viewed in the camera application, thereby creating a more efficient human-machine interface. In battery-operated computing devices, enabling users to more quickly and efficiently display visual effects on images conserves power and increases the time between battery charges.

電子デバイス（例えば、６００）は、表示装置（例えば、６０１）を介して、カメラユーザインタフェース（例えば、８１５）を表示する（９０２）。カメラユーザインタフェースは、カメラ（例えば、６０２）を介してキャプチャされた画像データの表現（例えば、８３５）を含む、カメラ表示領域（例えば、８２０）を含む（９０４）。 An electronic device (e.g., 600) displays (902) a camera user interface (e.g., 815) via a display device (e.g., 601). The camera user interface includes (904) a camera display area (e.g., 820) that includes a representation (e.g., 835) of image data captured via the camera (e.g., 602).

一部の実施形態では、画像データは、深度データ（キャプチャされた画像又はビデオの深度アスペクト（例えば、ＲＧＢデータから独立した深度データ）を含む画像データ）を含む（９０６）。一部の実施形態では、画像データは、少なくとも２つの成分、すなわち、キャプチャされた画像の視覚特性を符号化するＲＧＢ成分、及びキャプチャされた画像内の要素の相対的な空間的関係についての情報を符号化する深度データ（例えば、深度データは、ユーザが前景にあることを符号化し、ユーザの背後に位置する木などの背景要素は、背景にある）を含む。一部の実施形態では、深度データは深度マップである。一部の実施形態では、深度マップ（例えば、深度マップ画像）は、視点（例えば、カメラ）からのシーン内のオブジェクトの距離に関する情報（例えば、値）を含む。深度マップの一実施形態では、各深度ピクセルは、その対応する２次元ピクセルが位置する、視点のＺ軸内の位置を規定する。一部の例では、深度マップは、各ピクセルが値（例えば、０～２５５）によって定義されるピクセルから構成される。例えば、「０」値は、「３次元」シーンにおける最も離れた位置に配置されたピクセルを表し、「２５５」値は、「３次元」シーンにおける視点（例えば、カメラ）に最も近いピクセルを表す。他の例では、深度マップは、シーン内のオブジェクトと視点の平面との間の距離を表す。一部の実施形態では、深度マップは、深度カメラの視点における関心あるオブジェクトの様々な特徴の相対的深度（例えば、ユーザの顔の目、鼻、口、耳の相対的な深度）についての情報を含む。一部の実施形態では、深度マップは、ｚ方向の関心あるオブジェクトの輪郭をデバイスが判定することを可能にする情報を含む。 In some embodiments, the image data includes depth data (image data that includes depth aspects of the captured image or video (e.g., depth data independent of RGB data)) (906). In some embodiments, the image data includes at least two components: RGB components that encode visual characteristics of the captured image, and depth data that encodes information about the relative spatial relationships of elements in the captured image (e.g., the depth data encodes that the user is in the foreground, while background elements, such as trees located behind the user, are in the background). In some embodiments, the depth data is a depth map. In some embodiments, a depth map (e.g., a depth map image) includes information (e.g., values) about the distance of objects in a scene from a viewpoint (e.g., a camera). In one embodiment of a depth map, each depth pixel defines the position in the Z-axis of the viewpoint where its corresponding two-dimensional pixel is located. In some examples, a depth map is composed of pixels, each defined by a value (e.g., 0-255). For example, a value of "0" represents the pixel located furthest away in a "3D" scene, and a value of "255" represents the pixel closest to the viewpoint (e.g., camera) in a "3D" scene. In other examples, the depth map represents the distance between objects in the scene and the plane of the viewpoint. In some embodiments, the depth map contains information about the relative depth of various features of an object of interest in the viewpoint of the depth camera (e.g., the relative depth of the eyes, nose, mouth, and ears on a user's face). In some embodiments, the depth map contains information that allows the device to determine the contours of the object of interest in the z-direction.

一部の実施形態では、深度データは、カメラ表示領域（例えば、８２０）内の被写体の表現を含む、第１の深度成分（例えば、カメラ表示領域内の被写体の空間位置を符号化する深度データの第１の部分、前景又は特定のオブジェクトなどの、深度マップの離散部分を形成する複数の深度ピクセル）を有する。一部の実施形態では、深度データは、第１の深度成分とは別個の、第２の深度成分（例えば、カメラ表示領域内の背景の空間位置を符号化する深度データの第２の部分、背景などの、深度マップの離散部分を形成する複数の深度ピクセル）を有し、第２の深度アスペクトは、カメラ表示領域における背景の表現を含む。一部の実施形態では、第１の深度アスペクト及び第２の深度アスペクトは、カメラ表示領域内の被写体とカメラ表示領域内の背景との間の空間的関係を判定するために使用される。この空間的関係は、被写体を背景から識別するために使用することができる。この識別は、例えば、異なるビジュアルエフェクト（例えば、深度成分を有するビジュアルエフェクト）を被写体及び背景に適用するために利用することができる。一部の実施形態では、第１の深度成分に対応しない画像データのすべての領域（例えば、深度カメラの範囲外である画像データの領域）は、深度マップからセグメント化される（例えば、除外される）。 In some embodiments, the depth data has a first depth component (e.g., a first portion of the depth data encoding the spatial location of the subject within the camera viewing area, e.g., 820, a plurality of depth pixels forming a discrete portion of a depth map, such as a foreground or particular object) that includes a representation of the subject within the camera viewing area. In some embodiments, the depth data has a second depth component (e.g., a second portion of the depth data encoding the spatial location of the background within the camera viewing area, a plurality of depth pixels forming a discrete portion of a depth map, such as a background) that is separate from the first depth component, and the second depth aspect includes a representation of the background in the camera viewing area. In some embodiments, the first depth aspect and the second depth aspect are used to determine a spatial relationship between the subject within the camera viewing area and the background within the camera viewing area. This spatial relationship can be used to distinguish the subject from the background. This distinction can be utilized, for example, to apply different visual effects (e.g., visual effects having a depth component) to the subject and the background. In some embodiments, all regions of the image data that do not correspond to the first depth component (e.g., regions of the image data that are outside the range of the depth camera) are segmented (e.g., excluded) from the depth map.

一部の実施形態では、カメラ（例えば、６０２）を介してキャプチャされた画像データの表現（例えば、８３５）は、ライブカメラプレビュー（例えば、カメラの視野にあるものを表す画像データのストリーム）である。 In some embodiments, the representation (e.g., 835) of image data captured via a camera (e.g., 602) is a live camera preview (e.g., a stream of image data representing what is in the camera's field of view).

一部の実施形態では、第１のカメラ表示モードがアクティブである間に、電子デバイス（例えば、６００）は、カメラ表示領域（例えば、８２０）上のスワイプジェスチャを検出する。一部の実施形態では、カメラ表示領域上のスワイプジェスチャを検出したことに応じて、例えば、電子デバイス（例えば、６００）は、カメラ表示領域内の選択されたアバターオプションの表示された表現の外観を、第１の外観（例えば、現在選択されているアバターオプションに基づく外観）から、第２の外観（例えば、異なるアバターオプション（例えば、ヌルアバターオプション、又は異なるタイプ（例えば、カスタマイズ可能な、カスタマイズ不可能な）のアバターを含む、異なるアバターに対応するアバターオプション）基づく外観）に変更し、第２の外観は、複数のアバターオプションのうちの異なる１つ（例えば、アバター選択領域に含まれる異なるアバターオプション）に対応する。カメラ表示領域上のスワイプジェスチャを検出したことに応じて、選択されたアバターオプションの表示された表現の外観を変更することによって、選択されたアバターの表現を変更するための迅速かつ容易な方法をユーザに提供する。追加表示されたコントロールによりユーザインタフェース（ＵＩ）を雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。 In some embodiments, while the first camera viewing mode is active, the electronic device (e.g., 600) detects a swipe gesture on the camera viewing area (e.g., 820). In some embodiments, in response to detecting the swipe gesture on the camera viewing area, for example, the electronic device (e.g., 600) changes the appearance of a displayed representation of a selected avatar option in the camera viewing area from a first appearance (e.g., an appearance based on a currently selected avatar option) to a second appearance (e.g., an appearance based on a different avatar option (e.g., a null avatar option or an avatar option corresponding to a different avatar, including an avatar of a different type (e.g., customizable, non-customizable))), where the second appearance corresponds to a different one of multiple avatar options (e.g., a different avatar option included in the avatar selection area). Changing the appearance of the displayed representation of the selected avatar option in response to detecting a swipe gesture on the camera viewing area provides a user with a quick and easy way to change the representation of the selected avatar. Providing additional control options without cluttering the user interface (UI) with additional displayed controls improves device usability, makes the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces device power usage and improves battery life by allowing the user to use the device more quickly and efficiently.

一部の実施形態では、複数のアバターオプションのうちの異なる一つがヌルアバターオプションである場合、デバイス（例えば、６００）は、アバターの表現を被写体の表現上に表示することを停止する（例えば、デバイスは、ユーザの頭部の画像データを仮想アバターに置換することをやめる）。一部の実施形態では、複数のアバターオプションのうちの異なる１つが、異なるアバターキャラクタ（カスタマイズ可能又はカスタマイズ不可能なアバターキャラクタを含む）のアバターオプションである場合、デバイスは、選択されたアバターキャラクタを異なるアバターキャラクタに置換する（例えば、デバイスは、アバターの表現を異なるアバターの表現に置換する）。一部の実施形態では、選択されたアバターキャラクターを異なるアバターキャラクターに置換することは、画面の中心に移動する異なるアバターキャラクターのアニメーションを表示することを含む。一部の実施形態では、選択されたアバターキャラクターを異なるアバターキャラクターに置換することは、ユーザの頭部に移動する異なるアバターキャラクターのアニメーションを表示することを含む。一部の実施形態では、選択されたアバターキャラクターを異なるアバターキャラクターに置換することは、選択されたアバターが置換されている間に背景をぼかすことを含む。選択されたアバターキャラクターが異なるアバターキャラクターに置換されると／されている間に、アニメーションを表示する（例えば、異なるアバターキャラクタが画面の中央に移動し、異なるアバターキャラクタがユーザの頭部に移動して背景をぼかす）ことにより、アバターキャラクターが変更されているという視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、現在選択されているアバターオプションは第１のタイプのアバター（例えば、カスタマイズ可能なアバター）に対応し、異なるアバターオプションは第２のタイプのアバター（例えばカスタマイズ不可能なアバター）に対応する。 In some embodiments, if a different one of the plurality of avatar options is a null avatar option, the device (e.g., 600) stops displaying a representation of the avatar over the representation of the subject (e.g., the device stops replacing image data of the user's head with a virtual avatar). In some embodiments, if a different one of the plurality of avatar options is an avatar option for a different avatar character (including a customizable or non-customizable avatar character), the device replaces the selected avatar character with the different avatar character (e.g., the device replaces the representation of the avatar with a representation of the different avatar). In some embodiments, replacing the selected avatar character with the different avatar character includes displaying an animation of the different avatar character moving to the center of the screen. In some embodiments, replacing the selected avatar character with the different avatar character includes displaying an animation of the different avatar character moving to the user's head. In some embodiments, replacing the selected avatar character with the different avatar character includes blurring the background while the selected avatar is being replaced. When/while the selected avatar character is being replaced with a different avatar character, visual feedback is provided that the avatar character is being changed by displaying an animation (e.g., a different avatar character moving to the center of the screen, a different avatar character moving to the user's head and blurring the background). Providing the user with improved visual feedback improves device usability, makes the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and additionally reduces device power usage and improves battery life by allowing the user to use the device more quickly and efficiently. In some embodiments, the currently selected avatar option corresponds to a first type of avatar (e.g., a customizable avatar) and the different avatar option corresponds to a second type of avatar (e.g., a non-customizable avatar).

一部の実施形態では、カメラ表示領域（例えば、８２０）内の選択されたアバターオプションの表示された表現の外観を、第１の外観から第２の外観に変更することは、選択されたアバターオプションの表現の、第１の外観を有する第１のバージョンを移動してディスプレイから外すことを含む。一部の実施形態では、カメラ表示領域内の選択されたアバターオプションの表示された表現の外観を、第１の外観から第２の外観に変更することは、選択されたアバターオプションの表現の、第２の外観を有する第２のバージョンをディスプレイの中心に実質的に移動することを含む。選択されたアバターオプションの表現の第１のバージョンを移動してディスプレイから外し、選択されたアバターオプションの表現の第２のバージョンをディスプレイの中心に実質的に移動させることにより、第１のバージョンが第２のバージョンに置換されているという視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。 In some embodiments, changing the appearance of the displayed representation of the selected avatar option in the camera viewing area (e.g., 820) from a first appearance to a second appearance includes moving a first version of the representation of the selected avatar option having the first appearance off the display. In some embodiments, changing the appearance of the displayed representation of the selected avatar option in the camera viewing area from the first appearance to the second appearance includes substantially moving a second version of the representation of the selected avatar option having the second appearance to the center of the display. Moving the first version of the representation of the selected avatar option off the display and substantially moving the second version of the representation of the selected avatar option to the center of the display provides visual feedback that the first version has been replaced with the second version. Providing improved visual feedback to the user improves device usability and makes the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs and reducing user errors when operating/interacting with the device), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

一部の実施形態では、選択されたアバターオプションの表示された表現の外観を、第１の外観から第２の外観に変更することは、選択されたアバターの表現の、第１の外観を有する第１のバージョンを移動してディスプレイから外すことを含む。一部の実施形態では、選択されたアバターオプションの表示された表現の外観を、第１の外観から第２の外観に変更することは、選択されたアバターオプションの表現の、第２の外観を有する第２のバージョンを、カメラ表示領域（例えば、８２０）内に表示された被写体の表現の実質的に位置に移動させることを含む。選択されたアバターオプションの表現の第１のバージョンを移動してディスプレイから外し、選択されたアバターオプションの表現の第２のバージョンをカメラ表示領域に表示された被写体の表現の位置に実質的な移動させることにより、第１のバージョンが第２のバージョンに置換されているという視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。 In some embodiments, changing the appearance of the displayed representation of the selected avatar option from a first appearance to a second appearance includes moving a first version of the representation of the selected avatar option having the first appearance off the display. In some embodiments, changing the appearance of the displayed representation of the selected avatar option from the first appearance to the second appearance includes moving a second version of the representation of the selected avatar option having the second appearance into substantially the position of the subject's representation displayed in the camera viewing area (e.g., 820). Moving the first version of the representation of the selected avatar option off the display and moving the second version of the representation of the selected avatar option into substantially the position of the subject's representation displayed in the camera viewing area provides visual feedback that the first version has been replaced with the second version. Providing improved visual feedback to the user improves device usability and makes the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs and reducing user errors when operating/interacting with the device), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

一部の実施形態では、選択されたアバターオプションの表示された表現の外観を、第１の外観から第２の外観に変更することは、カメラ表示領域（例えば、８２０）に表示された背景の視覚的外観を変更する（例えば、背景をぼかす、背景の彩度を減じる）ことを含む。 In some embodiments, changing the appearance of the displayed representation of the selected avatar option from a first appearance to a second appearance includes changing the visual appearance of the background displayed in the camera viewing area (e.g., 820) (e.g., blurring the background, desaturating the background).

カメラユーザインタフェース（９０８）はまた、第１のカメラ表示モード（例えば、ユーザの頭部の画像データを仮想アバターに置き換えるモード）に関連付けられた第１のアフォーダンス（例えば、仮想アバターに対応するアフォーダンス）を含む。 The camera user interface (908) also includes a first affordance (e.g., an affordance corresponding to a virtual avatar) associated with a first camera display mode (e.g., a mode in which image data of the user's head is replaced with a virtual avatar).

一部の実施形態では、カメラユーザインタフェース（例えば、８１５）は、ステッカー表示モード（例えば、ステッカーを画像データに適用することが可能なモード）に関連付けられたステッカーアフォーダンス（例えば、８２４－２、ステッカーの表示を有効化するための機能に対応するアフォーダンス）を更に含む。一部の実施形態では、カメラ表示領域（例えば、８２０）に画像データ（及び、任意選択的に、選択されたアバターオプションの表現）を表示している間に、電子デバイス（例えば、６００）は、ステッカーアフォーダンスに向けられたジェスチャ（例えば、図８ＡＨ）を検出する。一部の実施形態では、ステッカーアフォーダンスに向けられたジェスチャを検出したことに応じて、電子デバイスはステッカー表示モードをアクティブ化し、ステッカー表示モードをアクティブ化することは、複数のステッカーオプション（例えば、８５８のステッカー）を含むステッカー選択領域（例えば８５６）を表示することと、ステッカー選択領域内の複数のステッカーオプション（例えば、８５８－２のステッカー）のうちの１つの選択を検出することと、選択を検出したことに応じて、選択されたステッカーオプションの表現（例えば、８５８－２）をカメラ表示領域内の画像データ上に表示することと、を含む。一部の実施形態では、画像データ上に表示される選択されたステッカーオプションは、表示画面（例えば、６０１）上に配置された外観（例えば、デバイスの画面上に物理的ステッカーを配置するユーザの外観と同様な）を有し、移動したり、又は画像データに表されたオブジェクトと対話したりすることはない。一部の実施形態では、画像データ上に表示される選択されたステッカーオプションは、表示画面上に配置された外観（例えば、デバイスの画面上に物理的ステッカーを配置するユーザの外観と同様な）を有するが、画像データに表示されるオブジェクトの移動に基づいて移動する。例えば、ステッカーはディスプレイ上に配置されているように見え、画像データ（例えば、人物）に表されたオブジェクトと対話するが、ステッカーの動きは、ｘ及びｙ軸に沿った動きに制限される。換言すれば、ステッカーは、デバイスの画面に適用されるように見えるが、画像データに表されたオブジェクトによって画面上を移動することができる（例えば、画像データ内の人物がステッカーに触れる、又は画面を横切ってステッカーをドラッグするように見える）。一部の実施形態では、画像データ上に表示される選択されたステッカーオプションは、画像データの一部を形成する対話型オブジェクトとして画像データ内に挿入される外観を有する。画像データの一部を形成する対話型オブジェクトとして画像データに挿入される外観を提供することによって、選択されたステッカーが画像内の対話型オブジェクトとして作用できるという視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。そのような実施形態では、ステッカーは、画像データに表されるオブジェクトとの対話に基づいて移動するように見える。例えば、ステッカーは、オブジェクトが人の肩に座っているように見え得る。人が動くと、ステッカーは人の肩と共に動き、人の肩の上に座っているような外観を維持する。これには、ｘ軸及びｙ軸に沿った移動、並びに、ｚ軸に沿った移動を含む。 In some embodiments, the camera user interface (e.g., 815) further includes a sticker affordance (e.g., 824-2, an affordance corresponding to a function for enabling display of stickers) associated with a sticker display mode (e.g., a mode in which stickers can be applied to image data). In some embodiments, while displaying image data (and, optionally, a representation of a selected avatar option) in the camera viewing area (e.g., 820), the electronic device (e.g., 600) detects a gesture (e.g., FIG. 8AH) directed toward the sticker affordance. In some embodiments, in response to detecting the gesture directed toward the sticker affordance, the electronic device activates the sticker display mode, where activating the sticker display mode includes displaying a sticker selection area (e.g., 856) including multiple sticker options (e.g., sticker 858), detecting a selection of one of the multiple sticker options (e.g., sticker 858-2) in the sticker selection area, and, in response to detecting the selection, displaying a representation of the selected sticker option (e.g., sticker 858-2) over the image data in the camera viewing area. In some embodiments, the selected sticker option displayed over the image data has the appearance of being placed on the display screen (e.g., 601) (e.g., similar to the appearance of a user placing a physical sticker on the screen of a device) and does not move or interact with the object represented in the image data. In some embodiments, the selected sticker option displayed over the image data has the appearance of being placed on the display screen (e.g., similar to the appearance of a user placing a physical sticker on the screen of a device), but moves based on the movement of the object represented in the image data. For example, the sticker appears to be placed on the display and interacts with the object represented in the image data (e.g., a person), but the movement of the sticker is limited to movement along the x and y axes. In other words, the sticker appears to be applied to the screen of the device, but can be moved around the screen by the object represented in the image data (e.g., a person in the image data appears to touch the sticker or drag the sticker across the screen). In some embodiments, the selected sticker option displayed over the image data has the appearance of being inserted into the image data as an interactive object forming part of the image data. Providing the appearance of being inserted into the image data as an interactive object forming part of the image data provides visual feedback that the selected sticker can act as an interactive object in the image. Providing improved visual feedback to the user improves device usability, makes the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and reduces device power usage and improves battery life by allowing the user to use the device more quickly and efficiently. In such embodiments, a sticker appears to move based on interaction with an object represented in the image data. For example, the sticker may appear to be an object sitting on a person's shoulder. As the person moves, the sticker moves with the person's shoulder, maintaining the appearance of sitting on the person's shoulder. This includes movement along the x-axis and y-axis, as well as movement along the z-axis.

一部の実施形態では、カメラ表示領域（例えば、８２０）の画像データ上に、選択されたステッカーオプション（例えば、８５８－１、８５８－２、８５８－３、８５８－４、８５８－５、８５８－６）の表現を表示している間に、デバイス（例えば、６００）は、１つ以上のカメラ（例えば、６０２）の視野内の被写体（例えば、８３２）の横方向の動きを検出する。１つ以上のカメラの視野内の被写体の横方向の動きを検出したことに応じて、デバイスは、１つ以上のカメラの視界内の被写体の動きに従って、（例えば、ステッカーの被写体との関係にかかわらず）選択されたステッカーオプションの表現を横方向に移動させる（例えば、図８ＡＶ～図８ＡＹのヘルメットステッカー８５８－１を参照）。選択されたステッカーオプションの表現を、１つ以上のカメラの視野内の被写体の横方向の動きに従って横方向に移動させることによって、選択されたステッカーが画像内の対話型オブジェクトとして作用できるという視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。 In some embodiments, while displaying a representation of a selected sticker option (e.g., 858-1, 858-2, 858-3, 858-4, 858-5, 858-6) on the image data of the camera viewing area (e.g., 820), the device (e.g., 600) detects lateral movement of a subject (e.g., 832) within the field of view of one or more cameras. In response to detecting lateral movement of the subject within the field of view of one or more cameras, the device moves a representation of the selected sticker option laterally (e.g., regardless of the sticker's relationship to the subject) in accordance with the movement of the subject within the field of view of one or more cameras (e.g., see helmet sticker 858-1 in Figures 8AV-8AY). Moving the representation of the selected sticker option laterally in accordance with the lateral movement of the subject within the field of view of one or more cameras provides visual feedback that the selected sticker can act as an interactive object within the image. Providing improved visual feedback to the user improves the usability of the device, making the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces the device's power usage and improves battery life by allowing the user to use the device more quickly and efficiently.

一部の実施形態では、カメラ表示領域（例えば、８２０）の画像データ上に、選択されたステッカーオプション（例えば、８５８－１、８５８－２、８５８－３、８５８－４、８５８－５、８５８－６）の表現を表示している間に、デバイス（例えば、６００）は、１つ以上のカメラ（例えば、６０２）の視野内の被写体（例えば、８３２）の回転（例えば、ディスプレイに垂直な軸に対する回転、例えば、頭部を回転させる被写体）を検出する。デバイスは、１つ以上のカメラの視野内の被写体の回転を検出したことに応じて、以下のステップのうちの１つ以上を実行する。選択されたステッカーオプションの表現が、被写体に対して第１の関係を有する（第１の関係で配置されていた）（例えば、ステッカーは、最初に（又は現在）被写体に対応するディスプレイ上の位置に配置されていた、例えば、ステッカーは、被写体の顔の表現上、又は他の指定された領域（例えば、ブラケット（例えば、８９０））上に配置されている）を有する（例えば、配置された）との判定に従って、デバイスは、選択されたステッカーオプションの表現を、被写体の回転の大きさ及び向きに従って回転させる（例えば、ステッカーが回転し、被写体の顔のピッチ及びヨーに追従するようにひねる）（例えば、図８ＢＨ～図８ＢＭの眼鏡ステッカー８５８－４を参照）。選択されたステッカーオプションの表現が、被写体に対して第１の関係（例えば、ステッカーは、最初に（又は現在）被写体から離れたディスプレイ上の位置に配置されていた、例えば、ステッカーは、被写体の顔の表現又は他の指定された領域の外に置かれた）を有しない（例えば、配置されていなかった）との判定に従って、デバイスは、選択されたステッカーオプションの表現を、被写体の回転の大きさ及び向きに従って回転させることをやめる（例えば、図８ＢＥ～図８ＢＮのヒトデステッカー８５８－５及び野球ステッカー８５８－６を参照）。選択されたステッカーオプションの表現が被写体と第１の関係を有するかどうかに基づいて、選択されたステッカーオプションの表現を選択的に回転させることによって、選択されたステッカーオプションの挙動についての視覚フィードバックを提供し、選択されたステッカーオプションが画像内の対話型オブジェクトとして機能できることを示す。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。 In some embodiments, while displaying a representation of a selected sticker option (e.g., 858-1, 858-2, 858-3, 858-4, 858-5, 858-6) on the image data in the camera display area (e.g., 820), the device (e.g., 600) detects a rotation (e.g., rotation about an axis perpendicular to the display, e.g., the subject rotating their head) of a subject (e.g., 832) within the field of view of one or more cameras (e.g., 602). In response to detecting a rotation of a subject within the field of view of one or more cameras, the device performs one or more of the following steps: Upon determining that the representation of the selected sticker option has (was positioned in) a first relationship to the subject (e.g., the sticker was initially (or currently) positioned at a location on the display corresponding to the subject, e.g., the sticker is positioned on a representation of the subject's face or other designated area (e.g., bracket (e.g., 890))), the device rotates the representation of the selected sticker option according to the magnitude and orientation of the subject's rotation (e.g., the sticker rotates and twists to follow the pitch and yaw of the subject's face) (e.g., see eyeglasses sticker 858-4 in Figures 8BH-8BM). Upon determining that the representation of the selected sticker option does not have (e.g., was not positioned at) the first relationship to the subject (e.g., the sticker was initially (or currently) positioned at a location on the display away from the subject, e.g., the sticker is placed outside the subject's facial representation or other designated area), the device ceases rotating the representation of the selected sticker option according to the magnitude and direction of the subject's rotation (see, e.g., starfish sticker 858-5 and baseball sticker 858-6 in FIGS. 8BE-8BN). Selectively rotating the representation of the selected sticker option based on whether it has the first relationship to the subject provides visual feedback about the behavior of the selected sticker option and indicates that the selected sticker option can function as an interactive object in the image. Providing the user with improved visual feedback improves device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs and reducing user errors when operating/interacting with the device), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

一部の実施形態では、カメラ表示領域（例えば、８２０）の画像データ上に、選択されたステッカーオプション（例えば、８５８－１、８５８－２、８５８－３、８５８－４、８５８－５、８５８－６）の表現を表示している間に、デバイス（例えば、６００）は、１つ以上のカメラ（例えば、６０２）に向かう（又はカメラから離れる）被写体（例えば、８３２）の動きを検出する。デバイスは、１つ以上のカメラに向かう（又はカメラから離れる）被写体の動きを検出したことに応じて、以下の手順のうちの１つ以上を実行する。選択されたステッカーオプションの表現が、被写体に対して第１の関係（例えば、ステッカーは、最初に（又は現在）被写体に対応するディスプレイ上の位置に配置されていた、例えば、ステッカーは、被写体の顔の表現がカメラの視野内に存在した（例えば、検出された）ときに配置された）を有する（例えば、配置された）との判定に従って、デバイスは、１つ以上のカメラに向かう（又はカメラから離れる）被写体の動きの大きさに従って、選択されたステッカーオプションの表現を拡大する（又は縮小する）。例えば、ウサギステッカー８５８－２は、被写体の肩の表現がカメラに向かって移動することに応じて、図８ＡＸ及び８ＡＹに示すように拡大する。別の例では、ヒトデステッカー８５８－５及び野球ステッカー８５８－６は、被写体が図８ＢＪ～図８ＢＫのカメラに向かって移動するにつれて拡大する。選択されたステッカーオプションの表現が、被写体に対して第１の関係（例えば、ステッカーは、最初に（又は現在）被写体から離れたディスプレイ上の位置に配置されていた。例えば、ステッカーは、被写体の顔の表現がカメラの視野内に存在しない（例えば、検出されない）ときに配置された）を有しない（例えば、配置されなかった）との判定に従って、デバイスは、１つ以上のカメラに向かう（又はカメラから離れる）被写体の動きの大きさに従って、選択されたステッカーオプションの表現を拡大することを停止する（例えば、図８ＡＶ～図８ＡＹのヘルメットステッカー８５８－１及びハートステッカー８５８－３を参照）。選択されたステッカーオプションの表現が被写体と第１の関係を有するかどうかに基づいて、選択されたステッカーオプションの表現を選択的に拡大（又は縮小）させることによって、選択されたステッカーオプションの挙動についての視覚フィードバックを提供し、選択されたステッカーオプションが画像内の対話型オブジェクトとして機能できることを示す。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。 In some embodiments, while displaying a representation of a selected sticker option (e.g., 858-1, 858-2, 858-3, 858-4, 858-5, 858-6) on the image data of the camera display area (e.g., 820), the device (e.g., 600) detects movement of a subject (e.g., 832) toward (or away from) one or more cameras (e.g., 602). In response to detecting movement of the subject toward (or away from) one or more cameras, the device performs one or more of the following procedures: Following a determination that the representation of the selected sticker option has (e.g., was placed in) a first relationship to the subject (e.g., the sticker was initially (or currently) placed in a position on the display corresponding to the subject, e.g., the sticker was placed when a representation of the subject's face was present (e.g., detected) within the field of view of the camera), the device enlarges (or reduces) the representation of the selected sticker option in accordance with the magnitude of the subject's movement toward (or away from) one or more cameras. For example, rabbit sticker 858-2 expands as shown in Figures 8AX and 8AY in response to a representation of the subject's shoulder moving toward the camera. In another example, starfish sticker 858-5 and baseball sticker 858-6 expand as the subject moves toward the camera in Figures 8BJ-8BK. Following a determination that the representation of the selected sticker option does not have (e.g., was not placed) a first relationship to the subject (e.g., the sticker was initially (or currently) placed at a position on the display away from the subject; e.g., the sticker was placed when a representation of the subject's face was not present (e.g., not detected) within the field of view of the camera), the device stops expanding the representation of the selected sticker option according to the magnitude of the subject's movement toward (or away from) one or more cameras (see, e.g., helmet sticker 858-1 and heart sticker 858-3 in Figures 8AV-8AY). The system provides visual feedback about the behavior of the selected sticker option by selectively scaling the representation of the selected sticker option based on whether the representation of the selected sticker option has a first relationship with the subject, indicating that the selected sticker option can function as an interactive object in the image. Providing the user with improved visual feedback improves device usability, makes the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and additionally reduces device power usage and improves battery life by allowing the user to use the device more quickly and efficiently.

被写体がカメラ（例えば、６０２）の視野内に位置し、かつ、被写体及び背景（例えば、被写体以外のカメラの視野内のオブジェクト）の表現がカメラ表示領域（例えば、８２０）内に表示されている間に、電子デバイス（例えば、６００）は、第１のアフォーダンスに向けられたジェスチャを検出する（９１０）。一部の実施形態では、電子デバイスは、被写体が視野内に位置していることを検出（例えば、認識）する。 While an object is located within the field of view of a camera (e.g., 602) and a representation of the object and background (e.g., objects in the camera's field of view other than the object) is displayed within a camera viewing area (e.g., 820), an electronic device (e.g., 600) detects a gesture directed toward a first affordance (910). In some embodiments, the electronic device detects (e.g., recognizes) that an object is located within the field of view.

一部の実施形態では、カメラユーザインタフェース（例えば、８１５）は、キャプチャアフォーダンスを表示している間に、カメラの視野のライブプレビューの表現（例えば、カメラの視野にあるものを表す画像データのストリーム）を含むカメラ表示領域（例えば、８２０）を更に含む。一部の実施形態では、被写体がカメラの視野内に位置し（例えば、電子デバイスは、被写体が視野に位置していることを検出／認識する）、被写体と背景の表現（例えば、被写体以外のカメラの視野内のオブジェクト）がカメラ表示領域に表示されている間に、電子デバイス（例えば、６００）は、選択されたアバターの表現を、カメラ表示領域内の被写体の表現上に表示する（例えば、ユーザの表示された頭部又は顔の部分が、選択されたアバターに対応する仮想アバターの頭部に置換される（又は、それによって（不透明に、透明に、半透明に）重ね合わせられる）。一部の実施形態では、電子デバイスは、選択されたアバターの表現を、カメラ表示領域内の被写体の表現上に表示している間に、アバター選択領域を表示する要求を受信する。一部の実施形態では、アバター選択領域を表示する要求を受信したことに応じて、電子デバイスは、キャプチャアフォーダンスの表示を停止し、複数のアバターアフォーダンスを有するアバター選択領域（例えば、アバターメニュー８２８）を（例えば、キャプチャアフォーダンスによって以前に占有されていたカメラユーザインタフェース内の位置に）表示する。一部の実施形態では、アバター選択領域がもはや表示されていないことに応じて（又は、それと共に）、キャプチャアフォーダンスが表示される（例えば、再表示される）。 In some embodiments, the camera user interface (e.g., 815) further includes a camera viewing area (e.g., 820) that includes a representation of a live preview of the camera's field of view (e.g., a stream of image data representing what is in the camera's field of view) while displaying the capture affordance. In some embodiments, when a subject is located in the camera's field of view (e.g., the electronic device detects/recognizes that a subject is located in the field of view), the electronic device (e.g., 600) displays a representation of a selected avatar over the representation of the subject in the camera viewing area (e.g., the user's displayed head or facial portion is replaced by (or superimposed (opaquely, transparently, semi-transparently)) the head of a virtual avatar corresponding to the selected avatar) while a representation of the subject and background (e.g., objects in the camera's field of view other than the subject) is displayed in the camera viewing area. In some embodiments, the electronic device displays the representation of the selected avatar over the representation of the subject in the camera viewing area (e.g., the user's displayed head or facial portion is replaced by (or superimposed (opaquely, transparently, semi-transparently)) the head of a virtual avatar corresponding to the selected avatar). While displaying over a representation of the subject in the camera viewing area, a request to display an avatar selection area is received. In some embodiments, in response to receiving the request to display the avatar selection area, the electronic device stops displaying the capture affordance and displays an avatar selection area (e.g., avatar menu 828) having multiple avatar affordances (e.g., in a location within the camera user interface previously occupied by the capture affordance). In some embodiments, in response to (or along with) the avatar selection area no longer being displayed, the capture affordance is displayed (e.g., re-displayed).

一部の実施形態では、カメラユーザインタフェース（例えば、８１５）は、キャプチャアフォーダンス（例えば、８２１）を表示している間に、カメラの視野のライブプレビューの表現（例えば、カメラの視野にあるものを表す画像データのストリーム）を含むカメラ表示領域（例えば、８２０）を更に含む。一部の実施形態では、被写体がカメラの視野内に位置し、かつ、被写体と背景の表現（例えば、被写体以外のカメラの視野内のオブジェクト）がカメラ表示領域に表示されている間に、電子デバイス（例えば、６００）は、選択されたアバターの表現を、カメラ表示領域内の被写体の表現上に表示する（例えば、ユーザの表示された頭部又は顔の部分が、選択されたアバターに対応する仮想アバターの頭部に置換される（又は、それによって（不透明に、透明に、半透明に）重ね合わせられる）。一部の実施形態では、電子デバイスは、被写体が視野内に位置していることを検出（例えば、認識）する。一部の実施形態では、電子デバイスは、選択されたアバターの表現をカメラ表示領域内の被写体の表現上に表示している間に、被写体の姿勢（例えば、位置及び／又は向き）の変化を検出する。一部の実施形態では、姿勢の変化は、ユーザが頭部又は任意の顔の特徴を動かすときに検出される。一部の実施形態では、電子デバイスは、（例えば、方法９００及び図９Ａ～図９Ｂに関して説明したように）被写体の姿勢の変化を検出したことに応じて、背景の表示を維持しながら、被写体の姿勢の検出された変化に基づいて、選択されたアバターオプションの表示された表現の外観を変更する。背景の表示を維持しながら、被写体の姿勢の検出された変化に基づいて、選択されたアバターオプションの表示された表現の外観を変更することにより、ユーザは、アバターの動きが、ユーザの検出された動きに対応する、及び／又はそれに基づいていることを迅速かつ容易に認識することができる。追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。 In some embodiments, the camera user interface (e.g., 815) further includes a camera display area (e.g., 820) that includes a representation of a live preview of the camera's field of view (e.g., a stream of image data representing what is in the camera's field of view) while displaying the capture affordance (e.g., 821). In some embodiments, while the subject is located within the field of view of the camera and representations of the subject and background (e.g., objects in the field of view of the camera other than the subject) are displayed in the camera viewing area, the electronic device (e.g., 600) displays a representation of the selected avatar over the representation of the subject in the camera viewing area (e.g., the displayed head or facial portion of the user is replaced by (or superimposed (opaquely, transparently, semi-transparently) by) the head of a virtual avatar corresponding to the selected avatar). In some embodiments, the electronic device detects (e.g., recognizes) that the subject is located within the field of view. In some embodiments, the electronic device detects a change in the subject's pose (e.g., position and/or orientation) while displaying the representation of the selected avatar over the representation of the subject in the camera viewing area. In some embodiments, the change in pose is detected when the user moves their head or any facial features. In some embodiments, the electronic device (e.g., as described in method 9) 9A-9B , while maintaining a display of the background, the display changes the appearance of the displayed representation of the selected avatar option based on the detected change in the subject's posture. By maintaining a display of the background, the display changes the appearance of the displayed representation of the selected avatar option based on the detected change in the subject's posture, while maintaining a display of the background, the user can quickly and easily recognize that the avatar's movements correspond to and/or are based on the user's detected movements. Providing additional control options improves device usability and makes the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

第１のアフォーダンスに向けられたジェスチャを検出したことに応じて、電子デバイス（例えば、６００）は、第１のカメラ表示モードをアクティブ化する。第１のカメラ表示モードをアクティブ化することは、アバター選択領域（例えば、８２９）を表示すること（９１４）を含む（例えば、複数のアバターオプションのうちの選択された１つ（例えば、カメラユーザインタフェース（例えば、８１５）のカメラ表示領域（例えば、８２０）内のユーザの頭部上に現れるように選択できる異なる仮想アバターを表すアフォーダンス）を含む）。 In response to detecting a gesture directed toward the first affordance, the electronic device (e.g., 600) activates a first camera viewing mode. Activating the first camera viewing mode includes displaying (914) an avatar selection area (e.g., 829) (e.g., including a selected one of a plurality of avatar options (e.g., affordances representing different virtual avatars that can be selected to appear over the user's head within the camera viewing area (e.g., 820) of the camera user interface (e.g., 815))).

一部の実施形態では、アバター選択領域（例えば、８２９）は、選択されたアバターオプションの表現を、カメラディスプレイ内の被写体の表現上に表示することを停止するためのオプションを更に含む。一部の実施形態では、電子デバイス（例えば、６００）は、選択されたアバターオプションの表現を、カメラ表示領域内（例えば、８２０）の被写体の表現上に表示することを停止するためのオプションの選択に対応するユーザ入力を受信する。一部の実施形態では、選択されたアバターオプションの表現を、カメラ表示領域の被写体の表現上に表示することを停止するためのオプションの選択に対応するユーザ入力を受信したことに応じて、電子デバイスは、選択されたアバターオプションの表現をカメラ表示領域の被写体の表現上に表示することを停止する。 In some embodiments, the avatar selection area (e.g., 829) further includes an option for ceasing to display a representation of the selected avatar option over a representation of the subject in the camera display. In some embodiments, the electronic device (e.g., 600) receives user input corresponding to a selection of the option for ceasing to display a representation of the selected avatar option over a representation of the subject in the camera viewing area (e.g., 820). In some embodiments, in response to receiving user input corresponding to a selection of the option for ceasing to display a representation of the selected avatar option over a representation of the subject in the camera viewing area, the electronic device ceasing to display a representation of the selected avatar option over a representation of the subject in the camera viewing area.

一部の実施形態では、アバター選択領域（例えば、８２９）は、ヌルアバターオプション（例えば、８３０－２）を含む。ヌルアバターオプションが選択されると、アバターは、カメラ表示領域（例えば、８２０）内の被写体の表現上に表示されない（例えば、デバイスは、ユーザの頭部の画像データを仮想アバターに置換することをやめる）。一部の実施形態では、アバター選択領域は、「キャンセル」アフォーダンス（例えば、アバター選択領域の角に位置する「ｘ」アイコン）を含む。キャンセルアフォーダンスが選択されると、デバイスは、アバター選択領域の表示を停止し、任意選択的に、被写体の表現上への任意の選択されたアバターの表示を停止する（例えば、デバイスは、ユーザの頭部の画像データを仮想アバターに置換するのをやめる）。 In some embodiments, the avatar selection area (e.g., 829) includes a null avatar option (e.g., 830-2). When the null avatar option is selected, no avatar is displayed over the subject's representation in the camera viewing area (e.g., 820) (e.g., the device stops replacing image data of the user's head with a virtual avatar). In some embodiments, the avatar selection area includes a "cancel" affordance (e.g., an "x" icon located in a corner of the avatar selection area). When the cancel affordance is selected, the device stops displaying the avatar selection area and, optionally, stops displaying any selected avatar over the subject's representation (e.g., the device stops replacing image data of the user's head with a virtual avatar).

一部の実施形態では、第１のカメラ表示モード（例えば、ユーザの頭部の画像データが仮想アバターに置換されるアバター表示モード）をアクティブ化することは、選択されたアバターオプションの表現をカメラ表示領域（例えば、８２０）内の被写体の表現上に表示する前に、選択されたアバターオプションの表現を被写体の表現上に表示することなく、被写体の表現をカメラ表示領域に表示すること（９１６）を、更に含む。一部の実施形態では、アバター表示モードに入った後、デバイスは、アバターなしで（例えば、デバイスはユーザーの頭部の画像データを仮想アバターに置換するのをやめる）被写体の表現を最初に表示する。一部の実施形態では、アバター表示モードに入るときに最初に選択されるアバターオプションは、ヌルアバターオプションに対応する。ヌルアバターオプションが選択されると、デバイスは、被写体の頭部の画像データを仮想アバターに置換することをやめる。 In some embodiments, activating a first camera display mode (e.g., an avatar display mode in which image data of the user's head is replaced with a virtual avatar) further includes displaying (916) a representation of the subject in the camera display area without displaying a representation of the selected avatar option over the subject's representation before displaying a representation of the selected avatar option over the subject's representation in the camera display area (e.g., 820). In some embodiments, after entering the avatar display mode, the device initially displays a representation of the subject without an avatar (e.g., the device ceases replacing image data of the user's head with a virtual avatar). In some embodiments, the avatar option initially selected when entering the avatar display mode corresponds to a null avatar option. When the null avatar option is selected, the device ceases replacing image data of the subject's head with a virtual avatar.

第１のカメラ表示モードをアクティブ化することは、カメラ表示領域（例えば、８２０）内の被写体の表現上に、選択されたアバターオプションの表現を表示すること（９１８）を含む（例えば、ユーザの表示された頭部又は顔の部分が、選択されたアバターに対応する仮想アバターの頭部に置換される（又は、それによって（不透明に、透明に、半透明に）重ねら合わせられる）。選択されたアバターオプションの表現をカメラ表示領域内の被写体の表現上に表示することにより、ユーザは、選択されたアバターオプションが被写体の表現に関連することを迅速かつ容易に認識することができる。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、選択されたアバターオプションの表現を被写体の表現上に表示することは、電子デバイス（例えば、６００）の１つ以上の深度カメラを使用して取得される深度情報を使用することを含む。 Activating the first camera viewing mode includes displaying (918) a representation of the selected avatar option over a representation of the subject in the camera viewing area (e.g., 820) (e.g., the user's displayed head or facial portion is replaced by (or superimposed (opaquely, transparently, semi-transparently)) the head of a virtual avatar corresponding to the selected avatar). Displaying the representation of the selected avatar option over the representation of the subject in the camera viewing area allows the user to quickly and easily recognize that the selected avatar option is associated with the representation of the subject. Providing improved visual feedback to the user improves device usability, makes the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and additionally reduces device power usage and improves battery life by allowing the user to use the device more quickly and efficiently. In some embodiments, displaying the representation of the selected avatar option over the representation of the subject includes using depth information obtained using one or more depth cameras of the electronic device (e.g., 600).

一部の実施形態では、第１のカメラ表示モードをアクティブ化することは、選択されたアバターオプションを、アバター選択領域（例えば、８２９）に静的外観（例えば、アバター外観がユーザの顔の検出された変化に基づいて変化しない）で表示することを更に含む。一部の実施形態では、第１のカメラ表示モードをアクティブにすることは、選択されたアバターオプションを、被写体の姿勢の検出された変化に基づいて変化する（例えば、アバターは、ユーザの顔の検出された変化を反映するように変化する）動的外観を有するように更新することを更に含む。一部の実施形態では、第１のカメラ表示モードをアクティブにすることは、アバター選択領域からカメラ表示領域（例えば、８２０）内の被写体の表現（例えば、ユーザの顔の表現）に移動する動的外観を有する、選択されたアバターのアニメーションを表示することを更に含む。一部の実施形態では、アバターは、アバター選択領域からカメラ表示領域内のユーザーの顔へのアニメーション移動中に、ユーザーの顔の変化を追跡し続ける。 In some embodiments, activating the first camera viewing mode further includes displaying the selected avatar option in the avatar selection area (e.g., 829) with a static appearance (e.g., the avatar appearance does not change based on detected changes in the user's face). In some embodiments, activating the first camera viewing mode further includes updating the selected avatar option to have a dynamic appearance that changes based on detected changes in the subject's pose (e.g., the avatar changes to reflect detected changes in the user's face). In some embodiments, activating the first camera viewing mode further includes displaying an animation of the selected avatar with a dynamic appearance that moves from the avatar selection area to a representation of the subject (e.g., a representation of the user's face) in the camera viewing area (e.g., 820). In some embodiments, the avatar continues to track changes in the user's face during the animated movement from the avatar selection area to the user's face in the camera viewing area.

一部の実施形態では、選択されたアバターオプションを、被写体の姿勢の検出された変化に基づいて変化する動的外観を有するように更新することは、被写体の姿勢の検出された変化に基づいてアバターオプションの外観を変更する前に、静的外観を有するアバターオプションの姿勢に対応する（例えば、一致する）初期姿勢と共に、動的外観を有するアバターオプションを最初に表示することを含む。 In some embodiments, updating the selected avatar option to have a dynamic appearance that changes based on the detected change in the subject's pose includes initially displaying the avatar option with the dynamic appearance along with an initial pose that corresponds to (e.g., matches) the pose of the avatar option with the static appearance before changing the appearance of the avatar option based on the detected change in the subject's pose.

第１のカメラ表示モードがアクティブである間に、電子デバイス（例えば、６００）は、姿勢の変化（例えば、被写体の位置及び／又は向き）を検出する（９２０）。一部の実施形態では、姿勢の変化は、ユーザが頭部又は任意の顔の特徴を動かすときに検出される。 While the first camera viewing mode is active, the electronic device (e.g., 600) detects (920) a change in pose (e.g., the position and/or orientation of the subject). In some embodiments, a change in pose is detected when the user moves their head or any facial feature.

被写体の姿勢の変化を検出したことに応じて、電子デバイス（例えば、６００）は、背景（例えば、８３６）の表示を維持しながら、被写体の姿勢の検出された変化に基づいて、選択されたアバターオプションの表示された表現の外観を変更する（９２２）（例えば、ユーザ上に表示された仮想アバターは、背景をなおも表示しながら、ユーザの頭部及び顔の変化が表示された仮想アバターの変化に影響を及ぼすように、ユーザの頭部及び顔の検出された変化に応答する）。背景の表示を維持しながら、被写体の姿勢の検出された変化に基づいて、選択されたアバターオプションの表示された表現の外観を変更することにより、ユーザは、アバターの動きが、ユーザの検出された動きに対応する、及び／又はそれに基づいていることを迅速かつ容易に認識することができる。追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、カメラユーザインタフェースは、図６Ａ～図６ＢＱ及び図９Ａ～図９Ｂに示す実施形態に関して説明したカメラユーザインタフェースの１つ以上の特徴／機能を含む。例えば、カメラユーザインタフェース（例えば、８１５）は、エフェクトモードアフォーダンス（例えば、６２２）を含むことができる。 In response to detecting a change in the subject's posture, the electronic device (e.g., 600) alters (922) the appearance of the displayed representation of the selected avatar option based on the detected change in the subject's posture while maintaining a display of the background (e.g., 836) (e.g., the virtual avatar displayed for the user responds to detected changes in the user's head and face such that changes in the user's head and face affect changes in the displayed virtual avatar, while still displaying the background). By altering the appearance of the displayed representation of the selected avatar option based on the detected change in the subject's posture while maintaining a display of the background, the user can quickly and easily recognize that the avatar's movements correspond to and/or are based on the user's detected movements. Providing additional control options improves device usability and makes the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs and reducing user errors when operating/interacting with the device), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently. In some embodiments, the camera user interface includes one or more features/functionality of the camera user interface described with respect to the embodiments shown in Figures 6A-6BQ and 9A-9B. For example, the camera user interface (e.g., 815) may include an effects mode affordance (e.g., 622).

一部の実施形態では、電子デバイス（例えば、６００）は、アバター選択領域（例えば、８２９）上の水平スワイプジェスチャを検出する。一部の実施形態では、水平スワイプジェスチャを検出したことに応じて、電子デバイスは、複数のアバターオプションに新規アバターオプションを追加するための機能に関連付けられたアバター作成アフォーダンスを表示する。水平スワイプジェスチャを検出したことに応じて、複数のアバターオプションに新規アバターオプションを追加するための機能に関連付けられたアバター作成アフォーダンスを表示することにより、ユーザは、アバター選択領域からアバター作成アフォーダンスに迅速かつ容易にアクセスすることができる。追加表示されたコントロールによりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、アバター選択領域上の水平スワイプジェスチャが、表示されたアバターオプションをスクロールしてアバター作成アフォーダンスを明らかにする。一部の実施形態では、アバター作成アフォーダンスを選択して、新規アバターを作成することができる。新規アバターが作成されると、作成されたアバターを表す新規アバターオプションが、アバター選択領域内の複数のアバターオプション（例えば、８３０）に追加される。 In some embodiments, the electronic device (e.g., 600) detects a horizontal swipe gesture over the avatar selection area (e.g., 829). In some embodiments, in response to detecting the horizontal swipe gesture, the electronic device displays an avatar creation affordance associated with functionality for adding a new avatar option to the plurality of avatar options. By displaying the avatar creation affordance associated with functionality for adding a new avatar option to the plurality of avatar options in response to detecting the horizontal swipe gesture, the user can quickly and easily access the avatar creation affordance from the avatar selection area. Providing additional control options without cluttering the user interface with additional displayed controls improves device usability, makes the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and additionally reduces device power usage and improves battery life by allowing the user to use the device more quickly and efficiently. In some embodiments, a horizontal swipe gesture over the avatar selection area scrolls through the displayed avatar options to reveal the avatar creation affordance. In some embodiments, a create avatar affordance can be selected to create a new avatar. Once a new avatar is created, a new avatar option representing the created avatar is added to the plurality of avatar options (e.g., 830) in the avatar selection area.

一部の実施形態では、第１のカメラ表示モードがアクティブである間に、電子デバイス（例えば、６００）は、アバター選択領域（例えば、８２９）上のスワイプジェスチャを検出する。一部の実施形態では、アバター選択領域上のスワイプジェスチャを検出したことに応じて、電子デバイスは、カメラ表示領域（例えば、８２０）内の選択されたアバターオプションの表示された表現の外観を、第１の外観（例えば、現在選択されているアバターオプションに基づく外観）から、第２の外観（例えば、異なるアバターオプション（例えば、ヌルアバターオプション、又は異なるタイプ（例えば、カスタマイズ可能な、カスタマイズ不可能な）のアバターを含む、異なるアバターに対応するアバターオプション）基づく外観）に変更し、第２の外観は、複数のアバターオプションのうちの異なる１つ（例えば、アバター選択領域に含まれる異なるアバターオプション）に対応する。アバター選択領域上のスワイプジェスチャを検出したことに応じて、選択されたアバターオプションの表示された表現の外観を変更することにより、ユーザは、選択されたアバターオプションの外観を迅速かつ容易に変更することができる。追加表示されたコントロールによりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、複数のアバターオプションのうちの異なる一つがヌルアバターオプション（例えば、８３０－２）である場合、デバイスは、アバターの表現を被写体の表現上に表示することを停止する（例えば、デバイスは、ユーザの頭部の画像データを仮想アバターに置換することをやめる）。一部の実施形態では、複数のアバターオプションのうちの異なる１つが、異なるアバターキャラクタ（カスタマイズ可能又はカスタマイズ不可能なアバターキャラクタを含む）のアバターオプションである場合、デバイスは、選択されたアバターキャラクタを異なるアバターキャラクタに置換する（例えば、デバイスは、アバターの表現を異なるアバターの表現に置換する）。一部の実施形態では、選択されたアバターキャラクターを異なるアバターキャラクターに置換することは、画面の中心に移動する異なるアバターキャラクターのアニメーションを表示することを含む。一部の実施形態では、選択されたアバターキャラクターを異なるアバターキャラクターに置換することは、ユーザの頭部に移動する異なるアバターキャラクターのアニメーションを表示することを含む。一部の実施形態では、選択されたアバターキャラクターを異なるアバターキャラクターに置換することは、選択されたアバターが置換されている間に背景（例えば、８３６）をぼかすことを含む。一部の実施形態では、現在選択されているアバターオプションは第１のタイプのアバター（例えば、カスタマイズ可能なアバター）に対応し、異なるアバターオプションは第２のタイプのアバター（例えばカスタマイズ不可能なアバター）に対応する。 In some embodiments, while the first camera viewing mode is active, the electronic device (e.g., 600) detects a swipe gesture on the avatar selection area (e.g., 829). In some embodiments, in response to detecting the swipe gesture on the avatar selection area, the electronic device changes the appearance of a displayed representation of the selected avatar option in the camera viewing area (e.g., 820) from a first appearance (e.g., an appearance based on the currently selected avatar option) to a second appearance (e.g., an appearance based on a different avatar option (e.g., a null avatar option or an avatar option corresponding to a different avatar, including an avatar of a different type (e.g., customizable, non-customizable))), where the second appearance corresponds to a different one of a plurality of avatar options (e.g., a different avatar option included in the avatar selection area). Changing the appearance of the displayed representation of the selected avatar option in response to detecting a swipe gesture on the avatar selection area allows a user to quickly and easily change the appearance of the selected avatar option. Providing additional control options without cluttering the user interface with additional displayed controls improves device usability, makes the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and reduces device power usage and improves battery life by allowing the user to use the device more quickly and efficiently. In some embodiments, if a different one of the multiple avatar options is a null avatar option (e.g., 830-2), the device stops displaying a representation of the avatar over the subject's representation (e.g., the device stops replacing image data of the user's head with a virtual avatar). In some embodiments, if a different one of the multiple avatar options is an avatar option for a different avatar character (including a customizable or non-customizable avatar character), the device replaces the selected avatar character with the different avatar character (e.g., the device replaces the representation of the avatar with a representation of the different avatar). In some embodiments, replacing the selected avatar character with the different avatar character includes displaying an animation of the different avatar character moving to the center of the screen. In some embodiments, replacing the selected avatar character with a different avatar character includes displaying an animation of the different avatar character moving over the user's head. In some embodiments, replacing the selected avatar character with a different avatar character includes blurring a background (e.g., 836) while the selected avatar is being replaced. In some embodiments, the currently selected avatar option corresponds to a first type of avatar (e.g., a customizable avatar) and the different avatar option corresponds to a second type of avatar (e.g., a non-customizable avatar).

一部の実施形態では、第１のカメラ表示モードがアクティブである間に、被写体がカメラの視野内にもはや位置していない（例えば、顔の追跡が失われた）との判定に応じて、電子デバイス（例えば、６００）は、カメラ表示領域（例えば、８２０）内の中心位置に移動する選択されたアバターオプションの表現のアニメーションを表示する。被写体がもはやカメラの視野内に位置していないという判定に応じて、カメラ表示領域の中心位置に移動する選択されたアバターオプションの表現のアニメーションを表示することにより、ユーザがもはやカメラによって検出されていないという視覚フィードバックを、ユーザに提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、ユーザがカメラの視野内でもはや検出されなくなると、アバターはカメラ表示領域の中心に移動する。一部の実施形態では、ユーザがカメラの視野内でもはや検出されなくなると、背景はぼやける。 In some embodiments, while the first camera viewing mode is active, in response to determining that the subject is no longer located within the camera's field of view (e.g., face tracking is lost), the electronic device (e.g., 600) displays an animation of a representation of the selected avatar option moving to a centered position within the camera viewing area (e.g., 820). In response to determining that the subject is no longer located within the camera's field of view, displaying an animation of a representation of the selected avatar option moving to a centered position within the camera viewing area provides the user with visual feedback that the user is no longer detected by the camera. Providing the user with improved visual feedback improves device usability, makes the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and additionally reduces device power usage and improves battery life by allowing the user to use the device more quickly and efficiently. In some embodiments, the avatar moves to the center of the camera viewing area when the user is no longer detected within the camera's field of view. In some embodiments, the background blurs when the user is no longer detected within the camera's field of view.

一部の実施形態では、第１のカメラ表示モードがアクティブである間に、被写体がカメラの視野内にもはや位置していない（例えば、顔の追跡が失われた）との判定に応じて、電子デバイス（例えば、６００）は、カメラ表示領域（例えば、８２０）に表示された背景（例えば、８３６）の視覚的外観を変更する（例えば、背景をぼかす、背景の彩度を減じる）。 In some embodiments, while the first camera viewing mode is active, in response to determining that the subject is no longer located within the camera's field of view (e.g., face tracking is lost), the electronic device (e.g., 600) alters the visual appearance of the background (e.g., 836) displayed in the camera viewing area (e.g., 820) (e.g., blurring the background, desaturating the background).

一部の実施形態では、第１のカメラ表示モードがアクティブであり、選択されたアバターオプションの表現（例えば、アバター選択領域から選択されたカスタマイズ可能なアバターオプションの表現）が、カメラ表示領域（例えば、８２０）内の被写体の表示上に表示されている（例えば、ユーザの頭部の画像データがカスタマイズ可能なアバターに置換されている）間に、電子デバイス（例えば、６００）は、アバター選択領域（例えば、８２９）内の選択されたアバターオプション上のタッチジェスチャ（例えば、タップジェスチャ）を検出する。一部の実施形態では、タッチジェスチャを検出したことに応じて、電子デバイスは、選択されたアバターオプションを編集するために複数のオプション（例えば、カスタマイズ可能なアバターの様々な特徴を変更するために選択可能な編集アフォーダンス）を有するアバター編集ユーザインタフェース（例えば、選択されたアバターオプション（例えば、選択されたカスタマイズ可能なアバター）の１つ以上の特徴を編集するためのユーザーインターフェース）を表示する。アバター選択領域内の選択されたアバターオプション上のタッチジェスチャを検出したことに応じてアバター編集ユーザインタフェースを表示することにより、ユーザは、アバター編集ユーザインタフェースに迅速かつ容易にアクセスしてアバターを編集することができる。追加表示されたコントロールによりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。 In some embodiments, while the first camera viewing mode is active and a representation of a selected avatar option (e.g., a representation of a customizable avatar option selected from the avatar selection area) is displayed on a representation of a subject in the camera viewing area (e.g., 820) (e.g., image data of the user's head is replaced with a customizable avatar), the electronic device (e.g., 600) detects a touch gesture (e.g., a tap gesture) on the selected avatar option in the avatar selection area (e.g., 829). In some embodiments, in response to detecting the touch gesture, the electronic device displays an avatar editing user interface (e.g., a user interface for editing one or more characteristics of the selected avatar option (e.g., the selected customizable avatar)) having multiple options for editing the selected avatar option (e.g., selectable editing affordances for modifying various characteristics of the customizable avatar). Displaying the avatar editing user interface in response to detecting the touch gesture on the selected avatar option in the avatar selection area allows a user to quickly and easily access the avatar editing user interface to edit their avatar. Providing additional control options without cluttering the user interface with additional displayed controls improves usability of the device, makes the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces power usage and improves battery life of the device by allowing the user to use the device more quickly and efficiently.

一部の実施形態では、カメラユーザインタフェース（例えば、８１５）は、第２のカメラ表示モード（例えば、仮想エフェクト（例えば、ステッカー）が画像データに適用されるモード）に関連付けられた第２のアフォーダンス（例えば、８２４－２、ステッカーを表示するための機能に対応するアフォーダンス）を更に含む。一部の実施形態では、被写体がカメラ（例えば、６０２）の視野内に位置し、かつ、被写体の表現及び背景（例えば、８３６）がカメラ表示領域（例えば、８２０）内に表示されている間に、電子デバイス（例えば、６００）は、第２のアフォーダンスに向けられたジェスチャを検出する。一部の実施形態では、第２のアフォーダンスに向けられたジェスチャを検出したことに応じて、電子デバイスは、第２のカメラ表示モードをアクティブ化し、第２のカメラ表示モードをアクティブ化することは、複数のグラフィカルオブジェクト（例えば、ステッカー）を含むビジュアルエフェクト選択領域を表示することを含む。 In some embodiments, the camera user interface (e.g., 815) further includes a second affordance (e.g., 824-2, an affordance corresponding to a function for displaying stickers) associated with a second camera viewing mode (e.g., a mode in which a virtual effect (e.g., stickers) is applied to image data). In some embodiments, while a subject is located within the field of view of the camera (e.g., 602) and a representation of the subject and a background (e.g., 836) are displayed within the camera viewing area (e.g., 820), the electronic device (e.g., 600) detects a gesture directed toward the second affordance. In some embodiments, in response to detecting the gesture directed toward the second affordance, the electronic device activates the second camera viewing mode, and activating the second camera viewing mode includes displaying a visual effect selection area including a plurality of graphical objects (e.g., stickers).

一部の実施形態では、電子デバイス（例えば、６００）は、第２のカメラ表示モードがアクティブである間に、ビジュアルエフェクト選択領域（例えば、８２４）内の複数のグラフィカルオブジェクト（例えば、ステッカー）のうちの１つの選択を検出する。一部の実施形態では、選択を検出したことに応じて、電子デバイスは、選択されたグラフィカルオブジェクトの表現をカメラ表示領域（例えば、８２０）内に表示する。一部の実施形態では、選択されたステッカーは、ライブカメラプレビュー（例えば、８２０－１）中にカメラ表示領域に表示される。一部の実施形態では、ライブカメラプレビューにステッカーを表示することは、カメラ表示領域のデフォルト位置（例えば、画面の中心）にステッカーを直ちに表示することを含む。一部の実施形態では、ライブカメラプレビューにステッカーを表示することは、ビジュアルエフェクト選択領域からカメラ表示領域上の位置に移動するステッカーのアニメーションを表示することを含む。一部の実施形態では、このアニメーションは、ステッカーのユーザ選択のドラッグジェスチャ（例えば、ユーザがステッカーにタッチして、それをカメラ表示領域上の位置にドラッグするジェスチャ）に基づいて決定される。 In some embodiments, the electronic device (e.g., 600) detects a selection of one of a plurality of graphical objects (e.g., stickers) in the visual effects selection area (e.g., 824) while the second camera viewing mode is active. In some embodiments, in response to detecting the selection, the electronic device displays a representation of the selected graphical object in the camera viewing area (e.g., 820). In some embodiments, the selected sticker is displayed in the camera viewing area during the live camera preview (e.g., 820-1). In some embodiments, displaying the sticker in the live camera preview includes immediately displaying the sticker in a default position in the camera viewing area (e.g., center of the screen). In some embodiments, displaying the sticker in the live camera preview includes displaying an animation of the sticker moving from the visual effects selection area to a position on the camera viewing area. In some embodiments, the animation is determined based on a drag gesture of user selection of the sticker (e.g., a user touching the sticker and dragging it to a position on the camera viewing area).

一部の実施形態では、カメラ（例えば、６０２）を介してキャプチャされた画像データの表現は、メディアアイテム（例えば、８２０－２、静止画像又は記録されたビデオ）である。一部の実施形態では、カメラユーザインタフェース（例えば、８１５）は、第３のカメラ表示モード（例えば、仮想エフェクト（例えば、ステッカー）が写真や録画されたビデオに適用されるモード）に関連付けられた第３のアフォーダンス（例えば、ステッカーを表示するための機能に対応するアフォーダンス）を更に含む。一部の実施形態では、電子デバイス（例えば、６００）は、第３のアフォーダンスに向けられたジェスチャを検出する。一部の実施形態では、第３のアフォーダンスに向けられたジェスチャを検出したことに応じて、電子デバイスは、第３のカメラ表示モードをアクティブ化し、第３のカメラ表示モードをアクティブ化することは、複数のグラフィカルオブジェクト（例えば、ステッカー）を含むビジュアルエフェクト選択領域を表示することを含む。 In some embodiments, the representation of the image data captured via the camera (e.g., 602) is a media item (e.g., 820-2, a still image or a recorded video). In some embodiments, the camera user interface (e.g., 815) further includes a third affordance (e.g., an affordance corresponding to a function for displaying stickers) associated with a third camera display mode (e.g., a mode in which a virtual effect (e.g., stickers) is applied to the photo or recorded video). In some embodiments, the electronic device (e.g., 600) detects a gesture directed toward the third affordance. In some embodiments, in response to detecting the gesture directed toward the third affordance, the electronic device activates the third camera display mode, and activating the third camera display mode includes displaying a visual effect selection area including a plurality of graphical objects (e.g., stickers).

一部の実施形態では、電子デバイス（例えば、６００）は、第３のカメラ表示モードがアクティブである間に、ビジュアルエフェクト選択領域内の複数のグラフィカルオブジェクト（例えば、ステッカー）のうちの１つの選択を検出する。一部の実施形態では、電子デバイスは、選択を検出したことに応じて、選択されたグラフィカルオブジェクトの表現を、カメラ表示領域（例えば、８２０）のメディアアイテム（例えば、８２０－２）上に表示する。一部の実施形態では、選択されたステッカーは、写真又は記録されたビデオを見るときにカメラ表示領域に表示される。一部の実施形態では、写真又は記録されたビデオ上にステッカーを表示することは、カメラ表示領域のデフォルト位置（例えば、画面の中心）にステッカーを直ちに表示することを含む。一部の実施形態では、写真又は記録されたビデオ上にステッカーを表示することは、ビジュアルエフェクト選択領域からカメラ表示領域上の位置に移動するステッカーのアニメーションを表示することを含む。一部の実施形態では、このアニメーションは、ステッカーのユーザ選択のドラッグジェスチャ（例えば、ユーザがステッカーにタッチして、それをカメラ表示領域上の位置にドラッグするジェスチャ）に基づいて決定される。 In some embodiments, the electronic device (e.g., 600) detects a selection of one of a plurality of graphical objects (e.g., a sticker) in the visual effects selection area while the third camera viewing mode is active. In some embodiments, the electronic device, in response to detecting the selection, displays a representation of the selected graphical object over a media item (e.g., 820-2) in the camera viewing area (e.g., 820). In some embodiments, the selected sticker is displayed in the camera viewing area when viewing a photograph or recorded video. In some embodiments, displaying the sticker over the photograph or recorded video includes immediately displaying the sticker in a default position (e.g., center of the screen) in the camera viewing area. In some embodiments, displaying the sticker over the photograph or recorded video includes displaying an animation of the sticker moving from the visual effects selection area to a position on the camera viewing area. In some embodiments, the animation is determined based on a drag gesture of user selection of the sticker (e.g., a user touching the sticker and dragging it to a position on the camera viewing area).

方法９００に関して上述された処理（例えば、図９Ａ及び図９Ｂ）の詳細はまた、上記及び以下で説明される方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法７００は、方法９００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターなどのビジュアルエフェクトが、メッセージングアプリケーションユーザインタフェースにおいて画像データに表示される。別の例では、方法１１００は、方法９００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターなどのビジュアルエフェクトが、メディアユーザインタフェースにおいて画像データに表示される。別の例では、方法１３００は、方法９００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターのようなビジュアルエフェクトが、ライブビデオ通信セッションのためのユーザインタフェースにおいて画像データに表示される。別の例では、方法１５００は、方法９００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターなどのビジュアルエフェクトが、カメラユーザインタフェースに対して画像データに表示される。簡潔にするために、これらの詳細は、以下では繰り返さない。 It should be noted that the details of the processes described above with respect to method 900 (e.g., FIGS. 9A and 9B) are also applicable in an analogous manner to the methods described above and below. For example, method 700 optionally includes one or more of the features of the various methods described above with respect to method 900. For example, visual effects such as stickers and virtual avatars are displayed on image data in a messaging application user interface. In another example, method 1100 optionally includes one or more of the features of the various methods described above with respect to method 900. For example, visual effects such as stickers and virtual avatars are displayed on image data in a media user interface. In another example, method 1300 optionally includes one or more of the features of the various methods described above with respect to method 900. For example, visual effects such as stickers and virtual avatars are displayed on image data in a user interface for a live video communication session. In another example, method 1500 optionally includes one or more of the features of the various methods described above with respect to method 900. For example, visual effects such as stickers and virtual avatars are displayed on image data for a camera user interface. For the sake of brevity, these details will not be repeated below.

図１０Ａ～図１０ＡＬは、一部の実施形態に係る、メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す。それらの図におけるユーザインタフェースは、図１１Ａ～図１１Ｂにおける処理を含む、以下で説明される処理を例示するために使用される。 FIGS. 10A-10AL show exemplary user interfaces for displaying visual effects in a media item viewing mode, according to some embodiments. The user interfaces in those figures are used to illustrate the processes described below, including the processes in FIGS. 11A-11B.

図１０Ａにおいて、デバイス６００は、ホーム画面１０００を示し、メディアビューアアプリケーションアフォーダンス１００２上の入力１００１を検出する。 In FIG. 10A, the device 600 shows a home screen 1000 and detects an input 1001 on a media viewer application affordance 1002.

図１０Ｂでは、入力１００１の検出に応じて、デバイス６００は、メディアビューアアプリケーションアフォーダンス１００２に関連付けられたメディアビューアプリケーションを起動し、メディアユーザインタフェース１００５を表示する。メディアユーザインタフェース１００５は、記憶メディアアイテム１００６のうちの選択された１つに対応するメディアアイテムを表示するための、一連の記憶メディアアイテム１００６及びメディア表示領域１００８を含む。図１０Ｂにおいて、メディア表示領域１００８は、選択された記憶メディアアイテム１００６－１に対応するメディアアイテム１０１０を示す。 In FIG. 10B, in response to detecting input 1001, device 600 launches a media view application associated with media viewer application affordance 1002 and displays a media user interface 1005. Media user interface 1005 includes a set of stored media items 1006 and a media display area 1008 for displaying media items corresponding to a selected one of stored media items 1006. In FIG. 10B, media display area 1008 shows media item 1010 corresponding to selected stored media item 1006-1.

メディアアイテム１０１０は、符号化された深度データを含まない（例えば、キャプチャされたメディアアイテム内に深度データを符号化しないカメラ（例えば、カメラ６０２以外のカメラなど）によってキャプチャされた）画像である。これにより、メディアアイテム１０１０は、本明細書で説明するように、画像で特定のビジュアルエフェクトを可能にするために使用される深度データを含まない。 Media item 1010 is an image that does not contain encoded depth data (e.g., captured by a camera (e.g., a camera other than camera 602) that does not encode depth data within the captured media item). As such, media item 1010 does not contain depth data that may be used to enable certain visual effects in the image, as described herein.

図１０Ｃでは、デバイス６００は、編集アフォーダンス１０１２上の入力１０１１を検出する。これに応じて、図１０Ｄで、デバイス６００は、編集オプション表示領域１０１４を表示する。編集オプション表示領域には、エフェクトアフォーダンス１０１６（エフェクトアフォーダンス６２２、８２２と同様）、メディア編集アフォーダンス１０１８、及びマークアップアフォーダンス１０２０を含む。 In FIG. 10C, device 600 detects input 1011 on edit affordance 1012. In response, in FIG. 10D, device 600 displays edit options display area 1014. The edit options display area includes effects affordance 1016 (similar to effects affordances 622, 822), media editing affordance 1018, and markup affordance 1020.

図１０Ｅでは、デバイス６００は、エフェクトアフォーダンス１０１６上の入力１０２１を検出し、表示されたメディアアイテム（例えば、メディアアイテム１０１０）に関連付けられた任意のビジュアルエフェクトが表示されるビジュアルエフェクトモードを有効化する。図１０Ｅに示す実施形態では、メディアアイテム１０１０はビジュアルエフェクトを含まず、特に、メディアアイテム１０１０が深度データを含まないので、画像１０１０は深度ベースのビジュアルエフェクトを含まない。 In FIG. 10E, device 600 detects input 1021 on effects affordance 1016 and enables a visual effects mode in which any visual effects associated with the displayed media item (e.g., media item 1010) are displayed. In the embodiment shown in FIG. 10E, media item 1010 does not include visual effects, and in particular, image 1010 does not include depth-based visual effects because media item 1010 does not include depth data.

図１０Ｆでは、エフェクトアフォーダンス１０１６をアクティブ化する入力１０２１を検出したことに応じて、デバイス６００は、エフェクトアフォーダンス１０１６を強調表示し、編集オプション表示領域１０１４を拡大してエフェクトオプションアフォーダンス１０２４を表示する。図１０Ｆに示す実施形態では、メディアアイテム１０１０はビジュアルエフェクトを可能にする深度データを含まないので、アバターエフェクトアフォーダンス１０２４－１及びステッカーエフェクトアフォーダンス１０２４－２は選択不可能として示されているのに対して、残りのビジュアルエフェクトオプションアフォーダンス１０２４－３、１０２４－４、及び１０２４－５は選択可能である。一部の実施形態では、メディアアイテムがビジュアルエフェクトを可能化する深度データを含まない場合、アバターエフェクトアフォーダンス１０２４－１及びステッカーエフェクトアフォーダンス１０２４－２は表示されない。 In FIG. 10F, in response to detecting input 1021 activating effect affordance 1016, device 600 highlights effect affordance 1016 and expands edit option display area 1014 to display effect option affordance 1024. In the embodiment shown in FIG. 10F, because media item 1010 does not include depth data that enables visual effects, avatar effect affordance 1024-1 and sticker effect affordance 1024-2 are shown as non-selectable, whereas the remaining visual effect option affordances 1024-3, 1024-4, and 1024-5 are selectable. In some embodiments, if the media item does not include depth data that enables visual effects, avatar effect affordance 1024-1 and sticker effect affordance 1024-2 are not displayed.

メディアアイテム１０１０は深度ベースのビジュアルエフェクトを可能化するための深度データを含まないので、エフェクトアフォーダンス１０１６が選択されても、深度ベースのビジュアルエフェクトはメディアアイテム１０１０に表示されない。これにより、メディアアイテム１０１０は、図１０Ｆでは変更されないままである。 Because media item 1010 does not contain depth data to enable depth-based visual effects, no depth-based visual effects are displayed on media item 1010 when effect affordance 1016 is selected. As a result, media item 1010 remains unchanged in FIG. 10F.

図１０Ｇでは、デバイス６００は、取消アフォーダンス１０２６上の入力１０２５を検出し、図１０Ｈに示すユーザインタフェースに戻る。 In FIG. 10G, the device 600 detects input 1025 on the cancel affordance 1026 and returns to the user interface shown in FIG. 10H.

図１０Ｈでは、デバイス６００は、記憶されたメディアアイテム１００６－２上の入力１０２７を検出し、記憶されたメディアアイテム１００６－２を選択する。 In FIG. 10H, the device 600 detects an input 1027 on stored media item 1006-2 and selects stored media item 1006-2.

図１０Ｉでは、デバイス６００は、メディアアイテム１０２８をメディア表示領域１００８に表示する。メディアアイテム１０２８は、被写体１０３２及び背景１０３６を示す選択された記憶メディアアイテム１００６－２に対応する。メディアアイテム１０２８は、キャプチャされたメディアアイテム内に深度データを符号化するカメラ（例えば、カメラ６０２）によってキャプチャされた画像である。本明細書で説明するように、メディアアイテム内に符号化された深度データは、ビジュアルエフェクト、特に深度成分を有するビジュアルエフェクトを表示することを可能にする。 In FIG. 10I, device 600 displays media item 1028 in media display area 1008. Media item 1028 corresponds to selected stored media item 1006-2, which shows subject 1032 and background 1036. Media item 1028 is an image captured by a camera (e.g., camera 602) that encodes depth data within the captured media item. As described herein, the depth data encoded within the media item enables the display of visual effects, particularly visual effects having a depth component.

図１０Ｉでは、エフェクトモードがメディアアイテム１０２８に対して有効化されていないため、ビジュアルエフェクトはメディアアイテム１０２８に表示されない。しかしながら、デバイス６００は、エフェクトアイコン１０２９を表示して、メディアアイテム１０２８が深度データを含み、ビジュアルエフェクトを表示することができることを示す。 In FIG. 10I, effects mode is not enabled for media item 1028, so visual effects are not displayed on media item 1028. However, device 600 displays effects icon 1029 to indicate that media item 1028 contains depth data and is capable of displaying visual effects.

図１０Ｊでは、デバイスは、編集アフォーダンス１０１２上の入力１０３０を検出し、図１０Ｋでは、強調表示されていない状態のエフェクトアフォーダンス１０１６を示すオプション表示領域１０１４を編集して、ビジュアルエフェクトがメディアアイテム１０２８の表示を有効化できないことを示す。 In FIG. 10J, the device detects input 1030 on the edit affordance 1012, and in FIG. 10K, edits the options display area 1014, showing the effects affordance 1016 in an unhighlighted state to indicate that no visual effects are available to enable the display of the media item 1028.

図１０Ｌでは、デバイス６００は、ビジュアルエフェクトモードを有効化するエフェクトアフォーダンス１０１６上の入力１０３３を検出する。図１０Ｍに示すように、ビジュアルエフェクトモードが有効化されると、デバイス６００は、エフェクトアフォーダンス１０１６を強調表示し、編集オプション表示領域１０１４を拡大してエフェクトオプションアフォーダンス１０２４を表示する。図１０Ｍに示す実施形態では、メディアアイテム１０２８は深度ベースのビジュアルエフェクトを有効化する深度データを含むので、アバターエフェクトアフォーダンス１０２４－１及びステッカーエフェクトアフォーダンス１０２４－２が選択可能として示され、ビジュアルエフェクトがメディアアイテム１０２８に表示される。図１０Ｍに示す実施形態では、表示されたビジュアルエフェクトは、カスタマイズ可能なアバター１０３７、被写体の首部上のアバター１０３７の下方に表示される影１０３８、ヘルメットステッカー１０３９、及びウサギステッカー１０４０を含む。 10L, device 600 detects input 1033 on effects affordance 1016, which activates visual effects mode. As shown in FIG. 10M, when visual effects mode is activated, device 600 highlights effects affordance 1016 and expands edit options display area 1014 to display effects options affordance 1024. In the embodiment shown in FIG. 10M, media item 1028 includes depth data that activates depth-based visual effects, so avatar effect affordance 1024-1 and sticker effect affordance 1024-2 are shown as selectable, and visual effects are displayed on media item 1028. In the embodiment shown in FIG. 10M, the displayed visual effects include customizable avatar 1037, a shadow 1038 displayed below avatar 1037 on the subject's neck, a helmet sticker 1039, and a rabbit sticker 1040.

一部の実施形態では、デバイス６００は、メディアアイテム１０２８の深度データに符号化された、カメラ６０２の視野内に位置するユーザの顔の検出された変化に基づいてアバター１０３７を変更する。このように、メディアアイテム１０２８はこの実施形態では静止画像として説明されているが、メディアアイテム１０２８は静止画像に限定されず、深度データを有する録画ビデオを含む録画ビデオなどの他のメディアアイテムを含むことができることを理解されるべきである。同様に、デバイス６００は、深度データに符号化されたメディアアイテム内のオブジェクトの位置における検出された変化に基づいて、メディアアイテム１０２８に適用されるステッカーの位置を変更することができる。 In some embodiments, device 600 modifies avatar 1037 based on detected changes in the user's face located within the field of view of camera 602, as encoded in the depth data of media item 1028. Thus, while media item 1028 is described in this embodiment as a still image, it should be understood that media item 1028 is not limited to still images, but can include other media items, such as recorded video, including recorded video with depth data. Similarly, device 600 can modify the position of stickers applied to media item 1028 based on detected changes in the position of objects within the media item, as encoded in the depth data.

深度ベースのビジュアルエフェクトを含むビジュアルエフェクトを、メディアアイテム１０２８に適用し、本明細書で論じる実施形態に従って編集することができる。例えば、本明細書に開示された様々な実施形態では、アバターエフェクトアフォーダンス１０２４－１は、選択されたアバター（例えば、アバター１０３７）を除去、変更、及び／又は切り替えるために選択することができる。加えて、ステッカーエフェクトアフォーダンス１０２４－２は、本明細書に開示された様々な実施形態に従って、メディアアイテム１０２８に対し、ステッカーを除外し、変更し、及び／又は追加するように選択することができる。 Visual effects, including depth-based visual effects, can be applied to media item 1028 and edited according to embodiments discussed herein. For example, in various embodiments disclosed herein, avatar effect affordance 1024-1 can be selected to remove, modify, and/or switch a selected avatar (e.g., avatar 1037). Additionally, sticker effect affordance 1024-2 can be selected to remove, modify, and/or add stickers to media item 1028 according to various embodiments disclosed herein.

図１０Ｎ～図１０Ｐは、ハートステッカー１０４２をメディアアイテム１０２８に追加するデバイス６００を示す。これらの処理は、図６Ｕ～図６ＡＤ、図８ＡＨ～図８ＡＫ、及び図８ＡＲ～図８ＡＹに関して、上記で一層詳細に論じている。簡潔性のために、これらの処理の詳細は、ここでは繰り返さない。 Figures 10N-10P illustrate a device 600 for adding a heart sticker 1042 to a media item 1028. These processes are discussed in more detail above with respect to Figures 6U-6AD, 8AH-8AK, and 8AR-8AY. For the sake of brevity, the details of these processes will not be repeated here.

図１０Ｑでは、デバイス６００は、マークアップアフォーダンス１０２０上の入力１０４３を検出する。図１０Ｒでは、デバイス６００は、表示された編集オプション表示領域１０１４を、マークアップエフェクトをメディアアイテム１０２８に追加するための様々な選択可能なマークアップオプション１０４５を含むマークアップオプションメニュー１０４４に置換する。図１０Ｓ～図１０Ｔは、テキストアフォーダンス１０４５－１を選択することによって、テキスト１０４６をメディアアイテム１０２８に追加するための処理を示す。 In FIG. 10Q, the device 600 detects input 1043 on the markup affordance 1020. In FIG. 10R, the device 600 replaces the displayed edit options display area 1014 with a markup options menu 1044 that includes various selectable markup options 1045 for adding markup effects to the media item 1028. FIGS. 10S-10T show a process for adding text 1046 to the media item 1028 by selecting the text affordance 1045-1.

図１０Ｕでは、デバイス６００は、編集アフォーダンス１０１２上の入力１０４７を検出する。図１０Ｖでは、デバイス６００は、表示された編集オプション表示領域１０１４を、様々な画像編集アフォーダンス１０５０を含む画像編集メニュー１０４８に置換する。図１０Ｖ～図１０Ｙは、ビビッド色フィルタを適用するために、フィルタアフォーダンス１０５０－１を選択し、次いでビビッドフィルタオプション１０５２を選択することによって、メディアアイテム１０２８を編集するための処理を示す。ビビッド色フィルタは、メディアアイテム１０２８内の背景１０３６と、適用されたビジュアルエフェクト（例えば、アバター１０３７上の髪部）の両方に変更を適用する。一部の実施形態では、フィルタは、アバターの外観及び１つ以上のカメラの視野の表現を同様の方法で変更して、アバターと１つ以上のカメラの視野の表現との間の類似性を高める（例えば、コミックブックフィルタ、スケッチ描画フィルタ、白黒フィルタ、グレースケールフィルタなどを適用する）。一部の実施形態では、アバターは、アバターの外観と１つ以上のカメラの視野の表現との両方を変更するフィルタを適用することによって、１つ以上のカメラの視界にある現実の世界とは一致しない漫画のような外観を有し、このアバターの外観は、１つ以上のカメラの視野の表現の残部と一体化される。一部の実施形態では、フィルタは、１つ以上のカメラの視野の表現の現実感を低減するフィルタ（例えば、スケッチフィルタ又はコミックブックフィルタ）である。一部の実施形態では、フィルタは、アバターの外観及び１つ以上のカメラの視野の表現の外観の両方の３Ｄ効果を低減する（例えば、平坦化する）フィルタである。 10U, device 600 detects input 1047 on edit affordance 1012. In FIG. 10V, device 600 replaces the displayed edit option display area 1014 with an image editing menu 1048 including various image editing affordances 1050. FIGS. 10V-10Y illustrate a process for editing a media item 1028 by selecting filter affordance 1050-1 and then selecting vivid filter option 1052 to apply a vivid color filter. The vivid color filter applies changes to both the background 1036 in the media item 1028 and any applied visual effects (e.g., hair on avatar 1037). In some embodiments, the filter alters the appearance of the avatar and the representation of the field of view of one or more cameras in a similar manner to increase the similarity between the avatar and the representation of the field of view of one or more cameras (e.g., applying a comic book filter, a sketch drawing filter, a black and white filter, a grayscale filter, etc.). In some embodiments, the avatar has a cartoon-like appearance that does not match the real world in the view of one or more cameras by applying a filter that modifies both the appearance of the avatar and the representation of the field of view of one or more cameras, such that the appearance of the avatar blends with the rest of the representation of the field of view of one or more cameras. In some embodiments, the filter is a filter that reduces the realism of the representation of the field of view of one or more cameras (e.g., a sketch filter or comic book filter). In some embodiments, the filter is a filter that reduces (e.g., flattens) the 3D effect of both the appearance of the avatar and the appearance of the representation of the field of view of one or more cameras.

図１０Ｚでは、新しいハートステッカー１０４２、テキスト１０４６を表示するように編集されて、ビビッドな色フィルタが適用される、メディアアイテム１０２８を示す。 Figure 10Z shows media item 1028 edited to display a new heart sticker 1042, text 1046, and a vivid color filter applied.

図１０ＡＡ～図１０ＡＤは、デバイス６００がアバター１０３７からアバター１０５４に切り替わることを示す。これらの処理は、図６Ｇ～図６Ｑ、図６ＢＤ～図６ＢＥ、図６ＢＫ～図６ＢＮ、及び図８Ｆ～図８ＡＧに関して、上記で一層詳細に論じている。簡潔性のために、これらの処理の詳細は、ここでは繰り返さない。 Figures 10AA-10AD show device 600 switching from avatar 1037 to avatar 1054. These processes are discussed in more detail above with respect to Figures 6G-6Q, 6BD-6BE, 6BK-6BN, and 8F-8AG. For the sake of brevity, the details of these processes will not be repeated here.

図１０ＡＥでは、デバイス６００は、ステッカー（例えば、１０３９、１０４０、１０４２）、アバター１０５４、テキスト１０４６、及びビビッド色フィルタが適用されたメディアアイテム１０２８を表示する。メディアアイテム１０２８の色フィルタは、新規アバター１０５４がメディアアイテム１０２８に表示されると、新規アバター１０５４の髪部に影響を及ぼす。 In FIG. 10AE, device 600 displays stickers (e.g., 1039, 1040, 1042), avatar 1054, text 1046, and media item 1028 with a vivid color filter applied. The color filter of media item 1028 affects the hair of new avatar 1054 when new avatar 1054 is displayed in media item 1028.

図１０ＡＥでは、デバイス６００は、エフェクトオプションアフォーダンス１０２４上のスワイプジェスチャ１０５５を検出し、これに応じて、エフェクトオプションアフォーダンス１０２４をスクロールして図１０ＡＦのスクリーンエフェクトアフォーダンス１０２４－３を表示する。 In FIG. 10AE, device 600 detects a swipe gesture 1055 on effect option affordance 1024 and, in response, scrolls effect option affordance 1024 to reveal screen effect affordance 1024-3 of FIG. 10AF.

図１０ＡＧでは、デバイス６００は、スクリーンエフェクトアフォーダンス１０２４－３上の入力１０５７を検出し、これに応じて、スクリーンエフェクトメニュー１０６０を表示する。スクリーンエフェクトメニュー１０６０は、メディアアイテム１０２８にフルスクリーンビジュアルエフェクトを適用するために選択可能な、様々なスクリーンエフェクトオプション１０６２を含む。図１０ＡＨでは、ヌルエフェクトオプション１０６２－１が選択され（例えば、１０６３）、デバイス６００は、メディアアイテム１０２８にスクリーンエフェクトを表示しない。 In FIG. 10AG, the device 600 detects input 1057 on the screen effect affordance 1024-3 and, in response, displays a screen effect menu 1060. The screen effect menu 1060 includes various screen effect options 1062 that can be selected to apply a full-screen visual effect to the media item 1028. In FIG. 10AH, the null effect option 1062-1 is selected (e.g., 1063), causing the device 600 to display no screen effect on the media item 1028.

図１０ＡＩでは、デバイス６００は、風船エフェクトオプション１０６２－２上の入力１０６４を検出する。図１０ＡＪ～図ＡＬでは、デバイス６００は、風船１０６５のアニメーションエフェクトをメディアアイテム１０２８に表示する。一部の実施形態では、アニメーションエフェクトは、メディアアイテム１０２８に符号化された深度データを強調する方法で適用される。例えば、図１０ＡＪ～図１０ＡＬでは、風船のうちのいくつかは、被写体１０６２及びビジュアルエフェクト（例えば、ウサギステッカー１０４０、アバター１０５４、テキスト１０４６）の前に現れるように表示される。風船のうちのいくつかは、被写体１０６２及びビジュアルエフェクト（例えば、ウサギステッカー１０４０、アバター１０５４、ハートステッカー１０４２）の背後にある深度で現れるように表示される。 In FIG. 10AI, the device 600 detects input 1064 on the balloon effect option 1062-2. In FIGS. 10AJ-AL, the device 600 displays an animation effect of balloons 1065 on the media item 1028. In some embodiments, the animation effect is applied in a manner that emphasizes the depth data encoded in the media item 1028. For example, in FIGS. 10AJ-AL, some of the balloons are displayed to appear in front of the object 1062 and visual effects (e.g., rabbit sticker 1040, avatar 1054, text 1046). Some of the balloons are displayed to appear at depth behind the object 1062 and visual effects (e.g., rabbit sticker 1040, avatar 1054, heart sticker 1042).

一部の実施形態では、スクリーンエフェクトは、メディアアイテム１０２８内のオブジェクト及びビジュアルエフェクトの深度に基づいて、メディアアイテム１０２８内のビジュアルエフェクト及びオブジェクトと対話することができる。例えば、紙吹雪スクリーンエフェクトは、メディアアイテム１０２８（例えば、被写体１０６２）及びビジュアルエフェクト（ステッカー及びアバター）内のオブジェクトの前及び背後に落ちていく、並びにこれらのオブジェクト及びビジュアルエフェクトの上部にも落ちていく、紙吹雪を示すことができる。例えば、紙吹雪が、落ちていく紙吹雪の物理モデルに基づいて、アバター上に落ちていく、及びアバターの側を落ちていくさまを表示することができる。 In some embodiments, screen effects may interact with visual effects and objects within the media item 1028 based on the depth of the objects and visual effects within the media item 1028. For example, a confetti screen effect may show confetti falling in front of and behind objects within the media item 1028 (e.g., subject 1062) and visual effects (stickers and avatars), as well as on top of these objects and visual effects. For example, confetti may be shown falling onto and down the sides of an avatar based on a physical model of falling confetti.

図１１Ａ及び図１１Ｂは、一部の実施形態に係る、電子デバイスを使用してメディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための方法を示すフロー図である。方法１１００は、表示装置を有するデバイス（例えば、１００、３００、５００、６００）において実行される。方法１１００におけるいくつかの動作は、任意選択的に組み合わせられ、いくつかの動作の順序は任意選択的に変更され、いくつかの動作は任意選択的に省略される。 11A and 11B are flow diagrams illustrating a method for displaying visual effects in a media item viewing mode using an electronic device, according to some embodiments. Method 1100 is performed on a device (e.g., 100, 300, 500, 600) having a display device. Some operations in method 1100 are optionally combined, the order of some operations is optionally changed, and some operations are optionally omitted.

以下に説明するように、方法１１００は、メディアアイテム視聴モードでビジュアルエフェクトを表示するための直感的な仕方を提供する。この方法は、画像又はビデオにビジュアルエフェクトを表示している際のユーザへの認知負担を軽減し、それによって、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作コンピューティングデバイスでは、ビジュアルエフェクトをユーザーがより迅速かつ効率的に表示できるようにすることで、電力を節約し、バッテリ充電間の時間を増大させる。 As described below, method 1100 provides an intuitive way to display visual effects in a media item viewing mode. This method reduces the cognitive burden on a user when displaying visual effects on an image or video, thereby creating a more efficient human-machine interface. In battery-operated computing devices, allowing users to display visual effects more quickly and efficiently conserves power and increases the time between battery charges.

電子デバイス（例えば、６００）は、表示装置（例えば、６０１）を介して、メディアユーザインタフェース（例えば、１００５）を表示する（１１０２）。メディアユーザインタフェースは、メディアアイテム（例えば、静止画像又はビデオ）の表現（例えば、１０１０）を含む、メディア表示領域（例えば、１００８）を含む（１１０４）。一部の実施形態では、メディアアイテムに対応する深度データは、エフェクトアフォーダンスの事前選択を検出した後に、電子デバイスのカメラによって取得される。 An electronic device (e.g., 600) displays (1102) a media user interface (e.g., 1005) via a display device (e.g., 601). The media user interface includes (1104) a media display area (e.g., 1008) that includes a representation (e.g., 1010) of a media item (e.g., a still image or video). In some embodiments, depth data corresponding to the media item is acquired by a camera of the electronic device after detecting pre-selection of an effect affordance.

一部の実施形態では、メディアアイテムは、記録された画像又はビデオであり、エフェクトは、メディアアイテムが記録された後に深度データに基づいて適用される。一部の実施形態では、画像データがキャプチャされた（例えば、記録された）後に、ステッカー、仮想アバター、及びフルスクリーンエフェクトなどのビジュアルエフェクトを画像データに追加し、又は異なるビジュアルエフェクトに変更する（例えば、ステッカーを仮想アバターに置換する）ことができる。 In some embodiments, the media item is a recorded image or video, and the effect is applied based on the depth data after the media item is recorded. In some embodiments, visual effects such as stickers, virtual avatars, and full-screen effects can be added to the image data or changed to different visual effects (e.g., replacing stickers with virtual avatars) after the image data is captured (e.g., recorded).

メディアユーザインタフェース（例えば、１００５）は、エフェクトアフォーダンス（例えば、１０１６、画像表示モードをアクティブ化するための機能（例えば、画像データが深度データを含む場合に、深度データを表示するモード）に関連するアフォーダンス）を含む（１１０６）。 The media user interface (e.g., 1005) includes an effect affordance (e.g., 1016, an affordance associated with a function for activating an image display mode (e.g., a mode for displaying depth data if the image data includes depth data)) (1106).

電子デバイス（例えば、６００）は、エフェクトアフォーダンス（例えば、１０１６）に向けられたジェスチャ（例えば、１０２１）を検出する（１１０８）。一部の実施形態では、それぞれのエフェクトオプション（例えば、１０２４－１）は、メディアアイテム内に（例えば、その上に重ね合わせる）アバターを表示するためのエフェクトに対応する（１１１０）。一部の実施形態では、アバターをメディアアイテムに表示するときに、人の頭部の画像データが仮想アバターに置換される。人の頭部の画像データが仮想アバターに置換されたメディアアイテムにアバターを表示することにより、アバターが、置換されている人に関係がある、及び／又は関連付けられているという視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、アバターのカスタマイズ可能である。一部の実施形態において、アバターのカスタマイズ不可能である。 The electronic device (e.g., 600) detects (1108) a gesture (e.g., 1021) directed toward an effect affordance (e.g., 1016). In some embodiments, each effect option (e.g., 1024-1) corresponds to an effect for displaying an avatar within (e.g., superimposed on) the media item (1110). In some embodiments, when displaying the avatar in the media item, a virtual avatar replaces the image data of a person's head. Displaying the avatar in the media item with the image data of the person's head replaced by the virtual avatar provides visual feedback that the avatar is related to and/or associated with the person it replaces. Providing the user with improved visual feedback improves device usability, making the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces device power usage and improves battery life by allowing the user to use the device more quickly and efficiently. In some embodiments, the avatar is customizable. In some embodiments, the avatar is not customizable.

一部の実施形態では、それぞれのエフェクトオプション（例えば、１０２４－３）は、メディアアイテム内を（例えば、その上にアニメーション風に重ね合わせられて）動く複数の仮想オブジェクト（例えば、１０６２、紙吹雪、風船など）を表示するためのエフェクトに対応する（１１１２）。一部の実施形態では、メディアアイテム内を移動する複数のオブジェクトの軌跡は、メディアアイテム内の（例えば、表される、特定される）オブジェクト（例えば、元の画像又はビデオ内の人物などの、仮想アバターではない、メディアアイテムに適用されるエフェクトの生成物であるオブジェクトではなく、元のメディアアイテムに符号化されたオブジェクト）のうちの少なくとも１つの存在、又はメディアアイテムに適用されたビジュアルエフェクト（例えば、アバター）に基づいて変更される。一部の実施形態では、紙吹雪又は風船などのオブジェクトが、画像内のユーザの前、背後、及び／又はユーザ上に表示される。一部の実施形態において、画像は、アバターなどの他のエフェクトを含み、紙吹雪又は風船などのオブジェクトは、アバターの前、背後、及び／又はアバター上に着地する。 In some embodiments, each effect option (e.g., 1024-3) corresponds to an effect for displaying multiple virtual objects (e.g., 1062, confetti, balloons, etc.) moving within (e.g., superimposed on) the media item in an animated manner (1112). In some embodiments, the trajectories of the multiple objects moving within the media item are modified based on the presence of at least one of the objects (e.g., represented or identified) within the media item (e.g., an object encoded in the original media item, rather than an object that is a product of an effect applied to the media item, such as a person in the original image or video, that is not a virtual avatar) or a visual effect (e.g., an avatar) applied to the media item. In some embodiments, objects such as confetti or balloons are displayed in front of, behind, and/or on the user in the image. In some embodiments, the image includes other effects, such as an avatar, and objects such as confetti or balloons land in front of, behind, and/or on the avatar.

一部の実施形態では、それぞれのエフェクトオプション（例えば、１０２４－２）は、メディアアイテム内に（例えば、その上に重ね合わせられる）１つ以上の選択可能なグラフィックアイコン（例えば、１０４２、ステッカー）を表示するためのエフェクトに対応する（１１１４）。 In some embodiments, each effect option (e.g., 1024-2) corresponds to an effect for displaying one or more selectable graphic icons (e.g., 1042, stickers) within (e.g., superimposed on) the media item (1114).

エフェクトアフォーダンスに向けられたジェスチャを検出したことに応じて、電子デバイス（例えば、６００）は、メディアアイテムの表現と同時に、メディアアイテムにエフェクトを適用するための複数のエフェクトオプション（例えば、ステッカーアフォーダンス、アバターアフォーダンス）を表示し（１１１６）、（例えば、パラグラフ［１７９］及び［３３８］に記載するように）メディアアイテムが対応する深度データに関連付けられているとの判定（１１１８）に従って、複数のエフェクトオプションが、深度データに基づいてエフェクト（例えば、ステッカー、仮想アバター、フルスクリーンエフェクトなど）を適用するためのそれぞれのエフェクトオプション（例えば、１０２４）を含む、ことを含んでいる。一部の実施形態では、ジェスチャを検出したことに応じて、電子デバイスは、画像表示モード（例えば、深度データに基づく画像表示モード）をアクティブ化する。 In response to detecting a gesture directed at an effect affordance, the electronic device (e.g., 600) displays (1116) a plurality of effect options (e.g., sticker affordance, avatar affordance) for applying an effect to the media item concurrently with a representation of the media item, and in accordance with determining (1118) that the media item is associated with corresponding depth data (e.g., as described in paragraphs [179] and [338]), the plurality of effect options include respective effect options (e.g., 1024) for applying an effect (e.g., sticker, virtual avatar, full-screen effect, etc.) based on the depth data. In some embodiments, in response to detecting the gesture, the electronic device activates an image display mode (e.g., an image display mode based on the depth data).

一部の実施形態では、深度データに基づいてメディアアイテム（例えば、静止画像又はビデオ）上に表示できる複数のステッカーオプション（例えば、１０４２）を表示するために、ステッカーアフォーダンス（例えば１０２４－２）が選択可能である。例えば、ステッカーをメディアアイテム上に配置し、メディアアイテムに関連付けられた深度データに基づいて変更することができる。一部の実施形態では、ステッカーは、ビデオ内のオブジェクトの相対位置に関連付けられる。ビデオ内のオブジェクトの動きは、オブジェクトの動きに基づいて、ステッカーの表示されたアスペクト（例えば、サイズ、向き、位置など）を変更するために使用される深度成分を有する。例えば、ステッカーはオブジェクト上に表示され、オブジェクトがカメラ（例えば、６０２）から離れて（例えば、後方に）移動するにつれてステッカーは小さくなっていき、ステッカーがオブジェクトと共にカメラから遠ざかっていく外観を与える。一部の実施形態では、深度データに基づいてメディアアイテム上に表示できる複数のアバターオプション（例えば、図１０ＡＢ）を表示するために、アバターアフォーダンス（例えば、１０２４－１）が選択可能である。例えば、アバターを画像又はビデオ内の顔に表示し、画像又はビデオ内の顔に関連付けられた深度データに基づいて修正することができる。例えば、顔が前方、後方、左右、又は画像データの深度成分に影響を及ぼす他の方法で動くと、深度データに基づいてアバターが表示及び変更される。このように、顔が動くにつれて、同じ方法でアバターが動いて表示される。 In some embodiments, a sticker affordance (e.g., 1024-2) is selectable to display multiple sticker options (e.g., 1042) that can be displayed on a media item (e.g., a still image or video) based on depth data. For example, a sticker can be placed on a media item and modified based on depth data associated with the media item. In some embodiments, the sticker is associated with the relative position of an object in the video. Movement of the object in the video has a depth component that is used to modify the displayed aspect of the sticker (e.g., size, orientation, position, etc.) based on the object's movement. For example, a sticker may be displayed on an object, and as the object moves away (e.g., backward) from the camera (e.g., 602), the sticker becomes smaller, giving the appearance that the sticker is moving away from the camera with the object. In some embodiments, an avatar affordance (e.g., 1024-1) is selectable to display multiple avatar options (e.g., FIG. 10AB) that can be displayed on a media item based on depth data. For example, an avatar may be displayed on a face in an image or video and modified based on depth data associated with the face in the image or video. For example, as the face moves forward, backward, left or right, or in any other manner that affects the depth component of the image data, the avatar is displayed and modified based on the depth data. In this way, as the face moves, the avatar is displayed moving in the same manner.

エフェクトアフォーダンスに向けられたジェスチャを検出したことに応じて、電子デバイス（例えば、６００）は、メディアアイテムの表現と同時に、メディアアイテムにエフェクトを適用するための複数のエフェクトオプション（例えば、１０２４、ステッカーアフォーダンス、アバターアフォーダンス）を表示し（１１１６）、画像データが深度データを含まないとの判定（１１２０）に従って、それぞれのエフェクトオプションが、複数のエフェクトオプションにおいてアクティブ化に利用できない（例えば、それぞれのエフェクトオプションが、表示された複数のエフェクトオプションから除外されているか、又は表示された複数のエフェクトオプションにおいて無効化されている）、ことを含んでいる。画像データが深度データを含まないとの判定に従って、複数のエフェクトオプションでアクティブ化するために利用可能でないそれぞれのエフェクトオプションは、画像データが必要な深度データを含まないというフィードバックを提供する。更なるユーザ入力を必要とせずに、条件のセットが満たされたときに操作を行うことにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、深度データに対応するアフォーダンス（例えば、エフェクトアフォーダンス）は、表示されないか、又は画像データが深度データを含まない場合には選択できない。 In response to detecting a gesture directed toward an effect affordance, the electronic device (e.g., 600) displays (1116) a plurality of effect options (e.g., 1024, sticker affordance, avatar affordance) for applying an effect to the media item concurrently with a representation of the media item, and, in accordance with a determination (1120) that the image data does not include depth data, each effect option is unavailable for activation in the plurality of effect options (e.g., the respective effect option is excluded from the displayed plurality of effect options or is disabled in the displayed plurality of effect options). In accordance with a determination that the image data does not include depth data, each effect option that is unavailable for activation in the plurality of effect options provides feedback that the image data does not include the required depth data. Performing an operation when a set of conditions is met without requiring further user input improves device usability, making the user device interface more efficient (e.g., by assisting the user in providing appropriate input and reducing user errors when operating/interacting with the device), and additionally, reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently. In some embodiments, affordances that correspond to depth data (e.g., effect affordances) are not displayed or cannot be selected if the image data does not include depth data.

一部の実施形態では、複数のエフェクトオプション（例えば、１０２４）は、メディアアイテムに（例えば、その上に重ね合わせられて）ラベルを付加するためのオプション（例えば、１０２０）を含む。一部の実施形態では、テキストラベルを画像又はビデオに追加することができる。一部の実施形態では、複数のエフェクトオプションは、メディアアイテムに（例えば、その上に重ね合わせられて）１つ以上の画像フィルタを適用するためのオプションを含む。 In some embodiments, the plurality of effect options (e.g., 1024) includes an option (e.g., 1020) for adding a label to (e.g., superimposed on) the media item. In some embodiments, a text label may be added to an image or video. In some embodiments, the plurality of effect options includes an option for applying one or more image filters to (e.g., superimposed on) the media item.

方法１１００に関して上述された処理（例えば、図１１Ａ～図１１Ｂ）の詳細はまた、上記及び以下で説明される方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法７００は、方法１１００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターなどのビジュアルエフェクトが、メッセージングアプリケーションユーザインタフェースにおいて画像データに表示される。別の例では、方法９００は、方法１１００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターなどのビジュアルエフェクトが、カメラアプリケーションユーザインタフェースに対するユーザインタフェース内の画像データに表示される。別の例では、方法１３００は、方法１１００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターのようなビジュアルエフェクトが、ライブビデオ通信セッションのためのユーザインタフェースにおいて画像データに表示される。別の例では、方法１５００は、方法１１００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターなどのビジュアルエフェクトが、カメラユーザインタフェースに対して画像データに表示される。簡潔にするために、これらの詳細は、以下では繰り返さない。 It should be noted that the details of the processing described above with respect to method 1100 (e.g., FIGS. 11A-11B) are also applicable in an analogous manner to the methods described above and below. For example, method 700 optionally includes one or more of the features of the various methods described above with respect to method 1100. For example, visual effects such as stickers and virtual avatars are displayed on image data in a messaging application user interface. In another example, method 900 optionally includes one or more of the features of the various methods described above with respect to method 1100. For example, visual effects such as stickers and virtual avatars are displayed on image data in a user interface for a camera application user interface. In another example, method 1300 optionally includes one or more of the features of the various methods described above with respect to method 1100. For example, visual effects such as stickers and virtual avatars are displayed on image data in a user interface for a live video communication session. In another example, method 1500 optionally includes one or more of the features of the various methods described above with respect to method 1100. For example, visual effects such as stickers and virtual avatars are displayed on the image data relative to the camera user interface. For the sake of brevity, these details will not be repeated below.

図１２Ａ～図１２ＡＰは、一部の実施形態に係る、ライブビデオ通信セッションにおけるビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す。それらの図におけるユーザインタフェースは、図１３Ａ～図１３Ｂにおける処理を含む、以下で説明される処理を例示するために使用される。 FIGS. 12A-12AP show exemplary user interfaces for displaying visual effects in a live video communication session, according to some embodiments. The user interfaces in those figures are used to illustrate the processes described below, including the processes in FIGS. 13A-13B.

図１２Ａでは、デバイス６００は、２人以上の参加者間のライブビデオ通信セッション（例えば、ストリーミングビデオ通信）に対するユーザインタフェース１２００を示す。ユーザインタフェース１２００では、デバイスは、ライブビデオ通信セッションにおける参加者を表す参加者画像データ１２０４を表示する。ウィンドウ１２０２では、デバイス６００は、デバイス６００のカメラ（例えば、カメラ６０２）によって取得されたデータ、及びライブビデオ通信セッションの他の参加者に送信されているビデオデータの表現を含む、デバイス画像データ１２０１を表示する。図１２Ａでは、デバイス画像データ１２０１は、ビデオ通信セッションの参加者でもある（例えば、外部電子デバイス（例えば、デバイス６００に類似のデバイス）を使用している）ユーザを表す。図１２Ａでは、デバイス画像データ１２０１は、デバイス６００のカメラ６０２を使用してキャプチャされる。しかしながら、一部の実施形態では、デバイス画像データ１２０１を、デバイス６００の背面カメラを使用してキャプチャすることができる。 In FIG. 12A , device 600 shows user interface 1200 for a live video communication session (e.g., streaming video communication) between two or more participants. In user interface 1200, the device displays participant image data 1204 representing the participants in the live video communication session. In window 1202, device 600 displays device image data 1201, which includes data captured by a camera (e.g., camera 602) of device 600 and a representation of video data being transmitted to other participants in the live video communication session. In FIG. 12A , device image data 1201 represents a user who is also a participant in the video communication session (e.g., using an external electronic device (e.g., a device similar to device 600)). In FIG. 12A , device image data 1201 is captured using camera 602 of device 600. However, in some embodiments, device image data 1201 may be captured using a rear-facing camera of device 600.

図１２Ｂでは、デバイス６００は、ユーザインタフェース１２００上の入力１２０５を検出し、これに応じて、エフェクトアフォーダンス１２０８、カメラセレクタアフォーダンス１２１０、及びエンドアフォーダンス１２１２を有する、図１２Ｃの、オプション表示領域１２０６を表示する。エンドアフォーダンス１２１２は、ライブビデオ通信セッションを終了させるための機能に関連付けられ、カメラセレクタアフォーダンス１２１０は、カメラ（例えば、背面カメラ及びカメラ６０２）間を切り替えるための機能に関連付けられている。エフェクトアフォーダンス１２０８は、エフェクトアフォーダンス６２２、８２２及び１０１６と同様であり、デバイス６００がユーザインタフェース１２００にビジュアルエフェクトを表示するために有効化又は無効化される、デバイス６００のモード（ビジュアルエフェクトモード、エフェクトモード）を有効化又は無効化するために選択可能である。 12B, device 600 detects input 1205 on user interface 1200 and, in response, displays options display area 1206 of FIG. 12C, having effects affordance 1208, camera selector affordance 1210, and end affordance 1212. End affordance 1212 is associated with functionality for ending the live video communication session, and camera selector affordance 1210 is associated with functionality for switching between cameras (e.g., the rear camera and camera 602). Effects affordance 1208 is similar to effects affordances 622, 822, and 1016 and is selectable to enable or disable a mode (visual effects mode, effects mode) of device 600 in which device 600 is enabled or disabled to display visual effects on user interface 1200.

図１２Ｄでは、デバイス６００は、エフェクトアフォーダンス１２０８上の入力１２１３を検出する。 In FIG. 12D, the device 600 detects input 1213 on the effect affordance 1208.

図１２Ｅでは、デバイス６００は、入力１２１３を検出したことに応じて、ビジュアルエフェクトモードを可能化する。デバイス６００は、参加者画像データ１２０４をウインドウ１２０２に表示することによって、デバイス画像データ１２０１及び参加者画像データ１２０４の表示位置を切り替え、ユーザインタフェース１２００内の別の位置に任意選択的に移動する。デバイス６００はまた、エフェクトアフォーダンス１２０８を強調表示し、ビジュアルエフェクトオプションアフォーダンス１２１４を含むようにオプション表示領域１２０６を拡大する。ビジュアルエフェクトオプションアフォーダンス１２１４は、上述したビジュアルエフェクトオプションアフォーダンス６２４、８２４、及び１０２４と同様であり、エフェクトアフォーダンス１２０８が有効化されているときに表示される。 In FIG. 12E, device 600 enables visual effects mode in response to detecting input 1213. Device 600 switches the display location of device image data 1201 and participant image data 1204 by displaying participant image data 1204 in window 1202, and optionally moving it to another location within user interface 1200. Device 600 also highlights effects affordance 1208 and expands option display area 1206 to include visual effects option affordance 1214. Visual effects option affordance 1214 is similar to visual effects option affordances 624, 824, and 1024 described above and is displayed when effects affordance 1208 is enabled.

図１２Ｆでは、デバイス６００は、アバターエフェクトアフォーダンス１２１４－１上の入力１２１５を検出する。図１２Ｇでは、それに応じて、デバイス６００は、選択可能なアバターオプション１２１８のスクロール可能なリストを含むアバターオプションメニュー１２１６を表示する。アバターオプションメニュー１２１６は、アバターオプションメニュー６２８及び８２８と同様であり、アバターオプション１２１８は、アバターオプション６３０及び８３０と同様である。 In FIG. 12F, device 600 detects input 1215 on avatar effect affordance 1214-1. In FIG. 12G, in response, device 600 displays avatar options menu 1216, which includes a scrollable list of selectable avatar options 1218. Avatar options menu 1216 is similar to avatar options menus 628 and 828, and avatar options 1218 are similar to avatar options 630 and 830.

アバターオプション１２１８は、図６Ｇ～図６Ｑ、図６ＢＤ～図６ＢＥ、図６ＢＫ～図６ＢＮ、及び図８Ｆ～図８ＡＧに関して上述したのと同様の方法で、対応するアバターを、デバイス画像データ１２０１内の被写体の顔に適用するために選択されてもよい。一部の実施形態では、アバターオプション１２１８は、参加者画像データ１２０４に表示された参加者に対するのと同様の方法で、対応するアバターを適用するように選択できる。 Avatar option 1218 may be selected to apply a corresponding avatar to the face of a subject in device image data 1201 in a manner similar to that described above with respect to Figures 6G-6Q, 6BD-6BE, 6BK-6BN, and 8F-8AG. In some embodiments, avatar option 1218 may be selected to apply a corresponding avatar to the face of a subject in device image data 1201 in a manner similar to that for a participant displayed in participant image data 1204.

図１２Ｇでは、ヌルアバターオプション１２１８－１が選択されている（例えば、選択領域１２１９内に位置している）ので、アバターはデバイス画像データ１２０１内のユーザの顔に表示されない。 In FIG. 12G, null avatar option 1218-1 is selected (e.g., located within selection area 1219), so no avatar is displayed over the user's face in device image data 1201.

図１２Ｈ～図１２Ｐは、様々なアバターオプションを選択し、その間で切り替えて、デバイス画像データ１２０１内のユーザの顔に対応するアバターを表示するための処理を示す。例えば、デバイス６００は、デバイス画像データ１２０１に他のオブジェクト（例えば、ユーザの身体及び背景１２２６）の表示を維持している間に、ロボットアバターオプション１２１８－２の選択を受信し、デバイス画像データ１２０１内のユーザーの顔に、ロボットアバター１２２２を表示する。デバイス６００は、カメラ６０２を使用してユーザの顔の検出された変化に基づいてロボットアバター１２２２の外観を変更する。デバイス６００は、エイリアンアバターオプション１２１８－３の選択を受信し、表示されたアバターをエイリアンアバター１２２３に遷移させる。デバイスは、ロボットアバターオプション１２１８－２の後続の選択を受信し、表示されたアバターをロボットアバター１２２２に再び遷移させる。一部の実施形態では、ユーザは、ヌルアバターオプション１２１８－０を選択することによって、デバイス画像データ１２０１内のアバターを除去（又は表示することをやめる）するよう選択することができる。これらの処理は、図６Ｇ～図６Ｑ、図６ＢＤ～図６ＢＥ、図６ＢＫ～図６ＢＮ、及び図８Ｆ～図８ＡＧに関して、上記で一層詳細に論じている。簡潔性のために、これらの処理の詳細は、ここでは繰り返さない。 Figures 12H-12P illustrate a process for selecting and switching between various avatar options and displaying an avatar corresponding to the user's face in device image data 1201. For example, device 600 receives a selection of robot avatar option 1218-2 and displays robot avatar 1222 over the user's face in device image data 1201 while maintaining the display of other objects (e.g., the user's body and background 1226) in device image data 1201. Device 600 changes the appearance of robot avatar 1222 based on detected changes in the user's face using camera 602. Device 600 receives a selection of alien avatar option 1218-3 and transitions the displayed avatar to alien avatar 1223. Device 600 receives a subsequent selection of robot avatar option 1218-2 and transitions the displayed avatar back to robot avatar 1222. In some embodiments, the user can choose to remove (or cease displaying) the avatar in device image data 1201 by selecting null avatar option 1218-0. These processes are discussed in more detail above with respect to Figures 6G-6Q, 6BD-6BE, 6BK-6BN, and 8F-8AG. For the sake of brevity, the details of these processes will not be repeated here.

図１２Ｐのクローズアイコン１２２０の選択を（入力１２２１を介して）検出した後、デバイス６００は、アバターオプションメニュー１２１６をクローズし、図１２Ｑのオプション表示領域１２０６を再表示する。デバイス６００は、デバイス画像データ１２０１内のユーザの頭部上にロボットアバター１２２２を表示し、カメラ６０２を使用してユーザの顔の検出された変化に基づいてアバターを変更する。 After detecting selection of close icon 1220 (via input 1221) in FIG. 12P, device 600 closes avatar options menu 1216 and redisplays option display area 1206 in FIG. 12Q. Device 600 displays robot avatar 1222 over the user's head in device image data 1201 and changes the avatar based on detected changes in the user's face using camera 602.

図１２Ｒでは、デバイス６００は、ステッカーエフェクトアフォーダンス１２１４－２の選択１２２７を検出し、図１２Ｓでは、ステッカー１２３０を有するステッカーオプションメニュー１２２８を表示する。ステッカーオプションメニュー１２２８は、ステッカーオプションメニュー６５６及び８５６と同様であり、ステッカー１２３０は、ステッカー６５８及び８５８と同様である。 In FIG. 12R, device 600 detects selection 1227 of sticker effect affordance 1214-2, and in FIG. 12S, displays sticker options menu 1228 with sticker 1230. Sticker options menu 1228 is similar to sticker options menus 656 and 856, and sticker 1230 is similar to sticker 658 and 858.

ステッカー１２３０は、図６Ｕ～図６ＡＤ、図８ＡＨ～図８ＡＫ、及び図８ＡＲ～図８ＡＹに関して上述したのと同様の方法で、対応するステッカーをデバイス画像データ１２０１に適用するために選択されてもよい。一部の実施形態では、ステッカー１２３０を参加者画像データ１２０４に適用することができる。 The stickers 1230 may be selected to apply the corresponding sticker to the device image data 1201 in a manner similar to that described above with respect to Figures 6U-6AD, 8AH-8AK, and 8AR-8AY. In some embodiments, the stickers 1230 may be applied to the participant image data 1204.

図１２Ｔ～図１２ＡＡは、デバイス画像データ１２０１にステッカーを適用し、変更する処理を示す。デバイス６００は、眼鏡ステッカー１２３０－１の選択を検出し、眼鏡ステッカー１２３０－１をデバイス画像データ１２０１に表示する。デバイス６００はまた、後続のジェスチャを検出して、ロボットアバター１２２２上の眼鏡ステッカー１２３０－１を移動させ、サイズを変更し、及び配置する。これらの処理は、図６Ｕ～図６ＡＤ、図８ＡＨ～図８ＡＫ、及び図８ＡＲ～図８ＡＹに関して、上記で一層詳細に論じている。簡潔性のために、これらの処理の詳細は、ここでは繰り返さない。 FIGS. 12T-12AA illustrate processes for applying and modifying stickers to device image data 1201. Device 600 detects the selection of glasses sticker 1230-1 and displays glasses sticker 1230-1 in device image data 1201. Device 600 also detects subsequent gestures to move, resize, and position glasses sticker 1230-1 on robot avatar 1222. These processes are discussed in more detail above with respect to FIGS. 6U-6AD, 8AH-8AK, and 8AR-8AY. For the sake of brevity, the details of these processes will not be repeated here.

一部の実施形態では、選択されたステッカー１２３０は、ユーザーがデバイス画像データ１２０１にステッカーを配置するまで、ライブ通信セッションの他の参加者には見ることができない。一部の実施形態では、配置されたステッカー１２３０に対する変更は、変更が完了するまで他の参加者には見えない。一部の実施形態では、いったん選択されたステッカーがユーザインタフェース１２００内のデバイス画像データ１２０１上に現れると、たとえユーザがステッカー１２３０をまだ配置していないとしても、ビデオ通信セッションの参加者はステッカーを見ることができる。同様に、たとえユーザがステッカーの配置をまだ変更していても、ステッカーの継続的な変更がライブビデオ通信セッションの他の参加者に見えるように、配置されたステッカーに対する変更が可視化される。 In some embodiments, the selected sticker 1230 is not visible to other participants in the live communication session until the user places the sticker on the device image data 1201. In some embodiments, changes to the placed sticker 1230 are not visible to other participants until the changes are complete. In some embodiments, once the selected sticker appears on the device image data 1201 in the user interface 1200, participants in the video communication session can see the sticker, even if the user has not yet placed the sticker 1230. Similarly, changes to the placed sticker are made visible so that ongoing changes to the sticker are visible to other participants in the live video communication session, even if the user is still changing the sticker's placement.

図１２ＡＢでは、ロボットアバター１２２２、眼鏡ステッカー１２３０－１がデバイス画像データ１２０１に適用され、オプション表示領域１２０６が表示される。デバイス６００は、ユーザインタフェース１２００上のジェスチャ１２３２を検出し、これに応じて、デバイス画像データ１２０１が、ユーザインタフェース１２００内の別の位置に任意選択的に移動するウインドウ１２０２内に表示されるように、図１２ＡＣでは、デバイス画像データ１２０１及び参加者画像データ１２０４の表示位置を切り替える。ビジュアルエフェクト（例えば、ロボットアバター１２２２及び眼鏡ステッカー１２３０－１）は、ウィンドウ１２０２に配置されたデバイス画像データ１２０１に表示される。 In FIG. 12AB, a robot avatar 1222 and eyeglasses sticker 1230-1 are applied to device image data 1201, and an options display area 1206 is displayed. Device 600 detects gesture 1232 on user interface 1200 and, in response, switches the display position of device image data 1201 and participant image data 1204 in FIG. 12AC, such that device image data 1201 is displayed in window 1202, which optionally moves to another position within user interface 1200. Visual effects (e.g., robot avatar 1222 and eyeglasses sticker 1230-1) are displayed on device image data 1201 placed in window 1202.

図１２ＡＤに示すように、ウィンドウ１２０２上のジェスチャ１２３３を受信したことに応じて（参加者画像データ１２０４を用いて位置を再び切り替えることにより）、デバイス画像データ１２０１を再拡大することができる。デバイス６００は、図１２ＡＥで切り替えられたデバイス画像データ１２０１及び参加者画像データ１２０４を、表示されたビジュアルエフェクト及びオプション表示領域１２０６と共に示す。エフェクトモードが有効化されているので、オプション表示領域１２０６が表示されると、ビジュアルエフェクトオプションアフォーダンス１２１４も表示される。 As shown in FIG. 12AD, in response to receiving gesture 1233 on window 1202 (by again switching positions with participant image data 1204), device image data 1201 can be re-magnified. Device 600 shows the switched device image data 1201 and participant image data 1204 in FIG. 12AE, along with the displayed visual effects and options display area 1206. Because effects mode is enabled, when the options display area 1206 is displayed, the visual effects option affordance 1214 is also displayed.

ライブビデオ通信セッションにおけるビジュアルエフェクトを表示するための前述の説明は、３人以上の参加者を有するライブビデオ通信セッションにも適用される。図１２ＡＦ～図１２ＡＰは、このような実施形態においてビジュアルエフェクトを適用するための様々な方法を示す。 The above description for displaying visual effects in a live video communication session also applies to live video communication sessions with three or more participants. Figures 12AF-12AP illustrate various methods for applying visual effects in such embodiments.

図１２ＡＦでは、デバイス６００は、デバイス画像データ１２０１をユーザウィンドウ１２５１に、及びそれぞれの参加者画像データ１２０４－１～１２０４－４をそれぞれの参加者ウィンドウ１２５５－１～１２５５－４に有するユーザインタフェース１２００表示する。 In FIG. 12AF, the device 600 displays a user interface 1200 having device image data 1201 in a user window 1251 and respective participant image data 1204-1 to 1204-4 in respective participant windows 1255-1 to 1255-4.

図１２ＡＧでは、デバイス６００は、ユーザインタフェース１２００上の入力１２５６を受信し、これに応じて、図１２ＡＨで、エフェクトアフォーダンス１２０８、カメラセレクタアフォーダンス１２１０、及びエンドアフォーダンス１２１２を有する、オプション表示領域１２０６を表示する。デバイス６００が入力１２５６を受信するときにはエフェクトモードが有効化されていないので、オプション表示領域１２０６が、ビジュアルエフェクトオプションアフォーダンス１２１４なしで表示される。 In FIG. 12AG, device 600 receives input 1256 on user interface 1200 and, in response, in FIG. 12AH, displays options display area 1206 with effects affordance 1208, camera selector affordance 1210, and end affordance 1212. Because effects mode is not enabled when device 600 receives input 1256, options display area 1206 is displayed without visual effects option affordance 1214.

図１２ＡＩでは、デバイス６００は、ビジュアルエフェクトモードを有効化する、エフェクトアフォーダンス１２０８上の入力１２５７を検出する。次いで、デバイス６００は、図１２ＡＪに示すように、拡大表示に拡張してユーザウィンドウ１２５１を表示し、ウィンドウ１２５１の背後にぼかしエフェクト１２５８を適用もしながら、オプション表示領域１２０６を拡張してビジュアルエフェクトオプションアフォーダンスス１２１４を表示する。拡張ウィンドウ１２５１は、図１２ＡＩに示すビューに戻るように選択可能なリターンアイコン１２６０を含む。 In FIG. 12AI, device 600 detects input 1257 on effects affordance 1208, which activates visual effects mode. Device 600 then expands to a magnified view to display user window 1251, as shown in FIG. 12AJ, and expands option display area 1206 to display visual effects option affordance 1214, while also applying a blur effect 1258 behind window 1251. Extended window 1251 includes a return icon 1260 that can be selected to return to the view shown in FIG. 12AI.

上述したように、ビジュアルエフェクトは、ビジュアルエフェクトオプションアフォーダンス１２１４を使用してデバイス画像データ１２０１に適用することができる。例えば、デバイス６００は、図１２Ｒ～図１２ＡＢに関して上述したものと一致する方法で、ステッカーを貼り付けることができる。図１２ＡＫ～図１２ＡＮは、デバイス画像データ１２５１内のユーザの顔に追加カスタマイズ可能なアバター１２６２を示す。例えば、図１２ＡＫでは、ヌルアバターオプション１２１８－１（アバターを表示することをやめるか、又は表示されたアバターを除去するかを選択可能）を含むアバターオプション１２１８を有するアバターオプションメニュー１２１６、カスタマイズ不可能なロボットアバターオプション１２１８－２、カスタマイズ可能なアバターオプション１２１８－３、及び新規アバターアフォーダンス１２６６（新規アバターアフォーダンス８１３と同様の方法で新規アバターを作成するために選択可能）を、デバイス６００に表示させる、アバターエフェクトアフォーダンス１２１４－１が選択される（１２６４）。カスタマイズ可能なアバターオプション１２１８－３は、上述したカスタマイズ可能なアバターオプション８３０－５と同様の方法でカスタマイズできる。 As described above, visual effects can be applied to the device image data 1201 using the visual effect option affordance 1214. For example, the device 600 can apply stickers in a manner consistent with that described above with respect to FIGS. 12R-12AB. FIGS. 12AK-12AN show an additional customizable avatar 1262 to the user's face in the device image data 1251. For example, in FIG. 12AK, the avatar effect affordance 1214-1 is selected (1264), which causes the device 600 to display an avatar option menu 1216 having avatar options 1218 including a null avatar option 1218-1 (selectable to cease displaying an avatar or remove a displayed avatar), a non-customizable robot avatar option 1218-2, a customizable avatar option 1218-3, and a new avatar affordance 1266 (selectable to create a new avatar in a manner similar to the new avatar affordance 813). Customizable avatar option 1218-3 can be customized in a similar manner to customizable avatar option 830-5 described above.

図１２ＡＭ～図１２ＡＮでは、カスタマイズ可能なアバターオプション１２１８－３が選択され、デバイス６００は、カスタマイズ可能なアバター１２７３を、ウィンドウ１２５１に表示されたデバイス画像データ１２０１内のユーザの顔に表示する。デバイス６００は、カメラ６０２の視野内に位置するユーザの顔の検出された変化に基づいて、カスタマイズ可能なアバター１２７３を変更する。デバイスは、本明細書で前述した先の実施形態に関して説明したように、ユーザの顔がカメラ６０２の視野内で検出されない場合を示す。 In Figures 12AM-12AN, customizable avatar option 1218-3 is selected, and device 600 displays customizable avatar 1273 over the user's face in device image data 1201 displayed in window 1251. Device 600 changes customizable avatar 1273 based on detected changes in the user's face located within the field of view of camera 602. The device indicates when the user's face is not detected within the field of view of camera 602, as described with respect to the previous embodiment earlier in this specification.

図１２ＡＮでは、デバイス６００は、リターンアイコン１２６０上の入力１２７４を検出し、これに応じて、図１２ＡＯに示すように、適用されたビジュアルエフェクト（例えば、カスタマイズ可能なアバター１２７３）を含みながら、デバイス画像データ１２０１をウィンドウ１２５１に表示する。図１２ＡＯに示す実施形態では、デバイス画像データ１２０１及び適用されたビジュアルエフェクトは、ライブビデオ通信セッションの他の参加者が見ることができる。ビジュアルエフェクトが有効化されるので、ビジュアルエフェクトオプションアフォーダンス１２１４及びエフェクトアフォーダンス１２０８が強調表示されて、オプション表示領域１２０６が表示される。 In FIG. 12AN, device 600 detects input 1274 on return icon 1260 and, in response, displays device image data 1201 in window 1251, including any applied visual effects (e.g., customizable avatar 1273), as shown in FIG. 12AO. In the embodiment shown in FIG. 12AO, device image data 1201 and the applied visual effects are visible to other participants in the live video communication session. Because the visual effects are enabled, visual effect option affordance 1214 and effect affordance 1208 are highlighted and option display area 1206 is displayed.

図１２ＡＯでは、デバイスは、ユーザインタフェース１２００上の入力１２７５を検出し、それに応じて、オプション表示領域１２０６を隠し、図１２ＡＰに示すように、様々な参加者ウィンドウ１２５５の位置をシフトし、サイズ変更する。一部の実施形態では、デバイス６００は、参加者が話しているときに、それぞれの参加者ウィンドウを拡大する。例えば、図１２ＡＰでは、デバイス６００は、参加者画像データ１２０４－２に表された女性からの音声１２７６（例えば、笑い声）を検出し、それに応じて、女性の参加者ウィンドウ１２５５－２を拡大する。 In FIG. 12AO, the device detects input 1275 on the user interface 1200 and, in response, hides the options display area 1206 and shifts and resizes the various participant windows 1255, as shown in FIG. 12AP. In some embodiments, the device 600 enlarges each participant window when the participant is speaking. For example, in FIG. 12AP, the device 600 detects audio 1276 (e.g., laughter) from the woman represented in participant image data 1204-2 and, in response, enlarges the woman's participant window 1255-2.

図１３Ａ～図１３Ｂは、一部の実施形態に係る、電子デバイスを使用してライブビデオ通信セッションアプリケーションにビジュアルエフェクトを表示するための方法を示すフロー図である。方法１３００は、表示装置を備えたデバイス（例えば、１００、３００、５００、６００）において実行される。方法１３００におけるいくつかの動作は、任意選択的に組み合わせられ、いくつかの動作の順序は任意選択的に変更され、いくつかの動作は任意選択的に省略される。 13A-13B are flow diagrams illustrating a method for displaying visual effects in a live video communication session application using an electronic device, according to some embodiments. Method 1300 is performed on a device (e.g., 100, 300, 500, 600) that includes a display device. Some operations in method 1300 are optionally combined, the order of some operations is optionally changed, and some operations are optionally omitted.

以下に説明するように、方法１３００は、ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための直感的な方法を提供する。この方法は、ビジュアルエフェクトを表示している際のユーザへの認知負担を軽減し、それによって、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作コンピューティングデバイスでは、ビジュアルエフェクトをユーザーがより迅速かつ効率的に表示できるようにすることで、電力を節約し、バッテリ充電間の時間を増大させる。 As described below, method 1300 provides an intuitive way to display visual effects in a live video communication session. This method reduces the cognitive burden on the user when displaying visual effects, thereby creating a more efficient human-machine interface. In battery-operated computing devices, allowing users to display visual effects more quickly and efficiently conserves power and increases the time between battery charges.

電子デバイス（例えば、６００）は、表示装置（例えば、６０１）を介して、ライブビデオ通信アプリケーションのライブビデオ通信ユーザインタフェース（例えば、１２００）を表示する（１３０２）。ライブビデオ通信ユーザインタフェースは、ライブビデオ通信セッションに参加している被写体の表現（例えば、１２０１）を含む（１３０４）。ライブビデオ通信セッションに参加している被写体の表現を含むことにより、ユーザは、ライブビデオ通信セッションの他の参加者（単数又は複数）を迅速かつ容易に認識することができる。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、ライブビデオ通信セッションに参加している被写体の表現は、電子デバイスに関連付けられたカメラ（例えば、６０２）によってキャプチャされた画像データを含む（１３０６）。一部の実施形態では、被写体は電子デバイスのユーザである。一部の実施形態では、ライブビデオ通信セッションに参加している被写体の表現は、第２の電子デバイスから電子デバイスに伝送された画像データを含む。一部の実施形態では、第２の電子デバイスは別のユーザのデバイスであり、被写体は他のユーザである。 An electronic device (e.g., 600) displays (1302) a live video communication user interface (e.g., 1200) of a live video communication application via a display device (e.g., 601). The live video communication user interface includes (1304) representations (e.g., 1201) of subjects participating in the live video communication session. Including representations of subjects participating in the live video communication session allows a user to quickly and easily identify other participant(s) in the live video communication session. Providing improved visual feedback to the user improves device usability, making the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and additionally reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently. In some embodiments, the representations of subjects participating in the live video communication session include image data captured by a camera (e.g., 602) associated with the electronic device (1306). In some embodiments, the subjects are users of the electronic device. In some embodiments, the representation of a subject participating in the live video communication session includes image data transmitted to the electronic device from a second electronic device. In some embodiments, the second electronic device is a device of another user, and the subject is the other user.

一部の実施形態では、ライブビデオ通信ユーザインタフェース（例えば、１２００）は、ライブビデオ通信セッションにおける第２の参加者の表現（例えば、１２０４）、及びライブビデオ通信セッションにおける第３の参加者の表現を更に含む。一部の実施形態では、ライブビデオ通信セッションにおける第２及び第３の参加者の表現の表示サイズが、参加者のすべての表現が画面上に収まるように調整される。第２及び第３の参加者の表現のサイズを画面に合わせるように調整することにより、ユーザは、ユーザの表現に適用されるビジュアルエフェクトに対する彼らの反応を同時に見ることができ、それによって（例えば、ユーザが手動入力なしに他の参加者の反応を容易に見ることを可能にすることにより）、デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にし、加えて、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力消費を低減し、装置のバッテリ寿命を改善する。 In some embodiments, the live video communication user interface (e.g., 1200) further includes a representation (e.g., 1204) of a second participant in the live video communication session and a representation of a third participant in the live video communication session. In some embodiments, the display sizes of the representations of the second and third participants in the live video communication session are adjusted so that all of the participants' representations fit on the screen. Adjusting the sizes of the representations of the second and third participants to fit the screen allows users to simultaneously see their reactions to visual effects applied to the user's representation, thereby improving device usability and making the user device interface more efficient (e.g., by allowing users to easily see the other participants' reactions without manual input), as well as reducing power consumption and improving device battery life by allowing users to use the device more quickly and efficiently.

ライブビデオ通信ユーザインタフェース（例えば、１２００）は、第１のアフォーダンス（例えば、１２０８、エフェクトアフォーダンス）（例えば、カメラエフェクトモード（例えば、様々なカメラエフェクトをライブビデオ通信セッション内のユーザの表現に適用できるモード）をアクティブ化するための機能に関連付けられたアフォーダンス）を含む（１３０８）。 The live video communication user interface (e.g., 1200) includes a first affordance (e.g., 1208, an effects affordance) (e.g., an affordance associated with a function for activating a camera effects mode (e.g., a mode in which various camera effects can be applied to a user's expression within a live video communication session)) (1308).

一部の実施形態では、電子デバイス（例えば、６００）は、第１のアフォーダンス（例えば、１２０８）を表示する前に、ライブビデオ通信ユーザインタフェース（例えば、１２００）上の第１の入力（例えば、１２０５）（例えば、ビデオ通話オプションを表示するためのライブビデオ通信ユーザインタフェース上のタップジェスチャ）を検出し、この第１の入力は、ライブビデオ通信セッションに関連付けられた１つ以上のオプション（例えば、通話を終了するオプション、カメラビューを切り替えるオプションなど）を表示する要求に対応する。一部の実施形態では、電子デバイスは、第１の入力を検出したことに応じて、ライブビデオ通信セッションに関連付けられた１つ以上のオプション（例えば、１２０８、１２１０、１２１２）を表示する。一部の実施形態では、電子デバイスは、第１のアフォーダンス（例えば、１２０８）を表示する。 In some embodiments, the electronic device (e.g., 600) detects a first input (e.g., 1205) on the live video communication user interface (e.g., 1200) (e.g., a tap gesture on the live video communication user interface to display video call options) before displaying the first affordance (e.g., 1208), where the first input corresponds to a request to display one or more options associated with the live video communication session (e.g., an option to end the call, an option to switch camera views, etc.). In some embodiments, the electronic device displays one or more options (e.g., 1208, 1210, 1212) associated with the live video communication session in response to detecting the first input. In some embodiments, the electronic device displays the first affordance (e.g., 1208).

電子デバイス（例えば、６００）は、第１のアフォーダンス（例えば、１２０８）に向けられたジェスチャ（例えば、１２１３）を検出する（１３１０）。第１のアフォーダンスに向けられたジェスチャを検出する（１３１２）ことに応じて、電子デバイスはカメラエフェクトモードをアクティブ化する（１３１４）。 The electronic device (e.g., 600) detects (1310) a gesture (e.g., 1213) directed toward a first affordance (e.g., 1208). In response to detecting (1312) a gesture directed toward the first affordance, the electronic device activates (1314) a camera effects mode.

一部の実施形態では、第１のアフォーダンス（例えば、１２０８）に向けられたジェスチャを検出したことに応じて、電子デバイス（例えば、６００）は、ビジュアルエフェクトの第１のタイプに関連付けられた第１のビジュアルエフェクトアフォーダンス、及びビジュアルエフェクトの第１のタイプとは異なるビジュアルエフェクトの第２のタイプに関連付けられた第２のビジュアルエフェクトアフォーダンス、並びに任意選択的に、ビジュアルエフェクトの第１のタイプ及びビジュアルエフェクトの第２のタイプとは異なる、ビジュアルエフェクトの第３のタイプに関連付けられた第３のビジュアル関連付けられたエフェクトアフォーダンス（例えば、ステッカーアフォーダンス１２１４－２、アバターアフォーダンス１２１４－１、フルスクリーンエフェクトにアフォーダンス）を表示する。一部の実施形態では、ステッカーアフォーダンスは、ステッカーがライブビデオ通信セッションに参加している被写体の表現内に表示されるビジュアルエフェクトに関連付けられている。一部の実施形態では、アバターアフォーダンスは、仮想アバターがライブビデオ通信セッションに参加している被写体の表現上に表示されるビジュアルエフェクトに関連付けられている。一部の実施形態では、フルスクリーンエフェクトは、ライブビデオ通信セッションの参加者の前、背後、及び／又はその上に、紙吹雪又は風船などのグラフィカルオブジェクトが表示されるビジュアルエフェクトを含む。 In some embodiments, in response to detecting a gesture directed toward the first affordance (e.g., 1208), the electronic device (e.g., 600) displays a first visual effect affordance associated with a first type of visual effect, a second visual effect affordance associated with a second type of visual effect different from the first type of visual effect, and, optionally, a third visual effect affordance associated with a third type of visual effect different from the first type of visual effect and the second type of visual effect (e.g., sticker affordance 1214-2, avatar affordance 1214-1, full-screen effect affordance). In some embodiments, the sticker affordance is associated with a visual effect in which a sticker is displayed within a representation of a subject participating in the live video communication session. In some embodiments, the avatar affordance is associated with a visual effect in which a virtual avatar is displayed on a representation of a subject participating in the live video communication session. In some embodiments, the full-screen effect includes a visual effect in which graphical objects, such as confetti or balloons, are displayed in front of, behind, and/or over participants in the live video communication session.

一部の実施形態では、電子デバイス（例えば、６００）は、あるタイプのビジュアルエフェクトに関連付けられたアフォーダンス（例えば、ステッカーアフォーダンス１２１４－２、アバターアフォーダンス１２１４－１、フルスクリーンエフェクトに関連付けられたアフォーダンス）のうちの１つの選択（例えば、１２１５）を検出する。一部の実施形態では、ビジュアルエフェクトに関連付けられたアフォーダンスの選択を検出したことに応じて、電子デバイスは、ビジュアルエフェクトに対応する複数のビジュアルエフェクトオプション（１２１８）を表示する。ビジュアルエフェクトに関連付けられたアフォーダンスの選択を検出したことに応じて、ビジュアルエフェクトに対応する複数のビジュアルエフェクトオプションを表示することにより、ユーザは、対応するビジュアルエフェクトオプションに迅速かつ容易にアクセスすることができる。追加表示されたコントロールによりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、ステッカーアフォーダンスは、静止グラフィカルオブジェクト（例えば、帽子、星、眼鏡など）の表現（例えば、ライブビデオ通信セッションに参加している被写体の表現）を画像データに表示することを含む、ビジュアルエフェクトに関連付けられる。一部の実施形態では、アバターアフォーダンスは、人の頭部の画像データが仮想アバターのグラフィック表現に置換されるように、仮想アバター（例えば、カスタマイズ可能な仮想アバター、又はカスタマイズ不可能な仮想アバター）の表現を表示することを含むビジュアルエフェクトと関連付けられる。一部の実施形態では、フルスクリーンエフェクトは、紙吹雪又は風船などのグラフィカルオブジェクトが、ライブビデオ通信セッションの参加者の前、背後、及び／又はその上に表示されるビジュアルエフェクトを含む。 In some embodiments, an electronic device (e.g., 600) detects selection (e.g., 1215) of one of affordances associated with a type of visual effect (e.g., sticker affordance 1214-2, avatar affordance 1214-1, affordance associated with a full-screen effect). In some embodiments, in response to detecting selection of the affordance associated with the visual effect, the electronic device displays multiple visual effect options (1218) corresponding to the visual effect. By displaying multiple visual effect options corresponding to the visual effect in response to detecting selection of the affordance associated with the visual effect, a user can quickly and easily access the corresponding visual effect options. Providing additional control options without cluttering the user interface with additional displayed controls improves device usability and makes the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently. In some embodiments, a sticker affordance is associated with a visual effect that includes displaying a representation of a static graphical object (e.g., a hat, a star, glasses, etc.) in the image data (e.g., a representation of a subject participating in the live video communication session). In some embodiments, an avatar affordance is associated with a visual effect that includes displaying a representation of a virtual avatar (e.g., a customizable virtual avatar or a non-customizable virtual avatar) such that the image data of a person's head is replaced with a graphical representation of the virtual avatar. In some embodiments, a full-screen effect includes a visual effect in which graphical objects such as confetti or balloons are displayed in front of, behind, and/or over participants in the live video communication session.

電子デバイス（例えば、６００）は、第１のアフォーダンスに向けられたジェスチャを検出すること（１３１２）に応じて、ライブビデオ通信セッションに参加している被写体の表現（例えば、１２０１）のサイズを増大させる（１３１６）。第１のアフォーダンスに向けられたジェスチャを検出すること（１３１２）に応じて、ライブビデオ通信セッションに参加している被写体の表現のサイズを増大させることにより、ユーザは、被写体の表現のサイズを迅速かつ容易に調整することができる。追加表示されたコントロールによりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、被写体の表現のサイズを増大することは、被写体の表示された表現の位置を、ライブビデオ通信セッションにおいて表示された参加者の位置に切り替えることを含む。 In response to detecting 1312 a gesture directed toward the first affordance, the electronic device (e.g., 600) increases 1316 the size of a representation (e.g., 1201) of a subject participating in the live video communication session. In response to detecting 1312 a gesture directed toward the first affordance, increasing the size of the representation of the subject participating in the live video communication session allows a user to quickly and easily adjust the size of the subject's representation. Providing additional control options without cluttering the user interface with additional displayed controls improves device usability, makes the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and reduces device power usage and improves battery life by allowing the user to use the device more quickly and efficiently. In some embodiments, increasing the size of the representation of the subject includes switching the location of the displayed representation of the subject to the location of a displayed participant in the live video communication session.

一部の実施形態では、カメラエフェクトモードがアクティブ化されている間に（１３１８）、電子デバイス（例えば、６００）は、エフェクトオプションアフォーダンス（例えば、ライブビデオ通信セッションに参加している被写体の表現にビジュアルエフェクトを表示するための機能に関連付けられた選択可能なアイコン）の選択を検出する（１３２０）。一部の実施形態では、エフェクトオプションアフォーダンスは、ステッカーアフォーダンス、アバターアフォーダンス、又は紙吹雪若しくは風船などのフルスクリーンエフェクトに関連付けられたアフォーダンスである。 In some embodiments, while the camera effects mode is activated (1318), the electronic device (e.g., 600) detects (1320) the selection of an effects option affordance (e.g., a selectable icon associated with a feature for displaying a visual effect on a representation of a subject participating in the live video communication session). In some embodiments, the effects option affordance is a sticker affordance, an avatar affordance, or an affordance associated with a full-screen effect such as confetti or balloons.

一部の実施形態では、エフェクトオプションアフォーダンスの選択を検出したことに応じて、電子デバイスは、ライブビデオ通信セッションに参加している被写体の表現の外観を、選択されたエフェクトオプションアフォーダンスに関連付けられたビジュアルエフェクト（例えば、ステッカー、アバター、又はフルスクリーンエフェクトを表示すること）に基づいて変更する（１３２２）。選択されたエフェクトオプションアフォーダンスに関連付けられたビジュアルエフェクトに基づいて、ライブビデオ通信セッションに参加している被写体の表現の外観を変更することにより、選択されたビジュアルエフェクトの適用が成功したという視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、ステッカーアフォーダンスの選択を検出すること応じて、ライブビデオ通信セッションに参加しているユーザーの表現が、選択されたステッカーを表示するように変更される。一部の実施形態では、アバターアフォーダンスの選択を検出すること応じて、ライブビデオ通信セッションに参加しているユーザーの表現が、ユーザの顔に位置するアバターを表示するように変更される。一部の実施形態では、フルスクリーンエフェクトに関連付けられたアフォーダンスの選択を検出することに応じて、フルスクリーンエフェクトが、ライブビデオ通信セッションに参加しているユーザの表現に表示される（例えば、紙吹雪が、ユーザの表現の前、背後、及びその上に落ちていくように表示される）。 In some embodiments, in response to detecting selection of the effect option affordance, the electronic device modifies (1322) the appearance of a representation of a subject participating in the live video communication session based on a visual effect associated with the selected effect option affordance (e.g., displaying a sticker, avatar, or full-screen effect). Modifying the appearance of the representation of the subject participating in the live video communication session based on the visual effect associated with the selected effect option affordance provides visual feedback that the selected visual effect was successfully applied. Providing improved visual feedback to the user improves device usability, makes the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and additionally reduces device power usage and improves battery life by allowing the user to use the device more quickly and efficiently. In some embodiments, in response to detecting selection of the sticker affordance, a representation of a user participating in the live video communication session is modified to display the selected sticker. In some embodiments, in response to detecting selection of the avatar affordance, a representation of a user participating in the live video communication session is modified to display an avatar positioned on the user's face. In some embodiments, in response to detecting a selection of an affordance associated with a full-screen effect, a full-screen effect is displayed on a representation of a user participating in the live video communication session (e.g., confetti is displayed falling in front of, behind, and on top of the user's representation).

一部の実施形態では、電子デバイス（例えば、６００）は、ライブビデオ通信ユーザインタフェース（例えば、１２００）上の、ライブビデオ通信セッションに参加している被写体の表現のサイズを縮小する要求に対応する第２の入力を検出する。一部の実施形態では、第２の入力を検出したことに応じて、電子デバイスは、選択されたエフェクトオプションアフォーダンスに関連付けられたビジュアルエフェクトに基づく変更された外観を有する、ライブビデオ通信セッションに参加している被写体の表現と、ライブビデオ通信セッションにおけるそれぞれの参加者の１つ以上の表現と、同時に表示する。第２の入力を検出したことに応じて、ライブビデオ通信セッションに参加している被写体の表現と、ライブビデオ通信セッションのそれぞれの参加者の１つ以上の表現とを同時に表示することにより、ユーザは、ライブビデオ通信の他の参加者を迅速かつ容易に（同時に）視認することができる。追加表示されたコントロールによりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、ライブビデオ通信セッションにおけるユーザの表現が、ライブビデオ通信セッションにおける他の参加者の表現と共に画面上に表示されるように、縮小される。 In some embodiments, the electronic device (e.g., 600) detects a second input on the live video communication user interface (e.g., 1200) corresponding to a request to reduce the size of a representation of a subject participating in the live video communication session. In some embodiments, in response to detecting the second input, the electronic device simultaneously displays a representation of the subject participating in the live video communication session and one or more representations of each participant in the live video communication session with an altered appearance based on a visual effect associated with the selected effect option affordance. By simultaneously displaying a representation of the subject participating in the live video communication session and one or more representations of each participant in the live video communication session in response to detecting the second input, a user can quickly and easily (simultaneously) view other participants in the live video communication. Providing additional control options without cluttering the user interface with additional displayed controls improves device usability and makes the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently. In some embodiments, a representation of a user in a live video communication session is scaled down so that it is displayed on the screen along with the representations of other participants in the live video communication session.

一部の実施形態では、カメラエフェクトモードがアクティブ化されている間に（１３１８）、電子デバイス（例えば、６００）は、ライブビデオ通信セッションに参加している被写体の表現（例えば、１２０１）の外観を変更して（１３２４）１つ以上のビジュアルエフェクトを表示する。一部の実施形態では、ビジュアルエフェクトがステッカーエフェクトである場合、ライブビデオ通信セッションに参加している被写体の表現の外観は、静的なグラフィカルオブジェクト（例えば、ステッカー）の表示を含むように変更される。一部の実施形態では、静的グラフィカルオブジェクト（例えば、ステッカー）は、ライブビデオ通信セッションに参加している被写体の表現と対話する。一部の実施形態では、ビジュアルエフェクトがアバターエフェクトである場合、ライブビデオ通信セッションに参加している被写体の表現の外観は、被写体の頭部を置換する仮想アバター（例えば、カスタマイズ可能な仮想アバター、又はカスタマイズ不可能な仮想アバター）の表現を表示するように変更される。一部の実施形態では、ビジュアルエフェクトがフルスクリーンエフェクトである場合、ライブビデオ通信セッションに参加している被写体の表現の外観は、ライブビデオ通信セッションの参加者の前、背後、及び／又はその上に表示されるグラフィカルオブジェクト（例えば、グラフィックな紙吹雪、又はグラフィックな風船）を表示するように変更される。 In some embodiments, while the camera effects mode is activated (1318), the electronic device (e.g., 600) modifies (1324) the appearance of a representation (e.g., 1201) of a subject participating in the live video communication session to display one or more visual effects. In some embodiments, if the visual effect is a sticker effect, the appearance of the representation of the subject participating in the live video communication session is modified to include the display of a static graphical object (e.g., a sticker). In some embodiments, the static graphical object (e.g., a sticker) interacts with the representation of the subject participating in the live video communication session. In some embodiments, if the visual effect is an avatar effect, the appearance of the representation of the subject participating in the live video communication session is modified to display a representation of a virtual avatar (e.g., a customizable virtual avatar or a non-customizable virtual avatar) that replaces the subject's head. In some embodiments, if the visual effect is a full-screen effect, the appearance of the representation of the subject participating in the live video communication session is modified to display graphical objects (e.g., graphical confetti or graphical balloons) that are displayed in front of, behind, and/or above the participants in the live video communication session.

一部の実施形態では、変更された外観は、ライブビデオ通信セッションの他の参加者に送信／伝送される。一部の実施形態では、データを送信することは、選択されたビジュアルエフェクトに基づいて行われた変更を表すデータ（例えば、別個のデータ）と一緒に、画像データ（例えば、カメラの視野からの画像データのリアルタイムストリーム）を送信することを含む。一部の実施形態では、データを送信することは、選択されたビジュアルエフェクトに基づいて行われた変更を表すデータと結合されたカメラの視野からの画像データを含む、コンポジットビデオデータを送信することを含む。 In some embodiments, the modified appearance is sent/transmitted to other participants in the live video communication session. In some embodiments, sending data includes sending image data (e.g., a real-time stream of image data from a camera's field of view) along with data (e.g., separate data) representing the modifications made based on the selected visual effect. In some embodiments, sending data includes sending composite video data including image data from the camera's field of view combined with data representing the modifications made based on the selected visual effect.

一部の実施形態では、カメラエフェクトモードがアクティブ化されている間に、電子デバイス（例えば、６００）は、ライブビデオ通信セッションに参加している被写体の表現（例えば、１２００）の外観を変更して仮想アバターを表示する。一部の実施形態では、電子デバイスは、電子デバイスの１つ以上のカメラ（例えば、６０２）の視野内の顔の変化を検出する。一部の実施形態では、電子デバイスは、顔の検出された変化に基づいて、仮想アバターの外観を変更する。顔の検出された変化に基づいて仮想アバターの外観を変更することにより、仮想アバターが顔に基づいている／関連付けられているという視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、仮想アバターは、ライブビデオ通信セッションに参加している被写体の動きを反映するように変更される。一部の実施形態では、顔の変化は、本明細書で論じるように、１つ以上の深度カメラ及び／又は深度マップを使用して検出される。 In some embodiments, while the camera effects mode is activated, the electronic device (e.g., 600) changes the appearance of a representation (e.g., 1200) of a subject participating in the live video communication session to display a virtual avatar. In some embodiments, the electronic device detects facial changes within the field of view of one or more cameras (e.g., 602) of the electronic device. In some embodiments, the electronic device changes the appearance of the virtual avatar based on the detected changes in the face. Changing the appearance of the virtual avatar based on the detected changes in the face provides visual feedback that the virtual avatar is based on/associated with the face. Providing improved visual feedback to the user improves device usability, makes the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and additionally reduces device power usage and improves battery life by allowing the user to use the device more quickly and efficiently. In some embodiments, the virtual avatar is changed to reflect the movements of a subject participating in the live video communication session. In some embodiments, facial changes are detected using one or more depth cameras and/or depth maps, as discussed herein.

一部の実施形態では、カメラエフェクトモードがアクティブ化されている間に、電子デバイス（例えば、６００）は、ライブビデオ通信セッションに参加している被写体の表現に第１のビジュアルエフェクト（例えば、ステッカー）を表示する。一部の実施形態では、電子デバイスは、第１のビジュアルエフェクトに対応する入力（例えば、タッチ入力）を検出する。一部の実施形態では、第１のビジュアルエフェクトに対応する入力を検出したことに応じて、入力が第１のタイプ（例えば、タッチアンドドラッグジェスチャ）であるとの判定に従って、電子デバイスは、大きさ（例えば、ジェスチャが移動する距離）及び入力の方向に基づいて、ライブビデオ通信セッションに参加している被写体の表現における第１のビジュアルエフェクトの位置を変更する。一部の実施形態では、第１のビジュアルエフェクトに対応する入力を検出したことに応じて、入力が第２のタイプ（例えば、ピンチ又はデピンチジェスチャ）であるとの判定に従って、電子デバイスは、入力の大きさ（例えば、ピンチ／デピンチジェスチャの接触点間の調整された距離）に基づいて、第１のビジュアルエフェクトのサイズを変更する。入力の大きさに基づいてライブビデオ通信セッションに参加している被写体の表現における第１のビジュアルエフェクトの位置を変更するか、又は入力のタイプに基づく入力の大きさ（例えば、ピンチ／デピンチジェスチャの接触点間の調整された距離）に基づいて第１のビジュアルエフェクトのサイズを変更することにより、ユーザは、（入力のタイプを単に変更することによって）ビジュアルエフェクトの位置又はサイズを迅速かつ容易に調整することができる。操作を行うために必要な入力の数を低減することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。 In some embodiments, while a camera effects mode is activated, an electronic device (e.g., 600) displays a first visual effect (e.g., a sticker) on a representation of a subject participating in the live video communication session. In some embodiments, the electronic device detects an input (e.g., a touch input) corresponding to the first visual effect. In some embodiments, in response to detecting the input corresponding to the first visual effect, and in accordance with a determination that the input is of a first type (e.g., a touch-and-drag gesture), the electronic device modifies a position of the first visual effect on the representation of the subject participating in the live video communication session based on the magnitude (e.g., the distance the gesture moves) and the direction of the input. In some embodiments, in response to detecting the input corresponding to the first visual effect, and in accordance with a determination that the input is of a second type (e.g., a pinch or de-pinch gesture), the electronic device modifies the size of the first visual effect based on the magnitude of the input (e.g., the adjusted distance between the contact points of a pinch/de-pinch gesture). By varying the position of a first visual effect on a representation of a subject participating in a live video communication session based on the magnitude of the input, or varying the size of the first visual effect based on the magnitude of the input based on the type of input (e.g., adjusted distance between contact points in a pinch/de-pinch gesture), a user can quickly and easily adjust the position or size of the visual effect (by simply changing the type of input). Reducing the number of inputs required to perform an operation improves device usability and makes the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

一部の実施形態では、第１のビジュアルエフェクトの位置を変更することは、以下の手順のうちの１つ以上を含む。入力（例えば、８８９）の終了を検出する前に、入力の大きさ及び方向に基づいて第１のビジュアルエフェクト（例えば、８５８－４）の動きを表示すること、第１のビジュアルエフェクト（例えば、ステッカー（８５８－４））が所定の位置（例えば、被写体の表情の一部（例えば、被写体の顔）に対応する位置）の境界領域を横切って移動したという判定に従って、第１のビジュアルエフェクトが境界領域を横切った（例えば、横切っている）というインジケーションを生成する（例えば、ブラケットを表示する（例えば、８９０）、又は触覚応答（例えば、８９２）を生成する）こと（例えば、図８ＢＧに示すように、被写体の顔の表現の回りにブラケットを表示する）。一部の実施形態では、所定の位置の境界領域内に交差しているとき（又は後に）、デバイスは所定の位置の周囲にブラケットを表示し、及び／又は触覚フィードバック（例えば、触知出力）を生成して、ステッカーが被写体の顔に配置され、ジェスチャの終了時に被写体の顔に配置されることになる（例えば、ステッカーが被写体の顔の表現との関係を有することになる、例えば、ステッカーがユーザーの顔とのステッカーの関係に基づく挙動を有することになる）ことを示す。一部の実施形態では、所定の位置の境界領域外へ交差しているとき（又は後に）、デバイスは、所定の位置の周囲にブラケットを表示し、及び／又はステッカーがもはや被写体の顔に配置されていないことを示す触覚フィードバックを生成し、ジェスチャが終了しても被写体の顔に配置されることはない（例えば、ステッカーが被写体の顔の表現と異なる関係を有することになる、例えば、ステッカーは、ユーザーの顔に対するステッカーの関係に基づいて異なる挙動を有することになる、例えば、ステッカーは被写体の顔から離れた位置に配置されることになる）ことを示す。一部の実施形態では、インジケーションは、触覚フィードバック（例えば、触知出力及び／若しくは音声出力）、又は視覚フィードバック（例えば、境界領域の視覚的表現、所定位置の周囲に表示されるブラケット）のうちの少なくとも１つである。 In some embodiments, changing the position of the first visual effect includes one or more of the following procedures: displaying movement of the first visual effect (e.g., 858-4) based on the magnitude and direction of the input before detecting the end of the input (e.g., 889); generating an indication (e.g., displaying a bracket (e.g., 890) or generating a haptic response (e.g., 892)) that the first visual effect has crossed (e.g., is crossing) a boundary region in accordance with a determination that the first visual effect (e.g., sticker (858-4)) has moved across a boundary region at a predetermined location (e.g., a location corresponding to a portion of the subject's facial expression (e.g., the subject's face)) (e.g., displaying a bracket around the subject's facial expression as shown in FIG. 8BG). In some embodiments, upon (or after) crossing into a bounding area of the predetermined location, the device displays a bracket around the predetermined location and/or generates haptic feedback (e.g., tactile output) to indicate that a sticker has been placed on the subject's face and will be placed on the subject's face upon termination of the gesture (e.g., the sticker will have a relationship with a representation of the subject's face, e.g., the sticker will have a behavior based on the sticker's relationship with the user's face). In some embodiments, upon (or after) crossing out of a bounding area of the predetermined location, the device displays a bracket around the predetermined location and/or generates haptic feedback to indicate that a sticker is no longer placed on the subject's face and will not be placed on the subject's face upon termination of the gesture (e.g., the sticker will have a different relationship with a representation of the subject's face, e.g., the sticker will have a different behavior based on the sticker's relationship to the user's face, e.g., the sticker will be placed away from the subject's face). In some embodiments, the indication is at least one of haptic feedback (e.g., tactile and/or audio output) or visual feedback (e.g., a visual representation of a bounding area, a bracket displayed around the predetermined location).

第１のビジュアルエフェクトが境界領域を横切った（又は、横切っている）というインジケーションを生成することにより、ユーザにジェスチャを終了させてモデル化された挙動を試みることを要求することなく、ステッカーの挙動及び配置が変更されたという視覚フィードバック及び／又は触覚を、ユーザに提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。 Generating an indication that the first visual effect has crossed (or is crossing) the bounding region provides the user with visual and/or tactile feedback that the behavior and placement of the sticker has changed, without requiring the user to terminate the gesture and attempt the modeled behavior. Providing the user with improved visual feedback improves device usability, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and additionally reduces device power usage and improves battery life by allowing the user to use the device more quickly and efficiently.

一部の実施形態では、第１のビジュアルエフェクトの位置を変更することは、第１の位置から第２の位置へ、第１のビジュアルエフェクトの動きを表示することを含む。一部の実施形態では、第１のビジュアルエフェクトのサイズを変更することは、第１の表示サイズから第２の表示サイズへ、第１のビジュアルエフェクトの遷移を表示することを含む。一部の実施形態では、ステッカーがディスプレイ上で動かされているか、又はサイズ変更される場合、ユーザ及びライブビデオ通信セッションの他の参加者が、ステッカーが変更されているときの中間の移動／サイズ変更を含む変更を見ることができるように、ステッカーの移動及び／又はサイズ変更が表示される。 In some embodiments, changing the position of the first visual effect includes displaying movement of the first visual effect from a first position to a second position. In some embodiments, changing the size of the first visual effect includes displaying a transition of the first visual effect from a first display size to a second display size. In some embodiments, when a sticker is being moved or resized on the display, the movement and/or resizing of the sticker is displayed so that the user and other participants in the live video communication session can see the changes, including the intermediate movement/resize as the sticker is being changed.

一部の実施形態では、第１のビジュアルエフェクトの位置を変更することは、中間位置で現れる第１のビジュアルエフェクトを表示することなく、第１の位置での出現から第２の位置での出現へ、第１のビジュアルエフェクトを遷移させることを含む。一部の実施形態では、第１のビジュアルエフェクトのサイズを変更することは、中間サイズを有する第１のビジュアルエフェクトを表示することなく、第１の表示サイズから第２の表示サイズへ、第１のビジュアルエフェクトを遷移させることを含む。一部の実施形態では、ステッカーをディスプレイ上で動かされているか、又はサイズ変更している間に、ステッカーの移動及び／又はサイズ変更が表示され、ユーザのみが、ステッカーが変更されているときの中間の移動／サイズ変更を含む変化を見ることができるが、ライブビデオ通信セッションの他の参加者は、ステッカーの中間の動き／サイズ変更を見ることができない。このように、他の参加者は、変更後のステッカー（又は、ステッカーへの更新）のみを見る。 In some embodiments, changing the position of the first visual effect includes transitioning the first visual effect from appearing in a first position to appearing in a second position without displaying the first visual effect appearing in an intermediate position. In some embodiments, changing the size of the first visual effect includes transitioning the first visual effect from a first display size to a second display size without displaying the first visual effect having an intermediate size. In some embodiments, while the sticker is being moved or resized on the display, the movement and/or resizing of the sticker is displayed so that only the user can see the changes, including the intermediate movement/resize as the sticker is being changed, but other participants in the live video communication session cannot see the intermediate movement/resize of the sticker. In this way, the other participants only see the changed sticker (or updates to the sticker).

一部の実施形態では、複数の参加者がライブビデオ通信セッションに参加しており、複数の参加者は、被写体（例えば、電子デバイスのユーザ）及び第１の遠隔参加者（例えば、第１の電子デバイスから離れた第２の電子デバイスのユーザ）を含む。一部の実施形態では、ライブビデオ通信ユーザインタフェース（例えば、１２００）は、第１の遠隔参加者の表現を更に含む。一部の実施形態では、第１の遠隔参加者の表現は、遠隔デバイス／遠隔カメラから受信した画像データ又はビデオデータを含む。一部の実施形態では、電子デバイスは、第１のアフォーダンスに向けられたジェスチャを検出したことに更に応じて、第１の遠隔参加者の表現のサイズを縮小する。 In some embodiments, multiple participants are participating in a live video communication session, the multiple participants including a subject (e.g., a user of an electronic device) and a first remote participant (e.g., a user of a second electronic device remote from the first electronic device). In some embodiments, the live video communication user interface (e.g., 1200) further includes a representation of the first remote participant. In some embodiments, the representation of the first remote participant includes image data or video data received from a remote device/remote camera. In some embodiments, the electronic device reduces the size of the representation of the first remote participant further in response to detecting a gesture directed toward the first affordance.

一部の実施形態では、複数の参加者がライブビデオ通信セッションに参加しており、複数の参加者は、被写体（例えば、電子デバイスのユーザ）及び第１の遠隔参加者（例えば、第１の電子デバイスから離れた第２の電子デバイスのユーザ）を含み、被写体の表現は、電子デバイス（例えば、６００）のカメラ（例えば、６０２）の視野のライブプレビュー（例えば、カメラの視野内にあるものを表す画像データのストリーム）である。一部の実施形態では、電子デバイスは、選択されたエフェクトオプションアフォーダンスに関連付けられたビジュアルエフェクトに基づいてライブビデオ通信セッションに参加している被写体の表現（例えば、１２０１）の外観を変更した後、ライブビデオ通信セッションに参加している被写体の表現の変更された外観に対応するデータを、複数の参加者のうちの少なくとも遠隔参加者に伝送する。一部の実施形態では、データを送信することは、選択されたビジュアルエフェクトに基づいて行われた変更を表すデータ（例えば、別個のデータ）と一緒に、画像データ（例えば、カメラの視野からの画像データのリアルタイムストリーム）を送信することを含む。一部の実施形態では、データを送信することは、選択されたビジュアルエフェクトに基づいて行われた変更を表すデータと結合されたカメラの視野からの画像データを含む、コンポジットビデオデータを送信することを含む。 In some embodiments, multiple participants are participating in a live video communication session, the multiple participants including a subject (e.g., a user of an electronic device) and a first remote participant (e.g., a user of a second electronic device remote from the first electronic device), and the representation of the subject is a live preview (e.g., a stream of image data representing what is in the camera's field of view) of a camera (e.g., 602) of the electronic device (e.g., 600). In some embodiments, the electronic device modifies the appearance of a representation (e.g., 1201) of the subject participating in the live video communication session based on a visual effect associated with a selected effect option affordance, and then transmits data corresponding to the modified appearance of the representation of the subject participating in the live video communication session to at least the remote participant of the multiple participants. In some embodiments, transmitting the data includes transmitting image data (e.g., a real-time stream of image data from the camera's field of view) together with data (e.g., separate data) representing the modifications made based on the selected visual effect. In some embodiments, transmitting the data includes transmitting composite video data including image data from the camera's field of view combined with data representing the modifications made based on the selected visual effect.

一部の実施形態では、電子デバイス（例えば、６００）は、第１アフォーダンスなしでライブビデオ通信ユーザインタフェース（例えば、１２００）を表示する。一部の実施形態では、電子デバイスは、ライブビデオ通信ユーザインタフェース（例えば、１２０６）上のタッチ入力（例えば、ビデオコールオプションを表示するライブビデオ通信ユーザインタフェース上のタップジェスチャ）を検出する。一部の実施形態では、タッチ入力を検出したことに応じて、カメラエフェクトモードがアクティブ化されているとの判定に従って、電子デバイスは、第１のアフォーダンスと複数のビジュアルエフェクトアフォーダンス（例えば、ステッカーアフォーダンス、アバターアフォーダンス、フルスクリーンエフェクトに関連付けられたアフォーダンス）とを含むライブビデオ通信オプションユーザインタフェースを表示する。一部の実施形態では、タッチ入力を検出したことに応じて、カメラエフェクトモードがアクティブ化されていないとの判定に従って、電子デバイスは、第１のアフォーダンスを含み、かつ、複数のビジュアルエフェクトアフォーダンスを除く、ライブビデオ通信オプションユーザインタフェースを表示する。第１のアフォーダンスを含み、及び複数のビジュアルエフェクトアフォーダンスを含むか、又は複数のビジュアルエフェクトアフォーダンスを除外するかのいずれかの、ライブビデオ通信オプションユーザーインタフェースを表示することにより、カメラエフェクトモードがアクティブ化されているか否かの判定に基づいて、カメラエフェクトモードが現在アクティブ化されているか否かを示す。更なるユーザ入力を必要とせずに、条件のセットが満たされたときに操作を行うことにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。 In some embodiments, an electronic device (e.g., 600) displays a live video communication user interface (e.g., 1200) without the first affordance. In some embodiments, the electronic device detects touch input on the live video communication user interface (e.g., 1206) (e.g., a tap gesture on the live video communication user interface displaying video call options). In some embodiments, in response to detecting the touch input and in accordance with a determination that a camera effects mode is activated, the electronic device displays a live video communication options user interface including the first affordance and multiple visual effect affordances (e.g., an affordance associated with a sticker affordance, an avatar affordance, and a full-screen effect). In some embodiments, in response to detecting the touch input and in accordance with a determination that a camera effects mode is not activated, the electronic device displays a live video communication options user interface including the first affordance and excluding the multiple visual effect affordances. Based on the determination of whether the camera effects mode is activated, displaying a live video communication options user interface that includes a first affordance and either includes a plurality of visual effects affordances or excludes the plurality of visual effects affordances indicates whether the camera effects mode is currently activated. Performing an operation when a set of conditions is met without requiring further user input improves device usability, makes the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and additionally reduces device power usage and improves battery life by allowing the user to use the device more quickly and efficiently.

方法１３００に関して上述された処理（例えば、図１３Ａ～図１３Ｂ）の詳細はまた、上記及び以下で説明される方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法７００は、方法１３００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターなどのビジュアルエフェクトが、メッセージングアプリケーションユーザインタフェースにおいて画像データに表示される。別の例では、方法９００は、方法１３００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターなどのビジュアルエフェクトが、カメラユーザインタフェースにおいて画像データに表示される。別の例では、方法１１００は、方法１３００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターなどのビジュアルエフェクトが、メディアユーザインタフェースにおいて画像データに表示される。別の例では、方法１５００は、方法１３００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターなどのビジュアルエフェクトが、カメラユーザインタフェースに対して画像データに表示される。簡潔にするために、これらの詳細は、以下では繰り返さない。 It should be noted that the details of the processing described above with respect to method 1300 (e.g., FIGS. 13A-13B) are also applicable in an analogous manner to the methods described above and below. For example, method 700 optionally includes one or more of the characteristics of the various methods described above with respect to method 1300. For example, visual effects such as stickers and virtual avatars are displayed on image data in a messaging application user interface. In another example, method 900 optionally includes one or more of the characteristics of the various methods described above with respect to method 1300. For example, visual effects such as stickers and virtual avatars are displayed on image data in a camera user interface. In another example, method 1100 optionally includes one or more of the characteristics of the various methods described above with respect to method 1300. For example, visual effects such as stickers and virtual avatars are displayed on image data in a media user interface. In another example, method 1500 optionally includes one or more of the characteristics of the various methods described above with respect to method 1300. For example, visual effects such as stickers and virtual avatars are displayed on image data for a camera user interface. For the sake of brevity, these details will not be repeated below.

図１４Ａ～図１４Ｍは、一部の実施形態に係る、カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す。これらの図におけるユーザインタフェースは、図１５Ａ～図１５Ｂにおける処理を含む、以下で説明する処理を例示するために使用される。 Figures 14A-14M show exemplary user interfaces for displaying visual effects in a camera application, according to some embodiments. The user interfaces in these figures are used to illustrate the processes described below, including the processes in Figures 15A-15B.

図１４Ａは、図８Ａ～図８ＢＱに関して上述したカメラアプリケーションユーザインタフェース８１５と同様の、カメラアプリケーションユーザインタフェース１４０５の実施形態を示す。カメラアプリケーションユーザインタフェース１４０５は、例えば、カメラ（例えば、背面カメラ又はカメラ６０２）の視野内に位置するオブジェクトを表すストリーミングされた画像データ（例えば、ライブカメラプレビュー、ライブカメラ記録、若しくはライブビデオ通信セッション）、又は、例えば写真若しくはビデオ録画などのメディアアイテム、などの画像データの表現を表示する（画像表示領域８２０と同様の）画像表示領域１４２０を含む。図１４Ａに示す実施形態では、画像表示領域１４２０は、カメラ６０２からのライブカメラプレビュー１４２０－１を示す。 14A illustrates an embodiment of a camera application user interface 1405 similar to the camera application user interface 815 described above with respect to FIGS. 8A-8BQ. The camera application user interface 1405 includes an image display area 1420 (similar to image display area 820) that displays a representation of image data, such as, for example, streamed image data (e.g., a live camera preview, a live camera recording, or a live video communication session) representing objects located within the field of view of a camera (e.g., the rear camera or camera 602), or media items, such as photographs or video recordings. In the embodiment illustrated in FIG. 14A, the image display area 1420 shows a live camera preview 1420-1 from camera 602.

図１４Ａに示す実施形態は、図８Ｆに示すものと同様である。画像表示領域１４２０は、カメラ６０２の視野内に位置する被写体１４２２の表現、及び被写体１４２２の表現の背後に表示される背景１４２６を示す。本明細書で論じるように、一部の実施形態では、カメラ６０２を使用してキャプチャされた画像データは、カメラ６０２の視野内のオブジェクトの深度を決定するために使用され得る深度データを含む。一部の実施形態では、デバイス６００は、検出されたこれらのオブジェクトの深度に基づいてオブジェクト（例えば、画像データ内の）を解析し、この判定を使用して、本明細書で論じるビジュアルエフェクトを適用する。例えば、デバイス６００は、被写体１４２２の表現をライブカメラプレビュー１４２０－１の前景にあるものとして、ユーザの背後に位置するオブジェクトをライブカメラプレビュー１４２０－１の背景にあるものとして、分類することができる。これらの背景オブジェクトは、ここでは背景１４２６と総称する。 14A is similar to that shown in FIG. 8F. Image display area 1420 shows a representation of an object 1422 located within the field of view of camera 602 and a background 1426 displayed behind the representation of object 1422. As discussed herein, in some embodiments, image data captured using camera 602 includes depth data that can be used to determine the depth of objects within the field of view of camera 602. In some embodiments, device 600 analyzes objects (e.g., in the image data) based on the detected depth of these objects and uses this determination to apply visual effects as discussed herein. For example, device 600 can classify the representation of object 1422 as being in the foreground of live camera preview 1420-1 and objects located behind the user as being in the background of live camera preview 1420-1. These background objects are collectively referred to herein as background 1426.

図１４Ａ及び図１４Ｂでは、被写体１４２２の表記は帽子１４２３を着用して示され、ひさしが被写体１４２２の前に突き出ており、被写体１４２２の表現上にアバターは表示されない。デバイス６００は、画像表示領域１４２０に仮想アバターを表示するように選択できるアバターオプション１４１０を有するアバターオプションメニュー１４０８（アバターオプションメニュー８２８と同様）を表示する。 14A and 14B, the representation of subject 1422 is shown wearing a hat 1423 with the peak projecting in front of subject 1422, and no avatar is displayed over the representation of subject 1422. Device 600 displays avatar options menu 1408 (similar to avatar options menu 828) having avatar options 1410 that can be selected to display a virtual avatar in image display area 1420.

図１４Ｂでは、デバイス６００は、アバターオプション１４１０－１上の入力１４１１を検出する。それに応じて、図１４Ｃでは、デバイス６００は、選択領域１４２９にアバターオプション１４１０－１を表示し、アバターオプション１４１０－１が選択されていることを示す触覚フィードバック１４１２（例えば、音声出力を含む又は含まない触知出力）を生成する。 In FIG. 14B, device 600 detects input 1411 on avatar option 1410-1. In response, in FIG. 14C, device 600 displays avatar option 1410-1 in selection area 1429 and generates haptic feedback 1412 (e.g., tactile output that may or may not include audio output) indicating that avatar option 1410-1 has been selected.

図１４Ｃに示すように、デバイス６００はまた、選択されたアバターオプション１４１０－１に対応する仮想アバター１４２１を表示するためにライブカメラプレビュー１４２０－１を更新する。アバター１４２１は、被写体１４２２及び背景１４２６の表現の他の部分の表示を維持しながら、被写体の帽子１４２３を含む被写体１４２２の表現の一部を重ね合わせられて表示される。図１４Ａ～図１４Ｋに示すように、デバイス６００は、（例えば、被写体の検出された動きに基づいて）被写体１４２２の表現及びアバター１４２１に対して判定された空間的関係に応じて、アバター１４２１を動的に変更して、アバター１４２１の特定の部分を隠すか又は表示する。これによって、アバター１４２１の外観が、被写体１４２２の表現の頭部上に物理的に配置される。 As shown in FIG. 14C, device 600 also updates live camera preview 1420-1 to display virtual avatar 1421 corresponding to the selected avatar option 1410-1. Avatar 1421 is displayed superimposed over a portion of the representation of subject 1422, including the subject's hat 1423, while maintaining visibility of other portions of the representation of subject 1422 and background 1426. As shown in FIGS. 14A-14K, device 600 dynamically modifies avatar 1421 to hide or reveal certain portions of avatar 1421 depending on the representation of subject 1422 and the spatial relationship determined for avatar 1421 (e.g., based on detected movement of the subject). This causes the appearance of avatar 1421 to be physically positioned over the head of the representation of subject 1422.

一部の実施形態では、アバター１４２１の動的変更は、カメラ６０２の視野内のオブジェクト（被写体（被写体１４２２の表現に対応する）及び背景（背景１４２６に対応する）を含む）の初期深度マップをキャプチャするために、１つ以上の深度センサ（例えば、深度カメラセンサ１７５）を使用して達成される。次いで、初期深度マップが変更され（例えば、初期深度マップのぼかし、フェーディング、又は平滑化遷移のうちの１つ以上を使用して）、アバターの表示部分と非表示部分との間の突然の遷移のインスタンスを減少させる。これにより、特に、アバターの様々な部分が被写体の動きに応じて隠され又は表示されるので、より流動的でアバター１４２１の動的外観を提供する。 In some embodiments, dynamic modification of avatar 1421 is achieved using one or more depth sensors (e.g., depth camera sensor 175) to capture an initial depth map of objects within the field of view of camera 602, including the subject (corresponding to a representation of subject 1422) and the background (corresponding to background 1426). The initial depth map is then modified (e.g., using one or more of blurring, fading, or smoothing transitions of the initial depth map) to reduce instances of abrupt transitions between visible and hidden portions of the avatar. This provides a more fluid and dynamic appearance of avatar 1421, particularly as various portions of the avatar are hidden or revealed in response to the subject's movements.

図１４Ｃでは、アバター１４２１は、アバター頭部の下方に位置して被写体の首部の表現上に表示される影１４３０を含み、被写体１４２２の表現上のアバター１４２１の存在によって投影された影を表す。一部の実施形態では、影１４３０の位置は、アバターの形状、並びに被写体１４２２の表現、アバター１４２１、及び光源（例えば、カメラ６０２の視野内で検出された光源、又はシミュレーションされた光源）の相対位置に基づいて決定される。 In FIG. 14C, avatar 1421 includes a shadow 1430 located below the avatar's head and displayed on a representation of the subject's neck, representing a shadow cast by the presence of avatar 1421 on a representation of subject 1422. In some embodiments, the position of shadow 1430 is determined based on the shape of the avatar and the relative positions of the representation of subject 1422, avatar 1421, and a light source (e.g., a detected light source within the field of view of camera 602 or a simulated light source).

デバイス６００は、被写体の肩の表現の前及び背後に垂れ下がった長い髪部を有するアバター１４２１を表示する。被写体の肩の表現に対する髪部の特定の部分の位置は、被写体１４２２の表現（及び被写体１４２２の表現の特定の部分（例えば、被写体の首部及び／又は肩の表現））の深度位置に対するアバター１４２１（アバター髪部を含む）の空間的位置を示す深度データに基づいて決定される。一部の実施形態では、動的に表示されるアバターの部分（例えば、アバターの一部は、被写体１４２２の表現との空間的関係に応じて表示又は非表示のいずれかとすることができる）は、被写体１４２２の表現に隣接する位置においてブレンドエフェクト１４３２を有するように示される。このブレンドエフェクトは、アバターの部分と被写体１４２２の表現との間の表示された遷移を滑らかにする。 Device 600 displays avatar 1421 with long hair hanging in front of and behind a representation of the subject's shoulders. The location of particular portions of the hair relative to the representation of the subject's shoulders is determined based on depth data that indicates the spatial location of avatar 1421 (including the avatar's hair) relative to the depth location of a representation of subject 1422 (and particular portions of the representation of subject 1422, such as a representation of the subject's neck and/or shoulders). In some embodiments, dynamically displayed portions of the avatar (e.g., portions of the avatar can be either visible or invisible depending on their spatial relationship to the representation of subject 1422) are shown with a blending effect 1432 adjacent to the representation of subject 1422. This blending effect smooths the displayed transition between the portions of the avatar and the representation of subject 1422.

デバイス６００は、被写体の頭部と顔の検出された変化に応じて、アバター１４２１を変更する。例えば、図１４Ｄ～図１４Ｆに示すように、デバイス６００は、ウインクして笑顔になりながら、横を向いた被写体の頭部を検出し、これに応じて、アバターの動きに基づいて影１４３０の位置を調整もしながら、アバター１４２１を変更してこれらの同じ動きを反映する（例えば、アバター１４２１は、アバター頭部がウインクと笑顔と共に斜めに向いて示される）。アバター頭部の動きは、被写体１４２２の表現に対するアバター髪部の空間的位置に影響を及ぼす。その結果、デバイス６００は、変更された空間的関係に基づいてアバターのいくつかの部分を動的に変更する。例えば、頭部が回転するにつれて、デバイス６００は、被写体の肩の表現上、及び／又は被写体の首部の表現の背後にわたって移動する、参照番号１４２４－１に示すアバター髪部の一部を表示する（例えば、デバイス６００は、アバターの髪部の一部を隠す）。逆に、アバター頭部が回転するにつれて、デバイス６００はまた、アバター頭部を回す前に、以前は隠されていた（例えば、被写体の首部又は肩の表現の背後に以前は隠されていた）、参照番号１４２４－２に示すアバター髪部の部分も表示する（例えば、明らかにする）。このように、デバイス６００は、それに応じてアバターの動きに影響を及ぼすユーザーの位置の変化に基づいて、アバターの動的部分（アバター髪部の一部など）を隠すか、又は表示する。 Device 600 modifies avatar 1421 in response to detected changes in the subject's head and face. For example, as shown in FIGS. 14D-14F, device 600 detects the subject's head turning to the side while winking and smiling, and accordingly modifies avatar 1421 to reflect these same movements (e.g., avatar 1421 is shown with the avatar head facing diagonally with a wink and a smile), while also adjusting the position of shadow 1430 based on the avatar's movements. The movements of the avatar's head affect the spatial position of the avatar's hair relative to the representation of subject 1422. As a result, device 600 dynamically modifies some parts of the avatar based on the changed spatial relationship. For example, as the head rotates, device 600 displays a portion of the avatar's hair, shown at reference numeral 1424-1, that moves over a representation of the subject's shoulders and/or behind a representation of the subject's neck (e.g., device 600 obscures a portion of the avatar's hair). Conversely, as the avatar head rotates, device 600 also displays (e.g., reveals) portions of the avatar hair, shown at reference numeral 1424-2, that were previously hidden (e.g., previously hidden behind a representation of the subject's neck or shoulders) prior to rotating the avatar head. In this manner, device 600 hides or displays dynamic portions of the avatar (e.g., portions of the avatar hair) based on changes in the user's position, which affect the avatar's movement accordingly.

一部の実施形態では、アバター１４２１の部分は、被写体１４２２、又は深度マップ内の任意の他のオブジェクトの表現に対するいかなる空間的関係にかかわらず、持続的に表示される。例えば、被写体１４２２の表現は、被写体１４２２の表現の前に突き出したひさしを含む帽子１４２３を着用しているが、アバター頭部１４２１－３及びアバター顔部１４２１－４は、被写体の頭部及び帽子１４２３の表現の前に持続的に表示される。これにより、カメラ６０２の視野内のオブジェクト、特に、被写体１４２２の表現上のオブジェクト（又は被写体の表現の一部）が、アバター１４２１の一部（具体的には、被写体１４２２の表現上に配置されたアバター１４２１の外観をレンダリングするように常に表示されるべきアバター１４２１の部分）を通り抜けて現れることを防止する。一部の実施形態では、アバター１４２１の持続的に表示される部分には、アバターの顔（１４２１－４）、頭部（１４２１－３）、及びアバターの髪部の部分（１４２１－１）を含むことができる。 In some embodiments, portions of avatar 1421 are persistently displayed regardless of any spatial relationship to representations of subject 1422 or any other objects in the depth map. For example, the representation of subject 1422 is wearing hat 1423 that includes a peak that protrudes in front of the representation of subject 1422, but avatar head 1421-3 and avatar face 1421-4 are persistently displayed in front of the representations of the subject's head and hat 1423. This prevents objects in the field of view of camera 602, and in particular objects on the representation of subject 1422 (or parts of the subject's representation), from appearing through parts of avatar 1421 (specifically, parts of avatar 1421 that should always be displayed to render the appearance of avatar 1421 positioned over the representation of subject 1422). In some embodiments, the persistently displayed portions of the avatar 1421 may include the avatar's face (1421-4), head (1421-3), and hair portion (1421-1) of the avatar.

別の例として、図１４Ｄは、カメラ６０２に向かって被写体１４２２の表現の前に差し出された被写体の手１４２５の表現を示す。手１４２５の表現は被写体１４２２の表現のかなり手前に配置されているが、手１４２５の表現の空間位置が、アバター髪部分１４２１－１よりも明らかにカメラ６０２に近いにもかかわらず、アバター髪部の部分１４２１－１は、手１４２５の表示の一部の上に表示される。明瞭にするため、アバター髪部分１４２１－１が動的（例えば、持続的に表示されていない）であった場合、以下に論じるアバター髪部（例えば、１４２１－２）の動的部分と同様に、アバター髪部分１４２１－１は図１４Ｄの手１４２５の表現の背後に隠され得る。 As another example, FIG. 14D shows a representation of a subject's hand 1425 held out in front of a representation of subject 1422 towards camera 602. Although the representation of hand 1425 is positioned significantly in front of the representation of subject 1422, avatar hair portion 1421-1 is displayed over a portion of the representation of hand 1425, even though the spatial location of the representation of hand 1425 is clearly closer to camera 602 than avatar hair portion 1421-1. For clarity, if avatar hair portion 1421-1 were dynamic (e.g., not persistently displayed), avatar hair portion 1421-1 could be hidden behind the representation of hand 1425 in FIG. 14D, similar to the dynamic portions of avatar hair portions (e.g., 1421-2) discussed below.

図１４Ｅは、被写体の肩の表現に近い、被写体１４２２に向かって戻された手１４２５の表現を示す。手１４２５の表現が被写体１４２２の表現に近づくにつれて、デバイス６００は、手１４２５の表現の空間的位置がアバター髪部の動的部分内に移動すると判定する。その結果、デバイス６００は、手１４２５の表現の前に配置された追加のアバター髪部１４２１－２を表示する。同様に、図１４Ｆは、被写体１４２２の表現に一層近づくように配置された手１４２５の表現、及び手１４２５の表現の前に表示されたより大量の髪部を示す。図１４Ｄ～図１４Ｆでは、アバター髪部と被写体の右肩１４２２－１の表現との空間的関係は、頭部を回転した後も変化しないので、被写体の右肩１４２２－１の表現の前に位置する髪部の量は変化しない。 Figure 14E shows a representation of a hand 1425 moved back toward subject 1422, near a representation of the subject's shoulder. As the representation of hand 1425 moves closer to the representation of subject 1422, device 600 determines that the spatial position of the representation of hand 1425 moves within the dynamic portion of the avatar hair. As a result, device 600 displays an additional avatar hair portion 1421-2 positioned in front of the representation of hand 1425. Similarly, Figure 14F shows a representation of hand 1425 positioned closer to the representation of subject 1422, with a larger amount of hair displayed in front of the representation of hand 1425. In Figures 14D-14F, the spatial relationship between the avatar hair portion and the representation of the subject's right shoulder 1422-1 does not change after the head is rotated, so the amount of hair positioned in front of the representation of the subject's right shoulder 1422-1 does not change.

図１４Ｇでは、被写体はニュートラルな表情を有する正面向きの位置に戻り、デバイス６００は、それに応じてアバター１４２１を変更する。 In Figure 14G, the subject returns to a forward-facing position with a neutral expression, and device 600 changes avatar 1421 accordingly.

図１４Ｈでは、被写体が見上げると、デバイス６００はそれに応じてアバター１４２１を変更する。デバイス６００は、アバター頭部の下側を明らかにするために頭部が上方に傾いたアバター１４２１を示し、アバター１４２１は、被写体の首部の表現がアバター１４２１と交差する位置においてブレンドエフェクト１４３４を含む。一部の実施形態では、ブレンドエフェクト１４３４は、ブレンドエフェクト１４３２と同様である。図１４Ｈでは、影１４３０もまた、アバターの頭部の傾斜した位置に基づいて調節される（例えば、アバターの顎の下に動かされる）。アバター１４２１が見上げているとき、被写体の首部の表現の背後に位置するアバター髪部は、被写体の首部の表現の背後に隠れたままであり、被写体の首部の表現を通り抜けて突き出ることはない。 In FIG. 14H, when the subject looks up, device 600 modifies avatar 1421 accordingly. Device 600 shows avatar 1421 with its head tilted upward to reveal the underside of the avatar's head, and avatar 1421 includes blending effect 1434 where the representation of the subject's neck intersects with avatar 1421. In some embodiments, blending effect 1434 is similar to blending effect 1432. In FIG. 14H, shadow 1430 is also adjusted based on the tilted position of the avatar's head (e.g., moved below the avatar's chin). When avatar 1421 looks up, avatar hair that is located behind the representation of the subject's neck remains hidden behind the representation of the subject's neck and does not protrude through the representation of the subject's neck.

図１４Ｉ～図１４Ｊは、本開示の一実施形態に係る、異なるアバターの選択を示す。 Figures 14I-14J illustrate the selection of different avatars according to one embodiment of the present disclosure.

図１４Ｋ～図１４Ｍでは、デバイス６００は、被写体の頭部及び首部の表現上に配置されたユニコーンアバター１４３５を有する被写体１４２２の表現を示す。ユニコーンアバター１４３５は、頭部分１４３５－１、及びたてがみ１４３５－３を含む首部分１４３５－２を含む。被写体の首部の表現が表示されないように、首部分１４３５－２は、被写体の首部の表現の周りに表示される。ユニコーン首部分１４３５－２が被写体の首部の表現の基部と出会うところで、ブレンドエフェクト１４３８が表示される。ブレンドエフェクト１４３８は、本明細書で論じる他のブレンドエフェクトと同様である。 In Figures 14K-14M, device 600 shows a representation of subject 1422 having a unicorn avatar 1435 positioned over a representation of the subject's head and neck. Unicorn avatar 1435 includes a head portion 1435-1 and a neck portion 1435-2, which includes a mane 1435-3. Neck portion 1435-2 is displayed around the representation of the subject's neck so that the representation of the subject's neck is not displayed. Where unicorn neck portion 1435-2 meets the base of the representation of the subject's neck, a blending effect 1438 is displayed. Blending effect 1438 is similar to other blending effects discussed herein.

ユニコーンアバター１４３５はまた、ユニコーンアバター１４３５の一部上、及び被写体１４３２の表現上に表示される影１４３６（例えば、アバターによって被写体の表現上へ投影される影の表現）を含む。一部の実施形態では、表示された影は、アバターの形状、及びアバターと被写体１４３２の表現との光源（例えば、カメラ６０２の視野内で検出された光源、又はシミュレーションされた光源）に対する相対的位置に基づいて決定された形状及び位置を有する。図１４Ｋ～図１４Ｍに示すように、影１４３６はユニコーンアバター１４３５の動きに応じて移動する。図１４Ｋでは、影１４３６は、（ユニコーンアバターの顔の細長い形状のために）細長い形状を有し、首部分１４３５－２上及び被写体１４２２の表現の胸部上に配置される。図１４Ｌでは、頭部分１４３５－１が側方に回転すると、追加の首部分１４３５－２及びたてがみ１４３５－３を明らかにする。図１４Ｋのユニコーンアバター１４３５の背面上に位置していた、たてがみ１４３５－３の部分１４３５－４は、被写体の肩１４２２－１及びアバター首部分１４３５－２の前に位置してここでは示されている。影１４３６が横に移動すると、頭部分１４３５－１の下に（例えば、首部分１４３５－２上に）、次いで被写体１４２２の表現の肩の上に部分的に配置される。図１４Ｍでは、頭部分１４３５－１は前方を向いて傾斜しており、影１４３６は頭部分１４３５－１の下に（首部分１４３５－２上に）位置しており、頭部分１４３５－１の上向き傾斜のためにサイズが縮小されている。加えて、頭部が上方に傾けられると、たてがみ１４３５－３は首部分１４３５－２の背面上に位置したままであり、首部分を通り抜けては表示されない。 Unicorn avatar 1435 also includes a shadow 1436 (e.g., a representation of a shadow cast by the avatar onto the representation of the subject) that is displayed over a portion of unicorn avatar 1435 and over the representation of subject 1432. In some embodiments, the displayed shadow has a shape and position determined based on the shape of the avatar and the relative positions of the avatar and the representation of subject 1432 with respect to a light source (e.g., a light source detected in the field of view of camera 602 or a simulated light source). As shown in Figures 14K-14M, shadow 1436 moves in response to the movement of unicorn avatar 1435. In Figure 14K, shadow 1436 has an elongated shape (due to the elongated shape of the unicorn avatar's face) and is positioned over neck portion 1435-2 and over the chest of the representation of subject 1432. In Figure 14L, head portion 1435-1 rotates laterally to reveal additional neck portion 1435-2 and mane 1435-3. Portion 1435-4 of mane 1435-3, which was located on the back of unicorn avatar 1435 in FIG. 14K, is now shown positioned in front of the subject's shoulder 1422-1 and avatar neck portion 1435-2. As shadow 1436 moves laterally, it is positioned below head portion 1435-1 (e.g., above neck portion 1435-2) and then partially above the shoulder of the representation of subject 1422. In FIG. 14M, head portion 1435-1 is tilted forward, and shadow 1436 is positioned below head portion 1435-1 (over neck portion 1435-2) and has reduced in size due to the upward tilt of head portion 1435-1. Additionally, as the head is tilted upward, mane 1435-3 remains positioned on the back of neck portion 1435-2 and does not appear to pass through the neck portion.

図１５Ａ～図１５Ｂは、一部の実施形態に係る、電子デバイスを使用してカメラアプリケーションにビジュアルエフェクトを表示するための方法を示すフロー図である。方法１５００は、１つ以上のカメラと表示装置とを備えたデバイス（例えば、１００、３００、５００、６００）において実行される。方法１５００におけるいくつかの動作は、任意選択的に組み合わせられ、いくつかの動作の順序は任意選択的に変更され、いくつかの動作は任意選択的に省略される。 15A-15B are flow diagrams illustrating a method for displaying visual effects in a camera application using an electronic device, according to some embodiments. Method 1500 is performed on a device (e.g., 100, 300, 500, 600) that includes one or more cameras and a display device. Some operations in method 1500 are optionally combined, the order of some operations is optionally changed, and some operations are optionally omitted.

以下に説明するように、方法１５００は、カメラアプリケーションにビジュアルエフェクトを表示するための直感的な仕方を提供する。この方法は、カメラアプリケーションにおいて閲覧される画像にビジュアルエフェクトを適用するためのユーザの認知負担を軽減し、それによって、より効率的なヒューマン－マシンインタフェースを作り出す。バッテリ動作コンピューティングデバイスでは、画像にビジュアルエフェクトをユーザーがより迅速かつ効率的に表示できるようにすることで、電力を節約し、バッテリ充電間の時間を増大させる。 As described below, method 1500 provides an intuitive way to display visual effects in a camera application. This method reduces the cognitive burden on a user to apply visual effects to images viewed in the camera application, thereby creating a more efficient human-machine interface. In battery-operated computing devices, enabling users to more quickly and efficiently display visual effects on images conserves power and increases the time between battery charges.

電子デバイス（例えば、６００）は、表示装置（例えば、６０１）を介して、１つ以上のカメラ（例えば、６０２）を介してキャプチャされた画像データ（例えば、１４２０－１）の表現を表示する（１５０２）。一部の実施形態では、表現は、被写体（例えば、１４２２）の表現（例えば、被写体の少なくとも一部の表現）を含み、画像データは被写体の深度データ（例えば、被写体の他の部分及び／又は１つ以上のカメラの視野内の他のオブジェクトに対する、被写体の１つ以上の部分を位置決めする相対的深度についての情報）を含む深度データに対応する（例えば、画像データは、可視光カメラ及び深度カメラによってキャプチャされたデータを含む）。一部の実施形態では、深度データは、深度マップ又は深度マスクの形態である。 An electronic device (e.g., 600) displays (1502) via a display device (e.g., 601) a representation of image data (e.g., 1420-1) captured via one or more cameras (e.g., 602). In some embodiments, the representation includes a representation of an object (e.g., 1422) (e.g., a representation of at least a portion of the object), and the image data corresponds to depth data including depth data of the object (e.g., information about the relative depth of one or more portions of the object relative to other portions of the object and/or other objects within the field of view of one or more cameras) (e.g., the image data includes data captured by a visible light camera and a depth camera). In some embodiments, the depth data is in the form of a depth map or a depth mask.

一部の実施形態では、電子デバイス（例えば、６００）は、１つ以上の深度センサ（例えば、１７５、６０２）を含む。一部の実施形態では、仮想アバター（例えば、１４２１）の表現を表示する前に、電子デバイスは、１つ以上の深度センサを介して、被写体に対する初期深度データ（例えば、１つ以上のカメラ（例えば、６０２）によってキャプチャされた画像データに対応する初期若しくは未変更深度マップ及び／又は深度マスク、被写体の初期又は未変更の深度マスク）をキャプチャする。電子デバイスは、被写体に対する初期深度データを変更することによって、被写体の深度データを生成する。一部の実施形態では、初期深度データを変更することにより、特に、被写体の姿勢が電子デバイスに関して変化するときに、仮想アバターの第１の部分（例えば、１４２１－２）の表現を含むこと、又は除外することの間の突然の遷移のインスタンスを減少させることができる。被写体の初期深度データを変更することにより、ユーザの姿勢が変化するときに、仮想アバターの表現の表示中のより滑らかな遷移が可能になり、それによって被写体において検出された変化の（仮想アバターに対する対応する変化によって表される）視覚フィードバックを改善することができる。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。 In some embodiments, the electronic device (e.g., 600) includes one or more depth sensors (e.g., 175, 602). In some embodiments, before displaying a representation of a virtual avatar (e.g., 1421), the electronic device captures initial depth data for the object (e.g., initial or unmodified depth map and/or depth mask corresponding to image data captured by one or more cameras (e.g., 602), initial or unmodified depth mask of the object) via the one or more depth sensors. The electronic device generates depth data for the object by modifying the initial depth data for the object. In some embodiments, modifying the initial depth data can reduce instances of abrupt transitions between including or excluding a representation of a first portion (e.g., 1421-2) of the virtual avatar, particularly as the pose of the object changes with respect to the electronic device. Modifying the initial depth data of the object can enable smoother transitions in the display of the representation of the virtual avatar as the user's pose changes, thereby improving visual feedback of detected changes in the object (represented by corresponding changes to the virtual avatar). Providing improved visual feedback to the user improves the usability of the device, making the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces the device's power usage and improves battery life by allowing the user to use the device more quickly and efficiently.

一部の実施形態では、被写体の初期深度データを変更することは、初期深度奥行きデータをぼかすこと（例えば、深度データの異なるレベル間の遷移をブレンドするために、初期深度データをデフォーカスすること、例えば、初期深度マスクの値（例えば、グレースケール値）をぼかすこと）、初期深度データをフェードアウトすること（例えば、深度値を減少させるために深度データを下向きに変調すること）、及び初期深度データをスムージングすること（例えば、特に初期深度データの異なる深度層間の遷移において初期深度データをブレンドするために数学的関数を適用すること）からなる群から選択された、最初深度データ上に１つ以上の変換を実行することを含む。 In some embodiments, modifying the initial depth data of the subject includes performing one or more transformations on the initial depth data selected from the group consisting of blurring the initial depth data (e.g., defocusing the initial depth data, e.g., blurring the values (e.g., grayscale values) of the initial depth mask, to blend transitions between different levels of the depth data), fading out the initial depth data (e.g., downwardly modulating the depth data to decrease the depth values), and smoothing the initial depth data (e.g., applying a mathematical function to blend the initial depth data, particularly at transitions between different depth layers of the initial depth data).

電子デバイス（例えば、６００）は、表示装置（例えば、６０１）を介して、被写体の表現（例えば、１４２２、１４２３）の少なくとも一部の代わりに（例えば、仮想アバターの少なくとも一部が、被写体の少なくとも一部を部分的又は完全に重ね合わせられて（例えば、不明瞭化されて））表示される（例えば、塞ぐか、又はその上部に表示される）仮想アバター（例えば、１４２１）の表現（例えば、表わされるときに、構成物の一部又はすべてを含むことができる仮想アバター構成物の視覚表現）を表示する（１５０４）。被写体の表現の少なくとも一部の上に仮想アバターの視覚表現を表示することにより、仮想アバターが被写体に重ね合わせられたときにどのように見えるかの視覚フィードバックをユーザに提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、仮想アバターは、被写体の深度データに基づいて決定された被写体の表現に対してシミュレーションされた深度に（例えば、仮想アバターが、ユーザインタフェースの深度範囲で、被写体の表現の少し前に表示されるように選択された位置に）配置される。 The electronic device (e.g., 600) displays (1504) via a display device (e.g., 601) a representation of a virtual avatar (e.g., 1421) (e.g., a visual representation of a virtual avatar composition, which may include some or all of the composition when represented) in place of (e.g., occluding or displayed on top of) at least a portion of a representation of a subject (e.g., 1422, 1423) (e.g., at least a portion of the virtual avatar is partially or fully superimposed (e.g., obscured) over at least a portion of the subject). Displaying the visual representation of the virtual avatar over at least a portion of the subject's representation provides the user with visual feedback of what the virtual avatar will look like when superimposed on the subject. Providing the user with improved visual feedback improves device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently. In some embodiments, the virtual avatar is placed at a simulated depth relative to the subject's representation determined based on the subject's depth data (e.g., at a position selected to cause the virtual avatar to appear slightly in front of the subject's representation in the depth range of the user interface).

一部の実施形態では、深度データに基づいて、仮想アバターの第１の部分（例えば、１４２１－２）（例えば、アバター髪部分）が深度ベース表示基準のセットを満たすとの判定に従って、デバイス（例えば、６００）は、仮想アバター（例えば、１４２１）の表現の一部として、被写体の第１の部分（例えば、被写体の表現の第１の部分）の代わりに表示される、仮想アバター（例えば、１４２１－２）の第１の部分の表現を含める（１５０６）（例えば、図１４Ｅに示すように、被写体の手１４２５の表現の一部にわたってアバター髪部の部分１４２１－２が表示される）。仮想アバターの第１の部分は、被写体の一部によって不明瞭化されていないので、深度ベース表示基準を満たすと、仮想アバターの第１の部分が表示される。表示される前に仮想アバターの第１の部分が不明瞭化されているかどうかを判定することにより、ユーザに可視化される仮想アバターの一部を表示するだけで、ユーザデバイスインタフェースをより効率的にすることが可能になる。仮想アバターの可視部分の視覚フィードバックを提供することにより、ユーザは、仮想アバターが被写体の上に重ね合わされたときに結果として得られる画像を見ることができる。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、深度ベース表示基準が満たされるように（例えば、深度ベース基準のセットは、仮想アバターの一部が、被写体の一部（例えば、被写体の耳）によって不明瞭化しない位置に表示されるときに満たされる基準を含む）、深度ベースの表示基準は、被写体の深度データが、仮想アバターの第１の部分が被写体の対応する第１の部分（例えば、被写体の表現の対応する第１の部分）（例えば、首部、肩、及び／又は身体）の前にあるシミュレーションされた深度を有することを示すという要求を含む。 In some embodiments, pursuant to a determination based on the depth data that a first portion (e.g., 1421-2) of the virtual avatar (e.g., an avatar hair portion) satisfies a set of depth-based display criteria, the device (e.g., 600) includes (1506) a representation of the first portion of the virtual avatar (e.g., 1421-2) as part of the representation of the virtual avatar (e.g., 1421), displayed in place of the first portion of the subject (e.g., a first portion of the subject's representation) (e.g., as shown in FIG. 14E, avatar hair portion 1421-2 is displayed over a portion of the representation of the subject's hand 1425). Because the first portion of the virtual avatar is not obscured by a portion of the subject's hand, the first portion of the virtual avatar is displayed upon satisfying the depth-based display criteria. Determining whether the first portion of the virtual avatar is obscured prior to display allows for a more efficient user device interface by only displaying the portion of the virtual avatar that is visible to the user. By providing visual feedback of the visible portion of the virtual avatar, the user can view the resulting image when the virtual avatar is superimposed on the subject. Providing improved visual feedback to the user improves device usability, making the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces device power usage and improves battery life by allowing the user to use the device more quickly and efficiently. In some embodiments, the depth-based display criteria include a requirement that the subject's depth data indicate that a first portion of the virtual avatar has a simulated depth that is in front of a corresponding first portion of the subject (e.g., a corresponding first portion of a representation of the subject) (e.g., the neck, shoulders, and/or body), such that the depth-based display criteria are met (e.g., a set of depth-based criteria includes criteria that are met when a portion of the virtual avatar is displayed in a position that does not obscure it by a portion of the subject (e.g., the subject's ears)).

一部の実施形態では、深度データに基づいて、仮想アバターの第１の部分（例えば、１４２１－２）が、被写体の第１の部分（例えば、１４２５）に対する深度ベース表示基準のセットを満たさないとの判定（例えば、被写体の深度データが、仮想アバターの第１の部分が被写体の対応する第１の部分の背後にあるシミュレーションされた深度を有することを示すため）に従って、デバイス（例えば、６００）は、仮想アバター（例えば、１４２１）の表現から、仮想アバターの第１の部分の表現を除外する（１５０８）（例えば、髪部が領域１４２４－１で被写体の肩１４２２－１の背後に位置するため、髪部が表示されない）（例えば、追加のアバター髪部１４２１－２は、手１４２５の背後に位置する配置するため、図１４Ｄでは示されない）。一部の実施形態では、電子デバイスはまた、仮想アバターの第１の部分によって占められていたであろう領域内に、被写体の第１の部分（例えば、被写体の表現の第１の部分）を表示する（例えば、仮想アバターの第１の部分の表現を、その部分が被写体によって不明瞭化されるべきであるため、仮想アバターの表現の一部として含めるのをやめる）。仮想アバターの第１の部分が、被写体の一部によって不明瞭化されているので、深度ベース表示基準を満たさない場合には、仮想アバターの第１の部分は、仮想アバターの表示された表現から除外される。表示される前に仮想アバターの第１の部分が不明瞭化されているかどうかを判定することにより、ユーザに可視化される仮想アバターの一部を除外することによって、ユーザデバイスインタフェースをより効率的にすることが可能になる。仮想アバターの視覚フィードバックを提供することにより、ユーザは、仮想アバターが被写体の上に重ね合わされたときに結果として得られる画像を見ることができる。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。 In some embodiments, following a determination based on the depth data that a first portion of the virtual avatar (e.g., 1421-2) does not satisfy a set of depth-based display criteria for a first portion of the subject (e.g., 1425) (e.g., because the subject's depth data indicates that the first portion of the virtual avatar has a simulated depth that is behind the corresponding first portion of the subject), the device (e.g., 600) excludes (1508) from the representation of the virtual avatar (e.g., 1421) the representation of the first portion of the virtual avatar (e.g., 1421) (e.g., the hair is not displayed because it is located behind the subject's shoulders 1422-1 in region 1424-1) (e.g., additional avatar hair portion 1421-2 is not shown in FIG. 14D because it is positioned behind hand 1425). In some embodiments, the electronic device also displays the first portion of the subject (e.g., the first portion of the representation of the subject) within the area that would have been occupied by the first portion of the virtual avatar (e.g., by ceasing to include the representation of the first portion of the virtual avatar as part of the representation of the virtual avatar because it should be obscured by the subject). If the first portion of the virtual avatar does not meet the depth-based display criteria because it is obscured by a portion of the subject, the first portion of the virtual avatar is excluded from the displayed representation of the virtual avatar. Determining whether the first portion of the virtual avatar is obscured before displaying allows for a more efficient user device interface by excluding portions of the virtual avatar that are visible to the user. Providing visual feedback of the virtual avatar allows the user to see the resulting image when the virtual avatar is superimposed on the subject. Providing improved visual feedback to the user improves device usability and makes the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

一部の実施形態では、仮想アバター（例えば、１４２１）（例えば、アバター頭部）の第１の部分は、被写体の動きに基づいて動く。一部の実施形態では、仮想アバターの第１の部分は、被写体の頭部の動き又は被写体の頭部の表現に基づいて動く。 In some embodiments, a first portion of the virtual avatar (e.g., 1421) (e.g., the avatar head) moves based on the subject's movement. In some embodiments, the first portion of the virtual avatar moves based on the subject's head movement or a representation of the subject's head.

一部の実施形態では、仮想アバターの表現は、仮想アバターの第２の部分が、被写体の表現の対応する第２の部分の前又は背後にあるシミュレーションされた深度を有することを、深度データが示すか否かにかかわらず、被写体の表現の第２の部分（例えば、１４２５、１４２３）の上に表示される仮想アバターの第２の部分（例えば、１４２１－１、１４２１－３、１４２１－４、１４３５－１）（例えば、アバター頭部（１４２１－３）の上部）の表現を含む。アバター頭部の上部などの仮想アバターの第２の部分の表現が、永続的に表示される。これにより、たとえ被写体の表現がアバターよりもカメラ（例えば、６０２）により近くに位置するオブジェクトを含んでいても、仮想アバターの第２の部分を常に表示することができる（例えば、被写体の頭部の表現上に位置する帽子（１４２３）は、アバター（１４２１）によって覆われることになる）。仮想アバターの一部を持続的に表示することにより、ユーザが、特定のオブジェクトを無視するためにデバイスの深度設定を調整する必要なしに選択されたアバターを表示できるようにすることによって、デバイスのより多くの制御をユーザに提供することができる。追加表示されたコントロールによりユーザインタフェースを雑然とさせることなくデバイスの追加の制御を提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、仮想アバターの第２の部分（例えば、アバター頭部）は、被写体の表現の対応する第２の部分の代わりに持続的に表示される。一部の実施形態では、仮想アバターの部分と被写体の表現の部分との空間的関係が、仮想アバターの部分が被写体の部分によって不明瞭化されるべきであることを示し得る場合でも、深度ベース基準に関係なく表示されるアバターの部分は、仮想アバターを通り抜けて突き出る被写体の表現の部分例えば、帽子（１４２３）、被写体の髪部）を表示するのを避けるため、被写体の上方に持続的に表示される。一部の実施形態では、仮想アバターの第２の部分（例えば、アバター頭部）は、被写体（例えば、１４２２）の動き（例えば、被写体の頭部の動きに基づいて、又は被写体の頭部の表現の動きに基づいて）に基づいて動く。 In some embodiments, the representation of the virtual avatar includes a representation of a second portion of the virtual avatar (e.g., 1421-1, 1421-3, 1421-4, 1435-1) (e.g., the top of the avatar's head (1421-3)) that is displayed over a second portion of the subject's representation (e.g., 1425, 1423), regardless of whether the depth data indicates that the second portion of the virtual avatar has a simulated depth that is in front of or behind the corresponding second portion of the subject's representation. The representation of the second portion of the virtual avatar, such as the top of the avatar's head, is persistently displayed. This allows the second portion of the virtual avatar to always be displayed, even if the subject's representation includes objects that are located closer to the camera (e.g., 602) than the avatar (e.g., a hat (1423) located over the subject's head representation will be obscured by the avatar (1421)). Persistently displaying a portion of the virtual avatar can provide the user with more control of the device by allowing the user to view a selected avatar without having to adjust the device's depth settings to ignore a particular object. Providing additional control of the device without cluttering the user interface with additional displayed controls improves device usability, makes the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and reduces device power usage and improves battery life by allowing the user to use the device more quickly and efficiently. In some embodiments, a second portion of the virtual avatar (e.g., the avatar's head) is persistently displayed in place of a corresponding second portion of the subject's representation. In some embodiments, even if the spatial relationship between portions of the virtual avatar and portions of the subject's representation may indicate that portions of the virtual avatar should be obscured by portions of the subject, portions of the avatar that are displayed without regard to depth-based criteria are persistently displayed above the subject to avoid displaying portions of the subject's representation that protrude through the virtual avatar (e.g., a hat (1423), a portion of the subject's hair). In some embodiments, a second portion of the virtual avatar (e.g., the avatar head) moves based on the movement of the subject (e.g., 1422) (e.g., based on the movement of the subject's head or based on the movement of a representation of the subject's head).

一部の実施形態では、仮想アバター（例えば、１４２１－２）の第１の部分（例えば、深度データに基づいて含まれるか又は除外される部分）は、第１のアバター特徴の第１のサブ部分（例えば、アバター髪部、アバター耳、アバターアクセサリー（例えば、アバターイヤリング）などの仮想アバターの要素）であり、仮想アバターの第２の部分（例えば、１４２１－１、１４２１－３、１４２１－４、１４３５－１、１４３５－２）は、（例えば、深度データに基づいて含まれるか又は除外される部分、すなわち、深度データとは独立して含まれる）は、第１のアバター特徴（例えば、アバター髪部）の第２のサブ部分である。一部の実施形態では、第１のサブ部分は、前方に面して（例えば、カメラに面して）、仮想アバターが中立位置（例えば、被写体の顔又は頭部の姿勢に変化が検出されなかったときの仮想アバターの表示位置）にあるときに（例えば、図１４Ｋに示すように）、仮想アバターの背面上に位置する仮想アバター（例えば、１４３５）の部分（例えば、１４３５－３）である。一部の実施形態では、第２のサブ部分（例えば、１４３５－２）は、仮想アバターの前面上に配置される仮想アバターの部分であるか、又は、仮想アバターが前方に面して中立位置にあるときには、仮想アバターの背面上に配置されない。一部の実施形態では、第１のアバター特徴はアバター髪部であり、第２のサブ部分は、仮想アバター頭部（例えば、１４２１－３）の前面上に表示されるアバター髪部（例えば、１４２１－１）（例えば、切り下げ前髪）の前面部であり、第１のサブ部分は、被写体の首部、及び／又は肩（例えば、１４２２－１）などの被写体（例えば、１４２２）の一部によって少なくとも部分的に不明瞭化されているアバター髪部の後面部（例えば、背面の長髪部）である。 In some embodiments, a first portion of a virtual avatar (e.g., 1421-2) (e.g., a portion that is included or excluded based on the depth data) is a first sub-portion of a first avatar feature (e.g., an element of the virtual avatar, such as avatar hair, avatar ears, or avatar accessories (e.g., avatar earrings)), and a second portion of the virtual avatar (e.g., 1421-1, 1421-3, 1421-4, 1435-1, 1435-2) (e.g., a portion that is included or excluded based on the depth data, i.e., included independently of the depth data) is a second sub-portion of the first avatar feature (e.g., avatar hair). In some embodiments, the first sub-portion (e.g., 1435-3) is a portion of the virtual avatar (e.g., 1435) that is located on the back surface of the virtual avatar when the virtual avatar is facing forward (e.g., facing the camera) and in a neutral position (e.g., the display position of the virtual avatar when no change in the subject's face or head pose is detected) (e.g., as shown in FIG. 14K). In some embodiments, the second sub-portion (e.g., 1435-2) is a portion of the virtual avatar that is located on the front surface of the virtual avatar or is not located on the back surface of the virtual avatar when the virtual avatar is facing forward and in a neutral position. In some embodiments, the first avatar feature is an avatar hair portion, the second sub-portion is a front portion of the avatar hair portion (e.g., 1421-1) (e.g., bangs) that is displayed on the front of the virtual avatar head (e.g., 1421-3), and the first sub-portion is a back portion of the avatar hair portion (e.g., long hair at the back) that is at least partially obscured by a portion of the subject (e.g., 1422), such as the subject's neck and/or shoulders (e.g., 1422-1).

一部の実施形態では、仮想アバター（例えば、１４２１、１４３５）は、仮想アバターの第１の部分（例えば、１４２１－１）を含むアバター髪部特徴（例えば、長いアバター髪部）を含む。電子デバイス（例えば、６００）は、アバター髪部特徴の第２の部分のシミュレーションされた深度が、被写体の深度データに基づき、被写体の表現（例えば、首部、肩、及び／又は身体）の第３の部分（例えば、１４２２－１）の前又は背後にあるか否かに基づいて、アバター髪部特徴（例えば、１４２１－１）の第１の部分を表示し、アバター髪部特徴（例えば、１４２１－２）の第２の部分を条件的に表示する（例えば、アバター髪部特徴の持続的部分の表現を表示し、仮想アバターの第１の部分を深度に応じて可変的に含める（又は除外する））ことによって仮想アバターの表現を表示する。アバター髪部特徴の第１の部分及び髪部特徴の第２の部分が、被写体の首部、肩又は身体などの、被写体の表現の第３の部分の前又は背後にあるかどうかを判定する。表示する前に髪部特徴の第２の部分の可視性を判定することにより、ユーザに可視化されるアバター髪部特徴の一部を表示するだけで、ユーザデバイスインタフェースをより効率的にすることが可能になる。仮想アバターの視覚フィードバックを提供することにより、ユーザは、アバター髪部特徴が被写体の表現と共に表示されるときに、結果として得られる画像を見ることができる。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。 In some embodiments, the virtual avatar (e.g., 1421, 1435) includes an avatar hair feature (e.g., long avatar hair) that includes a first portion (e.g., 1421-1) of the virtual avatar. The electronic device (e.g., 600) displays a representation of the virtual avatar by displaying the first portion of the avatar hair feature (e.g., 1421-1) and conditionally displaying the second portion of the avatar hair feature (e.g., 1421-2) based on whether the simulated depth of the second portion of the avatar hair feature is in front of or behind a third portion (e.g., 1422-1) of the subject's representation (e.g., neck, shoulders, and/or body) based on the subject's depth data. Determining whether the first portion of the avatar hair feature and the second portion of the hair feature are in front of or behind a third portion of the subject's representation, such as the subject's neck, shoulders, or body. Determining the visibility of the second portion of the hair feature prior to display allows for a more efficient user device interface by only displaying a portion of the avatar hair feature that is visible to the user. Providing visual feedback of the virtual avatar allows the user to view the resulting image when the avatar hair feature is displayed with the subject's representation. Providing improved visual feedback to the user improves device usability and makes the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

一部の実施形態では、仮想アバターは、仮想アバターの第１の部分（例えば、１４３５－４）を含むアバター首部特徴（例えば、１４３５－３）（例えば、馬のようなアバター（例えば、ユニコーン又は馬）の首部、例えば、アバターたてがみ）を含む。電子デバイスは、被写体の深度データに基づき、アバター首部特徴の部分のシミュレーションされた深度が、被写体の表現（首部又は肩）の第４の部分（例えば、１４２２－１）の前又は背後にあるか否かに基づいて、アバター首部特徴の一部を条件的に表示することによって、仮想アバター（例えば、１４３５）の表現を表示する（例えば、アバター首部特徴の持続的部分の表現を表示し、仮想アバターの第１の部分を深度に応じて可変的に含める（又は除外する））。アバター首部特徴の部分が、被写体の首部などの、被写体の表現の第４の部分の前又は背後にあるかどうかを判断する。表示する前に首部特徴の一部の可視性を判定することにより、ユーザに可視化されるアバター首部特徴の一部を表示するだけで、ユーザデバイスインタフェースをより効率的にすることが可能になる。仮想アバターの視覚フィードバックを提供することにより、ユーザは、アバター髪部特徴が被写体の表現と共に表示されるときに、結果として得られる画像を見ることができる。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。 In some embodiments, the virtual avatar includes an avatar neck feature (e.g., 1435-3) (e.g., the neck of a horse-like avatar (e.g., a unicorn or horse), e.g., the avatar mane) that includes a first portion (e.g., 1435-4) of the virtual avatar. The electronic device displays a representation of the virtual avatar (e.g., 1435) by conditionally displaying a portion of the avatar neck feature based on the subject's depth data and whether the simulated depth of the portion of the avatar neck feature is in front of or behind a fourth portion (e.g., 1422-1) of the subject's representation (neck or shoulders) (e.g., displaying a representation of a persistent portion of the avatar neck feature and variably including (or excluding) the first portion of the virtual avatar depending on the depth). The electronic device determines whether the portion of the avatar neck feature is in front of or behind a fourth portion of the subject's representation (e.g., the neck or shoulders). Determining the visibility of some of the neck features prior to displaying them allows for a more efficient user device interface by only displaying some of the avatar neck features that are visible to the user. Providing visual feedback of the virtual avatar allows the user to view the resulting image when the avatar hair features are displayed along with a representation of the subject. Providing improved visual feedback to the user improves device usability and makes the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

一部の実施形態では、被写体の表現の部分（例えば、被写体の頭部）が、１つ以上のカメラに（直接的に）面する姿勢を有する（例えば、被写体の頭部がカメラに面して前方に配置される）ときには、仮想アバター（例えば、１４２１、１４３５）の第１の部分（例えば、１４２１－２、１４３５－３）は、表示されない仮想アバター（例えば、アバター首部の背後）の不明瞭な部分（例えば、１４３５－４）を含む。ユーザーはアバターの不明確な部分を見ることができ得ないため、アバターの不明瞭な部分は表示されない。表示する前に仮想アバターの第１の部分の可視性を判定することにより、ユーザに可視化されるアバター首部特徴の一部を表示するだけで、ユーザデバイスインタフェースをより効率的にすることが可能になる。仮想アバターの視覚フィードバックを提供することにより、ユーザは、アバター髪部特徴が被写体の表現と共に表示されるときに、結果として得られる画像を見ることができる。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、仮想アバターの不明瞭な部分は、被写体の首部又は頭部の背後に位置するアバターの首部の背後（例えば、１４３５－２、１４３５－３）、又は仮想アバターの部分（例えば、アバターの髪部の背後）を含む。一部の実施形態では、これによって、アバターの首部の背後（又はアバター頭部の背面上のアバターの部分、若しくは被写体の首部の背後に位置する部分）が、被写体の頭部が傾け上げられたとき（例えば、見上げる）に、被写体の首部の表現を通り抜けて突き出て表示されることを防止する。 In some embodiments, when a portion of a subject's representation (e.g., the subject's head) has a pose that faces (directly) one or more cameras (e.g., the subject's head is positioned forward facing the cameras), a first portion (e.g., 1421-2, 1435-3) of a virtual avatar (e.g., 1421, 1435) includes an obscured portion (e.g., 1435-4) of the virtual avatar (e.g., behind the avatar's neck) that is not displayed. Because the user cannot see the obscured portion of the avatar, the obscured portion of the avatar is not displayed. Determining the visibility of the first portion of the virtual avatar before displaying it allows for a more efficient user device interface by only displaying a portion of the avatar's neck features that are visible to the user. Providing visual feedback of the virtual avatar allows the user to view the resulting image when the avatar's hair features are displayed along with the subject's representation. Providing improved visual feedback to the user improves device usability, makes the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and reduces device power usage and improves battery life by allowing the user to use the device more quickly and efficiently. In some embodiments, the obscured portions of the virtual avatar include the back of the avatar's neck (e.g., 1435-2, 1435-3) or portions of the virtual avatar (e.g., behind the avatar's hair) that are located behind the subject's neck or head. In some embodiments, this prevents the back of the avatar's neck (or portions of the avatar on the back of the avatar's head, or portions located behind the subject's neck) from appearing to protrude through a representation of the subject's neck when the subject's head is tilted up (e.g., looking up).

一部の実施形態では、仮想アバター（例えば、１４２１）の表現を表示することは、仮想アバターの第１の部分（例えば、１４２１－１）に隣接する（例えば、及び被写体（例えば、１４２２－１）の表現の少なくとも一部に隣接する）仮想アバターの第３の部分（例えば、１４３２）の視覚的外観を、アバターの外観及び被写体の表現の外観の両方に基づく外観に変更すること（例えば、ブレンド、ぼかし、フェザリング、又は隠蔽度を徐々に変化させること）を更に含む。一部の実施形態では、アバター髪部の部分が、被写体の表示された表現の肩（１４２２－１）と交差する、仮想アバターの表現の部分において、アバター髪部（例えば、１４３２）の一部が、被写体（例えば、１４２２）の表現とブレンドされる。一部の実施形態では、アバター頭部の下部が被写体の首部の表示された表現（例えば、図１４Ｈ）と交差する、仮想アバターの表現の部分において、アバター頭部の下部が、被写体の表現とブレンドされる（例えば、１４３４）。 In some embodiments, displaying a representation of the virtual avatar (e.g., 1421) further includes modifying (e.g., blending, blurring, feathering, or gradually changing the degree of obscuration) the visual appearance of a third portion of the virtual avatar (e.g., 1432) adjacent to a first portion of the virtual avatar (e.g., 1421-1) (e.g., adjacent to at least a portion of a representation of the subject (e.g., 1422-1)) to an appearance based on both the appearance of the avatar and the appearance of the representation of the subject. In some embodiments, a portion of the avatar hair (e.g., 1432) is blended with the representation of the subject (e.g., 1422) in a portion of the representation of the virtual avatar where the portion of the avatar hair intersects with the shoulder (1422-1) of the displayed representation of the subject. In some embodiments, the lower portion of the avatar head is blended with the representation of the subject (e.g., 1434) in a portion of the representation of the virtual avatar where the lower portion of the avatar head intersects with the displayed representation of the subject's neck (e.g., FIG. 14H).

一部の実施形態では、電子デバイス（例えば、６００）は、被写体（例えば、１４２２）の頭部分の姿勢の変化（例えば、被写体の頭部が側方に向く）を検出する。被写体の頭部分の姿勢の変化を検出する電子デバイスに応じて、電子デバイスは、深度データ及び姿勢の変化に基づいて、仮想アバターの表現（例えば、アバターの髪部）から除外される、仮想アバター（例えば、１４２１－２）の量（例えば、仮想アバターの表現に含まれるか又は除外されるかのいずれかのサイズ）を変更する（例えば、増大又は減少する）。被写体の頭部分の姿勢の変化に基づいて、表示された仮想アバターを更新することにより、仮想アバターの視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、変更は、アバター頭部（例えば、１４２１－３）を被写体の頭部の動きに合わせるように側方に回すときに、仮想アバター（例えば、１４２１）の表現に表示されるアバターの髪部の量を増加又は減少させることを含む。一部の実施形態では、アバターの第１の部分（例えば、アバターの髪部）の表示量は、アバターの一部が、姿勢の変化に応じて被写体の表現の一部によって不明瞭化されるかどうかによって変更される。例えば、アバター頭部の回転に応じて、アバター頭部の一部がユーザ首部又は肩（例えば、１４２２－１）によって不明瞭化されると、アバターの髪部の一部の表示量（例えば、サイズ）が減少する（例えば、頭部を回転させることで被写体の肩（例えば、１４２４－１）の背後にアバター髪部が配置されるので、アバター頭部を回転させることにより、被写体の肩の前に位置する以前に表示された髪部がもはや表示されなくなる）。加えて、被写体の肩、首部又は頭部の背後に以前に隠れていた頭部の部分（例えば、１４２４－２）が、アバター頭部が側方に回転した結果、可視化されると、アバター髪部の部分の表示量が増大する（例えば、アバターの頭部を回転させることによりアバター髪部が被写体の肩の前に配置されるため、ここで被写体の肩の背後に位置する髪部が可視化される）。 In some embodiments, the electronic device (e.g., 600) detects a change in the pose of the subject's (e.g., 1422) head portion (e.g., the subject's head turns to the side). In response to the electronic device detecting the change in the pose of the subject's head portion, the electronic device changes (e.g., increases or decreases) the amount of the virtual avatar (e.g., 1421-2) that is excluded from the representation of the virtual avatar (e.g., the avatar's hair) (e.g., the size of either included or excluded from the representation of the virtual avatar) based on the depth data and the change in pose. Visual feedback of the virtual avatar is provided by updating the displayed virtual avatar based on the change in the pose of the subject's head portion. Providing improved visual feedback to the user improves device usability and makes the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs and reducing user errors when operating/interacting with the device), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently. In some embodiments, the modification includes increasing or decreasing the amount of avatar hair displayed in the representation of the virtual avatar (e.g., 1421) when the avatar head (e.g., 1421-3) is rotated to the side to match the movement of the subject's head. In some embodiments, the amount of display of a first portion of the avatar (e.g., avatar hair) is modified depending on whether the portion is obscured by a portion of the subject's representation in response to a change in posture. For example, in response to a rotation of the avatar head, if a portion of the avatar head is obscured by the user's neck or shoulders (e.g., 1422-1), the amount of display (e.g., size) of the portion of the avatar hair is reduced (e.g., rotating the avatar head positions the avatar hair behind the subject's shoulders (e.g., 1424-1), so that rotating the avatar head no longer displays the previously displayed hair that was in front of the subject's shoulders). Additionally, when a portion of the head that was previously hidden behind the subject's shoulders, neck, or head (e.g., 1424-2) becomes visible as a result of the avatar head rotating to the side, more of the avatar's hair becomes visible (e.g., rotating the avatar's head positions the avatar's hair in front of the subject's shoulders, so that the hair located behind the subject's shoulders is now visible).

一部の実施形態では、デバイス（例えば、６００）は、被写体の姿勢の変化を検出する（１５１０）。被写体（例えば、１４２２）の姿勢の変化を検出したこと（例えば、ユーザの肩（例えば、１４２２－１）上の手（例えば、１４２５）の動きを検出したことこと、例えば、被写体の頭部の回転又は傾きを検出したこと）に応じて、電子デバイス（例えば、６００）は、姿勢の変化に基づいて、仮想アバター（例えば、１４２１）の表示された表現を変更する（１５１２）。被写体の姿勢の変化に基づいて、表示された仮想アバターを更新することにより、仮想アバターの視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、被写体の姿勢の変化を考慮に入れた深度データに基づいて、仮想アバター（例えば、１４２１）の第１の部分（例えば、１４２１－２）が深度ベース表示基準のセットを満たすとの判定に従って、電子デバイスは、仮想アバターの第１の部分（例えば、１４２１－２）を除外した第１の外観（例えば、図１４Ｄ）（例えば、仮想アバターの第１の部分が、被写体（例えば、１４２５）の表現によって不明瞭化されているため、表示されていない外観）（例えば、アバターの髪部の一部が、被写体の手、首部、及び／又は肩の背後に隠れている）から、仮想アバターの第１の部分を含む第２の外観（例えば、図１４Ｅ）に、仮想アバターの表現の外観を更新する（１５１４）。一部の実施形態では、被写体の姿勢の変化を考慮に入れた深度データに基づいて、仮想アバターの第１の部分が深度ベース表示基準のセットを満たさないとの判定に従って、電子デバイスは、仮想アバターの第１の部分を含む第３の外観（例えば、図１４Ｃ）から、仮想アバターの第１の部分を除外した第４の外観（例えば、１４Ｄ）に、仮想アバターの表現の外観を更新する（１５１６）（例えば、１４２４－１は、表示される髪部の量の減少を示す）。一部の実施形態では、仮想アバターの第１の部分は、被写体の動きに基づいて動的に隠される（例えば、被写体の動きに基づいて、アバターの隠れた部分を表示されるようにでき、及びアバターの表示された部分を隠されるようにできる）。 In some embodiments, the device (e.g., 600) detects (1510) a change in the subject's posture. In response to detecting a change in the subject's posture (e.g., 1422) (e.g., detecting movement of the user's hand (e.g., 1425) on the user's shoulder (e.g., 1422-1), e.g., detecting a rotation or tilt of the subject's head), the electronic device (e.g., 600) modifies (1512) the displayed representation of the virtual avatar (e.g., 1421) based on the change in posture. Updating the displayed virtual avatar based on the change in the subject's posture provides visual feedback of the virtual avatar. Providing improved visual feedback to the user improves device usability and makes the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently. In some embodiments, following a determination that a first portion (e.g., 1421-2) of the virtual avatar (e.g., 1421) satisfies a set of depth-based display criteria based on depth data that takes into account changes in the subject's posture, the electronic device updates (1514) the appearance of the representation of the virtual avatar from a first appearance (e.g., FIG. 14D ) that excludes the first portion (e.g., 1421-2) of the virtual avatar (e.g., an appearance in which the first portion of the virtual avatar is not displayed because it is obscured by the representation of the subject (e.g., 1425) (e.g., a portion of the avatar's hair is hidden behind the subject's hands, neck, and/or shoulders) to a second appearance (e.g., FIG. 14E ) that includes the first portion of the virtual avatar. In some embodiments, pursuant to determining, based on the depth data that takes into account changes in the subject's pose, that the first portion of the virtual avatar does not satisfy a set of depth-based display criteria, the electronic device updates (1516) the appearance of the representation of the virtual avatar from a third appearance (e.g., FIG. 14C) that includes the first portion of the virtual avatar to a fourth appearance (e.g., 14D) that excludes the first portion of the virtual avatar (e.g., 1424-1 indicates a decrease in the amount of hair displayed). In some embodiments, the first portion of the virtual avatar is dynamically hidden based on the subject's movement (e.g., based on the subject's movement, hidden portions of the avatar can be made visible, and displayed portions of the avatar can be made hidden).

一部の実施形態では、電子デバイス（例えば、６００）は、被写体（例えば、１４２２）の表現の一部の変化（例えば、姿勢の変化（例えば、向き、回転、並進など）、例えば、表情の変化）を検出する。電子デバイスは、被写体の表現の一部において検出された変化に基づいて、仮想アバター（例えば、１４２１、１４３５）の外観を変更する（例えば、リアルタイムで、被写体の表現の一部において検出された変化に基づいて、仮想アバターの位置及び／又は表情を変更する）。被写体の表現の変化に基づいて、表示された仮想アバターを更新することにより、仮想アバターの視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。 In some embodiments, the electronic device (e.g., 600) detects changes in a portion of the subject's (e.g., 1422) expression (e.g., a change in posture (e.g., orientation, rotation, translation, etc.), e.g., a change in facial expression). The electronic device modifies the appearance of a virtual avatar (e.g., 1421, 1435) based on the detected changes in the portion of the subject's expression (e.g., changing the position and/or facial expression of the virtual avatar in real time based on the detected changes in the portion of the subject's expression). The electronic device provides visual feedback of the virtual avatar by updating the displayed virtual avatar based on the changes in the subject's expression. Providing improved visual feedback to the user improves device usability and makes the user device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

一部の実施形態では、電子デバイス（例えば、６００）は、表示装置（例えば、６０１）を介して、被写体の表現の少なくとも第５の部分（例えば、被写体の胸、首部、又は肩）上に表示される、仮想アバター（例えば、１４２１、１４３５）によって投影された影（例えば、１４３０、１４３６）の表現を表示する。このデバイスは、被写体の表現の部分の上に仮想表現によって投影された影の表現を表示して、シミュレーションされた光源で表示された仮想アバターのより現実的な表現を提供する。仮想アバターの視覚フィードバックを提供することにより、ユーザは、結果として得られる画像を見ることができる。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、仮想アバターによって投影された影の表現は、１００％未満の不透明度を有する被写体の表現上に重ね合わせられる。一部の実施形態では、表示された仮想アバターとシミュレーションされた光源との相対位置に基づいて判定される被写体の部分は、任意選択的に、カメラの視野内で検出された光源に基づいて判定される。一部の実施形態では、影の表示された表現の１つ以上の特性（例えば、位置、強度、形状など）は、仮想アバターの形状に基づく。一部の実施形態では、表示された影の形状は、異なるアバターが異なる形状の陰を投影して見えるように、仮想アバターの形状に基づいて決定される。 In some embodiments, an electronic device (e.g., 600) displays, via a display device (e.g., 601), a representation of a shadow (e.g., 1430, 1436) cast by a virtual avatar (e.g., 1421, 1435) displayed over at least a fifth portion of the subject's representation (e.g., the subject's chest, neck, or shoulders). The device displays a representation of the shadow cast by the virtual avatar over portions of the subject's representation to provide a more realistic representation of the virtual avatar displayed with a simulated light source. By providing visual feedback of the virtual avatar, the user can view the resulting image. Providing the user with improved visual feedback improves device usability, making the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and additionally reduces device power usage and improves battery life by allowing the user to use the device more quickly and efficiently. In some embodiments, the representation of the shadow cast by the virtual avatar is superimposed over the subject's representation with an opacity less than 100%. In some embodiments, the portion of the subject that is determined based on the relative position of the displayed virtual avatar and the simulated light source is optionally determined based on the light source detected within the field of view of the camera. In some embodiments, one or more characteristics (e.g., position, intensity, shape, etc.) of the displayed representation of the shadow are based on the shape of the virtual avatar. In some embodiments, the shape of the displayed shadow is determined based on the shape of the virtual avatar, such that different avatars appear to cast shadows of different shapes.

一部の実施形態では、影（例えば、１４３０、１４３６）の表示された表現の１つ以上の特性（例えば、位置、強度、形状など）は、１つ以上のカメラ（例えば、６０２）の視野内の照明条件（例えば、周囲光の検出量、検出された光源など）に基づく。一部の実施形態では、影の位置は、カメラの視野内の光源の位置に基づいて決定される。例えば、光源（例えば、検出された光源、又はモデル化された光源）が、カメラの視野内の被写体（例えば、１４２２）の表現の背後に配置される場合、影は、被写体の表現に対して光源の位置とは反対の被写体の表現上に配置される。一部の実施形態では、影の強度は、１つ以上のカメラの視野内で検出された照明条件の明るさに基づいて決定される（例えば、より明るい照明条件では影がより強く（明瞭に、より暗くなど）、より暗い照明条件では強さが少なくなる）。 In some embodiments, one or more characteristics (e.g., position, intensity, shape, etc.) of the displayed representation of the shadow (e.g., 1430, 1436) are based on lighting conditions (e.g., detected amount of ambient light, detected light source, etc.) within the field of view of one or more cameras (e.g., 602). In some embodiments, the position of the shadow is determined based on the position of the light source within the field of view of the camera. For example, if a light source (e.g., a detected light source or a modeled light source) is placed behind a representation of an object (e.g., 1422) within the field of view of the camera, the shadow will be placed on the representation of the object opposite the position of the light source relative to the representation of the object. In some embodiments, the intensity of the shadow is determined based on the brightness of the lighting conditions detected within the field of view of one or more cameras (e.g., brighter lighting conditions result in stronger (clearer, darker, etc.) shadows, and darker lighting conditions result in less intensity).

一部の実施形態では、影（例えば、１４３０、１４３６）の表示された表現の１つ以上の特性（例えば、位置、強度、形状など）は、深度データに基づく。一部の実施形態では、（例えば、深度マップ又は深度マスクの形式の）深度データを使用して影の位置及び／又は形状が決定されて、１つ以上のカメラの視野内の被写体（例えば、１４２２）の表現の３次元位置決めに基づく、影エフェクトのより現実的な表現を提供する（例えば、アバターから被写体へのシミュレーションされた距離、及び光源からアバターへのシミュレーションされた距離に基づいて、アバターの影が被写体上に落ちるように見えるように）。 In some embodiments, one or more characteristics (e.g., position, intensity, shape, etc.) of the displayed representation of the shadow (e.g., 1430, 1436) are based on depth data. In some embodiments, the depth data (e.g., in the form of a depth map or depth mask) is used to determine the position and/or shape of the shadow to provide a more realistic representation of the shadow effect based on the three-dimensional positioning of the representation of the subject (e.g., 1422) within the field of view of one or more cameras (e.g., such that the shadow of the avatar appears to fall on the subject based on the simulated distance from the avatar to the subject and the simulated distance from the light source to the avatar).

なお、方法１５００に関して上述された処理（例えば、図１５Ａ～図１５Ｂ）の詳細はまた、以下で説明される方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法７００は、方法１５００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、仮想アバターなどのビジュアルエフェクトが、メッセージングアプリケーションユーザインタフェースにおいて画像データに表示される。別の例では、方法９００は、方法１５００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、仮想アバターなどのビジュアルエフェクトが、カメラユーザインタフェースにおいて画像データに表示される。別の例では、方法１１００は、方法１５００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、仮想アバターなどのビジュアルエフェクトが、メディアユーザインタフェースにおいて画像データに表示される。別の例では、方法１３００は、方法１５００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、仮想アバターなどのビジュアルエフェクトが、ライブビデオ通信セッションのためのユーザインタフェースにおいて画像データに表示される。簡潔にするために、これらの詳細は、以下では繰り返さない。 15A-15B)。 Note that the details of the processing described above with respect to method 1500 (e.g., FIGS. 15A-15B) are also applicable in an analogous manner to the methods described below. For example, method 700 optionally includes one or more of the characteristics of the various methods described above with respect to method 1500. For example, a visual effect, such as a virtual avatar, is displayed on image data in a messaging application user interface. In another example, method 900 optionally includes one or more of the characteristics of the various methods described above with respect to method 1500. For example, a visual effect, such as a virtual avatar, is displayed on image data in a camera user interface. In another example, method 1100 optionally includes one or more of the characteristics of the various methods described above with respect to method 1500. For example, a visual effect, such as a virtual avatar, is displayed on image data in a media user interface. In another example, method 1300 optionally includes one or more of the characteristics of the various methods described above with respect to method 1500. For example, a visual effect, such as a virtual avatar, is displayed on image data in a user interface for a live video communication session. For the sake of brevity, these details will not be repeated below.

上述の説明は、説明の目的で、特定の実施形態を参照して説明されてきた。しかしながら、上記例示的な議論は、包括的であることを意図しておらず、又は発明を開示された簡易的な形式に限定することを意図していない。上記教示を考慮して多くの修正及び変形が可能である。技術の原理及びそれらの実際の適用を最良に説明するために実施形態が選択及び説明されてきた。それによって、他の当業者は、考えられる特定の使用に適切な様々な修正で、技術及び様々な実施形態を最良に利用することが可能である。 The foregoing description has been described with reference to specific embodiments for purposes of explanation. However, the illustrative discussion above is not intended to be exhaustive or to limit the invention to the precise form disclosed. Many modifications and variations are possible in light of the above teachings. The embodiments have been chosen and described to best explain the principles of the technology and their practical application so that others skilled in the art can best utilize the technology and various embodiments with various modifications appropriate to the particular use contemplated.

開示及び実施例が添付図面を参照して完全に説明されてきたが、様々な変更及び修正が当業者にとって明らかであることに留意されたい。そのような変更及び修正は、特許請求の範囲によって定義されるように、開示及び実施例の範囲内に含まれるものとして理解されることになる。 Although the disclosure and embodiments have been fully described with reference to the accompanying drawings, it should be noted that various changes and modifications will be apparent to those skilled in the art. Such changes and modifications are to be understood as being included within the scope of the disclosure and embodiments, as defined by the claims.

上述のように、本技術の一態様は、他のユーザとの共有のために、様々なソースから入手可能なデータを収集及び使用することである。本開示は、場合によっては、この収集されたデータは、特定の人を一意的に特定するか、又はその人に連絡するか、若しくはその人のロケーションを特定するために用いることができる個人情報データを含んでよいことを企図している。このような個人情報データには、人口統計データ、ロケーションベースのデータ、電話番号、電子メールアドレス、ツイッターＩＤ、ホームアドレス、ユーザの健康又はフィットネスのレベル（例えば、バイタルサイン測定、服薬情報、運動情報）に関するデータ若しくは記録、誕生日、又は任意の他の識別情報若しくは個人情報を含むことができる。 As noted above, one aspect of the present technology is the collection and use of data available from various sources for sharing with other users. The present disclosure contemplates that, in some cases, this collected data may include personal information data that uniquely identifies a particular person or that can be used to contact or locate that person. Such personal information data may include demographic data, location-based data, phone numbers, email addresses, Twitter IDs, home addresses, data or records regarding a user's health or fitness level (e.g., vital sign measurements, medication information, exercise information), birth date, or any other identifying or personal information.

本開示は、この技術のそのような個人情報データを使用してユーザを利することができることを理解する。例えば、個人情報データを使用して、会話中のユーザをよりよく表現することができる。更に、ユーザを利する個人情報データに関する他の使用もまた、本開示により意図されている。例えば、健康データ及びフィットネスデータは、ユーザの全般的なウェルネスついての洞察を提供するために使用されてもよく、あるいはウェルネスの目標を追求するために技術を使用して個人に積極的なフィードバックとして使用されてもよい。 This disclosure understands that such personal information data of the technology can be used to benefit the user. For example, the personal information data can be used to better describe the user during a conversation. Additionally, other uses of personal information data to benefit the user are also contemplated by this disclosure. For example, health and fitness data may be used to provide insight into the user's overall wellness, or may be used as proactive feedback to individuals using the technology to pursue wellness goals.

本開示は、そのような個人情報データの収集、分析、開示、伝送、記憶又は他の使用に応答するエンティティが、確固たるプライバシーポリシー及び／又はプライバシー慣行を遵守することとなることを企画する。具体的には、そのようなエンティティは、個人情報データを秘密として厳重に保守するための業界又は政府の要件を満たすか又は上回るものとして一般に認識されている、プライバシーのポリシー及び慣行を実施し常に使用すべきである。このようなポリシーは、ユーザが容易にアクセスすることができ、データの収集及び／又は使用が変化するにつれて更新されるべきである。ユーザからの個人情報は、そのエンティティの合法的かつ正当な使用のために収集されるべきであり、それらの合法的使用を除いて、共有又は販売されるべきではない。更に、そのような収集／共有は、ユーザに告知して同意を得た後にのみ実施すべきである。加えて、そのようなエンティティは、そのような個人情報データへのアクセスを保護して安全化し、その個人情報データへのアクセスを有する他者が、それらのプライバシーポリシー及び手順を遵守することを保証するための、あらゆる必要な措置を講じるべきである。更には、そのようなエンティティは、広く受け入れられているプライバシーのポリシー及び慣行に対する自身の遵守を証明するために、第三者による評価を自らが受けることができる。加えて、ポリシー及び慣行は、収集かつ／又はアクセスされる特定の種類の個人情報データに適合され、また、管轄権特有の考慮を含む、適用可能な法令及び規格に適合されるべきである。例えば、アメリカ合衆国において、ある健康データの収集又はアクセスは、例えば、Ｈｅａｌｔｈ Ｉｎｓｕｒａｎｃｅ Ｐｏｒｔａｂｉｌｉｔｙ ａｎｄ Ａｃｃｏｕｎｔａｂｉｌｉｔｙ Ａｃｔ（ＨＩＰＡＡ）なのどの、連邦法及び／又は州法によって管理されてもよく、他の国における健康データは、他の規制及び政策の影響下にあってもよく、それに従って対処されるべきである。したがって、異なるプライバシー慣行を、各国の異なる個人データの種類に対して保つべきである。 This disclosure contemplates that entities responsible for the collection, analysis, disclosure, transmission, storage, or other use of such personal information data will adhere to robust privacy policies and/or privacy practices. Specifically, such entities should implement and consistently use privacy policies and practices that are generally recognized as meeting or exceeding industry or government requirements for maintaining the strict confidentiality of personal information data. Such policies should be easily accessible to users and updated as data collection and/or use changes. Personal information from users should be collected for the entity's lawful and legitimate use and should not be shared or sold except for those lawful uses. Furthermore, such collection/sharing should only occur after the user's informed consent is obtained. In addition, such entities should take all necessary measures to protect and secure access to such personal information data and to ensure that others with access to that personal information data comply with their privacy policies and procedures. Furthermore, such entities may elect to undergo third-party assessments to demonstrate their adherence to widely accepted privacy policies and practices. Additionally, policies and practices should be tailored to the specific types of personal data collected and/or accessed and should comply with applicable laws and standards, including jurisdiction-specific considerations. For example, in the United States, the collection of or access to certain health data may be governed by federal and/or state laws, such as the Health Insurance Portability and Accountability Act (HIPAA), while health data in other countries may be subject to other regulations and policies and should be addressed accordingly. Therefore, different privacy practices should be maintained for different types of personal data in each country.

前述のことがらにもかかわらず、本開示はまた、ユーザが、個人情報データの使用又は個人情報データへのアクセスを選択的に阻止する実施形態も企図している。すなわち、本開示は、そのような個人情報データへのアクセスを防止又は阻止するために、ハードウェア要素及び／又はソフトウェア要素を提供することができると想到する。例えば、アバターを送信する場合、本技術は、ユーザが、サービスの登録中又はその後のいつでも、個人情報データの収集への参加の「オプトイン」又は「オプトアウト」を選択することを可能にするように構成することができる。「オプトイン」及び「オプトアウト」オプションを提供することに加えて、本開示は、個人情報のアクセス又は使用に関する通知を提供することを企画している。例えば、ユーザの個人情報データにアクセスすることとなるアプリのダウンロード時にユーザに通知され、その後、個人情報データがアプリによってアクセスされる直前に再びユーザに注意してもよい。 Notwithstanding the foregoing, the present disclosure also contemplates embodiments in which a user selectively prevents use of or access to personal information data. That is, the present disclosure contemplates that hardware and/or software elements may be provided to prevent or block access to such personal information data. For example, when sending an avatar, the present disclosure may be configured to allow a user to select "opt-in" or "opt-out" of participating in the collection of personal information data during registration for the service or at any time thereafter. In addition to providing "opt-in" and "opt-out" options, the present disclosure contemplates providing notice regarding the access or use of personal information. For example, the user may be notified upon downloading an app that will access the user's personal information data, and then again immediately before the app accesses the user's personal information data.

更に、本開示の意図は、個人情報データを、意図しない又は不正なアクセス又は使用の危険性を最小にする方法で管理かつ取り扱うべきであることである。リスクは、データの収集を制限し、データがもはや必要ではなくなった時点でデータを削除することによって、最小化することができる。加えて、適用可能な場合には、ある健康関連アプリケーションにおいても、データ非特定化は、ユーザのプライバシーを保護するために使用することができる。非特定化は、適切な場合には、特定の識別子（例えば、生年月日など）を除去すること、記憶されたデータの量又は特異性を制御すること（例えば、位置データを住所レベルよりも都市レベルで収集すること）、データがどのように記憶されるかを制御すること（例えば、データをユーザ全体にわたって情報集約すること）及び／又は他の方法によって、容易にすることができる。 Furthermore, it is the intent of this disclosure that personal information data should be managed and handled in a manner that minimizes the risk of unintended or unauthorized access or use. Risk can be minimized by limiting data collection and deleting data when it is no longer needed. Additionally, where applicable, data de-identification can be used to protect user privacy, even in certain health-related applications. De-identification can be facilitated, where appropriate, by removing certain identifiers (e.g., date of birth, etc.), controlling the amount or specificity of data stored (e.g., collecting location data at the city level rather than the address level), controlling how data is stored (e.g., aggregating data across users), and/or other methods.

したがって、本開示は、１つ以上の様々な開示された実施形態を実施するための個人情報データの使用を広範に網羅しているが、本開示は、それらの様々な実施形態がまた、そのような個人情報データにアクセスすることを必要とせずに実施されることも可能であることも企図している。すなわち、本技術の様々な実施形態は、そのような個人情報データのすべて又は一部分の欠如により、実施不可能となるものではない。 Thus, while this disclosure broadly covers the use of personal information data to implement one or more various disclosed embodiments, this disclosure also contemplates that the various embodiments may also be implemented without requiring access to such personal information data. That is, various embodiments of the present technology are not rendered inoperable by the absence of all or part of such personal information data.

Claims (15)

表示装置、及び１つ以上の入力デバイスを有する電子デバイスにおいて、
前記表示装置を介して、予めキャプチャされた画像データの表現を表示することであって、
前記予めキャプチャされた画像データの前記表現内の被写体の表現を表示することと、
前記予めキャプチャされた画像データの前記表現内の前記被写体の背景の第１の部分の表現を表示することと、
前記予めキャプチャされた画像データの前記表現内の前記被写体の前記表現の第１の部分の上に第１の仮想アバターの表現を表示することと、を含む表示することと、
前記予めキャプチャされた画像データの表現を表示している間に、前記表示装置を介して、１つ以上の仮想アバターオプションのセットを表示することと、
前記１つ以上の入力デバイスを介して、前記１つ以上の仮想アバターオプションのセットの各アバターオプションの選択を検出することであって、前記各アバターオプションは、前記第１の仮想アバターと異なる第２の仮想アバターに対応するものである、検出することと、
前記各アバターオプションの選択の検出に応じて、
前記予めキャプチャされた画像データの前記表現内の前記被写体の前記背景の前記第１の部分の表示を維持しつつ、前記予めキャプチャされた画像データの前記表現内の前記被写体の前記表現の前記第１の部分の上の前記第１の仮想アバターの前記表現の表示を中止し、
前記予めキャプチャされた画像データの前記表現内の前記被写体の前記背景の前記第１の部分の上に前記第２の仮想アバターの前記表現を表示することなく、前記第１の仮想アバターによって予め占有された前記予めキャプチャされた画像データの前記表現内の位置に、前記予めキャプチャされた画像データの前記表現内の前記被写体の前記表現の前記第１の部分の上に前記第２の仮想アバターの表現を表示することと、を含む方法。 An electronic device having a display device and one or more input devices,
displaying a representation of the pre-captured image data via said display device;
displaying a representation of an object within the representation of the pre-captured image data; and
displaying a representation of a first portion of a background of the subject in the representation of the pre-captured image data;
displaying a representation of a first virtual avatar over a first portion of the representation of the subject in the representation of the pre-captured image data;
displaying, via said display device, a set of one or more virtual avatar options while displaying a representation of said pre-captured image data;
detecting, via the one or more input devices, a selection of each avatar option in the set of one or more virtual avatar options, each avatar option corresponding to a second virtual avatar different from the first virtual avatar;
In response to detecting a selection of each of said avatar options,
ceasing to display the representation of the first virtual avatar over the first portion of the representation of the subject in the representation of the pre-captured image data while maintaining display of the first portion of the background of the subject in the representation of the pre-captured image data;
and displaying a representation of the second virtual avatar over the first portion of the representation of the subject in the representation of the pre-captured image data at a position in the representation of the pre-captured image data previously occupied by the first virtual avatar, without displaying the representation of the second virtual avatar over the first portion of the background of the subject in the representation of the pre-captured image data. 前記予めキャプチャされた画像データは、予めキャプチャされたビデオデータである、請求項１に記載の方法。 The method of claim 1, wherein the pre-captured image data is pre-captured video data. 前記予めキャプチャされた画像データの前記表現内の前記被写体の前記表現の第１の部分の上に前記第１の仮想アバターの表現を表示している間に、前記予めキャプチャされたビデオデータ内の前記被写体の姿勢における変化を検出することと、
前記予めキャプチャされたビデオデータ内の前記被写体の姿勢における変化を検出することに応じて、前記第１の仮想アバターの前記表現を修正することと、を含む請求項２に記載の方法。 detecting a change in a pose of the subject in the pre-captured video data while displaying a representation of the first virtual avatar over a first portion of the representation of the subject in the representation of the pre-captured image data;
and modifying the representation of the first virtual avatar in response to detecting a change in pose of the subject in the pre-captured video data. 前記予めキャプチャされた画像データの前記表現内の前記被写体の前記表現の第１の部分の上に前記第２の仮想アバターの前記表現を表示している間に、前記予めキャプチャされたビデオデータ内の前記被写体の姿勢における変化を検出することと、
前記予めキャプチャされたビデオデータ内の前記被写体の姿勢における変化を検出することに応じて、前記第２の仮想アバターの前記表現を修正することと、を含む請求項３に記載の方法。 detecting a change in a pose of the subject in the pre-captured video data while displaying the representation of the second virtual avatar over a first portion of the representation of the subject in the representation of the pre-captured image data;
and modifying the representation of the second virtual avatar in response to detecting a change in pose of the subject in the pre-captured video data. 前記予めキャプチャされたビデオデータ内の前記被写体の姿勢における変化を検出することは、前記被写体の姿勢内の各変化を検出することを含み、
前記第１の仮想アバターの前記表現を修正することは、前記被写体の姿勢内の各変化に基づいて前記第１の仮想アバターの表現を修正することを含み、
前記第２の仮想アバターの前記表現を修正することは、前記被写体の姿勢内の各変化に基づいて前記第２の仮想アバターの表現を修正することを含む、請求項４に記載の方法。 Detecting changes in the subject's pose in the pre-captured video data includes detecting changes in the subject's pose;
modifying the representation of the first virtual avatar includes modifying the representation of the first virtual avatar based on each change in the subject's pose;
The method of claim 4 , wherein modifying the representation of the second virtual avatar comprises modifying the representation of the second virtual avatar based on each change in the subject's pose. 前記予めキャプチャされた画像データの前記表現内の前記被写体の前記表現の第１の部分の上に、前記第１の仮想アバターの前記表現又は前記第２の仮想アバターの前記表現を表示している間に、前記予めキャプチャされたビデオデータ内の前記被写体の顔の表情における変化を検出することと、
前記予めキャプチャされたビデオデータ内の前記被写体の顔の表情における変化を検出することに応じて、前記第１の仮想アバターの前記表現の顔の表情又は前記第２の仮想アバターの前記表現の顔の表情を修正することと、をさらに含む、請求項２に記載の方法。 detecting a change in a facial expression of the subject in the pre-captured video data while displaying the representation of the first virtual avatar or the representation of the second virtual avatar over a first portion of the representation of the subject in the representation of the pre-captured image data;
3. The method of claim 2, further comprising: modifying a facial expression of the representation of the first virtual avatar or a facial expression of the representation of the second virtual avatar in response to detecting a change in a facial expression of the subject in the pre-captured video data. 前記予めキャプチャされた画像データの前記表現内の前記被写体の前記表現の第１の部分の上に、前記第１の仮想アバターの前記表現又は前記第２の仮想アバターの前記表現を表示することは、
前記被写体の頭の位置が、前記予めキャプチャされた画像データの前記表現内の前記被写体の前記表現の第１の領域に対応するという判定に従って、前記予めキャプチャされた画像データの前記表現内の前記被写体の前記表現の前記第１の領域内に前記第１の仮想アバターの前記表現又は前記第２の仮想アバターの前記表現を表示することと、
前記被写体の頭の位置が、前記予めキャプチャされた画像データの前記表現内の前記被写体の前記表現の前記第１の領域と異なる第２の領域に対応するという判定に従って、前記予めキャプチャされた画像データの前記表現内の前記被写体の前記表現の前記第２の領域内に前記第１の仮想アバターの前記表現又は前記第２の仮想アバターの前記表現を表示することと、を含む、請求項１～６のいずれか１項に記載の方法。 Displaying the representation of the first virtual avatar or the representation of the second virtual avatar over a first portion of the representation of the subject in the representation of the pre-captured image data includes:
displaying the representation of the first virtual avatar or the representation of the second virtual avatar within the first region of the representation of the subject within the representation of the pre-captured image data in accordance with a determination that a position of the subject's head corresponds to a first region of the representation of the subject within the representation of the pre-captured image data;
and displaying the representation of the first virtual avatar or the representation of the second virtual avatar within the second region of the representation of the subject in the representation of the pre-captured image data in accordance with a determination that a position of the subject's head corresponds to a second region different from the first region of the representation of the subject in the representation of the pre-captured image data. 前記予めキャプチャされた画像データは、前記被写体の深度データを含み、
前記第１の仮想アバターの前記表現は、前記被写体の前記深度データに基づいて決定された前記予めキャプチャされた画像データの前記表現内の前記被写体の前記表現に対してシミュレーションされた深度に配置され、
前記第２の仮想アバターの前記表現は、前記被写体の前記深度データに基づいて決定された前記予めキャプチャされた画像データの前記表現内の前記被写体の前記表現に対してシミュレーションされた深度に配置される、請求項１～７のいずれか１項に記載の方法。 the pre-captured image data includes depth data of the object;
the representation of the first virtual avatar is positioned at a simulated depth relative to the representation of the subject in the representation of the pre-captured image data determined based on the depth data of the subject;
8. The method of claim 1, wherein the representation of the second virtual avatar is positioned at a simulated depth relative to the representation of the subject in the representation of the pre-captured image data determined based on the depth data of the subject. 前記各アバターオプションの選択を検出することに応じて、
前記第１の仮想アバターの前記表現によって以前は隠されていた前記予めキャプチャされた画像データの前記表現内の前記被写体の前記背景の第２の部分を表示すること、をさらに含む、請求項１に記載の方法。 In response to detecting a selection of each of the avatar options,
10. The method of claim 1, further comprising: displaying a second portion of the background of the subject in the representation of the pre-captured image data that was previously obscured by the representation of the first virtual avatar. 予めキャプチャされた画像データの前記表現を表示することは、前記予めキャプチャされた画像データの前記表現内の前記被写体の第１の部分の表現を表示することを含み、
各アバターオプションの選択を検出することに応じて、
前記予めキャプチャされた画像データの前記表現内の前記被写体の前記背景の第１の部分の表示を維持する、ことをさらに含む、請求項１～９のいずれか１項に記載の方法。 displaying the representation of pre-captured image data includes displaying a representation of a first portion of the object within the representation of the pre-captured image data;
Depending on the selection of each avatar option,
The method of any one of claims 1 to 9 , further comprising maintaining a representation of a first portion of the background of the subject in the representation of the pre-captured image data. 予めキャプチャされた画像データの前記表現を表示する前に、１つ以上のカメラを介して、前記１つ以上のカメラの視野内の前記被写体のライブフィードをキャプチャすることと、
前記被写体のライブフィードをキャプチャしている間に、
前記表示装置を介して、前記被写体のライブフィード表現を表示することと、
前記被写体の前記ライブフィード表現の少なくとも一部の上に前記第１の仮想アバターの前記表現を表示することと、をさらに含む、請求項１～１０のいずれか１項に記載の方法。 capturing, via one or more cameras, a live feed of the subject within a field of view of the one or more cameras prior to displaying the representation of pre-captured image data;
While capturing a live feed of said subject,
displaying a live feed representation of the subject via the display device;
The method of claim 1 , further comprising: displaying the representation of the first virtual avatar over at least a portion of the live-feed representation of the subject. 前記予めキャプチャされた画像データの前記表現内の前記被写体の前記表現の前記第１の部分の上に前記第２の仮想アバターの前記表現を表示している間に、前記１つ以上の入力デバイスを介して、前記予めキャプチャされた画像データの伝送を開始する要求を検出することと、
前記予めキャプチャされた画像データの伝送を開始する要求を検出することに応じて、前記表示装置を介して、メッセージングユーザインタフェースのメッセージ作成フィールド内の前記予めキャプチャされた画像データの表現を表示することと、を含み、
前記メッセージ作成フィールド内の前記予めキャプチャされた画像データの表現は、前記第２の仮想アバターの第２の表現を含む、請求項１～１１のいずれか１項に記載の方法。 detecting, via the one or more input devices, a request to initiate transmission of the pre-captured image data while displaying the representation of the second virtual avatar over the first portion of the representation of the subject in the representation of the pre-captured image data;
and displaying, via the display device, a representation of the pre-captured image data in a message composition field of a messaging user interface in response to detecting a request to initiate transmission of the pre-captured image data;
The method of any one of claims 1 to 11 , wherein the representation of the pre-captured image data in the message composition field includes a second representation of the second virtual avatar. 請求項１～１２のいずれか１項に記載の方法をコンピュータに実行させるコンピュータプログラム。 A computer program that causes a computer to execute the method according to any one of claims 1 to 12 . 表示装置と、
１つ以上の入力デバイスと、
請求項１３に記載のコンピュータプログラムを記憶するメモリと、
前記メモリに記憶された前記コンピュータプログラムを実行することが可能な１つ以上のプロセッサと、を備える電子デバイス。 a display device;
one or more input devices;
a memory for storing the computer program of claim 13 ;
and one or more processors capable of executing the computer programs stored in the memory. 請求項１～１２のいずれか１項に記載の方法を実施する手段を備える電子デバイス。 An electronic device comprising means for carrying out the method according to any one of claims 1 to 12 .
JP2023210355A 2018-05-07 2023-12-13 Creative Camera Active JP7821769B2 (en)

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
US201862668227P 2018-05-07 2018-05-07
US62/668,227 2018-05-07
US201862679934P 2018-06-03 2018-06-03
US62/679,934 2018-06-03
DKPA201870366 2018-06-12
DKPA201870367 2018-06-12
DKPA201870367 2018-06-12
DKPA201870368 2018-06-12
DKPA201870368 2018-06-12
DKPA201870366 2018-06-12
US16/110,514 US10375313B1 (en) 2018-05-07 2018-08-23 Creative camera
US16/110,514 2018-08-23
JP2021166686A JP7285291B2 (en) 2018-05-07 2021-10-11 creative camera
JP2023083816A JP7349044B2 (en) 2018-05-07 2023-05-22 creative camera
JP2023146062A JP7404587B2 (en) 2018-05-07 2023-09-08 creative camera

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2023146062A Division JP7404587B2 (en) 2018-05-07 2023-09-08 creative camera

Publications (2)

Publication Number Publication Date
JP2024028968A JP2024028968A (en) 2024-03-05
JP7821769B2 true JP7821769B2 (en) 2026-02-27

Family

ID=87579418

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2021166686A Active JP7285291B2 (en) 2018-05-07 2021-10-11 creative camera
JP2023083816A Active JP7349044B2 (en) 2018-05-07 2023-05-22 creative camera
JP2023146062A Active JP7404587B2 (en) 2018-05-07 2023-09-08 creative camera
JP2023210355A Active JP7821769B2 (en) 2018-05-07 2023-12-13 Creative Camera

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2021166686A Active JP7285291B2 (en) 2018-05-07 2021-10-11 creative camera
JP2023083816A Active JP7349044B2 (en) 2018-05-07 2023-05-22 creative camera
JP2023146062A Active JP7404587B2 (en) 2018-05-07 2023-09-08 creative camera

Country Status (2)

Country Link
JP (4) JP7285291B2 (en)
CN (1) CN119697337A (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
US12417596B2 (en) 2022-09-23 2025-09-16 Apple Inc. User interfaces for managing live communication sessions
WO2024158843A1 (en) * 2023-01-24 2024-08-02 Apple Inc. Techniques for interacting with virtual avatars and/or user representations

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013101528A (en) 2011-11-09 2013-05-23 Sony Corp Information processing apparatus, display control method, and program
JP2016136324A (en) 2015-01-23 2016-07-28 任天堂株式会社 Program, information processing apparatus, information processing system, and avatar image generation method
US20180091732A1 (en) 2016-09-23 2018-03-29 Apple Inc. Avatar creation and editing

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014222439A (en) * 2013-05-14 2014-11-27 ソニー株式会社 Information processing apparatus, part generating and using method, and program
JP6628354B2 (en) * 2015-09-07 2020-01-08 株式会社ハイスピードボーイズ Server device, program, and communication system
US11237717B2 (en) * 2015-11-04 2022-02-01 Sony Corporation Information processing device and information processing method
DK179471B1 (en) * 2016-09-23 2018-11-26 Apple Inc. Image data for enhanced user interactions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013101528A (en) 2011-11-09 2013-05-23 Sony Corp Information processing apparatus, display control method, and program
JP2016136324A (en) 2015-01-23 2016-07-28 任天堂株式会社 Program, information processing apparatus, information processing system, and avatar image generation method
US20160217601A1 (en) 2015-01-23 2016-07-28 Nintendo Co., Ltd. Storage medium, information-processing device, information-processing system, and avatar generating method
US20180091732A1 (en) 2016-09-23 2018-03-29 Apple Inc. Avatar creation and editing

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
[B612]顔認識クマ・ネコスタンプとキラキラやハートが舞い散るＡＲ背景機能が追加，2017年01月22日，htpps://apptopi.jp/2017/01/22/b612，htpps://apptopi.jp/2017/01/22/b612
Ｂ６１２の使い方を画像つきで解説！ＳＮＯＷより盛れる自撮りアプリ，2017年10月22日，https://www.kaoru-blog.com/entry/b612-how，https://www.kaoru-blog.com/entry/b612-how
自撮りカメラアプリ「B612」と「SNOW」、「映画ドラえもん のび太の南極カチカチ大冒険」とコラボ，2017年03月03日，https://vsmedia.info/2017/03/03/b612_snow_doraemon/，https://vsmedia.info/2017/03/03/b612_snow_doraemon/

Also Published As

Publication number Publication date
JP2023175756A (en) 2023-12-12
JP2022008997A (en) 2022-01-14
JP7349044B2 (en) 2023-09-21
JP2024028968A (en) 2024-03-05
JP7404587B2 (en) 2023-12-25
JP7285291B2 (en) 2023-06-01
JP2023116485A (en) 2023-08-22
CN119697337A (en) 2025-03-25

Similar Documents

Publication Publication Date Title
JP6960513B2 (en) Creative camera
US11178335B2 (en) Creative camera
US20220070385A1 (en) Creative camera
JP7821769B2 (en) Creative Camera
AU2022215297B2 (en) Creative camera
AU2021201295B2 (en) Creative camera

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240112

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20241225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250204

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20250502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20251117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20260115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20260216

R150 Certificate of patent or registration of utility model

Ref document number: 7821769

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150