WO2026044438A1 - Image translation using keys - Google Patents

Abstract

The present disclosure provide techniques for viewer-dependent image translation using a plurality of keys. A method may include obtaining a noise image; obtaining a first key associated with the noise image; and performing, by a denoising model, denoising of the noise image based on the first key to generate a first image.

Description

IMAGE TRANSLATION USING KEYS

INTRODUCTION

Field of the Disclosure

Aspects of the present disclosure relate to techniques for image translation.

Description of Related Art

Privacy protection has become a critical concern in today’s digital age. Particularly sensitive are face images (e.g., digital images and/or video frames of a person’s face containing unique biometric identifying information for that person) , which may not only reveal a person’s identity, but also other sensitive personal information. Opportunities for misuse of such information included in face images are numerous and potentially disastrous. For example, malicious actors, with access to a person’s facial information may utilize the information to impersonate the person (e.g., such as to commit financial fraud, obtain private information, to deceive others for their own personal gain, etc. ) , create false advertising, and/or bypass biometric verification, to name a few. As a result of such action (s) , the person may experience a wide range of significant harms, such as economic loss, legal liability, negative psychological effects, etc. It is therefore imperative to protect the facial information of persons to maintain the privacy and security of personal identify information.

Some existing face privacy protection methodologies may perform image-to-image translation (simply referred to herein as “image translation” ) to replace a real image of a person’s face with an artificially generated image that removes identifiable aspects of the person’s face (e.g., to display an “anonymized face” ) . The generated image may maintain a realistic appearance of the person while preventing human observers and/or facial recognition models from recognizing the person’s identity correctly. The generated image may be used in one or more applications instead of the real image of the person, such as to protect the privacy of the person.

Image translation, which may be used for face privacy protection, is an area of machine learning that aims to learn mappings between different image domains. More specifically, image translation refers to a process of translating a source image (also referred to herein as an “input image” ) to an output image. The translation may seek to preserve the content of the source image while changing the style to a target image domain. For example, in some cases, image translation techniques may be used to  translate a real image of a person’s face (e.g., an input image) into a cartoon form (e.g., an output image for a target image domain) .

One example image translation technique may use diffusion model (s) to perform the translation. A diffusion model may be a type of generative artificial intelligence (AI) model, which uses neural networks to identify patterns and/or structures within existing data to generate new and original content. For image translation, diffusion model (s) may be trained to invert an input image into a latent space over a number of noise injection steps, and then generate an output image by reversing the process. For example, diffusion model (s) may treat the image translation process as a Markov chain of steps that turn the input image into noise and vice versa. The forward diffusion process may be given by an ordinary differential equation (ODE) which adds noise to the image (e.g., noising) to convert it into a sample from a Gaussian distribution. The backwards diffusion process may be a learned ODE, which may gradually remove noise (e.g., denoising) to convert the sample from the Gaussian distribution into a sample from the data distribution, such as to generate the output image. In certain aspects, the forward diffusion process may be performed by an inverse denoising diffusion model (also referred to as a “noising” model) , and the backward diffusion process may be performed by a denoising diffusion model (also referred to as a “denoising model” ) .

In some cases, the diffusion model (s) may generate the output image under the guidance of one or more conditioned signals. For example, conditional diffusion model (s) (e.g., modified version (s) of an unconditional diffusion model) may perform the backwards diffusion (e.g., denoising) conditioned on the conditioned signal (s) to generate the output image given. The conditioned signal (s) may be generated based on one or more control signals provided as additional input into the model (s) .

The generated output image, generated with or without the conditioned signal (s) , may be associated with a target image domain.

SUMMARY

One aspect provides a method for key-based image translation by an apparatus. The method generally includes obtaining a noise image; obtaining a first key associated with the noise image; and performing, by a denoising model, denoising of the noise image based on the first key to generate a first image.

One aspect provides a method for key-based image translation by an apparatus. The method generally includes obtaining a noise image; obtaining a plurality of keys associated with the noise image; obtaining, from a device, an indication of a profile; and sending, to the device, the noise image and a key of the plurality of keys, wherein the key is associated with the profile.

Other aspects provide: an apparatus operable, configured, or otherwise adapted to perform any one or more of the aforementioned methods and/or those described elsewhere herein; a non-transitory, computer-readable media comprising instructions that, when executed by a processor of an apparatus, cause the apparatus to perform the aforementioned methods as well as those described elsewhere herein; a computer program product embodied on a computer-readable storage medium comprising code for performing the aforementioned methods as well as those described elsewhere herein; and/or an apparatus comprising means for performing the aforementioned methods as well as those described elsewhere herein. By way of example, an apparatus may comprise a processing system, a device with a processing system, or processing systems cooperating over one or more networks.

The following description and the appended figures set forth certain features for purposes of illustration.

BRIEF DESCRIPTION OF DRAWINGS

The appended figures depict certain features of the various aspects described herein and are not to be considered limiting of the scope of this disclosure.

FIG. 1 depicts an example image translator.

FIG. 2 depicts example images generated by a denoising model based on multiple different keys.

FIG. 3 depicts a process flow for communications in a network between a user device, a server, and two devices, each running one or more applications, to distribute a noise image and keys for key-based image translation.

FIGS. 4 depicts a process flow for communications in a network between a user device, two servers, and two devices, each running one or more applications, to distribute a noise image and keys for key-based image translation.

FIG. 5 illustrates an example artificial intelligence (AI) architecture that may be used for image translation.

FIG. 6 illustrates an example AI architecture of a first wireless device that is in communication with a second wireless device.

FIG. 7 illustrates an example artificial neural network.

FIG. 8 depicts an example method for key-based image translation.

FIG. 9 depicts another example method for key-based image translation.

FIG. 10 depicts aspects of an example device.

FIG. 11 depicts aspects of another example device.

DETAILED DESCRIPTION

Aspects of the present disclosure provide apparatuses, methods, processing systems, and computer-readable mediums for image translation using keys, such as for face image translation to improve the privacy of users and the security of personal identify information. Although aspects herein are described with respect to face image translation using keys, in some other aspects, the techniques described herein may be used for other types of image translation (some of which are listed below) , such as to control the translation of an image into different variations of the image for different viewers of the image.

Diffusion models (e.g., a class of generative AI models) may be used for many different types of image translations. For example, in the entertainment industry, diffusion model (s) may be used to create realistic environments and/or characters for video games and/or movies from images depicting the real world. Thus, diffusion models may help to save time and resources that would normally be used to manually create these elements in media. In the medical field, diffusion model (s) may play an important role in improving the quality of diagnostic images. For example, diffusion model (s) may be used to generate clearer and/or more detailed images of tissues and/or organs (e.g., from diagnostic images) , which may aid doctors in making more accurate diagnoses. For autonomous driving, diffusion model (s) may be used for data augmentation and/or domain adaptation, such as for creating additional data sets for training a machine learning (ML) model configured to aid an autonomous vehicle in navigating its environment. Diffusion model (s) may also be useful for image editing, such as for style transfer.

In certain aspects, diffusion model (s) may be used to perform face profile generation. For example, diffusion model (s) may be used to translate an input image, such as a first image (e.g., a real or original image) of a user’s (e.g., a person’s) face, to generate one or more output images, such as one or more face images, which are variants of the first image (e.g., different than the first image in terms of style, color, visibility, etc. ) . In certain aspects, multiple output face images may be generated, where each output face image may be used as a profile picture for the user online.

Specifically, a profile picture refers to an image that a user may use for online platforms, such as for social media sites, professional sites, etc. to represent themselves. A profile picture for a user may be any type of image, which may reflect how the user views and shapes their online self-representation. The profile picture may be one of the most visible user-generated characteristic in the online world as it may appear in almost every online interaction, such as in almost every comment and/or post made by the user online. Example profile pictures may include a self-photograph used in an online social media platform and/or a metaverse avatar used in a virtual world, among others.

Often times, a user may use different profile pictures for different online platforms. For example, using different profile pictures on different online platforms may allow the user to tailor their image to suit the specific audience (also referred to herein as “viewer (s) ” ) and/or purpose of each platform. For example, a user may desire to use (1) a more professional picture of themselves on a professional site used to connect with other colleagues, employees, etc. (e.g., a first example type of viewer) , (2) a more casual picture of themselves on a social networking application that the user uses to connect with family (e.g., a second example type of viewer) , and (3) a kid-friendly avatar on an online video game where the user connects with other kids/players (e.g., a third example type of viewer) . As another example a user may desire to use an original image of themselves on an online platform where the user connects only with family, and a different image on other platforms, such as out of caution to help protect their identity.

In some cases, diffusion model (s) , and more specifically conditional diffusion model (s) , may be used to generate each of these face image variants from an original face image of the user (e.g., a real picture of the user’s face) . A conditional diffusion model (also referred to as a “conditioning model” or a “conditional model” ) is a type of diffusion model that uses one or more conditioned signals (e.g., generated from control signal (s) ) to guide the image translation. The conditional model (s) may add noise, such as over  multiple iterations (e.g., time steps) , to the original face image, to transform the original face image into a noise image. The conditional model (s) may then transform, such as over one or more iterations, the noise image into different variations of the original image based on the different conditions signals. The different variations of the original image created may include (1) a reconstructed version of the original image (e.g., with subtle differences from the original image) , (2) a more professional version of the original image, (3) a more casual version of the original image, and/or (4) a kid-friendly or cartoon version of the original image, among others.

In certain aspects, image translation of the real face image of the user may occur at a server (e.g., a computer program or device that provides a service to another computer program and its user, also known as client device and its client) . The server may be connected to (e.g., such as over a network or internet connection) and in communication with one or more client devices running application (s) , which may use the generated face images. For example, the client device may obtain from the server at least one of the rendered face images and display it on the client device. The face image obtained by the client device may be a face image generated for the specific viewer (s) (e.g., viewer-specific face image) associated with the application running on the client device.

Rendering each of the viewer-specific face images at the server may consume a large amount of server resources, including at least central processing unit (CPU) and memory. In some cases, available resources may even become exhausted as the number of face image variations that need to be generated increases. For example, as described above, a user may desire to use a different profile picture for different groups of viewers (e.g., such as to protect their privacy) . Thus, as the number of viewer-specific groups increases, so may the number of face image variants that need to be generated at the server, which presents a technical problem related to resource usage and availability at the server.

Moreover, to protect the privacy of the user and prevent the real image from becoming compromised (e.g., such as by a malicious actor of a client device obtaining the original face image for the user, when the client device is not a device authorized to use/display this image) , the server may need to encrypt the original face image for the user. Encryption may introduce additional computational overhead at the server, which  may affect system performance, especially when multiple face images for multiple users are encrypted and stored at the server.

Certain aspects described herein overcome the aforementioned technical problems associated with current image translation techniques, such as to generate face images for display at one or more client devices, and provide a technical benefit to the field of computer vision. For example, aspects described herein provide techniques for image translation using keys. Each key may be used to control the translation of an input image into a different variant of the input image (and in some cases, recover the input image with slight differences) , such as for a respective group of viewer (s) among multiple groups of viewer (s) .

For example, multiple variants of an input image may be generated using image translation techniques, as described herein. Each variant of the input image may be associated with a unique key. A key associated with a variant of the input image may be a mechanism used to guide the denoising of a noise image (e.g., for the input image) , such as to generate the particular variant of the input image. Put differently, translation of an input image to a particular variant of the input image may be controlled by at least a key used during the image translation process.

As an illustrative example, three keys may be generated for a real image of a user’s face. A first key may be associated with a first artificially generated image of the user’s face, e.g., the user’s original face with subtle differences (e.g., recover the real image of the user’s face) . A second key may be associated with a second artificially generated image of the user’s face, e.g., a more professional version of the user’s face. A third key may be associated with a third artificially generated image of the user’s face, e.g., a cartoon version of the user’s face. When translating the real image of the user’s face into the cartoon version of the user’s face (e.g., to be viewed by a first group of viewer (s) ) , one or more diffusion models may be used to generate a noise image for the real image of the user’s face, and then generate an output image by reversing the process under the guidance of the third key, which may be provided as input into the diffusion model (s) . Based on the third key input, the diffusion model (s) may perform denoising of the noise image to produce the cartoon version of the user’s face. Similar denoising using the first key may be performed to generate the first artificially generated image of the user’s face, e.g., the user’s original face with subtle differences. Further, similar denoising  using the second key may be performed to generate the second artificially generated image of the user’s face, e.g., a more professional version of the user’s face.

In certain aspects, the keys used to generate the different variants of the input image may be distributed to one or more client devices. For example, a client device used to display a first image variant of the input image may obtain a first key associated with this first image variant, a client device used to display a second image variant of the input image may obtain a second key associated with this second image variant, and so on. Each client device may use its respective key (s) to generate variant (s) of the input image. For example, a user device may generate a noise image for the input image and store this noise image at a server. A client device may obtain the noise image from the server and perform denoising of the noise image based on one of the respective key (s) obtained by the client device. Thus, a first portion of the image translation may occur at the user device and a second portion of the image translation may occur at the client device. Further, only the noise image may need to be stored at the server.

In certain aspects, a client device may obtain its respective key (s) and the noise image from a same server for image translation. Beneficially, the client device may more easily access its respective key (s) and the noise image when they are provided by the same server. In certain other aspects, the client device may obtain its respective key (s) and the noise image from different servers for image translation. A benefit of having the client device key (s) and the noise image stored separately is that, even if a client device has access to the server with the noise image, the client device may not always have access to the server with the key (s) to perform the image translation (e.g., thereby improving security of the content included in the input image and/or its variation (s) ) . In certain other aspects, the client device may obtain its respective key (s) from the user device (e.g., via a secured direct connection) and obtain the noise image from a server for image translation.

In certain aspects, the image translation techniques described herein provide various beneficial technical effects and/or advantages over conventional solutions, such as reduced resource usage at a server and increased security of an input image used for image translation. In certain aspects, the reduced resource usage may be attributed to performing the image translation at a user device and a client device, instead of at the server (as in conventional techniques) . For example, as described herein, a user device may generate a noise image for an input image, and a client device may perform denoising  of the noise image to generate a particular variation of the input image. Thus, the server need not perform the image translation, nor store different variant (s) of the input image, thereby saving computation and storage resources. In certain aspects, reduced resource usage may also be realized at least based on the server not needing to perform encryption for image (s) stored at the server (e.g., only the noise image may be stored at the server) .

In certain aspects, increased security of the input image used for image translation may be attributed to only the user device storing and processing the input image. For example, the input image may not be provided to the server, nor the client device (s) . Further, the server may not store the input image thereby reducing the likelihood of the input image becoming compromised.

Example Image Translators

FIG. 1 depicts example image translators 100, 150 (simply referred to herein as “translator 100” and “translator 150, ” respectively) . In certain aspects, translator 100 and translator 150 may work together, in a distributed fashion, to translate an input image 102 to an output image 122, which may be a translated image or a particular variation of the input image 102. For example, as described below, components of translator 100 may be used to perform “noising, ” or generate a noise image 110 from an input image 102, and translator 150 may be used to perform “denoising, ” or generate the output image 122 from the noise image 110. In certain aspects, one or more components of the translator 100 may be implemented or run on one or more processors of a first apparatus, which may be coupled to one or more memories of the first apparatus. In certain aspects, one or more components of the translator 100 may be implemented or run on one or more processors of a second apparatus, which may be coupled to one or more memories of the second apparatus.

In certain aspects, input image 102 is a first face image of a user (e.g., a real image of the user’s face) and output image 122 is a second face image of the user. In certain aspects, the first face image of the user and the second face image of the user are the same face image, and may have minor differences resulting from the image translation. Put differently, the image translation may be performed by translators 100, 150 to recover the first face image of the user. In such cases, translator 100 may perform a forward diffusion process given by an ODE which adds noise to the input image 102 (e.g., the first face image) , and the backwards diffusion process may be a learned ODE,  used to gradually remove noise and generate output image 122 (e.g., the second face image) . An ODE may be used such that the forward diffusion process and the backwards diffusion process are inverse processes (i.e., starting from the input image 102, a noise image may be generated, and then the original input image 102 may be recovered as output image 122, such as with minor differences resulting from the image translation) .

In certain aspects, the first face image of the user and the second face image of the user are different face images for the user. For example, the second face image may be vary from the first face image in color, style, visibility, etc.

Some examples of input image 102 and output images 122, which may be generated by translators 100, 150, are provided in FIG. 2. As shown in FIG. 2, example input image 202 may include a real image of a user’s face. Different variations of the user’s face may be generated by translators 100, 150 as output image 222-1, output image 222-2, and output image 222-3. Output image 222-1 may be a reconstructed version of the input image 202 (e.g., with subtle differences cause by the translation) . Output image 222-2 may be a more casual version of input image 202. Output image 222-3 may be a kid-friendly or cartoon version of input image 222.

In this example, output image 222-1 may be intended to be shown to a first group of viewers of an application running on a first client device (not shown) . The first group of viewers may be professional colleagues of the user. Output image 222-2 may be intended to be shown to a second group of viewers of an application running on a second client device (not shown) . The second group of viewers may be members of the user’s family. Output image 222-3 may be intended to be shown to a third group of viewers of an application running on a third client device (not shown) . The third group of viewers may be generally younger individuals playing an online video game (e.g., with avatars) .

A first key, key 1, may be associated with input image 202. Key 1 may be used to generate conditioning input that may be provided as input to a noising model for performing noising of input image 202 to generate a noise image 210. Key 1 may also be associated with output image 222-1. For example, key 1 may be used to generate conditioning input that may be provided as input to a denoising model for performing denoising of noise image 210 (e.g., associated with input image 202 and more specifically, created for input image 202) to generate output image 222-1 from noise image 210. Output image 222-1 may represent a reconstructed version of input image 202  (e.g., nearly the same image) . As an illustrative example, key 1 may be a facial feature vector of input image 202 with text “professional profile. ” A second key, key 2, may be associated with output image 222-2. Key 2 may be used to generate conditioning input that may be provided as input to a denoising model for performing denoising of the noise image 210 to generate output image 222-2 from the noise image 210. A third key, key 3, may be associated with output image 222-3. Key 3 may be used to generate conditioning input that may be provided as input to a denoising model for performing denoising of the noise image 210 to generate output image 222-3 from the noise image 210. Use of keys, such as key 1, key 2, and/or key 3 to generate output image 222-1, output image 222-2, and/or output image 222-3, respectively, are described with respect to FIG. 1.

Thus, returning to FIG. 1, the image translation may begin by providing input image 102 to an encoder 104 of translator 100 to generate a latent image representation 106. For example, the latent image representation 106 may have a shape H’ x W’ x C, where H’ is the height of the image representation 106, W’ is the width of the image representation 106 (e.g., which may be smaller than the width of input image 102) , and C represents a number of channels. The encoder 104 may be similar to an image encoder used with any diffusion model, such as Dall-E 2, Imagen, Stable Diffusion, Midjourney, etc. An example encoder 104 may include a variant of the Vector Quantized-Variational AutoEncoder (VQ-VAE) or a convolutional neural network designed to encode images into a latent space that a diffusion model can then manipulate based on text inputs or other conditioning signals to generate images (such as image variations of input image 102) .

The latent image representation 106 may be provided as input into a diffusion model 111-1 (e.g., an inverse denoising/diffusion model, such as inverse denoising diffusion implicit model (DDIM) ) at translator 100. Providing the latent image representation 106 to diffusion model 111-1 may cause diffusion model 111-1 to perform “noising, ” also referred to herein as “inverse denoising. ”

In certain aspects, the diffusion model 111-1 may be an architecture used within a broader family of diffusion models. The diffusion model 111-1 may add noise, such as over multiple iterations (e.g., time steps) , to latent image representation 106, until a pure noisy latent image representation remains, referred to as “noise image 110. ” Noise image 110 may lack visible image content, but may retain visual semantics of the latent image representation 106 within a noise vector. In certain aspects, the noising process using the diffusion model 111-1 may transform the latent image representation 106 to the  noise image 110 by reversing a latent diffusion generative process through a series of steps where the diffusion model 111-1 iteratively (e.g., incrementally) adds noise to the image at each iteration. This reverse process may rely on the diffusion model 111-1 being trained or designed to gradually increase the entropy of the latent image representation 106 until the latent image representation 106 reaches a state that represents (e.g., pure) noise.

In certain aspects, one or more conditional guidance signals, referred to herein as “conditioned signal (s) , ” from a conditioning model 124-1 at translator 100 may also be injected into the diffusion model 111-1, such as into one or more layers of the diffusion model 111-1. The one or more layers into which the conditioned signal (s) may be injected may include, for example, one or more convolutional layers. In certain aspects, the conditioned signal (s) may be injected into diffusion model 111-1 for all of the same iterations, some of the same iterations, or none of the same iterations.

In certain aspects, the conditioned signal (s) injected into the diffusion model 111-1 provide guidance to the diffusion model 111-1 to guide the image translation at diffusion model 111, such as to guide the transformation of latent image representation 106 into noise image 110. For example, the conditioned signal (s) may provide localized steering assistance during the noising transformation by the diffusion model 111-1. In certain aspects, conditioning model 124 may receive as input one or more control signals 125 and generate the conditioned signal (s) based on the control signal (s) 125.

In certain aspects, a control signal 125 provided to conditioning model 124-1 is an inversion prompt 108. In examples, the inversion prompt 108, may provide a baseline or control condition, representing the absence of influence of semantic guidance and ensuring that the noising process (e.g., inversion process) is unbiased and neutral. In certain aspects, the inversion prompt 108 provided as a control signal 125 may be one example key provided to conditioning model 124-1. The key (e.g., inversion prompt) may be an empty (or default) key or a random key (e.g., where a random key may be more secure due to the fact that the random key may be more difficult to guess) .

In certain aspects, a control signal 125 provided to conditioning model 124-1 may include an example key generated for input image 102. Example keys generated for input image 102 may include a text prompt, a facial feature vector, one or more face key  points, or a sketch. As an illustrative example, one or more control signals 126 may include key 3 associated with input image 202 and output image 222-3 in FIG. 2. The conditioning model 124 may process the key (in some examples, the key may be resized before being provided to conditioning model 124-1) to generate conditioned signal (s) (e.g., residual signal (s) ) . The conditioned signal (s) may force the image generation process to adhere to specific translation guidelines provided by key 3. In this example, the guidelines may indicate to add estimated noise to input image 102, guided by key 3.

In certain aspects, the noise image 110 is then provided to a diffusion model 111-2 (e.g., such as a DDIM) at translator 150. The diffusion model 111-2 may transform, such as over one or more iterations, noise represented as noise image 110 into a latent image representation 118 that represents an output image such as output image 122 of FIG. 1 (e.g., cat or cartoon version of the input image 102) . A decoder 120 may then decode the latent image representation 118 to create, for example, output image 122. In examples, the output image 122 is a translated version of the input image 102. In certain aspects, the decoder 120 may be similar to an image decoder used with any diffusion model, such as Dall-E 2, Imagen, Stable Diffusion, Midjourney, etc. In certain aspects, the diffusion model 111-2, using a neural network, at translator 150 may be a same diffusion model as diffusion model 111-1, using the same neural network, at translator 100, such that, in some cases, denoising performed by diffusion model 111-2 may generate a latent image representation 118 that can be decoded to recover the original input image 102.

In certain aspects, one or more conditioned signal (s) from a conditioning model 124-2 at translator 150 may be injected into the diffusion model 111-2. For example, the conditioned signal (s) may be injected into one or more layers (e.g., of a decoder portion) of the diffusion model 111-2. In certain aspects, conditioning model 124-2 at translator 150 is a same conditioning model as conditioning model 124-1 at translator 100.

In certain aspects, the conditioned signal (s) injected into the diffusion model 111-2 provide guidance to the diffusion model 111-2 to guide the image translation at diffusion model 111-2, such as to guide the transformation of noise image 110 into the latent image representation 118. For example, the conditioned signal (s) may provide localized steering assistance during the denoising transformation by the diffusion model  111-2. Such steering may help to meet specific constraints such as quality, characteristics, and/or like during denoising.

In certain aspects, the conditioning model 124-2 may receive as input one or more control signals 126 and generate the conditioned signal (s) based on the control signal (s) 126. In certain aspects, a control signal 126 provided to the conditioning model 124-2 may include an example key (e.g., a text prompt, a facial feature vector, one or more face key points, or a sketch) generated for input image 102, such as described above.

As an illustrative example, one or more control signals 126 may include key 3 associated with input image 202 and output image 222-3 in FIG. 2. The conditioning model 124-2 may process the key (in some examples, the key may be resized before being provided to the conditioning model 124-2) to generate conditioned signal (s) (e.g., residual signal (s) ) . The conditioned signal (s) may force the image generation process (e.g., by diffusion model 111-2) to adhere to specific translation guidelines provided by key 3. In this example, the guidelines may indicate to generate a cartoon version, and more specifically a cat version, of input image 202 (e.g., an example of input image 102) .

In another example, control signal (s) 126 may include key 1 associated with input image 202 and output image 222-1 in FIG. 2. Thus, the conditioned signal (s) may include specific translation guidelines for generating output image 222-1. Similarly, in another example, control signal (s) 126 may include key 2 associated with input image 202 and output image 222-2 in FIG. 2. Thus, the conditioned signal (s) may include specific translation guidelines for generating output image 222-2.

Example Signaling for Viewer-Dependent Image Translation Using a Plurality of Keys

FIG. 3 depicts a process flow 300 for communications in a network between a user device 302, a server 304, and two other devices 306-1, 306-2. Communications between user device 302, server 304, device 306-1, and device 306-2 may include wired and/or wireless communications. Process flow 300 may be performed to distribute a noise image and keys for key-based image translation (e.g., such as shown in FIG. 1) . In FIG. 3, device 306-1 may obtain both the noise image and a key for key-based image translation from a same server 304. Similarly, device 306-2 may obtain both the noise image and a key for key-based image translation from a same server 304.

User device 302, device 306-1, and device 306-2 may each include a user interface (UI) , respectively. The UI associated with user device 302 may be used to  communicate with, at least, server 304. Similarly, the UI associated with device 306-1 and the UI associated with device 306-2 may be used to communicate with, at least, server 304. For example, communication between server 304 and user device 302, device 306-1, and device 306-2 may be facilitated by one or more application programming interfaces (APIs) . Examples of user device 302, device 306-1, and/or device 306-2 may include a cellular phone, smart phone, session initiation protocol (SIP) phone, laptop, personal digital assistant (PDA) , multimedia device, video device, digital audio player, camera, game console, tablet, smart device, wearable device, vehicle, display, internet of things (IoT) devices, always on (AON) devices, data centers, or other similar devices. In certain aspects, device 306-1 is an edge computing device. In certain aspects, device 306-2 is an edge computing device.

Server 304 may be device or program that provides resources, services, or data to other devices, such as user device 302, device 306-1, and device 306-2, over a network. Server 304 may be a physical device, such as a rack server, or a virtual device. In certain aspects, reference to server 304 performing a function may include one or more servers performing that function, such as in a distributed fashion.

Process flow 300 begins at 310 with user device 302 obtaining an input image and an initial key associated with the input image. The input image may be input image 202 illustrated in FIG. 2. The initial key may be key 1 illustrated in FIG. 2, such as a facial feature vector of input image 202 with text “professional profile” (although other types of keys may be considered) .

At 312, user device 302 generates a noise image using the initial key. The noise image may be noise image 204 illustrated in FIG. 2. User device 302 may generate the noise image by performing steps similar to the steps performed by translator 100 in FIG. 1 to generate noise image 110.

At 314, user device 302 generates one or more other keys. Another example key that may be generated for the input image may include a text prompt, a facial feature vector, one or more face key points, or a sketch. While in this example, other keys are generated at 314, in some other examples, no other keys may be generated, such that the initial key is the only key that exists at user device 402.

For example, the key (s) generated at 314 may include key 2 associated with output image 222-2 and/or key 3 associated with output image 222-3 in FIG. 2. Key 2  may be the same facial feature vector of input image 202 as key 1 (e.g., the initial key) , but with different text, such as text “causal style, close-up look, smiling and friendly. ” Key 3 may also be the same facial feature vector of input image 202 as key 1 (e.g., the initial key) , but with different text, such as text “cartoon, cat, house background. ” When generating these keys, user device 302 may generate each key, and then test each key, such as by performing a denoising process for noise image 204 (e.g., by performing steps similar to the steps performed by translator 150 in FIG. 1) , to verify that an output image generated based on the respective key and the noise image 204 matches an expected image given the respective prompt. For example, when testing key 3, such as by performing denoising using key 3, user device 302 may expect the output image of the denoising process to represent a cartoon cat having similar facial features as shown in input image 202, where the cartoon cat is situated inside a house. Based on performing this verification when generating the key (s) , the key (s) may be tuned/adjusted as needed.

In certain other aspects, if a desired output image already exists, a key may be generated with an image-to-prompt method. In such cases, the user device 302 may perform fine-tuning of the denoising process (e.g., such as fine-tuning steps similar to the steps performed by translator 150 in FIG. 1) , if needed.

At 316 and 318, user device 302 sends the noise image and the key (s) (including the initial key) , respectively, to server 304. User device 302 may send the noise image and the key (s) (including the initial key) without sending the input image to server 304. Put differently, only user device 302 may have access to the input image. While in this example, multiple keys are sent at 316, in some other example where only the initial key exists at user device 302, then only the initial key may be sent at 316.

At 320, device 306-1, optionally, sends an indication of a first profile associated with device 306-1 to server 304. In certain aspects, the first profile may provide information about a type of application running on device 306-1 which may use an image generated by device 306-1. An example first profile may include a professional/business profile when the application is an online professional/business platform. Another example first profile may include a family profile when the application is an online family platform, such as for communicating with family members, sharing photos, etc. Another example first profile may include a game profile when the application is an online gaming platform. It is noted that these are only example profiles, and other types of profiles may be considered. In certain aspects, the first profile may provide information about an image  (e.g., a more professional/business image, a casual image, a kid-friendly or cartoon-like image, etc. ) that device 306-1 is requesting to display. In certain aspects, sending the indication of the first profile may prompt the server 304 to send the noise image and a key associated with the profile to device 306-1.

Accordingly, at 322 and 324, server 304 sends the noise image and a key, respectively, to device 306-1. Server 304 may send the noise image and the key based on receiving the first profile from device 306-1. In certain aspects, the key sent to device 306-1 is a key associated with the first profile (and is one of the key (s) sent to server 304 at 318) . For example, in cases where the first profile includes a professional/business profile, then the key may be a key that client device 306-1 may use to generate a business/professional version of the input image (e.g., such as key 1, or the initial key) .

At 326, device 306-1 performs denoising of the noise image based on the received key. For example, where the received key is key 1, denoising of the image based on key 1 may cause device 306-1 to generate an output image which is a business/professional version of the input image.

Device 306-2 may perform similar steps as device 306-1 to also generate an output image. The output image generated by device 306-2 may be the same or different than the output image generated by device 306-1.

For example, optionally at 328, device 306-2 sends an indication of a profile associated with device 306-2. The profile may provide information about a type of application running on device 306-2 which may use an image generated by device 306-2.

At 330 and 332, server 304 sends the noise image and a key, respectively, to device 306-2. Server 304 may send the noise image and the key based on receiving the second profile from device 306-2. In certain aspects, the key sent to device 306-2 is a key associated with the second profile. For example, in cases where the second profile includes an online gaming profile, then the second key may be a key that client device 306-2 may use to generate a kid-friendly and/or cartoon version of the input image (e.g., such as key 3) .

At 334, device 306-2 performs denoising of the noise image based on the received key. For example, where the received key is key 3, denoising of the image based  on key 3 may cause device 306-2 to generate an output image which is a kid-friendly and/or cartoon version of the input image, such as a cartoon cat version of the input image.

Note that the process flow 300 illustrated in FIG. 3 is described herein to facilitate an understanding of image translation using keys, and aspects of the present disclosure may be performed in various manners via alternative or additional signaling and/or operations. In certain aspects, the operations and/or signaling of FIG. 3 may occur in an order different from that described or depicted, and various actions, operations, and/or signaling may be added, omitted, or combined.

FIG. 4 depicts a process flow 400 for communications in a network between a user device 402, two servers 404-1, 404-2, and two other devices 406-1, 406-2. Communications between user device 402, server 404-1, server 404-2, device 406-1, and device 406-2 may include wired and/or wireless communications. Similar to process flow 300, process flow 400 may also be performed to distribute a noise image and keys for key-based image translation (e.g., such as shown in FIG. 1) . Different from FIG. 3 however, in FIG. 4, device 406-1 may obtain the noise image and a key for key-based image translation from different servers (e.g., the key from server 404-1 and the noise image from server 404-2) . Similarly, device 406-2 the noise image and a key for key-based image translation from different servers.

User device 402 may be similar to user device 302 in FIG. 3. Servers 404-1, 404-2 may be similar to server 304 in FIG. 3. Devices 406-1, 406-2 may be similar to devices 306-1, 306-2 in FIG. 3.

Different from FIG. 3 where device 306-1 and device 306-2 each obtain the noise image and a key for denoising from a same server, in process flow 400 in FIG. 4, device 406-1 and device 406-2 may each obtain the noise image and a key for denoising from different servers, such as server 404-1 and 404-2.

Process flow 400 begins with user device 402 performing steps 410-414. Steps 410-414 may be similar to steps 310-314 performed by user device 302 in FIG. 3 to obtain an input image and an initial key, generate a noise image, and generate other key (s) , respectively.

At 416, user device 402 sends the keys, including the initial key, to server 404-1. At 418, user device 402 sends the noise image to server 404-2. User device 402 may  send the noise image and the keys without sending the input image to either server 404-1 or server 404-2.

At 420, device 406-1 optionally sends an indication of a first profile associated with device 406-1 to server 404-1. Such as based on receiving the first profile, server 404-1 sends, at 422, a key to device 406-1. The key that is sent to device 406-1 may be a key associated with the first profile.

At 423, device 406-1 optionally sends an indication of the first profile associated with device 406-1 to server 404-2. Device 406-1 sending the first profile to server 404-2 may prompt server 404-2 to send the noise image back to device 406-1. Accordingly, at 424, server 404-2 sends the noise image to device 406-1. Although in this example, device 406-1 sending, to server 404-2, the first profile associated with device 406-1 triggers server 404-2 to send the noise image 424, in some other examples, some other indication may be sent, by device 406-1 to server 404-2, to prompt server 404-2 to send the noise image.

At 426, device 406-1 performs denoising of the noise image based on the received key. For example, denoising of the image based on the received key may cause device 406-1 to generate an output image which is a recovered version of the input image or a different version of the input image.

Device 406-2 may perform similar steps as device 406-1 to also generate an output image. The output image generated by device 406-2 may be the same or different than the output image generated by device 406-1.

At 428, device 406-2 optionally sends an indication of a second profile associated with device 406-2 to server 404-1. Such as based on receiving the second profile, server 404-1 sends, at 430, a key to device 406-2. The key that is sent to device 406-2 may be a key associated with the second profile.

At 431, device 406-2 optionally sends an indication of the second profile associated with device 406-2 to server 404-2. Device 406-2 sending the second profile to server 404-2 may prompt server 404-2 to send the noise image back to device 406-2. Accordingly, at 432, server 404-2 sends the noise image to device 406-2. Although in this example, device 406-2 sending, to server 404-2, the second profile associated with device 406-2 triggers server 404-2 to send the noise image 424, in some other examples, some  other indication may be sent, by device 406-2 to server 404-2, to prompt server 404-2 to send the noise image.

At 434, device 406-2 performs denoising of the noise image based on the second key. For example, denoising of the image based on the second key may cause device 406-2 to generate an output image which is a recovered version of the input image or a different version of the input image.

Note that the process flow 400 illustrated in FIG. 4 is described herein to facilitate an understanding of image translation using keys, and aspects of the present disclosure may be performed in various manners via alternative or additional signaling and/or operations. In certain aspects, the operations and/or signaling of FIG. 4 may occur in an order different from that described or depicted, and various actions, operations, and/or signaling may be added, omitted, or combined.

In certain other aspects, keys that are to be used for key-based image translation may be stored at two or more servers. In certain aspects, at least one of these keys may be stored at a server where the noise image is stored. In such cases, the at least one key stored at the server with the noise image may be referred to as a “public key, ” while other keys, stored at other servers, may be referred to as “private keys. ”

In certain other aspects, one or more keys may be directly communicated between a user device and another device, having one or more applications running thereon. For example, a secured direct connection between the user device and another device may be used to send the key (s) between the devices. A server may be used to store the noise image. In certain aspects, one or more keys may also be stored at the server. Key(s) stored at the server may be referred to a “public key (s) , ” while key (s) communicated via the secured direction connection may be referred to as “private key (s) . ”

Example System for Image Translation

Certain aspects described herein may be implemented, at least in part, using some form of AI, e.g., the process of using an ML model to infer or predict output data based on input data. An example ML model may include a mathematical representation of one or more relationships among various objects to provide an output representing one or more predictions or inferences. Once an ML model has been trained, the ML model may be deployed to process data that may be similar to, or associated with, all or part of  the training data and provide an output representing one or more predictions or inferences based on the input data.

ML is often characterized in terms of types of learning that generate specific types of learned models that perform specific types of tasks. For example, different types of machine learning include supervised learning, unsupervised learning, semi-supervised learning, and reinforcement learning.

Supervised learning algorithms generally model relationships and dependencies between input features (e.g., a feature vector) and one or more target outputs. Supervised learning uses labeled training data, which are data including one or more inputs and a desired output. Supervised learning may be used to train models to perform tasks like classification, where the goal is to predict discrete values, or regression, where the goal is to predict continuous values. Some example supervised learning algorithms include nearest neighbor, naive Bayes, decision trees, linear regression, support vector machines (SVMs) , and artificial neural networks (ANNs) .

Unsupervised learning algorithms work on unlabeled input data and train models that take an input and transform it into an output to solve a practical problem. Examples of unsupervised learning tasks are clustering, where the output of the model may be a cluster identification, dimensionality reduction, where the output of the model is an output feature vector that has fewer features than the input feature vector, and outlier detection, where the output of the model is a value indicating how the input is different from a typical example in the dataset. An example unsupervised learning algorithm is k-Means.

Semi-supervised learning algorithms work on datasets containing both labeled and unlabeled examples, where often the quantity of unlabeled examples is much higher than the number of labeled examples. However, the goal of a semi-supervised learning is that of supervised learning. Often, a semi-supervised model includes a model trained to produce pseudo-labels for unlabeled data that is then combined with the labeled data to train a second classifier that leverages the higher quantity of overall training data to improve task performance.

Reinforcement Learning algorithms use observations gathered by an agent from an interaction with an environment to take actions that may maximize a reward or minimize a risk. Reinforcement learning is a continuous and iterative process in which  the agent learns from its experiences with the environment until it explores, for example, a full range of possible states. An example type of reinforcement learning algorithm is an adversarial network. Reinforcement learning may be particularly beneficial when used to improve or attempt to optimize a behavior of a model deployed in a dynamically changing environment.

ML models may be deployed in one or more devices (e.g., network entities such as base station (s) and/or user equipment (s) ) to support various wired and/or wireless communication aspects of a communication system. For example, an ML model may be trained to identify patterns and relationships in data corresponding to a network, a device, an air interface, or the like.

Aspects described herein may describe the performance of certain tasks and the technical solution of various technical problems by application of a specific type of ML model, such as an ANN. It should be understood, however, that other type (s) of AI models may be used in addition to or instead of an ANN. An ML model may be an example of an AI model, and any suitable AI model may be used in addition to or instead of any of the ML models described herein. Hence, unless expressly recited, subject matter regarding an ML model is not necessarily intended to be limited to just an ANN solution or machine learning. Further, it should be understood that, unless otherwise specifically stated, terms such “AI model, ” “ML model, ” “AI/ML model, ” “trained ML model, ” and the like are intended to be interchangeable.

FIG. 5 is a diagram illustrating an example AI architecture 500 that may be used for translating one or more images in accordance with to FIGS. 1, 3, and 4. As illustrated in FIG. 5, the architecture 500 includes multiple logical entities, such as a model training host 502, a model inference host 504, data source (s) 506, and an agent 508.

The model inference host 504, in the architecture 500, is configured to run an ML model based on inference data 512 provided by data source (s) 506. The model inference host 504 may produce an output 514 (e.g., a prediction or inference, such as a discrete or continuous value) based on the inference data 512, that is then provided as input to the agent 508.

The agent 508 may be an element or an entity. The type of agent 508 may also depend on the type of tasks performed by the model inference host 504, the type of  inference data 512 provided to model inference host 504, and/or the type of output 514 produced by model inference host 504.

After the agent 508 receives output 514 from the model inference host 504, agent 508 may determine whether to act based on the output. If the agent 508 determines to act based on the output 514, agent 508 may indicate the action to at least one subject of the action 510. In some cases, the agent 508 and the subject of action 510 are the same entity.

The data sources 506 may be configured for collecting data that is used as training data 516 for training an ML model, or as inference data 512 for feeding an ML model inference operation. In particular, the data sources 506 may collect data from any of various entities, which may include the subject of action 510, and provide the collected data to a model training host 502 for ML model training. In some examples, if the output 514 provided to agent 508 is inaccurate (or the accuracy is below an accuracy threshold) , the model training host 502 may determine to modify or retrain the ML model used by model inference host 504, such as via an ML model deployment/update.

In certain aspects, the model training host 502 may be deployed at or with the same or a different entity than that in which the model inference host 504 is deployed. For example, in order to offload model training processing, which can impact the performance of the model inference host 504, the model training host 502 may be deployed at a model server as further described herein. Further, in some cases, training and/or inference may be distributed amongst devices in a decentralized or federated fashion.

FIG. 6 illustrates an example AI architecture of a first wireless device 602 that is in communication with a second wireless device 604. The first wireless device 602 may be a device configured for performing image translation, and more specifically key-based image translation, as described herein with respect to FIGS. 1, 3, and 4. Similarly, the second wireless device 604 may be for performing image translation, and more specifically key-based image translation, as described herein with respect to FIGS. 1, 3, and 4. Note that the AI architecture of the first wireless device 602 may be applied to the second wireless device 604.

The first wireless device 602 may be, or may include, a chip, system on chip (SoC) , a system in package (SiP) , chipset, package or device that includes one or more  processors, processing blocks or processing elements (collectively “the processor 610” ) and one or more memory blocks or elements (collectively “the memory 620” ) .

As an example, in a transmit mode, the processor 610 may transform information (e.g., packets or data blocks) into modulated symbols. As digital baseband signals (e.g., digital in-phase (I) and/or quadrature (Q) baseband signals representative of the respective symbols) , the processor 610 may output the modulated symbols to a transceiver 640. The processor 610 may be coupled to the transceiver 640 for transmitting and/or receiving signals via one or more antennas 646. In this example, the transceiver 640 includes radio frequency (RF) circuitry 642, which may be coupled to the antennas 646 via an interface 644. As an example, the interface 644 may include a switch, a duplexer, a diplexer, a multiplexer, and/or the like. The RF circuitry 642 may convert the digital signals to analog baseband signals, for example, using a digital-to-analog converter. The RF circuitry 642 may include any of various circuitry, including, for example, baseband filter (s) , mixer (s) , frequency synthesizer (s) , power amplifier (s) , and/or low noise amplifier (s) . In some cases, the RF circuitry 642 may upconvert the baseband signals to one or more carrier frequencies for transmission. The antennas 646 may emit RF signals, which may be received at the second wireless device 604.

In receive mode, RF signals received via the antenna 646 (e.g., from the second wireless device 604) may be amplified and converted to a baseband frequency (e.g., downconverted) . The received baseband signals may be filtered and converted to digital I or Q signals for digital signal processing. The processor 610 may receive the digital I or Q signals and further process the digital signals, for example, demodulating the digital signals.

One or more ML models 630 may be stored in the memory 620 and accessible to the processor (s) 610. In certain cases, different ML models 630 with different characteristics may be stored in the memory 620, and a particular ML model 630 may be selected based on its characteristics and/or application as well as characteristics and/or conditions of first wireless device 602 (e.g., a power state, a mobility state, a battery reserve, a temperature, etc. ) . For example, the ML models 630 may have different inference data and output pairings (e.g., different types of inference data produce different types of output) , different levels of accuracies (e.g., 80%, 90%, or 95%accurate) associated with the predictions (e.g., the output 514 of FIG. 5) , different latencies (e.g., processing times of less than 10 ms, 100 ms, or 1 second) associated with producing the  predictions, different ML model sizes (e.g., file sizes) , different coefficients or weights, etc.

The processor 610 may use the ML model 630 to produce output data (e.g., the output 514 of FIG. 5) based on input data (e.g., the inference data 512 of FIG. 5) , for example, as described herein with respect to the inference host 504 of FIG. 5. The ML model 630 may be used to perform any of various AI-enhanced tasks, such as those described herein.

As an example, the ML model 630 may generate latent image representation 118. The input data may include, for example, input image (s) (e.g., input image 102) and/or conditioned signal (s) (e.g., created from control signal (s) 126) . The output data may include, for example, latent image representation 118 as previously described and/or an output image 122. Note that other input data and/or output data may be used in addition to or instead of the examples described herein.

In certain aspects, a model server 650 may perform any of various ML model lifecycle management (LCM) tasks for the first wireless device 602 and/or the second wireless device 604. The model server 650 may operate as the model training host 502 of FIG. 5 and update the ML model 630 using training data. In some cases, the model server 650 may operate as the data source 506 to collect and host training data, inference data, and/or performance feedback associated with an ML model 630. In certain aspects, the model server 650 may host various types and/or versions of the ML models 630 for the first wireless device 602 and/or the second wireless device 604 to download.

In some cases, the model server 650 may monitor and evaluate the performance of the ML model 630 to trigger one or more LCM tasks. For example, the model server 650 may determine whether to activate or deactivate the use of a particular ML model at the first wireless device 602 and/or the second wireless device 604, and the model server 650 may provide such an instruction to the respective first wireless device 602 and/or the second wireless device 604. In some cases, the model server 650 may determine whether to switch to a different ML model 630 being used at the first wireless device 602 and/or the second wireless device 604, and the model server 650 may provide such an instruction to the respective first wireless device 602 and/or the second wireless device 604. In yet further examples, the model server 650 may also act as a central server for decentralized machine learning tasks, such as federated learning.

Example Artificial Intelligence Model

FIG. 7 is an illustrative block diagram of an example artificial neural network (ANN) 700.

ANN 700 may receive input data 706 which may include one or more bits of data 702, pre-processed data output from pre-processor 704 (optional) , or some combination thereof. Here, data 702 may include training data, verification data, application-related data, or the like, e.g., depending on the stage of development and/or deployment of ANN 700. Pre-processor 704 may be included within ANN 700 in some other implementations. Pre-processor 704 may, for example, process all or a portion of data 702 which may result in some of data 702 being changed, replaced, deleted, etc. In some implementations, pre-processor 704 may add additional data to data 702.

ANN 700 includes at least one first layer 708 of artificial neurons 710 (e.g., perceptrons) to process input data 706 and provide resulting first layer output data via edges 712 to at least a portion of at least one second layer 714. Second layer 714 processes data received via edges 712 and provides second layer output data via edges 716 to at least a portion of at least one third layer 718. Third layer 718 processes data received via edges 716 and provides third layer output data via edges 720 to at least a portion of a final layer 722 including one or more neurons to provide output data 724. All or part of output data 724 may be further processed in some manner by (optional) post-processor 726. Thus, in certain examples, ANN 700 may provide output data 728 that is based on output data 724, post-processed data output from post-processor 726, or some combination thereof. Post-processor 726 may be included within ANN 700 in some other implementations. Post-processor 726 may, for example, process all or a portion of output data 724 which may result in output data 728 being different, at least in part, to output data 724, e.g., as result of data being changed, replaced, deleted, etc. In some implementations, post-processor 726 may be configured to add additional data to output data 724. In this example, second layer 714 and third layer 718 represent intermediate or hidden layers that may be arranged in a hierarchical or other like structure. Although not explicitly shown, there may be one or more further intermediate layers between the second layer 714 and the third layer 718.

The structure and training of artificial neurons 710 in the various layers may be tailored to specific requirements of an application. Within a given layer of an ANN, some or all of the neurons may be configured to process information provided to the layer  and output corresponding transformed information from the layer. For example, transformed information from a layer may represent a weighted sum of the input information associated with or otherwise based on a non-linear activation function or other activation function used to “activate” artificial neurons of a next layer. Artificial neurons in such a layer may be activated by or be responsive to weights and biases that may be adjusted during a training process. Weights of the various artificial neurons may act as parameters to control a strength of connections between layers or artificial neurons, while biases may act as parameters to control a direction of connections between the layers or artificial neurons. An activation function may select or determine whether an artificial neuron transmits its output to the next layer or not in response to its received data. Different activation functions may be used to model different types of non-linear relationships. By introducing non-linearity into an ML model, an activation function allows the ML model to “learn” complex patterns and relationships in the input data (e.g., 506 in FIG. 5) . Some non-exhaustive example activation functions include a linear function, binary step function, sigmoid, hyperbolic tangent (tanh) , a rectified linear unit (ReLU) and variants, exponential linear unit (ELU) , Swish, Softmax, and others.

Design tools (such as computer applications, programs, etc. ) may be used to select appropriate structures for ANN 700 and a number of layers and a number of artificial neurons in each layer, as well as selecting activation functions, a loss function, training processes, etc. Once an initial model has been designed, training of the model may be conducted using training data. Training data may include one or more datasets within which ANN 700 may detect, determine, identify or ascertain patterns. Training data may represent various types of information, including written, visual, audio, environmental context, operational properties, etc. During training, parameters of artificial neurons 710 may be changed, such as to minimize or otherwise reduce a loss function or a cost function. A training process may be repeated multiple times to fine-tune ANN 700 with each iteration.

Various ANN model structures are available for consideration. For example, in a feedforward ANN structure each artificial neuron 710 in a layer receives information from the previous layer and likewise produces information for the next layer. In a convolutional ANN structure, some layers may be organized into filters that extract features from data (e.g., training data and/or input data) . In a recurrent ANN structure, some layers may have connections that allow for processing of data across time, such as  for processing information having a temporal structure, such as time series data forecasting.

In an autoencoder ANN structure, compact representations of data may be processed and the model trained to predict or potentially reconstruct original data from a reduced set of features. An autoencoder ANN structure may be useful for tasks related to dimensionality reduction and data compression.

A generative adversarial ANN structure may include a generator ANN and a discriminator ANN that are trained to compete with each other. Generative-adversarial networks (GANs) are ANN structures that may be useful for tasks relating to generating synthetic data or improving the performance of other models.

A transformer ANN structure makes use of attention mechanisms that may enable the model to process input sequences in a parallel and efficient manner. An attention mechanism allows the model to focus on different parts of the input sequence at different times. Attention mechanisms may be implemented using a series of layers known as attention layers to compute, calculate, determine or select weighted sums of input features based on a similarity between different elements of the input sequence. A transformer ANN structure may include a series of feedforward ANN layers that may learn non-linear relationships between the input and output sequences. The output of a transformer ANN structure may be obtained by applying a linear transformation to the output of a final attention layer. A transformer ANN structure may be of particular use for tasks that involve sequence modeling, or other like processing.

Another example type of ANN structure, is a model with one or more invertible layers. Models of this type may be inverted or “unwrapped” to reveal the input data that was used to generate the output of a layer.

Other example types of ANN model structures include fully connected neural networks (FCNNs) and long short-term memory (LSTM) networks.

ANN 700 or other ML models may be implemented in various types of processing circuits along with memory and applicable instructions therein, for example, as described herein with respect to FIGS. 5 and 6. For example, general-purpose hardware circuits, such as, such as one or more central processing units (CPUs) and one or more graphics processing units (GPUs) may be employed to implement a model. One or more ML accelerators, such as tensor processing units (TPUs) , embedded neural  processing units (eNPUs) , or other special-purpose processors, and/or field-programmable gate arrays (FPGAs) , application-specific integrated circuits (ASICs) , or the like also may be employed. Various programming tools are available for developing ANN models.

Example Methods for Performing Key-Based Image Translation

FIG. 8 depicts an example method for key-based image translation. In certain aspects, method 800, or any aspect related to it, may be performed by an apparatus, such as device 1000 of FIG. 10, which includes various components operable, configured, or adapted to perform the method 800. In certain aspects, the apparatus is a device, such as device 306-1 or device 306-2 of FIG. 3 or device 406-1 or device 406-2 of FIG. 4.

Method 800 begins, at block 802, with obtaining a noise image.

Method 800 proceeds, at block 804, with obtaining a first key associated with the noise image.

Method 800 proceeds, at block 806, with performing, by a denoising model, denoising of the noise image based on the first key to generate a first image.

In certain aspects, obtaining the noise image, at block 802, comprises obtaining the noise image from one or more servers; and obtaining the first key, at block 804, comprises obtaining the first key from the one or more servers.

In certain aspects, obtaining the noise image, at block 802, comprises obtaining the noise image from one or more first servers; and obtaining the first key, at block 804, comprises obtaining the first key from one or more second servers different than the one or more first servers.

In certain aspects, the noise image comprises an original face image of a user with added noise; and obtaining the noise image comprises obtaining the noise image without obtaining the original face image.

In certain aspects, the first image comprises a first face image of a user.

In certain aspects, the noise image comprises an original face image of the user with added noise; and the first face image comprises the original face image of the user or a different face image of the user than the original face image.

In certain aspects, the noise image is associated with a plurality of keys including the first key. Each of the plurality of keys may be associated with a different face image of the user.

In certain aspects, method 800 further comprises obtaining a second key associated with the noise image; and performing, by the denoising model, denoising of the noise image based on the second key to generate a second face image of the user.

In certain aspects, the first key comprises one or more of: a text prompt; a facial feature vector; one or more face key points; or a sketch.

In certain aspects, the denoising model comprises a denoising diffusion implicit model.

In certain aspects, method 800 further comprises sending an indication of a profile associated with the apparatus, wherein the first key is associated with the profile.

Note that FIG. 8 is just one example of a method, and other methods including fewer, additional, or alternative steps are possible consistent with this disclosure.

FIG. 9 depicts another example method for key-based image translation. In certain aspects, method 900, or any aspect related to it, may be performed by an apparatus, such as device 1100 of FIG. 11, which includes various components operable, configured, or adapted to perform the method 900. In certain aspects, the apparatus is a server, such as server 304 of FIG. 3 or server 404-1 or server 404-2 of FIG. 4.

Method 900 begins, at block 902, with obtaining a noise image.

Method 900 proceeds, at block 904, with obtaining a plurality of keys associated with the noise image.

Method 900 proceeds, at block 906, with obtaining, from a device, an indication of a profile.

Method 900 proceeds, at block 908, with sending, to the device, the noise image and a key of the plurality of keys, wherein the key is associated with the profile.

In certain aspects, each of the plurality of keys is associated with a different profile.

In certain aspects, each of the plurality of keys is associated with a different face image of a user.

In certain aspects, the key comprises one or more of: a text prompt; a facial feature vector; one or more face key points; or a sketch.

Note that FIG. 9 is just one example of a method, and other methods including fewer, additional, or alternative steps are possible consistent with this disclosure.

Example Devices for Performing Key-Based Image Translation

FIG. 10 depicts aspects of an example device 1000 configured to perform key-based image translation, such as for facial privacy protection. In certain aspects, example device 1000 comprises device 306-1 or device 306-2 of FIG. 3 or device 406-1 or device 406-2 of FIG. 4.

Device 1000 includes a processing system 1005. In certain aspects, processing system 1005 may be coupled to a transceiver 1007 (e.g., a transmitter and/or a receiver) and/or a network interface 1097. The transceiver 1007 may be configured to transmit and receive signals for the device 1000 via an antenna 1009, such as the various signals as described herein. The network interface 1097 may be configured to obtain and send signals for the device 1000 via communications link (s) .

The processing system 1005 includes one or more processors 1010. The one or more processors 1010 are coupled to a computer-readable medium/memory 1055 via a bus 1003. In certain aspects, the computer-readable medium/memory 1055 is configured to store instructions (e.g., computer-executable code) , including code 1030-1034, that when executed by the one or more processors 1010, enable and cause the one or more processors 1010 to perform the method 800 described with respect to FIG. 8, and/or any aspect related to method 800, including any operations described in relation to FIGS. 1, 3, and/or 4. Note that reference to a processor of device 1000 performing a function may include one or more processors of device 1000 performing that function, such as in a distributed fashion.

In the depicted example, the computer-readable medium/memory 1055 stores code 1030 for obtaining, code 1032 for performing, and code 1034 for sending. Processing of the code 1030-1034 may enable and cause the device 1000 to perform the method 800 described with respect to FIG. 8, and/or any aspect related to method 800, including any operations described in relation to FIGS. 1, 3, and/or 4.

The one or more processors 1010 include circuitry configured to implement (e.g., execute) the code (e.g., executable instructions) stored in the computer-readable medium/memory 1055, including circuitry 1012 for obtaining, circuitry 1014 for performing, and circuitry 1016 for sending. Processing with circuitry 1012-1016 may enable and cause the device 1000 to perform the method 800 described with respect to FIG. 8, and/or any aspect related to method 800, including any operations described in relation to FIGS. 1, 3, and/or 4.

Various components of the device 1000 may provide means for performing the method 800 described with respect to FIG. 8, and/or any aspect related to method 800, including any operations described in relation to FIGS. 1, 3, and/or 4. For example, means for obtaining, performing, and/or sending of the method 800 described with respect to FIG. 8 and/or any aspect related to method 800 may include one or more processors 1010 of the device 1000 in FIG. 10.

FIG. 11 depicts aspects of an example device 1100 configured to perform key-based image translation, such as for facial privacy protection. In certain aspects, example device 1100 comprises a server, such as server 304 of FIG. 3 or server 404-1 or server 404-2 of FIG. 4.

Device 1100 includes a processing system 1105. In certain aspects, processing system 1105 may be coupled to a transceiver 1107 (e.g., a transmitter and/or a receiver) and/or a network interface 1197. The transceiver 1107 may be configured to transmit and receive signals for the device 1000 via an antenna 1109, such as the various signals as described herein. The network interface 1197 may be configured to obtain and send signals for the device 1100 via communications link (s) .

The processing system 1105 includes one or more processors 1110. The one or more processors 1110 are coupled to a computer-readable medium/memory 1155 via a bus 1103. In certain aspects, the computer-readable medium/memory 1155 is configured to store instructions (e.g., computer-executable code) , including code 1130-1132, that when executed by the one or more processors 1110, enable and cause the one or more processors 1110 to perform the method 900 described with respect to FIG. 9, and/or any aspect related to method 900, including any operations described in relation to FIGS. 1, 3, and/or 4. Note that reference to a processor of device 1100 performing a function may  include one or more processors of device 1100 performing that function, such as in a distributed fashion.

In the depicted example, the computer-readable medium/memory 1155 stores code 1130 for obtaining and code 1132 for sending. Processing of the code 1030-1032 may enable and cause the device 1000 to perform the method 900 described with respect to FIG. 9, and/or any aspect related to method 900, including any operations described in relation to FIGS. 1, 3, and/or 4.

The one or more processors 1110 include circuitry configured to implement (e.g., execute) the code (e.g., executable instructions) stored in the computer-readable medium/memory 1155, including circuitry 1112 for obtaining and circuitry 1114 for sending. Processing with circuitry 1112-1114 may enable and cause the device 1100 to perform the method 900 described with respect to FIG. 89 and/or any aspect related to method 800, including any operations described in relation to FIGS. 1, 3, and/or 4.

Various components of the device 1100 may provide means for performing the method 900 described with respect to FIG. 9, and/or any aspect related to method 900, including any operations described in relation to FIGS. 1, 3, and/or 4. For example, means for obtaining, performing, and/or sending of the method 900 described with respect to FIG. 9 and/or any aspect related to method 900 may include one or more processors 1110 of the device 1100 in FIG. 11.

Example Clauses

Implementation examples are described in the following numbered clauses:

Clause 1: A method of key-based image translation by an apparatus, comprising: obtaining a noise image; obtaining a first key associated with the noise image; and performing, by a denoising model, denoising of the noise image based on the first key to generate a first image.

Clause 2: The method of Clause 1, wherein: obtaining the noise image comprises obtaining the noise image from one or more servers; and obtaining the first key comprises obtaining the first key from the one or more servers.

Clause 3: The method of any one of Clauses 1-2, wherein: obtaining the noise image comprises obtaining the noise image from one or more first servers; and obtaining  the first key comprises obtaining the first key from one or more second servers different than the one or more first servers.

Clause 4: The method of any one of Clauses 1-3, wherein: the noise image comprises an original face image of a user with added noise; and obtaining the noise image comprises obtaining the noise image without obtaining the original face image.

Clause 5: The method of any one of Clauses 1-4, wherein the first image comprises a first face image of a user.

Clause 6: The method of Clause 5, wherein: the noise image comprises an original face image of the user with added noise; and the first face image comprises the original face image of the user or a different face image of the user than the original face image.

Clause 7: The method of any one of Clauses 5-6, wherein the noise image is associated with a plurality of keys including the first key, each of the plurality of keys are associated with a different face image of the user.

Clause 8: The method of Clause 7, further comprising: obtaining a second key associated with the noise image; and performing, by the denoising model, denoising of the noise image based on the second key to generate a second face image of the user.

Clause 9: The method of any one of Clauses 1-8, wherein the first key comprises one or more of: a text prompt; a facial feature vector; one or more face key points; or a sketch.

Clause 10: The method of any one of Clauses 1-9, wherein the denoising model comprises a denoising diffusion implicit model.

Clause 11: The method of any one of Clauses 1-10, further comprising: sending an indication of a profile associated with the apparatus, wherein the first key is associated with the profile.

Clause 12: A method of key-based image translation by an apparatus comprising: obtaining a noise image; obtaining a plurality of keys associated with the noise image; obtaining, from a device, an indication of a profile; and sending, to the device, the noise image and a key of the plurality of keys, wherein the key is associated with the profile.

Clause 13: The method of Clause 12, wherein each of the plurality of keys is associated with a different profile.

Clause 14: The method of any one of Clauses 12-13, wherein each of the plurality of keys is associated with a different face image of a user.

Clause 15: The method of any one of Clauses 12-14, wherein the key comprises one or more of: a text prompt; a facial feature vector; one or more face key points; or a sketch.

Clause 16: One or more apparatuses, comprising: one or more memories comprising executable instructions; and one or more processors configured to execute the executable instructions and cause the one or more apparatuses to perform a method in accordance with any one of clauses 1-15.

Clause 17: One or more apparatuses, comprising: one or more memories; and one or more processors, coupled to the one or more memories, configured to cause the one or more apparatuses to perform a method in accordance with any one of Clauses 1-15.

Clause 18: One or more apparatuses, comprising: one or more memories; and one or more processors, coupled to the one or more memories, configured to perform a method in accordance with any one of Clauses 1-15.

Clause 19: One or more apparatuses, comprising means for performing a method in accordance with any one of Clauses 1-15.

Clause 20: One or more non-transitory computer-readable media comprising executable instructions that, when executed by one or more processors of one or more apparatuses, cause the one or more apparatuses to perform a method in accordance with any one of Clauses 1-15.

Clause 21: One or more computer program products embodied on one or more computer-readable storage media comprising code for performing a method in accordance with any one of Clauses 1-15.

Additional Considerations

The preceding description is provided to enable any person skilled in the art to practice the various aspects described herein. The examples discussed herein are not limiting of the scope, applicability, or aspects set forth in the claims. Various  modifications to these aspects will be readily apparent to those skilled in the art, and the general principles defined herein may be applied to other aspects. For example, changes may be made in the function and arrangement of elements discussed without departing from the scope of the disclosure. Various examples may omit, substitute, or add various procedures or components as appropriate. For instance, the methods described may be performed in an order different from that described, and various actions may be added, omitted, or combined. Also, features described with respect to some examples may be combined in some other examples. For example, an apparatus may be implemented or a method may be practiced using any number of the aspects set forth herein. In addition, the scope of the disclosure is intended to cover such an apparatus or method that is practiced using other structure, functionality, or structure and functionality in addition to, or other than, the various aspects of the disclosure set forth herein. It should be understood that any aspect of the disclosure disclosed herein may be embodied by one or more elements of a claim.

The various illustrative logical blocks, modules and circuits described in connection with the present disclosure may be implemented or performed with a general purpose processor, a digital signal processor (DSP) , an ASIC, a field programmable gate array (FPGA) or other programmable logic device (PLD) , discrete gate or transistor logic, discrete hardware components, or any combination thereof designed to perform the functions described herein. A general-purpose processor may be a microprocessor, but in the alternative, the processor may be any commercially available processor, controller, microcontroller, or state machine. A processor may also be implemented as a combination of computing devices, e.g., a combination of a DSP and a microprocessor, a plurality of microprocessors, one or more microprocessors in conjunction with a DSP core, a system on a chip (SoC) , or any other such configuration.

As used herein, a phrase referring to “at least one of” a list of items refers to any combination of those items, including single members. As an example, “at least one of: a, b, or c” is intended to cover a, b, c, a-b, a-c, b-c, and a-b-c, as well as any combination with multiples of the same element (e.g., a-a, a-a-a, a-a-b, a-a-c, a-b-b, a-c-c, b-b, b-b-b, b-b-c, c-c, and c-c-c or any other ordering of a, b, and c) .

As used herein, the term “determining” encompasses a wide variety of actions. For example, “determining” may include calculating, computing, processing, deriving, investigating, looking up (e.g., looking up in a table, a database or another data structure) ,  ascertaining and the like. Also, “determining” may include receiving (e.g., receiving information) , accessing (e.g., accessing data in a memory) and the like. Also, “determining” may include resolving, selecting, choosing, establishing and the like.

As used herein, “coupled to” and “coupled with” generally encompass direct coupling and indirect coupling (e.g., including intermediary coupled aspects) unless stated otherwise. For example, stating that a processor is coupled to a memory allows for a direct coupling or a coupling via an intermediary aspect, such as a bus.

The methods disclosed herein comprise one or more actions for achieving the methods. The method actions may be interchanged with one another without departing from the scope of the claims. In other words, unless a specific order of actions is specified, the order and/or use of specific actions may be modified without departing from the scope of the claims. Further, the various operations of methods described above may be performed by any suitable means capable of performing the corresponding functions. The means may include various hardware and/or software component (s) and/or module (s) , including, but not limited to a circuit, an application specific integrated circuit (ASIC) , or processor.

The following claims are not intended to be limited to the aspects shown herein, but are to be accorded the full scope consistent with the language of the claims. Reference to an element in the singular is not intended to mean only one unless specifically so stated, but rather “one or more. ” The subsequent use of a definite article (e.g., “the” or “said” ) with an element (e.g., “the processor” ) is not intended to invoke a singular meaning (e.g., “only one” ) on the element unless otherwise specifically stated. For example, reference to an element (e.g., “a processor, ” “a controller, ” “a memory, ” “a transceiver, ” “an antenna, ” “the processor, ” “the controller, ” “the memory, ” “the transceiver, ” “the antenna, ” etc. ) , unless otherwise specifically stated, should be understood to refer to one or more elements (e.g., “one or more processors, ” “one or more controllers, ” “one or more memories, ” “one more transceivers, ” etc. ) . The terms “set” and “group” are intended to include one or more elements, and may be used interchangeably with “one or more. ” Where reference is made to one or more elements performing functions (e.g., steps of a method) , one element may perform all functions, or more than one element may collectively perform the functions. When more than one element collectively performs the functions, each function need not be performed by each of those elements (e.g., different functions may be performed by different elements)  and/or each function need not be performed in whole by only one element (e.g., different elements may perform different sub-functions of a function) . Similarly, where reference is made to one or more elements configured to cause another element (e.g., an apparatus) to perform functions, one element may be configured to cause the other element to perform all functions, or more than one element may collectively be configured to cause the other element to perform the functions. Unless specifically stated otherwise, the term “some” refers to one or more. All structural and functional equivalents to the elements of the various aspects described throughout this disclosure that are known or later come to be known to those of ordinary skill in the art are intended to be encompassed by the claims. Moreover, nothing disclosed herein is intended to be dedicated to the public regardless of whether such disclosure is explicitly recited in the claims.

Claims (20)

1. An apparatus comprising:

   one or more memories; and

   one or more processors coupled to the one or more memories, the one or more processors being configured to cause the apparatus to:

   obtain a noise image;

   obtain a first key associated with the noise image; and

   perform, by a denoising model, denoising of the noise image based on the first key to generate a first image.
2. The apparatus of claim 1, wherein:

   to obtain the noise image comprises to obtain the noise image from one or more servers; and

   to obtain the first key comprises to obtain the first key from the one or more servers.
3. The apparatus of claim 1, wherein:

   to obtain the noise image comprises to obtain the noise image from one or more first servers; and

   to obtain the first key comprises to obtain the first key from one or more second servers different than the one or more first servers.
4. The apparatus of claim 1, wherein:

   the noise image comprises an original face image of a user with added noise; and

   to obtain the noise image comprises to obtain the noise image without obtaining the original face image.
5. The apparatus of claim 1, wherein the first image comprises a first face image of a user.
6. The apparatus of claim 5, wherein:

   the noise image comprises an original face image of the user with added noise; and

   the first face image comprises the original face image of the user or a different face image of the user than the original face image.
7. The apparatus of claim 5, wherein the noise image is associated with a plurality of keys including the first key, each of the plurality of keys are associated with a different face image of the user.
8. The apparatus of claim 7, wherein the one or more processors are configured to cause the apparatus to:

   obtain a second key associated with the noise image; and

   perform, by the denoising model, denoising of the noise image based on the second key to generate a second face image of the user.
9. The apparatus of claim 1, wherein the first key comprises one or more of:

   a text prompt;

   a facial feature vector;

   one or more face key points; or

   a sketch.
10. The apparatus of claim 1, wherein the denoising model comprises a denoising diffusion implicit model.
11. The apparatus of claim 1, wherein the one or more processors are configured to cause the apparatus to:

    send an indication of a profile associated with the apparatus, wherein the first key is associated with the profile.
12. An apparatus comprising:

    one or more memories; and

    one or more processors coupled to the one or more memories, the one or more processors being configured to cause the apparatus to:

    obtain a noise image;

    obtain a plurality of keys associated with the noise image;

    obtain, from a device, an indication of a profile; and

    send, to the device, the noise image and a key of the plurality of keys, wherein the key is associated with the profile.
13. The apparatus of claim 12, wherein each of the plurality of keys is associated with a different profile.
14. The apparatus of claim 12, wherein each of the plurality of keys is associated with a different face image of a user.
15. The apparatus of claim 12, wherein the key comprises one or more of:

    a text prompt;

    a facial feature vector;

    one or more face key points; or

    a sketch.
16. A method for key-based image translation by an apparatus, comprising:

    obtain a noise image;

    obtain a first key associated with the noise image; and

    perform, by a denoising model, denoising of the noise image based on the first key to generate a first image.
17. The method of claim 16, wherein:

    obtaining the noise image comprises obtaining the noise image from one or more servers; and

    obtaining the first key comprises obtaining the first key from the one or more servers.
18. The method of claim 16, wherein:

    obtaining the noise image comprises obtaining the noise image from one or more first servers; and

    obtaining the first key comprises obtaining the first key from one or more second servers different than the one or more first servers.
19. The method of claim 16, wherein:

    the noise image comprises an original face image of a user with added noise; and

    obtaining the noise image comprises obtaining the noise image without obtaining the original face image.
20. The method of claim 16, wherein the first image comprises a first face image of a user.