JP7473894B2 - Image processing method, image processing device and computer program thereof, and method and device for photographing and processing human faces - Google Patents
Image processing method, image processing device and computer program thereof, and method and device for photographing and processing human faces Download PDFInfo
- Publication number
- JP7473894B2 JP7473894B2 JP2020068715A JP2020068715A JP7473894B2 JP 7473894 B2 JP7473894 B2 JP 7473894B2 JP 2020068715 A JP2020068715 A JP 2020068715A JP 2020068715 A JP2020068715 A JP 2020068715A JP 7473894 B2 JP7473894 B2 JP 7473894B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- index
- unit
- predetermined
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は画像処理方法、画像処理装置及びそのコンピュータプログラム並びにヒトの顔の撮影処理方法及びその装置に関する。 The present invention relates to an image processing method, an image processing device and a computer program therefor, and a method and device for photographing and processing a human face.
ゲームの利用者がよりゲームを楽しみ、かつゲームと一体感を持てるように、ゲームの利用者の顔をゲームのキャラクタの顔へ合体させることが望まれている。
そのため、ヒトの画像（ソース画像）の顔の領域をキャラクタの画像（ターゲット画像）の顔の領域に合体させる方法が、下記のＵＲＬに提案されている。
https://matthewearl.github.io/2015/07/28/switching-eds-with-python/
かかる画像処理方法では、dlibその他のライブラリィを用いた処理でソース画像及びターゲット画像の顔の領域のlandmarks（顔の６４の特徴点）を抽出し、抽出した顔の６４の特徴点を下記式に代入してアフィン変換を行う。
また、本願発明に関連する技術を開示する文献として、特許文献１を参照されたい。
It is desirable to be able to merge the face of a game user with the face of a game character so that the game user can enjoy the game more and feel a sense of unity with the game.
For this reason, a method for merging a facial region of a human image (source image) with a facial region of a character image (target image) is proposed in the following URL.
https://matthewearl.github.io/2015/07/28/switching-eds-with-python/
In this image processing method, landmarks (64 facial feature points) in the facial areas of the source and target images are extracted using processing with dlib and other libraries, and the 64 extracted facial feature points are substituted into the following equation to perform an affine transformation.
In addition, please refer to Patent Document 1 as a document disclosing a technique related to the present invention.
アフィン変換を用いた上記の画像処理を用いれば、ゲーム利用者の画像（ソース画像）の顔の領域をキャラクタの画像（ターゲット画像）の顔の領域へ合体させられる。しかしながら、キャラクタの顔における各部位の比率がヒトの顔のそれと極端に異なるものであったとき、アフィン変換を用いた上記画像処理で合体された顔の領域には不自然さが残ることがある。 Using the above image processing using affine transformation, the facial area of the game user's image (source image) can be merged with the facial area of the character's image (target image). However, when the proportions of each part of the character's face are extremely different from those of a human face, the facial area merged using the above image processing using affine transformation can still look unnatural.
本発明者は、上記のようにして合体された顔の領域の画像から不自然さを取り除くべく、鋭意検討を重ねてきた。
その結果、アフィン変換を用いた画像処理により顔の領域の画像を合体させる際に、ソース画像とターゲット画像とを前処理しておくことに気が付いた。そして、ソース画像（第１の画像）とターゲット画像（第２の画像）とをワーピング若しくはモーフィングしてそれらの中間合成画像（第３の画像）を生成し、このように生成された中間合成画像（第３の画像）とターゲット画像から得たレイヤーとを上記アフィン変換を用いた画像処理の対象とする。上記中間合成画像（第３の画像）には、ソース画像（第１の画像）の影響がターゲット画像（第２の画像）のそれより強く反映されるようにする。ここに、ターゲット画像（第２の画像）から形成されたレイヤーにはターゲット画像（第２の画像）の影響のみが反映されているので、当該レイヤーとソース画像（第１の画像）の影響が色濃い中間合成画像（第３の画像）とをアフィン変換を用いた画像処理の対象としたとき、得られた完成画像（第４の画像）の顔の領域にはソース画像及びターゲット画像の影響が融合されて現れ、そこからは不自然さが取り除かれている。
The present inventor has made extensive research in order to remove unnaturalness from the image of the face region merged in the above manner.
As a result, it was noticed that when combining images of the face region by image processing using affine transformation, the source image and the target image are pre-processed. Then, the source image (first image) and the target image (second image) are warped or morphed to generate an intermediate composite image (third image), and the intermediate composite image (third image) thus generated and a layer obtained from the target image are subjected to image processing using the affine transformation. The intermediate composite image (third image) is made to reflect the influence of the source image (first image) more strongly than that of the target image (second image). Here, since only the influence of the target image (second image) is reflected in the layer formed from the target image (second image), when the layer and the intermediate composite image (third image) in which the influence of the source image (first image) is strong are subjected to image processing using the affine transformation, the influences of the source image and the target image are blended and appear in the face region of the obtained completed image (fourth image), and unnaturalness is removed therefrom.
以上より、この発明の第１の局面は次のように規定される。
第１の画像に含まれる顔の領域を第２の画像に含まれる顔の領域に合体させる画像処理方法あって、
前記第１の画像と前記第２の画像とをワーピング若しくはモーフィングして第３の画像を生成する第１の生成ステップであって、該第３の画像において前記第１の画像の強度を前記第２の画像より大きくし、
前記第２の画像から所定のルールに基づきレイヤーを形成するレイヤー形成ステップと、
前記第３の画像と前記レイヤーとをアフィン変換を用いた画像処理の対象として、前記第３の画像に含まれる顔の領域を前記レイヤーに含まれる顔の領域に合体させて第４の画像を生成する第２の生成ステップと、
を備えてなる画像処理方法。
上記において、第１の画像はヒトを対象とし、第２の画像はゲーム等のキャラクトを対象とすることができる。
第３の画像に現れる前記第１の画像の強度は７０～８０％とすることが好ましい。
From the above, a first aspect of the present invention is defined as follows.
1. An image processing method for merging a facial region included in a first image with a facial region included in a second image, comprising:
a first generation step of warping or morphing the first image and the second image to generate a third image, the third image being made to have a larger intensity than the second image;
a layer forming step of forming a layer from the second image based on a predetermined rule;
a second generation step of subjecting the third image and the layer to image processing using an affine transformation, and combining a face area included in the third image with a face area included in the layer to generate a fourth image;
An image processing method comprising:
In the above, the first image may be of a human subject and the second image may be of a character in a game or the like.
Preferably, the intensity of the first image appearing in the third image is between 70 and 80%.
ターゲット画像（第２の画像）としてキャラクを採用するときは、上記のように、アフィン変換を用いた画像処理の対象としてレイヤーと上記中間合成画像（第３の画像）とを採用することにより、たとえ、ターゲット画像の顔の領域を構成する各部位の比率とソース画像の顔の領域のそれとが大きく異なっていても、得られる完成画像（第４の画像）の顔の領域は自然なものとなった。
本発明者の検討によれば、ソース画像（第１の画像）とターゲット画像（第２の画像）として共にヒトの画像を採用したときは、前処理として上記中間合成画像（第３の画像）を作成し、これとターゲット画像（第２の画像）とをアフィン変換を用いた画像処理の対象とすることにより得られた完成画像（第５の画像）の顔の領域が自然なものとなった。
換言すれば、第１の局面と比べて、レイヤーの作成が省略できる。
When a character is used as the target image (second image), by using the layer and the intermediate composite image (third image) as the subject of image processing using affine transformation as described above, the facial area of the resulting completed image (fourth image) becomes natural even if the ratios of each part that makes up the facial area of the target image are significantly different from those of the facial area of the source image.
According to the inventor's research, when human images are used as both the source image (first image) and the target image (second image), the above-mentioned intermediate composite image (third image) is created as pre-processing, and this and the target image (second image) are subjected to image processing using affine transformation, resulting in a completed image (fifth image) with a natural facial area.
In other words, compared to the first aspect, the creation of layers can be omitted.
よって、この発明の第２の局面は次のように規定される。
第１の画像に含まれるヒトの顔の領域を第２の画像に含まれるヒトの顔の領域に合体させる画像処理方法あって、
前記第１の画像と前記第２の画像とをワーピング若しくはモーフィングして第３の画像を生成する第１の生成ステップであって、該第３の画像において前記第１の画像の強度を前記第２の画像より大きくし、
前記第３の画像と前記第２の画像とをアフィン変換を用いて画像処理して、前記第３の画像に含まれる顔の領域を前記第２の画像に含まれる顔の領域に合体させて第５の画像を生成する第２の生成ステップと、
を備えてなる画像処理方法。
ここにおいて、第３の画像に現れる前記第２の画像の強度は７０～８０％とすることが好ましい。
Therefore, the second aspect of the present invention is defined as follows.
1. An image processing method for merging a human facial region in a first image with a human facial region in a second image, the method comprising:
a first generation step of warping or morphing the first image and the second image to generate a third image, the third image being made to have a larger intensity than the second image;
a second generation step of performing image processing on the third image and the second image using an affine transformation to combine a face region included in the third image with a face region included in the second image to generate a fifth image;
An image processing method comprising:
Here, it is preferable that the intensity of the second image appearing in the third image is 70 to 80%.
上記各局面では、第１の生成ステップにおいてワーピング若しくはモーフィングの手法を採用して第３の画像を生成していたが、同様の他の方法の採用を妨げるものではない。また、第２の生成ステップにおいてはアフィン変換を用いた画像処理を採用していたが、ソース画像の顔の領域をターゲット画像の顔の領域へ合体させることができるのであれば、他の方法の採用を妨げるものではない。
上記の説明を敷衍すれば、この発明の第３の局面は次のように規定できる。
第１の画像に含まれる顔の領域を第２の画像に含まれる顔の領域に合体させる画像処理方法あって、
前記第１の画像と前記第２の画像とを所定の画像合成方法で処理して第３の画像を生成する第１の生成ステップであって、該第３の画像において前記第１の画像の強度を前記第２の画像より大きくし、
前記第２の画像から所定のルールで形成されるレイヤーを形成するレイヤー形成ステップと、
前記第３の画像と前記レイヤーとを所定の方法を用いて画像処理して、前記第３の画像に含まれる顔の領域を前記レイヤーに含まれる顔の領域に合体させて第４の画像を生成する第２の生成ステップと、
を備えてなる画像処理方法。
In the above aspects, the third image is generated by employing a warping or morphing technique in the first generation step, but this does not preclude the use of other similar methods. Also, the second generation step employs image processing using affine transformation, but this does not preclude the use of other methods as long as the facial region of the source image can be merged with the facial region of the target image.
Expanding on the above explanation, the third aspect of the present invention can be defined as follows.
1. An image processing method for merging a facial region included in a first image with a facial region included in a second image, comprising:
a first generation step of processing the first image and the second image by a predetermined image synthesis method to generate a third image, the intensity of the first image being made greater in the third image than that of the second image;
a layer forming step of forming a layer from the second image according to a predetermined rule;
a second generation step of processing the third image and the layer using a predetermined method to combine a face area included in the third image with a face area included in the layer to generate a fourth image;
An image processing method comprising:
同様にこの発明の第４の局面は次のように規定できる。
第１の画像に含まれるヒトの顔の領域を第２の画像に含まれるヒトの顔の領域に合体させる画像処理方法あって、
前記第１の画像と前記第２の画像とを所定の画像合成方法で処理して第３の画像を生成する第１の生成ステップであって、該第３の画像において前記第１の画像の強度を前記第２の画像より大きくし、
前記第３の画像と前記第２の画像とを所定の方法用いて画像処理して、前記第３の画像に含まれる顔の領域を前記第２の画像に含まれる顔の領域に合体させて第５の画像を生成する第２の生成ステップと、
を備えてなる画像処理方法。
Similarly, a fourth aspect of the present invention can be defined as follows.
1. An image processing method for merging a human facial region in a first image with a human facial region in a second image, the method comprising:
a first generation step of processing the first image and the second image by a predetermined image synthesis method to generate a third image, the intensity of the first image being made greater in the third image than that of the second image;
a second generation step of processing the third image and the second image using a predetermined method to combine a face region included in the third image with a face region included in the second image to generate a fifth image;
An image processing method comprising:
この発明の第５の局面は次のように規定される。即ち、
第１～４の何れか局面に規定の画像処理方法において、前記第２の画像の顔の領域の特徴を表現する第２の指標を所定のルールで特定しておき、
該第２の指標に基づき前記第１の画像を取得する。
このように規定される第５の局面の画像処理方法によれば、第２の画像の顔の領域の特徴に合わせて第１の画像が取得されるので、両者を合体処理が容易になる。
The fifth aspect of the present invention is defined as follows:
In the image processing method according to any one of the first to fourth aspects, a second indicator expressing a feature of a face area of the second image is specified according to a predetermined rule;
The first image is acquired based on the second index.
According to the image processing method of the fifth aspect defined in this manner, the first image is acquired in accordance with the features of the face area of the second image, facilitating the process of combining the two.
上記において、第２の画像をターゲット画像とし、第１の画像をソース画像としてヒトの画像を採用するとき、第２の画像に含まれる顔の領域の特徴に合わせてヒトの顔を撮影することが好ましい。
よって、この発明の第６の局面は次のように規定される。即ち、
第５の局面に規定の画像処理方法において、撮影したヒトの画像を前記所定のルールで処理して、該撮影したヒトの画像の顔の領域の特徴を表現する第１の指標を特定し、
該第１の指標と前記第２の指標とを比較して、両者が近似しているときに、前記撮影したヒトの画像を第１の画像として取得する。
以上、各局面において、第１の画像としてヒトの画像を採用し、第２の画像としてキャラクタの画像を採用することができる（第７の局面）。
In the above, when an image of a human is adopted with the second image as the target image and the first image as the source image, it is preferable to photograph the human face to match the characteristics of the facial area contained in the second image.
Therefore, the sixth aspect of the present invention is defined as follows:
In a fifth aspect of the present invention, there is provided an image processing method comprising the steps of: processing a photographed image of a person according to the predetermined rule; and identifying a first index expressing a feature of a face area of the photographed image of the person;
The first index and the second index are compared, and when the two are close to each other, the captured image of the person is acquired as a first image.
In each aspect above, an image of a human can be adopted as the first image, and an image of a character can be adopted as the second image (seventh aspect).
以下、既述の第１及び第２の局面に規定の処理方法は、画像処理装置として把握することもできる。即ち、この発明の第８の局面は次のように規定される。
第１の画像を保存する第１のメモリ部と、
第２の画像を保存する第２のメモリ部と、
第１の画像と第２の画像とをワーピング若しくはモーフィングして第３の画像を生成する第１の生成部であって、該第３の画像において前記第１の画像の強度を前記第２の画像の強度より大きくする第１の生成部と、
前記第２の画像から所定のルールに基づきレイヤーを形成するレイヤー形成部と、
前記第３の画像と前記レイヤーとをアフィン変換を用いた画像処理の対象として、前記第３の画像に含まれる顔の領域を前記レイヤーに含まれる顔の領域に合体させて第４の画像を生成する第２の生成部と、
を備えてなる画像処理装置。
The processing methods defined in the first and second aspects described above can also be understood as an image processing device. That is, an eighth aspect of the present invention is defined as follows.
a first memory unit for storing a first image;
a second memory unit for storing a second image;
a first generation unit that warps or morphs a first image and a second image to generate a third image, the first generation unit making an intensity of the first image greater than an intensity of the second image in the third image;
a layer forming unit that forms a layer from the second image based on a predetermined rule;
a second generation unit that performs image processing using an affine transformation on the third image and the layer, and generates a fourth image by combining a face area included in the third image with a face area included in the layer;
An image processing device comprising:
この発明の第９の局面は次のように規定される。
第１の画像を保存する第１のメモリ部と、
第２の画像を保存する第２のメモリ部と、
第１の画像と第２の画像とをワーピング若しくはモーフィングして第３の画像を生成する第１の生成部であって、該第３の画像において前記第１の画像の強度を前記第２の画像の強度より大きくする第１の生成部と、
前記第３の画像と前記第２の画像とをアフィン変換を用いた画像処理の対象として、前記第３の画像に含まれる顔の領域を前記第２の画像に含まれる顔の領域に合体させて第５の画像を生成する第２の生成部と、
を備えてなる画像処理装置。
A ninth aspect of the present invention is defined as follows.
a first memory unit for storing a first image;
a second memory unit for storing a second image;
a first generation unit that warps or morphs a first image and a second image to generate a third image, the first generation unit making an intensity of the first image greater than an intensity of the second image in the third image;
a second generation unit that performs image processing using an affine transformation on the third image and the second image, and combines a face area included in the third image with a face area included in the second image to generate a fifth image;
An image processing device comprising:
この発明は、また、コンピュータ用のプログラムとしても把握することができる。即ち、この発明の第１０の局面は次のように規定される。
第１の画像を保存する第１のメモリ部と、
第２の画像を保存する第２のメモリ部と、
第１の生成部と、レイヤー形成部と、第２の生成部とを備えてなる、画像処理装置を動作させるコンピュータ用のプログラムであって、
前記第１の生成部に、前記第１のメモリ部から前記第１の画像を読み込ませ、前記第２のメモリ部から前記第２の画像を読み込ませ、前記第１の画像と第２の画像とをワーピングして第３の画像を生成させ、第３の画像において前記第１の画像の強度を前記第２の画像の強度より大きくする、
前記レイヤー形成部に、前記第２の画像から所定のルールに基づきレイヤーを形成させ、
前記第２の生成部に、前記第３の画像と前記レイヤーとをアフィン変換を用いた画像処理の対象として、前記第３の画像に含まれる顔の領域を前記レイヤーに含まれる顔の領域に合体させて第４の画像を生成させる、
プログラム。
The present invention can also be understood as a computer program. That is, a tenth aspect of the present invention is defined as follows.
a first memory unit for storing a first image;
a second memory unit for storing a second image;
A program for a computer that operates an image processing device including a first generating unit, a layer forming unit, and a second generating unit,
causing the first generation unit to read the first image from the first memory unit, read the second image from the second memory unit, and generate a third image by warping the first image and the second image, and making the intensity of the first image greater than the intensity of the second image in the third image;
causing the layer forming unit to form a layer from the second image based on a predetermined rule;
causing the second generation unit to perform image processing using an affine transformation on the third image and the layer, and to combine a face area included in the third image with a face area included in the layer to generate a fourth image;
program.
この発明の第１１の局面は次のように規定される。即ち、
第１の画像を保存する第１のメモリ部と、
第２の画像を保存する第２のメモリ部と、
第１の生成部、及び第２の生成部を備えてなる、画像処理装置を動作させるコンピュータ用のプログラムであって、
前記第１の生成部に、前記第１のメモリ部から前記第１の画像を読み込ませ、前記第２のメモリ部から前記第２の画像を読み込ませ、前記第１の画像と第２の画像とをワーピングして第３の画像を生成させ、第３の画像において前記第１の画像の強度を前記第２の画像の強度より大きくする、
前記第２の生成部に、前記第３の画像と前記第２の画像をアフィン変換を用いた画像処理の対象として、前記第３の画像に含まれる第３の顔の領域を前記第２の画像に含まれる顔の領域に合体させて第５の画像を生成させる、
プログラム。
The eleventh aspect of the present invention is defined as follows:
a first memory unit for storing a first image;
a second memory unit for storing a second image;
A program for a computer that operates an image processing device including a first generating unit and a second generating unit,
causing the first generation unit to read the first image from the first memory unit, read the second image from the second memory unit, and generate a third image by warping the first image and the second image, and making the intensity of the first image greater than the intensity of the second image in the third image;
causing the second generation unit to subject the third image and the second image to image processing using affine transformation, and to combine a third face region included in the third image with a face region included in the second image to generate a fifth image;
program.
以下、この発明の実施の形態について説明する。
図１にこの発明の実施の形態の画像処理装置１の機能ブロック図を示す。
この画像処理装置１の第１の入力部１１から第１の画像が入力されて第１のメモリ部２１に保存される。第２の入力部１２から第２の画像が入力されて第２のメモリ部２２に保存される。
第２のメモリ部２２に保存されている第２の画像からレイヤー形成部３１によりレイヤーが形成される。ここにレイヤーとは、例えば、第２の画像の顔の領域であって、所定の部位、例えば目、鼻、口などを除去したものの画像である。レイヤーは任意に作成できるが、ヒトがヒトの顔を認識するに当たり強く印象を受ける部位を削除もしくは変形したものであって、削除若しくは変形前の顔のイメージの特徴が残されたものを指す。
Hereinafter, an embodiment of the present invention will be described.
FIG. 1 shows a functional block diagram of an image processing apparatus 1 according to an embodiment of the present invention.
A first image is input from a first input unit 11 of this image processing device 1 and stored in a first memory unit 21. A second image is input from a second input unit 12 and stored in a second memory unit 22.
A layer is formed by the layer forming unit 31 from the second image stored in the second memory unit 22. Here, the layer is, for example, an image of the face area of the second image from which certain parts, such as the eyes, nose, mouth, etc., have been removed. Any layer can be created, but it refers to a layer in which parts that make a strong impression on humans when they recognize a human face have been removed or modified, while retaining the features of the face image before the deletion or modification.
第１の生成部３２は、第１のメモリ部２１から第１の画像を読み出し、かつ第２のメモリ部２２から第２の画像を読み出して、両者をモーフィングさせる。モーフィングには周知の手法を採用できる。例えば、下記のＷｅｂサイトで紹介されている手法を用いることができる。
https://matthewearl.github.io/2015/07/28/switching-eds-with-python/
なお、色を処理の対象としないときは、いわゆるワーピングの手法を採用できる。
The first generating unit 32 reads the first image from the first memory unit 21 and the second image from the second memory unit 22, and morphs the first image and the second image from the first memory unit 21 and the second image from the second memory unit 22. A well-known method can be used for the morphing. For example, the method introduced in the following website can be used.
https://matthewearl.github.io/2015/07/28/switching-eds-with-python/
When color is not a processing target, a so-called warping technique can be used.
本願発明では、モーフィングを実行する際、第１の画像の影響が強く表れるようにする。
例えば、ターゲット画像である第２の画像としてキャラクタの画像を採用し、ソース画像である第１の画像をとしてヒトの画像を採用したとき、第１の画像の強度は７０～８０％とすることが好ましい。
第１の画像と第２の画像との形状の差に応じてこの強度は任意に設定可能である。
In the present invention, when morphing is performed, the influence of the first image is made stronger.
For example, when an image of a character is used as the second image, which is the target image, and an image of a human is used as the first image, which is the source image, it is preferable that the intensity of the first image is 70 to 80%.
This intensity can be set arbitrarily depending on the difference in shape between the first image and the second image.
第１の生成部３２により生成された第３の画像は、第２の生成部４１においてレイヤーと合体される。これにより完成画像（第４の画像）が生成される。
本願発明では、当該合体の方法として、従来周知のアフィン変換を用いた画像処理を採用した。即ち、第３の画像とレイヤーとがアフィン変換を用いた画像処理の対象とされ、もって、第３の画像の顔の領域がそれに対応するレイヤーの顔の領域に合体される。
このようにして生成された第４の画像は出力部４１から出力される。
The third image generated by the first generation unit 32 is combined with the layer in the second generation unit 41. In this way, a complete image (fourth image) is generated.
In the present invention, the merging method employs image processing using the well-known affine transformation, in which the third image and the layer are subjected to image processing using the affine transformation, so that the face region of the third image is merged with the face region of the corresponding layer.
The fourth image thus generated is output from the output unit 41 .
図２には、第１の入力部１１の詳細を示す。
第１の入力部１１はカメラ部１２０と画像選択部１２４とを備えてなる。
カメラ部１２０は画像を撮影するＣＣＤ１２１と、撮影された画像を保存する画像メモリ１２２を備える。カメラ部１２０にはスマートフォンやＰＣに付属のカメラやデジタルカメラを用いることができる。
画像選択部１２４はクラウドサーバがその機能を奏する。カメラ部１１０と画像選択部１２４とはインターネットで繋がれている。指標特定部１２４１は所定のルールに基づき撮影した画像を処理して、処理した画像の特徴を表現する指標を特定する。
ヒトの顔はそのカメラに対する角度により輪郭が大きく異なるので、カメラに対する人の角度を上記特徴とすることができる。より具体的には、下記のＷｅｂサイトで紹介されるHead-pose-estimationの手法を利用することができる。
https://www.itd-blog.jp/entry/peep-prevention-1
FIG. 2 shows the first input unit 11 in detail.
The first input unit 11 includes a camera unit 120 and an image selection unit 124 .
The camera unit 120 includes a CCD 121 for capturing an image and an image memory 122 for storing the captured image. The camera unit 120 may be a camera attached to a smartphone or a PC, or a digital camera.
A cloud server performs the functions of the image selection unit 124. The camera unit 110 and the image selection unit 124 are connected via the Internet. The index identification unit 1241 processes a captured image based on a predetermined rule, and identifies an index that expresses a feature of the processed image.
Since the contour of a human face varies greatly depending on the angle of the camera, the angle of the person relative to the camera can be used as the feature. More specifically, the Head-pose-estimation method introduced in the following website can be used.
https://www.itd-blog.jp/entry/peep-prevention-1
指標特定部１２４１はカメラ部１２０のイメージメモリ１２２に保存されているヒトの画像を読み出して、その顔の特徴を表す指標を特定する。図２の例では、ヒトの顔のランドマークを形成して（図２Ｂ参照）、これから顔の方向を特定するベクトルが形成され、これを指標とする。
このようにして特定された指標を第１の指標として第１の指標メモリ部１２４５に保存する。
指標比較部１２４８は第１の指標メモリ部１２４５から上記のようにして特定された第１の指標を読み出し、同じく第２の指標メモリ部１２４６から予め求めておいた第２の指標を読み出し、両者を比較する。なお、この第２の指標は第２の画像(ターゲット画像)の顔の方向を特定するベクトルであって、予め保存されている。
比較の結果、第１の指標が第２の指標に近似しているとき、撮影された画像を第１の画像として取得して、第１のメモリ部に書き込む。
この指標比較部が画像取得部として機能する。
The index identifying unit 1241 reads out the image of a person stored in the image memory 122 of the camera unit 120, and identifies the index representing the facial features of the person. In the example of Fig. 2, a landmark of the human face is formed (see Fig. 2B), and a vector that identifies the direction of the face is formed from this, and this is used as the index.
The index thus specified is stored as the first index in the first index memory unit 1245 .
The index comparison unit 1248 reads out the first index specified as described above from the first index memory unit 1245, and also reads out the second index calculated in advance from the second index memory unit 1246, and compares the two. Note that this second index is a vector specifying the face direction in the second image (target image), and is stored in advance.
If the comparison shows that the first index is close to the second index, the captured image is obtained as a first image and written to the first memory unit.
This index comparison section functions as an image acquisition section.
第１の指標と第２の指標が近似していることは、第１の画像と第２の画像とはカメラに対する角度が近似していることを意味するので、第１の生成部２２におけるモーフィング処理が容易になる。
上記において、第１の指標と第２の指標の近似の度合い、換言すれば両者が近似しているか近似していないかのしきい値は任意に設定できる。例えば、カメラに対する角度の差を、上下左右に於いて±５度以内にすることができる。
また、カメラ１２０において、ＣＣＤ１２１からイメージメモリ１２２に書き込まれた撮影イメージを指標特定部１２４１でリアルタイム処理してもよいし、イメージメモリ１２２に予め保存されていた複数の撮影イメージを指標特定部１２４１でバッチ処理して、第１の指標に最も近い指標を示す撮影イメージを選択することもできる。
The similarity between the first index and the second index means that the angles of the first image and the second image relative to the camera are similar, making the morphing process in the first generation unit 22 easier.
In the above, the degree of similarity between the first index and the second index, in other words, the threshold value for whether the two are similar or not, can be set arbitrarily. For example, the difference in angle with respect to the camera can be set to within ±5 degrees in the up, down, left, and right directions.
In addition, in the camera 120, the captured image written from the CCD 121 to the image memory 122 may be processed in real time by the index identification unit 1241, or multiple captured images that have been pre-stored in the image memory 122 may be batch-processed by the index identification unit 1241 to select the captured image that shows the index closest to the first index.
図３に画像処理装置１のハード構成を示す。
演算部３００はＣＰＵ３０１、ＲＯＭ３０３及びＲＡＭ３０５を備え、システム全体の制御をつかさどる。それとともに、レイヤー形成部３１、第１の生成部３２、第２の生成部４１として機能する。ＲＯＭ３０３は、演算部３００を制御する制御プログラム等が格納された不揮発性メモリである。ＲＡＭ３０５は、キーボード等の入力装置３３０を介して利用者により予め設定された各種設定値を読み出し可能に格納したり、ＣＰＵ３０１に対してワーキングエリアを提供したりする。入力装置３３０は第１の入力部１１及び第２の入力部１２として機能する。演算部３００を制御する制御プログラムはＲＯＭ３０３に限らずＲＡＭ３０５や第１記憶装置３４０に格納されていてもよい。
FIG. 3 shows the hardware configuration of the image processing apparatus 1.
The calculation unit 300 includes a CPU 301, a ROM 303, and a RAM 305, and controls the entire system. It also functions as a layer forming unit 31, a first generating unit 32, and a second generating unit 41. The ROM 303 is a non-volatile memory in which a control program for controlling the calculation unit 300 and the like are stored. The RAM 305 readably stores various setting values preset by a user via an input device 330 such as a keyboard, and provides a working area for the CPU 301. The input device 330 functions as a first input unit 11 and a second input unit 12. The control program for controlling the calculation unit 300 may be stored not only in the ROM 303, but also in the RAM 305 or the first storage device 340.
第１記憶装置３４０は第１のメモリ部１１及び第２のメモリ部１２として機能する。
第１記憶装置はハードメモリやフラッシュメモリなど、サーバシステムのメモリ装置の一部の領域を利用することが好ましい。
The first storage device 340 functions as a first memory unit 11 and a second memory unit 12 .
It is preferable that the first storage device utilizes a partial area of a memory device of the server system, such as a hard memory or a flash memory.
データを一時的に保存する、いわゆるバッファメモリには、演算部のＲＡＭの一部領域を利用できる。
出力装置３２０はディスプレイやプリンタであり、第４の画像（完成画像）を可視化する。入力装置３３０は音声入力部や、ディスプレイに重ねて配置されるタッチパネル式のキーボートやマウスなどが該当する。
コンピュータを構成する各装置はシステムバス３７０で連結されている。
A part of the RAM of the calculation unit can be used as a so-called buffer memory for temporarily storing data.
The output device 320 is a display or a printer, and visualizes the fourth image (completed image). The input device 330 corresponds to a voice input unit, a touch panel keyboard or a mouse that is arranged over the display, or the like.
The devices constituting the computer are connected via a system bus 370 .
次に、この画像処理装置の動作について図４のフローチャートを参照しながら説明する。
ステップ１では、第２の画像を指定する。この例では、第２の画像としてキャラクタの画像を採用した。
そして、この第２の画像を、第２の入力部１２を介して第２のメモリ部２２に保存する。レイヤー形成部３１は第２の画像から目、鼻及び口の部分を除去したレイヤーを形成する。更に、指標特定部１２４１の機能を利用して第１の画像についての第１の指標を特定して、第２の指標メモリ部１２４６に保存する。
Next, the operation of this image processing apparatus will be described with reference to the flow chart of FIG.
In step 1, a second image is specified. In this example, an image of a character is used as the second image.
Then, this second image is stored in the second memory unit 22 via the second input unit 12. The layer forming unit 31 forms a layer by removing the eyes, nose, and mouth from the second image. Furthermore, the function of the index identifying unit 1241 is used to identify a first index for the first image, and the first index is stored in the second index memory unit 1246.
ステップ３では、ヒトの顔の写真を撮影する。撮影された写真は、指標特定部１２４１で処理されてその特徴を表現する指標（第１の指標）が特定される(ステップ５)。
ステップ７では、この第１の指標が第２の指標と比較されて、両者が近似していないとき（ステップ７：ＮＯ）、撮影が繰り返される。第１の指標が第２の指標に近似しているとき（ステップ７：ＹＥＳ）、ステップ９に進んで、撮影された画像は第１の画像として第２のメモリ部１２へ書き込まれる。このとき、撮影された画像において不要な部分はトリミングすることができる。
In step 3, a photograph of a human face is taken. The photograph is processed by the index identifying unit 1241 to identify an index (first index) expressing the face's characteristics (step 5).
In step 7, the first index is compared with the second index, and if they are not similar (step 7: NO), the photographing is repeated. If the first index is similar to the second index (step 7: YES), the process proceeds to step 9, where the photographed image is written as the first image into the second memory section 12. At this time, unnecessary portions of the photographed image can be trimmed.
ステップ１１では、第１の生成部３２により、第１のメモリ部１１に書き込まれたヒトを対象とした第１の画像と第２のメモリ部１２に保存されているキャラクタの画像とが合成される。合成の方法としてモーフィングを用いた。第１の画像の強度を７５％とした例（第３の画像、中間合成画像）が図４においてステップ１１の横に示されている。 In step 11, the first generation unit 32 synthesizes the first image of a human object written in the first memory unit 11 with the character image stored in the second memory unit 12. Morphing is used as the synthesis method. An example where the intensity of the first image is set to 75% (third image, intermediate synthesis image) is shown next to step 11 in Figure 4.
ステップ１３では第３の画像とレイヤーとを、アフィン変換を用いた画像処理の対象とし、第３の画像の顔の領域をレイヤーにおいて対応する領域に合体させる。これにより、完成画像（第４の画像）が得られる。
第１の画像と第２の画像を対象として、アフィン変換を用いた画像処理を実行して得られた画像を比較例１として示している。比較例２の画像は、アフィン変換を用いた画像処理の対象としてレイヤーと第１の画像を用いたときの例である。比較例２では顔を構成する目などの各部位に不自然な位置づれがみられる。
In step 13, the third image and the layer are subjected to image processing using an affine transformation to merge facial regions in the third image with corresponding regions in the layer, resulting in a completed image (fourth image).
An image obtained by performing image processing using affine transformation on the first and second images is shown as Comparative Example 1. The image of Comparative Example 2 is an example in which a layer and the first image are used as targets for image processing using affine transformation. In Comparative Example 2, unnatural positional deviations are observed in the various parts of the face, such as the eyes.
図５には、他の実施の形態の画像処理装置１０１を示す。なお、図１の装置と同一の動作を奏する要素には、同一の符号を付してその説明を省略する。
図５に示す画像処理装置１０１は図１の画像処理装置１からレイヤー形成部３１を省略したものである。
図５の画像処理装置１０１の動作を示すフローチャートを図６に示す。なお、図４のフローチャートと同様の処理が実行されるステップには、同一の符号を付してその説明を省略する。
図５の画像処理装置１０１はソース画像（第１の画像）及びターゲット画像（第２の画像）としてともにヒトの画像を採用したときに好適に用いられる。
Fig. 5 shows an image processing apparatus 101 according to another embodiment of the present invention. Elements that perform the same operations as those in the apparatus shown in Fig. 1 are given the same reference numerals and their description will be omitted.
An image processing apparatus 101 shown in FIG. 5 is obtained by omitting the layer forming unit 31 from the image processing apparatus 1 shown in FIG.
Fig. 6 is a flowchart showing the operation of the image processing apparatus 101 in Fig. 5. Note that the steps in which the same processes as those in the flowchart in Fig. 4 are executed are given the same reference numerals and the description thereof will be omitted.
The image processing device 101 in FIG. 5 is preferably used when images of a human are used as both the source image (first image) and the target image (second image).
この例では、ステップ第１１３において、第３の画像と第２の画像と対象として、アフィン変換を用いた画像処理を実行して、第５の画像（完成画像を得る）。
比較例３は第１の画像と第２の画像とを対象としてアフィン変換を用いた画像処理を実行して得られた画像である。
In this example, in step 113, image processing using affine transformation is performed on the third image and the second image to obtain a fifth image (completed image).
Comparative Example 3 is an image obtained by performing image processing using affine transformation on the first image and the second image.
本発明の技術的範囲は、発明の詳細な説明の記載及び図面に限定されるものではなく、明細書の記載及び／又は図面を見た当業者が通常に把握できる範囲まで及ぶものである。 The technical scope of the present invention is not limited to the detailed description and drawings of the invention, but extends to the extent that a person skilled in the art would normally understand upon reading the description and/or drawings of the specification.
１、１０１…画像処理装置
１１…第１のメモリ部
１２…第２のメモリ部
３１…レイヤー形成部
３２…第１の生成部
４１…第２の生成部
１２４１…指標特定部
１２４８…指標比較部
REFERENCE SIGNS LIST 1, 101... image processing device 11... first memory section 12... second memory section 31... layer forming section 32... first generating section 41... second generating section 1241... index identifying section 1248... index comparing section
Claims (21)
前記第１の画像と前記第２の画像とを所定の画像合成方法で処理して第３の画像を生成する第１の生成ステップであって、該第３の画像において前記第１の画像の強度を前記第２の画像より大きくする第１の生成ステップと、
前記第２の画像から所定のルールでレイヤーを形成するレイヤー形成ステップと、
前記第３の画像と前記レイヤーとを所定の方法を用いて画像処理して、前記第３の画像に含まれる顔の領域を前記レイヤーに含まれる顔の領域に合体させて第４の画像を生成する第２の生成ステップと、
を備えてなる画像処理方法。 1. An image processing method for merging a facial region included in a first image with a facial region included in a second image, comprising:
a first generation step of processing the first image and the second image by a predetermined image synthesis method to generate a third image, the first generation step making the intensity of the first image greater than that of the second image in the third image;
a layer forming step of forming a layer from the second image according to a predetermined rule;
a second generation step of processing the third image and the layer using a predetermined method to combine a face area included in the third image with a face area included in the layer to generate a fourth image;
An image processing method comprising:
該第１の指標と前記第２の指標とを比較して、両者が近似しているときに、前記撮影したヒトの画像を第１の画像として取得する、請求項４に記載の画像処理方法。 processing the captured image of the person according to the predetermined rules to identify a first indicator representative of a feature of a facial region of the captured image of the person;
5. The image processing method according to claim 4, further comprising the steps of: comparing the first index with the second index; and acquiring the captured image of the person as the first image when the first index and the second index are close to each other.
前記第１の画像と前記第２の画像とを所定の画像合成方法で処理して第３の画像を生成する第１の生成ステップであって、該第３の画像において前記第１の画像の強度を前記第２の画像より大きくする第１の生成ステップと、
前記第３の画像と前記第２の画像とを所定の方法用いて画像処理して、前記第３の画像に含まれる顔の領域を前記第２の画像に含まれる顔の領域に合体させて第５の画像を生成する第２の生成ステップと、
を備えてなる画像処理方法。 1. A method of image processing for merging a human face region in a first image with a human face region in a second image, comprising:
a first generation step of processing the first image and the second image by a predetermined image synthesis method to generate a third image, the first generation step making the intensity of the first image greater than that of the second image in the third image;
a second generation step of processing the third image and the second image using a predetermined method to combine a face region included in the third image with a face region included in the second image to generate a fifth image;
An image processing method comprising:
該第１の指標と前記第２の指標とを比較して、両者が近似しているときに、前記撮影したヒトの画像を第１の画像として取得する、請求項１０に記載の画像処理方法。 processing the captured image of the person according to the predetermined rules to identify a first indicator representative of a feature of a facial region of the captured image of the person;
11. The image processing method according to claim 10, further comprising the steps of: comparing the first index with the second index; and acquiring the captured image of the person as the first image when the first index and the second index are close to each other.
ターゲットとなる第２の画像を前記指標特定部で特定された、前記第２の画像の特徴を表現する第２の指標を保存する第２の指標メモリ部と、
画像撮影部と、指標比較部と、第１の指標メモリ部と、第１の画像取得部とを備え、
前記画像撮影部にヒトの画像を撮影させ、
前記指標特定部に、前記撮影されたヒトの画像を前記所定のルールで処理させて第１の指標を特定させ、
前記第１の指標メモリ部に、特定された前記第１の指標を保存させ、
前記指標比較部に、前記第１の指標と前記第２の指標とを比較させ、
前記第１の画像取得部に、前記指標比較部の比較結果に基づき、前記画像撮影部で撮影されたヒトの画像の中から保存すべき第１の画像を取得させる、
ヒトの顔の撮影処理方法。 an index identifying unit that processes an image based on a predetermined rule and identifies an index that expresses a feature of the image;
a second index memory unit configured to store a second index expressing a feature of a target second image identified by the index identification unit;
The apparatus includes an image capturing unit, an index comparing unit, a first index memory unit, and a first image acquiring unit,
causing the image capturing unit to capture an image of a human;
causing the index identification unit to process the captured image of the person according to the predetermined rule and identify a first index;
storing the identified first index in the first index memory unit;
causing the index comparison unit to compare the first index with the second index;
causing the first image acquisition unit to acquire a first image to be stored from among images of the person captured by the image capture unit based on a comparison result of the index comparison unit;
A method for photographing and processing a human face.
第１の画像を保存する第１のメモリ部と、
第２の画像を保存する第２のメモリ部と、
前記第１の画像と前記第２の画像とを所定の画像合成方法で処理して第３の画像を生成する第１の生成部であって、該第３の画像において前記第１の画像の強度を前記第２の画像より大きくする第１の生成部と、
前記第２の画像から所定のルールで形成されるレイヤーを形成するレイヤー形成部と、
前記第３の画像と前記レイヤーとを所定の方法を用いて画像処理して、前記第３の画像に含まれる顔の領域を前記レイヤーに含まれる顔の領域に合体させて第４の画像を生成する第２の生成部と、
を備えてなる画像処理装置。 1. An image processing device for merging a face region included in a first image with a face region included in a second image, comprising:
a first memory unit for storing a first image;
a second memory unit for storing a second image;
a first generation unit that processes the first image and the second image by a predetermined image synthesis method to generate a third image, the first generation unit making the intensity of the first image greater than that of the second image in the third image;
a layer forming unit that forms a layer from the second image according to a predetermined rule;
a second generation unit that processes the third image and the layer using a predetermined method to combine a face area included in the third image with a face area included in the layer to generate a fourth image;
An image processing device comprising:
第１の画像を保存する第１のメモリ部と、
第２の画像を保存する第２のメモリ部と、
前記第１の画像と前記第２の画像とを所定の画像合成方法で処理して第３の画像を生成する第１の生成部であって、該第３の画像において前記第１の画像の強度を前記第２の画像より大きくする第１の生成部と、
前記第３の画像と前記第２の画像とを所定の方法用いて画像処理して、前記第３の画像に含まれる顔の領域を前記第２の画像に含まれる顔の領域に合体させて第５の画像を生成する第２の生成装置と、
を備えてなる画像処理装置。 1. An image processing device for merging a human face region included in a first image with a human face region included in a second image, comprising:
a first memory unit for storing a first image;
a second memory unit for storing a second image;
a first generation unit that processes the first image and the second image by a predetermined image synthesis method to generate a third image, the first generation unit making the intensity of the first image greater than that of the second image in the third image;
a second generating device that processes the third image and the second image using a predetermined method to combine a face region included in the third image with a face region included in the second image to generate a fifth image;
An image processing device comprising:
ターゲットとなる第２の画像を前記指標特定部で特定された、前記第２の画像の特徴を表現する第２の指標を保存する第２の指標メモリ部と、
ヒトの顔を撮影する画像撮影部と、
該画像撮影部で撮影されたヒトの画像について前記指標特定部で特定された第１の指標を保存する第１の指標メモリ部と、
該第２の指標と前記第１の指標とを比較する指標比較部と、
該指標比較部による比較結果に基づき、前記画像撮影部で撮影されたヒトの画像の中から保存すべき第１の画像を取得する第１の画像取得部と、
を備えているヒトの顔の撮影処理装置。 an index identifying unit that processes an image based on a predetermined rule and identifies an index that expresses a feature of the image;
a second index memory unit configured to store a second index expressing a feature of a target second image identified by the index identification unit;
an image capturing unit for capturing an image of a human face;
a first index memory unit configured to store a first index identified by the index identification unit for the image of a person captured by the image capturing unit;
an index comparison unit that compares the second index with the first index;
a first image acquisition unit that acquires a first image to be stored from among the images of the person captured by the image capture unit based on a comparison result by the index comparison unit;
A human face imaging and processing device comprising:
第２の画像を保存する第２のメモリ部と、
第１の生成部と、レイヤー形成部と、第２の生成部とを備えてなり、第１の画像に含まれる顔の領域を第２の画像に含まれる顔の領域に合体させる画像処理装置を動作させるコンピュータ用のプログラムであって、
前記第１の生成部に、前記第１のメモリ部から前記第１の画像を読み込ませ、前記第２のメモリ部から前記第２の画像を読み込ませ、前記第１の画像と前記第２の画像とを所定の画像合成方法で処理して第３の画像を生成させ、ここに、該第３の画像において前記第１の画像の強度を前記第２の画像より大きくし、
前記レイヤー形成部に、前記第２の画像から所定のルールでレイヤーを形成させ、
前記第２の生成部に、前記第３の画像と前記レイヤーとを所定の方法を用いて画像処理して、前記第３の画像に含まれる顔の領域を前記レイヤーに含まれる顔の領域に合体させて第４の画像を生成させる、
プログラム。 a first memory unit for storing a first image;
a second memory unit for storing a second image;
A program for a computer that operates an image processing device that includes a first generating unit, a layer forming unit, and a second generating unit, and that merges a face area included in a first image with a face area included in a second image,
cause the first generation unit to read the first image from the first memory unit, read the second image from the second memory unit, and process the first image and the second image by a predetermined image synthesis method to generate a third image, in which the intensity of the first image in the third image is made greater than that of the second image;
causing the layer forming unit to form a layer from the second image according to a predetermined rule;
causing the second generation unit to perform image processing on the third image and the layer using a predetermined method, and to combine a face area included in the third image with a face area included in the layer to generate a fourth image;
program.
第２の画像を保存する第２のメモリ部と、
第１の生成部と、レイヤー形成部と、第２の生成部とを備えてなり、第１の画像に含まれるヒト顔の領域を第２の画像に含まれるヒトの顔の領域に合体させる画像処理装置を動作させるコンピュータ用のプログラムであって、
前記第１の生成部に、前記第１のメモリ部から前記第１の画像を読み込ませ、前記第２のメモリ部から前記第２の画像を読み込ませ、前記第１の画像と前記第２の画像とを所定の画像合成方法で処理して第３の画像を生成させ、ここに、該第３の画像において前記第１の画像の強度を前記第２の画像より大きくし、
前記第２の生成部に、前記第３の画像と前記第２の画像とを所定の方法を用いて画像処理して、前記第３の画像に含まれる顔の領域を前記第２の画像に含まれる顔の領域に合体させて第５の画像を生成させる、
プログラム。 a first memory unit for storing a first image;
a second memory unit for storing a second image;
A program for a computer that operates an image processing device that includes a first generating unit, a layer forming unit, and a second generating unit, and that merges a human face region included in a first image with a human face region included in a second image,
cause the first generation unit to read the first image from the first memory unit, read the second image from the second memory unit, and process the first image and the second image by a predetermined image synthesis method to generate a third image, in which the intensity of the first image in the third image is made greater than that of the second image;
causing the second generation unit to process the third image and the second image using a predetermined method and combine a face region included in the third image with a face region included in the second image to generate a fifth image;
program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020068715A JP7473894B2 (en) | 2020-04-07 | 2020-04-07 | Image processing method, image processing device and computer program thereof, and method and device for photographing and processing human faces |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020068715A JP7473894B2 (en) | 2020-04-07 | 2020-04-07 | Image processing method, image processing device and computer program thereof, and method and device for photographing and processing human faces |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021165917A JP2021165917A (en) | 2021-10-14 |
| JP7473894B2 true JP7473894B2 (en) | 2024-04-24 |
Family
ID=78021778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020068715A Active JP7473894B2 (en) | 2020-04-07 | 2020-04-07 | Image processing method, image processing device and computer program thereof, and method and device for photographing and processing human faces |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7473894B2 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004329713A (en) | 2003-05-12 | 2004-11-25 | Nintendo Co Ltd | Game apparatus, game system and game program |
| JP2007156945A (en) | 2005-12-07 | 2007-06-21 | Sony Corp | Image processing apparatus, image processing method, program, and data structure |
| JP2009033249A (en) | 2007-07-24 | 2009-02-12 | Seiko Epson Corp | Image processing apparatus, image processing method, and computer program |
| JP2009533786A (en) | 2006-04-10 | 2009-09-17 | アヴァワークス インコーポレーテッド | Self-realistic talking head creation system and method |
| US8413218B1 (en) | 2009-07-02 | 2013-04-02 | United Services Automobile Association (Usaa) | Systems and methods for videophone identity cloaking |
| JP2013138457A (en) | 2013-02-01 | 2013-07-11 | Casio Comput Co Ltd | Image processing apparatus and program |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105190700A (en) * | 2013-06-04 | 2015-12-23 | 英特尔公司 | Avatar-based video encoding |
-
2020
- 2020-04-07 JP JP2020068715A patent/JP7473894B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004329713A (en) | 2003-05-12 | 2004-11-25 | Nintendo Co Ltd | Game apparatus, game system and game program |
| JP2007156945A (en) | 2005-12-07 | 2007-06-21 | Sony Corp | Image processing apparatus, image processing method, program, and data structure |
| JP2009533786A (en) | 2006-04-10 | 2009-09-17 | アヴァワークス インコーポレーテッド | Self-realistic talking head creation system and method |
| JP2009033249A (en) | 2007-07-24 | 2009-02-12 | Seiko Epson Corp | Image processing apparatus, image processing method, and computer program |
| US8413218B1 (en) | 2009-07-02 | 2013-04-02 | United Services Automobile Association (Usaa) | Systems and methods for videophone identity cloaking |
| JP2013138457A (en) | 2013-02-01 | 2013-07-11 | Casio Comput Co Ltd | Image processing apparatus and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021165917A (en) | 2021-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11907839B2 (en) | Detail-preserving image editing techniques | |
| CN110738595B (en) | Image processing method, device and equipment, and computer storage medium | |
| KR100407111B1 (en) | Apparatus and method for generating a synthetic facial image based on shape information of a facial image | |
| JP6685827B2 (en) | Image processing apparatus, image processing method and program | |
| CN111553284B (en) | Face image processing method, device, computer equipment and storage medium | |
| CN108537860A (en) | Video generation device, control method and computer readable storage medium | |
| CN112465936A (en) | Portrait cartoon method, device, robot and storage medium | |
| JP6369246B2 (en) | Caricature generating device and caricature generating method | |
| US11496661B2 (en) | Image processing apparatus and image processing method | |
| WO2017173578A1 (en) | Image enhancement method and device | |
| JP2000357221A (en) | Method and device for image processing and recording medium with image processing program recorded | |
| CN114202615A (en) | Reconstruction method, device, device and storage medium of facial expression | |
| KR20190125478A (en) | Method and system for providing dynamic content of face recognition camera | |
| JP2007072620A (en) | Image recognition apparatus and method | |
| JP2020149174A (en) | Image processing device, image processing method, and program | |
| CN105580050A (en) | Provides control points in the image | |
| KR101780496B1 (en) | Method for producing 3D digital actor image based on character modelling by computer graphic tool | |
| US11410398B2 (en) | Augmenting live images of a scene for occlusion | |
| CN107909114A (en) | The method and apparatus of the model of training Supervised machine learning | |
| CN111028318A (en) | Virtual face synthesis method, system, device and storage medium | |
| KR101672691B1 (en) | Method and apparatus for generating emoticon in social network service platform | |
| CN118411746A (en) | A face fusion method, system, electronic device and storage medium | |
| KR102170445B1 (en) | Modeling method of automatic character facial expression using deep learning technology | |
| JP7473894B2 (en) | Image processing method, image processing device and computer program thereof, and method and device for photographing and processing human faces | |
| JP5244345B2 (en) | Face recognition device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221115 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231031 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240326 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240403 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7473894 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |