JP7406967B2 - Image conversion network learning device and its program - Google Patents
Image conversion network learning device and its program Download PDFInfo
- Publication number
- JP7406967B2 JP7406967B2 JP2019216644A JP2019216644A JP7406967B2 JP 7406967 B2 JP7406967 B2 JP 7406967B2 JP 2019216644 A JP2019216644 A JP 2019216644A JP 2019216644 A JP2019216644 A JP 2019216644A JP 7406967 B2 JP7406967 B2 JP 7406967B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- network
- real
- identification
- error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、画像変換用ネットワーク学習装置およびそのプログラムに関する。 The present invention relates to an image conversion network learning device and its program .
近年、コンピュータグラフィックス（ＣＧ：Computer Graphics）技術の発達により、実写に近い３Ｄモデルを生成することが可能になってきている。
例えば、被写体を様々な方向から撮影した写真から、被写体の３Ｄモデルを構築するフォトグラメトリと呼ばれる手法によって、ある程度自動で３Ｄモデルを構築することが可能である。
しかし、このように生成される３Ｄモデルは、多数の人手を介して、手動による色等の調整作業を行っているのが現実である。特に、人物等、被写体が見慣れた対象であるほど、観察者は、少しの差異であっても敏感に察知し、３Ｄモデルが実写とは異なると判別する。そのため、多くの調整作業後であっても、依然として、３Ｄモデルが写実的に見えないという問題がある。
In recent years, with the development of computer graphics (CG) technology, it has become possible to generate 3D models that closely resemble real photographs.
For example, it is possible to construct a 3D model automatically to some extent by a method called photogrammetry, which constructs a 3D model of a subject from photographs taken of the subject from various directions.
However, in reality, the 3D model generated in this way requires manual adjustment of colors and the like through the intervention of many people. In particular, the more familiar the subject is, such as a person, the more sensitive the observer is to sensing even a slight difference, and determining that the 3D model is different from the real image. Therefore, even after many adjustment operations, there is still a problem that the 3D model does not look realistic.
一方、近年の深層学習の発達により、ニューラルネットを用いて生成される画像は、実写と見分けがつかないレベルに達してきている（非特許文献１，非特許文献２参照）。
非特許文献１には、「敵対的生成ネットワーク」（ＧＡＮ：Generative Adversarial Network）という手法が開示されている。
ＧＡＮは、Generator（生成ネットワーク）とDiscriminator（識別ネットワーク）とで構成されている。ＧＡＮは、画像生成を行うネットワークを構築する場合、Generatorによって、Discriminatorが真の画像であると欺くように画像生成のネットワークを学習し、Discriminatorによって、真の画像か偽の画像かを正しく識別するようにネットワークを学習する。
これによって、ＧＡＮは、真偽の識別が困難な画像を生成するネットワークの構築を可能にしている。
非特許文献２には、ＧＡＮを２つ組み合わせた手法（ＣｙｃｌｅＧＡＮ）が開示されている。
ＣｙｃｌｅＧＡＮは、一方のGeneratorの出力を他方のGeneratorの入力として、画像が２つのGeneratorを経由した各色チャンネルの輝度の差であるサイクル誤差を小さくするようにGeneratorをさらに学習する手法である。
On the other hand, with the recent development of deep learning, images generated using neural networks have reached a level where they are indistinguishable from real photographs (see Non-Patent Documents 1 and 2).
Non-Patent Document 1 discloses a method called "Generative Adversarial Network (GAN)".
A GAN is composed of a Generator (generation network) and a Discriminator (discrimination network). When building a network for image generation, GAN uses a Generator to train the image generation network so that the Discriminator deceives it into thinking it is a true image, and the Discriminator to correctly identify whether it is a true image or a fake image. to learn networks.
As a result, GAN makes it possible to construct a network that generates images that are difficult to distinguish between genuine and false images.
Non-Patent Document 2 discloses a method (CycleGAN) that combines two GANs.
CycleGAN is a method in which the output of one Generator is used as the input of the other Generator, and the Generator is further trained to reduce the cycle error, which is the difference in brightness of each color channel when an image passes through the two Generators.
従来のＧＡＮを用いた手法によれば、偽の画像を、真の画像か偽の画像かを正しく識別することが困難な画像に変換することができる。
しかし、従来の手法を用いた場合、図１０に示すように、３Ｄモデルから生成したＣＧ画像Ｉｃｇを疑似の実写画像Ｉｒに変換すると、顔の向きの差異（図１０中、Ａ）、人物のポーズの差異（図１０中、Ｂ，Ｅ）、手足等の末端部分の変形（図１０中、Ｃ）や欠損（図１０中、Ｄ）等が発生するという問題がある。
According to the conventional method using GAN, it is possible to convert a fake image into an image in which it is difficult to correctly identify whether it is a real image or a fake image.
However, when using the conventional method, as shown in Fig. 10, when the CG image Icg generated from the 3D model is converted into a pseudo real image Ir, the difference in the face orientation (A in Fig. 10), There are problems such as differences in poses (B and E in FIG. 10), deformation (C in FIG. 10), and loss (D in FIG. 10) of the end portions of limbs and the like.
本発明は、このような問題に鑑みてなされたものであり、３Ｄモデルから生成したＣＧ画像を精度よく疑似の実写画像に変換するためのニューラルネットワークを学習する画像変換用ネットワーク学習装置およびそのプログラムを提供することを課題とする。 The present invention has been made in view of such problems, and provides an image conversion network learning device and its program for learning a neural network for accurately converting a CG image generated from a 3D model into a pseudo real image. The challenge is to provide a system for
前記課題を解決するため、本発明に係る画像変換用ネットワーク学習装置は、ＣＧ画像を疑似の実写画像に変換するニューラルネットワークを学習する画像変換用ネットワーク学習装置であって、第１実写画像生成手段と、第１ＣＧ画像生成手段と、ＣＧ画像特徴量誤差算出手段と、第２ＣＧ画像生成手段と、第２実写画像生成手段と、実写画像特徴量誤差算出手段と、ＣＧ画像識別手段と、実写画像識別手段と、パラメータ更新手段と、を備える構成とした。 In order to solve the above problems, an image conversion network learning device according to the present invention is an image conversion network learning device that learns a neural network for converting a CG image into a pseudo real image, and includes a first real image generating means. , a first CG image generation means, a CG image feature error calculation means, a second CG image generation means, a second real image generation means, a real image feature error calculation means, a CG image identification means, and a real image The configuration includes an identification means and a parameter update means.
かかる構成において、画像変換用ネットワーク学習装置は、第１実写画像生成手段によって、学習対象の実写画像生成ネットワークを用いて、学習データのＣＧ画像から偽実写画像を生成する。そして、画像変換用ネットワーク学習装置は、第１ＣＧ画像生成手段によって、学習対象のＣＧ画像生成ネットワークを用いて、偽実写画像から元のＣＧ画像である複製ＣＧ画像を生成する。
そして、画像変換用ネットワーク学習装置は、ＣＧ画像特徴量誤差算出手段によって、学習データのＣＧ画像と複製ＣＧ画像との画像特徴量の誤差（サイクル誤差）をＣＧ画像誤差として算出する。
In this configuration, the image conversion network learning device generates a false real image from the CG image of the learning data by the first real image generation means using the real image generation network to be learned. Then, in the image conversion network learning device, the first CG image generation means generates a duplicate CG image, which is the original CG image, from the fake real image using the CG image generation network to be learned.
Then, the image conversion network learning device uses the CG image feature error calculation means to calculate the error (cycle error) in the image feature between the CG image of the learning data and the duplicate CG image as a CG image error.
また、画像変換用ネットワーク学習装置は、第２ＣＧ画像生成手段によって、ＣＧ画像生成ネットワークを用いて、学習データの実写画像から偽ＣＧ画像を生成する。そして、画像変換用ネットワーク学習装置は、第２実写画像生成手段によって、実写画像生成ネットワークを用いて、偽ＣＧ画像から元の実写画像である複製実写画像を生成する。
そして、画像変換用ネットワーク学習装置は、実写画像特徴量誤差算出手段によって、学習データの実写画像と複製実写画像との画像特徴量の誤差（サイクル誤差）を実写画像誤差として算出する。
Further, the image conversion network learning device uses the CG image generation network by the second CG image generation means to generate a fake CG image from the real image of the learning data. Then, the image conversion network learning device generates a duplicate live-action image, which is the original live-action image, from the fake CG image using the real-shot image generation network by the second live-action image generation means.
Then, the image conversion network learning device calculates, as a real image error, an error (cycle error) in the image feature amount between the real image of the learning data and the duplicate real image using the real image feature error calculation means.
また、画像変換用ネットワーク学習装置は、ＣＧ画像識別手段によって、学習対象のＣＧ画像識別ネットワークを用いて、学習データのＣＧ画像と、偽ＣＧ画像とについて、それぞれ真のＣＧ画像か否かを示す真偽値を識別結果として算出する。
また、画像変換用ネットワーク学習装置は、実写画像識別手段によって、学習対象の実写画像識別ネットワークを用いて、学習データの実写画像と、偽実写画像とについて、それぞれ真の実写画像か否かを示す真偽値を識別結果として算出する。
Furthermore, the image conversion network learning device uses the CG image identification network of the learning target to indicate whether or not each of the CG image of the learning data and the fake CG image is a true CG image. A truth value is calculated as the identification result.
Further, the image conversion network learning device uses the real-photo image identification network to be learned by the real-photo image identification means to indicate whether or not each of the real-photo images and the fake real-photo images of the learning data is a true real-photo image. A truth value is calculated as the identification result.
そして、画像変換用ネットワーク学習装置は、パラメータ更新手段によって、ＣＧ画像識別手段における識別結果、実写画像識別手段における識別結果、ＣＧ画像誤差および実写画像誤差に基づいて、実写画像生成ネットワーク、ＣＧ画像生成ネットワーク、ＣＧ画像識別ネットワークおよび実写画像識別ネットワークのパラメータを更新する。
この学習によって、実写画像識別ネットワークは、正しく実写画像の真偽を識別するように学習され、実写画像生成ネットワークは、実写画像識別ネットワークにおいて真の実写画像と識別を誤るような写実化した画像をＣＧ画像から生成するように学習されることになる。
Then, the image conversion network learning device uses the parameter updating means to create a live-action image generation network, a CG image generation Update the parameters of the network, CG image identification network, and live image identification network.
Through this learning, the live-action image identification network is trained to correctly identify the authenticity of real-action images, and the live-action image generation network is trained to correctly identify real-life images that the real-action image identification network misidentifies as real images. It will be trained to generate from CG images.
なお、実写画像生成ネットワークおよびＣＧ画像生成ネットワークは、画像サイズを縮小して畳み込みを行う３層以下の畳み込み層と、画像サイズを変えずに畳み込みを行う複数の畳み込み層と、画像サイズを拡大して畳み込みを行う３層以下の畳み込み層とを連結して構成する。あるいは、画像サイズを変えずに畳み込みを行う複数の畳み込み層を連結して構成してもよい。
これによって、画像生成を行う際に、大域的な特徴が伝播されず、ポーズ等の形状の変化を抑えることができる。
また、本発明は、コンピュータを、前記画像変換用ネットワーク学習装置として機能させるための画像変換用ネットワーク学習プログラムで実現することもできる。
Note that the live-action image generation network and the CG image generation network consist of three or less convolution layers that perform convolution after reducing the image size, multiple convolution layers that perform convolution without changing the image size, and two convolution layers that perform convolution without changing the image size. It is constructed by connecting three or less convolution layers that perform convolution. Alternatively, a plurality of convolution layers that perform convolution without changing the image size may be connected.
As a result, when generating an image, global features are not propagated, and changes in shape such as pose can be suppressed.
Further, the present invention can also be realized by an image conversion network learning program for causing a computer to function as the image conversion network learning device.
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、ＣＧ画像を、写実性を向上させた疑似の実写画像に精度よく変換することができる。
これによって、本発明は、変換した写実的な画像を、テレビ番組、ゲーム、ＶＲ（仮想現実）／ＡＲ（拡張現実）等に幅広く利用することが可能になる。
The present invention has the following excellent effects.
According to the present invention, a CG image can be accurately converted into a pseudo real image with improved realism.
As a result, the present invention enables the converted photorealistic images to be widely used in television programs, games, VR (virtual reality)/AR (augmented reality), and the like.
以下、本発明の実施形態について図面を参照して説明する。
＜画像変換用ネットワーク学習装置の処理＞
図１を参照して、本発明の実施形態に係る画像変換用ネットワーク学習装置１（図２）の処理について説明する。
Embodiments of the present invention will be described below with reference to the drawings.
<Processing of image conversion network learning device>
With reference to FIG. 1, processing of the image conversion network learning device 1 (FIG. 2) according to the embodiment of the present invention will be described.
画像変換用ネットワーク学習装置１は、ＣＧ画像を疑似の実写画像に変換するニューラルネットワークを学習するものである。
画像変換用ネットワーク学習装置１は、学習データとして、実写画像ＩｒとＣＧ画像Ｉｃｇとを用いる。
実写画像Ｉｒは、人物等の被写体をカメラで撮影した画像である。
ＣＧ画像Ｉｃｇは、実写画像Ｉｒに映る人物等の被写体に近似したポーズで３Ｄモデルをレンダリングし、実写画像Ｉｒと同じ背景に合成した画像である。
The image conversion network learning device 1 is for learning a neural network that converts a CG image into a pseudo real image.
The image conversion network learning device 1 uses a real image Ir and a CG image Icg as learning data.
The real image Ir is an image of a subject such as a person taken with a camera.
The CG image Icg is an image in which a 3D model is rendered in a pose similar to a subject such as a person appearing in the live-action image Ir, and is synthesized on the same background as the live-action image Ir.
画像変換用ネットワーク学習装置１は、実写画像生成ネットワークＮＧ１および実写画像識別ネットワークＮＤ１で構成されるＧＡＮ（敵対的生成ネットワーク）と、ＣＧ画像生成ネットワークＮＧ２およびＣＧ画像識別ネットワークＮＤ２で構成されるＧＡＮとを組み合わせたＣｙｃｌｅＧＡＮとして機能し、学習データである実写画像ＩｒおよびＣＧ画像Ｉｃｇを用いて各ニューラルネットワークを順次学習する。
なお、実写画像生成ネットワークＮＧ１およびＣＧ画像生成ネットワークＮＧ２は、ＧＡＮのGeneratorに相当するものである。また、実写画像識別ネットワークＮＤ１およびＣＧ画像識別ネットワークＮＤ２は、ＧＡＮのDiscriminatorに相当するものである。
The image conversion network learning device 1 includes a generative adversarial network (GAN) consisting of a live-action image generation network N G1 and a live-action image identification network N D1 , and a CG image generation network N G2 and a CG image identification network N D2 . The neural network functions as a CycleGAN in combination with a GAN, and sequentially learns each neural network using real images Ir and CG images Icg, which are learning data.
Note that the real image generation network NG1 and the CG image generation network NG2 correspond to a GAN generator. Furthermore, the real image discrimination network N D1 and the CG image discrimination network N D2 correspond to the Discriminator of the GAN.
画像変換用ネットワーク学習装置１は、実写画像Ｉｒが真の実写画像であると識別するように、また、偽実写画像Ｉｆｒが偽の実写画像であると識別するように実写画像識別ネットワークＮＤ１を学習する。なお、偽実写画像Ｉｆｒは、実写画像生成ネットワークＮＧ１によってＣＧ画像Ｉｃｇから生成された画像である。
また、画像変換用ネットワーク学習装置１は、ＣＧ画像Ｉｃｇが真のＣＧ画像であると識別するように、また、偽ＣＧ画像Ｉｆｃｇが偽のＣＧ画像であると識別するようにＣＧ画像識別ネットワークＮＤ２を学習する。なお、偽ＣＧ画像Ｉｆｃｇは、ＣＧ画像生成ネットワークＮＧ２によって実写画像Ｉｒから生成された画像である。
The image conversion network learning device 1 trains the real image identification network N D1 to identify the real image Ir as a true real image and to identify the fake real image Ifr as a fake real image. learn. Note that the false real image Ifr is an image generated from the CG image Icg by the real image generation network NG1 .
The image conversion network learning device 1 also uses a CG image identification network N to identify the CG image Icg as a true CG image and to identify the false CG image Ifcg as a false CG image. Learn D2 . Note that the fake CG image Ifcg is an image generated from the real image Ir by the CG image generation network NG2 .
また、画像変換用ネットワーク学習装置１は、偽実写画像Ｉｆｒが実写画像識別ネットワークＮＤ１において真の実写画像であると識別されるように、また、偽ＣＧ画像ＩｆｃｇがＣＧ画像識別ネットワークＮＤ２において真のＣＧ画像であると識別されるように、実写画像生成ネットワークＮＧ１およびＣＧ画像生成ネットワークＮＧ２を学習する。
さらに、画像変換用ネットワーク学習装置１は、実写画像Ｉｒと複製実写画像Ｉｒ２との特徴量の誤差およびＣＧ画像Ｉｃｇと複製ＣＧ画像Ｉｃｇ２との特徴量の誤差を小さくするように、実写画像生成ネットワークＮＧ１およびＣＧ画像生成ネットワークＮＧ２を学習する。なお、複製実写画像Ｉｒ２は、実写画像生成ネットワークＮＧ１によって偽ＣＧ画像Ｉｆｃｇから生成された画像である。また、複製ＣＧ画像Ｉｃｇ２は、ＣＧ画像生成ネットワークＮＧ２によって偽実写画像Ｉｆｒから生成された画像である。
In addition, the image conversion network learning device 1 is configured to identify the false real image Ifr as a true real image in the real image identification network N D1 , and to identify the fake CG image Ifcg in the CG image identification network N D2 . The real image generation network N G1 and the CG image generation network N G2 are trained so that they can be identified as true CG images.
Furthermore, the image conversion network learning device 1 uses a live-action image generation network to NG1 and CG image generation network NG2 are learned. Note that the duplicate real image Ir2 is an image generated from the fake CG image Ifcg by the real image generation network NG1 . Further, the duplicate CG image Icg2 is an image generated from the fake real image Ifr by the CG image generation network NG2 .
これによって、画像変換用ネットワーク学習装置１は、実写画像生成ネットワークＮＧ１およびＣＧ画像生成ネットワークＮＧ２を経由した際に発生するサイクル誤差を小さくして、各ニューラルネットワーク（ＮＤ１，ＮＤ２，ＮＧ１およびＮＧ２）を学習することで、精度のよいニューラルネットワークを構築することができる。 As a result, the image conversion network learning device 1 reduces the cycle error that occurs when passing through the live-action image generation network NG1 and the CG image generation network NG2 , and each neural network (N D1 , N D2 , N G1 and N G2 ), it is possible to construct an accurate neural network.
＜画像変換用ネットワーク学習装置の構成＞
次に、図２を参照（適宜図１参照）して、本発明の実施形態に係る画像変換用ネットワーク学習装置１の構成について説明する。なお、学習データである複数のＣＧ画像Ｉｃｇおよび複数の実写画像Ｉｒは、学習データ記憶装置２に記憶されているものとする。
<Configuration of image conversion network learning device>
Next, the configuration of the image conversion network learning device 1 according to the embodiment of the present invention will be described with reference to FIG. 2 (see FIG. 1 as appropriate). It is assumed that a plurality of CG images Icg and a plurality of real images Ir, which are learning data, are stored in the learning data storage device 2.
図２に示すように、画像変換用ネットワーク学習装置１は、記憶手段１０と、学習データ入力手段１１と、実写画像生成手段１２（１２Ａ，１２Ｂ）と、ＣＧ画像生成手段１３（１３Ａ，１３Ｂ）と、実写画像特徴量誤差算出手段１４と、ＣＧ画像特徴量誤差算出手段１５と、実写画像識別手段１６と、ＣＧ画像識別手段１７と、パラメータ更新手段１８と、を備える。 As shown in FIG. 2, the image conversion network learning device 1 includes a storage means 10, a learning data input means 11, a real image generation means 12 (12A, 12B), and a CG image generation means 13 (13A, 13B). , a real image feature amount error calculation means 14 , a CG image feature amount error calculation means 15 , a real image identification means 16 , a CG image identification means 17 , and a parameter update means 18 .
記憶手段１０は、画像変換用ネットワーク学習装置１で使用するニューラルネットワークを記憶するものである。記憶手段１０は、ハードディスク、半導体メモリ等の一般的な記憶媒体で構成することができる。
記憶手段１０は、ニューラルネットワークで構成された実写画像生成ネットワークＮＧ１、ＣＧ画像生成ネットワークＮＧ２、実写画像識別ネットワークＮＤ１、ＣＧ画像識別ネットワークＮＤ２および画像特徴抽出ネットワークＮＦを記憶する。
The storage means 10 stores a neural network used in the image conversion network learning device 1. The storage means 10 can be composed of a general storage medium such as a hard disk or a semiconductor memory.
The storage means 10 stores a real image generation network N G1 , a CG image generation network N G2 , a real image identification network N D1 , a CG image identification network N D2 and an image feature extraction network N F , each of which is a neural network.
実写画像生成ネットワーク（ＮＷ）ＮＧ１は、ＣＧ画像から疑似の実写画像を生成するニューラルネットワークである。実写画像生成ネットワークＮＧ１は、複数の畳み込み層を含んだ畳み込みニューラルネットワークとして構成する。
この実写画像生成ネットワークＮＧ１のパラメータである層間の重み係数は、予め乱数等の初期値が設定され、実写画像生成手段１２（１２Ａ，１２Ｂ）によって参照されるとともに、パラメータ更新手段１８によって更新される。
なお、畳み込みニューラルネットワークは、画像サイズを縮小して畳み込みを行う畳み込み層と、画像サイズを変えずに畳み込みを行う畳み込み層（以下、変換層と呼ぶ）と、画像サイズを拡大して畳み込みを行う畳み込み層（以下、逆畳み込み層と呼ぶ）とを、それぞれ複数連結して構成されることが多い。
The real image generation network (NW) NG1 is a neural network that generates a pseudo real image from a CG image. The real image generation network NG1 is configured as a convolutional neural network including a plurality of convolutional layers.
An initial value such as a random number is set in advance for the interlayer weighting coefficient, which is a parameter of this live-action image generation network N G1 , and is referenced by the live-action image generation means 12 (12A, 12B) and updated by the parameter updating means 18. Ru.
Note that a convolutional neural network consists of a convolution layer that performs convolution after reducing the image size, a convolution layer (hereinafter referred to as a transformation layer) that performs convolution without changing the image size, and a convolution layer that performs convolution after enlarging the image size. It is often constructed by connecting a plurality of convolutional layers (hereinafter referred to as deconvolutional layers).
このように、畳み込みニューラルネットワークは、画像サイズを縮小するように複数の階層で畳み込みを行うことで、画像の大域的特徴を抽出している。そのため、このような畳み込みニューラルネットワークを用いた場合、学習データのＣＧ画像Ｉｃｇと実写画像Ｉｒとでポーズに若干の相違があった場合、ポーズそのものが変換されてしまう。これは、図１０で説明した従来手法における人物のポーズが変化する原因と考えられる。 In this way, a convolutional neural network extracts global features of an image by performing convolution at multiple layers to reduce the image size. Therefore, when such a convolutional neural network is used, if there is a slight difference in pose between the CG image Icg of learning data and the real image Ir, the pose itself will be converted. This is considered to be the cause of the change in the pose of the person in the conventional method described with reference to FIG.
そこで、実写画像生成ネットワークＮＧ１は、画像サイズを縮小して畳み込みを行う畳み込み層および画像を拡大して畳み込みを行う逆畳み込み層の数を少なくし、例えば、３層以下、好ましくは１層とする。または、実写画像生成ネットワークＮＧ１の画像サイズを縮小／拡大する層は、画像サイズを変えず、畳み込みは行うが縮小／拡大は行わない層をもって代替することができる。なお、中間の変換層の数は、特に限定するものではないが、過激な変換を抑えるため、ここでは、３層とする。
図３に、畳み込み層Ｌ１を１層、変換層Ｌ２を３層、逆畳み込み層Ｌ３を１層とした実写画像生成ネットワークＮＧ１の構成例を示す。
このように、実写画像生成ネットワークＮＧ１を構成することで、実写画像生成ネットワークＮＧ１は、大域的な特徴の抽出を抑え、ポーズ等の形状の変換を防止して、ＣＧ画像から疑似の実写画像を生成することができる。
Therefore, the live-action image generation network N G1 reduces the number of convolution layers that reduce the image size and perform convolution, and deconvolution layers that enlarge the image and perform convolution, for example, 3 layers or less, preferably 1 layer. do. Alternatively, the layer that reduces/enlarges the image size of the live-action image generation network NG1 can be replaced with a layer that does not change the image size and performs convolution but does not perform reduction/enlargement. Note that the number of intermediate conversion layers is not particularly limited, but in order to suppress radical conversion, it is assumed to be three layers here.
FIG. 3 shows a configuration example of a live-action image generation network N G1 having one convolution layer L1 , three conversion layers L2 , and one deconvolution layer L3.
By configuring the live-action image generation network N G1 in this way, the live-action image generation network N G1 suppresses the extraction of global features, prevents the transformation of shapes such as poses, and generates pseudo-real images from CG images. Images can be generated.
ＣＧ画像生成ネットワーク（ＮＷ）ＮＧ２は、実写画像（疑似の実写画像も含む）からＣＧ画像を生成するニューラルネットワークである。ＣＧ画像生成ネットワークＮＧ２は、複数の畳み込み層を含んだ畳み込みニューラルネットワークとして構成する。
このＣＧ画像生成ネットワークＮＧ２のパラメータである層間の重み係数は、予め乱数等の初期値が設定され、ＣＧ画像生成手段１３（１３Ａ，１３Ｂ）によって参照されるとともに、パラメータ更新手段１８によって更新される。
このＣＧ画像生成ネットワークＮＧ２は、実写画像生成ネットワークＮＧ１と同じネットワーク構成とすることができる。
これによって、ＣＧ画像生成ネットワークＮＧ２は、大域的な特徴の抽出を抑え、ポーズ等の形状の変換を防止して、実写画像からＣＧ画像を生成することができる。
The CG image generation network (NW) NG2 is a neural network that generates CG images from real images (including pseudo real images). The CG image generation network NG2 is configured as a convolutional neural network including a plurality of convolutional layers.
The interlayer weighting coefficients, which are parameters of this CG image generation network N G2 , have initial values such as random numbers set in advance, are referenced by the CG image generation means 13 (13A, 13B), and are updated by the parameter update means 18. Ru.
This CG image generation network NG2 can have the same network configuration as the real image generation network NG1 .
Thereby, the CG image generation network NG2 can generate a CG image from a real image while suppressing the extraction of global features and preventing transformation of shapes such as poses.
実写画像識別ネットワーク（ＮＷ）ＮＤ１は、実写画像を入力し、その実写画像が真の実写画像か偽の実写画像かを識別するニューラルネットワークである。ここで、真の実写画像とは、学習データの実写画像Ｉｒであって、偽の実写画像とは、実写画像生成ネットワークＮＧ１によってＣＧ画像Ｉｃｇから生成された実写画像である。
実写画像識別ネットワークＮＤ１は、「真値：１」と「偽値：０」を識別する０を超え１未満の確率値を出力データとする。
The real image identification network (NW) N D1 is a neural network that inputs a real image and identifies whether the real image is a true real image or a fake real image. Here, the true photographic image is the photographic image Ir of the learning data, and the false photographic image is the photographic image generated from the CG image Icg by the photographic image generation network NG1 .
The real image identification network N D1 outputs a probability value greater than 0 and less than 1 that identifies "true value: 1" and "false value: 0."
この実写画像識別ネットワークＮＤ１の構成は特に限定するものではないが、図４に示すように、予め定めた大きさのカーネルを用いて畳み込み演算を行う複数の畳み込み層Ｌ４を接続し、最終段に０を超えて１未満の値に正規化して出力値を出力する活性化関数（シグモイド関数）ＡＦを備えた構成とすることができる。
この実写画像識別ネットワークＮＤ１のパラメータであるカーネルの重み係数は、予め乱数等の初期値が設定され、実写画像識別手段１６によって参照されるとともに、パラメータ更新手段１８によって更新される。
The configuration of this real image identification network N D1 is not particularly limited, but as shown in FIG . The stage may be provided with an activation function (sigmoid function) AF that normalizes the output value to a value greater than 0 and less than 1 and outputs the output value.
The weighting coefficient of the kernel, which is a parameter of this photographed image identification network N D1 , has an initial value such as a random number set in advance, is referenced by the photographed image identification means 16, and is updated by the parameter updating means 18.
ＣＧ画像識別ネットワーク（ＮＷ）ＮＤ２は、ＣＧ画像を入力し、そのＣＧ画像が真のＣＧ画像か偽のＣＧ画像かを識別するニューラルネットワークである。ここで、真のＣＧ画像とは、学習データのＣＧ画像Ｉｃｇであって、偽のＣＧ画像とは、ＣＧ画像生成ネットワークＮＧ２によって実写画像Ｉｒから生成されたＣＧ画像である。
ＣＧ画像識別ネットワークＮＤ２は、「真値：１」と「偽値：０」を識別する０を超え１未満の確率値を出力データとする。
このＣＧ画像識別ネットワークＮＤ２の構成は特に限定するものではないが、実写画像識別ネットワークＮＤ１と同じ構成とすることができる。
このＣＧ画像識別ネットワークＮＤ２のパラメータであるカーネルの重み係数は、予め乱数等の初期値が設定され、ＣＧ画像識別手段１７によって参照されるとともに、パラメータ更新手段１８によって更新される。
The CG image identification network (NW) N D2 is a neural network that inputs a CG image and identifies whether the CG image is a true CG image or a fake CG image. Here, the true CG image is the CG image Icg of the learning data, and the false CG image is the CG image generated from the real image Ir by the CG image generation network NG2 .
The CG image identification network N D2 outputs a probability value greater than 0 and less than 1 that identifies "true value: 1" and "false value: 0."
Although the configuration of this CG image identification network N D2 is not particularly limited, it may have the same configuration as the real image identification network N D1 .
The weighting coefficient of the kernel, which is a parameter of this CG image identification network N D2 , has an initial value such as a random number set in advance, is referenced by the CG image identification means 17, and is updated by the parameter updating means 18.
画像特徴抽出ネットワーク（ＮＷ）ＮＦは、画像（実写画像、ＣＧ画像）の特徴量を抽出するニューラルネットワークである。この画像特徴抽出ネットワークＮＦは、複数の畳み込み層を介して特徴量を抽出する予め学習された畳み込みニューラルネットワークである。この画像特徴抽出ネットワークＮＦは、例えば、ＶＧＧ（Visual Geometry Group）１９等の一般的な物体認識ネットワークの特徴抽出部分のネットワークを用いることができる。
この画像特徴抽出ネットワークＮＦのパラメータであるカーネルの重み係数は、実写画像特徴量誤差算出手段１４およびＣＧ画像特徴量誤差算出手段１５によって参照される。
The image feature extraction network (NW) NF is a neural network that extracts feature amounts of images (real images, CG images). This image feature extraction network NF is a pre-trained convolutional neural network that extracts feature quantities through a plurality of convolutional layers. As this image feature extraction network NF , for example, a network of the feature extraction portion of a general object recognition network such as VGG (Visual Geometry Group) 19 can be used.
The weighting coefficient of the kernel, which is a parameter of this image feature extraction network NF , is referred to by the real image feature amount error calculation means 14 and the CG image feature amount error calculation means 15.
学習データ入力手段１１は、学習データ記憶装置２に記憶されている学習データであるＣＧ画像Ｉｃｇおよび実写画像Ｉｒを入力するものである。
この学習データ入力手段１１は、ＣＧ画像Ｉｃｇおよび実写画像Ｉｒを、それぞれランダムに入力する。
学習データ入力手段１１は、入力したＣＧ画像Ｉｃｇを、実写画像生成手段１２ＡおよびＣＧ画像識別手段１７に出力する。また、学習データ入力手段１１は、入力した実写画像Ｉｒを、ＣＧ画像生成手段１３Ｂおよび実写画像識別手段１６に出力する。
The learning data input means 11 is for inputting a CG image Icg and a photographed image Ir, which are learning data stored in the learning data storage device 2.
This learning data input means 11 randomly inputs the CG image Icg and the real image Ir.
The learning data input means 11 outputs the input CG image Icg to the real image generation means 12A and the CG image identification means 17. Further, the learning data input means 11 outputs the input real image Ir to the CG image generation means 13B and the real image identification means 16.
また、学習データ入力手段１１は、次の学習データを入力するタイミングを、パラメータ更新手段１８から指示されたタイミングとする。
学習データ入力手段１１は、パラメータ更新手段１８から、次の学習データの入力を指示された段階で、新たに学習データを入力する。
Further, the learning data input means 11 sets the timing for inputting the next learning data to the timing instructed by the parameter updating means 18.
The learning data input means 11 inputs new learning data when instructed by the parameter updating means 18 to input the next learning data.
なお、学習データ入力手段１１は、予め定めた学習終了条件に達した段階で、学習データの入力を終了する。例えば、学習データ入力手段１１は、予め定めた学習回数だけ、学習データ全体を選択した場合、パラメータ更新手段１８から、パラメータ更新の変化量が予め定めた閾値を下回ったことを通知された場合等である。 Note that the learning data input means 11 ends the input of learning data when a predetermined learning end condition is reached. For example, when the learning data input means 11 selects the entire learning data for a predetermined number of learning times, when the parameter update means 18 notifies that the amount of change in parameter update is below a predetermined threshold, etc. It is.
実写画像生成手段１２（１２Ａ，１２Ｂ）は、ＣＧ画像から実写画像を生成するものである。
実写画像生成手段１２は、記憶手段１０に記憶されている実写画像生成ネットワークＮＧ１にＣＧ画像を入力し、学習対象のパラメータであるレイヤ間の重み係数を用いて、ニューラルネットワークの演算を行うことで実写画像を生成する。
The photographed image generation means 12 (12A, 12B) generates a photographed image from a CG image.
The live-action image generation means 12 inputs the CG image to the live-action image generation network N G1 stored in the storage means 10, and performs neural network calculations using the weighting coefficients between layers, which are parameters to be learned. Generate a live-action image.
実写画像生成手段（第１実写画像生成手段）１２Ａは、学習データ入力手段１１で入力されたＣＧ画像Ｉｃｇから偽の実写画像（偽実写画像Ｉｆｒ）を生成する。実写画像生成手段１２Ａは、生成した偽実写画像Ｉｆｒを、ＣＧ画像生成手段１３Ａおよび実写画像識別手段１６に出力する。 The actual image generation means (first actual image generation means) 12A generates a false actual image (fake actual image Ifr) from the CG image Icg input by the learning data input means 11. The real image generation means 12A outputs the generated false real image Ifr to the CG image generation means 13A and the real image identification means 16.
実写画像生成手段（第２実写画像生成手段）１２Ｂは、ＣＧ画像生成手段１３Ｂで生成された偽のＣＧ画像（偽ＣＧ画像Ｉｆｃｇ）から元の実写画像（複製実写画像Ｉｒ２）を生成する。実写画像生成手段１２Ｂは、生成した複製実写画像Ｉｒ２を実写画像特徴量誤差算出手段１４に出力する。 The actual image generation means (second actual image generation means) 12B generates the original actual image (duplicated actual image Ir2) from the fake CG image (fake CG image Ifcg) generated by the CG image generation means 13B. The actual image generation means 12B outputs the generated duplicate actual image Ir2 to the actual image feature quantity error calculation means 14.
ＣＧ画像生成手段１３（１３Ａ，１３Ｂ）は、実写画像からＣＧ画像を生成するものである。
ＣＧ画像生成手段１３は、記憶手段１０に記憶されているＣＧ画像生成ネットワークＮＧ２に実写画像を入力し、学習対象のパラメータであるレイヤ間の重み係数を用いて、ニューラルネットワークの演算を行うことでＣＧ画像を生成する。
The CG image generation means 13 (13A, 13B) generates a CG image from a photographed image.
The CG image generation means 13 inputs the real image to the CG image generation network NG2 stored in the storage means 10, and performs neural network calculations using the weighting coefficients between layers, which are parameters to be learned. to generate a CG image.
ＣＧ画像生成手段（第１ＣＧ画像生成手段）１３Ａは、実写画像生成手段１２Ａで生成された偽の実写画像（偽実写画像Ｉｆｒ）から元のＣＧ画像（複製ＣＧ画像Ｉｃｇ２）を生成する。ＣＧ画像生成手段１３Ａは、生成した複製ＣＧ画像Ｉｃｇ２をＣＧ画像特徴量誤差算出手段１５に出力する。 The CG image generation means (first CG image generation means) 13A generates an original CG image (duplicate CG image Icg2) from the fake real image (fake real image Ifr) generated by the real image generation means 12A. The CG image generation means 13A outputs the generated duplicate CG image Icg2 to the CG image feature quantity error calculation means 15.
ＣＧ画像生成手段（第２ＣＧ画像生成手段）１３Ｂは、学習データ入力手段１１で入力された実写画像Ｉｒから偽のＣＧ画像（偽ＣＧ画像Ｉｆｃｇ）を生成する。ＣＧ画像生成手段１３Ｂは、生成した偽ＣＧ画像Ｉｆｃｇを、実写画像生成手段１２ＢおよびＣＧ画像識別手段１７に出力する。 The CG image generation means (second CG image generation means) 13B generates a fake CG image (fake CG image Ifcg) from the real image Ir input by the learning data input means 11. The CG image generation means 13B outputs the generated fake CG image Ifcg to the real image generation means 12B and the CG image identification means 17.
実写画像特徴量誤差算出手段１４は、学習データ入力手段１１で入力された実写画像Ｉｒと、実写画像生成手段１２Ｂで生成された複製実写画像Ｉｒ２との特徴量の誤差（実写画像誤差）を算出するものである。
実写画像特徴量誤差算出手段１４は、記憶手段１０に記憶されている画像特徴抽出ネットワークＮＦに、実写画像Ｉｒおよび複製実写画像Ｉｒ２をそれぞれ入力して、実写画像Ｉｒの特徴量および複製実写画像Ｉｒ２の特徴量を生成する。
そして、実写画像特徴量誤差算出手段１４は、実写画像Ｉｒの特徴量と複製実写画像Ｉｒ２の特徴量との誤差を算出する。この特徴量の誤差の演算手法は、特に限定するものではないが、例えば、特徴量の要素の差の絶対値の和であるＬ１誤差で求めることができる。あるいは、特徴量の要素の差の二乗和の平方根であるＬ２誤差としてもよい。
The live-action image feature quantity error calculation means 14 calculates the error in the feature quantity (live-action image error) between the live-action image Ir input by the learning data input means 11 and the duplicate live-action image Ir2 generated by the live-action image generation means 12B. It is something to do.
The actual image feature quantity error calculation means 14 inputs the actual image Ir and the duplicate actual image Ir2 into the image feature extraction network NF stored in the storage means 10, respectively, and calculates the feature quantities of the actual image Ir and the duplicate actual image. Generate the feature amount of Ir2.
Then, the real image feature amount error calculation means 14 calculates the error between the feature amount of the real image Ir and the feature amount of the duplicate real image Ir2. The method for calculating the error in the feature amount is not particularly limited, but it can be calculated using, for example, the L1 error, which is the sum of the absolute values of the differences between the elements of the feature amount. Alternatively, the L2 error may be the square root of the sum of squares of the differences between the feature quantity elements.
ここで、画像特徴抽出ネットワークＮＦによる変換をＦ、実写画像生成ネットワークＮＧ１による変換をＧ１、ＣＧ画像生成ネットワークＮＧ２による変換をＧ２、実写画像Ｉｒの画像データをＩｒとしたとき、実写画像特徴量誤差算出手段１４が算出する特徴量のＬ１誤差は、以下の式（１）に示すサイクル誤差（実写画像誤差）Ｌｃｙｃ１を算出することに相当する。 Here, when the conversion by the image feature extraction network N F is F, the conversion by the real image generation network N G1 is G1, the conversion by the CG image generation network N G2 is G2, and the image data of the real image Ir is Ir, the real image The L1 error of the feature amount calculated by the feature amount error calculation means 14 corresponds to calculating the cycle error (actual image error) L cyc1 shown in the following equation (1).
実写画像特徴量誤差算出手段１４は、算出した実写画像Ｉｒのサイクル誤差Ｌｃｙｃ１をパラメータ更新手段１８に出力する。 The actual image feature quantity error calculation means 14 outputs the calculated cycle error L cyc1 of the actual image Ir to the parameter updating means 18.
ＣＧ画像特徴量誤差算出手段１５は、学習データ入力手段１１で入力されたＣＧ画像Ｉｃｇと、ＣＧ画像生成手段１３Ａで生成された複製ＣＧ画像Ｉｃｇ２との特徴量の誤差（ＣＧ画像誤差）を算出するものである。
ＣＧ画像特徴量誤差算出手段１５は、記憶手段１０に記憶されている画像特徴抽出ネットワークＮＦに、ＣＧ画像Ｉｃｇおよび複製ＣＧ画像Ｉｃｇ２をそれぞれ入力して、ＣＧ画像Ｉｃｇの特徴量および複製ＣＧ画像Ｉｃｇ２の特徴量を生成する。
そして、ＣＧ画像特徴量誤差算出手段１５は、ＣＧ画像Ｉｃｇの特徴量と複製ＣＧ画像Ｉｃｇ２の特徴量との誤差を算出する。この特徴量の誤差の演算手法は、特に限定するものではないが、実写画像特徴量誤差算出手段１４と同じ手法を用いることができる。
The CG image feature error calculation means 15 calculates the error in the feature amount (CG image error) between the CG image Icg input by the learning data input means 11 and the duplicate CG image Icg2 generated by the CG image generation means 13A. It is something to do.
The CG image feature quantity error calculation means 15 inputs the CG image Icg and the duplicate CG image Icg2 into the image feature extraction network NF stored in the storage means 10, respectively, and calculates the feature quantity of the CG image Icg and the duplicate CG image. Generate the feature amount of Icg2.
Then, the CG image feature amount error calculation means 15 calculates the error between the feature amount of the CG image Icg and the feature amount of the duplicate CG image Icg2. The method for calculating this feature amount error is not particularly limited, but the same method as the actual image feature amount error calculation means 14 can be used.
ここで、画像特徴抽出ネットワークＮＦによる変換をＦ、実写画像生成ネットワークＮＧ１による変換をＧ１、ＣＧ画像生成ネットワークＮＧ２による変換をＧ２、ＣＧ画像Ｉｃｇの画像データをＩｃｇとしたとき、ＣＧ画像特徴量誤差算出手段１５が算出する特徴量のＬ１誤差は、以下の式（２）に示すサイクル誤差（ＣＧ画像誤差）Ｌｃｙｃ２を算出することに相当する。 Here, when the conversion by the image feature extraction network N F is F, the conversion by the real image generation network N G1 is G1, the conversion by the CG image generation network N G2 is G2, and the image data of the CG image Icg is Icg, the CG image The L1 error of the feature amount calculated by the feature amount error calculation means 15 corresponds to calculating the cycle error (CG image error) L cyc2 shown in the following equation (2).
ＣＧ画像特徴量誤差算出手段１５は、算出したＣＧ画像Ｉｃｇのサイクル誤差Ｌｃｙｃ２をパラメータ更新手段１８に出力する。 The CG image feature quantity error calculation means 15 outputs the calculated cycle error L cyc2 of the CG image Icg to the parameter updating means 18.
実写画像識別手段１６は、記憶手段１０に記憶されている実写画像識別ネットワークＮＤ１を用いて、実写画像が真の実写画像か否かを識別するものである。
実写画像識別手段１６は、実写画像識別ネットワークＮＤ１に、学習データ入力手段１１で入力された実写画像Ｉｒを入力し、学習対象のパラメータであるカーネルの重み係数を用いてニューラルネットワークの演算を行い、０を超えて１未満の範囲の識別結果を算出する。
また、実写画像識別手段１６は、実写画像識別ネットワークＮＤ１に、実写画像生成手段１２Ａで生成された偽実写画像Ｉｆｒを入力し、学習対象のパラメータであるカーネルの重み係数を用いてニューラルネットワークの演算を行い、０を超えて１未満の範囲の識別結果を算出する。
The photographed image identification means 16 uses the photographed image identification network N D1 stored in the storage means 10 to identify whether or not the photographed image is a true photographed image.
The real image identification means 16 inputs the real image Ir inputted by the learning data input means 11 into the real image identification network N D1 , and performs neural network calculations using the weighting coefficient of the kernel, which is a parameter to be learned. , calculate the identification results in the range greater than 0 and less than 1.
In addition, the live-action image identification means 16 inputs the false real-action image Ifr generated by the real-action image generation means 12A to the real-action image identification network N D1 , and uses the weighting coefficient of the kernel, which is a parameter to be learned, to create a neural network. An arithmetic operation is performed to calculate identification results in a range greater than 0 and less than 1.
なお、図２では、実写画像識別ネットワークＮＤ１による変換をＤ１、実写画像Ｉｒの画像データをＩｒ、偽実写画像Ｉｆｒの画像データをＩｆｒとしたとき、実写画像Ｉｒに対する識別結果をＤ１（Ｉｒ）、偽実写画像Ｉｆｒに対する識別結果をＤ１（Ｉｆｒ）と表している。
実写画像識別手段１６は、実写画像Ｉｒに対する識別結果と、偽実写画像Ｉｆｒに対する識別結果とを、パラメータ更新手段１８に出力する。
In FIG. 2, when the conversion by the real image identification network N D1 is D1, the image data of the real image Ir is Ir, and the image data of the false real image Ifr is Ifr, the identification result for the real image Ir is D1(Ir). , the identification result for the false real image Ifr is expressed as D1 (Ifr).
The real image identifying means 16 outputs the identification result for the real image Ir and the identification result for the fake real image Ifr to the parameter updating means 18.
ＣＧ画像識別手段１７は、記憶手段１０に記憶されているＣＧ画像識別ネットワークＮＤ２を用いて、ＣＧ画像が真のＣＧ画像か否かを識別するものである。
ＣＧ画像識別手段１７は、ＣＧ画像識別ネットワークＮＤ２に、学習データ入力手段１１で入力されたＣＧ画像Ｉｃｇを入力し、学習対象のパラメータであるカーネルの重み係数を用いてニューラルネットワークの演算を行い、０を超えて１未満の範囲の識別結果を算出する。
また、ＣＧ画像識別手段１７は、ＣＧ画像識別ネットワークＮＤ２に、ＣＧ画像生成手段１３Ｂで生成された偽ＣＧ画像Ｉｆｃｇを入力し、学習対象のパラメータであるカーネルの重み係数を用いてニューラルネットワークの演算を行い、０を超えて１未満の範囲の識別結果を算出する。
The CG image identification means 17 uses the CG image identification network ND2 stored in the storage means 10 to identify whether a CG image is a true CG image or not.
The CG image identification means 17 inputs the CG image Icg inputted by the learning data input means 11 into the CG image identification network N D2 , and performs neural network calculations using the weighting coefficient of the kernel, which is a parameter to be learned. , calculate the identification results in the range greater than 0 and less than 1.
Further, the CG image identification means 17 inputs the fake CG image Ifcg generated by the CG image generation means 13B to the CG image identification network N D2 , and uses the weighting coefficient of the kernel, which is the parameter to be learned, to create a neural network. An arithmetic operation is performed to calculate identification results in a range greater than 0 and less than 1.
なお、図２では、ＣＧ画像識別ネットワークＮＤ２による変換をＤ２、ＣＧ画像Ｉｃｇの画像データをＩｃｇ、偽ＣＧ画像Ｉｆｃｇの画像データをＩｆｃｇとしたとき、ＣＧ画像Ｉｃｇに対する識別結果をＤ２（Ｉｃｇ）、偽ＣＧ画像Ｉｆｃｇに対する識別結果をＤ２（Ｉｆｃｇ）と表している。
ＣＧ画像識別手段１７は、ＣＧ画像Ｉｃｇに対する識別結果と、偽ＣＧ画像Ｉｆｃｇに対する識別結果とを、パラメータ更新手段１８に出力する。
In FIG. 2, when the conversion by the CG image identification network N D2 is D2, the image data of the CG image Icg is Icg, and the image data of the fake CG image Ifcg is Ifcg, the identification result for the CG image Icg is D2 (Icg). , the identification result for the fake CG image Ifcg is expressed as D2 (Ifcg).
The CG image identifying means 17 outputs the identification result for the CG image Icg and the identification result for the fake CG image Ifcg to the parameter updating means 18.
パラメータ更新手段１８は、実写画像特徴量誤差算出手段１４およびＣＧ画像特徴量誤差算出手段１５で算出される特徴量の誤差と、実写画像識別手段１６およびＣＧ画像識別手段１７で算出される識別結果とに基づいて、予め定めた損失関数の損失値を最小化するように、実写画像生成ネットワークＮＧ１、ＣＧ画像生成ネットワークＮＧ２、実写画像識別ネットワークＮＤ１およびＣＧ画像識別ネットワークＮＤ２のパラメータを更新するものである。 The parameter update means 18 updates the error of the feature amount calculated by the real image feature amount error calculation means 14 and the CG image feature amount error calculation means 15 and the identification result calculated by the real image feature amount error calculation means 16 and the CG image identification means 17. Based on this, the parameters of the real image generation network N G1 , the CG image generation network N G2 , the real image identification network N D1 and the CG image identification network N D2 are set so as to minimize the loss value of the predetermined loss function. It is to be updated.
損失関数として、実写画像識別ネットワークＮＤ１およびＣＧ画像識別ネットワークＮＤ２を学習するための損失関数（以下、画像識別用損失関数という）と、実写画像生成ネットワークＮＧ１およびＣＧ画像生成ネットワークＮＧ２を学習するための損失関数（以下、画像生成用損失関数という）と、を用いる。 As a loss function, a loss function for learning the real image identification network N D1 and the CG image identification network N D2 (hereinafter referred to as an image identification loss function), and the real image generation network N G1 and the CG image generation network N G2 are used. A loss function for learning (hereinafter referred to as an image generation loss function) is used.
画像識別用損失関数は、実写画像Ｉｒに対する識別結果と真値との誤差、偽実写画像Ｉｆｒに対する識別結果と偽値との誤差、ＣＧ画像Ｉｃｇに対する識別結果と真値との誤差、偽ＣＧ画像Ｉｆｃｇに対する識別結果と偽値との誤差との和（損失値）を演算する関数である。なお、画像識別用損失関数は、識別結果と真偽値との交差エントロピーの和としてもよいし、識別結果と真偽値との差の二乗和であっても構わない。ここでは、交差エントロピーを例として説明する。
以下の式（３）に示すように、画像識別用損失関数ＬＤは、実写画像生成ネットワークＮＧ１および実写画像識別ネットワークＮＤ１で構成されるＧＡＮの損失関数Ｌｇａｎ１と、ＣＧ画像生成ネットワークＮＧ２およびＣＧ画像識別ネットワークＮＤ２で構成されるＧＡＮの損失関数Ｌｇａｎ２との和である。
The loss function for image classification includes an error between the classification result and the true value for the real image Ir, an error between the classification result and the false value for the fake actual image Ifr, an error between the identification result and the true value for the CG image Icg, and a false CG image. This is a function that calculates the sum (loss value) of the error between the identification result and the false value for Ifcg. Note that the image classification loss function may be the sum of cross entropy between the classification result and the truth value, or may be the sum of squares of the difference between the classification result and the truth value. Here, cross entropy will be explained as an example.
As shown in equation (3) below, the image discrimination loss function L D is the loss function L gan1 of the GAN composed of the real image generation network N G1 and the real image discrimination network N D1 , and the CG image generation network N It is the sum of the loss function L gan2 of the GAN composed of G2 and the CG image identification network N D2 .
ここで、実写画像Ｉｒに対する識別結果の値をＤ１（Ｉｒ）、偽実写画像Ｉｆｒに対する識別結果の値をＤ１（Ｉｆｒ）、ＣＧ画像Ｉｃｇに対する識別結果の値をＤ２（Ｉｃｇ）、偽ＣＧ画像Ｉｆｃｇに対する識別結果の値をＤ２（Ｉｆｃｇ）とする。また、真値を“Ｒｅａｌ（＝１）”、偽値を“Ｆａｋｅ（＝０）”とする。また、Ｌｂｃｅを、２値交差エントロピーを演算する関数とする。
この場合、式（３）のＬｇａｎ１およびＬｇａｎ２は以下の式（４）となる。
Here, the value of the identification result for the real image Ir is D1 (Ir), the value of the identification result for the fake real image Ifr is D1 (Ifr), the value of the identification result for the CG image Icg is D2 (Icg), and the value of the identification result for the fake CG image Ifcg is Let D2 (Ifcg) be the value of the identification result for . Also, let the true value be "Real (=1)" and the false value be "Fake (=0)". Furthermore, let L bce be a function that calculates binary cross entropy.
In this case, L gan1 and L gan2 in Equation (3) become Equation (4) below.
なお、ａは“０”，“１”を両端とする開区間の実数〔ａ∈（０，１）〕、ｂは“０”または“１”〔ｂ∈｛０，１｝〕を示す。 Note that a represents a real number [a∈(0,1)] in an open interval with “0” and “1” as both ends, and b represents “0” or “1” [b∈{0,1}].
画像生成用損失関数は、偽実写画像Ｉｆｒに対する識別結果と真値との誤差、偽ＣＧ画像Ｉｆｃｇに対する識別結果と真値との誤差、サイクル誤差（実写画像誤差）Ｌｃｙｃ１、サイクル誤差（ＣＧ画像誤差）Ｌｃｙｃ２との和（損失値）を演算する関数である。
以下の式（５）に示すように、画像生成用損失関数ＬＧは、実写画像生成ネットワークＮＧ１の損失関数ＬＧ１と、ＣＧ画像生成ネットワークＮＧ２の損失関数ＬＧ２との和である。なお、損失関数ＬＧ１と損失関数ＬＧ２には、サイクル誤差Ｌｃｙｃ１，Ｌｃｙｃ２が含まれている。
The loss function for image generation includes an error between the identification result and the true value for the fake real image Ifr, an error between the identification result and the true value for the fake CG image Ifcg, a cycle error (real image error) L cyc1 , a cycle error (CG image error) L This is a function that calculates the sum (loss value) with cyc2 .
As shown in Equation (5) below, the image generation loss function L G is the sum of the loss function L G1 of the real image generation network N G1 and the loss function L G2 of the CG image generation network N G2 . Note that the loss function L G1 and the loss function L G2 include cycle errors L cyc1 and L cyc2 .
ここで、偽実写画像Ｉｆｒに対する識別結果の値をＤ１（Ｉｆｒ）、偽ＣＧ画像Ｉｆｃｇに対する識別結果の値をＤ２（Ｉｆｃｇ）とする。また、真値を“Ｒｅａｌ（＝１）”、偽値を“Ｆａｋｅ（＝０）”とする。また、Ｌｂｃｅを、２値交差エントロピーを演算する関数とする。
この場合、式（５）のＬＧ１およびＬＧ２は以下の式（６）となる。
Here, the value of the identification result for the fake real image Ifr is assumed to be D1 (Ifr), and the value of the identification result for the fake CG image Ifcg is assumed to be D2 (Ifcg). Also, let the true value be "Real (=1)" and the false value be "Fake (=0)". Furthermore, let L bce be a function that calculates binary cross entropy.
In this case, L G1 and L G2 in Equation (5) become Equation (6) below.
なお、λは、任意の定数であって、サイクル誤差Ｌｃｙｃ１，Ｌｃｙｃ２の重みを、交差エントロピーと同程度に調整する係数である。 Note that λ is an arbitrary constant, and is a coefficient that adjusts the weight of the cycle errors L cyc1 and L cyc2 to the same degree as the cross entropy.
パラメータ更新手段１８は、式（３）の画像識別用損失関数の値を最小化させるように誤差逆伝播法により、実写画像識別ネットワークＮＤ１およびＣＧ画像識別ネットワークＮＤ２のパラメータを更新する。
また、パラメータ更新手段１８は、式（５）の画像生成用損失関数の値を最小化させるように誤差逆伝播法により、実写画像生成ネットワークＮＧ１およびＣＧ画像生成ネットワークＮＧ２のパラメータを更新する。
そして、パラメータ更新手段１８は、パラメータ更新後、次の学習データ入力することを学習データ入力手段１１に指示する。また、パラメータ更新手段１８は、パラメータ更新の変化量が予め定めた閾値を下回る場合、その旨を学習データ入力手段１１に通知する。
The parameter updating means 18 updates the parameters of the real image identification network N D1 and the CG image identification network N D2 by the error backpropagation method so as to minimize the value of the image identification loss function of Equation (3).
Furthermore, the parameter updating means 18 updates the parameters of the live-action image generation network N G1 and the CG image generation network N G2 using the error backpropagation method so as to minimize the value of the image generation loss function in equation (5). .
Then, the parameter updating means 18 instructs the learning data inputting means 11 to input the next learning data after updating the parameters. Furthermore, when the amount of change in parameter updating is less than a predetermined threshold, the parameter updating means 18 notifies the learning data inputting means 11 of this fact.
以上説明したように画像変換用ネットワーク学習装置１を構成することで、画像変換用ネットワーク学習装置１は、ＣＧ画像を、写実性を高めた疑似の実写画像に変換するための実写画像生成ネットワークＮＧ１を学習することができる。
また、画像変換用ネットワーク学習装置１は、実写画像生成ネットワークＮＧ１を、画像サイズを縮小する畳み込み層と、画像サイズを拡大する逆畳み込み層との数を少なくしたネットワーク構成としたことで、画像の大域的な特徴の抽出を抑えることができる。
また、画像変換用ネットワーク学習装置１は、実写画像特徴量誤差算出手段１４およびＣＧ画像特徴量誤差算出手段１５において、従来手法とは異なり、サイクル誤差として特徴量の差を用いるため、画像間の画素ごとの変化に対する過敏な反応を抑えることができる。
By configuring the image conversion network learning device 1 as described above, the image conversion network learning device 1 has a live-action image generation network N for converting a CG image into a pseudo real image with enhanced realism. G1 can be learned.
In addition, the image conversion network learning device 1 has a network configuration in which the live-action image generation network N G1 has a reduced number of convolution layers that reduce the image size and deconvolution layers that enlarge the image size. Extraction of global features can be suppressed.
Furthermore, unlike conventional methods, the image conversion network learning device 1 uses the difference in feature amounts as a cycle error in the live-action image feature amount error calculation means 14 and the CG image feature amount error calculation means 15. It is possible to suppress hypersensitive reactions to changes in each pixel.
これによって、画像変換用ネットワーク学習装置１は、ポーズ等の形状の変換を抑えつつ、反射特性、照明条件等を実写画像に近似させて、ＣＧ画像を写実化することが可能な実写画像生成ネットワークＮＧ１を学習することができる。
なお、画像変換用ネットワーク学習装置１は、コンピュータを、前記した各手段として機能させるための画像変換用ネットワーク学習プログラムで動作させることができる。
As a result, the image conversion network learning device 1 is a live-action image generation network that can make a CG image realistic by approximating reflection characteristics, lighting conditions, etc. to a real image while suppressing transformation of shapes such as poses. NG1 can be learned.
Note that the image conversion network learning device 1 can operate a computer using an image conversion network learning program for causing a computer to function as each of the above-mentioned means.
＜画像変換用ネットワーク学習装置の動作＞
次に、図５を参照（構成については適宜図２参照）して、画像変換用ネットワーク学習装置１の動作について説明する。なお、学習データ記憶装置２には、学習データである複数のＣＧ画像Ｉｃｇと、複数の実写画像Ｉｒとが記憶されているものとする。
<Operation of network learning device for image conversion>
Next, the operation of the image conversion network learning device 1 will be described with reference to FIG. 5 (see FIG. 2 as appropriate for the configuration). It is assumed that the learning data storage device 2 stores a plurality of CG images Icg and a plurality of real images Ir, which are learning data.
ステップＳ１において、学習データ入力手段１１は、学習データ記憶装置２に記憶されているＣＧ画像Ｉｃｇおよび実写画像Ｉｒをそれぞれランダムに入力する。
そして、画像変換用ネットワーク学習装置１は、ステップＳ１で入力されたＣＧ画像Ｉｃｇについて、以下のステップＳ２からＳ６の動作を行う。
In step S1, the learning data input means 11 randomly inputs the CG image Icg and the real image Ir stored in the learning data storage device 2, respectively.
Then, the image conversion network learning device 1 performs the following steps S2 to S6 on the CG image Icg input in step S1.
ステップＳ２において、実写画像生成手段１２Ａは、記憶手段１０に記憶されている実写画像生成ネットワークＮＧ１を用いて、ステップＳ１で入力されたＣＧ画像Ｉｃｇから偽の実写画像（偽実写画像Ｉｆｒ）を生成する。
ステップＳ３において、ＣＧ画像生成手段１３Ａは、記憶手段１０に記憶されているＣＧ画像生成ネットワークＮＧ２を用いて、ステップＳ２で生成された偽実写画像Ｉｆｒから元のＣＧ画像（複製ＣＧ画像Ｉｃｇ２）を生成する。
ステップＳ４において、ＣＧ画像特徴量誤差算出手段１５は、ステップＳ１で入力されたＣＧ画像Ｉｃｇと、ステップＳ３で生成された複製ＣＧ画像Ｉｃｇ２とについて、それぞれ、記憶手段１０に記憶されている画像特徴抽出ネットワークＮＦを用いて特徴量を抽出した後、誤差を算出する。これによって、ＣＧ画像特徴量誤差算出手段１５は、ＣＧ画像Ｉｃｇに対するサイクル誤差（ＣＧ画像誤差）Ｌｃｙｃ２を算出する。
In step S2, the live-action image generation means 12A uses the real-action image generation network N G1 stored in the storage means 10 to generate a fake real-action image (fake real-action image Ifr) from the CG image Icg input in step S1. generate.
In step S3, the CG image generation means 13A uses the CG image generation network N G2 stored in the storage means 10 to generate the original CG image (duplicated CG image Icg2) from the fake real-action image Ifr generated in step S2. generate.
In step S4, the CG image feature error calculation means 15 calculates the image features stored in the storage means 10 for the CG image Icg input in step S1 and the duplicate CG image Icg2 generated in step S3. After extracting the feature amount using the extraction network NF , the error is calculated. Thereby, the CG image feature amount error calculation means 15 calculates a cycle error (CG image error) L cyc2 for the CG image Icg.
ステップＳ５において、実写画像識別手段１６は、記憶手段１０に記憶されている実写画像識別ネットワークＮＤ１を用いて、ステップＳ２で生成された偽実写画像Ｉｆｒが真の実写画像か否かを識別する。ここで、実写画像識別手段１６は、「偽」を“０”、「真」を“１”とする０を超え１未満の範囲で実写画像の識別結果Ｄ１（Ｉｆｒ）を算出する。
ステップＳ６において、ＣＧ画像識別手段１７は、記憶手段１０に記憶されているＣＧ画像識別ネットワークＮＤ２を用いて、ステップＳ１で入力されたＣＧ画像Ｉｃｇが真のＣＧ画像か否かを識別する。ここで、ＣＧ画像識別手段１７は、「偽」を“０”、「真」を“１”とする０を超え１未満の範囲でＣＧ画像の識別結果Ｄ２（Ｉｃｇ）を算出する。
In step S5, the real-photo image identifying means 16 uses the real-photo image identification network N D1 stored in the storage means 10 to identify whether the false real-photo image Ifr generated in step S2 is a true real-photo image. . Here, the photographed image identification means 16 calculates the classification result D1 (Ifr) of the photographed image in a range greater than 0 and less than 1, with "0" representing "false" and "1" representing "true".
In step S6, the CG image identification means 17 uses the CG image identification network N D2 stored in the storage means 10 to identify whether the CG image Icg input in step S1 is a true CG image. Here, the CG image identifying means 17 calculates a CG image identification result D2 (Icg) in a range greater than 0 and less than 1, with "0" representing "false" and "1" representing "true".
また、画像変換用ネットワーク学習装置１は、ステップＳ１で入力された実写画像Ｉｒについて、以下のステップＳ７からＳ１１の動作を行う。
ステップＳ７において、ＣＧ画像生成手段１３Ｂは、記憶手段１０に記憶されているＣＧ画像生成ネットワークＮＧ２を用いて、ステップＳ１で入力された実写画像Ｉｒから偽のＣＧ画像（偽ＣＧ画像Ｉｆｃｇ）を生成する。
ステップＳ８において、実写画像生成手段１２Ｂは、記憶手段１０に記憶されている実写画像生成ネットワークＮＧ１を用いて、ステップＳ７で生成された偽ＣＧ画像Ｉｆｃｇから元の実写画像（複製実写画像Ｉｒ２）を生成する。
ステップＳ９において、実写画像特徴量誤差算出手段１４は、ステップＳ１で入力された実写画像Ｉｒと、ステップＳ８で生成された複製実写画像Ｉｒ２とについて、それぞれ、記憶手段１０に記憶されている画像特徴抽出ネットワークＮＦを用いて特徴量を抽出した後、誤差を算出する。これによって、実写画像特徴量誤差算出手段１４は、実写画像Ｉｒに対するサイクル誤差（実写画像誤差）Ｌｃｙｃ１を算出する。
Further, the image conversion network learning device 1 performs the following operations from steps S7 to S11 on the real image Ir input in step S1.
In step S7, the CG image generation means 13B uses the CG image generation network NG2 stored in the storage means 10 to generate a fake CG image (fake CG image Ifcg) from the real image Ir inputted in step S1. generate.
In step S8, the live-action image generation unit 12B uses the live-action image generation network N G1 stored in the storage unit 10 to convert the fake CG image Ifcg generated in step S7 into an original live-action image (duplicated live-action image Ir2). generate.
In step S9, the live-action image feature quantity error calculation means 14 calculates the image features stored in the storage means 10 for the live-action image Ir input in step S1 and the duplicate live-action image Ir2 generated in step S8. After extracting the feature amount using the extraction network NF , the error is calculated. Thereby, the photographed image feature quantity error calculation means 14 calculates a cycle error (actual image error) L cyc1 for the photographed image Ir.
ステップＳ１０において、ＣＧ画像識別手段１７は、記憶手段１０に記憶されているＣＧ画像識別ネットワークＮＤ２を用いて、ステップＳ７で生成された偽ＣＧ画像Ｉｆｃｇが真のＣＧ画像か否かを識別する。ここで、ＣＧ画像識別手段１７は、「偽」を“０”、「真」を“１”とする０を超え１未満の範囲でＣＧ画像の識別結果Ｄ２（Ｉｆｃｇ）を算出する。
ステップＳ１１において、実写画像識別手段１６は、記憶手段１０に記憶されている実写画像識別ネットワークＮＤ１を用いて、ステップＳ１で入力された実写画像Ｉｒが真の実写画像か否かを識別する。ここで、実写画像識別手段１６は、「偽」を“０”、「真」を“１”とする０を超え１未満の範囲で実写画像の識別結果Ｄ１（Ｉｒ）を算出する。
なお、ステップＳ２～Ｓ６と、ステップＳ７～Ｓ１１とは、並列で処理することができる。
In step S10, the CG image identification means 17 uses the CG image identification network ND2 stored in the storage means 10 to identify whether or not the fake CG image Ifcg generated in step S7 is a true CG image. . Here, the CG image identification means 17 calculates a CG image identification result D2 (Ifcg) in a range greater than 0 and less than 1, with "0" representing "false" and "1" representing "true".
In step S11, the real image identification means 16 uses the real image identification network N D1 stored in the storage means 10 to identify whether the real image Ir input in step S1 is a true real image. Here, the photographed image identification means 16 calculates the classification result D1 (Ir) of the photographed image in a range greater than 0 and less than 1, with "0" representing "false" and "1" representing "true".
Note that steps S2 to S6 and steps S7 to S11 can be processed in parallel.
ステップＳ１２において、パラメータ更新手段１８は、サイクル誤差Ｌｃｙｃ１，Ｌｃｙｃ２と、識別結果Ｄ１（Ｉｒ），Ｄ１（Ｉｆｒ），Ｄ２（Ｉｃｇ），Ｄ２（Ｉｆｃｇ）と、に基づいて、実写画像生成ネットワークＮＧ１、ＣＧ画像生成ネットワークＮＧ２、実写画像識別ネットワークＮＤ１およびＣＧ画像識別ネットワークＮＤ２のパラメータを更新する。 In step S12, the parameter updating means 18 updates the real image generation network based on the cycle errors L cyc1 and L cyc2 and the identification results D1 (Ir), D1 (Ifr), D2 (Icg), and D2 (Ifcg). The parameters of N G1 , CG image generation network N G2 , real image identification network N D1 and CG image identification network N D2 are updated.
ここでは、パラメータ更新手段１８は、予め定めた画像識別用損失関数（式（３），式（４）参照）により、識別結果Ｄ１（Ｉｒ）と真値との誤差（例えば、交差エントロピー、以下同様）、識別結果Ｄ１（Ｉｆｒ）と偽値との誤差、識別結果Ｄ２（Ｉｃｇ）と真値との誤差、および、識別結果Ｄ２（Ｉｆｃｇ）と偽値との誤差の和を最小化するように、実写画像識別ネットワークＮＤ１およびＣＧ画像識別ネットワークＮＤ２のパラメータを更新する。 Here, the parameter updating means 18 uses a predetermined loss function for image classification (see equations (3) and (4)) to calculate the error between the identification result D1 (Ir) and the true value (for example, cross entropy, Similarly), the sum of the errors between the identification result D1 (Ifr) and the false value, the error between the identification result D2 (Icg) and the true value, and the error between the identification result D2 (Ifcg) and the false value are minimized. Then, the parameters of the real image identification network N D1 and the CG image identification network N D2 are updated.
また、パラメータ更新手段１８は、予め定めた画像生成用損失関数（式（５），式（６）参照）により、識別結果Ｄ１（Ｉｆｒ）と真値との誤差、識別結果Ｄ２（Ｉｆｃｇ）と真値との誤差、サイクル誤差Ｌｃｙｃ１、および、サイクル誤差Ｌｃｙｃ２の和を最小化するように、実写画像生成ネットワークＮＧ１およびＣＧ画像生成ネットワークＮＧ２のパラメータを更新する。 In addition, the parameter updating means 18 uses a predetermined image generation loss function (see equations (5) and (6)) to determine the difference between the identification result D1 (Ifr) and the true value, and the difference between the identification result D2 (Ifcg) and the true value. The parameters of the real image generation network N G1 and the CG image generation network N G2 are updated so as to minimize the sum of the error from the true value, the cycle error L cyc1 , and the cycle error L cyc2 .
ステップＳ１３において、学習データ入力手段１１は、予め定めた学習完了の終了条件を満たしたか否かを判定する。例えば、ここでは、学習データ入力手段１１は、予め定めた学習回数だけ、学習データ全体を選択していない場合（ステップＳ１３でＮｏ）、学習が完了していないと判定し、画像変換用ネットワーク学習装置１は、ステップＳ１に戻って学習を継続する。 In step S13, the learning data input means 11 determines whether a predetermined end condition for completing learning is satisfied. For example, here, if the entire learning data has not been selected for a predetermined number of times of learning (No in step S13), the learning data input means 11 determines that learning is not completed, and learns the image conversion network. The device 1 returns to step S1 and continues learning.
一方、学習データ入力手段１１は、予め定めた学習回数だけ、学習データ全体を選択した場合（ステップＳ１３でＹｅｓ）、学習が完了したと判定し、画像変換用ネットワーク学習装置１は、動作を終了する。
以上の動作によって、画像変換用ネットワーク学習装置１は、ＣＧ画像を、写実性を高めた疑似の実写画像に変換するための実写画像生成ネットワークＮＧ１を学習することができる。
On the other hand, if the learning data input means 11 selects the entire learning data a predetermined number of times (Yes in step S13), the learning data input means 11 determines that learning is completed, and the image conversion network learning device 1 ends the operation. do.
Through the above-described operations, the image conversion network learning device 1 can learn the real image generation network NG1 for converting a CG image into a pseudo real image with enhanced realism.
＜画像変換装置の構成＞
次に、図６を参照して、本発明の実施形態に係る画像変換装置３の構成について説明する。
<Configuration of image conversion device>
Next, with reference to FIG. 6, the configuration of the image conversion device 3 according to the embodiment of the present invention will be described.
画像変換装置３は、ＣＧ画像を疑似の実写画像に変換するものである。なお、ＣＧ画像Ｉｃｇは、３Ｄモデルをレンダリングし、実写の背景に合成した画像である。
図６に示すように、画像変換装置３は、記憶手段３０と、画像入力手段３１と、実写画像生成手段３２と、画像出力手段３３と、備える。
The image conversion device 3 converts a CG image into a pseudo real image. Note that the CG image Icg is an image obtained by rendering a 3D model and combining it with a live-action background.
As shown in FIG. 6, the image conversion device 3 includes a storage means 30, an image input means 31, a photographed image generation means 32, and an image output means 33.
記憶手段３０は、実写画像生成ネットワークＮＧ１を予め記憶するものである。記憶手段３０は、ハードディスク、半導体メモリ等の一般的な記憶媒体で構成することができる。
実写画像生成ネットワーク（ＮＷ）ＮＧ１は、ＣＧ画像から疑似の実写画像を生成するニューラルネットワークである。
実写画像生成ネットワークＮＧ１は、画像サイズを縮小する畳み込み層および画像を拡大する逆畳み込み層の数を３層以下、好ましくは１層、または、画像サイズを変換しない畳み込み層とし、中間にサイズ変換を伴わない畳み込み演算を行う変換層を複数設けた構成である（図３参照）。
この実写画像生成ネットワークＮＧ１は、予め画像変換用ネットワーク学習装置１（図２）で学習したものである。
実写画像生成ネットワークＮＧ１は、実写画像生成手段３２によって参照される。
The storage means 30 stores the real image generation network NG1 in advance. The storage means 30 can be composed of a general storage medium such as a hard disk or a semiconductor memory.
The real image generation network (NW) NG1 is a neural network that generates a pseudo real image from a CG image.
The live-action image generation network N G1 has a convolution layer that reduces the image size and a deconvolution layer that enlarges the image, with the number of layers being 3 or less, preferably 1 layer, or a convolution layer that does not convert the image size, and size conversion in the middle. This configuration includes a plurality of conversion layers that perform convolution operations without involving (see FIG. 3).
This photographed image generation network NG1 has been trained in advance by the image conversion network learning device 1 (FIG. 2).
The live-action image generation network NG1 is referred to by the live-action image generation means 32.
画像入力手段３１は、外部から、実写化の対象となるＣＧ画像Ｉｃｇを入力するものである。
画像入力手段３１は、入力したＣＧ画像Ｉｃｇを、実写画像生成手段３２に出力する。
The image input means 31 is for inputting a CG image Icg to be photographed from the outside.
The image input means 31 outputs the input CG image Icg to the live image generation means 32.
実写画像生成手段（第３実写画像生成手段）３２は、ＣＧ画像から実写画像を生成するものである。
実写画像生成手段３２は、記憶手段３０に記憶されている実写画像生成ネットワークＮＧ１にＣＧ画像を入力し、学習済のパラメータであるレイヤ間の重み係数を用いて、ニューラルネットワークの演算を行うことで実写画像を生成する。
実写画像生成手段３２は、生成した実写画像Ｉｒを画像出力手段３３に出力する。
The live-action image generation means (third live-action image generation means) 32 generates a live-action image from a CG image.
The live-action image generation unit 32 inputs the CG image to the live-action image generation network N G1 stored in the storage unit 30, and performs neural network calculations using weighting coefficients between layers that are learned parameters. Generate a live-action image.
The photographed image generation means 32 outputs the generated photographed image Ir to the image output means 33.
画像出力手段３３は、実写画像生成手段３２で生成された実写画像を外部に出力するものである。例えば、画像出力手段３３は、外部の記憶媒体に実写画像を記憶する、外部の表示装置に実写画像を表示する等、実写画像の外部出力を行う。
以上説明したように画像変換装置３を構成することで、画像変換装置３は、ＣＧ画像を、写実性を高めた疑似の実写画像に変換することができる。
なお、画像変換装置３は、コンピュータを、前記した各手段として機能させるための画像変換プログラムで動作させることができる。
The image output means 33 outputs the photographed image generated by the photographed image generation means 32 to the outside. For example, the image output means 33 outputs the real image to the outside, such as storing the real image in an external storage medium or displaying the real image on an external display device.
By configuring the image conversion device 3 as described above, the image conversion device 3 can convert a CG image into a pseudo real image with enhanced realism.
Note that the image conversion device 3 can operate a computer using an image conversion program for causing the computer to function as each of the above-mentioned means.
＜画像変換装置の動作＞
次に、図７を参照（構成については適宜図６参照）して、本発明の実施形態に係る画像変換装置３の動作について説明する。なお、記憶手段３０には、学習済の実写画像生成ネットワークＮＧ１が記憶されているものとする。
ステップＳ２０において、画像入力手段３１は、外部から、実写化の対象となるＣＧ画像Ｉｃｇを入力する。
ステップＳ２１において、実写画像生成手段３２は、記憶手段３０に記憶されている実写画像生成ネットワークＮＧ１の学習済のパラメータであるレイヤ間の重み係数を用いて、ステップＳ２０で入力されたＣＧ画像Ｉｃｇから実写画像Ｉｒを生成する。
ステップＳ２２において、画像出力手段３３は、ステップＳ２１で生成された実写画像Ｉｒを外部に出力する
以上の動作によって、画像変換装置３は、ＣＧ画像を、写実性を高めた疑似の実写画像に変換することができる。
<Operation of image conversion device>
Next, the operation of the image conversion device 3 according to the embodiment of the present invention will be described with reference to FIG. 7 (see FIG. 6 as appropriate for the configuration). Note that it is assumed that the storage means 30 stores a trained live-action image generation network NG1 .
In step S20, the image input means 31 inputs the CG image Icg to be photographed from the outside.
In step S21, the live-action image generation means 32 uses the inter-layer weighting coefficients, which are learned parameters of the real-action image generation network N G1 stored in the storage means 30, to generate the CG image Icg input in step S20. A real image Ir is generated from the image.
In step S22, the image output means 33 outputs the real image Ir generated in step S21 to the outside. Through the above operations, the image conversion device 3 converts the CG image into a pseudo real image with enhanced realism. can do.
以上、本発明の実施形態に係る画像変換用ネットワーク学習装置１および画像変換装置３について説明したが、本発明は、この実施形態に限定されるものではない。
ここでは、画像変換装置３を、図６の構成としたが、図８に示すように、画像変換装置３の内部に画像変換用ネットワーク学習装置１を備えた画像変換装置３Ｂとして構成してもよい。なお、図８の画像変換装置３Ｂの内部に備える画像変換用ネットワーク学習装置１は、図２で説明した構成と同じ構成であるため、内部の詳細な構成は図示を省略している。
この場合、記憶手段１０に記憶され、学習される実写画像生成ネットワークＮＧ１が、実写画像生成手段３２によって参照されることになる。
図８に示すように画像変換装置３Ｂを構成することで、画像変換装置３Ｂは、画像変換用ネットワーク学習装置１および画像変換装置３の効果に加え、実写画像生成ネットワークＮＧ１の再学習を容易に行うことができる。
なお、画像変換装置３Ｂは、コンピュータを、前記した各手段として機能させるための画像変換プログラムで動作させることができる。
Although the image conversion network learning device 1 and the image conversion device 3 according to the embodiments of the present invention have been described above, the present invention is not limited to these embodiments.
Here, the image conversion device 3 has the configuration shown in FIG. 6, but as shown in FIG. good. Note that the image conversion network learning device 1 provided inside the image conversion device 3B in FIG. 8 has the same configuration as that explained in FIG. 2, so the detailed internal configuration is not shown.
In this case, the live-action image generation network NG1 stored in the storage means 10 and learned is referred to by the real-shot image generation means 32.
By configuring the image conversion device 3B as shown in FIG. 8, in addition to the effects of the image conversion network learning device 1 and the image conversion device 3, the image conversion device 3B facilitates relearning of the live-action image generation network N G1 . can be done.
Note that the image conversion device 3B can operate a computer using an image conversion program for causing the computer to function as each of the above-mentioned means.
＜変換例＞
図９に、画像変換用ネットワーク学習装置１（図２）で学習した実写画像生成ネットワークＮＧ１を用いて、画像変換装置３，３Ｂにおいて、図１０と同じＣＧ画像Ｉｃｇを実写画像Ｉｒに変換した例を示す。
図９に示すように、ＣＧ画像Ｉｃｇを変換した実写画像Ｉｒには、図１０に示したような顔の向きの差異、人物のポーズの差異、手足等の末端部分の変形や欠損等がなく、写実性が向上している。
<Conversion example>
FIG. 9 shows that the same CG image Icg as in FIG. 10 is converted into a real image Ir in the image conversion devices 3 and 3B using the real image generation network N G1 trained by the image conversion network learning device 1 (FIG. 2). Give an example.
As shown in FIG. 9, the real image Ir obtained by converting the CG image Icg does not have the differences in the orientation of the face, the differences in the pose of the person, or the deformation or loss of the terminal parts of limbs, etc., as shown in FIG. , the realism is improved.
１ 画像変換用ネットワーク学習装置
１０ 記憶手段
１１ 学習データ入力手段
１２、１２Ａ 実写画像生成手段（第１実写画像生成手段）
１２、１２Ｂ 実写画像生成手段（第２実写画像生成手段）
１３、１３Ａ ＣＧ画像生成手段（第１ＣＧ画像生成手段）
１３、１３Ｂ ＣＧ画像生成手段（第２ＣＧ画像生成手段）
１４ 実写画像特徴量誤差算出手段
１５ ＣＧ画像特徴量誤差算出手段
１６ 実写画像識別手段
１７ ＣＧ画像識別手段
１８ パラメータ更新手段
２ 学習データ記憶装置
３、３Ｂ 画像変換装置
３０ 記憶手段
３１ 画像入力手段
３２ 実写画像生成手段（第３実写画像生成手段）
３３ 画像出力手段
ＮＧ１ 実写画像生成ネットワーク
ＮＧ２ ＣＧ画像生成ネットワーク
ＮＤ１ 実写画像識別ネットワーク
ＮＤ２ ＣＧ画像識別ネットワーク
ＮＦ 画像特徴抽出ネットワーク
1 Network learning device for image conversion 10 Storage means 11 Learning data input means 12, 12A Live-action image generation means (first live-action image generation means)
12, 12B Live-action image generation means (second live-action image generation means)
13, 13A CG image generation means (first CG image generation means)
13, 13B CG image generation means (second CG image generation means)
14 Live-action image feature quantity error calculation means 15 CG image feature quantity error calculation means 16 Live-action image identification means 17 CG image identification means 18 Parameter updating means 2 Learning data storage device 3, 3B Image conversion device 30 Storage means 31 Image input means 32 Live-action image Image generation means (third live-action image generation means)
33 Image output means N G1 live-action image generation network N G2 CG image generation network N D1 live-action image identification network N D2 CG image identification network N F image feature extraction network
Claims (3)
実写画像生成ネットワークを用いて、学習データのＣＧ画像から偽実写画像を生成する第１実写画像生成手段と、
ＣＧ画像生成ネットワークを用いて、前記偽実写画像から複製ＣＧ画像を生成する第１ＣＧ画像生成手段と、
前記学習データのＣＧ画像と前記複製ＣＧ画像との画像特徴量の誤差をＣＧ画像誤差として算出するＣＧ画像特徴量誤差算出手段と、
前記ＣＧ画像生成ネットワークを用いて、学習データの実写画像から偽ＣＧ画像を生成する第２ＣＧ画像生成手段と、
前記実写画像生成ネットワークを用いて、前記偽ＣＧ画像から複製実写画像を生成する第２実写画像生成手段と、
前記学習データの実写画像と前記複製実写画像との画像特徴量の誤差を実写画像誤差として算出する実写画像特徴量誤差算出手段と、
ＣＧ画像識別ネットワークを用いて、前記学習データのＣＧ画像と、前記偽ＣＧ画像とについて、それぞれ真のＣＧ画像か否かを示す真偽値を識別結果として算出するＣＧ画像識別手段と、
実写画像識別ネットワークを用いて、前記学習データの実写画像と、前記偽実写画像とについて、それぞれ真の実写画像か否かを示す真偽値を識別結果として算出する実写画像識別手段と、
前記ＣＧ画像識別手段における識別結果、前記実写画像識別手段における識別結果、前記ＣＧ画像誤差および前記実写画像誤差に基づいて、前記実写画像生成ネットワーク、前記ＣＧ画像生成ネットワーク、前記ＣＧ画像識別ネットワークおよび前記実写画像識別ネットワークのパラメータを更新するパラメータ更新手段と、を備え、
前記実写画像生成ネットワークおよび前記ＣＧ画像生成ネットワークは、画像サイズを縮小して畳み込みを行う３層以下の畳み込み層と、画像サイズを変えずに畳み込みを行う複数の畳み込み層と、画像サイズを拡大して畳み込みを行う３層以下の畳み込み層とを連結して構成、または、画像サイズを変えずに畳み込みを行う複数の畳み込み層を連結して構成した畳み込みニューラルネットワークであり、
前記パラメータ更新手段は、
前記偽実写画像に対する識別結果と真値との誤差、前記偽ＣＧ画像に対する識別結果と真値との誤差、前記ＣＧ画像誤差、および、前記実写画像誤差の和を小さくするように、前記実写画像生成ネットワークおよび前記ＣＧ画像生成ネットワークのパラメータを更新するとともに、
前記学習データの実写画像に対する識別結果と真値との誤差、前記偽実写画像に対する識別結果と偽値との誤差、前記学習データのＣＧ画像に対する識別結果と真値との誤差、および、前記偽ＣＧ画像に対する識別結果と偽値との誤差の和を小さくするように、前記実写画像識別ネットワークおよび前記ＣＧ画像識別ネットワークのパラメータを更新することを特徴とする画像変換用ネットワーク学習装置。 An image conversion network learning device for learning a neural network for converting a CG image into a pseudo real image, comprising:
a first live-action image generation means for generating a false live-action image from a CG image of learning data using a live-action image generation network;
a first CG image generation means for generating a duplicate CG image from the fake real-action image using a CG image generation network;
CG image feature amount error calculation means for calculating an error in image feature amount between the CG image of the learning data and the duplicate CG image as a CG image error;
a second CG image generation means for generating a fake CG image from a real image of learning data using the CG image generation network;
a second live-action image generation means for generating a duplicate live-action image from the fake CG image using the live-action image generation network;
Live-action image feature amount error calculation means for calculating an error in image feature amount between the real-life image of the learning data and the duplicate live-action image as a real-shot image error;
CG image identification means that uses a CG image identification network to calculate truth values indicating whether or not each of the CG image of the learning data and the fake CG image is a true CG image as an identification result;
real-photo image identification means for calculating, as identification results, truth values indicating whether or not each of the real-photo images of the learning data and the fake real-photo images are true real-photo images, using a real-photo image identification network;
Based on the identification result in the CG image identification means, the identification result in the real image identification means, the CG image error, and the real image error, the real image generation network, the CG image generation network, the CG image identification network, and the parameter updating means for updating parameters of the live-action image identification network,
The live-action image generation network and the CG image generation network include three or less convolution layers that perform convolution while reducing the image size, a plurality of convolution layers that perform convolution without changing the image size, and a plurality of convolution layers that perform convolution without changing the image size. A convolutional neural network is a convolutional neural network configured by connecting three or less convolutional layers that perform convolution with each other, or by connecting multiple convolutional layers that perform convolution without changing the image size.
The parameter updating means includes:
The real-photo image is configured to reduce the sum of the error between the identification result and the true value for the fake real-photo image, the error between the identification result and the true value for the fake CG image, the CG image error, and the real-photo image error. Updating the parameters of the generation network and the CG image generation network,
an error between the identification result for the real image of the learning data and the true value; an error between the identification result for the fake real image and the false value; an error between the identification result for the CG image of the learning data and the true value; A network learning device for image conversion, characterized in that parameters of the real image identification network and the CG image identification network are updated so as to reduce the sum of errors between identification results and false values for CG images .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019216644A JP7406967B2 (en) | 2019-11-29 | 2019-11-29 | Image conversion network learning device and its program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019216644A JP7406967B2 (en) | 2019-11-29 | 2019-11-29 | Image conversion network learning device and its program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021086497A JP2021086497A (en) | 2021-06-03 |
| JP7406967B2 true JP7406967B2 (en) | 2023-12-28 |
Family
ID=76087873
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019216644A Active JP7406967B2 (en) | 2019-11-29 | 2019-11-29 | Image conversion network learning device and its program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7406967B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7420607B2 (en) * | 2020-03-19 | 2024-01-23 | 本田技研工業株式会社 | Information processing device, information processing method, vehicle, information processing server, and program |
| JP2023000929A (en) * | 2021-06-18 | 2023-01-04 | 株式会社アイシン | Machine learning device and machine learning method |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019098780A1 (en) | 2017-11-17 | 2019-05-23 | 안영샘 | Diagnostic image conversion apparatus, diagnostic image conversion module generating apparatus, diagnostic image recording apparatus, diagnostic image conversion method, diagnostic image conversion module generating method, diagnostic image recording method, and computer readable recording medium |
-
2019
- 2019-11-29 JP JP2019216644A patent/JP7406967B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019098780A1 (en) | 2017-11-17 | 2019-05-23 | 안영샘 | Diagnostic image conversion apparatus, diagnostic image conversion module generating apparatus, diagnostic image recording apparatus, diagnostic image conversion method, diagnostic image conversion module generating method, diagnostic image recording method, and computer readable recording medium |
Non-Patent Citations (2)
| Title |
|---|
| Sai Bi et al.，Deep CG2Real: Synthetic-to-Real Translation via Image Disentanglement，2019 IEEE/CVF International Conference on Computer Vision (ICCV)，IEEE，2019年10月27日，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9009005 |
| Weiliang Zhang et al.，Multi-scale Network with the deeper and wider residual block for MRI motion artifact correction，2019 IEEE 43rd Annual Computer Software and Applications Conference (COMPSAC)，IEEE，2019年07月15日，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8754169 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021086497A (en) | 2021-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114549731B (en) | Method and device for generating visual angle image, electronic equipment and storage medium | |
| CN109255831B (en) | Single-view face three-dimensional reconstruction and texture generation method based on multi-task learning | |
| CN107154023B (en) | Based on the face super-resolution reconstruction method for generating confrontation network and sub-pix convolution | |
| CN110084193B (en) | Data processing method, apparatus, and medium for face image generation | |
| CN110175986B (en) | Stereo image visual saliency detection method based on convolutional neural network | |
| CN110660020B (en) | Image super-resolution method of antagonism generation network based on fusion mutual information | |
| CN110084874A (en) | For the image Style Transfer of threedimensional model | |
| CN112150379A (en) | Image defogging method and device for enhancing generation of countermeasure network based on perception discrimination | |
| EP1059611A1 (en) | Image processing apparatus | |
| EP4064131A1 (en) | Image rendering method and apparatus | |
| CN107679477A (en) | Face depth and surface normal Forecasting Methodology based on empty convolutional neural networks | |
| CN107103285B (en) | Face depth prediction method based on convolutional neural network | |
| CN112149563A (en) | Method and system for estimating postures of key points of attention mechanism human body image | |
| CN109712165A (en) | A kind of similar foreground picture image set dividing method based on convolutional neural networks | |
| KR20210058320A (en) | Method for generation 3d model using single input image and apparatus using the same | |
| CN110517352B (en) | Three-dimensional reconstruction method, storage medium, terminal and system of object | |
| CN113989100A (en) | Infrared texture sample expansion method based on pattern generation countermeasure network | |
| US20250225713A1 (en) | Electronic device and method for restoring scene image of target view | |
| CN116664422B (en) | Image highlight processing method, device, electronic device and readable storage medium | |
| JP7406967B2 (en) | Image conversion network learning device and its program | |
| CN115049559A (en) | Model training method, human face image processing method, human face model processing device, electronic equipment and readable storage medium | |
| CN113538615A (en) | Remote sensing image coloring method based on double-current generator deep convolution countermeasure generation network | |
| CN115953544A (en) | A three-dimensional reconstruction method, device, electronic equipment and readable storage medium | |
| CN118570359A (en) | Method, electronic device and computer program product for virtual reality modeling | |
| CN111753980A (en) | Method for transferring features of first image to second image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221004 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230804 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230815 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230919 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231121 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231218 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7406967 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |