JP7601015B2

JP7601015B2 - Image generation device, image generation method, and program

Info

Publication number: JP7601015B2
Application number: JP2022006057A
Authority: JP
Inventors: 大樹吹上; 隆寛河邉; 祐貴久保田
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: NTT Inc; NTT Inc USA
Priority date: 2022-01-19
Filing date: 2022-01-19
Publication date: 2024-12-17
Anticipated expiration: 2042-01-19
Also published as: JP2023105325A

Description

特許法第３０条第２項適用（１）▲１▼ウェブサイト掲載日２０２１年１月２０日（オンライン口頭発表：２０２１年１月２２日） ▲２▼ウェブサイトのアドレス・日本視覚学会ｈｔｔｐ：／／ｗｗｗ．ｖｉｓｉｏｎｓｏｃｉｅｔｙ．ｊｐ／ｍｅｅｔｉｎｇ．ｈｔｍｌ・日本視覚学会２０２１年冬季大会抄録集ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．２４６３６／ｖｉｓｉｏｎ．３３．１＿３５・抄録集の学会誌ｈｔｔｐｓ：／／ｗｗｗ．ｊｓｔａｇｅ．ｊｓｔ．ｇｏ．ｊｐ／ａｒｔｉｃｌｅ／ｖｉｓｉｏｎ／３３／１／３３＿３５／＿ａｒｔｉｃｌｅ／－ｃｈａｒ／ｊａ／(1) ▲1▼ Date of website publication January 20, 2021 (online oral presentation: January 22, 2021) ▲2▼ Website address ・Japan Vision Society http://www.visionsociety.jp/meeting.html ・Japan Vision Society 2021 Winter Meeting Abstracts https://doi.org/10.24636/vision.33.1_35 ・Journal of the Abstracts https://www.jstage.jst.go.jp/article/vision/33/1/33_35/_article/-char/ja/

特許法第３０条第２項適用（２）▲１▼ウェブサイト掲載日２０２１年５月２０日（口頭発表：２０２１年５月２３日） ▲２▼ウェブサイトのアドレス・Ｖ－ＶＳＳウェブサイトｈｔｔｐｓ：／／ｗｗｗ．ｖｉｓｉｏｎｓｃｉｅｎｃｅｓ．ｏｒｇ／・Ｖ－ＶＳＳ２０２１（プログラムとポスターの公開）ｈｔｔｐｓ：／／ｗｗｗ．ｖｉｓｉｏｎｓｃｉｅｎｃｅｓ．ｏｒｇ／ｐｒｏｇｒａｍｓ／Ｖ－ＶＳＳ＿２０２１＿Ｐｒｏｇｒａｍ．ｐｄｆ・プログラムの学会誌ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．１１６７／ｊｏｖ．２１．９．２８６７(2) ▲1▼Website publication date May 20, 2021 (Oral presentation: May 23, 2021) ▲2▼Website address ・V-VSS website https://www.visionsciences.org/ ・V-VSS 2021 (Program and poster publication) https://www.visionsciences.org/programs/V-VSS_2021_Program.pdf ・Program journal https://doi.org/10.1167/jov.21.9.2867

本発明は、錯覚をもたらす映像を生成する技術に関し、特に、複数枚の画像を同じ順序で繰り返して連続した映像を観察者が見たときに、当該映像中で視対象が連続して動いているかのように観察者に知覚させる映像を生成する技術に関する。 The present invention relates to a technology for generating images that create an illusion, and in particular to a technology for generating images that, when a viewer watches a series of images in which multiple images are repeated in the same order, give the viewer the perception that the visual object is moving continuously in the image.

非特許文献１には、動いている対象を含む動画から連続する２枚の画像を第１フレームの画像と第２フレームの画像として取得し、第１フレームの画像と第２フレームの画像のそれぞれの画素値のコントラスト極性を反転させたものを第３フレームの画像と第４フレームの画像として生成し、第１フレームの画像から第４フレームの画像を順に繰り返して連続した映像を提示することで、当該映像を見た観察者が当該映像に含まれる対象が一方向へ動き続けているかのように知覚することが記載されている。特許文献１には、前述した第１フレームの画像と第２フレームの画像の高空間周波数帯域の画像情報のみのコントラスト極性を反転させたものそれぞれを第３フレームの画像と第４フレームの画像として生成した場合でも、当該映像を見た観察者が当該映像に含まれる対象が一方向へ動き続けているかのように知覚することが記載されている。非特許文献１と特許文献１に記載されている錯覚のことを以下では"Four-stroke apparent motion"と呼ぶ。 Non-Patent Document 1 describes that two consecutive images are obtained as the first and second frame images from a video containing a moving object, the contrast polarity of the pixel values of the first and second frame images are inverted to generate the third and fourth frame images, and the first to fourth frame images are repeated in order to present a continuous video, so that an observer who sees the video perceives the object included in the video as moving in one direction. Patent Document 1 describes that even if the contrast polarity of only the image information in the high spatial frequency band of the first and second frame images is inverted to generate the third and fourth frame images, an observer who sees the video perceives the object included in the video as moving in one direction. The illusion described in Non-Patent Document 1 and Patent Document 1 is hereinafter referred to as "Four-stroke apparent motion".

非特許文献２には、動いている対象を含む動画から連続する２枚の画像を第１フレームの画像と第２フレームの画像として取得し、第３フレームの画像として全画素が灰色の画像を用意し、第１フレームの画像から第３フレームの画像を順に繰り返して連続した映像を提示することで、当該映像を見た観察者が当該映像に含まれる対象が一方向へ動き続けているかのように知覚することが記載されている。非特許文献２に記載されている錯覚のことを、非特許文献２に記載されているのと同様に、以下では"Two-stroke apparent motion"と呼ぶ。 Non-Patent Document 2 describes how two consecutive images are obtained from a video containing a moving object as the first and second frame images, and an image in which all pixels are gray is prepared as the third frame image. The first through third frame images are then repeated in order to present a continuous video, which causes an observer to perceive the object contained in the video as if it were moving continuously in one direction. The illusion described in Non-Patent Document 2 is hereinafter referred to as "two-stroke apparent motion", as described in Non-Patent Document 2.

非特許文献１と特許文献１と非特許文献２に記載されているような錯覚、すなわち、３個以上のフレームの画像を順に繰り返して連続した映像を提示することで、当該映像を見た観察者が当該映像に含まれる視対象が動き続けているかのように知覚する錯覚のことを、以下では便宜的に「連続運動錯覚」と呼ぶこととする。 The illusion described in Non-Patent Document 1, Patent Document 1, and Non-Patent Document 2, that is, the illusion in which a continuous image is presented by repeating three or more frame images in sequence, and an observer viewing the image perceives the visual object contained in the image as continuously moving, will be referred to below for convenience as the "continuous motion illusion."

特開２０１８－１８０７５３号公報JP 2018-180753 A

Anstis, S. M. and Rogers, B. J., "Illusory Continuous Motion from Oscillating Positive-Negative Patterns: Implications for Motion Perception," Perception, Vol.15, pp.627-640, 1986.Anstis, S. M. and Rogers, B. J., "Illusory Continuous Motion from Oscillating Positive-Negative Patterns: Implications for Motion Perception," Perception, Vol.15, pp.627-640, 1986. Mather, G. and Challinor, K. L.,"Psychophysical properties of two-stroke apparent motion," Journal of Vision, 9(1):28, pp.1-6, 2009.Mather, G. and Challinor, K. L., "Psychophysical properties of two-stroke apparent motion," Journal of Vision, 9(1):28, pp.1-6, 2009.

連続運動錯覚として知られているのはFour-stroke apparent motionとTwo-stroke apparent motionの２つであり、連続運動錯覚を生じさせるための映像を生成するその他の方法は知られていない。Four-stroke apparent motionとTwo-stroke apparent motionが人間の視覚系における運動検出特性に基づく錯覚となっていることは知られているが、任意のフレーム数の画像を順に繰り返した映像を生成する場合において具体的にどのように映像を生成すれば人間の視覚系における運動検出特性に基づく連続運動錯覚を生じさせる映像が得られるのかは知られていない。すなわち、Four-stroke apparent motionを生じさせるために追加する第３フレームの画像と第４フレームの画像の生成方法と、Two-stroke apparent motionを生じさせるために追加する第３フレームの画像の生成方法と、は全く異なっており、２フレームの元の画像に対して同じ枠組みで任意のフレーム数の画像を追加して連続運動錯覚を生じさせるための映像を生成する技術は知られていない。 There are two known continuous motion illusions: four-stroke apparent motion and two-stroke apparent motion, and no other methods are known for generating images that produce a continuous motion illusion. It is known that four-stroke apparent motion and two-stroke apparent motion are illusions based on the motion detection characteristics of the human visual system, but it is not known how to generate images that produce a continuous motion illusion based on the motion detection characteristics of the human visual system when generating images that are repeated in sequence of an arbitrary number of frames. In other words, the method of generating the third and fourth frame images that are added to produce four-stroke apparent motion is completely different from the method of generating the third frame image that is added to produce two-stroke apparent motion, and no technology is known for generating images that produce a continuous motion illusion by adding an arbitrary number of frames of images in the same framework to an original two-frame image.

本発明は、２個の元の画像に任意の個数の画像を追加した連続運動錯覚を生じさせるための映像を、人間の視覚系における運動検出特性に基づくように、生成する技術を提供することを目的とする。 The present invention aims to provide a technology that generates images that create the illusion of continuous motion by adding any number of images to two original images, based on the motion detection characteristics of the human visual system.

本発明の一態様は、提示用単位映像が繰り返して連続させて提示された際に、当該提示を見た観察者に、視対象が連続して動いているかのように知覚させるための映像を生成する映像生成装置であって、１以上の整数をＮとして、ある画像である第１の元画像と、前記第１の元画像とは異なる画像である第２の元画像と、を用いてＮ個の追加画像を生成する追加画像生成部と、前記第１の元画像と、前記第２の元画像と、Ｎ個の前記追加画像と、のＮ＋２個の画像による組を前記提示用単位映像として生成する提示用映像生成部と、を含み、前記追加画像生成部は、前記提示用単位映像に含まれるＮ＋２個の画像において、前記提示される際に隣接する２個の画像間での、前記提示される際の単位時間あたりの運動エネルギー、がなるべく等しくなるように、Ｎ個の前記追加画像を生成する。 One aspect of the present invention is an image generating device that generates an image for causing an observer viewing a presentation of unit images for presentation to perceive a visual target as moving continuously when the unit images for presentation are repeatedly presented in succession, the image generating device including: an additional image generating unit that generates N additional images using a first original image, which is an image, and a second original image, which is an image different from the first original image, where N is an integer equal to or greater than 1; and a presentation image generating unit that generates a set of N+2 images, the first original image, the second original image, and the N additional images, as the unit image for presentation, the additional image generating unit generating the N additional images such that the kinetic energy per unit time when presented between two adjacent images in the N+2 images included in the unit image for presentation is as equal as possible.

本発明によれば、２個の元の画像に任意の個数の画像を追加した連続運動錯覚を生じさせるための映像を、人間の視覚系における運動検出特性に基づいて、生成することができる。 According to the present invention, it is possible to generate images that create the illusion of continuous motion by adding any number of images to two original images, based on the motion detection characteristics of the human visual system.

図１は、実施形態の映像生成装置の機能構成を例示したブロック図である。FIG. 1 is a block diagram illustrating a functional configuration of an image generating device according to an embodiment. 図２は、実施形態の映像生成装置の処理を示す流れ図である。FIG. 2 is a flowchart showing the process of the image generating device according to the embodiment. 図３は、実施形態における映像生成装置を実現するコンピュータの機能構成の一例を示す図である。FIG. 3 is a diagram illustrating an example of a functional configuration of a computer that realizes the image generating device according to the embodiment.

連続運動錯覚を生じさせるためには、３個以上のフレームの画像を順に繰り返して連続した映像が提示される必要がある。例えば、第１フレームから第３フレームまでの３フレームの画像を用いる場合であれば、第１フレーム、第２フレーム、第３フレームの順の３個の画像による画像組を最小単位として、当該最小単位の画像組が繰り返して連続した画像組が映像として提示される。この提示される映像全体の画像組のことを以下では「提示用連続映像」と呼び、最小単位の画像組のことを「提示用単位映像」と呼ぶ。すなわち、提示用単位映像を繰り返して連続させた映像が提示用連続映像である。 To create the illusion of continuous motion, it is necessary to present a continuous image by repeating images of three or more frames in sequence. For example, if three frames of images from frame 1 to frame 3 are used, an image set consisting of three images in the order of frame 1, frame 2, and frame 3 is treated as the smallest unit, and this smallest unit image set is repeated to present a continuous image set as an image. Below, this entire image set that is presented is referred to as the "continuous image for presentation," and the smallest unit image set is referred to as the "unit image for presentation." In other words, an image made by repeating unit images for presentation in a continuous manner is the continuous image for presentation.

Four-stroke apparent motionを生じさせるための提示用単位映像、Two-stroke apparent motionを生じさせるための提示用単位映像、本発明の提示用単位映像、の何れも、ある画像である第１の画像と、第１の画像とは異なる画像である第２の画像と、の２個の画像を用いて提示用単位映像が生成される。第１の画像と第２の画像は、提示用単位映像を生成する元となる画像であるので、第１の画像と第２の画像のことを以下では「元画像」と呼ぶ。第１の元画像の典型例は、ある対象を含む画像であり、第２の元画像の典型例は、第１の元画像に対して当該ある対象に動きが与えられた画像に相当する画像である。なお、「第１の元画像に対して当該ある対象に動きが与えられた画像に相当する画像」は便宜的な表現であり、「第１の元画像に対して当該ある対象に動きが与えられた画像に相当する画像」とは、正しくは、当該ある対象が第１の元画像における位置に対して移動した位置にあり、当該ある対象以外のものは第１の元画像における位置と略同じ位置にある画像、のことである。例えば、第１の元画像はある背景画像の第１の位置にある対象が配置されたものであり、第２の元画像は当該ある背景画像の第１の位置に近接した第２の位置に当該ある対象が配置されたものである。近接した位置とは、第１の元画像と第２の元画像とを継時的に連続提示した際に運動が知覚される範囲における位置である。なお、観察者が知覚しない程度であれば、当該ある対象も当該ある対象以外のものも、第１の元画像と第２の元画像の２つの画像において、形状が異なっていたり、模様が異なっていたり、大きさが異なっていたりしてもよい。略同じ位置とは、実際には僅かに異なっていたとしても観察者が知覚しない程度の異なりであり、観察者が同じ位置であると知覚する位置のことである。 In each of the presentation unit image for generating four-stroke apparent motion, the presentation unit image for generating two-stroke apparent motion, and the presentation unit image of the present invention, a presentation unit image is generated using two images, a first image which is a certain image, and a second image which is an image different from the first image. Since the first image and the second image are images from which the presentation unit image is generated, the first image and the second image are hereinafter referred to as "original images". A typical example of the first original image is an image including a certain object, and a typical example of the second original image is an image equivalent to an image in which the certain object is given a motion with respect to the first original image. Note that "an image equivalent to an image in which the certain object is given a motion with respect to the first original image" is a convenient expression, and "an image equivalent to an image in which the certain object is given a motion with respect to the first original image" properly means an image in which the certain object is at a position moved with respect to its position in the first original image, and other objects other than the certain object are at approximately the same positions as in the first original image. For example, the first original image is an image in which an object is placed at a first position in a certain background image, and the second original image is an image in which the object is placed at a second position adjacent to the first position in the certain background image. Adjacent positions are positions within a range in which movement is perceived when the first original image and the second original image are presented in succession over time. Note that the object and other objects may have different shapes, patterns, or sizes in the first original image and the second original image, as long as the observer does not perceive them. The term "approximately the same position" refers to a difference that is not perceived by the observer even if it is actually slightly different, and is perceived by the observer as being the same position.

Four-stroke apparent motionを生じさせるための提示用単位映像は、２個の元画像に２個の画像が追加されたものである。Two-stroke apparent motionを生じさせる提示用単位映像は、２個の元画像に１個の画像が追加されたものである。本発明の提示用単位映像は、２個の元画像に任意の個数の画像が追加されたものである。これらの追加された画像のことを、以下では「追加画像」という。すなわち、提示用単位映像に含まれる画像のうちの、元画像以外の画像は、追加画像である。具体的には、Four-stroke apparent motionを生じさせるための提示用単位映像は、２個の元画像と２個の追加画像から成り、当該提示用単位映像の第１フレームの画像が第１の元画像であり、当該提示用単位映像の第２フレームの画像が第２の元画像であり、当該提示用単位映像の第３フレームの画像が第１の追加画像であり、当該提示用単位映像の第４フレームの画像が第２の追加画像である。また、Two-stroke apparent motionを生じさせるための提示用単位映像は、２個の元画像と１個の追加画像から成り、当該提示用単位映像の第１フレームの画像が第１の元画像であり、当該提示用単位映像の第２フレームの画像が第２の元画像であり、当該提示用単位映像の第３フレームの画像が追加画像である。また、本発明の提示用単位映像は２個の元画像と任意の個数の追加画像から成り、例えば、当該提示用単位映像の第１フレームの画像が第１の元画像であり、当該提示用単位映像の第２フレームの画像が第２の元画像であり、当該提示用単位映像の第３フレーム以降の画像それぞれが追加画像である。以下では、本発明の提示用単位映像に含まれる追加画像の個数をＮとする。Ｎは１以上の整数である。 The presentation unit image for generating four-stroke apparent motion is obtained by adding two images to two original images. The presentation unit image for generating two-stroke apparent motion is obtained by adding one image to two original images. The presentation unit image of the present invention is obtained by adding any number of images to two original images. These added images are hereinafter referred to as "additional images". In other words, among the images included in the presentation unit image, images other than the original images are additional images. Specifically, the presentation unit image for generating four-stroke apparent motion is composed of two original images and two additional images, and the image of the first frame of the presentation unit image is the first original image, the image of the second frame of the presentation unit image is the second original image, the image of the third frame of the presentation unit image is the first additional image, and the image of the fourth frame of the presentation unit image is the second additional image. Moreover, the presentation unit video for generating two-stroke apparent motion is composed of two original images and one additional image, the image of the first frame of the presentation unit video being the first original image, the image of the second frame of the presentation unit video being the second original image, and the image of the third frame of the presentation unit video being the additional image. Moreover, the presentation unit video of the present invention is composed of two original images and any number of additional images, for example, the image of the first frame of the presentation unit video being the first original image, the image of the second frame of the presentation unit video being the second original image, and each of the images of the third frame and subsequent frames of the presentation unit video being an additional image. Hereinafter, the number of additional images included in the presentation unit video of the present invention is defined as N. N is an integer equal to or greater than 1.

なお、説明を簡単化するために、全ての画像はいわゆる同じサイズの画像であるとする。すなわち、以降の説明では、全ての画像は縦と横のそれぞれの方向に画素が並んだ二次元の画像であり、全ての画像における縦の画素数は等しく、全ての画像における横の画素数は等しいことを前提とする。また、第２実施形態までは提示される映像のフレームレートが固定であること、すなわち、画像が提示される時間間隔が一定であること、を前提とする。 To simplify the explanation, it is assumed that all images are of the same size. In other words, in the following explanation, it is assumed that all images are two-dimensional images with pixels arranged in both the vertical and horizontal directions, and that all images have the same number of vertical pixels and the same number of horizontal pixels. In addition, up until the second embodiment, it is assumed that the frame rate of the presented video is fixed, that is, the time interval at which images are presented is constant.

＜発明の概要＞
Four-stroke apparent motionもTwo-stroke apparent motionも、特定の枚数の追加画像を与える場合に、人間の運動検出特性に照らして有効な画像生成方法であるが、それぞれの画像生成の手続きは全く異なっており、任意の枚数の追加画像を生成する場合に一般に使える方法ではない。これらに対し、本発明では、人間の視覚系における運動検出特性にとって最適となるようにすることを考慮して、すなわち、人間の視覚系における運動検出特性にとってなるべく適切となるように、追加画像の枚数に依存しない手続きによって追加画像を生成する。具体的には、本発明では、２個の元画像を用いてＮ個の追加画像を生成してＮ＋２個の画像による提示用単位映像を生成する映像生成処理において、提示される際に隣接する２個の画像の間での運動エネルギーがなるべく等しくなるようにＮ個の追加画像を生成する。 <Summary of the Invention>
Both four-stroke apparent motion and two-stroke apparent motion are effective image generation methods in light of human motion detection characteristics when a specific number of additional images are provided, but the procedures for generating the images are completely different, and they are not generally usable when generating an arbitrary number of additional images. In contrast, in the present invention, additional images are generated by a procedure that is independent of the number of additional images, taking into consideration the optimization of the motion detection characteristics of the human visual system, that is, so as to be as appropriate as possible for the motion detection characteristics of the human visual system. Specifically, in the present invention, in an image generation process that generates N additional images using two original images to generate a unit image for presentation using N+2 images, N additional images are generated so that the kinetic energy between two adjacent images is as equal as possible when presented.

例えば、Ｎ＝１の場合であれば、提示される際に隣接する２個の画像によるペアは、第１フレームの画像と第２フレームの画像によるペア、第２フレームの画像と第３フレームの画像によるペア、第３フレームの画像と第１フレームの画像によるペア、の３個である。そこで、Ｎ＝１の場合は、第１フレームの画像と第２フレームの画像の間での運動エネルギー、第２フレームの画像と第３フレームの画像の間での運動エネルギー、第３フレームの画像と第１フレームの画像の間での運動エネルギー、の３個の運動エネルギーがなるべく等しくなるように１個の追加画像を生成する。 For example, when N=1, there are three pairs of two adjacent images that are presented: a pair of an image of the first frame and an image of the second frame, a pair of an image of the second frame and an image of the third frame, and a pair of an image of the third frame and an image of the first frame. Therefore, when N=1, one additional image is generated so that the three kinetic energies, namely the kinetic energy between the image of the first frame and the image of the second frame, the kinetic energy between the image of the second frame and the image of the third frame, and the kinetic energy between the image of the third frame and the image of the first frame, are as equal as possible.

また例えば、Ｎ＝２の場合であれば、提示される際に隣接する２個の画像によるペアは、第１フレームの画像と第２フレームの画像によるペア、第２フレームの画像と第３フレームの画像によるペア、第３フレームの画像と第４フレームの画像によるペア、第４フレームの画像と第１フレームの画像によるペア、の４個である。そこで、Ｎ＝２の場合は、第１フレームの画像と第２フレームの画像の間での運動エネルギー、第２フレームの画像と第３フレームの画像の間での運動エネルギー、第３フレームの画像と第４フレームの画像の間での運動エネルギー、第４フレームの画像と第１フレームの画像の間での運動エネルギー、の４個の運動エネルギーがなるべく等しくなるように２個の追加画像を生成する。 For example, when N=2, there are four pairs of two adjacent images that are presented: a pair of an image of the first frame and an image of the second frame, a pair of an image of the second frame and an image of the third frame, a pair of an image of the third frame and an image of the fourth frame, and a pair of an image of the fourth frame and an image of the first frame. Therefore, when N=2, two additional images are generated so that the four kinetic energies, namely the kinetic energy between the image of the first frame and the image of the second frame, the kinetic energy between the image of the second frame and the image of the third frame, the kinetic energy between the image of the third frame and the image of the fourth frame, and the kinetic energy between the image of the fourth frame and the image of the first frame, are as equal as possible.

例えば、本発明では、２個の元画像と、Ｎ個の追加画像の初期の暫定画像と、によるＮ＋２個の画像による画像組を初期の更新対象の画像組として、更新対象の画像組に含まれるＮ個の追加画像の暫定画像を所定の条件を満たすように更新して新たな更新対象の画像組を得る更新処理を繰り返すことで、Ｎ個の追加画像を生成する。所定の条件とは、更新対象の画像組において順番が隣接する２個の画像によるペアＮ＋１個と、更新対象の画像組のＮ＋２番目の画像と１番目の画像によるペア１個と、の計Ｎ＋２個のペアの画像間での運動エネルギーがなるべく等しくなるようにする条件である。本発明では、この条件を満たす更新処理の一具体例として、Ｎ＋２個のペアの画像間での運動エネルギーの差分の絶対値の総和を損失として、当該損失が小さくなるように追加画像の暫定画像の画素値を更新する処理を用いる。もちろん、前述した条件を満たす更新処理であればどのような更新処理を用いてもよく、前述した具体例とは異なる損失が小さくなるように追加画像の暫定画像の画素値を更新する処理を用いてもよい。なお、追加画像の初期の暫定画像はどのような画像であってもよいが、例えば、ホワイトノイズやガウシアンノイズによる二次元ノイズ画像を各追加画像の初期の暫定画像とすればよい。 For example, in the present invention, an image set of N+2 images consisting of two original images and initial provisional images of N additional images is set as an initial image set to be updated, and N additional images are generated by repeating an update process to update the provisional images of the N additional images included in the image set to be updated so as to satisfy a predetermined condition to obtain a new image set to be updated. The predetermined condition is a condition that the kinetic energy between the N+2 pairs of images, which is N+1 pairs of two images that are adjacent in order in the image set to be updated, and one pair of the N+2th image and the 1st image in the image set to be updated, is as equal as possible. In the present invention, as a specific example of an update process that satisfies this condition, a process is used in which the sum of the absolute values of the differences in kinetic energy between the N+2 pairs of images is set as a loss, and the pixel values of the provisional images of the additional images are updated so as to reduce the loss. Of course, any update process that satisfies the above-mentioned condition may be used, and a process of updating the pixel values of the provisional images of the additional images so as to reduce a loss different from the specific example described above may be used. The initial provisional image of the additional image may be any image, but for example, a two-dimensional noise image made from white noise or Gaussian noise may be used as the initial provisional image of each additional image.

＜第１実施形態＞
図１に例示するように、第１実施形態の映像生成装置１００は、元画像取得部１１０と追加画像生成部１２０と提示用映像生成部１３０を有する。図２に例示するように、映像生成装置１００は、ステップＳ１１０とステップＳ１２０とステップＳ１３０の処理を行う。映像生成装置１００は、ある画像である第１の元画像と、第１の元画像とは異なる画像である第２の元画像と、の２個の画像を用いて、Ｎ個の追加画像を生成して、Ｎ＋２個の画像による提示用単位映像を生成する。映像生成装置１００は、提示用単位映像が繰り返して連続させて提示された際に、当該提示を見た観察者に、対象が連続して動いているかのように知覚させるための映像を生成する映像生成装置である。 First Embodiment
As illustrated in FIG. 1, the image generating device 100 of the first embodiment has an original image acquisition unit 110, an additional image generation unit 120, and a presentation image generation unit 130. As illustrated in FIG. 2, the image generating device 100 performs processing of steps S110, S120, and S130. The image generating device 100 generates N additional images using two images, a first original image that is a certain image, and a second original image that is an image different from the first original image, and generates a presentation unit image of N+2 images. The image generating device 100 is an image generating device that generates an image for making an observer who sees the presentation perceive an object as if it is moving continuously when the presentation unit images are repeatedly presented in succession.

［元画像取得部１１０］
元画像取得部１１０は、ある画像である第１の元画像と、第１の元画像とは異なる画像である第２の元画像と、を取得して出力する（ステップＳ１１０）。元画像取得部１１０が出力した第１の元画像と第２の元画像は追加画像生成部１２０と提示用映像生成部１３０に入力される。 [Original image acquisition unit 110]
The original image acquisition unit 110 acquires and outputs a first original image, which is a certain image, and a second original image, which is an image different from the first original image (step S110). The first original image and the second original image output by the original image acquisition unit 110 are input to the additional image generation unit 120 and the presentation image generation unit 130.

［［元画像取得部１１０の第１例］］
ある対象の動きを含む動画が入力映像として映像生成装置１００に入力された場合には、元画像取得部１１０には、映像生成装置１００に入力された入力映像が入力される。例えば、元画像取得部１１０は、入力映像から連続した２個のフレームの画像を第１の元画像と第２の元画像として取得して出力する。入力映像において連続する２個のフレームの画像において当該ある対象の位置の異なりが視認されない場合には、元画像取得部１１０は、入力映像から間に１個以上のフレームが存在する２個のフレームの画像を第１の元画像と第２の元画像として取得して出力してもよい。すなわち、元画像取得部１１０は、入力映像からある対象を含むある１つのフレームを第１の元画像として取得して出力し、当該入力映像から当該ある１つのフレームとは別のフレームの画像であって第１の元画像に対して当該ある対象に動きが与えられた画像に相当する画像を第２の元画像として取得して出力する（ステップＳ１１０Ａ）。 [First example of original image acquisition unit 110]
When a video including the movement of a certain object is input to the image generating device 100 as an input image, the original image acquisition unit 110 receives the input image input to the image generating device 100. For example, the original image acquisition unit 110 acquires and outputs images of two consecutive frames from the input image as a first original image and a second original image. When the difference in the position of the certain object is not visually recognized in the images of two consecutive frames in the input image, the original image acquisition unit 110 may acquire and output images of two frames with one or more frames between them from the input image as a first original image and a second original image. That is, the original image acquisition unit 110 acquires and outputs a certain frame including a certain object from the input image as a first original image, and acquires and outputs an image of a frame other than the certain frame from the input image, which is equivalent to an image in which the certain object has been given a movement with respect to the first original image, as a second original image (step S110A).

［［元画像取得部１１０の第２例］］
ある対象を含む画像が入力画像として映像生成装置１００に入力された場合には、元画像取得部１１０には、入力画像を第１の元画像として出力するとともに、入力画像に含まれる当該ある対象の位置を近接した別の位置に移動させた画像を公知の画像合成技術を用いて合成して第２の元画像として出力する（ステップＳ１１０Ｂ）。 [Second example of original image acquisition unit 110]
When an image including a certain object is input to the image generating device 100 as an input image, the original image acquisition unit 110 outputs the input image as a first original image, and also synthesizes an image in which the position of the certain object included in the input image has been moved to another nearby position using a publicly known image synthesis technique, and outputs the result as a second original image (step S110B).

［［元画像取得部１１０の第３例］］
ある対象の画像とある背景の画像が入力画像として映像生成装置１００に入力された場合には、元画像取得部１１０には、背景の画像の第１の位置に当該ある対象を配置した画像を合成して第１の元画像として出力するとともに、背景の画像の第１の位置に近接した第２の位置に当該ある対象を配置した画像を合成して第２の元画像として出力する（ステップＳ１１０Ｃ）。 [Third example of original image acquisition unit 110]
When an image of a certain object and an image of a certain background are input to the image generating device 100 as input images, the original image acquisition unit 110 synthesizes an image in which the certain object is placed at a first position in the background image and outputs it as a first original image, and also synthesizes an image in which the certain object is placed at a second position close to the first position in the background image and outputs it as a second original image (step S110C).

第１例から第３例の元画像取得部１１０が生成するのは、ある対象を含む画像である第１の元画像と、第１の元画像に対して当該ある対象に動きが与えられた画像に相当する画像である第２の元画像である。すなわち、第１例から第３例の元画像取得部１１０が生成する第１の元画像と第２の元画像においては、ある対象が異なる位置にあり、当該ある対象以外のものは略同じ位置にある。しかし、これは１つの典型例であって、第１の元画像と第２の元画像においては、複数の対象が異なる位置にあり、当該複数の対象以外のものが略同じ位置にあってもよい。また、第１の元画像と第２の元画像においてどの対象が異なる位置にあってどの対象が略同じ位置にあるかなどを考慮せずに、元画像取得部１１０は、ある画像である第１の元画像と、第１の元画像とは異なる画像である第２の元画像と、を得るようにしてもよい。要するに、元画像取得部１１０は、互いに異なる２つの画像を第１の元画像と第２の元画像として得るようにすればよい。 The original image acquisition unit 110 in the first to third examples generates a first original image that is an image including a certain object, and a second original image that is an image corresponding to an image in which the certain object is given movement with respect to the first original image. That is, in the first original image and the second original image generated by the original image acquisition unit 110 in the first to third examples, a certain object is in a different position, and other objects are in approximately the same position. However, this is only one typical example, and in the first original image and the second original image, multiple objects may be in different positions, and other objects may be in approximately the same position. In addition, the original image acquisition unit 110 may obtain a first original image that is an image and a second original image that is different from the first original image, without considering which objects are in different positions and which objects are in approximately the same position in the first original image and the second original image. In short, the original image acquisition unit 110 needs to obtain two different images as a first original image and a second original image.

なお、ある画像である第１の元画像と、第１の元画像とは異なる画像である第２の元画像と、が２個の入力画像として映像生成装置１００に入力される場合には、元画像取得部１１０は、映像生成装置１００に入力された２個の入力画像をそのまま第１の元画像と第２の元画像として出力すればよい。また、この場合には、映像生成装置１００が元画像取得部１１０を備えないようにして、映像生成装置１００がステップＳ１１０を行わないようにして、映像生成装置１００に入力された２個の入力画像がそのまま第１の元画像と第２の元画像として追加画像生成部１２０と提示用映像生成部１３０に入力されるようにしてもよい。 When a first original image, which is a certain image, and a second original image, which is an image different from the first original image, are input to the image generating device 100 as two input images, the original image acquisition unit 110 may output the two input images input to the image generating device 100 as the first original image and the second original image as they are. In this case, the image generating device 100 may not include the original image acquisition unit 110, and the image generating device 100 may not perform step S110, so that the two input images input to the image generating device 100 are input to the additional image generating unit 120 and the presentation image generating unit 130 as the first original image and the second original image as they are.

［追加画像生成部１２０］
追加画像生成部１２０には、元画像取得部１１０が出力した第１の元画像と第２の元画像、または、映像生成装置１００に入力された２個の画像である第１の元画像と第２の元画像が入力される。第１の元画像と第２の元画像は互いに異なる画像であり、第１の元画像の一例はある対象を含む画像であり、第２の元画像の一例は第１の元画像に対して当該対象に動きが与えられた画像に相当する画像である。追加画像生成部１２０は、第１の元画像と第２の元画像を用いて、Ｎ個の追加画像を生成して出力する（ステップＳ１２０）。その際、追加画像生成部１２０は、後述する提示用映像生成部１３０が生成する提示用単位映像に含まれるＮ＋２個の画像において、提示される際に隣接する２個の画像間での運動エネルギーがなるべく等しくなるように、Ｎ個の追加画像を生成する。追加画像の生成においては、提示される際の画像の順番、すなわち、後述する提示用映像生成部１３０が生成する提示用単位映像に含まれる画像の順番、を考慮する必要があるので、追加画像生成部１２０の動作の詳細については提示用映像生成部１３０の説明の後で説明する。追加画像生成部１２０が出力したＮ個の追加画像は提示用映像生成部１３０に入力される。 [Additional image generating unit 120]
The additional image generating unit 120 receives the first and second original images output by the original image acquiring unit 110, or the first and second original images, which are two images input to the video generating device 100. The first and second original images are different from each other, and an example of the first original image is an image including a certain object, and an example of the second original image is an image corresponding to an image in which the object is given motion with respect to the first original image. The additional image generating unit 120 generates and outputs N additional images using the first and second original images (step S120). At that time, the additional image generating unit 120 generates N additional images so that the kinetic energy between two adjacent images is as equal as possible when presented in the N+2 images included in the presentation unit video generated by the presentation video generating unit 130 described later. In generating the additional images, it is necessary to take into consideration the order of images when they are presented, i.e., the order of images included in the presentation unit images generated by the presentation image generating unit 130 described later, so details of the operation of the additional image generating unit 120 will be explained after the explanation of the presentation image generating unit 130. The N additional images output by the additional image generating unit 120 are input to the presentation image generating unit 130.

なお、生成する追加画像の個数であるＮの値は、映像生成装置１００内に予め記憶しておいてもよいし、映像生成装置１００の外から追加画像生成部１２０に入力されるようにしてもよい。Ｎの値を映像生成装置１００内に予め記憶しておく場合には、図示しない記憶部を映像生成装置１００に備えて、当該記憶部にＮの値を予め記憶しておけばよい。Ｎの値が映像生成装置１００の外から追加画像生成部１２０に入力されるようにする場合には、キーボードやテンキーやタッチパネルなどの図示しない入力部を映像生成装置１００に備えて、入力部が利用者によるＮの値の入力を受け付けるようにして、利用者が入力部に入力した生成する追加画像の個数の値、すなわち、入力部が受け付けた値をＮの値として追加画像生成部１２０に対して出力して、図１に破線で示すように、Ｎの値が追加画像生成部１２０に入力されるようにすればよい。 The value of N, which is the number of additional images to be generated, may be stored in advance in the image generating device 100, or may be input to the additional image generating unit 120 from outside the image generating device 100. When the value of N is stored in advance in the image generating device 100, a storage unit (not shown) may be provided in the image generating device 100, and the value of N may be stored in the storage unit in advance. When the value of N is input to the additional image generating unit 120 from outside the image generating device 100, an input unit (not shown), such as a keyboard, numeric keypad, or touch panel, may be provided in the image generating device 100, and the input unit may receive the value of N input by the user. The value of the number of additional images to be generated input by the user to the input unit, i.e., the value received by the input unit, may be output to the additional image generating unit 120 as the value of N, and the value of N may be input to the additional image generating unit 120 as shown by the dashed line in FIG. 1.

また、生成する追加画像の個数であるＮの値は、ある１個の値であってもよいし、異なる複数個の値であってもよい。Ｎの値が異なる複数個の値（Ｎ₁、Ｎ₂，・・・）である場合には、追加画像生成部１２０はＮの値それぞれ（すなわち、Ｎ₁、Ｎ₂，・・・それぞれ）に対して追加画像を生成して出力すればよく、後述する提示用映像生成部１３０はＮの値それぞれ（すなわち、Ｎ₁、Ｎ₂，・・・それぞれ）に対して処理を行えばよい。 In addition, the value of N, which is the number of additional images to be generated, may be a single value or may be a number of different values. When the value of N is a number of different values ( _N1 , _N2 , ...), the additional image generating unit 120 may generate and output an additional image for each value of N (i.e., each of _N1 , _N2 , ...), and the presentation image generating unit 130 described later may perform processing for each value of N (i.e., each of _N1 , _N2 , ...).

［提示用映像生成部１３０］
提示用映像生成部１３０には、元画像取得部１１０が出力した第１の元画像と第２の元画像、もしくは、映像生成装置１００に入力された２個の画像である第１の元画像と第２の元画像、と、追加画像生成部１２０が出力したＮ個の追加画像と、が入力される。提示用映像生成部１３０は、入力されたＮ＋２個の画像を提示する順番に連結した画像組を最小単位として生成し、生成した当該最小単位の画像組を提示用単位映像として出力するか、または、当該最小単位の画像組（すなわち、提示用単位映像）を複数回繰り返して接続した画像組を提示用連続映像として出力する（ステップＳ１３０）。提示用映像生成部１３０が出力した提示用単位映像または提示用連続映像は、映像生成装置１００から出力されて、映像提示装置、映像提示装置に入力する映像を記録しておく記録装置、などに入力される。 [Presentation video generation unit 130]
The presentation image generating unit 130 receives the first original image and the second original image output by the original image acquiring unit 110, or the first original image, which are two images input to the image generating device 100. The presentation image generating unit 130 receives the first original image, the second original image, and the N additional images output by the additional image generating unit 120. The presentation image generating unit 130 concatenates the input N+2 images in the order of presentation. The image set thus generated is generated as a minimum unit, and the generated image set of the minimum unit is output as a unit video for presentation, or the image set of the minimum unit (i.e., unit video for presentation) is connected by repeating it multiple times. The presentation image generating unit 130 outputs the set of images as a presentation continuous image (step S130). The presentation unit image or the presentation continuous image output by the presentation image generating unit 130 is output from the image generating device 100 and is then input to the image presenting device, the image The image is input to a recording device that records the image to be input to the presentation device.

１以上Ｎ以下の各整数をｎとすると、例えば、提示用映像生成部１３０は、第１の元画像を最小単位の画像組の第１フレームの画像とし、第２の元画像を最小単位の画像組の第２フレームの画像とし、Ｎ個の追加画像のｎ番目の画像を最小単位の画像組の第ｎ＋２フレームの画像として、第１フレームの画像から第Ｎ＋２フレームの画像までを順に連結することで、Ｎ＋２フレームからなる最小単位の画像組を生成する。 If n is an integer between 1 and N, for example, the presentation image generation unit 130 generates a minimum unit image set consisting of N+2 frames by treating the first original image as the image of the first frame of the minimum unit image set, treating the second original image as the image of the second frame of the minimum unit image set, and treating the nth image of the N additional images as the image of the n+2th frame of the minimum unit image set, and sequentially concatenating the images of the first frame through the N+2th frame.

例えば、Ｎ＝１の場合であれば、提示用映像生成部１３０は、第１の元画像を最小単位の画像組の第１フレームの画像とし、第２の元画像を最小単位の画像組の第２フレームの画像とし、１個の追加画像を最小単位の画像組の第３フレームの画像として、第１フレームの画像から第３フレームの画像までを順に連結することで最小単位の画像組を生成する。また例えば、Ｎ＝２の場合であれば、提示用映像生成部１３０は、第１の元画像を最小単位の画像組の第１フレームの画像とし、第２の元画像を最小単位の画像組の第２フレームの画像とし、２個の追加画像のうちの１番目の画像を最小単位の画像組の第３フレームの画像とし、２個の追加画像のうちの２番目の画像を最小単位の画像組の第４フレームの画像として、第１フレームの画像から第４フレームの画像までを順に連結することで最小単位の画像組を生成する。 For example, when N=1, the presentation image generating unit 130 generates a minimum unit image set by sequentially concatenating the images of the first frame to the third frame of the minimum unit image set with the first original image as the image of the first frame of the minimum unit image set, the second original image as the image of the second frame of the minimum unit image set, and one additional image as the image of the third frame of the minimum unit image set. Also, for example, when N=2, the presentation image generating unit 130 generates a minimum unit image set by sequentially concatenating the images of the first frame to the fourth frame of the minimum unit image set with the first original image as the image of the first frame of the minimum unit image set, the second original image as the image of the second frame of the minimum unit image set, the first image of the two additional images as the image of the third frame of the minimum unit image set, and the second image of the two additional images as the image of the fourth frame of the minimum unit image set.

［映像の提示］
映像提示装置は、観察者が観察可能なように映像を提示する装置であって、例えば、映像を表示するディスプレイ装置、映像を投影するプロジェクタを備える。映像提示装置には、映像生成装置１００が出力した提示用単位映像または提示用連続映像が入力される。映像提示装置は、提示用単位映像が入力された場合には、入力された提示用単位映像を複数回繰り返して接続した映像を提示し、提示用連続映像が入力された場合には、入力された提示用連続映像をそのまま提示する。すなわち、映像提示装置は、上述した最小単位の画像組を複数回繰り返して接続した画像組を提示する。 [Video Presentation]
The image presentation device is a device that presents an image so that an observer can view it, and includes, for example, a display device that displays the image and a projector that projects the image. The image presentation device receives the unit image for presentation or the continuous image for presentation output by the image generation device 100. When the unit image for presentation is input, the image presentation device presents an image in which the input unit image for presentation is repeated and connected multiple times, and when the continuous image for presentation is input, the image presentation device presents the input continuous image for presentation as is. In other words, the image presentation device presents an image set in which the minimum unit image set described above is repeated and connected multiple times.

したがって、上述したＮ＋２フレームからなる最小単位の画像組（すなわち、提示用単位映像）における提示される画像の順番は、第１フレームの画像、第２フレームの画像、ｎが１からＮまでの順の第ｎフレームの画像、第１フレームの画像、第２フレームの画像、ｎが１からＮまでの順の第ｎフレームの画像、第１フレームの画像、第２フレームの画像、・・・である。すなわち、最小単位の画像組（すなわち、提示用単位映像）に含まれるＮ＋２個の画像における提示される際に隣接する２個の画像によるペアは、最小単位の画像組において順番が隣接する２個の画像によるペアＮ＋１個と、最小単位の画像組のＮ＋２番目の画像と１番目の画像によるペア１個と、の計Ｎ＋２個のペアである。 Therefore, the order of images presented in the minimum unit image set consisting of the above-mentioned N+2 frames (i.e., unit video for presentation) is the image of the first frame, the image of the second frame, the image of the nth frame where n is from 1 to N, the image of the first frame, the image of the second frame, the image of the nth frame where n is from 1 to N, the image of the first frame, the image of the second frame, ... In other words, the pairs of two adjacent images when presented in the N+2 images included in the minimum unit image set (i.e., unit video for presentation) are N+2 pairs in total, consisting of N+1 pairs of two images adjacent in order in the minimum unit image set and one pair of the N+2th image and the first image in the minimum unit image set.

［追加画像生成部１２０の詳細］
上述したように、追加画像生成部１２０は、提示用映像生成部１３０が生成する提示用単位映像に含まれるＮ＋２個の画像において、提示される際に隣接する２個の画像間での運動エネルギーがなるべく等しくなるように、Ｎ個の追加画像を生成する。また、上述したように、提示用映像生成部１３０が生成する提示用単位映像は、例えば、第１の元画像を最小単位の画像組の第１フレームの画像とし、第２の元画像を最小単位の画像組の第２フレームの画像とし、Ｎ個の追加画像のｎ番目の画像を最小単位の画像組の第ｎ＋２フレームの画像として、第１フレームの画像から第Ｎ＋２フレームの画像までを順に連結したＮ＋２フレームからなる最小単位の画像組である。したがって、この例であれば、追加画像生成部１２０は、第１フレームの画像から第Ｎ＋２フレームの画像までにおいて隣接する２個のフレームの画像によるペアＮ＋１個と、第Ｎ＋２フレームの画像と第１フレームの画像によるペア１個と、のＮ＋２個のペアについて、各ペアを構成する２個の画像間での運動エネルギーがなるべく等しくなるように追加画像を生成する。Ｎ＝２の場合とＮ＝３の場合の追加画像生成部１２０の動作の具体例は以下の通りである。 [Details of the additional image generating unit 120]
As described above, the additional image generating unit 120 generates N additional images so that the kinetic energy between two adjacent images is as equal as possible when presented in the N+2 images included in the presentation unit image generated by the presentation image generating unit 130. Also, as described above, the presentation unit image generated by the presentation image generating unit 130 is, for example, a minimum unit image set consisting of N+2 frames in which the first original image is the image of the first frame of the minimum unit image set, the second original image is the image of the second frame of the minimum unit image set, and the nth image of the N additional images is the image of the n+2th frame of the minimum unit image set, and the image of the first frame to the image of the N+2th frame are sequentially connected. Therefore, in this example, the additional image generating unit 120 generates additional images for N+2 pairs of N+1 pairs of images of two adjacent frames from the image of the first frame to the image of the N+2th frame, and one pair of the image of the N+2th frame and the image of the first frame, so that the kinetic energy between the two images constituting each pair is as equal as possible. A specific example of the operation of the additional image generating unit 120 when N=2 and when N=3 is as follows.

［Ｎ＝２の場合の追加画像生成部１２０の動作の具体例］
Ｎ＝２の場合、すなわち、映像生成装置１００が４フレームの画像による提示用単位映像を生成する場合には、追加画像生成部１２０は、例えば下記のステップＳ１２０－Ａ１からステップＳ１２０－Ａ３を行う。 [Specific example of operation of the added image generating unit 120 when N=2]
When N=2, that is, when the image generating device 100 generates a presentation unit image made up of four frame images, the additional image generating section 120 performs, for example, the following steps S120-A1 to S120-A3.

追加画像生成部１２０は、まず、元画像取得部１１０が取得した第１の元画像を第１フレームの画像とし、元画像取得部１１０が取得した第２の元画像を第２フレームの画像とし、所定の初期画像を第３フレームの暫定画像とし、所定の初期画像を第４フレームの暫定画像として設定する（ステップＳ１２０－Ａ１）。所定の初期画像は、任意の画像であり、例えばホワイトノイズやガウシアンノイズによる二次元ノイズ画像である。 The additional image generating unit 120 first sets the first original image acquired by the original image acquiring unit 110 as the image of the first frame, the second original image acquired by the original image acquiring unit 110 as the image of the second frame, and sets a predetermined initial image as the provisional image of the third frame, and the predetermined initial image as the provisional image of the fourth frame (step S120-A1). The predetermined initial image is any image, for example a two-dimensional noise image caused by white noise or Gaussian noise.

追加画像生成部１２０は、次に、第１フレームの画像と第２フレームの画像の間での運動エネルギー、第２フレームの画像と第３フレームの暫定画像の間での運動エネルギー、第３フレームの暫定画像と第４フレームの暫定画像の間での運動エネルギー、第４フレームの暫定画像と第１フレームの画像の間での運動エネルギー、の４つの運動エネルギーがなるべく等しくなるようにする条件を満たすように、第３フレームの暫定画像の画素値と第４フレームの暫定画像の画素値を更新する処理を所定の回数繰り返す（ステップＳ１２０－Ａ２）。ステップＳ１２０－Ａ２の各更新処理は、例えば、以下のステップＳ１２０－Ａ２１とステップＳ１２０－Ａ２２による処理である。なお、追加画像生成部１２０は、ステップＳ１２０－Ａ２において、更新処理の終了条件が所定の回数であることは必須ではなく、所定の終了条件を満たすまで更新処理を繰り返すようにすればよい。 The additional image generating unit 120 then repeats the process of updating the pixel values of the provisional image of the third frame and the pixel values of the provisional image of the fourth frame a predetermined number of times to satisfy the condition that the four kinetic energies, namely, the kinetic energy between the image of the first frame and the image of the second frame, the kinetic energy between the image of the second frame and the provisional image of the third frame, the kinetic energy between the provisional image of the third frame and the provisional image of the fourth frame, and the kinetic energy between the provisional image of the fourth frame and the image of the first frame, are as equal as possible (step S120-A2). Each update process of step S120-A2 is, for example, the process of steps S120-A21 and S120-A22 below. Note that in step S120-A2, the additional image generating unit 120 does not necessarily have to end the update process a predetermined number of times, and may simply repeat the update process until the predetermined end condition is satisfied.

ステップＳ１２０－Ａ２１：追加画像生成部１２０は、フレーム間の運動エネルギーそれぞれを算出する。具体的には、追加画像生成部１２０は、第１フレームの画像と第２フレームの画像の間の運動エネルギー、第２フレームの画像と第３フレームの暫定画像の間の運動エネルギー、第３フレームの暫定画像と第４フレームの暫定画像の間の運動エネルギー、第４フレームの暫定画像と第１フレームの画像の間の運動エネルギー、を算出する。 Step S120-A21: The additional image generating unit 120 calculates each of the kinetic energies between frames. Specifically, the additional image generating unit 120 calculates the kinetic energy between the image of the first frame and the image of the second frame, the kinetic energy between the image of the second frame and the provisional image of the third frame, the kinetic energy between the provisional image of the third frame and the provisional image of the fourth frame, and the kinetic energy between the provisional image of the fourth frame and the image of the first frame.

ステップＳ１２０－Ａ２２：追加画像生成部１２０は、ステップＳ１２０－Ａ２１で得たフレーム間の運動エネルギーがなるべく等しくなるような損失に基づいて、当該損失が小さくなるように第３フレームの暫定画像の画素値と第４フレームの暫定画像の画素値とを更新する最適化処理を行う。追加画像生成部１２０は、公知の何れの最適化処理を行ってもよいが、例えば、参考文献１に記載されたアルゴリズムによる最適化処理を行えばよい。
参考文献１： Kingma, D. and Ba, J. "Adam: A Method for Stochastic Optimization," Proceedings of the 3rd International Conference for Learning Representations, San Diego, 2015. Step S120-A22: The additional image generating unit 120 performs an optimization process to update pixel values of the provisional image of the third frame and pixel values of the provisional image of the fourth frame so as to reduce the loss based on the loss that makes the kinetic energy between frames as equal as possible obtained in step S120-A21. The additional image generating unit 120 may perform any known optimization process, but may perform an optimization process using the algorithm described in Reference 1, for example.
Reference 1: Kingma, D. and Ba, J. "Adam: A Method for Stochastic Optimization," Proceedings of the 3rd International Conference for Learning Representations, San Diego, 2015.

追加画像生成部１２０は、次に、ステップＳ１２０－Ａ２で最終的に得た第３フレームの暫定画像と第４フレームの暫定画像のそれぞれ、すなわち、最適化後の第３フレームの暫定画像と第４フレームの暫定画像のそれぞれを、第３フレームの追加画像と第４フレームの追加画像として出力する（ステップＳ１２０－Ａ３）。 The additional image generation unit 120 then outputs the tentative image of the third frame and the tentative image of the fourth frame finally obtained in step S120-A2, i.e., the tentative image of the third frame and the tentative image of the fourth frame after optimization, as an additional image of the third frame and an additional image of the fourth frame, respectively (step S120-A3).

追加画像生成部１２０は、提示される際に隣接する２個のフレーム間の運動エネルギーを計算するステップＳ１２０－Ａ２１の処理を、例えば以下のステップＡとステップＢによって行う。
ステップＡ：まず、提示される際に隣接する２個の画像を提示される際の時間方向に連結した画像列に、空間周波数f、空間方位o、時間周波数τ、および位相φの４種類のパラメータの組によって定義される複数の異なる３次元フィルタ群のうちの各フィルタを畳み込み、各畳み込み結果を得る。各フィルタは、追加画像生成部１２０の図示しない記憶部に予め記憶されている。畳み込み処理の対象となる画像列に含まれる画像が２フレーム分であるため、各フィルタは、時間範囲が２フレームまでに制限されたフィルタとすればよい。 The additional image generating unit 120 performs the process of step S120-A21 for calculating the kinetic energy between two adjacent frames when presented, for example, by the following steps A and B.
Step A: First, an image sequence in which two adjacent images are linked in the time direction when presented is convolved with each filter from a group of multiple different three-dimensional filters defined by a set of four parameters, namely, spatial frequency f, spatial orientation o, temporal frequency τ, and phase φ, to obtain each convolution result. Each filter is stored in advance in a storage unit (not shown) of the additional image generating unit 120. Since the image sequence to be subjected to the convolution process includes images for two frames, each filter may be a filter whose time range is limited to two frames.

追加画像生成部１２０では、こうした要件を満たす３次元フィルタ群として、例えば、参考文献２に記載される２次元Steerableフィルタを用いて生成されたものを用いる。具体的には、追加画像生成部１２０は、位相が互いに2πτだけ異なる２つの２次元Steerableフィルタψ’_f,o,φ, ψ’_f,o,φ+2πτを時間方向に連結したものを、３次元フィルタψ_f,o,τ,φとして用いる。追加画像生成部１２０の図示しない記憶部には、この３次元フィルタを複数の空間周波数f、空間方位o、時間周波数τ、および位相φの組み合わせの分だけ生成したものが予め記憶されていて、追加画像生成部１２０は、入力された画像列に対して各フィルタを畳み込み、各畳み込み結果を得る。空間周波数f、空間方位o、時間周波数τとしては、畳み込み処理の対象となる画像列に含まれる時間・空間周波数帯や方位が検出可能なように、予め設定された値を用いればよい。位相φとしては、0oと90oの２種類、すなわち、0とπ/2の２種類を用いる。上述した畳み込み処理で得られたf, o, τ, φ毎の畳み込み結果をS_p,f,o,τ,φとする。ここでpは画素の各位置を表すものとする。 In the additional image generating unit 120, as a three-dimensional filter group satisfying such requirements, for example, a filter generated using a two-dimensional steerable filter described in Reference 2 is used. Specifically, the additional image generating unit 120 uses two two-dimensional steerable filters ψ' _f,o,φ and ψ' _{f,o,φ+2πτ,} which are connected in the time direction and have phases different from each other by 2πτ, as a three-dimensional filter ψ _f,o,τ, φ. In a storage unit (not shown) of the additional image generating unit 120, the three-dimensional filters generated for a plurality of combinations of spatial frequencies f, spatial orientations o, time frequencies τ, and phases φ are stored in advance, and the additional image generating unit 120 convolves each filter with the input image sequence to obtain each convolution result. As the spatial frequency f, the spatial orientation o, and the time frequency τ, preset values may be used so that the time-spatial frequency bands and orientations included in the image sequence to be subjected to the convolution process can be detected. Two types of phase φ are used: 0o and 90o, i.e., 0 and π/2. The convolution result for each of f, o, τ, φ obtained by the above-mentioned convolution process is defined as S _p,f,o,τ,φ , where p represents each position of the pixel.

ステップＢ：追加画像生成部１２０は、ステップＡで得た畳み込み結果について、位相だけが異なるもの同士で平方和を計算することによって、空間周波数f、空間方位o、時間周波数τによる各組み合わせについての各画素における運動エネルギーM_p,f,o,τを得る。すなわち、追加画像生成部１２０は、空間周波数f、空間方位o、時間周波数τによる各組み合わせについて、各画素における運動エネルギーを下記の式（１）により得る。

Step B: The additional image generating unit 120 obtains the kinetic energy M p,f,o,τ at each pixel for each combination of spatial frequency f, spatial orientation o, and temporal frequency _τ by calculating the sum of squares between the convolution results obtained in step A that differ only in phase. That is, the additional image generating unit 120 obtains the kinetic energy at each pixel for each combination of spatial frequency f, spatial orientation o, and temporal frequency τ using the following formula (1).

なお、ステップＢで得た画素p、空間周波数f、空間方位o、時間周波数τ毎の運動エネルギーを連結したものが、提示される際に隣接する２個のフレーム間の運動エネルギーである。
参考文献２： Simoncelli, E. P. and Freeman, W. T., "The Steerable Pyramid: A Flexible Architecture for Multi-Scale Derivative Computation," IEEE Second International Conference on Image Processing, Washington DC, 1995. The kinetic energy between two adjacent frames when presented is the combination of the kinetic energy for each pixel p, spatial frequency f, spatial orientation o, and temporal frequency τ obtained in step B.
Reference 2: Simoncelli, EP and Freeman, WT, "The Steerable Pyramid: A Flexible Architecture for Multi-Scale Derivative Computation," IEEE Second International Conference on Image Processing, Washington DC, 1995.

追加画像生成部１２０は、ステップＳ１２０－Ａ２２では、提示される際に隣接する２個の画像間での運動エネルギーがなるべく等しくなるようにする損失として、例えば、以下で説明する２つの損失L₁, L₂の何れかを用いればよい。１つ目の損失L₁は、提示される際に隣接する２個の画像間での運動エネルギーの差分の絶対値の総和が小さくなるようにするための損失であり、２つ目の損失L₂は、提示される際に隣接する２個の元画像間での運動エネルギーを目標として、提示される際に隣接する２個の画像間での運動エネルギーのうちの提示される際に隣接する２個の元画像間での運動エネルギー以外のものそれぞれができるだけ目標に近づくようにするための損失である。 In step S120-A22, the additional image generating unit 120 may use, for example, one of two losses L ₁ and L ₂ described below as a loss for making the kinetic energy between two adjacent images as equal as possible when presented. The first loss L ₁ is a loss for making the sum of the absolute values of the differences in kinetic energy between two adjacent images when presented smaller, and the second loss L ₂ is a loss for making each of the kinetic energies between two adjacent images when presented, other than the kinetic energy between two adjacent original images when presented, as close to the target as possible, with the kinetic energy between two adjacent original images when presented as a target.

提示される際に隣接する２個の画像によるペア、すなわち、ステップＳ１２０－Ａ２１で運動エネルギーを計算した２個の画像によるペアのそれぞれにインデックスを割り当てて、各損失を具体的に説明する。この説明においては、第１フレームの画像と第２フレームの画像によるペア（すなわち、第１の元画像と第２の元画像によるペア）のインデックスをi=1とし、第２フレームの画像と第３フレームの画像によるペアのインデックスをi=2とし、第３フレームの画像と第４フレームの画像によるペアのインデックスをi=3とし、第４フレームの画像と第１フレームの画像によるペアのインデックスをi=4とする。また、ステップＳ１２０－Ａ２１で得られた各ペアiの画素p、空間周波数f、空間方位o、時間周波数τによる組合せそれぞれに対応する運動エネルギーをMⁱ _p,f,o,τとする。さらに、隣接する２つのペアのインデックスの組による集合をF={(1, 2), (2, 3), (3, 4)}とし、空間周波数f、空間方位o、時間周波数τの全ての組の集合をCとし、画像に含まれる画素の集合をXとする。そうすると、１つ目の損失L₁、すなわち、提示される際に隣接する２個の画像間での運動エネルギーの差分の絶対値の総和が小さくなるようにするための損失は、下記の式（２）の通りとなる。すなわち、追加画像生成部１２０は、損失L₁を用いる場合には、ステップＳ１２０－Ａ２２においては、下記の式（２）の損失L₁の値が小さくなるように第３フレームの暫定画像の画素値と第４フレームの暫定画像の画素値とを更新する最適化処理を行う。

An index is assigned to each pair of two adjacent images when presented, i.e., each pair of two images for which the kinetic energy was calculated in step S120-A21, and each loss is specifically described. In this description, the index of the pair of the image of the first frame and the image of the second frame (i.e., the pair of the first original image and the second original image) is i=1, the index of the pair of the image of the second frame and the image of the third frame is i=2, the index of the pair of the image of the third frame and the image of the fourth frame is i=3, and the index of the pair of the image of the fourth frame and the image of the first frame is i=4. In addition, the kinetic energy corresponding to each combination of pixel p, spatial frequency f, spatial orientation o, and temporal frequency τ of each pair i obtained in step S120-A21 is M ⁱ _p,f,o,τ . Furthermore, the set of pairs of indexes of two adjacent pairs is F={(1,2), (2,3), (3,4)}, the set of all pairs of spatial frequency f, spatial orientation o, and temporal frequency τ is C, and the set of pixels included in the image is X. Then, the first loss L ₁ , that is, the loss for reducing the sum of the absolute values of the differences in kinetic energy between two adjacent images when presented, is as shown in the following formula (2). That is, when the loss L ₁ is used, in step S120-A22, the additional image generating unit 120 performs an optimization process of updating the pixel values of the provisional image of the third frame and the pixel values of the provisional image of the fourth frame so that the value of the loss L ₁ in the following formula (2) is reduced.

なお、追加画像生成部１２０は、ステップＳ１２０－Ａ２２における最適化処理では式（２）の定数部分を含まずに、下記の式（２'）の損失L₁の値が小さくなるように第３フレームの暫定画像の画素値と第４フレームの暫定画像の画素値とを更新する最適化処理を行ってもよい。下記の式（２'）のL₁は、提示される際に隣接する２個の画像間での運動エネルギーの差分の絶対値の総和である。

Note that the additional image generation unit 120 may perform optimization processing in step S120-A22 to update pixel values of the provisional image of the third frame and pixel values of the provisional image of the fourth frame so as to reduce the value of loss _L1 in the following equation (2'), without including the constant part of equation (2). _L1 in the following equation (2') is the sum of absolute values of differences in kinetic energy between two adjacent images when presented.

また、２つ目の損失L₂、すなわち、提示される際に隣接する２個の元画像間での運動エネルギーM¹ _p,f,o,τを目標として、提示される際に隣接する２個の画像間での運動エネルギーのうちの提示される際に隣接する２個の元画像間での運動エネルギー以外のものそれぞれができるだけ目標に近づくようにするための損失は、下記の式（３）の通りとなる。すなわち、追加画像生成部１２０は、損失L₂を用いる場合には、ステップＳ１２０－Ａ２２においては、下記の式（３）の損失L₂の値が小さくなるように第３フレームの暫定画像の画素値と第４フレームの暫定画像の画素値とを更新する最適化処理を行う。

Moreover, the second loss L ₂ , that is, the loss for making each of the kinetic energies between two adjacent images when presented, other than the kinetic energy between two adjacent original images when presented, as close as possible to the target, with the kinetic energy M ¹ _p,f,o,τ between the two adjacent original images when presented, as shown in the following formula (3). That is, when the loss L ₂ is used, in step S120-A22, the added image generating unit 120 performs an optimization process of updating the pixel values of the provisional image of the third frame and the pixel values of the provisional image of the fourth frame so that the value of the loss L ₂ in the following formula (3) becomes smaller.

なお、追加画像生成部１２０は、ステップＳ１２０－Ａ２２における最適化処理では式（３）の定数部分を含まずに、下記の式（３'）の損失L₂の値が小さくなるように第３フレームの暫定画像の画素値と第４フレームの暫定画像の画素値とを更新する最適化処理を行ってもよい。

In addition, the additional image generation unit 120 may perform an optimization process in step S120-A22 in which the pixel values of the provisional image of the third frame and the pixel values of the provisional image of the fourth frame are updated so as to reduce the value of the loss _L2 in the following equation (3'), without including the constant part of equation (3).

なお、後述するＮ＝３の場合などを含むように式（３'）を一般化すると、下記の式（３''）になる。下記の式（３''）のL₂は、第１の元画像と第２の元画像の間での運動エネルギーと、提示される際に隣接する２個の画像間での運動エネルギーのうちの第１の元画像と第２の元画像の間での運動エネルギー以外のものそれぞれと、の差分の絶対値の総和である。

Generalizing formula (3') to include the case where N=3 (described later) gives the following formula (3''). _L2 in formula (3'') is the sum of the absolute values of the differences between the kinetic energy between the first original image and the second original image and each of the kinetic energies between two adjacent images when presented other than the kinetic energy between the first original image and the second original image.

［Ｎ＝３の場合の追加画像生成部１２０の動作の具体例］
Ｎ＝３の場合、すなわち、映像生成装置１００が５フレームの画像による提示用単位映像を生成する場合には、追加画像生成部１２０は、例えば下記のステップＳ１２０－Ｂ１からステップＳ１２０－Ｂ３を行う。 [Specific example of operation of the additional image generating unit 120 when N=3]
When N=3, that is, when the image generating device 100 generates a presentation unit image made up of five frame images, the additional image generating section 120 performs, for example, the following steps S120-B1 to S120-B3.

追加画像生成部１２０は、まず、元画像取得部１１０が取得した第１の元画像を第１フレームの画像とし、元画像取得部１１０が取得した第２の元画像を第２フレームの画像とし、所定の初期画像を第３フレームの暫定画像とし、所定の初期画像を第４フレームの暫定画像とし、所定の初期画像を第５フレームの暫定画像として設定する（ステップＳ１２０－Ｂ１）。所定の初期画像は、任意の画像であり、例えばホワイトノイズやガウシアンノイズによる二次元ノイズ画像である。 The additional image generating unit 120 first sets the first original image acquired by the original image acquiring unit 110 as the image of the first frame, the second original image acquired by the original image acquiring unit 110 as the image of the second frame, the predetermined initial image as the provisional image of the third frame, the predetermined initial image as the provisional image of the fourth frame, and the predetermined initial image as the provisional image of the fifth frame (step S120-B1). The predetermined initial image is any image, for example a two-dimensional noise image caused by white noise or Gaussian noise.

追加画像生成部１２０は、次に、第１フレームの画像と第２フレームの画像の間での運動エネルギー、第２フレームの画像と第３フレームの暫定画像の間での運動エネルギー、第３フレームの暫定画像と第４フレームの暫定画像の間での運動エネルギー、第４フレームの暫定画像と第５フレームの暫定画像の間での運動エネルギー、第５フレームの暫定画像と第１フレームの画像の間での運動エネルギー、の５つの運動エネルギーがなるべく等しくなるようにする条件を満たすように、第３フレームの暫定画像と第４フレームの暫定画像と第５フレームの暫定画像の画素値を更新する処理を所定の回数繰り返す（ステップＳ１２０－Ｂ２）。ステップＳ１２０－Ｂ２の各更新処理は、例えば、以下のステップＳ１２０－Ｂ２１とステップＳ１２０－Ｂ２２による処理である。なお、追加画像生成部１２０は、ステップＳ１２０－Ｂ２において、更新処理の終了条件が所定の回数であることは必須ではなく、所定の終了条件を満たすまで更新処理を繰り返すようにすればよい。 The additional image generating unit 120 then repeats the process of updating the pixel values of the provisional image of the third frame, the provisional image of the fourth frame, and the provisional image of the fifth frame a predetermined number of times to satisfy the condition that the five kinetic energies, namely, the kinetic energy between the image of the first frame and the image of the second frame, the kinetic energy between the image of the second frame and the provisional image of the third frame, the kinetic energy between the provisional image of the third frame and the provisional image of the fourth frame, the kinetic energy between the provisional image of the fourth frame and the provisional image of the fifth frame, and the kinetic energy between the provisional image of the fifth frame and the image of the first frame, are as equal as possible (step S120-B2). Each update process of step S120-B2 is, for example, the process of steps S120-B21 and S120-B22 below. Note that in step S120-B2, the additional image generating unit 120 does not necessarily have to end the update process a predetermined number of times, and may repeat the update process until the predetermined end condition is satisfied.

ステップＳ１２０－Ｂ２１：追加画像生成部１２０は、フレーム間の運動エネルギーそれぞれを算出する。具体的には、追加画像生成部１２０は、第１フレームの画像と第２フレームの画像の間の運動エネルギー、第２フレームの画像と第３フレームの暫定画像の間の運動エネルギー、第３フレームの暫定画像と第４フレームの暫定画像の間の運動エネルギー、第４フレームの暫定画像と第５フレームの暫定画像の間の運動エネルギー、第５フレームの暫定画像と第１フレームの画像の間の運動エネルギー、を算出する。 Step S120-B21: The additional image generating unit 120 calculates each of the kinetic energies between frames. Specifically, the additional image generating unit 120 calculates the kinetic energy between the image of the first frame and the image of the second frame, the kinetic energy between the image of the second frame and the provisional image of the third frame, the kinetic energy between the provisional image of the third frame and the provisional image of the fourth frame, the kinetic energy between the provisional image of the fourth frame and the provisional image of the fifth frame, and the kinetic energy between the provisional image of the fifth frame and the image of the first frame.

ステップＳ１２０－Ｂ２２：追加画像生成部１２０は、ステップＳ１２０－Ｂ２１で得たフレーム間の運動エネルギーがなるべく等しくなるような損失に基づいて、当該損失が小さくなるように第３フレームの暫定画像の画素値と第４フレームの暫定画像の画素値と第５フレームの暫定画像の画素値とを更新する最適化処理を行う。例えば、追加画像生成部１２０は、Ｎ＝２の場合の追加画像生成部１２０の動作の具体例の説明箇所で上述した２つの損失L₁, L₂の何れか、具体的には、提示される際に隣接する２個の画像間での運動エネルギーの差分の絶対値の総和、または、第１の元画像と第２の元画像の間での運動エネルギーと、提示される際に隣接する２個の画像間での運動エネルギーのうちの第１の元画像と第２の元画像の間での運動エネルギー以外のものそれぞれと、の差分の絶対値の総和、を損失として、損失が小さくなるように第３フレームの暫定画像の画素値と第４フレームの暫定画像の画素値と第５フレームの暫定画像の画素値とを更新する最適化処理を行えばよい。追加画像生成部１２０は、公知の何れの最適化処理を行ってもよいが、例えば、参考文献１に記載されたアルゴリズムによる最適化処理を行えばよい。 Step S120-B22: The additional image generation unit 120 performs an optimization process to update the pixel values of the provisional image of the third frame, the pixel values of the provisional image of the fourth frame, and the pixel values of the provisional image of the fifth frame so as to reduce the loss based on the loss that makes the kinetic energy between frames as equal as possible obtained in step S120-B21. For example, the additional image generating unit 120 may perform an optimization process to update pixel values of the provisional image of the third frame, the provisional image of the fourth frame, and the provisional image of the fifth frame so as to reduce the loss, using one of the two losses L ₁ and L ₂ described above in the description of the specific example of the operation of the additional image generating unit 120 when N=2, specifically, the sum of the absolute values of the differences in the kinetic energy between two adjacent images when presented, or the sum of the absolute values of the differences between the kinetic energy between the first original image and the second original image and each of the kinetic energies between the two adjacent images when presented other than the kinetic energy between the first original image and the second original image. The additional image generating unit 120 may perform any known optimization process, but may perform an optimization process using the algorithm described in Reference 1, for example.

追加画像生成部１２０は、次に、ステップＳ１２０－Ｂ２で得た第３フレームの暫定画像と第４フレームの暫定画像と第５フレームの暫定画像のそれぞれ、すなわち、最適化後の第３フレームの暫定画像と第４フレームの暫定画像と第５フレームの暫定画像のそれぞれを、第３フレームの追加画像と第４フレームの追加画像と第５フレームの追加画像として出力する（ステップＳ１２０－Ｂ３）。 The additional image generation unit 120 then outputs the provisional image of the third frame, the provisional image of the fourth frame, and the provisional image of the fifth frame obtained in step S120-B2, i.e., the provisional image of the third frame, the provisional image of the fourth frame, and the provisional image of the fifth frame after optimization, as the additional image of the third frame, the additional image of the fourth frame, and the additional image of the fifth frame (step S120-B3).

＜第２実施形態＞
第１実施形態では、第１の元画像を提示用単位映像の第１フレームの画像とし、第２の元画像を提示用単位映像の第２フレームの画像とし、Ｎ個の追加画像のｎ番目の画像を提示用単位映像の第ｎ＋２フレームの画像とする具体例を説明したが、提示用単位映像において、第１の元画像と第２の元画像の間に１個以上の追加画像が含まれるようにしてもよい。この場合も第１実施形態と同様に、追加画像生成部１２０は、提示用単位映像に含まれるＮ＋２個の画像において、提示される際に隣接する２個の画像間での運動エネルギーがなるべく等しくなるように、Ｎ個の前記追加画像を生成すればよい。 Second Embodiment
In the first embodiment, a specific example was described in which the first original image is the image of the first frame of the presentation unit video, the second original image is the image of the second frame of the presentation unit video, and the n-th image of the N additional images is the image of the n+2-th frame of the presentation unit video, but one or more additional images may be included between the first original image and the second original image in the presentation unit video. In this case, as in the first embodiment, the additional image generating unit 120 may generate N additional images such that the kinetic energy between two adjacent images is as equal as possible when presented among the N+2 images included in the presentation unit video.

例えば、Ｎを２以上の整数として、提示用映像生成部１３０は、第１の元画像を最小単位の画像組の第１フレームの画像とし、１番目の追加画像を最小単位の画像組の第２フレームの画像とし、第２の元画像を最小単位の画像組の第３フレームの画像とし、２番目以降の各追加画像を最小単位の画像組の第ｎ＋２フレームの画像として、第１フレームの画像から第Ｎ＋２フレームの画像までを順に連結することで、Ｎ＋２フレームからなる最小単位の画像組を提示用単位映像として生成するようにしてもよい。この例においても、追加画像生成部１２０は、第１実施形態と同様に、第１フレームの画像から第Ｎ＋２フレームの画像までにおいて隣接する２個のフレームの画像によるペアＮ＋１個と、第Ｎ＋２フレームの画像と第１フレームの画像によるペア１個と、のＮ＋２個のペアについて、各ペアを構成する２個の画像間での運動エネルギーがなるべく等しくなるように追加画像を生成すればよい。追加画像生成部１２０の最適化処理における損失としては、第１実施形態で上述した損失L₁を用いてもよいし、以下で説明する損失L₃を用いてもよい。損失L₃は、第１の元画像と第２の元画像の間での運動エネルギーを第１の元画像と第２の元画像の間の追加画像の個数に１を加えた値で割った値を目標として、提示される際に隣接する２個の画像間での運動エネルギーそれぞれができるだけ目標に近づくようにするための損失である。 For example, the presentation image generating unit 130 may generate a minimum unit image set consisting of N+2 frames as a presentation unit image by sequentially connecting the image of the first frame to the image of the N+2 frame, where N is an integer equal to or greater than 2, with the first original image being the image of the first frame of the minimum unit image set, the first additional image being the image of the second frame of the minimum unit image set, the second original image being the image of the third frame of the minimum unit image set, and each additional image from the second onwards being the image of the n+2 frame of the minimum unit image set. In this example, the additional image generating unit 120 may generate additional images for N+2 pairs, including N+1 pairs of images of two adjacent frames from the image of the first frame to the image of the N+2 frame, and one pair of the image of the N+2 frame and the image of the first frame, as in the first embodiment, so that the kinetic energy between the two images constituting each pair is as equal as possible. As the loss in the optimization process of the additional image generating unit 120, the loss L ₁ described above in the first embodiment may be used, or the loss L ₃ described below may be used. The loss _L3 is a loss that aims to make each of the kinetic energies between two adjacent images as close as possible to a target value obtained by dividing the kinetic energy between the first and second original images by the number of additional images between the first and second original images plus 1 when presented.

追加画像生成部１２０が行う最適化処理における損失を得る具体例を、Ｎ＝３として、提示用映像生成部１３０が、第１の元画像を最小単位の画像組の第１フレームの画像とし、第２の元画像を最小単位の画像組の第３フレームの画像とし、１番目の追加画像を第２フレームの画像とし、２番目の追加画像を第４フレームの画像とし、３番目の追加画像を第５フレームの画像として、第１フレームの画像から第Ｎ＋２フレームの画像までを順に連結することで、Ｎ＋２フレームからなる最小単位の画像組を提示用単位映像として生成する例で説明する。この例であれば、追加画像生成部１２０は、まず、目標運動エネルギーM^T _p,f,o,τを、第１フレームの画像と第３フレームの画像を時間的に連結した画像列に第１実施形態で上述した複数の異なる３次元の各フィルタψ_f,o,τ,φを畳み込んで得られた各畳み込み結果S_p,f,o,τ,φを使って下記の式（４）により得る。

その後、追加画像生成部１２０は、最適化処理における損失L₃を下記の式（５）により得る。

A specific example of the loss in the optimization process performed by the additional image generating unit 120 will be described below with N=3, in which the presentation image generating unit 130 generates a minimum unit image set consisting of N+2 frames as a presentation unit image by sequentially connecting the first frame image to the N+2th frame image, with the first original image as the image of the first frame of the minimum unit image set, the second original image as the image of the third frame of the minimum unit image set, the first additional image as the image of the second frame, the second additional image as the image of the fourth frame, and the third additional image as the image of the fifth frame. In this example, the additional image generating unit 120 first obtains the target kinetic energy M ^T _p,f,o,τ by convolving the image sequence in which the image of the first frame and the image of the third frame are temporally connected with each of the multiple different three-dimensional filters ψ _{f,o,τ,φ described above in the first embodiment, using the convolution results S p,f,o,τ,φ} _obtained by convolving the image sequence in which the image of the first frame and the image of the third frame are temporally connected with each other, according to the following formula (4).

Then, the additional image generation unit 120 obtains the loss _L3 in the optimization process by the following formula (5).

また、より一般的に、Ｎを２以上の整数、ｘを３以上の整数として、提示用映像生成部１３０は、第１の元画像を最小単位の画像組の第１フレームの画像とし、１番目の追加画像を最小単位の画像組の第２フレームの画像とし、…、ｘ－２番目の追加画像を最小単位の画像組の第ｘ－１フレームの画像とし、第２の元画像を最小単位の画像組の第ｘフレームの画像とし、ｘ－１番目の追加画像を最小単位の画像組の第ｘ＋１フレームの画像とし、…、Ｎ番目の追加画像を最小単位の画像組の第Ｎ＋２フレームの画像として、第１フレームの画像から第Ｎ＋２フレームの画像までを順に連結することで、Ｎ＋２フレームからなる最小単位の画像組を提示用単位映像として生成するようにしてもよい。この場合においても、追加画像生成部１２０は、第１実施形態と同様に、第１フレームの画像から第Ｎ＋２フレームの画像までにおいて隣接する２個のフレームの画像によるペアＮ＋１個と、第Ｎ＋２フレームの画像と第１フレームの画像によるペア１個と、のＮ＋２個のペアについて、各ペアを構成する２個の画像間での運動エネルギーがなるべく等しくなるように追加画像を生成すればよい。追加画像生成部１２０の最適化処理における損失としては、上述の通り、損失L₁を用いてもよいし、損失L₃を用いてもよい。 Furthermore, more generally, N may be an integer of 2 or greater, x may be an integer of 3 or greater, and the presentation image generation unit 130 may generate a minimum unit image set consisting of N+2 frames as a presentation unit image by sequentially concatenating the images of the first frame to the N+2 frames, with the first original image being the image of the first frame of the minimum unit image set, the first additional image being the image of the second frame of the minimum unit image set, ..., the x-2nd additional image being the image of the x-1th frame of the minimum unit image set, the second original image being the image of the xth frame of the minimum unit image set, the x-1th additional image being the image of the x+1th frame of the minimum unit image set, ..., the Nth additional image being the image of the N+2th frame of the minimum unit image set, and so on. In this case, the additional image generating unit 120 may generate additional images for N+2 pairs, including N+1 pairs of images of two adjacent frames from the image of the first frame to the image of the N+2th frame, and one pair of an image of the N+2th frame and an image of the first frame, so that the kinetic energy between the two images constituting each pair is as equal as possible, as in the first embodiment. As the loss in the optimization process of the additional image generating unit 120, the loss _L1 or the loss _L3 may be used as described above.

追加画像生成部１２０は、まず、目標運動エネルギーM^T _p,f,o,τを、第１フレームの画像と第ｘフレームの画像を時間的に連結した画像列に第１実施形態で上述した複数の異なる３次元の各フィルタψ_f,o,τ,φを畳み込んで得られた各畳み込み結果S_p,f,o,τ,φを使って下記の式（４'）により得る。

その後、追加画像生成部１２０は、最適化処理における損失損失L₃を下記の式（５'）により得る。

The additional image generation unit 120 first obtains the target kinetic energy M ^T _p,f,o,τ according to the following equation (4') using each of the convolution results S p, _f,o,τ, _{φ obtained by convolving the multiple different three-dimensional filters ψ f,o,τ,} φ described above in the first embodiment with an image sequence that temporally connects the image of the first frame and the image of the xth frame.

Then, the added image generating unit 120 obtains the loss _L3 in the optimization process by the following formula (5').

＜第３実施形態＞
第２実施形態までは提示される映像のフレームレートが固定であることを前提としたが、第１フレームの画像から第Ｎ＋２フレームの画像までにおいて隣接する２個のフレームの画像によるペアＮ＋１個と、第Ｎ＋２フレームの画像と第１フレームの画像によるペア１個と、のＮ＋２個のペアについての提示される時間間隔は、全て同一であることは必須ではなく、予め設定された時間間隔であればよい。本発明では、Ｎ＋２個のペアについての提示される時間間隔が全て同一であるか否かにかかわらず、観察者が観察する際の、人間の視覚系における運動検出特性を考慮して追加画像を生成すればよい。したがって、Ｎ＋２個のペアについての提示される時間間隔が全て同一であるか否かにかかわらず、追加画像生成部１２０は、提示される際に隣接する２個の画像の間での提示される際の単位時間あたりの運動エネルギーがなるべく等しくなるようにＮ個の追加画像を生成ればよい。 Third Embodiment
Up to the second embodiment, it is assumed that the frame rate of the presented image is fixed, but the time intervals presented for N+2 pairs, i.e., N+1 pairs of images of two adjacent frames from the image of the first frame to the image of the N+2 frame and one pair of an image of the N+2 frame and an image of the first frame, are not necessarily the same, and may be a preset time interval. In the present invention, regardless of whether the time intervals presented for the N+2 pairs are all the same, the additional images may be generated taking into account the motion detection characteristics of the human visual system when observed by an observer. Therefore, regardless of whether the time intervals presented for the N+2 pairs are all the same, the additional image generating unit 120 may generate N additional images so that the kinetic energy per unit time between the two adjacent images when presented is as equal as possible.

＜プログラム及び記録媒体＞
上述した映像生成装置の各部の処理をコンピュータにより実現してもよく、この場合は各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムを図３に示すコンピュータ１０００の記憶部１０２０に読み込ませ、演算処理部１０１０、入力部１０３０、出力部１０４０などに動作させることにより、上記各装置における各種の処理機能がコンピュータ上で実現される。 <Program and recording medium>
The processing of each unit of the image generating device described above may be realized by a computer, in which case the processing contents of the functions that each device should have are described by a program. Then, by loading this program into the storage unit 1020 of the computer 1000 shown in Figure 3 and operating the arithmetic processing unit 1010, input unit 1030, output unit 1040, etc., various processing functions of each of the above devices are realized on the computer.

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体は、例えば、非一時的な記録媒体であり、具体的には、磁気記録装置、光ディスク、等である。 The program describing this processing can be recorded on a computer-readable recording medium. A computer-readable recording medium is, for example, a non-transitory recording medium, specifically, a magnetic recording device, an optical disk, etc.

また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。 The program may be distributed, for example, by selling, transferring, or lending portable recording media such as DVDs and CD-ROMs on which the program is recorded. Furthermore, the program may be distributed by storing the program in a storage device of a server computer and transferring the program from the server computer to other computers via a network.

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の非一時的な記憶装置である補助記録部１０５０に格納する。そして、処理の実行時、このコンピュータは、自己の非一時的な記憶装置である補助記録部１０５０に格納されたプログラムを記憶部１０２０に読み込み、読み込んだプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを記憶部１０２０に読み込み、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。 A computer that executes such a program, for example, first stores the program recorded on a portable recording medium or the program transferred from a server computer in its own non-transient storage device, the auxiliary recording unit 1050. Then, when executing the process, the computer reads the program stored in its own non-transient storage device, the auxiliary recording unit 1050, into the storage unit 1020, and executes the process according to the read program. In addition, as another execution form of this program, the computer may read the program directly from the portable recording medium into the storage unit 1020 and execute the process according to the program, or, further, each time a program is transferred from the server computer to this computer, the computer may execute the process according to the received program one by one. In addition, the server computer may not transfer the program to this computer, but may execute the above-mentioned process by a so-called ASP (Application Service Provider) type service that realizes the processing function only by issuing an execution instruction and obtaining the result. In this embodiment, the program includes information used for processing by a computer that is equivalent to a program (such as data that is not a direct command to a computer but has properties that dictate computer processing).

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。 In addition, in this embodiment, the device is configured by executing a specific program on a computer, but at least a portion of the processing may be realized by hardware.

その他、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。 Needless to say, other modifications are possible without departing from the spirit of this invention.

Claims

An image generating device that generates an image for making an observer who sees the presentation perceive a visual target as moving continuously when the presentation unit images are repeatedly and continuously presented,
Let N be an integer equal to or greater than 1,
an additional image generating unit that generates N additional images using a first original image that is a certain image and a second original image that is an image different from the first original image;
a presentation image generating unit that generates a set of N+2 images, the first original image, the second original image, and N additional images, as the presentation unit image;
Including,
The additional image generating unit is
An image generating device that generates N additional images such that, among the N+2 images included in the unit image for presentation, the kinetic energy per unit time between two adjacent images when presented is as equal as possible.

2. The image generating device according to claim 1,
The second original image is an image in which one or more visual objects are located at positions that are not approximately the same as their positions in the first original image, and objects other than the visual objects are located at positions that are approximately the same as their positions in the first original image.

3. The image generating device according to claim 2,
An image generating device, wherein the positions of the one or more visual targets in the second original image are within a range in which movement is perceived when the first original image and the second original image are presented in succession over time.

4. The image generating device according to claim 1,
The additional image generating unit is
A set of N+2 images including the first original image, the second original image, and the initial tentative images of the N additional images is set as an initial image set to be updated;
For the image set to be updated, a sum of absolute values of the difference in kinetic energy between two adjacent images when presented is set as a loss, and a process of updating pixel values of the provisional images of the N additional images so as to reduce the loss is repeated until a predetermined condition is satisfied, thereby obtaining the N provisional images as the N additional images.
Image generation device.

4. The image generating device according to claim 1,
Let n be an integer between 1 and N, inclusive.
The presentation image generation unit is
The first original image is a first frame image, the second original image is a second frame image, and the n-th image of the N additional images is an n+2-th frame image, and the images of the first frame to the N+2-th frame are sequentially linked to generate the unit video for presentation;
The additional image generating unit is
generating N additional images for N+2 pairs, including N+1 pairs of images of two adjacent frames from the image of the first frame to the image of the N+2 frame, and one pair of the image of the N+2 frame and the image of the first frame, so that the kinetic energy between the two images constituting each pair is as equal as possible;
Image generation device.

6. The image generating device according to claim 5,
The additional image generating unit is
A set of the image of the first frame, the image of the second frame, and N initial tentative images of the n+2 frame is set as an initial image set to be updated;
For the image set to be updated,
a sum of absolute values of differences in kinetic energy between two images constituting each pair of N+2 pairs, including N+1 pairs of images of two adjacent frames from the image of the first frame to the image of the N+2 frame, and one pair of the image of the N+2 frame and the image of the first frame;
or
a sum of absolute values of differences between kinetic energy between two images constituting each of N+1 pairs, including N pairs of images of two adjacent frames from the image of the second frame to the image of the N+2 frame, and one pair of the image of the N+2 frame and the image of the first frame, and between kinetic energy between the image of the first frame and the image of the second frame;
a loss is set as the loss, and a process of updating pixel values of the tentative images of the N additional images is repeated so as to reduce the loss until a predetermined condition is satisfied, thereby obtaining the N tentative images as the N additional images.
Image generation device.

4. The image generating device according to claim 1,
Let N be an integer equal to or greater than 2, and n be an integer equal to or greater than 1 and equal to or less than N,
The presentation image generation unit is
The first original image is an image of a first frame, the second original image is an image of an xth frame, which is any one of the 3rd frame to the N+1th frame, and each of the N additional images is an image of each of the N frames that are neither the 1st frame nor the xth frame, and the image of the 1st frame to the image of the N+2th frame are sequentially connected to generate the unit video for presentation;
The additional image generating unit is
generating N additional images for N+2 pairs, including N+1 pairs of images of two adjacent frames from the image of the first frame to the image of the N+2 frame, and one pair of the image of the N+2 frame and the image of the first frame, so that the kinetic energy between the two images constituting each pair is as equal as possible;
Image generation device.

8. The image generating device according to claim 7,
The additional image generating unit is
A set of the image of the first frame, the image of the xth frame, and initial tentative images of N frames other than the first frame and the xth frame is set as an initial image set to be updated;
For the image set to be updated,
a sum of absolute values of differences in kinetic energy between two images constituting each pair of N+2 pairs, including N+1 pairs of images of two adjacent frames from the image of the first frame to the image of the N+2 frame, and one pair of the image of the N+2 frame and the image of the first frame;
or
the sum of absolute values of the differences between the value obtained by dividing the kinetic energy between the image of the first frame and the image of the xth frame by x-1 and the kinetic energy between the two images constituting each of the N+2 pairs;
a loss is set as the loss, and a process of updating pixel values of the tentative images of the N additional images is repeated so as to reduce the loss until a predetermined condition is satisfied, thereby obtaining the N tentative images as the N additional images.
Image generation device.

An image generating method for generating an image for causing an observer who sees a presentation of unit images for presentation repeatedly and continuously to perceive a visual target as if the visual target were moving continuously, the image generating method comprising:
Let N be an integer equal to or greater than 1,
an additional image generating step in which the image generating device generates N additional images using a first original image that is a certain image and a second original image that is an image different from the first original image;
a presentation image generating step in which the image generating device generates, as the presentation unit image, a set of N+2 images including the first original image, the second original image, and N additional images;
Including,
The additional image generating step includes:
An image generation method for generating N additional images such that, among the N+2 images included in the unit image for presentation, the kinetic energy per unit time between two adjacent images when presented is as equal as possible.

A program for causing a computer to function as each part of the image generating device according to any one of claims 1 to 8.