JP6452429B2 - Image processing apparatus, image processing method, and image processing program - Google Patents
Image processing apparatus, image processing method, and image processing program Download PDFInfo
- Publication number
- JP6452429B2 JP6452429B2 JP2014256478A JP2014256478A JP6452429B2 JP 6452429 B2 JP6452429 B2 JP 6452429B2 JP 2014256478 A JP2014256478 A JP 2014256478A JP 2014256478 A JP2014256478 A JP 2014256478A JP 6452429 B2 JP6452429 B2 JP 6452429B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- free viewpoint
- viewpoint image
- user
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and an image processing program.
従来、タイムスライス（Time Slice）やバレットタイム（Bullet Time）等と呼ばれる撮影技術が知られている。この撮影技術では、複数の撮像装置（例えば、カメラ）が撮像対象（例えば、人間などの被写体）の周囲に配置される。このとき、複数の撮像装置は、各撮像装置の光軸が撮像対象における所定の位置を通過するように配置され、被写体を撮像する。かかる撮影技術により撮像された画像データを結合することで生成される画像は、自由視点画像等と呼ばれる。ユーザは、自由視点画像において任意の視点を選択することが可能であり、様々な角度から被写体を視認することができる。例えば、自由視点画像は、販促などに用いられた場合に、通常の画像よりも高い販促効果を発揮することがある。 2. Description of the Related Art Conventionally, a photographing technique called time slice or bullet time is known. In this imaging technique, a plurality of imaging devices (for example, cameras) are arranged around an imaging target (for example, a subject such as a human). At this time, the plurality of imaging devices are arranged so that the optical axis of each imaging device passes through a predetermined position in the imaging target, and images the subject. An image generated by combining image data picked up by such a shooting technique is called a free viewpoint image or the like. The user can select an arbitrary viewpoint in the free viewpoint image, and can visually recognize the subject from various angles. For example, a free viewpoint image may exhibit a higher sales promotion effect than a normal image when used for sales promotion.
複数の撮像装置を用いた多視点の画像を表示する技術として、サーバに多視点画像（自由視点画像）に関するデータを保持しておき、クライアントからの要求に応じて、符号化された画像データを送信する技術が知られている。 As a technique for displaying a multi-viewpoint image using a plurality of imaging devices, data relating to a multi-viewpoint image (free viewpoint image) is held in a server, and encoded image data is received in response to a request from a client. Techniques for transmitting are known.
しかしながら、上記の従来技術では、一般ユーザに自由視点画像を有効に活用させることは困難であった。具体的には、上記の従来技術では、ネットワークを介した各種端末において、予めサーバに保持された自由視点画像を利用しやすくなるに過ぎない。このため、上記の従来技術では、例えば、一般ユーザが容易に自由視点画像を生成したり、生成した自由視点画像を第三者に閲覧させたりといった、自由視点画像の活用を促進させることは難しい。 However, with the above-described conventional technology, it has been difficult for a general user to effectively use a free viewpoint image. Specifically, the above-described conventional technology only makes it easy to use a free viewpoint image stored in advance in a server in various terminals via a network. For this reason, it is difficult for the above-described conventional technology to promote the use of free viewpoint images, for example, in which a general user easily generates a free viewpoint image or allows a third party to view the generated free viewpoint image. .
本願の開示する技術は、上記に鑑みてなされたものであって、一般ユーザに自由視点画像を有効に活用させることができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。 The technology disclosed in the present application has been made in view of the above, and an object thereof is to provide an image processing apparatus, an image processing method, and an image processing program that allow a general user to effectively use a free viewpoint image. To do.
本願に係る画像処理装置は、視点位置が異なる複数の画像データを受け付ける受付部と、前記受付部によって受け付けられた複数の画像データに所定の変換処理を行うことにより、任意の視点位置に対応する画像を連続的に表示可能である自由視点画像を生成する生成部と、前記生成部によって生成された自由視点画像を配信する配信部と、を備えることを特徴とする。 The image processing apparatus according to the present application corresponds to an arbitrary viewpoint position by performing a predetermined conversion process on a plurality of image data received by the reception unit and a plurality of image data received by the reception unit. The image processing apparatus includes: a generation unit that generates a free viewpoint image capable of continuously displaying images; and a distribution unit that distributes the free viewpoint image generated by the generation unit.
実施形態の一態様である画像処理装置によれば、一般ユーザに自由視点画像を有効に活用させることができるという効果を奏する。 According to the image processing apparatus which is one aspect of the embodiment, there is an effect that a general user can effectively use a free viewpoint image.
以下に、本願に係る画像処理装置、画像処理方法及び画像処理プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本願に係る画像処理装置、画像処理方法及び画像処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。 Hereinafter, embodiments of an image processing apparatus, an image processing method, and an image processing program according to the present application will be described in detail with reference to the drawings. Note that the image processing apparatus, the image processing method, and the image processing program according to the present application are not limited by this embodiment. In the following embodiments, the same portions are denoted by the same reference numerals, and redundant description is omitted.
〔１−１．第１の実施形態に係る画像処理の一例〕
まず、図１を用いて、第１の実施形態に係る画像処理の一例について説明する。図１は、第１の実施形態に係る画像処理の一例を示す図である。図１に示すように、第１の実施形態に係る画像処理システム１には、管理装置１０と、ユーザ端末２０と、ウェブサーバ５０と、画像処理装置１００とが含まれる。管理装置１０と、ユーザ端末２０及びウェブサーバ５０と、画像処理装置１００とは、図示しないネットワークＮを介して互いに通信可能に接続される。なお、画像処理システム１に含まれる各装置の台数は、図１に示した例に限られない。例えば、画像処理システム１には、複数台の管理装置１０や、ユーザ端末２０や、ウェブサーバ５０が含まれてもよい。
[1-1. Example of image processing according to first embodiment]
First, an example of image processing according to the first embodiment will be described with reference to FIG. FIG. 1 is a diagram illustrating an example of image processing according to the first embodiment. As illustrated in FIG. 1, the
管理装置１０は、画像処理装置１００を利用する者であって、ウェブサーバ５０を管理するサイト管理者によって利用される情報処理装置である。例えば、管理装置１０は、デスクトップ型ＰＣ（Personal Computer）や、ノート型ＰＣである。
The
ユーザ端末２０は、画像処理装置１００によって提供される自由視点画像を閲覧するユーザによって利用される端末装置である。例えば、ユーザ端末２０は、スマートフォン等の携帯電話機、ＰＤＡ（Personal Digital Assistant）、タブレット端末、ＰＣ等である。
The
ウェブサーバ５０は、サイト管理者によって管理されるサーバ装置である。具体的には、ウェブサーバ５０は、ユーザ端末２０にウェブページを配信することで、各種サービスを提供する。例えば、ウェブサーバ５０は、検索サイト、オークションサイト、ショッピングサイト、ニュースサイト、天気予報サイト、ファイナンス（株価）サイト、路線検索サイト、地図提供サイト、旅行サイト、飲食店紹介サイト、ウェブブログなどの各種サービスを提供することができる。図１に示す例では、ウェブサーバ５０は、ショッピングサイトに係るウェブサービスを提供しているものとする。
The
画像処理装置１００は、所定の表示領域（例えば、通常１枚の画像が表示される１つの画像表示枠）において任意の視点位置に対応する画像を連続的に表示可能な画像である自由視点画像を生成し、生成された自由視点画像を配信するサーバ装置である。例えば、画像処理装置１００は、タイムスライスやバレットタイム等と呼ばれる撮影技術によって生成された自由視点画像を管理装置１０に配信する。具体的には、第１の実施形態に係る画像処理装置１００は、自由視点画像の配信を所望するサイト管理者から複数の画像データの入稿を受け付け、受け付けた複数の画像データから自由視点画像を生成する。そして、画像処理装置１００は、生成した自由視点画像を管理装置１０に配信する。以下、画像処理装置１００が行う画像処理について、流れに沿って説明する。
The
まず、サイト管理者は、自由視点画像を生成するための基となる画像を準備する（ステップＳ１１）。例えば、サイト管理者は、所定の被写体を取り囲むようにして撮像された画像データＰ０１、Ｐ０２、Ｐ０３、・・・、Ｐ０Ｎ（Ｎは任意の数）を準備する。図１に示す例では、画像データＰ０１は、被写体である女性を左側から撮像した画像である。また、画像データＰ０２は、女性を左斜め前から撮像した画像である。また、画像データＰ０３は、画像データＰ０２と比較して、女性を正面に近い左斜め前側から撮像した画像である。このように、画像データＰ０１〜Ｐ０Ｎは、例えば、女性を半円状に取り囲むようにして順番に撮像された画像データである。 First, the site administrator prepares an image serving as a basis for generating a free viewpoint image (step S11). For example, the site manager prepares image data P01, P02, P03,..., P0N (N is an arbitrary number) captured so as to surround a predetermined subject. In the example shown in FIG. 1, the image data P01 is an image obtained by capturing an image of a woman as a subject from the left side. Further, the image data P02 is an image obtained by imaging a woman from the diagonally left front. Further, the image data P03 is an image obtained by imaging a woman from the diagonally left front side close to the front as compared with the image data P02. Thus, the image data P01 to P0N are, for example, image data captured in order so as to surround a woman in a semicircular shape.
そして、管理装置１０は、サイト管理者の操作に従って、複数の画像データを画像処理装置１００に入稿する（ステップＳ１２）。例えば、管理装置１０は、画像処理装置１００が提供する画像生成サービスを提供するウェブページにおいて、複数の画像データをアップロードすることにより、画像データを入稿する。
Then, the
画像処理装置１００は、複数の画像データの入稿を受け付ける。そして、画像処理装置１００は、入稿された画像データに基づいて、自由視点画像を生成する（ステップＳ１３）。具体的には、画像処理装置１００は、入稿された複数の画像データに関して所定の校正（カメラキャリブレーション）を行うことにより、自由視点画像を構成するための画像に変換するための適切なパラメータ（例えば、射影変換行列）を取得する。そして、画像処理装置１００は、取得されたパラメータを用いて画像データを射影変換する。そして、画像処理装置１００は、射影変換された画像を連結することにより、複数の画像について滑らかに表示を遷移させることのできる自由視点画像を生成することができる。かかる処理について、詳しくは後述する。
The
画像処理装置１００は、生成した自由視点画像を管理装置１０に配信する（ステップＳ１４）。そして、管理装置１０は、ウェブサーバ５０で提供するウェブページに、配信された自由視点画像を取り込む（ステップＳ１５）。例えば、管理装置１０は、ウェブページにおいて、通常は自由視点画像ではない画像が表示される枠に、自由視点画像が表示されるようにＨＴＭＬ（HyperText Markup Language）ファイルを更新する。
The
その後、一般ユーザが操作するユーザ端末２０は、ショッピングサイトを利用するために、ウェブサーバ５０にアクセスする（ステップＳ１６）。ウェブサーバ５０は、ユーザ端末２０からのウェブページ取得要求に従い、ウェブページを配信する（ステップＳ１７）。ここでは、ウェブサーバ５０は、自由視点画像がページ内に取り込まれているウェブページＷ０１をユーザ端末２０に配信する。
Thereafter, the
そして、ユーザ端末２０は、ウェブページＷ０１を表示する（ステップＳ１８）。例えば、ウェブページＷ０１は、女性向けの服飾のショッピングページである。図１に示すように、ウェブページＷ０１には、画像データＰ０１、Ｐ０１、Ｐ０３、・・・、Ｐ０Ｎから生成された自由視点画像ＦＶ０１が含まれる。自由視点画像ＦＶ０１は、ユーザによって選択される任意の視点によって被写体を表示することができる。例えば、ユーザは、マウスなどの入力装置を用いて自由視点画像ＦＶ０１上をドラッグ等することにより、自由視点画像ＦＶ０１における視点を自由に動かすことができる。
Then, the
このように、第１の実施形態に係る画像処理装置１００は、視点位置が異なる複数の画像データの入稿を受け付け、受け付けられた複数の画像データに所定の変換処理を行うことにより自由視点画像を生成し、生成された自由視点画像を配信する。
As described above, the
これにより、第１の実施形態に係る画像処理装置１００は、例えば、サイト管理者のように自由視点画像を活用して商材販売の促進を図る者などに自由視点画像を提供することができる。そして、サイト管理者は、自由視点画像を販促などに利用することにより、通常の画像を提示するよりも、より高い販促効果を発揮させることができる。また、サイト管理者は、自身が準備した画像を画像処理装置１００に入稿するだけで自由視点画像を受け取ることができるので、自由視点画像を生成する労力を削減することができる。また、ユーザは、自身が所望する角度で画像を表示させることができるので、例えば、ショッピングサイトにおける購買活動などにおいて、商品に関する情報などを容易に取得することができる。このように、第１の実施形態に係る画像処理装置１００は、一般ユーザに自由視点画像を有効に活用させることができるという効果を奏する。
Thereby, the
〔１−２．画像処理装置の構成〕
次に、図２を用いて、第１の実施形態に係る画像処理装置１００の構成について説明する。図２は、第１の実施形態に係る画像処理装置１００の構成例を示す図である。図２に示すように、画像処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。
[1-2. Configuration of image processing apparatus]
Next, the configuration of the
（通信部１１０について）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、図示しないネットワークＮと有線又は無線で接続され、管理装置１０や、ユーザ端末２０や、ウェブサーバ５０との間で情報の送受信を行う。
(About the communication unit 110)
The communication unit 110 is realized by, for example, a NIC (Network Interface Card). The communication unit 110 is connected to a network N (not shown) in a wired or wireless manner, and transmits / receives information to / from the
（記憶部１２０について）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図２に示すように、記憶部１２０は、画像データ記憶部１２１と、自由視点画像記憶部１２２とを有する。
(About the storage unit 120)
The
（画像データ記憶部１２１について）
画像データ記憶部１２１は、管理装置１０から入稿された画像データに関する情報を記憶する。ここで、図３に、第１の実施形態に係る画像データ記憶部１２１の一例を示す。図３に示した例では、画像データ記憶部１２１は、「入稿ＩＤ」、「画像データ」といった項目を有する。
(About the image data storage unit 121)
The image
「入稿ＩＤ」は、入稿された画像データを識別するための識別情報を示す。入稿ＩＤが示す情報には、例えば、入稿された日時や、入稿元となる管理装置１０を識別する情報が含まれてもよい。
“Submission ID” indicates identification information for identifying the submitted image data. The information indicated by the submission ID may include, for example, the date and time of submission and information for identifying the
「画像データ」は、入稿された画像データを示す。図１で示したように、管理装置１０は、自由視点画像の基となる画像データとして、複数の画像データを入稿する。「画像データ」の項目には、管理装置１０から入稿された一連の画像データが対応付けられて記憶される。また、各画像データには、「Ｐ０１、Ｐ０２、Ｐ０３、・・・」などの続き番号による識別情報が付与される。かかる続き番号により、画像処理装置１００は、自由視点画像における画像同士の連結順を認識する。
“Image data” indicates the submitted image data. As shown in FIG. 1, the
すなわち、図３では、入稿ＩＤ「Ａ０１」で識別される画像データの入稿では、画像データ「Ｐ０１、Ｐ０２、Ｐ０３、・・・」が自由視点画像を生成する基となる画像データとして入稿されたことを示す。 That is, in FIG. 3, in the submission of the image data identified by the submission ID “A01”, the image data “P01, P02, P03,...” Is input as the image data that is the basis for generating the free viewpoint image. Indicates that it has been written.
（自由視点画像記憶部１２２について）
自由視点画像記憶部１２２は、画像処理装置１００が生成した自由視点画像に関する情報を記憶する。ここで、図４に、第１の実施形態に係る自由視点画像記憶部１２２の一例を示す。図４に示した例では、自由視点画像記憶部１２２は、「自由視点画像ＩＤ」、「元画像データ」、「校正データ」、「変換後画像データ」、「変換可否」、「初期表示画面」といった項目を有する。
(Free viewpoint image storage unit 122)
The free viewpoint
「自由視点画像ＩＤ」は、自由視点画像の識別情報を示す。「元画像データ」は、自由視点画像の生成元となった画像データを示す。自由視点画像は複数の画像データから生成されるため、元画像データは、一つの自由視点画像に対して複数記憶される。 “Free viewpoint image ID” indicates identification information of the free viewpoint image. “Original image data” indicates image data that is a generation source of a free viewpoint image. Since a free viewpoint image is generated from a plurality of image data, a plurality of original image data is stored for one free viewpoint image.
「校正データ」は、自由視点画像を生成するための所定の校正データ（カメラキャリブレーション）を示す。図４では、校正データを「Ｒ０１」のような概念で示す。校正データには、画像処理装置１００が自由視点画像を構成する画像を取得するために、元画像データを適切に射影変換するための種々のデータが含まれる。なお、校正データには、入稿された画像データから取得可能な場合には、撮像装置のカメラパラメータとして、撮像装置の焦点距離や、撮像装置によって生成される画像のアスペクト比及びスキューなどが含まれてもよい。
“Calibration data” indicates predetermined calibration data (camera calibration) for generating a free viewpoint image. In FIG. 4, the calibration data is represented by a concept such as “R01”. The calibration data includes various data for appropriately projective transformation of the original image data in order for the
「変換後画像データ」は、自由視点画像を構成する画像データを示す。変換後画像データは、例えば、元画像データに対して所定の校正を行い、射影変換された後の画像データを示す。 “Converted image data” indicates image data constituting a free viewpoint image. The post-conversion image data indicates, for example, image data after performing a predetermined calibration on the original image data and performing projective transformation.
「変換可否」は、元画像データを自由視点画像として変換することができたか否かを示す。例えば、変換可否の項目が「Ｙ」である場合には、変換が可能であることを示し、変換可否の項目が「Ｎ」である場合には、変換が不可能であることを示す。変換不可能な場合とは、例えば、元画像データが自由視点画像の生成を目的として撮像されておらず、所定の校正を行えないと画像処理装置１００によって判定された場合などが該当する。
“Convertability” indicates whether or not the original image data could be converted as a free viewpoint image. For example, if the item “conversion possible” is “Y”, it indicates that conversion is possible, and if the item “conversion possible” is “N”, it indicates that conversion is impossible. The case where conversion is impossible corresponds to, for example, a case where the original image data is not captured for the purpose of generating a free viewpoint image and the
「初期表示画面」は、自由視点画像の最初の表示に対応する画像を示す。初期表示画面は、変換後画像データのうちの１つの変換後画像データが選択される。なお、「変換可否」の項目が「Ｎ」である自由視点画像は、自由視点画像を生成できていないため、初期表示画面の項目は空欄となる。 The “initial display screen” indicates an image corresponding to the initial display of the free viewpoint image. On the initial display screen, one post-conversion image data is selected from the post-conversion image data. It should be noted that a free viewpoint image whose “conversion possible” item is “N” has not been generated, and therefore the item on the initial display screen is blank.
すなわち、図４では、自由視点画像ＩＤ「ＦＶ０１」で識別される自由視点画像は、元画像データが「Ｐ０１、Ｐ０２、Ｐ０３、・・・」であり、それぞれの校正データは「Ｒ０１、Ｒ０２、Ｒ０３、・・・」であり、変換後画像データは「ＲＰ０１、ＲＰ０２、ＲＰ０３、・・・」であり、変換可否は「Ｙ」であり、初期表示画面は「ＲＰ０１」である例を示している。 That is, in FIG. 4, the free viewpoint image identified by the free viewpoint image ID “FV01” has the original image data “P01, P02, P03,...”, And the respective calibration data is “R01, R02, R03,..., The converted image data is “RP01, RP02, RP03,...”, The conversion possibility is “Y”, and the initial display screen is “RP01”. Yes.
なお、自由視点画像は、ユーザの任意の選択により自由視点画像の回転中心（注視点）が各々異なる自由視点画像が生成される場合がある。自由視点画像記憶部１２２には、自由視点画像ＩＤに対応付けられて、注視点に関する情報も記憶されるものとする。
As the free viewpoint image, there may be cases where free viewpoint images having different rotation centers (gaze points) of the free viewpoint image are generated by arbitrary selection by the user. It is assumed that the free viewpoint
（制御部１３０について）
制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、画像処理装置１００内部の記憶装置に記憶されている各種プログラム（画像処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。
(About the control unit 130)
The
制御部１３０は、図２に示すように、受付部１３１と、生成部１３２と、配信部１３３とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各処理部の接続関係は、図２に示した接続関係に限られず、他の接続関係であってもよい。
As illustrated in FIG. 2, the
（受付部１３１について）
受付部１３１は、視点位置が異なる複数の画像データを受け付ける。具体的には、第１の実施形態に係る受付部１３１は、サイト管理者によって準備された複数の画像データであって、被写体を取り囲むようにして連続的に撮像された画像データの入稿を受け付ける。
(About the reception unit 131)
The accepting
受付部１３１は、入稿を受け付けた一連の画像データに入稿ＩＤを付与し、画像データ記憶部１２１に格納する。
The accepting
（生成部１３２について）
生成部１３２は、受付部１３１によって受け付けられた複数の画像データに所定の変換処理を行うことにより、任意の視点位置に対応する自由視点画像を生成する。具体的には、第１の実施形態に係る生成部１３２は、入稿された画像データについて所定の校正を行うことで、自由視点画像を構成する画像に変換させるための変換行列を取得する。そして、生成部１３２は、取得された変換行列によって元画像データを射影変換することにより、変換後の画像データを取得する。そして、生成部１３２は、変換後画像データを連結することにより自由視点画像を生成する。
(About the generator 132)
The generating
ここで、生成部１３２が扱う自由視点画像について、図５〜７を用いて説明する。まず、図５を用いて、自由視点画像に関する撮像装置の配置について説明する。図５は、自由視点画像に関する撮像装置の配置の一例を示す図である。図５では、自由視点画像の基となる複数の画像データの撮像について、理想的な撮像装置の配置の一例を示している。なお、図５及び図６では、被写体６０を上から見た例を示す。
Here, the free viewpoint image handled by the
図５において、撮像装置Ｃ１１〜Ｃ１６は、例えば、デジタルカメラである。また、撮像装置Ｃ１１〜Ｃ１６は、各撮像装置における光軸が所定の位置を通過するように、撮像対象となる被写体６０の周囲に配置される。図５の例では、撮像装置Ｃ１１は、被写体６０の中心に該当する３次元位置Ｄ１を光軸Ｅ１１１が通過するように配置される。また、撮像装置Ｃ１２〜Ｃ１６は、それぞれの光軸Ｅ１２１〜Ｅ１６１が３次元位置Ｄ１を通過するように配置される。なお、撮像装置Ｃ１１〜Ｃ１６は、少なくとも投影面の底辺が地面と略平行となるように設置されるものとする。そして、撮像装置Ｃ１１〜Ｃ１６は、図１に示した状態で一斉に被写体６０を撮像することにより、被写体６０の自由視点画像を生成する基となる画像データを取得することができる。
In FIG. 5, imaging devices C11 to C16 are digital cameras, for example. In addition, the imaging devices C11 to C16 are arranged around the subject 60 to be imaged so that the optical axis in each imaging device passes through a predetermined position. In the example of FIG. 5, the image pickup device C11 is a three-dimensional position D1 corresponding to the center of the
なお、図５の例では、６台の撮像装置Ｃ１１〜Ｃ１６を用いて被写体６０を撮像する例を示したが、撮像装置の数はこの例に限られない。また、撮像装置Ｃ１１〜Ｃ１６の配置位置は、図５に示した例に限られない。例えば、撮像装置Ｃ１１〜Ｃ１６は、被写体６０を半円状に囲むのではなく、複数の撮像装置が被写体６０を囲むように、円周上に等間隔に配置されてもよい。 In the example of FIG. 5, an example in which the subject 60 is imaged using the six imaging devices C11 to C16 is shown, but the number of imaging devices is not limited to this example. Further, the arrangement positions of the imaging devices C11 to C16 are not limited to the example illustrated in FIG. For example, the imaging devices C11 to C16 may be arranged at equal intervals on the circumference so that a plurality of imaging devices surround the subject 60 instead of surrounding the subject 60 in a semicircular shape.
ただし、図５の撮像手法では、撮像装置Ｃ１１〜Ｃ１６の適切な配置や、撮像装置Ｃ１１〜Ｃ１６の適切なキャリブレーションが求められる。すなわち、図５で示すような撮像処理をサイト管理者のように撮像の専門家でない一般ユーザが行うのは困難である。 However, in the imaging method in FIG. 5, appropriate arrangement of the imaging devices C11 to C16 and appropriate calibration of the imaging devices C11 to C16 are required. In other words, it is difficult for a general user who is not an imaging specialist, such as a site administrator, to perform the imaging process as shown in FIG.
ここで、図６を用いて、実際にサイト管理者等（以下、「一般ユーザ」と表記する）によって被写体６０が撮像される場合の撮像処理について説明する。図６は、自由視点画像に関する撮像装置の配置の一例を示す図である。図６では、自由視点画像の基となる複数の画像データの撮像について、一般ユーザが実際に被写体６０を撮像する場合に想定される撮像装置の配置等を示す。なお、以下の説明において、撮像装置Ｃ２０１〜２０８を区別する必要のないときは、「撮像装置Ｃ２０」と記載する。
Here, an imaging process when the subject 60 is actually imaged by a site administrator or the like (hereinafter referred to as “general user”) will be described with reference to FIG. FIG. 6 is a diagram illustrating an example of the arrangement of the imaging devices related to the free viewpoint image. FIG. 6 shows the arrangement of the imaging devices assumed when a general user actually captures the subject 60 with respect to capturing a plurality of image data that is the basis of the free viewpoint image. In the following description, when it is not necessary to distinguish the
図６において、撮像装置Ｃ２０１〜２０８は、例えば、デジタルカメラである。理想的には、撮像装置Ｃ２０１〜２０８は、図５で説明したように、それぞれ個別の撮像装置として、被写体６０の周囲に配置されることが望ましい。ところが、実際には、一般ユーザは、１台の撮像装置Ｃ２０１を図６の撮像装置Ｃ２０１〜２０８が示す箇所に移動させながら、被写体６０を撮像することが想定される。具体的には、一般ユーザは、図６に示す撮像装置Ｃ２０１の場所から被写体６０を撮像する。そして、一般ユーザは、被写体６０を中心とした円に沿って、図６に示す撮像装置Ｃ２０２の場所へ移動し、被写体６０を撮像する。かかる作業を繰り返し、一般ユーザは、被写体６０について複数の画像データを取得する。
6, the
この場合、一般ユーザが、光軸Ｅ２０１が被写体６０の中心を通るように注意深く撮像したとしても、図５で示したように、自由視点画像の元画像として正確に被写体６０を撮像することは難しい。また、一般ユーザによって扱われる撮像装置Ｃ２０についてカメラキャリブレーションされているとは限らないため、画像データからカメラパラメータ等を取得することができない場合がある。このように、一般ユーザによって撮像された複数の画像データからは、自由視点画像を生成することは難しい。
In this case, the general user, even the optical axis E20 1 is carefully imaged so as to pass through the center of the
そこで、生成部１３２は、受付部１３１によって受け付けられた画像データについて所定の校正を行うことにより、自由視点画像を構成する画像に変換できるようにする。この点について、図７を用いて説明する。
Therefore, the
図７は、第１の実施形態に係る生成部１３２による生成処理の一例を示す図である。図７に示すように、生成部１３２は、受付部１３１によって受け付けられた画像データＰ０１、Ｐ０２、Ｐ０３、・・・について所定の校正を行う。
FIG. 7 is a diagram illustrating an example of a generation process performed by the
生成部１３２は、所定の校正において、ストラクチャーフロムモーション（Structure from Motion、以下、「ＳＦＭ」と記載する）と呼ばれる既存の手法を用いる。ＳＦＭによれば、種々の視点位置から撮像された複数の画像データに基づいて、画像の３次元形状を復元することが可能となる。具体的には、ＳＦＭは、画像データ間で対応付けされた対応点を用いて、かかる対応点の移動を基礎行列で表現することにより、撮像装置Ｃ２０の動きを算出する。これにより、撮像装置Ｃ２０の位置情報を復元することができるため、生成部１３２は、所定の校正（カメラキャリブレーション）を行うことができる。
The
図７に示すように、生成部１３２は、画像データＰ０１において、点Ｇ０１１〜Ｇ０１３を対応点として取得する。なお、ＳＦＭにおいては、被写体６０のように動きのある物体ではなく、背景のオブジェクトなど、比較的動きのない物体上に対応点が採られるため、対応点の移動を算出する精度を向上させることができる。そして、生成部１３２は、図７に示すように、画像データＰ０２についても、点Ｇ０２１〜Ｇ０２３を取得する。同様に、生成部１３２は、画像データＰ０３についても、点Ｇ０３１〜Ｇ０３３を取得する。そして、生成部１３２は、点Ｇ０１１〜Ｇ０３１の移動や、点Ｇ０１２〜Ｇ０３２の移動や、点Ｇ０１３〜Ｇ０３３の移動に関する情報を算出する。これにより、生成部１３２は、被写体６０が撮像された撮像装置Ｃ２０の位置情報等を復元し、取得することができる。生成部１３２は、かかる情報を自由視点画像記憶部１２２の校正データとして格納する。
As illustrated in FIG. 7, the
なお、図７の説明においては、点Ｇ０１１〜Ｇ０１３等を画像中の任意の点とする例を示したが、かかる点は画像の特徴を示す点であるため、実際には、画像内の背景にある物体の境目などが選定される傾向にある。 In the description of FIG. 7, an example in which the points G01 1 to G01 3 are arbitrary points in the image is shown. However, since these points are points indicating the characteristics of the image, There is a tendency to select boundaries between objects in the background.
また、生成部１３２は、所定の校正において、自由視点画像における、撮像装置Ｃ２０の注視方向に対する直角方向の軸（以下、「Ｙ軸」と表記する）に関する情報を設定する。通常、Ｙ軸は、被写体６０が配置される水平面に対する直角方向の軸となる。また、画像データにおけるＹ軸は、自由視点画像が生成された際の回転軸となる。生成部１３２は、Ｙ軸に関する情報を適切に設定することにより、射影変換時における画像の歪みを抑制することができる。
In addition, the
通常、バレットタイム等の手法による自由視点画像が生成される際には、適切にカメラキャリブレーションが行われた撮像装置により取得された画像データが用いられるため、画像データに含まれるカメラパラメータ等からＹ軸の情報を設定することができる。ところが、生成部１３２は、一般ユーザによって任意に準備された画像を用いて自由視点画像を生成するため、入稿された画像データに基づいて、自由視点画像におけるＹ軸の情報を設定することができない場合がある。このため、生成部１３２は、以下に説明する手法により、自由視点画像におけるＹ軸を推定する。
Normally, when a free viewpoint image is generated by a technique such as bullet time, image data acquired by an imaging device that has been appropriately calibrated is used, and therefore, from camera parameters included in the image data, etc. Y-axis information can be set. However, since the
生成部１３２は、かかる推定処理について、幾つかの手法を採用することができる。第１の手法によれば、生成部１３２は、画像データが取得される際の撮像装置Ｃ２０の位置関係に基づいて、Ｙ軸の情報を推定する。図６を例とすると、生成部１３２は、上述したＳＦＭの手法により、撮像装置Ｃ２０１の三次元位置と、隣り合う撮像装置Ｃ２０２の三次元位置とを推定する。そして、それらの３次元位置と、撮像装置Ｃ２０１及び２０２における注視点（例えば、画像データＰ０１の中心点）とにより三角形を構成する。そして、生成部１３２は、３点で構成された三角形の法線方向を自由視点画像におけるＹ軸として推定する。例えば、生成部１３２は、かかる処理を全ての撮像装置Ｃ２０に対して行い、最少二乗法などによりＹ軸の位置を近似させる。そして、生成部１３２は、近似されたＹ軸を自由視点画像におけるＹ軸として設定する。
The
また、第２の手法によれば、生成部１３２は、自由視点画像の基となる画像データが取得された際の撮像装置Ｃ２０におけるＹ軸の平均をとり、かかる平均を採用することができる。なお、生成部１３２は、ＳＦＭにより撮像装置Ｃ２０の３次元位置情報を推定することにより、各撮像装置Ｃ２０におけるＹ軸を推定する。
Also, according to the second method, the
また、第３の手法によれば、生成部１３２は、ＳＦＭにより、自由視点画像の基となる画像データが取得された際の撮像装置Ｃ２０の２次元位置情報を取得する。そして、生成部１３２は、取得された平面上の撮像装置Ｃ２０の点群における２次元位置の平均値を算出する。そして、生成部１３２は、かかる平均値における法線方向をＹ軸として推定する。第３の手法によれば、撮像装置Ｃ２０は水平面に対して該垂直であると想定してＹ軸を推定できるので、生成された自由視点画像における歪みを抑制できる場合がある。例えば、一般ユーザが被写体６０を撮像するときに撮像装置Ｃ２０を手で持っている場合には、撮像装置Ｃ２０のＹ軸は、水平面に対して直角ではなく、斜め前方（あるいは後方）に傾くことが一般に知られている。このような状態で撮像された複数の画像を射影変換した場合、各画像における水平面が歪むことにより、不自然な自由視点画像が生成される場合がある。このため、撮像装置Ｃ２０の３次元位置を取得する手法では、撮像状態によっては、自由視点画像におけるＹ軸を適切に設定できない場合がある。一方、第３の手法によれば、上記のように撮像状態にかかわらず、Ｙ軸を設定できるという利点がある。生成部１３２は、上記の手法のうち、いずれかの手法を採用することにより、生成される自由視点に対して適切なＹ軸の情報を設定することができる。
Further, according to the third method, the
なお、生成部１３２は、画像データにおける水平面（例えば、地面や床）に関しては、各画像の対応点を取得することにより推定することができる。例えば、生成部１３２は、自由視点画像の生成における隣り合わせとなる画像同士の点群を比較し、隣り合う画像データについて動きの少ない（変化の少ない）点群に対応する箇所を地面であると推定することができる。
In addition, the production |
上記のように、生成部１３２は、所定の変換処理として、ＳＦＭ等の手法により、複数の画像データ内で対応する点である対応点の関係に基づいて、当該画像データを取得した撮像装置Ｃ２０の相対的な位置情報を取得する。そして、生成部１３２は、ＳＦＭによる処理と、Ｙ軸を推定する処理とによって得られた各画像データに対応する校正データを用いて、各画像データに対応する射影変換行列を算出する。そして、生成部１３２は、算出された射影変換行列を用いて、自由視点画像記憶部１２２に記憶されている元画像データを変換し、変換後の自由視点画像を自由視点画像記憶部１２２に格納する。
As described above, the
なお、生成部１３２は、入稿された画像データから自由視点画像を生成する際に、生成される自由視点画像を確認するための画像である仮処理画像を生成してもよい。ここでは、仮処理画像とは、生成される自由視点画像のサンプル画像であり、入稿された画像データを自由視点画像が生成される順番で単に並べたもの等を示す。すなわち、生成部１３２は、所定の校正処理をして滑らかに表示される自由視点画像を生成する前に、単に受け付けた画像データを順番に並べて生成される１枚の画像を生成することで、迅速に一般ユーザに自由視点画像の出来上がりのイメージを提示することができる。なお、生成部１３２は、サンプル画像を生成するのではなく、予め格納されているサンプル画像を記憶部１２０内から取得し、かかるサンプル画像を表示させてもよい。
Note that the
また、生成部１３２は、複数の画像データが所定の連続性を有するか否かを判定することにより生成処理で取り扱う画像データを抽出し、抽出された画像データを用いて自由視点画像を生成してもよい。言い換えれば、生成部１３２は、入稿された複数の画像データのうち、自由視点画像の生成に適する画像データを抽出して自由視点画像を生成する。例えば、生成部１３２は、生成処理において、入稿された複数の画像データのうち、誤って入稿された画像データや、自由視点画像の生成に不適切な画像データを排除することができる。かかる処理は、例えば、ＳＦＭによる処理を行う際に隣り合う画像データ同士で対応する対応点が取得できなかったり、画像データ全体を通して、対応点の移動が連続していないと判定されたりすることによって行われる。このように、生成部１３２は、複数の画像データのうち、隣り合う画像データが所定の連続性を有するか否かを判定してもよいし、複数の画像データの全体における連続性を判定してもよい。生成部１３２は、変換処理で扱うことが可能な画像データを抽出して生成処理をすることにより、処理を止めることなく、適切に生成処理を行うことができる。
Further, the
また、生成部１３２は、上記のように不適切な画像データが混じることにより、入稿された複数の画像データによっては自由視点画像を生成することができない場合には、生成することができない理由、又は自由視点画像を生成可能とするための画像データの差し換えに係る情報が含まれる通知データを生成してもよい。例えば、生成部１３２は、図１に示す例において、画像データＰ０１と、画像データＰ０３との間の画像データＰ０２が入稿されていないことにより、ＳＦＭ等の処理ができなかったものとする。この場合、生成部１３２は、自由視点画像記憶部１２２の変換可否の項目を「Ｎ」とするとともに、画像データＰ０２に対応する視点位置から撮像された画像データが存在しないことを指摘する通知データを生成する。かかる通知データが配信部１３３により配信されることにより、サイト管理者は、自由視点画像を生成するために追加する画像データの存在等を認識することができる。
In addition, the
（配信部１３３について）
配信部１３３は、生成部１３２によって生成された自由視点画像を配信する。具体的には、第１の実施形態に係る配信部１３３は、生成部１３２によって生成され、自由視点画像記憶部１２２に記憶されている自由視点画像を、元画像データの入稿元である管理装置１０に配信する。
(About distribution unit 133)
The
また、配信部１３３は、生成部１３２が生成した他の情報について配信してもよい。例えば、配信部１３３は、生成部１３２がサンプル画像を生成、もしくは取得した場合には、かかるサンプル画像を配信する。また、配信部１３３は、生成部１３２が自由視点画像を生成することができない旨や、自由視点画像の生成のための追加の画像データの入稿を求める旨を示した通知データを生成したときは、かかる通知データを元画像データの入稿元に配信する。
The
〔１−３．画像処理の一例〕
ここで、図８を用いて、第１の実施形態に係る生成部１３２による画像処理の一例を説明する。図８は、第１の実施形態に係る生成部１３２による画像処理の一例を示す図である。
[1-3. Example of image processing)
Here, an example of image processing by the
図８では、画像処理装置１００が利用者（例えば、サイト管理者）に提供するウェブページＷ１０において、画像データの入稿を受け付け、受け付けた画像データから自由視点画像を生成する処理を示している。
FIG. 8 shows a process of accepting submission of image data and generating a free viewpoint image from the accepted image data in the web page W10 provided to the user (for example, site administrator) by the
図８に示すように、ウェブページＷ１０には、画像表示枠Ｗ２０と、操作ボタンＷ３０とが含まれる。管理装置１０は、サイト管理者による操作に従って、画像処理装置１００が提供するウェブページＷ１０にアクセスし、ウェブページＷ１０を表示させる。そして、操作ボタンＷ３０が選択される（例えば、クリックされる）ことにより、画像処理装置１００に対してアップロードする画像データの選択画面が表示される。
As shown in FIG. 8, the web page W10 includes an image display frame W20 and an operation button W30. The
管理装置１０が複数の画像データを選択し、アップロードを行うと、画像処理装置１００に係る受付部１３１は、かかる画像の入稿を受け付ける。このとき、管理装置１０には、「読み込み中」といった状態を示す情報が表示される。ここで、画像処理装置１００に係る生成部１３２は、自由視点画像の生成処理を行っている最中には、所定のサンプル画像を生成してもよい。この場合、配信部１３３は、生成部１３２によって生成されたサンプル画像を画像表示枠Ｗ２０に表示させる。サンプル画像は、入稿された元画像データを１つの表示枠内で連続的に表示させる画像である。図８に示すように、サンプル画像の初期表示は、例えば、画像データＰ０１が表示される。
When the
そして、生成部１３２が自由視点画像の生成処理を完了させた場合、配信部１３３は、生成された自由視点画像ＦＶ０１を管理装置１０に配信する。これにより、画像表示枠Ｗ２０には、生成された自由視点画像ＦＶ０１が表示される。このとき、管理装置１０は、操作ボタンＷ３０を選択することにより、生成された自由視点画像ＦＶ０１をダウンロードし、管理装置１０内に格納することができる。このように、画像処理装置１００は、画像の入稿受け付けから、自由視点画像の配信までを完結することのできるユーザインターフェイス（User Interface)を提供する。これにより、画像処理装置１００は、画像処理に関してユーザビリティの向上を図ることができる。
When the
また、画像処理装置１００は、生成した自由視点画像ＦＶ０１に関して、さらに管理装置１０から要求を受け付けてもよい。すなわち、受付部１３１は、管理装置１０を操作するサイト管理者から、自由視点画像に対する各種操作を受け付ける。例えば、受付部１３１は、自由視点画像ＦＶ０１に設定される新たな注視点についての要求を受け付けてもよい。自由視点画像ＦＶ０１は、通常、入稿された画像データの該中心に対応する点を注視点として生成される。しかし、サイト管理者は、生成された自由視点画像ＦＶ０１について、異なる座標を注視点とした自由視点画像を所望する場合がある。この場合、受付部１３１は、画像表示枠Ｗ２０内の任意の点の選択をサイト管理者から受け付ける。そして、生成部１３２は、サイト管理者から選択された点を新たな注視点として、自由視点画像を生成する。そして、配信部１３３は、新たに生成された自由視点画像を画像表示枠Ｗ２０に表示させる。
Further, the
上記のように、自由視点画像ＦＶ０１の注視点を新たに設定する場合には、生成部１３２は、元画像データについて適切な対応点を取得する処理を行う場合がある。かかる処理については、生成部１３２は、例えば、マルチベースラインステレオ法や、隣り合う画像同士のエピポーラ線を取得することにより対応点を取得するエピポーラ幾何計算の手法等の既存の技術を用いて、各画像データにおける対応点を取得することができる。
As described above, when a new gazing point of the free viewpoint image FV01 is set, the
また、受付部１３１は、サイト管理者から、自由視点画像ＦＶ０１を拡大、あるいは縮小させる要求や、任意のサイズで切り取る要求や、自由視点画像ＦＶ０１のアスペクト比の変更の要求などを受け付けてもよい。生成部１３２は、受付部１３１の受け付けた要求に従い、対応する自由視点画像を生成する。そして、配信部１３３は、生成部１３２によって生成された自由視点画像を配信する。
In addition, the
〔１−４．画像処理手順〕
次に、図９を用いて、第１の実施形態に係る画像処理装置１００による画像処理の手順について説明する。図９は、第１の実施形態に係る画像処理装置１００による画像処理手順を示すフローチャートである。
[1-4. (Image processing procedure)
Next, the procedure of image processing by the
図９に示すように、画像処理装置１００の受付部１３１は、管理装置１０から画像データの入稿を受け付けたか否かを判定する（ステップＳ１０１）。このとき、受付部１３１は、画像データの入稿を受け付けていない場合には（ステップＳ１０１；Ｎｏ）、画像データの入稿を受け付けるまで待機する。
As illustrated in FIG. 9, the
一方、受付部１３１は、画像データの入稿を受け付けた場合には（ステップＳ１０１；Ｙｅｓ）、受け付けた画像データを画像データ記憶部１２１に格納する。続いて、生成部１３２は、入稿された画像データに対して所定の校正を行うことにより、画像データを変換する（ステップＳ１０２）。
On the other hand, when accepting image data submission (Step S101; Yes), the accepting
そして、生成部１３２は、変換された画像データに基づいて、自由視点画像を生成する（ステップＳ１０３）。続いて、配信部１３３は、自由視点画像を管理装置１０に配信する（ステップＳ１０４）。
Then, the
なお、図８において説明したように、画像処理装置１００は、生成した自由視点画像を所定のユーザインターフェイス（例えば、ウェブページＷ１０）を介して配信する場合には、自由視点画像に対する注視点等に関する要求をさらに受け付け、要求に対応した自由視点画像を生成し、配信するといった処理を繰り返してもよい。
As described with reference to FIG. 8, the
〔１−５．効果〕
上述してきたように、第１の実施形態に係る画像処理装置１００は、受付部１３１と、生成部１３２と、配信部１３３とを有する。受付部１３１は、視点位置が異なる複数の画像データを受け付ける。生成部１３２は、受付部１３１によって受け付けられた複数の画像データに所定の変換処理を行うことにより、任意の視点位置に対応する画像を連続的に表示可能である自由視点画像を生成する。配信部１３３は、生成部１３２によって生成された自由視点画像を配信する。
[1-5. effect〕
As described above, the
これにより、第１の実施形態に係る画像処理装置１００は、例えば、サイト管理者のように自由視点画像を活用して商材販売の促進を図る者などに自由視点画像を提供することができる。そして、サイト管理者は、自由視点画像を販促などに利用することにより、通常の画像を提示するよりも、より高い販促効果を発揮させることができる。また、ユーザは、自身が所望する角度で画像を表示させることができるので、例えば、ショッピングサイトにおける購買活動などにおいて、商品に関する情報などを容易に取得することができる。このように、第１の実施形態に係る画像処理装置１００は、一般ユーザに自由視点画像を有効に活用させることができる。
Thereby, the
また、生成部１３２は、生成される自由視点画像を確認するための画像である仮処理画像を生成する。配信部１３３は、自由視点画像の配信の前に、仮処理画像を配信する。
In addition, the
このように、第１の実施形態に係る画像処理装置１００は、生成処理に先立ち、生成される自由視点画像のサンプル画像を提示することができる。このため、サイト管理者は、生成処理が実際に完了する前に仕上がる画像のイメージ等を確認できるため、自由視点画像の生成サービスを利用しやすくなる。
As described above, the
また、生成部１３２は、複数の画像データのうち、隣り合う画像データが所定の連続性を有するか否かを判定することにより生成処理で取り扱う画像データを抽出し、抽出された画像データを用いて自由視点画像を生成する。
Further, the
これにより、第１の実施形態に係る画像処理装置１００は、生成に適さない画像データが混じっていたり、サイト管理者が間違えて画像データをアップロードしたりしたような場合でも、適切な画像データを用いて自由視点画像を生成できる。これにより、画像処理装置１００は、処理を中断したり、エラーを返したりといった、処理の遅延を起こす頻度を減らしながら、自由視点画像の生成サービスを提供することができる。
As a result, the
また、生成部１３２は、複数の画像データによっては自由視点画像を生成することができない場合には、生成することができない理由、又は自由視点画像を生成するための画像データの差し換えに関する情報が含まれる通知データを生成する。配信部１３３は、生成部１３２によって生成された通知データを配信する。
In addition, the
これにより、第１の実施形態に係る画像処理装置１００は、サイト管理者に不適切なデータの指摘や、差し換えの示唆を提示できるので、自由視点画像の生成サービスを円滑に進行させることができる。
As a result, the
また、生成部１３２は、所定の変換処理として、複数の画像データ内で対応する点である対応点の関係に基づいて、画像データを取得した撮像装置Ｃ２０の相対的な位置情報を取得することによって求められる変換行列を用いて、複数の画像データの射影変換を行う。
In addition, the
これにより、第１の実施形態に係る画像処理装置１００は、サイト管理者が自由に撮像したような、校正がなされていない画像データによっても、自由視点画像を生成することができる。このため、サイト管理者は、特別な設備などを使用することなく自由視点画像を生成させることができる。このように、画像処理装置１００は、一般ユーザの自由視点画像の活用を促進させることが可能になる。
As a result, the
〔２−１．第２の実施形態に係る画像処理の一例〕
上述した第１の実施形態において、画像処理装置１００は、サイト管理者から受け付けた複数の画像データに基づいて自由視点画像を生成し、配信する処理について説明した。ここで、画像処理装置１００は、配信した自由視点画像に関する情報をさらに取得することにより、自由視点画像をより有効に活用させることができる。この点について、図１０を用いて、第２の実施形態に係る画像処理の一例について説明する。図１０は、第２の実施形態に係る画像処理の一例を示す図である。なお、第１の実施形態において説明した事項については、説明を省略する。
[2-1. Example of image processing according to second embodiment]
In the first embodiment described above, the
図１０において、ユーザは、ウェブページＷ０１に含まれる自由視点画像ＦＶ０１を閲覧する（ステップＳ２１）。ここで、ウェブページＷ０１は、管理装置１０を操作するサイト管理者によって管理されるウェブサーバ５０（図１０での図示は省略する）によって提供される。また、ウェブページＷ０１は、ショッピングサービスを提供するＥＣ（Electronic Commerce）サイトであり、例えば、女性用の服を紹介する販促用の画像として自由視点画像ＦＶ０１が組み込まれているものとする。
In FIG. 10, the user browses the free viewpoint image FV01 included in the web page W01 (step S21). Here, the web page W01 is provided by a web server 50 (not shown in FIG. 10) managed by a site administrator who operates the
ユーザ端末２０は、ユーザの操作に従い、ウェブページＷ０１において自由視点画像ＦＶ０１を様々な角度で表示する。具体的には、ユーザ端末２０は、自由視点画像ＦＶ０１に対してカーソル７０による操作を受け付けることで、自由視点画像ＦＶ０１を回転させたり、回転後にユーザが所望する角度で数秒間表示させたり、画像を拡大させたり、縮小させたりする。このとき、ユーザ端末２０は、かかるユーザの操作行動などを検知し、行動に関する情報として記憶する。
The
そして、ユーザ端末２０は、行動に関する情報を画像処理装置１００に送信する（ステップＳ２２）。画像処理装置１００は、受信した情報を集計する（ステップＳ２３）。そして、画像処理装置１００は、ユーザの自由視点画像ＦＶ０１に対する行動に関する情報に基づいて、自由視点画像ＦＶ０１を評価する情報である評価情報を生成する（ステップＳ２４）。
Then, the
画像処理装置１００は、生成した評価情報に基づいて、格納している自由視点画像に関する情報を更新する（ステップＳ２５）。例えば、画像処理装置１００は、自由視点画像ＦＶ０１について、ユーザから最も多く表示されている角度に対応する画像データに関する情報を参照する。そして、画像処理装置１００は、ユーザから最も多く表示されている角度に対応する画像データを自由視点画像ＦＶ０１における初期画面表示の画像データとして更新する。これにより、ウェブページＷ０１では、自由視点画像ＦＶ０１のうち、ＥＣサイトにおいて販促効果の高いと想定される角度に対応する画像が初期画面表示として表示されるようになる。
The
また、画像処理装置１００は、自由視点画像ＦＶ０１に対する評価情報を、自由視点画像ＦＶ０１の元画像データの提供元である管理装置１０に通知する（ステップＳ２６）。例えば、画像処理装置１００は、自由視点画像ＦＶ０１を構成する画像ごとの表示回数や、ユーザの操作回数や、自由視点画像ＦＶ０１を所定時間閲覧した後に、ユーザが自由視点画像ＦＶ０１で紹介されている女性用の服を購入したり、もしくは購入候補として追加したりするようなコンバージョン（Conversion）に至った回数などを評価レポートとして通知する。
Further, the
このように、第２の実施形態に係る画像処理装置１００は、配信された自由視点画像を閲覧したユーザに関する情報であって、自由視点画像に対するユーザの行動に関する情報を受信する。そして、画像処理装置１００は、受信されたユーザの行動に関する情報に基づいて、自由視点画像を評価する。
As described above, the
これにより、第２の実施形態に係る画像処理装置１００は、配信された自由視点画像に対するユーザからの反応に基づき、自由視点画像の効果測定を行うことができる。また、画像処理装置１００は、１枚の画像や動画ではなく、自由視点画像についての情報を取得するので、例えば、どの角度（視点）から撮像された画像が特に販促効果を発揮するか、などの詳細な情報を取得することができる。また、画像処理装置１００によれば、ユーザのより積極的な反応に関する情報を取得することができる。例えば、ショッピングサイトに通常の画像が掲載されているだけでは、ユーザがその画像に対して興味関心があるか否かの情報を取得することは難しい。しかしながら、自由視点画像が掲載されている場合、興味のあるユーザは、画像を閲覧するのみならず、自由視点画像を回転させるといった操作を実行する。そして、画像処理装置１００は、このような操作行動についても取得することができるので、よりユーザの興味関心につながる情報を取得することができる。このように、第２の実施形態に係る画像処理装置１００は、自由視点画像に対するユーザ行動などに基づいて効果測定を行うこと等によって、自由視点画像の活用を図ることができる。
Thereby, the
〔２−２．画像処理装置の構成〕
次に、図１１を用いて、第２の実施形態に係る画像処理装置１００の構成について説明する。図１１は、第２の実施形態に係る画像処理装置１００の構成例を示す図である。図１１に示すように、第２の実施形態に係る画像処理装置１００は、第１の実施形態に係る画像処理装置１００と比較して、評価情報記憶部１２３と、受信部１３４と、評価部１３５と、通知部１３６とをさらに有する。
[2-2. Configuration of image processing apparatus]
Next, the configuration of the
（評価情報記憶部１２３について）
評価情報記憶部１２３は、自由視点画像の評価に関する情報を記憶する。具体的には、第２の実施形態に係る評価情報記憶部１２３は、所定期間において集計された自由視点画像に対するユーザの行動に関する情報を記憶する。ここで、図１２に、第２の実施形態に係る評価情報記憶部１２３の一例を示す。図１２に示した例では、評価情報記憶部１２３は、「自由視点画像ＩＤ」、「元画像データ」、「変換後画像データ」、「閲覧ログ」といった項目を有し、さらに「閲覧ログ」の項目には、「表示回数」、「操作回数」、「コンバージョン数」といった小項目が含まれる。
(Evaluation information storage unit 123)
The evaluation
「自由視点画像ＩＤ」、「元画像データ」及び「変換後画像データ」は、自由視点画像記憶部１２２内の同様の項目にそれぞれ対応する。「閲覧ログ」は、自由視点画像に係るユーザ端末２０から送信された閲覧に関する情報（言い換えれば、自由視点画像に対するユーザの行動に関する情報）のログを示す。図１２に示すように、「閲覧ログ」は、自由視点画像ＦＶ０１を構成する画像データごとに記憶される。
“Free viewpoint image ID”, “original image data”, and “post-conversion image data” correspond to similar items in the free viewpoint
「表示回数」は、自由視点画像ＦＶ０１を構成する画像データが表示された回数を示す。なお、画像処理装置１００は、自由視点画像ＦＶ０１を構成する画像データに対応する角度の表示が所定の時間（例えば、１秒以上など）を超えたときに「表示回数」として計数してもよい。これにより、画像処理装置１００は、自由視点画像ＦＶ０１を単に回転させるのみで、特定の角度に対応する画像データを表示させていないと判定できるユーザの行動を表示回数として計数されないようにすることができる。
“Number of display times” indicates the number of times the image data constituting the free viewpoint image FV01 is displayed. Note that the
「操作回数」は、自由視点画像ＦＶ０１を構成する画像データに対してユーザから操作された回数を示す。例えば、操作回数は、ユーザが自由視点画像ＦＶ０１上をカーソル７０でドラッグすることによって表示を回転させたり、拡大、縮小操作を行ったりしたことにより計数される。
“Number of operations” indicates the number of times the user has operated the image data constituting the free viewpoint image FV01. For example, the number of operations is counted when the user rotates the display by dragging the
「コンバージョン数」は、自由視点画像ＦＶ０１を構成する画像データの表示に対して、ユーザがコンバージョンに至った回数を示す。例えば、コンバージョン数は、ユーザが自由視点画像を閲覧した後や、自由視点画像を操作した後、所定時間内に、自由視点画像が販促する商材に対してコンバージョンに至った回数により計数される。 “Number of conversions” indicates the number of times the user has converted with respect to the display of the image data constituting the free viewpoint image FV01. For example, the number of conversions is counted based on the number of times the free viewpoint image has been converted to a product promoted by the free viewpoint image after the user has viewed the free viewpoint image or operated the free viewpoint image. .
すなわち、図１２では、自由視点画像ＩＤ「ＦＶ０１」で識別される自由視点画像は、元画像データが「Ｐ０１、Ｐ０２、Ｐ０３、・・・」であり、変換後画像データは「ＲＰ０１、ＲＰ０２、ＲＰ０３、・・・」であり、変換後画像データ「ＲＰ０１」に対応する角度を表示させた状態において、ユーザ端末２０における表示回数は「１０１」回であり、操作回数は「２４０」回であり、コンバージョン数は「８」回であることを示している。
That is, in FIG. 12, the free viewpoint image identified by the free viewpoint image ID “FV01” has the original image data “P01, P02, P03,...” And the converted image data is “RP01, RP02,. RP03,..., And in the state where the angle corresponding to the converted image data “RP01” is displayed, the number of display times on the
なお、図１２では、評価情報記憶部１２３にはコンバージョン数が記憶される例を示しているが、これに限られず、コンバージョン率が記憶されてもよい。この場合、評価情報記憶部１２３は、自由視点画像ＦＶ０１の配信回数に対するコンバージョン率を記憶する。また、評価情報記憶部１２３には、集計期間を示す情報や、各自由視点画像のユーザ端末２０に対する全配信数などが記憶されてもよい。
12 shows an example in which the number of conversions is stored in the evaluation
（受信部１３４について）
受信部１３４は、自由視点画像に対するユーザの行動に関する情報を受信する。具体的には、第２の実施形態に係る受信部１３４は、自由視点画像に対するユーザの行動として、自由視点画像を回転させた回数、操作時間もしくは閲覧時間、自由視点画像に対する拡大あるいは縮小操作、自由視点画像に関係する商材（例えば、ショッピングサイトにおいて自由視点画像が紹介している商品）についてのコンバージョン数の少なくとも一つに関する情報を受信する。
(Receiver 134)
The receiving
そして、受信部１３４は、受信したユーザの行動に関する情報について、自由視点画像ＩＤと対応付けて、評価情報記憶部１２３に格納する。
Then, the
（評価部１３５について）
評価部１３５は、受信部１３４によって受信されたユーザの行動に関する情報に基づいて、自由視点画像を評価する。例えば、評価部１３５は、受信部１３４によって受信された、自由視点画像に対する回転操作、拡大操作、縮小操作の回数、操作時間、閲覧時間、自由視点画像に関係する商材のコンバージョン数等の、各項目の数値の大小によって、自由視点画像の評価の高低を判定する。具体的には、第２の実施形態に係る評価部１３５は、自由視点画像のうち、ユーザによって操作された回数の多い画像データや、ユーザ端末２０において表示されている時間が長い画像データほど、ユーザに与える関心が高いものとして、評価値を高く判定する。また、このようなユーザの操作に関して、評価部１３５は、受信部１３４によって受信される情報であって、自由視点画像の生成元となった複数の画像データにまたがる操作に関する情報に基づいて、自由視点画像を構成する画像の連続性の評価を判定してもよい。例えば、評価部１３５は、自由視点画像ＦＶ０１を構成する画像データＰ０１から画像データＰ０３までをまたいで閲覧する操作が多い場合などに、画像データＰ０１から画像データＰ０３までの連続性を高く評価する。ここで、自由視点画像を構成する画像の連続性の評価とは、自由視点画像において、所定の角度間に含まれる画像の連なりが有する訴求性の良否などをいう。例えば、ユーザは、自由視点画像において自身が所望する情報量が多い箇所について、頻繁に閲覧したり、操作したりといった行動をとることが想定される。そのため、評価部１３５は、かかる箇所（角度間）が自由視点画像における訴求性が高いものとして、画像の連なりについて評価する。この場合、評価部１３５は、ユーザの自由視点画像における操作の挙動や、操作にかける時間情報を評価してもよい。例えば、評価部１３５は、自由視点画像の閲覧において、所定時間内にユーザが繰り返し同じ範囲を表示させる操作を行うことや、ある箇所については閲覧時間が短く、ある箇所を表示させた場合に閲覧時間が長くなったり、画像の回転操作を停止させたりしたことなどの操作情報を評価対象とすることができる。また、受信部１３４は、自由視点画像に対するユーザの行動に関する情報を、自由視点画像の生成元となった画像データごとに受信する。このため、評価部１３５は、自由視点画像の生成元となった画像データごとの評価を判定してもよい。
(About the evaluation unit 135)
The
そして、評価部１３５は、算出された評価値に基づいて、自由視点画像に関する情報を更新する。この場合、配信部１３３は、評価部１３５によって判定された自由視点画像の生成元となった画像データごとの評価に基づいて情報が更新された自由視点画像を配信する。例えば、評価部１３５は、自由視点画像を構成する画像データのうち、評価の高い画像データが優先的にユーザ端末２０において表示されるように、自由視点画像の情報を更新する。具体的には、評価部１３５は、初期画面表示ではない画像データの評価が高い場合には、かかる画像データを初期画面表示とするよう情報を更新する。これにより、ユーザ端末２０において、ユーザからの評価が高い（言い換えれば、ユーザの関心が高いと想定される）画像データが優先的に表示されるようになる。
And the
また、評価部１３５は、ユーザの行動に基づいて、自由視点画像を構成する画像データの評価を行った結果を評価情報として生成してもよい。この点について、図１３を用いて説明する。
Moreover, the
図１３は、第２の実施形態に係る評価部１３５による評価処理の一例を示す図である。図１３に示すように、評価部１３５は、自由視点画像を構成する画像データＰ０１〜Ｐ０８について、画像ごとの表示回数や操作回数を集計した評価情報を生成する。かかる評価情報により、例えばサイト管理者は、どのような角度により撮像された画像がユーザからの関心が高いか、といった販促に係る情報を一目で認識することができ、ショッピングサイトなどのＥＣサイトにおいて、自由視点画像を有用に活用することができる。
FIG. 13 is a diagram illustrating an example of an evaluation process performed by the
なお、図１３においては、自由視点画像を構成する画像データＰ０１〜Ｐ０８のうち、画像データＰ０１が初期表示されるため、表示回数や操作回数が、他の画像データと比較して多くなる。かかる場合、評価部１３５は、評価情報において、初期表示の画像データである画像データＰ０１に係る情報は表示を省略するなど、適宜調整することができる。
In FIG. 13, since the image data P01 is initially displayed among the image data P01 to P08 constituting the free viewpoint image, the number of times of display and the number of operations are larger than those of other image data. In such a case, the
また、評価部１３５は、受信部１３４によって受信されたユーザの行動に関する情報に基づいて、ユーザの購買傾向を評価してもよい。例えば、評価部１３５は、ユーザがある商材に関する自由視点画像を所定時間以上閲覧し続けている情報や、所定時間以上操作し続けている情報などを参照する。この場合、評価部１３５は、ユーザが関心を示しているものとして自由視点画像の評価をするとともに、ユーザの購買傾向に関しても評価、測定することができる。例えば、評価部１３５は、ユーザが所定時間以上閲覧し続けている自由視点画像に関連する商材に対して、ユーザの興味関心が高く、購買意欲が高いと想定されることを評価する。この場合、評価部１３５は、例えば、評価した情報を外部のコンテンツサーバ等に提供することにより、外部のコンテンツサーバを介して、ユーザの興味に即した広告コンテンツを配信させることなどができる。
Further, the
（通知部１３６について）
通知部１３６は、評価部１３５によって評価された自由視点画像に関する情報を通知する。例えば、第２の実施形態に係る通知部１３６は、自由視点画像を構成する画像データについて、画像ごとの表示回数や操作回数が集計された評価情報を管理装置１０に通知する。
(About the notification unit 136)
The
なお、通知部１３６は、管理装置１０が元画像データを提供した自由視点画像ＦＶ０１に係る評価情報のみならず、他の自由視点画像に関する情報を管理装置１０に通知してもよい。これにより、サイト管理者は、ＥＣサイト等においてどのような自由視点画像が販促効果をより向上させているか、などのサイト運営に関する有益な情報を取得することができる。
Note that the
〔２−３．ユーザ端末の構成〕
次に、図１４を用いて、第２の実施形態に係るユーザ端末２０の構成について説明する。図１４は、第２の実施形態に係るユーザ端末２０の構成例を示す図である。図１４に示すように、ユーザ端末２０は、通信部２１と、入力部２２と、出力部２３と、制御部２５とを有する。
[2-3. Configuration of user terminal]
Next, the configuration of the
通信部２１は、例えば、ＮＩＣ等によって実現される。そして、通信部２１は、ネットワークＮと有線または無線で接続され、画像処理装置１００や、ウェブサーバ５０との間で情報の送受信を行う。
The communication unit 21 is realized by a NIC or the like, for example. The communication unit 21 is connected to the network N in a wired or wireless manner, and transmits / receives information to / from the
入力部２２は、ユーザから各種操作を受け付ける入力装置である。例えば、入力部２２は、キーボードやマウスや操作キー等によって実現される。出力部２３は、各種情報を表示するための表示装置である。例えば、出力部２３は、液晶ディスプレイ等によって実現される。なお、ユーザ端末２０にタッチパネルが採用される場合には、入力部２２と出力部２３とは一体化される。また、本明細書中の説明では、出力部２３を画面と記載する場合がある。
The
制御部２５は、例えば、ＣＰＵやＭＰＵ等によって、ユーザ端末２０内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。例えば、この各種プログラムは、ウェブブラウザと呼ばれるアプリケーションプログラム等が該当する。また、制御部２５は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。
The
図１４に示すように、制御部２５は、要求部２６と、受付部２７と、表示制御部２８とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部２５の内部構成は、図１４に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部２５が有する各処理部の接続関係は、図１４に示した接続関係に限られず、他の接続関係であってもよい。
As illustrated in FIG. 14, the
要求部２６は、ウェブサーバ５０からウェブページＷ０１の取得を要求する。また、要求部２６は、ウェブサーバ５０から受信したウェブページＷ０１にコンテンツの取得命令が含まれる場合に、該当するコンテンツの取得要求を送信する。
The
受付部２７は、通信部２１を介して、各種情報を受け付ける。例えば、受付部２７は、ユーザが入力部２２を介してウェブページＷ０１の取得要求を行った場合は、ウェブサーバ５０から配信されるウェブページＷ０１を受け付ける。
The accepting unit 27 accepts various types of information via the communication unit 21. For example, when the user makes an acquisition request for the web page W01 via the
表示制御部２８は、受信したウェブページＷ０１および自由視点画像ＦＶ０１を出力部２３に表示する処理を実行する。例えば、表示制御部２８は、制御部２５が、自由視点画像ＦＶ０１とともに配信される制御情報であって、自由視点画像ＦＶ０１を任意の視点から表示させるための制御情報（例えば、ＪＡＶＡ Ｓｃｒｉｐｔ（登録商標））を実行することで、図１４に示すように表示部２９、検知部３０、送信部３１として動作し、自由視点画像ＦＶ０１に関する表示処理を実行する。表示部２９、検知部３０、送信部３１は、例えば、ＣＰＵやＭＰＵ等によって、制御情報がＲＡＭを作業領域として実行されることにより実現される。
The
表示部２９は、ウェブページＷ０１と、ウェブページＷ０１に含まれる自由視点画像ＦＶ０１とを表示する。また、表示部２９は、自由視点画像ＦＶ０１に対してユーザが回転操作などの表示を遷移させる操作を検知部３０が検知した場合には、かかる操作に合わせて、自由視点画像ＦＶ０１の表示を変化させる。
The
検知部３０は、自由視点画像ＦＶ０１に対するユーザの行動に関する情報を検知する。例えば、検知部３０は、自由視点画像ＦＶ０１に対するユーザの行動として、自由視点画像ＦＶ０１を回転させた回数、操作時間もしくは閲覧時間、自由視点画像ＦＶ０１に対する拡大あるいは縮小操作、自由視点画像ＦＶ０１に関係する商材についてのコンバージョンに至る操作等の少なくとも一つに関する操作を検知する。そして、検知部３０は、検知結果を送信部３１に送る。なお、ユーザ端末２０にタッチパネルが採用される場合、図１１に示したカーソル７０の操作は、ユーザの指や、タッチパネル用のペンによって行われる。この場合、検知部３０は、画面上のユーザの指や、タッチパネル用のペンの挙動に基づいて、自由視点画像ＦＶ０１に対する操作を検知する。さらに、入力部２２及び出力部２３には、有線、無線を問わず、種々のデバイスが採用される場合がある。例えば、入力部２２及び出力部２３には、ＶＲ（Virtual Reality）システムで用いられるデバイスが採用されてもよい。具体的には、出力部２３には、ユーザの頭に装着され、ユーザの視界を覆うディスプレイであるヘッドマウントディスプレイ等が採用される。この場合、ユーザは、装着したヘッドマウントディスプレイに表示される自由視点画像を視認する。また、この場合、入力部２２には、デバイスを実際の空間で動作させることにより、かかるデバイスの挙動や加速度等に基づいて入力データを送信するコントローラ（例えば、データグローブ等）が採用される。検知部３０は、ユーザがコントローラを動かすことにより送信される入力データを、ヘッドマウントディスプレイ上に表示された自由視点画像に対する操作として検知する。さらに、入力部２２及び出力部２３には、ＡＲ（拡張現実、Augmented Reality）システムで用いられるデバイスが採用されてもよい。具体的には、出力部２３には、ゴーグル型のディスプレイなどのウェアラブルデバイスが採用される。この場合、ユーザは、現実の世界に重ね合わせるようにして、装着したゴーグル型のディスプレイに表示される自由視点画像を視認することができる。また、入力部２２には、ＶＲシステムと同様のコントローラが採用される。そして、検知部３０は、ユーザがコントローラを動かすことにより送信される入力データを、ゴーグル型のディスプレイに表示された自由視点画像に対する操作として検知する。また、ユーザ端末２０がスマートフォンやタブレット端末である場合、上記のＡＲシステムが端末そのものにより実現される場合がある。例えば、スマートフォンであるユーザ端末２０は、備えられたカメラから入力される現実の映像と、画像処理装置１００から配信された自由視点画像とを重ねて表示する。この場合においては、検知部３０は、ユーザ端末２０の画面上に表示された自由視点画像に対してユーザがタッチした操作などの情報を検知する。
The
送信部３１は、検知部３０によって検知された自由視点画像ＦＶ０１に対するユーザの行動に関する情報を画像処理装置１００に送信する。画像処理装置１００は、送信部３１から送信された情報を受信することにより、上述した自由視点画像ＦＶ０１に対する評価処理等を実行することができる。
The
〔２−４．画像処理手順〕
次に、図１５を用いて、第２の実施形態に係る画像処理装置１００による画像処理の手順について説明する。図１５は、第２の実施形態に係る画像処理装置１００による画像処理手順を示すフローチャートである。
[2-4. (Image processing procedure)
Next, a procedure of image processing by the
図１５に示すように、画像処理装置１００の配信部１３３は、管理装置１０に自由視点画像を配信する（ステップＳ２０１）。これにより、ユーザ端末２０がアクセスするウェブページＷ０１に自由視点画像が組み込まれるものとする。
As illustrated in FIG. 15, the
そして、受信部１３４は、ユーザ端末２０から自由視点画像に対する行動に関する情報を受信したか否かを判定する（ステップＳ２０２）。受信部１３４は、行動に関する情報を受信していない場合は（ステップＳ２０２；Ｎｏ）、受信するまで待機する。
And the receiving
一方、受信部１３４は、行動に関する情報を受信した場合には（ステップＳ２０２；Ｙｅｓ）、受信した情報を評価部１３５に送る。そして、評価部１３５は、自由視点画像を構成する画像データについて、対応する画像ごとの閲覧ログを集計する（ステップＳ２０３）。
On the other hand, when receiving information related to behavior (Step S202; Yes), the receiving
そして、評価部１３５は、集計した情報に基づいて、自由視点画像及び自由視点画像を構成する画像データごとの評価情報を生成する（ステップＳ２０４）。評価部１３５は、生成した評価情報に基づいて、自由視点画像に関する情報を更新する（ステップＳ２０５）。また、評価部１３５は、生成した評価情報を通知部１３６に送る。通知部１３６は、管理装置１０に対して、自由視点画像に関する評価情報を通知する（ステップＳ２０６）。
And the
〔２−５．効果〕
上述してきたように、第２の実施形態に係る画像処理装置１００は、第１の実施形態と比較して、受信部１３４と、評価部１３５とをさらに有する。受信部１３４は、配信部１３３によって配信された自由視点画像を閲覧したユーザに関する情報であって、自由視点画像に対するユーザの行動に関する情報を受信する。評価部１３５は、受信部１３４によって受信されたユーザの行動に関する情報に基づいて、自由視点画像を評価する。
[2-5. effect〕
As described above, the
これにより、第２の実施形態に係る画像処理装置１００は、自由視点画像に対する効果測定を実施することができる。このため、例えば自由視点画像を販促に用いるサイト管理者等は、自由視点画像の有用性について判断することができ、ユーザの興味関心などを推測することが可能となる。画像処理装置１００は、このような効果測定に係るサービスを提供することにより、自由視点画像の活用を促進させることができる。
Thereby, the
また、受信部１３４は、自由視点画像に対するユーザの行動に関する情報として、自由視点画像に対する回転操作、拡大操作、縮小操作の回数、操作時間、閲覧時間、自由視点画像に関係する商材のコンバージョン数の少なくとも一つの項目に関する情報を受信する。評価部１３５は、受信部１３４によって受信された各項目の数値の大小によって、自由視点画像の評価の高低を判定する。
In addition, the
このように、第２の実施形態に係る画像処理装置１００は、種々の項目を用いて自由視点画像を評価するので、特定の項目の数値に偏重することなく、適切な評価をすることができる。
As described above, since the
また、受信部１３４は、ユーザの行動に関する情報として、自由視点画像の生成元となった複数の画像データにまたがる操作に関する情報を受信する。評価部１３５は、受信部１３４によって受信された操作に関する情報に基づいて、自由視点画像を構成する画像の連続性の評価を判定する。
In addition, the
このように、第２の実施形態に係る画像処理装置１００は、自由視点画像を構成する連続した画像に対するユーザ行動に基づいて、自由視点画像を評価できる。これにより、画像処理装置１００は、特に訴求効果の高いと想定される箇所や、自由視点画像を構成する画像を特定することができるので、適切に自由視点画像の効果を測定することができる。
As described above, the
また、受信部１３４は、自由視点画像に対するユーザの行動に関する情報を、自由視点画像の生成元となった画像データごとに受信する。評価部１３５は、自由視点画像の生成元となった画像データごとの評価を判定する。
In addition, the
これにより、第２の実施形態に係る画像処理装置１００は、自由視点画像ならではの、各視点に対応する画像の評価を提示することができる。このため、サイト管理者は、例えば、商材の画像をどの角度から撮像すればよいのか、また、どの角度から撮像した画像が販促の効果を高めるか、などの詳細なデータを取得することができる。
Thereby, the
また、配信部１３３は、評価部１３５によって判定された自由視点画像の生成元となった画像データごとの評価に基づいて、評価の高い画像データが優先的に表示されるように更新された自由視点画像を配信する。
The
これにより、第２の実施形態に係る画像処理装置１００は、ユーザの興味関心の高い角度に対応する画像や、販促効果の高い画像が優先的に表示されるように自由視点画像を調整することができる。このため、画像処理装置１００は、ユーザが所望する画像を自動的に表示させるような学習効果のある自由視点画像を提供することができる。
Thereby, the
また、第２の実施形態に係る画像処理装置１００は、評価部１３５による自由視点画像の評価に関する情報を、自由視点画像が含まれる所定のメディアの管理者（ここでは、自由視点画像ＦＶ０１が掲載されているウェブサイトのサイト管理者）に通知する通知部１３６をさらに備える。
In addition, the
このように、第２の実施形態に係る画像処理装置１００は、自由視点画像の評価をサイト管理者に通知することにより、自由視点画像のより効果の高い見せ方や、販促の成果を確認させることができる。結果として、画像処理装置１００は、自由視点画像の活用を図ることができる。
As described above, the
〔３−１．第３の実施形態に係る画像処理の一例〕
上述した第１の実施形態において、画像処理装置１００は、サイト管理者から受け付けた複数の画像データに基づいて自由視点画像を生成し、配信する処理について説明した。また、第２の実施形態において、画像処理装置１００は、ユーザ端末２０に表示された自由視点画像に対するユーザの行動を評価し、かかる評価情報を管理装置１０に通知する処理について説明した。ここで、画像処理装置１００は、管理装置１０から入稿された画像データのみならず、所定のメディア（例えば、ＥＣサイトや、ショッピングに関するアプリ等）を利用するユーザ端末２０から画像データの入稿を受け付けてもよい。そして、画像処理装置１００は、ユーザ端末２０から受け付けた画像データに基づいて生成された新たな自由視点画像を配信する。これにより、画像処理装置１００は、自由視点画像を有効に活用させることができる。この点について、図１６を用いて、第３の実施形態に係る画像処理の一例について説明する。図１６は、第３の実施形態に係る画像処理の一例を示す図である。なお、第１、又は第２の実施形態において説明した事項については、説明を省略する。
[3-1. Example of image processing according to third embodiment]
In the first embodiment described above, the
図１６において、ウェブページＷ０１は、ショッピングサービスを提供するＥＣサイトであり、例えば、女性用の服を紹介する販促用の画像として自由視点画像ＦＶ０１が組み込まれているものとする。また、ウェブページＷ０１には、商品のレビューとして、ユーザが購入した商品に関する感想などを投稿することのできるレビュー欄が含まれているとする。ユーザは、レビュー欄に掲載された他のユーザの感想などを参考に商品の購入を検討する場合がある。また、ユーザによる適切なレビューは、他のユーザの購買意欲を促進させることがある。 In FIG. 16, a web page W01 is an EC site that provides a shopping service. For example, it is assumed that a free viewpoint image FV01 is incorporated as a sales promotion image for introducing women's clothes. In addition, it is assumed that the web page W01 includes a review column in which a user can post an impression regarding a product purchased by the user as a product review. The user may consider purchasing the product with reference to other users' impressions posted in the review column. Appropriate reviews by users may also encourage other users to purchase.
ここで、第３の実施形態に係る画像処理装置１００は、ユーザがＥＣサイトにて購入した商品に関するレビューを投稿する際に、ユーザが準備した商品に関する画像の入稿を受け付ける。そして、画像処理装置１００は、入稿された画像に基づいて自由視点画像を生成する。そして、画像処理装置１００は、生成した自由視点画像をユーザが投稿した商品画像としてレビュー欄に提供する処理を行う。以下、かかる処理について、流れに沿って説明する。
Here, the
図１６において、ユーザＵ０１は、自由視点画像ＦＶ０１が含まれるウェブページＷ０１を閲覧し、自由視点画像ＦＶ０１において紹介されている商品ＡＡＡを購入したものとする。そして、ユーザＵ０１は、商品ＡＡＡについてのレビューを投稿するに際して、商品ＡＡＡに関する画像を準備する（ステップＳ３１）。例えば、ユーザＵ０１が準備する画像は、商品ＡＡＡを着用する被写体を取り囲んで撮像された複数の画像である。 In FIG. 16, it is assumed that the user U01 browses the web page W01 including the free viewpoint image FV01 and purchases the product AAA introduced in the free viewpoint image FV01. And user U01 prepares the image regarding goods AAA, when submitting the review about goods AAA (Step S31). For example, the images prepared by the user U01 are a plurality of images captured around the subject wearing the product AAA.
そして、ユーザ端末２０１は、ユーザＵ０１による操作に従って、画像を所定の手法でアップロードする（ステップＳ３２）。例えば、画像処理装置１００は、図８で示すような所定のユーザインターフェイスを介して、ユーザ端末２０１から画像の入稿を受け付ける。
Then, the
そして、画像処理装置１００は、入稿された画像に基づいて、自由視点画像ＦＶ１１を生成する（ステップＳ３３）。画像処理装置１００は、生成された自由視点画像ＦＶ１１を、レビュー欄用の画像としてウェブサーバ５０に配信する（ステップＳ３４）。
Then, the
ウェブサーバ５０は、ウェブページＷ０１のレビュー欄に配信された自由視点画像ＦＶ１１を組み込む（ステップＳ３５）。これにより、ウェブページＷ０１のレビュー欄には、ユーザＵ０１が投稿したレビューとともに、自由視点画像ＦＶ１１が表示される（ステップＳ３６）。
The
そして、ユーザＵ０１とは異なるユーザＵ０２による操作に従い、ユーザ端末２０２は、ウェブページＷ０１にアクセスする。ユーザ端末２０２は、レビュー欄の自由視点画像ＦＶ１１を画面に表示する。これにより、ユーザＵ０２は、レビュー欄の自由視点画像ＦＶ１１を閲覧する（ステップＳ３７）。ユーザ端末２０２は、かかる閲覧に関する行動について画像処理装置１００に送信する。画像処理装置１００は、ユーザ端末２０２から送信されたユーザの閲覧に関する情報を受信する。なお、画像処理装置１００は、ウェブページＷ０１における自由視点画像ＦＶ１１の貢献度に応じて、ユーザＵ０１にフィードバックを行ってもよい。例えば、画像処理装置１００は、ウェブページＷ０１において、「参考になった」ことなど、ユーザＵ０２がユーザＵ０１のレビューを評価したことを示す評価ボタンＷ４０を選択した行動などを計数し、レビューを投稿したユーザＵ０１の貢献度を算出する。また、例えば、画像処理装置１００は、ウェブページＷ０１において、ユーザＵ０２が自由視点画像ＦＶ１１の閲覧を契機として商品ＡＡＡを購入等したことが検知された場合には、所定の報酬がユーザＵ０１に分配されるような処理を実行してもよい。
Then, in accordance with the operation by different user U02 and the user U01,
このように、第３の実施形態に係る画像処理装置１００は、ＥＣサイトに投稿を行うユーザＵ０１から複数の画像データの入稿を受け付ける。そして、画像処理装置１００は、ユーザＵ０１から受け付けた複数の画像データに基づいて、ＥＣサイトのレビュー欄に表示されるレビュー用自由視点画像を生成する。そして、画像処理装置１００は、ＥＣサイトのレビュー欄に表示される画像として、レビュー用自由視点画像を配信する。
As described above, the
すなわち、第３の実施形態に係る画像処理装置１００は、サイト管理者のように自由視点画像を販促に利用する者のみならず、商品を購入したユーザのレビュー投稿などに用いる画像としても、自由視点画像を生成することができる。これにより、サイト管理者にとっては、ユーザから投稿される自由視点画像などによって、よりサイトの充実を図ることができる。また、ユーザにとっては、自身のコーディネイトなど、他のユーザに閲覧させたい情報を容易に発信することが可能になる。また、レビュー欄を閲覧するユーザにとっては、サイトに掲載された情報のみならず、他のユーザから投稿された自由視点画像を閲覧することができるので、購買活動などの指針にする情報をより多く得ることができる。このように、第３の実施形態に係る画像処理装置１００によれば、自由視点画像の活用をより促進させることができる。
In other words, the
〔３−２．画像処理装置の構成〕
次に、図１７を用いて、第３の実施形態に係る画像処理装置１００の構成について説明する。図１７は、第３の実施形態に係る画像処理装置１００の構成例を示す図である。図１７に示すように、第３の実施形態に係る画像処理装置１００は、第２の実施形態に係る画像処理装置１００と比較して、投稿情報記憶部１２４をさらに有する。
[3-2. Configuration of image processing apparatus]
Next, the configuration of the
（投稿情報記憶部１２４について）
投稿情報記憶部１２４は、ユーザから投稿される自由視点画像の評価に関する情報を記憶する。具体的には、第３の実施形態に係る投稿情報記憶部１２４は、所定期間において集計される情報であって、ＥＣサイト等のレビュー欄に投稿された自由視点画像に対する他のユーザの行動に関する情報を記憶する。ここで、図１８に、第３の実施形態に係る投稿情報記憶部１２４の一例を示す。図１８に示した例では、投稿情報記憶部１２４は、「ユーザＩＤ」、「投稿画像」、「貢献情報」といった項目を有し、さらに「貢献情報」の項目には、「操作回数」、「レビューポイント」、「コンバージョン数」といった小項目が含まれる。
(About the posted information storage unit 124)
The posted
「ユーザＩＤ」は、ＥＣサイトへの投稿により、レビュー欄に自由視点画像を掲載させるユーザを識別する情報を示す。「投稿画像」は、レビュー欄に掲載される自由視点画像を識別する情報を示す。 “User ID” indicates information for identifying a user who is allowed to post a free viewpoint image in the review column by posting to the EC site. “Posted image” indicates information for identifying a free viewpoint image posted in the review column.
「貢献情報」は、ユーザによりレビュー欄に掲載された自由視点画像が、当該ＥＣサイトにおいてサイト管理者や他のユーザのためにどのくらい貢献したかという指標値を示す。図１７に示すように、「貢献情報」は、ユーザが投稿した自由視点画像ごとに記憶される。 “Contribution information” indicates an index value indicating how much the free viewpoint image posted in the review column by the user contributed to the site manager and other users on the EC site. As shown in FIG. 17, “contribution information” is stored for each free viewpoint image posted by the user.
「操作回数」は、レビュー欄に掲載された自由視点画像に対してユーザから操作された回数を示す。例えば、操作回数は、ユーザがレビュー欄に掲載された自由視点画像を選択したり、自由視点画像を回転、拡大、もしくは縮小させる操作を行ったりしたことにより計数される。 The “number of operations” indicates the number of times the user has operated the free viewpoint image posted in the review column. For example, the number of operations is counted when the user selects a free viewpoint image posted in the review column or performs an operation of rotating, enlarging, or reducing the free viewpoint image.
「レビューポイント」は、レビュー欄に掲載された自由視点画像に対して、他のユーザからレビュー欄において評価されたポイント数を示す。例えば、レビューポイントは、レビューに対して、「参考になった」等のレビューを評価することを示す評価ボタンＷ４０を選択した行動を、レビューを閲覧したユーザが実行した場合等に計数される。 “Review point” indicates the number of points evaluated in the review column by other users for the free viewpoint image posted in the review column. For example, a review point is counted when a user who has viewed a review executes an action that selects an evaluation button W40 indicating that a review such as “useful” is evaluated for a review.
「コンバージョン数」は、レビュー欄に掲載された自由視点画像に対して、ユーザがコンバージョンに至った回数を示す。例えば、コンバージョン数は、ユーザがレビュー欄に掲載された自由視点画像を閲覧した後や、自由視点画像を操作した後、所定時間内に、自由視点画像が販促する商材に対してコンバージョンに至った回数により計数される。 “Number of conversions” indicates the number of times the user has converted to the free viewpoint image posted in the review column. For example, the number of conversions may be converted to a product that the free viewpoint image promotes within a predetermined time after the user views the free viewpoint image posted in the review column or operates the free viewpoint image. It is counted by the number of times.
すなわち、図１８では、ユーザＩＤ「Ｕ０１」によって識別されるユーザがレビュー欄に投稿した自由視点画像である投稿画像は「ＦＶ１１」であり、自由視点画像ＦＶ１１の貢献情報は、操作回数が「７８」回であり、レビューポイントが「３５」ポイントであり、コンバージョン数が「７」回であることを示している。 That is, in FIG. 18, the posted image that is a free viewpoint image posted to the review column by the user identified by the user ID “U01” is “FV11”, and the contribution information of the free viewpoint image FV11 has an operation count of “78”. ”Times, the review point is“ 35 ”points, and the number of conversions is“ 7 ”times.
なお、図１８では、投稿情報記憶部１２４にはコンバージョン数が記憶される例を示しているが、これに限られず、コンバージョン率が記憶されてもよい。この場合、投稿情報記憶部１２４は、自由視点画像ＦＶ１１の配信回数に対するコンバージョン率を記憶する。また、投稿情報記憶部１２４には、集計期間を示す情報や、ユーザが投稿した各自由視点画像の貢献情報の合計などが記憶されてもよい。
In FIG. 18, an example in which the number of conversions is stored in the posting
（制御部１３０について）
続いて、第３の実施形態に係る制御部１３０の各処理部について説明する。第３の実施形態において、受付部１３１は、ユーザから複数の画像データの入稿を受け付ける。生成部１３２は、受け付けた複数の画像データに基づいて、自由視点画像ＦＶ１１を生成する。配信部１３３は、生成部１３２によって生成された自由視点画像ＦＶ１１をウェブサーバ５０（あるいは、管理装置１０）に配信する。これにより、ウェブページＷ０１のレビュー欄にレビュー用自由視点画像である自由視点画像ＦＶ１１が掲載される。
(About the control unit 130)
Next, each processing unit of the
受信部１３４は、レビュー欄に掲載された自由視点画像ＦＶ１１に対するユーザの行動に関する情報を受信する。例えば、受信部１３４は、ウェブページＷ０１内における評価ボタンＷ４０をユーザが選択したことを受信する。また、受信部１３４は、ユーザが自由視点画像ＦＶ１１を選択したこと、所定時間以上画面に表示させたこと、表示を回転させたり、拡大させたり、縮小させたりといった操作を行った情報などを受信する。また、受信部１３４は、かかる自由視点画像ＦＶ１１の閲覧や操作を契機として、自由視点画像ＦＶ１１が販促する商材を購入したといったユーザ行動に関する情報を受信する。
The receiving
評価部１３５は、受信部１３４によって受信されたユーザＵ０２の行動に関する情報に基づいて、レビュー用自由視点画像ＦＶ１１を評価する。具体的には、評価部１３５は、ユーザＵ０２の行動として、自由視点画像ＦＶ１１が選択された回数や、レビュー用自由視点画像ＦＶ１１に対する回転操作、拡大操作、縮小操作の回数、操作時間、閲覧時間、ウェブページＷ０１に掲載されている自由視点画像ＦＶ０１に関係する商材のコンバージョン数、の少なくとも一つの項目に関する情報に基づいて、自由視点画像ＦＶ１１を評価する。例えば、評価部１３５は、レビュー用自由視点画像ＦＶ１１に対する回転操作、拡大操作、縮小操作の回数が多いほど、レビュー用自由視点画像ＦＶ１１の評価を高く判定する。また、評価部１３５は、レビュー用自由視点画像ＦＶ１１に対する操作時間や閲覧時間が長いほど、レビュー用自由視点画像ＦＶ１１の評価を高く判定する。
The
また、評価部１３５は、レビュー用自由視点画像ＦＶ１１の評価に基づいて、レビュー用自由視点画像ＦＶ１１を投稿したユーザＵ０１の、ウェブページＷ０１が含まれるＥＣサイトに対する貢献度を評価する。例えば、評価部１３５は、レビュー用自由視点画像ＦＶ１１の評価が高い（すなわち、レビュー用自由視点画像ＦＶ１１へのユーザＵ０２等の反応が多い）ほど、自由視点画像ＦＶ０１を含むＥＣサイトへの貢献度が大きいものとして評価する。また、評価部１３５は、ウェブページＷ０１に掲載されている自由視点画像ＦＶ０１に関係する商材のコンバージョン数や、レビュー用自由視点画像ＦＶ１１が掲載されたレビューのレビューポイントが多いほど、ユーザＵ０１の貢献度が大きいものとして評価してもよい。
Further, the
また、評価部１３５は、ユーザＵ０１のＥＣサイト等への貢献度に応じて、ユーザＵ０１に対する報酬を評価する。例えば、レビュー用自由視点画像ＦＶ１１のユーザからの反応が多いことにより、かかるレビューが、自由視点画像ＦＶ０１が紹介する商材等の購買がユーザＵ０２により行われる契機となったと想定される場合がある。このような場合、ユーザＵ０１は、貢献度に応じて、例えばサイト管理者から、報酬として何らかのフィードバックを受けうる。評価部１３５は、かかる貢献度に応じて、ユーザＵ０１に対する報酬を評価する。
The
通知部１３６は、評価部１３５によって評価された貢献度に関する情報を通知する。例えば、通知部１３６は、自由視点画像ＦＶ１１を投稿したユーザの貢献情報の合計をサイト管理者に通知する。また、通知部１３６は、貢献度に応じて与えられるフィードバックに関する情報をユーザに通知してもよい。また、例えば、サイト管理者と画像処理装置１００の管理者との間で、ユーザが投稿した自由視点画像の貢献度に応じて、いくらかの報酬をユーザにフィードバックする旨の取り決め等がある場合には、通知部１３６は、かかる取り決めに従い、貢献度に応じたフィードバックに関する情報を通知する。
The
〔３−３．画像処理手順〕
次に、図１９を用いて、第３の実施形態に係る画像処理装置１００による画像処理の手順について説明する。図１９は、第３の実施形態に係る画像処理装置１００による画像処理手順を示すフローチャートである。
[3-3. (Image processing procedure)
Next, an image processing procedure performed by the
図１９に示すように、画像処理装置１００の受付部１３１は、ユーザ端末２０からレビュー投稿用の画像の入稿を受け付けたか否かを判定する（ステップＳ３０１）。このとき、受付部１３１は、画像データの入稿を受け付けていない場合には（ステップＳ３０１；Ｎｏ）、画像データの入稿を受け付けるまで待機する。
As illustrated in FIG. 19, the receiving
一方、受付部１３１は、画像データの入稿を受け付けた場合には（ステップＳ３０１；Ｙｅｓ）、受け付けた画像データを画像データ記憶部１２１に格納する。続いて、生成部１３２は、入稿された画像データに対して所定の校正を行い、自由視点画像を生成する（ステップＳ３０２）。そして、配信部１３３は、自由視点画像をレビュー投稿用に配信する（ステップＳ３０３）。
On the other hand, when accepting image data submission (step S301; Yes), the accepting
そして、受信部１３４は、レビュー欄に掲載された自由視点画像に対するユーザの行動に関する情報を受信する（ステップＳ３０４）。そして、評価部１３５は、受信されたユーザの行動に関する情報に基づいて、投稿ユーザの貢献度を評価する（ステップＳ３０５）。そして、通知部１３６は、評価部１３５が評価した貢献度に応じたフィードバックを投稿ユーザに通知する（ステップＳ３０６）。
And the receiving
〔３−４．効果〕
上述してきたように、第３の実施形態に係る画像処理装置１００は、受付部１３１と、生成部１３２と、配信部１３３とを有する。受付部１３１は、所定のメディアに投稿を行うユーザであるユーザＵ０１（第２ユーザの一例）から複数の画像データを受け付ける。生成部１３２は、ユーザＵ０１から受け付けた複数の画像データに基づいて、所定のメディアの投稿欄に表示される画像であって、任意の視点位置に対応する画像を連続的に表示可能であるレビュー用自由視点画像ＦＶ１１を生成する。配信部１３３は、所定のメディアにおける投稿欄に表示される画像として、レビュー用自由視点画像ＦＶ１１を配信する。
[3-4. effect〕
As described above, the
これにより、第３の実施形態に係る画像処理装置１００は、ユーザから投稿される自由視点画像などによって、サイトの充実を図らせることができる。また、ユーザにとっては、自身のコーディネイトなど、他のユーザに閲覧させたい情報を容易に発信することが可能になる。また、レビュー欄を閲覧するユーザにとっては、サイトに掲載された情報のみならず、他のユーザから投稿された自由視点画像を閲覧することができるので、購買活動などの指針にする情報をより多く得ることができる。このように、第３の実施形態に係る画像処理装置１００によれば、自由視点画像の活用をより促進させることができる。
Thereby, the
また、第３の実施形態に係る画像処理装置１００は、レビュー用自由視点画像ＦＶ１１を閲覧したユーザであるユーザＵ０２（第３ユーザの一例）に関する情報であって、レビュー用自由視点画像ＦＶ１１に対するユーザＵ０２の行動に関する情報を受信する受信部１３４と、受信部１３４によって受信されたユーザＵ０２の行動に関する情報に基づいて、レビュー用自由視点画像を評価する評価部１３５と、をさらに備える。
Further, the
このように、第３の実施形態に係る画像処理装置１００は、レビュー欄に掲載された自由視点画像について評価することにより、レビュー欄をどのくらいのユーザが参照し、また、販促やサイトの充実に有用であるかを提示することができる。
As described above, the
また、評価部１３５は、ユーザＵ０２の行動に関する情報として、レビュー用自由視点画像ＦＶ１１に対する回転操作、拡大操作、縮小操作の回数、操作時間、閲覧時間、所定のメディアに掲載されている自由視点画像ＦＶ０１に関係する商材のコンバージョン数、の少なくとも一つの項目に関する情報に基づいて、レビュー用自由視点画像ＦＶ１１を評価する。
In addition, the
このように、第３の実施形態に係る画像処理装置１００は、種々の項目を用いて自由視点画像を評価するので、特定の項目の数値に偏重することなく、適切な評価をすることができる。
As described above, the
また、評価部１３５は、レビュー用自由視点画像ＦＶ１１の評価に基づいて、レビュー用自由視点画像ＦＶ１１を投稿したユーザＵ０１の、ウェブページＷ０１が含まれるＥＣサイトに対する貢献度を評価する。
Further, the
このように、第３の実施形態に係る画像処理装置１００は、レビュー用の自由視点画像を評価することを通じて、レビューがＥＣサイト等に与える影響を測定することができる。これにより、画像処理装置１００は、レビューがＥＣサイトに掲載された情報を補完している状況や、ＥＣサイトの充実に与える効果を提示することができる。
As described above, the
また、評価部１３５は、ウェブページＷ０１が含まれるＥＣサイトに対する貢献度に応じて、ユーザＵ０１に対する報酬を評価する。
In addition, the
このように、第３の実施形態に係る画像処理装置１００は、レビューを投稿したユーザに対して適切なフィードバックを算出する。これにより、画像処理装置１００は、レビューを投稿する動機付けをユーザに与えることができるので、自由視点画像の活用をより一層図ることが可能となる。
As described above, the
〔４．変形例〕
上述してきた実施形態に係る画像処理装置１００は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下に、上記の画像処理装置１００の他の実施形態について説明する。
[4. (Modification)
The
上記実施形態においては、受付部１３１は、画像データを受け付ける例を示した。しかし、受付部１３１は、画像データ以外を受け付けてもよい。例えば、受付部１３１は、サイト管理者やユーザが準備した動画データを受け付けてもよい。この場合、生成部１３２は、受け付けた動画から自由視点画像を生成するために適したフレームを抽出することにより、自由視点画像を生成することができる。
In the above embodiment, the receiving
また、生成部１３２は、自由視点画像を生成する際に、かかる自由視点画像をユーザが操作可能な状態にするのみならず、自由視点画像がアニメーションにより自動で表示を遷移させる制御情報を生成してもよい。この場合、配信部１３３は、かかる制御情報とともに自由視点画像を配信する。これにより、自由視点画像が配信されたウェブページにおいては、ユーザの操作によらず、自動で表示を遷移させる（例えば、自動で回転表示する）自由視点画像を表示させることができる。なお、ユーザの操作によらず自由視点画像の表示を遷移させる処理は、ウェブサーバ５０や、ユーザ端末２０によって実現されてもよい。
In addition, when generating the free viewpoint image, the generating
上記実施形態においては、評価部１３５によって評価された情報に基づいて、自由視点画像の初期表示を更新する例を示した。しかし、かかる初期表示は、自由視点画像を表示するユーザ端末２０ごとに異なる設定がされてもよい。すなわち、配信部１３３は、閲覧するユーザに合わせた表示をする自由視点画像を配信することができる。かかる表示は、例えば、自由視点画像とともに配信部１３３が配信する制御情報によって実現される。また、かかる処理は、ウェブサーバ５０や、ユーザ端末２０により実現されてもよい。
In the embodiment described above, an example in which the initial display of the free viewpoint image is updated based on the information evaluated by the
上記実施形態においては、自由視点画像が配信される例として、ショッピングサイト等のＥＣサイトを挙げて説明した。しかし、画像処理装置１００が自由視点画像を配信する先は、ＥＣサイトに限られない。例えば、画像処理装置１００は、主としてＵＧＣ（User-Generated Contents）を掲載するサイトであるＵＧＭ（User-Generated Media）、またはＣＧＭ（Consumer-Generated Media）等に生成した自由視点画像を配信してもよい。例えば、ＵＧＭには、投稿動画共有サイト、写真共有サイト、イラスト投稿サイト、ＳＮＳ（Social Networking Service）等が含まれる。
In the said embodiment, EC site | parts, such as a shopping site, were mentioned and demonstrated as an example in which a free viewpoint image is delivered. However, the destination to which the
〔５．その他〕
また、上述した各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
[5. Others]
In addition, among the processes described in the above-described embodiments, all or part of the processes described as being automatically performed can be manually performed, or have been described as being manually performed. All or a part of the processing can be automatically performed by a known method. In addition, the processing procedures, specific names, and information including various data and parameters shown in the document and drawings can be arbitrarily changed unless otherwise specified. For example, the various types of information illustrated in each drawing is not limited to the illustrated information.
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図２に示した受付部１３１と生成部１３２とは統合されてもよい。また、画像処理装置１００は、サイト管理者等の利用者とデータのやりとりを主に行うフロントエンドサーバと、生成処理等を行うバックエンドサーバとに分散される態様であってもよい。この場合、フロントエンドサーバは、少なくとも、受付部１３１と、配信部１３３とを有する。また、バックエンドサーバは、少なくとも、生成部１３２を有する。また、画像処理装置１００は、記憶部１２０を内部に備えるのではなく、外部のストレージサーバを利用する態様であってもよい。
Further, each component of each illustrated apparatus is functionally conceptual, and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured. For example, the
また、例えば、図３、図４等に示した各種情報は、図示した情報に限られない。また、例えば、図１、図５、図６、図７、図８、図１０、図１６等に示した被写体は、模式的に示した例であって、図示したものに限られない。 Further, for example, the various types of information illustrated in FIGS. 3 and 4 are not limited to the illustrated information. In addition, for example, the subjects illustrated in FIGS. 1, 5, 6, 7, 8, 10, 16, and 16 are examples schematically illustrated, and are not limited to those illustrated.
また、上述してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 Moreover, each embodiment mentioned above can be combined suitably in the range which does not contradict a process content.
〔６．ハードウェア構成〕
また、上述してきた実施形態に係る画像処理装置１００は、例えば図２０に示すような構成のコンピュータ１０００によって実現される。図２０は、画像処理装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。
[6. Hardware configuration)
Further, the
ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
The
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を記憶する。通信インターフェイス１５００は、通信網５００（実施形態のネットワークＮに対応する）を介して他の機器からデータを受信してＣＰＵ１１００へ送り、また、通信網５００を介してＣＰＵ１１００が生成したデータを他の機器へ送信する。
The
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して生成したデータを出力装置へ出力する。
The
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラム又はデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
The
例えば、コンピュータ１０００が画像処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。また、ＨＤＤ１４００には、記憶部１２０内の各データが格納される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から通信網５００を介してこれらのプログラムを取得してもよい。
For example, when the
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。 As described above, some of the embodiments of the present application have been described in detail with reference to the drawings. However, these are merely examples, and various modifications, including the aspects described in the disclosure section of the invention, based on the knowledge of those skilled in the art, It is possible to implement the present invention in other forms with improvements.
また、上述した画像処理装置１００は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットフォーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。
Further, the
また、特許請求の範囲に記載した「手段」は、「部（section、module、unit）」や「回路」などに読み替えることができる。例えば、生成手段は、生成部や生成回路に読み替えることができる。 Further, the “means” described in the claims can be read as “section (module, unit)” or “circuit”. For example, the generation unit can be read as a generation unit or a generation circuit.
１ 画像処理システム
１０ 管理装置
２０ ユーザ端末
５０ ウェブサーバ
１００ 画像処理装置
１１０ 通信部
１２０ 記憶部
１２１ 画像データ記憶部
１２２ 自由視点画像記憶部
１２３ 評価情報記憶部
１２４ 投稿情報記憶部
１３０ 制御部
１３１ 受付部
１３２ 生成部
１３３ 配信部
１３４ 受信部
１３５ 評価部
１３６ 通知部
DESCRIPTION OF
Claims (19)
前記受付部によって受け付けられた複数の画像データに所定の変換処理を行うことにより、任意の視点位置に対応する画像を連続的に表示可能である自由視点画像を生成する生成部と、
前記生成部によって生成された自由視点画像を配信する配信部と、
前記配信部によって配信された自由視点画像を閲覧した第１ユーザに関する情報であって、前記自由視点画像に対する第１ユーザの行動に関する情報を受信する受信部と、
前記受信部によって受信された第１ユーザの行動に関する情報に基づいて、前記自由視点画像及び当該自由視点画像の生成元となった画像データごとに評価するとともに、当該画像データごとの評価に基づいて、当該自由視点画像が配信される際に評価の高い画像データに対応する角度が初期表示となるよう当該自由視点画像を更新する評価部と、
を備えることを特徴とする画像処理装置。 A reception unit for receiving a plurality of image data having different viewpoint positions;
A generation unit that generates a free viewpoint image capable of continuously displaying images corresponding to arbitrary viewpoint positions by performing predetermined conversion processing on the plurality of image data received by the reception unit;
A distribution unit that distributes the free viewpoint image generated by the generation unit;
A receiving unit that receives information about a first user's behavior with respect to the free viewpoint image, which is information about a first user who has viewed the free viewpoint image distributed by the distribution unit;
Based on the information regarding the action of the first user received by the receiving unit, the free viewpoint image and the image data that is the generation source of the free viewpoint image are evaluated, and based on the evaluation of the image data. An evaluation unit that updates the free viewpoint image so that an angle corresponding to image data with high evaluation is initially displayed when the free viewpoint image is distributed;
An image processing apparatus comprising:
前記受付部によって受け付けられた複数の画像データに所定の変換処理を行うことにより、任意の視点位置に対応する画像を連続的に表示可能である自由視点画像を生成する生成部と、A generation unit that generates a free viewpoint image capable of continuously displaying images corresponding to arbitrary viewpoint positions by performing predetermined conversion processing on the plurality of image data received by the reception unit;
前記生成部によって生成された自由視点画像を配信する配信部と、A distribution unit that distributes the free viewpoint image generated by the generation unit;
前記配信部によって配信された自由視点画像を閲覧した第１ユーザに関する情報であって、前記自由視点画像に対する第１ユーザの行動に関する情報を受信する受信部と、A receiving unit that receives information about a first user's behavior with respect to the free viewpoint image, which is information about a first user who has viewed the free viewpoint image distributed by the distribution unit;
前記受信部によって受信された第１ユーザの行動に関する情報に基づいて、前記自由視点画像を評価する評価部と、An evaluation unit that evaluates the free viewpoint image based on information on the behavior of the first user received by the reception unit;
を備え、With
前記受信部は、The receiver is
前記第１ユーザの行動に関する情報として、前記自由視点画像の生成元となった複数の画像データにまたがる操作に関する情報を受信し、As information related to the behavior of the first user, information related to an operation that spans a plurality of image data from which the free viewpoint image is generated is received,
前記評価部は、The evaluation unit is
前記受信部によって受信された操作に関する情報に基づいて、前記自由視点画像を構成する画像の連続性の評価を判定する、Determining an evaluation of continuity of images constituting the free viewpoint image based on information about the operation received by the receiving unit;
ことを特徴とする画像処理装置。An image processing apparatus.
生成される前記自由視点画像を確認するための画像である仮処理画像を生成し、
前記配信部は、
前記自由視点画像の配信の前に、前記仮処理画像を配信する、
ことを特徴とする請求項１又は２に記載の画像処理装置。 The generator is
Generating a provisionally processed image that is an image for confirming the generated free viewpoint image;
The delivery unit
Delivering the provisionally processed image before delivery of the free viewpoint image;
The image processing apparatus according to claim 1 , wherein the image processing apparatus is an image processing apparatus.
前記複数の画像データが所定の連続性を有するか否かを判定することにより、生成処理で取り扱う画像データを抽出し、抽出された画像データを用いて前記自由視点画像を生成する、
ことを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。 The generator is
By determining whether or not the plurality of image data has a predetermined continuity, the image data handled in the generation process is extracted, and the free viewpoint image is generated using the extracted image data.
The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus.
前記複数の画像データによっては前記自由視点画像を生成することができない場合には、生成することができない理由、又は前記自由視点画像を生成するための画像データの差し換えに関する情報が含まれる通知データを生成し、
前記配信部は、
前記生成部によって生成された通知データを配信する、
ことを特徴とする請求項１〜４のいずれか１つに記載の画像処理装置。 The generator is
If the free viewpoint image cannot be generated depending on the plurality of image data, notification data including the reason why the free viewpoint image cannot be generated or information on replacement of the image data for generating the free viewpoint image is included. Generate
The delivery unit
Delivering the notification data generated by the generating unit;
The image processing apparatus according to claim 1 , wherein the image processing apparatus is an image processing apparatus.
前記所定の変換処理として、複数の画像データ内で対応する点である対応点の関係に基づいて、当該画像データを取得した撮像装置の相対的な位置情報を取得することによって求められる変換行列を用いて、前記複数の画像データの射影変換を行う、
ことを特徴とする請求項１〜５のいずれか１つに記載の画像処理装置。 The generator is
As the predetermined conversion process, a conversion matrix obtained by acquiring relative position information of the imaging device that acquired the image data based on the relationship between corresponding points that are corresponding points in a plurality of image data. And performing projective transformation of the plurality of image data,
The image processing apparatus according to claim 1 , wherein the image processing apparatus is an image processing apparatus.
前記自由視点画像に対する第１ユーザの行動に関する情報として、前記自由視点画像に対する回転操作、拡大操作、縮小操作の回数、操作時間、閲覧時間、前記自由視点画像に関係する商材のコンバージョン数の少なくとも一つの項目に関する情報を受信し、
前記評価部は、
前記受信部によって受信された各項目の数値の大小によって、前記自由視点画像の評価の高低を判定する、
ことを特徴とする請求項１〜６のいずれか一つに記載の画像処理装置。 The receiver is
As information on the action of the first user with respect to the free viewpoint image, at least the number of rotation operations, enlargement operations, and reduction operations with respect to the free viewpoint image, operation time, browsing time, and the number of conversions of products related to the free viewpoint image Receive information about one item,
The evaluation unit is
The level of the evaluation of the free viewpoint image is determined according to the numerical value of each item received by the receiving unit.
The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus.
前記自由視点画像に対する第１ユーザの行動に関する情報を、前記自由視点画像の生成元となった画像データごとに受信し、
前記評価部は、
前記自由視点画像の生成元となった画像データごとの評価を判定する、
ことを特徴とする請求項２に記載の画像処理装置。 The receiver is
Receiving information on the behavior of the first user with respect to the free viewpoint image for each image data from which the free viewpoint image is generated;
The evaluation unit is
Determining an evaluation for each image data from which the free viewpoint image is generated;
The image processing apparatus according to claim 2 .
前記評価部によって判定された前記自由視点画像の生成元となった画像データごとの評価に基づいて、評価の高い画像データが優先的に表示されるように更新された前記自由視点画像を配信する、
ことを特徴とする請求項８に記載の画像処理装置。 The delivery unit
Based on the evaluation for each image data that is the generation source of the free viewpoint image determined by the evaluation unit, the free viewpoint image updated so that image data with high evaluation is preferentially displayed is distributed. ,
The image processing apparatus according to claim 8 .
をさらに備えたことを特徴とする請求項１〜９のいずれか１つに記載の画像処理装置。 A notification unit for notifying an administrator of a predetermined medium including the free viewpoint image of information related to the evaluation of the free viewpoint image by the evaluation unit;
The image processing apparatus according to any one of claims 1 to 9, further comprising a.
所定のメディアに投稿を行うユーザである第２ユーザから複数の画像データ受け付け、
前記生成部は、
前記第２ユーザから受け付けた複数の画像データに基づいて、任意の視点位置に対応する画像を連続的に表示可能であるレビュー用自由視点画像を生成し、
前記配信部は、
前記所定のメディアにおいて表示される画像として、前記レビュー用自由視点画像を配信する、
ことを特徴とする請求項１〜１０のいずれか１つに記載の画像処理装置。 The reception unit
Receiving a plurality of image data from a second user who is a user who posts to a predetermined medium;
The generator is
Based on a plurality of image data received from the second user, a free viewpoint image for review that can continuously display images corresponding to arbitrary viewpoint positions,
The delivery unit
Distributing the review free viewpoint image as an image displayed on the predetermined medium,
The image processing apparatus according to claim 1 , wherein the image processing apparatus is an image processing apparatus.
前記レビュー用自由視点画像を閲覧したユーザである第３ユーザに関する情報であって、前記レビュー用自由視点画像に対する第３ユーザの行動に関する情報を受信し、
前記評価部は、
前記受信部によって受信された第３ユーザの行動に関する情報に基づいて、前記レビュー用自由視点画像を評価する、
ことを特徴とする請求項１１に記載の画像処理装置。 The receiver is
An information about the third user is a user who has viewed the free viewpoint image for the front Symbol review, to receive information about the behavior of the third user to the free viewpoint image for the review,
The evaluation unit is
Based on the information about the behavior of the third user that is received by the front Symbol receiver, we evaluate the free viewpoint image for the review,
The image processing apparatus according to claim 11, wherein the this.
前記第３ユーザの行動に関する情報として、前記レビュー用自由視点画像に対する回転操作、拡大操作、縮小操作の回数、操作時間、閲覧時間、前記自由視点画像に関係する商材のコンバージョン数の少なくとも一つの項目に関する情報に基づいて、前記レビュー用自由視点画像を評価する、
ことを特徴とする請求項１２に記載の画像処理装置。 The evaluation unit is
As the information regarding the action of the third user, at least one of the number of rotation operations, enlargement operations, reduction operations, operation time, browsing time, and the number of conversions of products related to the free viewpoint image for the review free viewpoint image Evaluating the review free viewpoint image based on information about the item;
The image processing apparatus according to claim 12 .
前記レビュー用自由視点画像の評価に基づいて、前記レビュー用自由視点画像を投稿した第２ユーザの前記所定のメディアに対する貢献度を評価する、
ことを特徴とする請求項１２又は１３に記載の画像処理装置。 The evaluation unit is
Based on the evaluation of the free viewpoint image for review, the degree of contribution of the second user who posted the free viewpoint image for review to the predetermined medium is evaluated.
The image processing apparatus according to claim 12 , wherein the image processing apparatus is an image processing apparatus.
前記貢献度に応じて、前記第２ユーザに対する報酬を評価する、
ことを特徴とする請求項１４に記載の画像処理装置。 The evaluation unit is
According to the degree of contribution, a reward for the second user is evaluated.
The image processing apparatus according to claim 14 .
視点位置が異なる複数の画像データを受け付ける受付工程と、
前記受付工程によって受け付けられた複数の画像データに所定の変換処理を行うことにより、任意の視点位置に対応する画像を連続的に表示可能である自由視点画像を生成する生成工程と、
前記生成工程によって生成された自由視点画像を配信する配信工程と、
前記配信工程によって配信された自由視点画像を閲覧した第１ユーザに関する情報であって、前記自由視点画像に対する第１ユーザの行動に関する情報を受信する受信工程と、
前記受信工程によって受信された第１ユーザの行動に関する情報に基づいて、前記自由視点画像及び当該自由視点画像の生成元となった画像データごとに評価するとともに、当該画像データごとの評価に基づいて、当該自由視点画像が配信される際に評価の高い画像データに対応する角度が初期表示となるよう当該自由視点画像を更新する評価工程と、
を含んだことを特徴とする画像処理方法。 An image processing method executed by a computer,
Accepting a plurality of image data with different viewpoint positions;
Generating a free viewpoint image capable of continuously displaying an image corresponding to an arbitrary viewpoint position by performing a predetermined conversion process on the plurality of image data received by the receiving step;
A distribution step of distributing the free viewpoint image generated by the generation step;
A reception step of receiving information related to the first user's behavior with respect to the free viewpoint image, which is information related to the first user who has browsed the free viewpoint image distributed in the distribution step;
Based on the information regarding the action of the first user received by the receiving step, the free viewpoint image and the image data that is the generation source of the free viewpoint image are evaluated, and the evaluation is performed for each image data. An evaluation step of updating the free viewpoint image so that an angle corresponding to image data with high evaluation is initially displayed when the free viewpoint image is distributed;
An image processing method comprising:
前記受付手順によって受け付けられた複数の画像データに所定の変換処理を行うことにより、任意の視点位置に対応する画像を連続的に表示可能である自由視点画像を生成する生成手順と、
前記生成手順によって生成された自由視点画像を配信する配信手順と、
前記配信手順によって配信された自由視点画像を閲覧した第１ユーザに関する情報であって、前記自由視点画像に対する第１ユーザの行動に関する情報を受信する受信手順と、
前記受信手順によって受信された第１ユーザの行動に関する情報に基づいて、前記自由視点画像及び当該自由視点画像の生成元となった画像データごとに評価するとともに、当該画像データごとの評価に基づいて、当該自由視点画像が配信される際に評価の高い画像データに対応する角度が初期表示となるよう当該自由視点画像を更新する評価手順と、
をコンピュータに実行させることを特徴とする画像処理プログラム。 An acceptance procedure for receiving a plurality of image data with different viewpoint positions;
A generation procedure for generating a free viewpoint image capable of continuously displaying an image corresponding to an arbitrary viewpoint position by performing predetermined conversion processing on the plurality of image data received by the reception procedure;
A distribution procedure for distributing the free viewpoint image generated by the generation procedure;
A reception procedure for receiving information relating to the first user's behavior with respect to the free viewpoint image, which is information related to the first user who has viewed the free viewpoint image distributed by the distribution procedure;
Based on the information about the behavior of the first user received by the reception procedure, the free viewpoint image and the image data that is the generation source of the free viewpoint image are evaluated, and the evaluation is performed for each image data. An evaluation procedure for updating the free viewpoint image so that an angle corresponding to image data with high evaluation is initially displayed when the free viewpoint image is distributed;
An image processing program for causing a computer to execute.
視点位置が異なる複数の画像データを受け付ける受付工程と、Accepting a plurality of image data with different viewpoint positions;
前記受付工程によって受け付けられた複数の画像データに所定の変換処理を行うことにより、任意の視点位置に対応する画像を連続的に表示可能である自由視点画像を生成する生成工程と、Generating a free viewpoint image capable of continuously displaying an image corresponding to an arbitrary viewpoint position by performing a predetermined conversion process on the plurality of image data received by the receiving step;
前記生成工程によって生成された自由視点画像を配信する配信工程と、A distribution step of distributing the free viewpoint image generated by the generation step;
前記配信工程によって配信された自由視点画像を閲覧した第１ユーザに関する情報であって、前記自由視点画像に対する第１ユーザの行動に関する情報を受信する受信工程と、A reception step of receiving information related to the first user's behavior with respect to the free viewpoint image, which is information related to the first user who has browsed the free viewpoint image distributed in the distribution step;
前記受信工程によって受信された第１ユーザの行動に関する情報に基づいて、前記自由視点画像を評価する評価工程と、An evaluation step of evaluating the free viewpoint image based on information on the behavior of the first user received by the reception step;
を含み、Including
前記受信工程は、The receiving step includes
前記第１ユーザの行動に関する情報として、前記自由視点画像の生成元となった複数の画像データにまたがる操作に関する情報を受信し、As information related to the behavior of the first user, information related to an operation that spans a plurality of image data from which the free viewpoint image is generated is received,
前記評価工程は、The evaluation step includes
前記受信工程によって受信された操作に関する情報に基づいて、前記自由視点画像を構成する画像の連続性の評価を判定する、Determining an evaluation of continuity of images constituting the free viewpoint image based on information about the operation received by the receiving step;
ことを特徴とする画像処理方法。An image processing method.
前記受付手順によって受け付けられた複数の画像データに所定の変換処理を行うことにより、任意の視点位置に対応する画像を連続的に表示可能である自由視点画像を生成する生成手順と、A generation procedure for generating a free viewpoint image capable of continuously displaying an image corresponding to an arbitrary viewpoint position by performing predetermined conversion processing on the plurality of image data received by the reception procedure;
前記生成手順によって生成された自由視点画像を配信する配信手順と、A distribution procedure for distributing the free viewpoint image generated by the generation procedure;
前記配信手順によって配信された自由視点画像を閲覧した第１ユーザに関する情報であって、前記自由視点画像に対する第１ユーザの行動に関する情報を受信する受信手順と、A reception procedure for receiving information relating to the first user's behavior with respect to the free viewpoint image, which is information related to the first user who has viewed the free viewpoint image distributed by the distribution procedure;
前記受信手順によって受信された第１ユーザの行動に関する情報に基づいて、前記自由視点画像を評価する評価手順と、An evaluation procedure for evaluating the free viewpoint image based on information on the behavior of the first user received by the reception procedure;
をコンピュータに実行させ、To the computer,
前記受信手順は、The reception procedure is as follows:
前記第１ユーザの行動に関する情報として、前記自由視点画像の生成元となった複数の画像データにまたがる操作に関する情報を受信し、As information related to the behavior of the first user, information related to an operation that spans a plurality of image data from which the free viewpoint image is generated is received,
前記評価手順は、The evaluation procedure is:
前記受信手順によって受信された操作に関する情報に基づいて、前記自由視点画像を構成する画像の連続性の評価を判定する、Determining an evaluation of continuity of images constituting the free viewpoint image based on information about the operation received by the reception procedure;
ことを特徴とする画像処理プログラム。An image processing program characterized by that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014256478A JP6452429B2 (en) | 2014-12-18 | 2014-12-18 | Image processing apparatus, image processing method, and image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014256478A JP6452429B2 (en) | 2014-12-18 | 2014-12-18 | Image processing apparatus, image processing method, and image processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016119513A JP2016119513A (en) | 2016-06-30 |
| JP6452429B2 true JP6452429B2 (en) | 2019-01-16 |
Family
ID=56243184
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014256478A Active JP6452429B2 (en) | 2014-12-18 | 2014-12-18 | Image processing apparatus, image processing method, and image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6452429B2 (en) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6871801B2 (en) * | 2017-05-11 | 2021-05-12 | キヤノン株式会社 | Image processing equipment, image processing method, information processing equipment, imaging equipment and image processing system |
| JP7093198B2 (en) * | 2018-02-16 | 2022-06-29 | 株式会社富士通エフサス | Evaluation device, evaluation method and evaluation program |
| JP7353782B2 (en) * | 2019-04-09 | 2023-10-02 | キヤノン株式会社 | Information processing device, information processing method, and program |
| JP7363454B2 (en) * | 2019-12-19 | 2023-10-18 | 株式会社Ｊｖｃケンウッド | Image adjustment device, virtual reality image display system, and image adjustment method |
| JP7531473B2 (en) * | 2021-12-09 | 2024-08-09 | Ｌｉｎｅヤフー株式会社 | Information processing device, information processing method, and information processing program |
| JP7459038B2 (en) * | 2021-12-09 | 2024-04-01 | Ｌｉｎｅヤフー株式会社 | Information processing device, information processing method, and information processing program |
| JP7458362B2 (en) * | 2021-12-09 | 2024-03-29 | Ｌｉｎｅヤフー株式会社 | Information processing device, information processing method, and information processing program |
| JP2024031414A (en) * | 2022-08-26 | 2024-03-07 | 株式会社Ｊｖｃケンウッド | Content sales device, content sales method, and content sales program |
| JP2024031418A (en) * | 2022-08-26 | 2024-03-07 | 株式会社Ｊｖｃケンウッド | Content sales device, content sales method, and content sales program |
| WO2024042804A1 (en) * | 2022-08-26 | 2024-02-29 | 株式会社Ｊｖｃケンウッド | Content selling device, content selling method, and content selling program |
| JP2024031416A (en) * | 2022-08-26 | 2024-03-07 | 株式会社Ｊｖｃケンウッド | Content sales device, content sales method, and content sales program |
| JP2024031431A (en) * | 2022-08-26 | 2024-03-07 | 株式会社Ｊｖｃケンウッド | Content sales device, content sales method, and content sales program |
| JP7841390B2 (en) * | 2022-08-26 | 2026-04-07 | 株式会社Ｊｖｃケンウッド | Content sales device, content sales method, and content sales program |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3888192B2 (en) * | 2002-03-12 | 2007-02-28 | ソニー株式会社 | Product order receiving system and product order receiving method |
| EP1519582A4 (en) * | 2002-06-28 | 2007-01-31 | Sharp Kk | Image data delivery system, image data transmitting device thereof, and image data receiving device thereof |
| JP6055223B2 (en) * | 2012-07-27 | 2016-12-27 | 日本放送協会 | Projection-converted video generation device and program thereof, and multi-view video expression device |
| WO2015029115A1 (en) * | 2013-08-26 | 2015-03-05 | 楽天株式会社 | Electronic book system, electronic book provision method, recording medium, and program |
-
2014
- 2014-12-18 JP JP2014256478A patent/JP6452429B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016119513A (en) | 2016-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6452429B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| US11966995B2 (en) | Automatic guided image capturing and presentation of images | |
| US20200183987A1 (en) | Systems and Methods for Saving and Presenting a State of a Communication Session | |
| CN106164822A (en) | save the state of the communication session | |
| JP6215911B2 (en) | Method and system for selecting business objects | |
| JP5600148B2 (en) | VIDEO DISTRIBUTION DEVICE, VIDEO DISTRIBUTION METHOD, AND VIDEO DISTRIBUTION PROGRAM | |
| EP3519930B1 (en) | Objective based advertisement placement platform | |
| TW201533687A (en) | Method, apparatus, and system for displaying order information | |
| US20170161807A1 (en) | System and method for providing a barter system in a network environment | |
| JP5830153B1 (en) | Information display device, distribution device, information display method, and information display program | |
| US10600062B2 (en) | Retail website user interface, systems, and methods for displaying trending looks by location | |
| JP6609025B1 (en) | Human resource mediation support apparatus, human resource mediation support method, and program | |
| JP2020067867A (en) | Program, information processing method, and information processing device | |
| US10776860B2 (en) | Retail website user interface, systems, and methods for displaying trending looks | |
| JP6328085B2 (en) | Information display device, distribution device, information display method, and information display program | |
| JP2020042674A (en) | Information display program, information display device, information display method, and delivery device | |
| US10922706B2 (en) | Purchase referral incentivizer | |
| US20240290028A1 (en) | Non-transitory computer readable medium, information processing apparatus, and information processing method | |
| JP7190620B2 (en) | Information processing device, information delivery method, and information delivery program | |
| CN121437093A (en) | Virtual goods processing methods, apparatus, equipment, storage media and program products | |
| JP2025051563A (en) | Program, information processing apparatus, and information processing method | |
| KR20210028343A (en) | Method and system for sharing reviews | |
| JP2019012397A (en) | Server apparatus, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171122 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180824 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180828 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181010 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181113 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181211 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6452429 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |