Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7633544B2 - Programs, imaging equipment - Google Patents
[go: Go Back, main page]

JP7633544B2 - Programs, imaging equipment - Google Patents

Programs, imaging equipment Download PDF

Info

Publication number
JP7633544B2
JP7633544B2 JP2023113436A JP2023113436A JP7633544B2 JP 7633544 B2 JP7633544 B2 JP 7633544B2 JP 2023113436 A JP2023113436 A JP 2023113436A JP 2023113436 A JP2023113436 A JP 2023113436A JP 7633544 B2 JP7633544 B2 JP 7633544B2
Authority
JP
Japan
Prior art keywords
image
performer
unit
content
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023113436A
Other languages
Japanese (ja)
Other versions
JP2023153790A5 (en
JP2023153790A (en
Inventor
彩人 藤井
泰生 堤
Original Assignee
フリュー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フリュー株式会社 filed Critical フリュー株式会社
Priority to JP2023113436A priority Critical patent/JP7633544B2/en
Publication of JP2023153790A publication Critical patent/JP2023153790A/en
Publication of JP2023153790A5 publication Critical patent/JP2023153790A5/ja
Priority to JP2025017575A priority patent/JP2025067931A/en
Application granted granted Critical
Publication of JP7633544B2 publication Critical patent/JP7633544B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Studio Devices (AREA)

Description

本発明は、プログラム、撮影装置に関し、特に、ユーザを撮影するプログラム、撮影装置に関する。 The present invention relates to a program and an imaging device , and more particularly to a program and an imaging device for imaging a user.

従来、利用者を含む被写体をカメラで撮影し、その撮影画像と付加画像とを合成した合成画像を印刷写真として出力する遊戯用の自動写真作成装置がある。 Conventionally, there is an automatic photo creation device for play that takes a picture of a subject, including the user, with a camera and outputs a composite image, which is a combination of the taken image and an additional image, as a printed photograph.

しかし、上記の自動写真作成装置は、装置メーカが、付加画像としての画像ソースを別に作成して予め装置に記憶させておき、それを利用者が編集作業で利用するようになっている。従って、利用者は、装置メーカ側で予め用意された付加画像を利用するしかなく、十分な満足感を得ることができない。 However, in the above-mentioned automatic photo creation devices, the device manufacturer creates a separate image source as an additional image and stores it in the device in advance, and the user uses it in the editing work. Therefore, the user has no choice but to use the additional image prepared in advance by the device manufacturer, and cannot get a full sense of satisfaction.

そこで、先行被写体の撮影画像やその編集画像を、後続被写体としての利用者の撮影画像に付加するための新たな付加画像として登録することができる自動写真作成装置が発明されている(特許文献1)。尚、先行被写体は、パブリシティ権や商品化権が認められ得る付加価値を有する人、例えば、タレント等である。これにより、タレント等と並んだ写真を撮影することができ、従来にはない満足感が得られるとしている。 An automatic photo creation device has been invented that can register the captured image of a preceding subject and its edited image as a new additional image to be added to the captured image of the user as the following subject (Patent Document 1). The preceding subject is a person who has added value for which publicity rights and merchandising rights can be granted, such as a celebrity. This allows a photo to be taken of the user alongside the celebrity, providing a sense of satisfaction not previously available.

特開2008-005401号公報JP 2008-005401 A

ところで、上記自動写真作成装置の付加画像が静止画であり、上記自動写真作成装置の目的は、ユーザとタレント等とが並んだ写真を提供することである。 The additional image of the automatic photo creation device is a still image, and the purpose of the automatic photo creation device is to provide a photo in which the user and a celebrity, etc., are side by side.

しかしながら、上記自動写真作成装置は、ユーザは、タレント等と同じ空間を共有するような体験をすることができず、単なる合成写真の提供に留まっており、ユーザに十分な満足感を与えるものではなかった。 However, the automatic photo creation device does not allow the user to experience sharing the same space as a celebrity, and is limited to simply providing a composite photo, which does not provide sufficient satisfaction to the user.

そこで、本発明は、ユーザがタレント等の演者と同じ空間を共有するような体験を得ることができるともに、ユーザがその体験の記録画像を得ることができるプログラムを提供することにある。 The present invention aims to provide a program that allows users to have the experience of sharing the same space as a performer, such as a celebrity, and also allows users to obtain recorded images of that experience.

本発明の一態様は、ユーザを撮影するカメラと、表示部と、記憶部と、を備えるコンピュータのプログラムであって、プログラムは、コンピュータを、コンテンツを管理する管理装置から、演者のフィル信号とキー信号とを含む拡張現実用映像データ及び音声データを含むコンテンツデータを受信し、受信したコンテンツデータを記憶部に格納する受信手段、コンテンツデータを用いたコンテンツのコンテンツ一覧を、表示部に表示し、コンテンツ一覧から、ユーザが希望するコンテンツの選択を受け付けるコンテンツ選択手段、ユーザにより選択されたコンテンツのコンテンツデータの拡張現実用映像データのキー信号を用いて、演者のフィル信号とカメラが撮影したユーザの撮影映像とを合成し、ユーザと演者とを含む合成映像を生成し、合成映像を表示部に表示し、かつ、合成映像の少なくとも一部を記録画像として記録する映像合成手段、ユーザにより選択されたコンテンツのコンテンツデータの音声データを用いて、表示部に表示される合成映像に同期して演者の音声を出力する音声出力手段、記録画像を、保存のために管理装置に送信する送信手段、記録画像の保存場所を示す保存場所情報を、管理装置から受信し、保存場所を示す情報を表示部に表示する保存場所提示手段、として機能させるプログラムである。 One aspect of the present invention is a computer program including a camera for photographing a user, a display unit, and a storage unit, the program causing the computer to function as: a receiving means for receiving content data including augmented reality video data and audio data including a performer's fill signal and key signal from a management device that manages content, and storing the received content data in the storage unit; a content selection means for displaying a content list of content using the content data on the display unit and accepting a selection of a user's desired content from the content list; an image composition means for using a key signal of the augmented reality video data of the content data of the content selected by the user to compose the performer's fill signal and the user's video captured by the camera to generate a composite video including the user and the performer, displaying the composite video on the display unit, and recording at least a part of the composite video as a recorded image; an audio output means for outputting the voice of the performer in synchronization with the composite video displayed on the display unit using audio data of the content data of the content selected by the user; a transmission means for transmitting the recorded image to the management device for storage; and a storage location presentation means for receiving storage location information indicating the storage location of the recorded image from the management device and displaying information indicating the storage location on the display unit.

本発明は、ユーザが演者と同じ空間を共有するような体験を得ることができるともに、ユーザがその体験の記録画像を得ることができる。 The present invention allows users to have the experience of sharing the same space as the performers, and also allows users to obtain recorded images of that experience.

図1は本実施形態における撮影システムの全体構成例を示す図である。FIG. 1 is a diagram showing an example of the overall configuration of a photographing system according to this embodiment. 図2は撮影装置1のブロック図である。FIG. 2 is a block diagram of the photographing device 1. 図3は映像処理部154が行う合成映像の合成処理を説明するための図である。FIG. 3 is a diagram for explaining the synthesis process of the synthesized image performed by the image processor 154. As shown in FIG. 図4はコンテンツデータベースの一例を示した図である。FIG. 4 is a diagram showing an example of a content database. 図5は設定データの一例を示した図である。FIG. 5 is a diagram showing an example of the setting data. 図6は撮影装置1の外観を示す図である。FIG. 6 is a diagram showing the external appearance of the photographing device 1. As shown in FIG. 図7は管理サーバ2のブロック図である。FIG. 7 is a block diagram of the management server 2. 図8は撮影装置管理データベースの一例である。FIG. 8 shows an example of the imaging device management database. 図9は決済サーバ3のブロック図である。FIG. 9 is a block diagram of the settlement server 3 . 図10は装置間のシーケンス図である。FIG. 10 is a sequence diagram between the devices. 図11は撮影装置1の設定処理(Step1)の動作フローチャートである。FIG. 11 is a flowchart showing the operation of the setting process (Step 1) of the photographing device 1. 図12は管理サーバ2の管理処理(Step2)の動作フローチャートである。FIG. 12 is a flowchart showing the operation of the management process (Step 2) of the management server 2. 図13は撮影処理(Step3)の動作フローチャートである。FIG. 13 is an operational flowchart of the photographing process (Step 3). 図14は操作入力部13に表示されるコンテンツの選択画面の一例である。FIG. 14 shows an example of a content selection screen displayed on the operation input unit 13. As shown in FIG. 図15は操作入力部13に表示される利用料金画面の一例である。FIG. 15 is an example of a usage fee screen displayed on the operation input unit 13. In FIG. 図16は保存場所のアドレスを示す二次元コードが表示された画面の一例である。FIG. 16 is an example of a screen displaying a two-dimensional code indicating the address of the storage location. 図17は端末4にダウンロードされた記録画像が、端末4のディスプレイに表示された場合の一例である。FIG. 17 shows an example of a case where a recorded image downloaded to the terminal 4 is displayed on the display of the terminal 4. In FIG. 図18は第2の実施の形態における撮影システムの全体構成例を示す図である。FIG. 18 is a diagram showing an example of the overall configuration of an imaging system according to the second embodiment. 図19は演者撮影装置5のブロック図である。FIG. 19 is a block diagram of the performer photographing device 5. 図20は第2の実施の形態の管理サーバ2のブロック図である。FIG. 20 is a block diagram of the management server 2 according to the second embodiment. 図21は第2の実施の形態における撮影装置管理データベースの一例である。FIG. 21 shows an example of the imaging device management database in the second embodiment.

<第1の実施の形態>
[全体構成]
図1は、本実施形態における撮影システムの全体構成例を示す図である。図1に示すように、撮影システムは、撮影装置1と、管理サーバ2と、決済サーバ3と、端末4とを備えて構成される。撮影装置1と、管理サーバ2と、決済サーバ3と、端末4とは、通信回線Nに接続可能で、相互に通信可能である。
First Embodiment
[Overall configuration]
Fig. 1 is a diagram showing an example of the overall configuration of a photography system in this embodiment. As shown in Fig. 1, the photography system includes a photography device 1, a management server 2, a payment server 3, and a terminal 4. The photography device 1, the management server 2, the payment server 3, and the terminal 4 can be connected to a communication line N and can communicate with each other.

通信回線Nは、データ通信が可能な通信路を意味する。すなわち、通信回線Nは、直接接続のための専用線(専用ケーブル)やイーサネット(登録商標)等によるLANの他、電話通信網やケーブル網、インターネット等の通信網を含み、通信方法については有線/無線を問わない。 The communication line N refers to a communication path that allows data communication. In other words, the communication line N includes a dedicated line (dedicated cable) for direct connection, a LAN such as Ethernet (registered trademark), a telephone communication network, a cable network, the Internet, and other communication networks, regardless of whether the communication method is wired or wireless.

撮影装置1は、イベント会場、映画館等の施設に設置され、ユーザ(被写体)の撮影映像と、コンテンツ映像とを合成した合成映像を生成する装置である。尚、コンテンツ映像は、芸能人(ドラマ・映画などのキャスト、アイドル等)やスポーツ選手等(以下、これらをまとめて演者と記載する)の拡張現実用の映像(例えば、動画)である。また、撮影装置1は、デジタルサイネージの機能も備えている。また、撮影装置1は、基本的には、複数存在し、各イベント会場、映画館等の施設に設置される。 The imaging device 1 is installed in facilities such as event venues and movie theaters, and generates a composite image by combining a captured image of a user (subject) with a content image. The content image is an augmented reality image (e.g., a video) of entertainers (cast members of dramas and movies, idols, etc.) and athletes (collectively referred to as performers below). The imaging device 1 also has a digital signage function. Basically, there are multiple imaging devices 1, and they are installed at each event venue, movie theater, and other facilities.

管理サーバ2は、撮影装置1により使用されるコンテンツ映像及び広告の管理と、ユーザ(被写体)に提供する記録画像の保存を行うサーバである。 The management server 2 is a server that manages the content images and advertisements used by the imaging device 1 and stores the recorded images that are provided to the user (subject).

決済サーバ3は、撮影装置1の利用料金の決済を行うサーバである。 The payment server 3 is a server that handles payments for the use of the imaging device 1.

端末4は、ユーザ(被写体)が所持する端末であり、無線通信基地局等を介して通信回線Nに接続し、管理サーバ2とデータ通信を行うことができる。端末4は、例えば、スマートフォンや、携帯電話機、パソコン、タブレット型コンピュータ等である。端末4は、基本的には、複数存在し、各ユーザ(被写体)により操作される。そして、端末4は、少なくとも、画像データを受信し、その画像データを格納又は表示する機能、撮影機能などを持つ。 The terminal 4 is a terminal held by the user (subject), and can connect to the communication line N via a wireless communication base station or the like and communicate data with the management server 2. The terminal 4 is, for example, a smartphone, a mobile phone, a personal computer, a tablet computer, or the like. Basically, there are multiple terminals 4, and each terminal 4 is operated by each user (subject). The terminal 4 has at least the functions of receiving image data, storing or displaying the image data, and photographing functions.

[各装置の構成]
撮影装置1の構成を説明する。図2は撮影装置1のブロック図である。
[Configuration of each device]
The configuration of the photographing device 1 will now be described with reference to a block diagram of FIG.

図2中、10はカメラであり、11はディスプレイであり、12はスピーカであり、13は操作入力部であり、14は近距離無線通信部であり、15は処理部であり、16は送受信部であり、17は記憶部である。 In FIG. 2, 10 is a camera, 11 is a display, 12 is a speaker, 13 is an operation input unit, 14 is a short-range wireless communication unit, 15 is a processing unit, 16 is a transmission/reception unit, and 17 is a memory unit.

カメラ10は、ユーザ(被写体)と、ユーザ(被写体)が存在する空間の背景とを撮影するカメラである。カメラ10が撮影した映像(静止画、動画の双方を含む)を、以下、撮影映像と記載する。この撮影映像は処理部15に入力される。 Camera 10 is a camera that captures images of a user (subject) and the background of the space in which the user (subject) exists. The images (including both still images and videos) captured by camera 10 will be referred to as captured images below. These captured images are input to processing unit 15.

ディスプレイ11は、カメラ10により撮影された撮影映像とコンテンツ映像とが合成された映像が表示される。 The display 11 displays an image that is a composite of the image captured by the camera 10 and the content image.

スピーカ12はコンテンツの音声が出力される。 The speaker 12 outputs the audio of the content.

操作部入力部13は、ユーザ(被写体)が撮影に関する各種操作を入力するためのものであり、操作入力に応じた操作入力信号を処理部15に出力する。操作入力部13の機能は、例えば、キーボード、マウス、タッチ操作パッド、ホームボタン、ボタンスイッチや、ジョイスティック、トラックボールといったユーザが指で操作する素子はもちろん、加速度センサや角速度センサ、傾斜センサ、地磁気センサといった、運動や姿勢を検知する素子等によっても実現できる。本実施の形態の操作部入力部13は、操作情報が表示されるディプレイを備えるタッチ操作パネルである。 The operation input unit 13 allows the user (subject) to input various operations related to photography, and outputs an operation input signal corresponding to the operation input to the processing unit 15. The functions of the operation input unit 13 can be realized by, for example, elements operated by the user's fingers, such as a keyboard, mouse, touch operation pad, home button, button switch, joystick, or trackball, as well as elements that detect movement or posture, such as an acceleration sensor, angular velocity sensor, tilt sensor, or geomagnetic sensor. The operation input unit 13 in this embodiment is a touch operation panel equipped with a display on which operation information is displayed.

近距離無線通信部14は、利用料金の決済に使用される非接触型ICカードのリーダ・ライタである。 The short-distance wireless communication unit 14 is a reader/writer for a contactless IC card used to pay the usage fee.

処理部15は、記憶部17に格納されるプログラムやコンテンツデータ、操作入力部13からの操作入力信号等に基づいて撮影装置1の動作を統括的に制御する。処理部15の機能は、例えば、CPUやGPU等のマイクロプロセッサ、ASIC、ICメモリ等の電子部品によって実現できる。この処理部15は、主な機能部として、管理部151と、操作制御部152と、決済処理部153と、映像処理部154と、サイネージ制御部155と、音声制御部156と、保存場所提示部157とを備える。 The processing unit 15 comprehensively controls the operation of the imaging device 1 based on the programs and content data stored in the memory unit 17, the operation input signal from the operation input unit 13, etc. The functions of the processing unit 15 can be realized by electronic components such as a microprocessor such as a CPU or GPU, an ASIC, and an IC memory. The processing unit 15 has, as its main functional units, a management unit 151, an operation control unit 152, a payment processing unit 153, a video processing unit 154, a signage control unit 155, an audio control unit 156, and a storage location presentation unit 157.

管理部151は、撮影装置1の設定及びデータの管理を行う。撮影装置1の設定は、撮影装置1の付与されたアカウント及びパスワードによる認証後、管理者が必要な設定を行う。撮影装置1の設定の代表的なものとして、撮影装置1で使用するコンテンツの設定がある。コンテンツは、管理サーバ2からダウンロードし、記憶部17に格納される。コンテンツのダウンロードは、自動でコンテンツのダウンロードが行われる自動更新モードと、管理者が希望するコンテンツを選択してダウンロードする手動更新モードがある。管理者がいずれかのモードを設定することにより、コンテンツのダウンロードが行われ、コンテンツが撮影装置1に格納される。 The management unit 151 manages the settings and data of the camera 1. The administrator performs the necessary settings for the camera 1 after authentication using the account and password assigned to the camera 1. A typical setting for the camera 1 is the setting of the content to be used in the camera 1. The content is downloaded from the management server 2 and stored in the storage unit 17. There are two types of content download: an automatic update mode in which content is downloaded automatically, and a manual update mode in which the administrator selects and downloads the content he or she desires. When the administrator sets one of these modes, the content is downloaded and stored in the camera 1.

コンテンツには、ユーザ(被写体)の撮影映像と合成されるコンテンツ映像と、デジタルサイネージに使用されるサイネージ映像(広告映像)とがある。コンテンツ映像は、芸能人(ドラマ・映画などのキャスト、アイドル等)やスポーツ選手等の演者の映像であり、拡張現実用の映像データである。コンテンツ映像は、基本的には動画である。また、サイネージ映像は、広告映像であり、動画、静止画のいずれも含む。尚、コンテンツ映像と、それらの映像に関するメタデータ(識別情報及び利用料金など)とを含めてコンテンツデータ記載する。同様に、サイネージ映像と、それらの映像に関するメタデータ(識別情報など)とを含めてサイネージデータと記載する。 Content includes content video that is combined with footage shot by the user (subject), and signage video (advertising video) used for digital signage. Content video is video of performers such as entertainers (cast members of dramas and movies, idols, etc.) and athletes, and is video data for augmented reality. Content video is basically video. Signage video is advertising video, and includes both video and still images. Content data includes content video and metadata related to those videos (identification information, usage fees, etc.). Similarly, signage data includes signage video and metadata related to those videos (identification information, etc.).

操作制御部152は、コンテンツの内容(例えば、サムネイル映像)や操作情報を操作部入力部13に表示する。また、操作部入力部13からの操作信号を受信する。 The operation control unit 152 displays the content (e.g., thumbnail images) and operation information on the operation input unit 13. It also receives operation signals from the operation input unit 13.

決済処理部153は、近距離無線通信部14により読み取られた非接触型ICカードの決済情報を受信し、決済情報を決済サーバ3に送信する。また、決済が完了した場合、決済サーバ3から決済完了情報を受信する。 The payment processing unit 153 receives payment information from the contactless IC card read by the short-range wireless communication unit 14, and transmits the payment information to the payment server 3. When the payment is completed, the payment processing unit 153 receives payment completion information from the payment server 3.

映像処理部154は、カメラ10からのユーザ(被写体)の撮影映像を入力し、撮影映像に、ユーザ(被写体)が選択したコンテンツのコンテンツ映像を重畳した合成映像を生成する。 The video processing unit 154 inputs the captured video of the user (subject) from the camera 10 and generates a composite video by superimposing the content video of the content selected by the user (subject) onto the captured video.

映像処理部154が行う合成映像の生成について説明する。合成映像を生成するためには、撮影映像、フィル(Fill)信号及びキー信号の3種類の映像信号が必要となる。フィル(Fill)信号は、ユーザ(被写体)が選択したコンテンツの演者のコンテンツ映像である。キー信号は、フィル(Fill)信号であるコンテンツ映像を重畳する領域を指定する信号である。尚、本実施の形態では、フィル(Fill)信号及びキー信号が、拡張現実用映像データである。 The generation of a composite image performed by the image processing unit 154 will now be described. To generate a composite image, three types of image signals are required: a captured image, a fill signal, and a key signal. The fill signal is a content image of a performer of the content selected by the user (subject). The key signal is a signal that specifies the area in which the content image, which is the fill signal, is superimposed. In this embodiment, the fill signal and the key signal are augmented reality image data.

図3は映像処理部154が行う合成映像の合成処理を説明するための図である。合成処理は、撮影映像の全領域のうち、キー信号に基づいて指定される領域に、フィル信号の演者の映像をはめ込むことによって、合成映像を生成する。尚、図3では、ある所定フレームの合成処理を説明した図であり、実際は、撮影映像、コンテンツ映像は動画であるため、フレーム単位で合成映像の生成処理が行われる。 Figure 3 is a diagram for explaining the synthesis process of the composite image performed by the image processing unit 154. In the synthesis process, the composite image is generated by fitting the image of the performer in the fill signal into an area of the entire area of the shot image that is specified based on the key signal. Note that Figure 3 is a diagram explaining the synthesis process of a specific frame, and in reality, since the shot image and content image are moving images, the generation process of the composite image is performed on a frame-by-frame basis.

また、撮影空間におけるユーザ(被写体)と演者との位置関係が分かる場合は、重畳するフィル(Fill)信号(演者の映像)とユーザ(被写体)の領域とが重なる部分は、前方に位置する方を優先的に合成する。このようにすれば、より自然な仮想空間の映像を演出することが可能である。尚、ユーザ(被写体)と演者との位置関係は、赤外線による測定や、映像の画像解析などの従来方法を用いることが出来る。 In addition, if the positional relationship between the user (subject) and performer in the shooting space is known, the overlapping area between the superimposed fill signal (performer's image) and the user's (subject) area is composited with priority given to the area located in front. In this way, it is possible to produce a more natural image of the virtual space. The positional relationship between the user (subject) and performer can be determined using conventional methods such as infrared measurement or image analysis of the video.

また、映像処理部154は、合成映像(動画)のうちのある時刻の映像を静止画として記録する機能も有する。この記録された記録画像は、後述する管理サーバ2の保存場所に保存される。尚、記録画像は静止画に限定するものではなく、合成映像(動画)の全部又は一部の動画でも良い。 The video processing unit 154 also has a function of recording an image of a certain time in the composite video (video) as a still image. This recorded image is stored in a storage location of the management server 2, which will be described later. Note that the recorded image is not limited to a still image, and may be a video of all or part of the composite video (video).

サイネージ制御部155は、撮影装置1が撮影に利用されていない時間に、サイネージデータを使用してディスプレイ11に広告を表示する。 The signage control unit 155 uses the signage data to display advertisements on the display 11 when the image capture device 1 is not being used for image capture.

音声制御部156は、コンテンツデータに含まれる音声データを使用して、ユーザ(被写体)の撮影映像の撮影時に、映像上の演者の音声や、利用案内の音声などをスピーカ12から出力する。 The audio control unit 156 uses the audio data contained in the content data to output the voice of the performer on the video, audio of usage instructions, etc. from the speaker 12 when shooting video of the user (subject).

保存場所提示部157は、上述した記録画像の保存場所をユーザ(被写体)に通知する。通知方法としては、記録画像の保存場所のアドレスを示す二次元コード(QRコード(登録商標)など)を、ディスプレイ11に表示する方法がある。但し、これに限定されず、保存場所のアドレスを、ディスプレイ11に直接表示しても良いし、他の方法でも良い。 The storage location presentation unit 157 notifies the user (subject) of the storage location of the recorded image described above. One notification method is to display a two-dimensional code (such as a QR code (registered trademark)) indicating the address of the storage location of the recorded image on the display 11. However, this is not limited to this, and the address of the storage location may be displayed directly on the display 11, or another method may be used.

送受信部16は、通信回線Nを介して、管理サーバ2及び決済サーバ3との間で、データの送受信を行う。 The transmitter/receiver unit 16 transmits and receives data between the management server 2 and the payment server 3 via the communication line N.

記憶部17は、撮影装置1に必要な各種データが格納される。例えば、コンテンツデータベースや、設定データ等である。 The storage unit 17 stores various data required for the imaging device 1, such as a content database and setting data.

図4はコンテンツデータベースの一例を示した図である。図4に示すデータベースは、ユーザとの撮影に使用される演者のコンテンツデータと、広告として使用されるサイネージデータとが格納されている。コンテンツデータは、コンテンツ識別情報(ID)と、コンテンツ名と、拡張現実用の映像データ(フィル(Fill)信号、キー信号を含む)と、音声データと、メタデータとを含む。サイネージデータは、サイネージ識別情報(ID)と、広告名と、映像データと、音声データと、メタデータとを含む。尚、図4は一例であり、これに限られない。 Figure 4 shows an example of a content database. The database shown in Figure 4 stores content data of performers used for filming with users, and signage data used as advertisements. The content data includes content identification information (ID), a content name, video data for augmented reality (including a fill signal and a key signal), audio data, and metadata. The signage data includes signage identification information (ID), an advertisement name, video data, audio data, and metadata. Note that Figure 4 is an example and is not limited to this.

図5は設定データの一例を示した図である。図5に示す設定データは、撮影装置1のアカウントと、管理パスワードと、自動更新の有無と、広告開始時間(撮影装置1が最後に使用されてからの経過時間)、補助データを含む。尚、図5は一例であり、これに限られない。 Figure 5 is a diagram showing an example of setting data. The setting data shown in Figure 5 includes the account of the imaging device 1, an administration password, whether or not automatic updates are enabled, the advertisement start time (the amount of time that has elapsed since the imaging device 1 was last used), and auxiliary data. Note that Figure 5 is an example, and is not limited to this.

上述した撮影装置1の外観を、図6に示す。 The appearance of the above-mentioned imaging device 1 is shown in Figure 6.

次に、管理サーバ2の構成を説明する。図7は管理サーバ2のブロック図である。 Next, we will explain the configuration of management server 2. Figure 7 is a block diagram of management server 2.

図7中、20は入力部であり、21は送受信部であり、22は処理部であり、23は記憶部である。 In FIG. 7, 20 is an input unit, 21 is a transmission/reception unit, 22 is a processing unit, and 23 is a memory unit.

入力部20は、管理者が各種操作を入力するためのものであり、操作入力に応じた操作入力信号を処理部22に出力する。入力部20の機能は、例えば、キーボード、マウス、タッチ操作パッド、ホームボタン、ボタンスイッチや、ジョイスティック、トラックボールといったユーザが指で操作する素子はもちろん、加速度センサや角速度センサ、傾斜センサ、地磁気センサといった、運動や姿勢を検知する素子等によっても実現できる。 The input unit 20 allows the administrator to input various operations, and outputs an operation input signal corresponding to the operation input to the processing unit 22. The functions of the input unit 20 can be realized by elements that are operated by the user's fingers, such as a keyboard, mouse, touch operation pad, home button, button switch, joystick, or trackball, as well as elements that detect movement or posture, such as an acceleration sensor, angular velocity sensor, tilt sensor, or geomagnetic sensor.

送受信部21は、通信回線Nを介して、撮影装置1との間で、データの送受信を行う。 The transmitter/receiver 21 transmits and receives data to and from the imaging device 1 via the communication line N.

処理部22は、記憶部23に格納されるプログラムやコンテンツデータ、入力部20からの操作入力信号等に基づいて管理サーバ2の動作を統括的に制御する。処理部15の機能は、例えば、CPUやGPU等のマイクロプロセッサ、ASIC、ICメモリ等の電子部品によって実現できる。この処理部22は、主な機能部として、コンテンツ管理部121し、撮影データ保存管理部122とを備える。 The processing unit 22 comprehensively controls the operation of the management server 2 based on the programs and content data stored in the memory unit 23, operation input signals from the input unit 20, etc. The functions of the processing unit 15 can be realized by electronic components such as a microprocessor such as a CPU or GPU, an ASIC, and an IC memory. This processing unit 22 has, as its main functional units, a content management unit 121 and a shooting data storage management unit 122.

コンテンツ管理部121は、撮影装置1に設定するコンテンツデータを管理する。具体的には、記憶部23に格納された撮影装置管理データベースを用いて、撮影装置1で使用されるコンテンツなどを管理する。図8は撮影装置管理データベースの一例である。図8に示す撮影装置管理データベースは、撮影装置の識別情報、アカウント、パスワード、自動更新の有無及び利用可能なコンテンツの識別情報を、撮影装置1毎に記録している。 The content management unit 121 manages the content data to be set in the camera device 1. Specifically, the content used in the camera device 1 is managed using a camera device management database stored in the memory unit 23. FIG. 8 is an example of the camera device management database. The camera device management database shown in FIG. 8 records, for each camera device 1, the identification information of the camera device, the account, the password, whether or not automatic updates are enabled, and the identification information of the available content.

撮影データ保存管理部122は、撮影装置1が撮影した記録画像を記憶23に保存し、保存場所のアドレスを撮影装置1に通知する。 The image capture data storage management unit 122 stores the recorded images captured by the image capture device 1 in the memory 23 and notifies the image capture device 1 of the address of the storage location.

次に、決済サーバ3の構成を説明する。図9は決済サーバ3のブロック図である。 Next, we will explain the configuration of the payment server 3. Figure 9 is a block diagram of the payment server 3.

図9中、30は送受信部であり、31は決済処理部であり、32は記憶部である。 In FIG. 9, 30 is a transmission/reception unit, 31 is a payment processing unit, and 32 is a memory unit.

送受信部30は、通信回線Nを介して、撮影装置1との間で、データの送受信を行う。 The transmitter/receiver 30 transmits and receives data to and from the imaging device 1 via the communication line N.

決済処理部31は、撮影装置1から決済情報を受信し、記憶部32に格納されるプログラムや決済データに基づいて決済処理を行い、決済完了情報を撮影装置1に送信する。決済処理部31は、例えば、CPUやGPU等のマイクロプロセッサ、ASIC、ICメモリ等の電子部品によって実現できる。尚、非接触型ICカードの料金の決済は、従来からある方法を用いることができる。 The payment processing unit 31 receives payment information from the image capture device 1, performs payment processing based on the program and payment data stored in the memory unit 32, and transmits payment completion information to the image capture device 1. The payment processing unit 31 can be realized by electronic components such as a microprocessor such as a CPU or GPU, an ASIC, or an IC memory. Note that payment of fees using a contactless IC card can be made using conventional methods.

[各装置の動作]
第1の実施の形態の動作を説明する。図10は装置間のシーケンス図である。
[Operation of each device]
The operation of the first embodiment will be described with reference to FIG.

まず、撮影装置1を利用可能な状態にするために、設定処理を行う(Step1)。そして、管理サーバ2は、撮影装置1からの設定要求に応答して、管理処理を行い、コンテンツデータやサイネージデータを送信する(Step2)。 First, a setting process is performed to make the image capture device 1 available for use (Step 1). Then, in response to a setting request from the image capture device 1, the management server 2 performs management processing and transmits content data and signage data (Step 2).

ここで、撮影装置1の設定処理(Step1)の動作を、フローチャートを用いて説明する。図11は撮影装置1の設定処理(Step1)の動作フローチャートである。 Here, the operation of the setting process (Step 1) of the image capture device 1 will be explained using a flowchart. FIG. 11 is an operation flowchart of the setting process (Step 1) of the image capture device 1.

まず、撮影装置1の管理者は、操作入力部13を操作して管理画面を表示する。操作制御部152は、管理画面を操作入力部13に表示する(Step100)。 First, the administrator of the image capture device 1 operates the operation input unit 13 to display the management screen. The operation control unit 152 displays the management screen on the operation input unit 13 (Step 100).

管理者は、操作入力部13を操作して、識別情報(アカウント)及びパスワードを入力する(Step101)。 The administrator operates the operation input unit 13 to input identification information (account) and password (Step 101).

管理部151は、入力された識別情報(アカウント)及びパスワードの照合を行い(Step102)、認証できたならば(Step103)、更新モードの選択に遷移する。一方、認証できない場合は、設定処理を終了する。 The management unit 151 checks the input identification information (account) and password (Step 102), and if authentication is successful (Step 103), proceeds to the selection of an update mode. On the other hand, if authentication is not successful, the setting process ends.

認証できた場合は、管理画面には、自動更新モードと手動更新モードとが表示される。管理者は、いずれかのモードを選択する。 If authentication is successful, the administration screen will display automatic update mode and manual update mode. The administrator can select one of the modes.

管理者が自動更新モードを選択した場合(Step104)は、撮影装置1で利用可能なコンテンツデータとサイネージデータとが管理サーバ2から送信され、管理部151は、それらのコンテンツデータとサイネージデータを記憶部17のコンテンツデータベースに格納し、コンテンツの設定を完了する。そして、設定完了通知を管理サーバ2に送信する。 When the administrator selects the automatic update mode (Step 104), content data and signage data available for the image capture device 1 are transmitted from the management server 2, and the management unit 151 stores the content data and signage data in the content database of the storage unit 17 and completes the content setting. Then, a setting completion notification is transmitted to the management server 2.

一方、管理者が手動更新モードを選択した場合(Step104)は、管理サーバ2から撮影装置1で利用可能なコンテンツデータ及びサイネージデータの一覧が送信され、管理部151は、コンテンツデータ及びサイネージデータの一覧情報を表示する(Step105)。管理者は、操作入力部13を操作し、一覧情報から利用したいコンテンツデータ及びサイネージデータを選択する(Step106)。そして、管理部151は、選択されたコンテンツデータ及びサイネージデータを、管理サーバ2からダウンロードし(Step107)、記憶部17のコンテンツデータベースに格納し、コンテンツの設定を完了する(Step108)。そして、設定完了通知を管理サーバ2に送信する。 On the other hand, if the administrator selects the manual update mode (Step 104), a list of content data and signage data available for use by the image capture device 1 is sent from the management server 2, and the management unit 151 displays the list information of the content data and signage data (Step 105). The administrator operates the operation input unit 13 to select the content data and signage data to be used from the list information (Step 106). The management unit 151 then downloads the selected content data and signage data from the management server 2 (Step 107), stores it in the content database of the storage unit 17, and completes the content setting (Step 108). Then, a setting completion notification is sent to the management server 2.

次に、管理サーバ2の管理処理(Step2)の動作を、フローチャートを用いて説明する。図12は管理サーバ2の管理処理(Step2)の動作フローチャートである。 Next, the operation of the management process (Step 2) of the management server 2 will be explained using a flowchart. Figure 12 is an operation flowchart of the management process (Step 2) of the management server 2.

管理サーバ2は、撮影装置1から設定要求に応答して、識別情報(アカウント)の照合を行う(Step200)。識別情報(アカウント)が登録されているものであれば(Step201)、撮影装置1からのモードの要求に対応する処理を行う。 In response to the setting request from the image capture device 1, the management server 2 checks the identification information (account) (Step 200). If the identification information (account) is registered (Step 201), the management server 2 performs processing corresponding to the mode request from the image capture device 1.

撮影装置1から要求されたモードが手動更新モードである場合(Step202)、記憶部23の撮影装置管理データベースのうち、設定要求した撮影装置1のアカウントの利用可能コンテンツのフィールドに記載されているコンテンツID又はサイネージIDに対応するコンテンツデータ及びサイネージデータの一覧を送信する(Step203)。撮影装置1からコンテンツデータ及びサイネージデータの選択情報を受信すると、選択されたコンテンツデータ及びサイネージデータを撮影装置1に送信する(Step204)。そして、撮影装置1から設定完了通知を受信すると、管理処理を終了する(Step205)。 If the mode requested by the imaging device 1 is the manual update mode (Step 202), a list of content data and signage data corresponding to the content ID or signage ID entered in the available content field of the account of the imaging device 1 that requested the setting in the imaging device management database in the memory unit 23 is transmitted (Step 203). When selection information of the content data and signage data is received from the imaging device 1, the selected content data and signage data are transmitted to the imaging device 1 (Step 204). Then, when a setting completion notification is received from the imaging device 1, the management process is terminated (Step 205).

一方、撮影装置1から要求されたモードが自動更新モードである場合、記憶部23の撮影装置管理データベースのうち、設定要求した撮影装置1のアカウントの自動更新有無のフィールドのフラグを”ON”にする(Step206)。そして、コンテンツデータベースに登録されているコンテンツのうち、設定要求した撮影装置1のアカウントの利用可能コンテンツのフィールドに記載されているコンテンツID又はサイネージIDに対応するコンテンツデータ及びサイネージデータを検索し(Step207)、利用可能なコンテンツデータ及びサイネージデータを送信する(Step208)。そして、撮影装置1から設定完了通知を受信すると、管理処理を終了する(Step205)。 On the other hand, if the mode requested by the camera device 1 is the automatic update mode, the camera device management database in the memory unit 23 sets the flag in the automatic update field of the account of the camera device 1 that requested the setting to "ON" (Step 206). Then, among the contents registered in the content database, the content data and signage data corresponding to the content ID or signage ID written in the available content field of the account of the camera device 1 that requested the setting are searched for (Step 207), and the available content data and signage data are transmitted (Step 208). Then, when a setting completion notification is received from the camera device 1, the management process is terminated (Step 205).

尚、自動更新が有効であるアカウントの撮影装置1については、利用可能コンテンツの変更があった場合には、利用可能コンテンツフィールドに記載されているIDに対応するコンテンツデータ又はサイネージデータを、自動的に撮影装置1に送信し、撮影装置1のコンテンツの自動更新を行う。 For camera devices 1 with accounts for which automatic updates are enabled, if there is a change in the available content, the content data or signage data corresponding to the ID listed in the available content field is automatically sent to the camera device 1, and the content on the camera device 1 is automatically updated.

図10のシーケンス図の説明に戻る。 Let's return to the explanation of the sequence diagram in Figure 10.

撮影装置1の設定が完了すると、ユーザ(被写体)が撮影装置1を利用することが可能となる。そして、ユーザ(被写体)が撮影装置1の利用を開始すると、撮影装置1は撮影処理(Step3)を実行する。 When the settings of the photographing device 1 are complete, the user (subject) is able to use the photographing device 1. Then, when the user (subject) starts using the photographing device 1, the photographing device 1 executes the photographing process (Step 3).

ここで、撮影処理(Step3)の動作を、フローチャートを用いて説明する。図13は撮影処理(Step3)の動作フローチャートである。 Here, the operation of the shooting process (Step 3) will be explained using a flowchart. Figure 13 is an operation flowchart of the shooting process (Step 3).

撮影装置1の操作制御部152は、コンテンツの一覧を操作入力部13に表示する(Step300)。図14は操作入力部13に表示されるコンテンツの選択画面の一例である。図14の例では、コンテンツAAA、コンテンツBBB及びコンテンツCCCの3種類のコンテンツが選択可能な画面の例である。 The operation control unit 152 of the imaging device 1 displays a list of contents on the operation input unit 13 (Step 300). FIG. 14 is an example of a content selection screen displayed on the operation input unit 13. The example of FIG. 14 is an example of a screen from which three types of content, content AAA, content BBB, and content CCC, can be selected.

撮影装置1を利用するユーザは、操作入力部13に表示されているコンテンツの一覧から希望のコンテンツを選択する。選択は、コンテンツの一覧から希望のコンテンツをタッチすることにより行われる(Step301)。 The user of the imaging device 1 selects the desired content from the list of contents displayed on the operation input unit 13. The selection is performed by touching the desired content from the list of contents (Step 301).

コンテンツが選択されると、操作入力部13の画面にはコンテンツの利用料金の画面が表示される(Step302)。図15は操作入力部13に表示される利用料金画面の一例である。図15の例では、コンテンツAAAの利用料金が600円であり、ICカードを近距離無線通信部14にタッチすることを要求する画面の例である。 When content is selected, a screen showing the usage fee for the content is displayed on the screen of the operation input unit 13 (Step 302). FIG. 15 is an example of a usage fee screen displayed on the operation input unit 13. In the example of FIG. 15, the usage fee for content AAA is 600 yen, and the screen is an example of a request to touch an IC card to the short-range wireless communication unit 14.

ユーザが利用料金画面の指示に従って、ICカードを近距離無線通信部14にタッチすることにより、料金の決済情報を決済処理部153が受信し(Step303)、決済情報を決済サーバ3に送信する(Step304)。 When the user touches the IC card to the short-range wireless communication unit 14 according to the instructions on the usage fee screen, the payment processing unit 153 receives the fee payment information (Step 303) and transmits the payment information to the payment server 3 (Step 304).

撮影装置1の決済処理部153は、決済サーバ3から決済完了情報を受信し(Step305)、決済が完了したことを操作入力部13に表示し、撮影が開始されることを通知する(Step306)。 The payment processing unit 153 of the image capture device 1 receives the payment completion information from the payment server 3 (Step 305), displays on the operation input unit 13 that the payment has been completed, and notifies the user that image capture will begin (Step 306).

カメラによるユーザ(被写体)の撮影が開始されると、その撮影映像がディスプレイ11に表示される。続いて、映像処理部154は、撮影映像に選択したコンテンツの仮想現実用の映像データを重畳し、合成映像を生成する(Step307)。そして、映像処理部154は、合成映像(動画)をディスプレイ11に表示する(Step308)。このとき、コンテンツの音声データにより、演者の音声もスピーカから出力される。例えば、「AAAです。今日は撮影会に参加してくれてありがとう。」等の音声が出力される。このように、ディスプレイ11には、演者とユーザとが一緒に同じ空間に存在する映像が表示され(図3の合成映像を参照)、音声も聞こえるので、ユーザは演者と一緒に同じ空間を共有するような疑似体験を得ることが出来る。そして、演者から記念撮影のタイミングが告げられ、記録画像(静止画)の撮影が行われる(Step309)。 When the camera starts to capture the user (subject), the captured image is displayed on the display 11. Next, the image processing unit 154 superimposes the virtual reality image data of the selected content on the captured image to generate a composite image (Step 307). Then, the image processing unit 154 displays the composite image (video) on the display 11 (Step 308). At this time, the voice of the performer is also output from the speaker using the audio data of the content. For example, a voice such as "This is AAA. Thank you for participating in the photo session today" is output. In this way, an image of the performer and the user existing together in the same space is displayed on the display 11 (see the composite image in FIG. 3) and the voice can also be heard, so the user can have a simulated experience of sharing the same space with the performer. Then, the performer announces the timing of the commemorative photo shoot, and a recording image (still image) is taken (Step 309).

撮影が終了すると、保存場所提示部157は、管理サーバに、静止画をアップロードし(Step310)、保存場所のアドレスを、二次元コードを使用して、操作入力部13の画面に表示する(Step311)。図16は保存場所のアドレスを示す二次元コードが表示された画面の一例である。 When the shooting is finished, the storage location presentation unit 157 uploads the still image to the management server (Step 310) and displays the address of the storage location on the screen of the operation input unit 13 using a two-dimensional code (Step 311). Figure 16 is an example of a screen on which a two-dimensional code indicating the address of the storage location is displayed.

以上で、撮影処理の説明を終了する。 This concludes the explanation of the shooting process.

図10のシーケンス図の説明に戻る。 Let's return to the explanation of the sequence diagram in Figure 10.

Step4は、決済サーバ3で行われる決済処理である。撮影装置1から送信されたユーザのICカードの決済情報を受信し、その決済情報に基づいて決済完了情報を撮影装置1に送信する。 Step 4 is a payment process performed by the payment server 3. The payment information of the user's IC card transmitted from the image capture device 1 is received, and payment completion information is transmitted to the image capture device 1 based on the payment information.

Step5は、管理サーバ2で行われる保存処理である。撮影装置1から送信された記録画像(静止画)を保存し、その保存場所のアドレスを撮影装置1に送信する。 Step 5 is a storage process performed by the management server 2. The recorded image (still image) sent from the image capture device 1 is stored, and the address of the storage location is sent to the image capture device 1.

ユーザは端末1の撮影機能を利用し、操作入力部13の画面に表示された二次元コードを撮影し、二次元コードで示されるアドレスにアクセスする(Step6)。そして、端末1は、撮影した記録画像(静止画)を端末1にダウンロードする(Step7)。図17は端末4にダウンロードされた記録画像が、端末4のディスプレイに表示された場合の一例である。 The user uses the image capturing function of terminal 1 to capture the two-dimensional code displayed on the screen of operation input unit 13, and accesses the address indicated by the two-dimensional code (Step 6). Terminal 1 then downloads the captured recorded image (still image) to terminal 1 (Step 7). Figure 17 shows an example of the case where the recorded image downloaded to terminal 4 is displayed on the display of terminal 4.

一方、撮影装置1のサイネージ制御部155は、一定時間(例えば、3分)、ユーザによる撮影装置1の利用がない場合は、記憶部17のコンテンツデータベースのサイネージデータから、映像データ及音声データを取得し、ディスプレイ11に映像データによる広告を表示し、スピーカ12から音声データによる音声を出力する(Step8)。 On the other hand, if the user does not use the imaging device 1 for a certain period of time (e.g., 3 minutes), the signage control unit 155 of the imaging device 1 acquires video data and audio data from the signage data in the content database of the memory unit 17, displays an advertisement using the video data on the display 11, and outputs sound using the audio data from the speaker 12 (Step 8).

以上で、第1の実施の形態の動作の説明を終了する。 This concludes the explanation of the operation of the first embodiment.

第1の実施の形態は、演者の映像(動画)とユーザの撮影映像とを合成してディスプレイに表示させ、音声も聞こえるように構成しているので、ユーザは演者と一緒に同じ空間を共有するような体験を得ることが出来る。また、その体験の記念として記録される記録画像は、管理サーバに保存され、ユーザは端末にダウンロードすることができるので、例えば、SNS等によるシェアの利便性向上を図ることができると共に、物理的な印刷を行わないため、コストの削減も図れる。 In the first embodiment, the performer's video (video) and the user's filmed video are combined and displayed on the display, and audio can also be heard, so the user can have the experience of sharing the same space as the performer. In addition, the recorded images recorded as a memento of the experience are saved in the management server and the user can download them to their terminal, which improves the convenience of sharing via SNS, for example, and also reduces costs because no physical printing is required.

また、第1の実施の形態は、管理サーバにより、撮影装置で使用されるコンテンツを一括で管理しているので、撮影装置で使用するコンテンツの設定の即時性・登録の柔軟性を実現することができる。 In addition, in the first embodiment, the management server centrally manages the content used by the imaging device, making it possible to achieve immediacy in setting the content used by the imaging device and flexibility in registering it.

更に、第1の実施の形態の撮影装置は、デジタルサイネージの機能も搭載されているので、撮影装置が利用されていない時間を有効に活用することもできる。 Furthermore, the imaging device of the first embodiment is also equipped with a digital signage function, so it is possible to effectively utilize the time when the imaging device is not in use.

<第2の実施の形態>
第2の実施の形態を説明する。図18は第2の実施の形態における撮影システムの全体構成例を示す図である。
Second Embodiment
A second embodiment will now be described. Fig. 18 is a diagram showing an example of the overall configuration of a photographing system according to the second embodiment.

第2の実施の形態では、第1の実施の形態に加えて、演者のライブ映像を撮影し、ライブ映像から撮影装置1で使用するコンテンツデータ(フィル(Fill)信号、キー信号及び音声データ)を生成する演者撮影装置5が設けられている。 In the second embodiment, in addition to the first embodiment, a performer shooting device 5 is provided that shoots live footage of the performers and generates content data (fill signals, key signals, and audio data) from the live footage to be used by the shooting device 1.

図19は演者撮影装置5のブロック図である。図19中、50カメラであり、51はマイク、52はディスプレイであり、53は送受信部であり、54は処理部であり、55は記憶部である。 Figure 19 is a block diagram of the performer shooting device 5. In Figure 19, 50 is a camera, 51 is a microphone, 52 is a display, 53 is a transmission/reception unit, 54 is a processing unit, and 55 is a storage unit.

カメラ50は、演者のライブ映像を撮影するカメラである。カメラ50が撮影した映像をライブ映像と記載する。このライブ映像は処理部54に入力される。 Camera 50 is a camera that captures live footage of the performers. The footage captured by camera 50 is referred to as live footage. This live footage is input to processing unit 54.

マイク51は、演者の音声を取得し、取得した音声を処理部54に出力する。 The microphone 51 captures the performer's voice and outputs the captured voice to the processing unit 54.

ディスプレイ52は、カメラ50により撮影されたライブ映像が表示される。 The display 52 shows live footage captured by the camera 50.

送受信部53は、通信回線Nを介して、管理サーバ2との間で、データの送受信を行う。 The transmission/reception unit 53 transmits and receives data to and from the management server 2 via the communication line N.

処理部54は、記憶部55に格納されるプログラムに基づいて演者撮影装置5の動作を統括的に制御する。処理部54の機能は、例えば、CPUやGPU等のマイクロプロセッサ、ASIC、ICメモリ等の電子部品によって実現できる。この処理部54は、主な機能部として、フィル(Fill)信号生成部151と、キー信号生成部152と、ライブコンテンツデータ生成部153とを備える。 The processing unit 54 comprehensively controls the operation of the performer shooting device 5 based on the program stored in the memory unit 55. The functions of the processing unit 54 can be realized by electronic components such as a microprocessor such as a CPU or GPU, an ASIC, and an IC memory. The main functional units of the processing unit 54 are a fill signal generation unit 151, a key signal generation unit 152, and a live content data generation unit 153.

フィル(Fill)信号生成部151は、カメラ50で撮影されたライブ映像から、リアルタイムで、演者のフィル(Fill)信号を生成する。キー信号生成部152は、カメラ50で撮影されたライブ映像から、リアルタイムで、演者のキー信号を生成する。これらの処理は、例えば、クロマキーの技術を用いることができる。 The fill signal generation unit 151 generates a fill signal for the performer in real time from the live video captured by the camera 50. The key signal generation unit 152 generates a key signal for the performer in real time from the live video captured by the camera 50. These processes can use, for example, chromakey technology.

ライブコンテンツデータ生成部153は、演者のフィル(Fill)信号、キー信号及びマイク51で取得された演者の音声を含むライブコンテンツデータを生成する。このライブコンテンツデータは、送受信部53を介して、リアルタイムで、管理サーバ2に送信される。 The live content data generator 153 generates live content data including the performer's fill signal, key signal, and the performer's voice picked up by the microphone 51. This live content data is transmitted in real time to the management server 2 via the transmitter/receiver 53.

第2の実施の形態の管理サーバ2を説明する。図20は第2の実施の形態の管理サーバ2のブロック図である。第2の実施の形態の管理サーバ2が第1の実施の形態と異なる所は、リアルタイム配信部123が追加されたことである。 The management server 2 of the second embodiment will be described. FIG. 20 is a block diagram of the management server 2 of the second embodiment. The management server 2 of the second embodiment differs from the first embodiment in that a real-time delivery unit 123 is added.

リアルタイム配信部123は、演者撮影装置5から受信したライブコンテンツデータを、所定の撮影装置1にリアルタイムでストリーミング配信する。配信する撮影装置1は、記憶部23に格納されている撮影装置管理データベースを用いて決定する。図21は第2の実施の形態における撮影装置管理データベースの一例である。図21に示される撮影装置管理データベースは、第1の実施の形態に加えて、ライブ配信の有無のフィールドが設けられている。リアルタイム配信部123は、撮影装置管理データベースのライブ配信フィールドが「有」のフラグである撮影装置1に、受信したライブコンテンツデータを送信する。 The real-time distribution unit 123 streams the live content data received from the performer shooting device 5 to a specified shooting device 1 in real time. The shooting device 1 to which the data is to be distributed is determined using the shooting device management database stored in the memory unit 23. FIG. 21 is an example of the shooting device management database in the second embodiment. In addition to the first embodiment, the shooting device management database shown in FIG. 21 has a field for indicating whether or not live streaming is enabled. The real-time distribution unit 123 transmits the received live content data to the shooting device 1 for which the live streaming field in the shooting device management database has a flag of "enabled".

撮影装置1は、管理データベース2からライブコンテンツデータを受信すると、記憶部17に格納しつつ、カメラによるユーザ(被写体)の撮影を開始する。その撮影映像がディスプレイ11に表示される。続いて、映像処理部154は、ライブコンテンツデータのキー信号を用いて、フィル(Fill)信号とユーザの撮影画像とを合成する(図13のStep307)。そして、映像処理部154は、合成映像(動画)をディスプレイ11に表示する(図13のStep308)。他の処理は、第1の実施の形態と同様である。 When the image capture device 1 receives the live content data from the management database 2, it stores the data in the memory unit 17 and starts capturing an image of the user (subject) with the camera. The captured image is displayed on the display 11. Next, the image processing unit 154 uses the key signal of the live content data to combine a fill signal with the captured image of the user (Step 307 in FIG. 13). The image processing unit 154 then displays the combined image (video) on the display 11 (Step 308 in FIG. 13). The other processing is the same as in the first embodiment.

第2の実施の形態は、演者のライブ映像からコンテンツデータを生成し、管理装置が各撮影装置にライブ配信している。従って、ひとり演者が、異なる場所の多数のユーザと同時に空間を共有するといったことが可能である。 In the second embodiment, content data is generated from live footage of the performer, and the management device distributes the content live to each of the filming devices. This makes it possible for a single performer to simultaneously share a space with multiple users in different locations.

以上、好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。 The present invention has been described above with reference to preferred embodiments, but the present invention is not necessarily limited to the above embodiments and can be modified and implemented in various ways within the scope of its technical concept.

1 撮影装置
2 管理サーバ
3 決済サーバ
4 端末
5 演者撮影装置
10 カメラ
11 ディスプレイ
12 スピーカ
13 操作入力部
14 近距離無線通信部
15 処理部
16 送受信部
17 記憶部
20 入力部
21 送受信部
22 処理部
23 記憶部
30 送受信部
31 決済処理部
32 記憶部
REFERENCE SIGNS LIST 1: IMAGING DEVICE 2: MANAGEMENT SERVER 3: SETTLEMENT SERVER 4: TERMINAL 5: PERFORMER IMAGING DEVICE 10: CAMERA 11: DISPLAY 12: SPEAKER 13: OPERATION INPUT UNIT 14: NEAR-RANGE WIRELESS COMMUNICATION UNIT 15: PROCESSING UNIT 16: TRANSMITTING AND RECEIVING UNIT 17: MEMORY UNIT 20: INPUT UNIT 21: TRANSMITTING AND RECEIVING UNIT 22: PROCESSING UNIT 23: MEMORY UNIT 30: TRANSMITTING AND RECEIVING UNIT 31: SETTLEMENT PROCESSING UNIT 32: MEMORY UNIT

Claims (4)

ユーザを撮影するカメラと、表示部と、記憶部と、を備えるコンピュータのプログラムであって、
前記プログラムは、前記コンピュータを、
コンテンツを管理する管理装置から、演者の映像、前記演者の映像を重畳する領域を指定するキー信号とを含む拡張現実用映像データを含むコンテンツデータを受信し前記記憶部に格納する受信手段、
前記演者の映像と前記カメラが撮影した前記ユーザの撮影映像とを前記キー信号を用いて合成することによって前記ユーザと前記演者とを含む合成映像を生成し、前記合成映像を前記表示部に表示し前記合成映像の少なくとも一部を記録画像として記録する映像合成手段、
前記記録画像前記管理装置に送信する送信手段、
前記記録画像の保存場所を示す保存場所情報を、前記管理装置から受信し、前記保存場所を示す情報を前記表示部に表示する保存場所提示手段、
として機能させるプログラム。
A program for a computer including a camera for photographing a user, a display unit, and a storage unit,
The program causes the computer to
a receiving means for receiving content data including augmented reality video data including a performer's video and a key signal for designating an area on which the performer's video is to be superimposed from a management device for managing content , and storing the content data in the storage unit;
an image compositing means for generating a composite image including the user and the performer by combining the image of the performer and the image of the user captured by the camera using the key signal , displaying the composite image on the display unit , and recording at least a part of the composite image as a record image;
a transmission means for transmitting the recorded image to the management device;
a storage location presenting means for receiving storage location information indicating a storage location of the recorded image from the management device and displaying the information indicating the storage location on the display unit;
A program that functions as a
前記コンテンツデータは、前記演者の音声データを含み、
前記プログラムは、前記コンピュータを、前記音声データを用いて、前記表示部に表示される前記合成映像に同期して前記演者の音声を出力する音声出力手段として機能させる、
請求項1に記載のプログラム。
the content data includes voice data of the performer ;
the program causes the computer to function as an audio output means for outputting the voice of the performer in synchronization with the composite image displayed on the display unit, using the audio data;
The program according to claim 1.
前記音声データは、前記演者による案内及び静止画の撮影開始タイミングの音声を含み、
前記音声出力手段は、前記音声データを用いて、前記表示部に表示される前記合成映像に同期して、前記演者による案内及び撮影開始タイミングの音声を出力し、
前記映像合成手段は、前記演者の音声による撮影開始タイミングに合わせて前記合成映像の静止画を、前記記録画像として記録する、
請求項2に記載のプログラム。
The audio data includes audio of the performer's guidance and a timing for starting shooting of still images,
the audio output means outputs, using the audio data, audio of the performer's guidance and a timing for starting shooting in synchronization with the composite image displayed on the display unit;
The image synthesis means records a still image of the synthesized image as the recorded image in accordance with a timing to start shooting based on the voice of the performer .
The program according to claim 2 .
ユーザを撮影するカメラと、
表示部と、
記憶部と、
コンテンツを管理する管理装置から、演者の映像、前記演者の映像を重畳する領域を指定するキー信号とを含む拡張現実用映像データを含むコンテンツデータを受信し前記記憶部に格納する受信部と、
前記演者の映像と前記カメラが撮影した前記ユーザの撮影映像とを前記キー信号を用いて合成することによって前記ユーザと前記演者とを含む合成映像を生成し、前記合成映像を前記表示部に表示し前記合成映像の少なくとも一部を記録画像として記録する映像合成部と、
前記記録画像前記管理装置に送信する送信部と、
前記記録画像の保存場所を示す保存場所情報を、前記管理装置から受信し、前記保存場所を示す情報を前記表示部に表示する保存場所提示と、
を備える撮影装置。
A camera for photographing a user;
A display unit;
A storage unit;
a receiving unit that receives content data including augmented reality video data including a performer's video and a key signal that specifies an area on which the performer's video is to be superimposed from a management device that manages content , and stores the content data in the storage unit;
an image synthesis unit that uses the key signal to synthesize an image of the performer and an image of the user captured by the camera to generate a synthetic image including the user and the performer, displays the synthetic image on the display unit , and records at least a portion of the synthetic image as a record image;
a transmission unit that transmits the recorded image to the management device;
a storage location display unit that receives storage location information indicating a storage location of the recorded image from the management device and displays the information indicating the storage location on the display unit ;
An imaging device comprising:
JP2023113436A 2019-03-11 2023-07-11 Programs, imaging equipment Active JP7633544B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023113436A JP7633544B2 (en) 2019-03-11 2023-07-11 Programs, imaging equipment
JP2025017575A JP2025067931A (en) 2019-03-11 2025-02-05 Program and imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019043388A JP7313847B2 (en) 2019-03-11 2019-03-11 Photography system, photography device, management device and photography method
JP2023113436A JP7633544B2 (en) 2019-03-11 2023-07-11 Programs, imaging equipment

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019043388A Division JP7313847B2 (en) 2019-03-11 2019-03-11 Photography system, photography device, management device and photography method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2025017575A Division JP2025067931A (en) 2019-03-11 2025-02-05 Program and imaging device

Publications (3)

Publication Number Publication Date
JP2023153790A JP2023153790A (en) 2023-10-18
JP2023153790A5 JP2023153790A5 (en) 2024-01-15
JP7633544B2 true JP7633544B2 (en) 2025-02-20

Family

ID=72430874

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019043388A Active JP7313847B2 (en) 2019-03-11 2019-03-11 Photography system, photography device, management device and photography method
JP2023113436A Active JP7633544B2 (en) 2019-03-11 2023-07-11 Programs, imaging equipment
JP2025017575A Pending JP2025067931A (en) 2019-03-11 2025-02-05 Program and imaging device

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019043388A Active JP7313847B2 (en) 2019-03-11 2019-03-11 Photography system, photography device, management device and photography method

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2025017575A Pending JP2025067931A (en) 2019-03-11 2025-02-05 Program and imaging device

Country Status (1)

Country Link
JP (3) JP7313847B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7332562B2 (en) * 2019-04-26 2023-08-23 株式会社コロプラ Program, method, and information terminal
JP7781726B2 (en) * 2022-10-05 2025-12-08 Swcc株式会社 Synthetic video provision system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080077963A1 (en) 2006-09-22 2008-03-27 Navarre Joseph Method for distributing video clips produced using chroma key processing
JP2014085644A (en) 2012-10-26 2014-05-12 Xing Inc Karaoke system
JP2015039238A (en) 2014-11-10 2015-02-26 カシオ計算機株式会社 Image processing apparatus, image processing method and program
WO2015151766A1 (en) 2014-03-31 2015-10-08 コニカミノルタ株式会社 Projection photographing system, karaoke device, and simulation device
WO2016152634A1 (en) 2015-03-26 2016-09-29 ソニー株式会社 Information processing apparatus, information processing method, and program
JP2016212424A (en) 2011-09-18 2016-12-15 タッチチューンズ ミュージック コーポレーション Digital jukebox device comprising karaoke and/or photo booth that prints out cards and stickers of the resulting photograph, and related method
JP2017005371A (en) 2015-06-05 2017-01-05 ローランド株式会社 Co-star video production device and co-star video production system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003324672A (en) * 2002-04-30 2003-11-14 Omron Corp Image printing apparatus and method, print medium, and print medium unit
JP5446572B2 (en) * 2009-08-12 2014-03-19 学校法人近畿大学 Image generation system, control program, and recording medium
WO2015025305A1 (en) * 2013-08-23 2015-02-26 Pt Wirya Inovasi Method and device for providing karaoke applications with augmented reality

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080077963A1 (en) 2006-09-22 2008-03-27 Navarre Joseph Method for distributing video clips produced using chroma key processing
JP2016212424A (en) 2011-09-18 2016-12-15 タッチチューンズ ミュージック コーポレーション Digital jukebox device comprising karaoke and/or photo booth that prints out cards and stickers of the resulting photograph, and related method
JP2014085644A (en) 2012-10-26 2014-05-12 Xing Inc Karaoke system
WO2015151766A1 (en) 2014-03-31 2015-10-08 コニカミノルタ株式会社 Projection photographing system, karaoke device, and simulation device
JP2015039238A (en) 2014-11-10 2015-02-26 カシオ計算機株式会社 Image processing apparatus, image processing method and program
WO2016152634A1 (en) 2015-03-26 2016-09-29 ソニー株式会社 Information processing apparatus, information processing method, and program
JP2017005371A (en) 2015-06-05 2017-01-05 ローランド株式会社 Co-star video production device and co-star video production system

Also Published As

Publication number Publication date
JP2023153790A (en) 2023-10-18
JP2025067931A (en) 2025-04-24
JP7313847B2 (en) 2023-07-25
JP2020150289A (en) 2020-09-17

Similar Documents

Publication Publication Date Title
US11302038B2 (en) System and method for generating an augmented reality experience
CN106664438B (en) Server device, moving picture delivery system, and control method used therefor
CN106792228B (en) Live broadcast interaction method and system
JP2025067931A (en) Program and imaging device
CN114615517A (en) Content distribution server, content distribution method, and content distribution system
CN112119640A (en) Content transmission server, virtual character providing server, content transmission system, content transmission method and program
JP2017064161A (en) GAME SYSTEM, SHOOTING DEVICE, GAME DEVICE, AND PROGRAM
JP5090115B2 (en) Moving image distribution apparatus, moving image distribution method and program thereof
CN114268823A (en) A video playback method, device, electronic device and storage medium
JP2026065034A (en) Video processing method, video processing system, and video processing program
JP2014007626A (en) Moving image distribution system for souvenir
JP6849851B2 (en) Shooting system, shooting device and user shooting method
JP7162387B1 (en) Performance video display program
JP3793520B2 (en) Image providing apparatus and image providing program
JP6909903B1 (en) Image management device, image management system and image management method
JP2020057329A (en) Guide system
JP2025112215A (en) Imaging apparatus and program
JP2004180141A (en) Moving image photographing management system using digital photographing and transmitting unit
JP2004173320A (en) Image providing apparatus
JP7089815B1 (en) server
US20240311849A1 (en) Computerized method and system for generating a commemorative item
JP2021034976A (en) Servers, playback devices, content playback systems, content playback methods, and programs
KR102258495B1 (en) Sharing system of star's image and method of the same
JP2020177488A (en) Programs, terminals and content playback systems
JP6789581B2 (en) Server equipment, video distribution system, control methods and computer programs used for it

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240724

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240906

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20241112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20241112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250120

R150 Certificate of patent or registration of utility model

Ref document number: 7633544

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150