Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7606305B2 - Information processing device, photographing system, program, and information processing method - Google Patents
[go: Go Back, main page]

JP7606305B2 - Information processing device, photographing system, program, and information processing method - Google Patents

Information processing device, photographing system, program, and information processing method Download PDF

Info

Publication number
JP7606305B2
JP7606305B2 JP2020159634A JP2020159634A JP7606305B2 JP 7606305 B2 JP7606305 B2 JP 7606305B2 JP 2020159634 A JP2020159634 A JP 2020159634A JP 2020159634 A JP2020159634 A JP 2020159634A JP 7606305 B2 JP7606305 B2 JP 7606305B2
Authority
JP
Japan
Prior art keywords
video
unit
information processing
image
music data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020159634A
Other languages
Japanese (ja)
Other versions
JP2022053048A (en
Inventor
利尚 佐飛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AlphaTheta Corp
Original Assignee
AlphaTheta Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AlphaTheta Corp filed Critical AlphaTheta Corp
Priority to JP2020159634A priority Critical patent/JP7606305B2/en
Publication of JP2022053048A publication Critical patent/JP2022053048A/en
Application granted granted Critical
Publication of JP7606305B2 publication Critical patent/JP7606305B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

本発明は、情報処理装置、撮影システム、プログラム、及び情報処理方法に関する。 The present invention relates to an information processing device, a photography system, a program, and an information processing method.

DJ(Disc Jockey)によるパフォーマンスに関して、スマートフォンおよびタブレット端末などの携帯端末を使用したDJプレイアプリケーションなど、様々な技術が考えられている。そのため、プロのDJだけでなく、一般のユーザーもDJプレイを楽しむことができるようになっている。例えば、非特許文献1には、コンピュータ及び携帯端末で利用可能なDJプレイアプリケーションが開示されている。 Various technologies have been developed for DJ (Disc Jockey) performances, such as DJ play applications that use mobile devices such as smartphones and tablet devices. This has made it possible for not only professional DJs, but also general users to enjoy DJ performances. For example, Non-Patent Document 1 discloses a DJ play application that can be used on computers and mobile devices.

DJ Player Professional (iMect Ltd.社)のアプリケーション紹介ホームページ(https://apps.apple.com/jp/app/dj-player-professional/id339810085)DJ Player Professional (iMect Ltd.) application introduction homepage (https://apps.apple.com/jp/app/dj-player-professional/id339810085)

ところで、DJプレイの紹介には動画像が用いられることが多い。DJプレイの動画像の撮影において、演出面に優れた動画像を作成するためは、様々な機材が必要である場合が多く、また、演出および編集の技術や手間が必要である。そのため、一般のユーザーが作成するには様々な問題がある。 By the way, video is often used to introduce DJ performances. When shooting video of DJ performances, various equipment is often required to create a video that excels in the presentation aspect, and directing and editing techniques and time are also required. For this reason, there are various problems when general users try to create such videos.

そこで、本発明は、特別な機材や手間を必要とせずに、演出面に優れた動画像を簡便に作成することが可能な情報処理装置、撮影システム、プログラム、及び情報処理方法を提供することを目的とする。 The present invention aims to provide an information processing device, a shooting system, a program, and an information processing method that can easily create moving images with excellent presentation without requiring special equipment or effort.

本発明のある観点によれば、楽曲データの再生操作の操作信号を操作装置から受信する信号受信部と、動画像を複数の撮影装置のそれぞれから取得する画像取得部と、操作信号の種類と、操作信号を受信した時刻とに応じて、複数の撮影装置から取得した複数の動画像から少なくとも1つの動画像を時系列で選択する選択部と、を備える情報処理装置が提供される。 According to one aspect of the present invention, there is provided an information processing device including a signal receiving unit that receives an operation signal for operating playback of music data from an operation device, an image acquiring unit that acquires video images from each of a plurality of image capturing devices, and a selecting unit that selects at least one video image in chronological order from a plurality of video images acquired from the plurality of image capturing devices according to the type of the operation signal and the time at which the operation signal was received.

本発明の別の観点によれば、上記の情報処理装置としてコンピュータを機能させるように構成されたプログラムが提供される。 According to another aspect of the present invention, a program configured to cause a computer to function as the above-mentioned information processing device is provided.

本発明のさらに別の観点によれば、楽曲データの再生操作の操作信号を操作装置から受信するステップと、動画像を複数の撮影装置のそれぞれから取得するステップと、操作信号の種類と、操作信号を受信した時刻とに応じて、複数の撮影装置から取得した複数の動画像から少なくとも1つの動画像を時系列で選択するステップと、を含む情報処理方法が提供される。 According to yet another aspect of the present invention, there is provided an information processing method including the steps of receiving an operation signal for a playback operation of music data from an operation device, acquiring video images from each of a plurality of image capture devices, and selecting at least one video image in chronological order from the plurality of video images acquired from the plurality of image capture devices according to the type of the operation signal and the time at which the operation signal was received.

本発明の一実施形態に係る撮影システムの概略的な機能構成を示すブロック図である。1 is a block diagram showing a schematic functional configuration of a photographing system according to an embodiment of the present invention; 本発明の一実施形態における動画像の選択について説明する模式図である。FIG. 2 is a schematic diagram illustrating selection of a moving image in one embodiment of the present invention. 本発明の一実施形態における動画像の選択時の動作を示すフローチャートである。10 is a flowchart showing an operation when a moving image is selected in one embodiment of the present invention.

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 A preferred embodiment of the present invention will be described in detail below with reference to the accompanying drawings. Note that in this specification and the drawings, components having substantially the same functional configuration are designated by the same reference numerals to avoid redundant description.

図1は、本発明の一実施形態に係る撮影システムの概略的な機能構成を示すブロック図である。本発明の一実施形態に係る撮影システム1は、複数の撮影装置10A、10B、10C、10D、音響機器20、表示装置30、音声出力装置40、配信装置50、および記録装置60を含む。複数の撮影装置10A、10B、10C、10Dにより生成される動画像は、有線または無線の通信を介して音響機器20に供給される。また、音響機器20の出力は、表示装置30、音声出力装置40、配信装置50、および記録装置60の各部に供給される。
このような撮影システム1では、音響機器20を用いてユーザーが行うDJプレイを撮影装置10A、10B、10C、10Dによって異なるアングルから同時に撮影し、音響機器20によってDJプレイの動画像を生成するシステムである。
1 is a block diagram showing a schematic functional configuration of a photography system according to an embodiment of the present invention. The photography system 1 according to an embodiment of the present invention includes a plurality of photography devices 10A, 10B, 10C, and 10D, an audio device 20, a display device 30, an audio output device 40, a distribution device 50, and a recording device 60. Video images generated by the plurality of photography devices 10A, 10B, 10C, and 10D are supplied to the audio device 20 via wired or wireless communication. In addition, the output of the audio device 20 is supplied to each of the display device 30, the audio output device 40, the distribution device 50, and the recording device 60.
In the imaging system 1, the DJ performance performed by a user using an audio device 20 is simultaneously filmed from different angles by the imaging devices 10A, 10B, 10C, and 10D, and a moving image of the DJ performance is generated by the audio device 20.

撮影装置10A、10B、10C、および10Dは、それぞれ、被写界を撮像して動画像を生成する撮影装置である。生成した動画像のデータには、撮影時刻の情報であるタイムスタンプが対応付けられる。
図1の例では4台の撮影装置10A、10B、10C、および10Dを例示しているが、撮影システム1は何台の撮影装置を備えてもよい。また、撮影装置10A、10B、10C、および10Dは、撮影機能のみを備えた撮影装置であってもよいし、撮影装置を内蔵したスマートフォンおよびタブレットなどの携帯端末であってもよい。
撮影装置10A、10B、10C、および10Dは、それぞれ異なるアングルからユーザーが行うDJプレイの動画像を撮影可能な位置に配置される。DJプレイの動画像とは、例えば、DJプレイを行うユーザーの手元を撮影した動画像、およびユーザーの全身または一部を撮影した動画像等である。
Each of the image capturing devices 10A, 10B, 10C, and 10D is an image capturing device that captures an object scene and generates a moving image. A timestamp, which is information about the time of capture, is associated with data of the generated moving image.
1 illustrates four image capturing devices 10A, 10B, 10C, and 10D, but any number of image capturing devices may be included in the image capturing system 1. Furthermore, the image capturing devices 10A, 10B, 10C, and 10D may be image capturing devices equipped with only an image capturing function, or may be mobile terminals such as smartphones and tablets equipped with image capturing devices.
The image capturing devices 10A, 10B, 10C, and 10D are positioned so as to capture video images of the user's DJ performance from different angles. Examples of video images of the DJ performance include video images of the hands of the user performing DJ play, and video images of the entire body or part of the user.

音響機器20は、操作装置と情報処理装置とを一体として備える機器であり、異なる楽曲データを再生可能な複数の再生装置の機能と、複数の再生装置を制御するミキサーの機能と、DJプレイの動画像を生成する機能とを有する。
図1に示されるように、音響機器20は、操作部21、制御部22、楽曲データ格納部23、および表示部24の各部を含む。上記の各部の機能は、例えばコンピュータのハードウェア構成を備える音響機器において、プロセッサがプログラムに従って動作することによって実現される。以下、各部の機能についてさらに説明する。
The audio equipment 20 is an integrated device that combines an operating device and an information processing device, and has the functions of multiple playback devices capable of playing different music data, the functions of a mixer that controls the multiple playback devices, and the function of generating video images of DJ play.
1, the audio device 20 includes an operation unit 21, a control unit 22, a music data storage unit 23, and a display unit 24. The functions of the above-mentioned units are realized by a processor operating according to a program in an audio device having, for example, the hardware configuration of a computer. The functions of the units are further described below.

操作部21は、各種操作子、およびタッチパネルを介して、DJプレイに関するユーザーの操作、つまり、楽曲データの再生操作を目的としたユーザーの操作を受け付け、ユーザーの操作を示す操作信号を制御部22に供給する。この再生操作には、複数の再生装置による再生設定および再生制御のための操作、および複数の再生装置に関する再生制御を行うための操作が含まれる。より具体的には、再生操作には、楽曲の選択操作、楽曲の再生に関する操作、特殊再生およびエフェクト処理等の再生制御に関する操作等が含まれる。そして、操作部21には、例えば、ジョグダイヤル、テンポスライダー、パフォーマンスパッド(再生制御に関する各種機能を割り当てることができる汎用性操作子)、フェーズおよびノイズ等のエフェクト処理に関する操作子、チャンネルフェーダー等が含まれる。 The operation unit 21 accepts user operations related to DJ play, that is, user operations for the purpose of operating the playback of music data, via various operators and a touch panel, and supplies operation signals indicating the user operations to the control unit 22. These playback operations include operations for playback settings and playback control by multiple playback devices, and operations for controlling playback of multiple playback devices. More specifically, playback operations include operations for selecting songs, operations related to the playback of songs, and operations related to playback control such as special playback and effect processing. The operation unit 21 includes, for example, a jog dial, a tempo slider, a performance pad (a general-purpose operator to which various functions related to playback control can be assigned), operators related to effect processing such as phase and noise, a channel fader, etc.

制御部22は、例えば通信インターフェース、CPU(Central Processing Unit)等のプロセッサ、及び、作業領域となるメモリーによって音響機器20に実装され、音響機器20の動作を制御する。制御部22は、プロセッサがメモリーに格納された、又は通信インターフェースを介して受信されたプログラムに従って動作することによって実現される信号受信部221と、再生制御部222と、表示制御部223と、解析部224と、画像取得部225と、選択部226と、出力部227とを含む。 The control unit 22 is implemented in the audio device 20 by, for example, a communications interface, a processor such as a CPU (Central Processing Unit), and a memory that serves as a working area, and controls the operation of the audio device 20. The control unit 22 includes a signal receiving unit 221, which is realized by the processor operating according to a program stored in the memory or received via the communications interface, a playback control unit 222, a display control unit 223, an analysis unit 224, an image acquisition unit 225, a selection unit 226, and an output unit 227.

信号受信部221は、操作部21から操作信号を受信する。
再生制御部222は、複数の再生装置の機能を備え、それぞれの再生装置における楽曲データの再生を行い、音声信号を出力部227に出力する。なお、再生制御部222は、信号受信部221により受信した操作信号に基づいて、後述する楽曲データ格納部23から楽曲データを取得し、取得した楽曲データの再生制御を行う。
表示制御部223は、再生操作の状態を示す動画像として、音響機器20によって再生される楽曲データの情報を含む動画像を表示部24に表示させる。再生操作の状態を示す動画像には、複数の再生装置のそれぞれにロードされている楽曲データの情報、楽曲データの波形情報、BPMを示す情報、および複数の再生装置のBPMの同期状態を示す情報等が含まれる。
解析部224は、楽曲データを解析して、楽曲解析情報を生成する。楽曲解析情報は、楽曲データの拍位置情報、小節位置情報、および展開変化点等の情報を含み、既存の楽曲解析技術に基づいて生成可能である。解析部224は、例えば、特定の楽器音を検出して楽曲データの拍位置情報および小節位置情報を取得する。さらに、解析部224は、拍位置情報の解析結果や発音パターンの類似度等に基づいて、楽曲データの展開変化点を判定する。展開変化点は、例えば、楽曲のAメロ、Bメロ、サビなどの先頭に該当し、楽曲の展開構成として参照することができる。
画像取得部225は、撮影装置10A、10B、10C、および10Dのそれぞれから、楽曲データのDJプレイの動画像を取得する。
The signal receiving unit 221 receives an operation signal from the operation unit 21 .
The playback control unit 222 has the functions of a plurality of playback devices, plays music data in each of the playback devices, and outputs an audio signal to the output unit 227. The playback control unit 222 acquires music data from a music data storage unit 23 (described later) based on an operation signal received by the signal receiving unit 221, and controls the playback of the acquired music data.
The display control unit 223 causes the display unit 24 to display a moving image including information on music data being played by the audio equipment 20 as a moving image indicating the state of the playback operation. The moving image indicating the state of the playback operation includes information on the music data loaded in each of the multiple playback devices, waveform information on the music data, information indicating the BPM, and information indicating the synchronization state of the BPM of the multiple playback devices.
The analysis unit 224 analyzes the music data to generate music analysis information. The music analysis information includes beat position information, bar position information, and development change points of the music data, and can be generated based on existing music analysis technology. The analysis unit 224, for example, detects a specific instrument sound to obtain beat position information and bar position information of the music data. Furthermore, the analysis unit 224 determines development change points of the music data based on the analysis result of the beat position information, the similarity of the pronunciation pattern, and the like. The development change points correspond to, for example, the beginning of the A melody, B melody, chorus, etc. of the music, and can be referred to as the development configuration of the music.
The image acquisition section 225 acquires moving images of the DJ playing music data from each of the image capture devices 10A, 10B, 10C, and 10D.

選択部226は、信号受信部221が受信した操作信号の種類と、操作信号を受信した時刻とに応じて、撮影装置10A、10B、10C、および10Dのそれぞれから取得した複数の動画像等から、少なくとも1つの動画像を時系列で選択する。選択部226による処理の詳細については後述する。 The selection unit 226 selects at least one video in chronological order from the multiple videos etc. acquired from each of the image capture devices 10A, 10B, 10C, and 10D according to the type of operation signal received by the signal receiving unit 221 and the time at which the operation signal was received. Details of the processing by the selection unit 226 will be described later.

出力部227は、音響機器20と外部機器との間のインターフェースである。出力部227は、選択部226により選択された動画像を順次表示装置30、配信装置50、および記録装置60に出力する。また、出力部227は、再生制御部222により再生された楽曲データの音声信号を音声出力装置40、配信装置50、および記録装置60に出力する。 The output unit 227 is an interface between the audio device 20 and an external device. The output unit 227 sequentially outputs the moving images selected by the selection unit 226 to the display device 30, the distribution device 50, and the recording device 60. The output unit 227 also outputs the audio signal of the music data played by the playback control unit 222 to the audio output device 40, the distribution device 50, and the recording device 60.

楽曲データ格納部23は、HDD(Hard Disk Drive)またはフラッシュメモリー等により、楽曲データを格納可能に構成されている。楽曲データ格納部23には、複数の楽曲データがMP3形式等の所定の形式で格納されている。楽曲データは、音声情報に加えて、例えば、楽曲のBPM、アートワーク、タイトル、アーティスト名、アルバム名、キー、DJプレイ回数及びジャンル等の情報をタグ情報として含む。楽曲データ格納部23に格納される楽曲データには、再生位置の情報であるタイムスタンプが対応付けられる。
なお、音響機器20は、通信インターフェースを備え、外部記憶装置およびコンピュータ等に記憶された楽曲データを、図示しない通信インターフェースを介して取得し、楽曲データ格納部23に格納する構成としてもよい。この場合、音響機器20には楽曲データ格納部23が含まれず、外部記憶装置が楽曲データ格納部23として機能する。
The music data storage unit 23 is configured to be able to store music data using a HDD (Hard Disk Drive) or a flash memory, etc. The music data storage unit 23 stores a plurality of music data in a predetermined format, such as MP3 format. In addition to audio information, the music data includes tag information such as the BPM, artwork, title, artist name, album name, key, number of DJ plays, and genre of the music. The music data stored in the music data storage unit 23 is associated with a time stamp, which is information on the playback position.
The audio device 20 may be configured to include a communication interface, and acquire music data stored in an external storage device, a computer, or the like via the communication interface (not shown), and store the music data in the music data storage unit 23. In this case, the audio device 20 does not include the music data storage unit 23, and the external storage device functions as the music data storage unit 23.

表示部24は、音響機器20における各種の情報を表示する表示装置である。表示部24としては、液晶表示装置、有機EL表示装置等、各種方式の表示装置を採用できる。なお、表示部24の表面にタッチパネルを設けることにより、表示部24を上述した操作部21の少なくとも一部として利用してもよい。 The display unit 24 is a display device that displays various information about the audio device 20. Various types of display devices can be used as the display unit 24, such as a liquid crystal display device or an organic EL display device. Note that by providing a touch panel on the surface of the display unit 24, the display unit 24 may be used as at least a part of the operation unit 21 described above.

表示装置30は、出力部227から出力された動画像を順次表示する。
音声出力装置40は、スピーカ等を備え、出力部227から出力された音声信号を音声情報として出力する。
配信装置50は、インターネットに接続され、出力部227から出力された動画像を順次インターネット配信するとともに、出力部227から出力された音声信号を動画像と同期した状態でインターネット配信することにより、音声付き動画像をインターネット配信する。
記録装置60は、ディスク型記録媒体、HDD、並びに、半導体メモリー等の記録媒体を備え、出力部227から出力された動画像を順次結合して記録するとともに、出力部227から出力された音声信号を動画像と同期した状態で記録することにより、音声付き動画像を記録する。
配信装置50は、記録装置60により生成される音声付き動画像を順次インターネット配信してもよいし、記録装置60は、配信装置50によりインターネット配信される音声付き動画像を順次記録してもよい。また、音響機器20に音声付き動画像を生成する生成部を設けてもよい。
The display device 30 sequentially displays the moving images output from the output unit 227 .
The audio output device 40 includes a speaker and the like, and outputs the audio signal output from the output unit 227 as audio information.
The distribution device 50 is connected to the Internet, and sequentially distributes the moving images output from the output unit 227 over the Internet, and also distributes the audio signal output from the output unit 227 over the Internet in synchronization with the moving images, thereby distributing the moving images with audio over the Internet.
The recording device 60 is equipped with a disk-type recording medium, a HDD, and a recording medium such as a semiconductor memory, and sequentially combines and records the moving images output from the output unit 227, and records the audio signal output from the output unit 227 in synchronization with the moving images, thereby recording moving images with audio.
The distribution device 50 may sequentially distribute the audio-accompanied videos generated by the recording device 60 over the Internet, and the recording device 60 may sequentially record the audio-accompanied videos distributed over the Internet by the distribution device 50. In addition, the audio equipment 20 may be provided with a generation unit that generates the audio-accompanied videos.

以上説明した撮影システム1における選択部226による処理について説明する。選択部226は、上述したように、信号受信部221が受信した操作信号の種類と、操作信号を受信した時刻とに応じて、複数の動画像から、少なくとも1つの動画像を時系列で選択する。なお、複数の動画像には、撮影装置10A、10B、10C、および10Dにより生成される動画像の他に、再生操作の状態を示す動画像も含まれる。再生操作の状態を示す動画像とは、例えば、上述した表示制御部223により表示部24に表示される動画像である。 The processing by the selection unit 226 in the imaging system 1 described above will now be described. As described above, the selection unit 226 selects at least one video in chronological order from the multiple videos depending on the type of operation signal received by the signal receiving unit 221 and the time at which the operation signal was received. Note that the multiple videos include videos generated by the imaging devices 10A, 10B, 10C, and 10D as well as videos indicating the state of a playback operation. The video indicating the state of a playback operation is, for example, a video displayed on the display unit 24 by the display control unit 223 described above.

まず、撮影装置10A、10B、10C、10Dにより生成される動画像について説明する。
撮影装置10Aは、再生操作を行うユーザーの手元、つまり、音響機器20の操作部21及び操作部21による再生操作を行うユーザーの手元が撮影可能なアングルに設置される。撮影装置10Aにより生成される動画像Mは、DJプレイにおいてユーザーがどのような操作子をどのように操作しているのかを視認するのに好適な動画像である。
また、撮影装置10Bは、再生操作を行うユーザーの上半身が撮影可能なアングルに設置される。撮影装置10Bにより生成される動画像Mは、DJプレイにおいてユーザーが楽曲の再生位置の指定を行う、所謂モニタリングの状態等を視認するのに好適な動画像である。
また、撮影装置10Cは、再生操作を行うユーザーの全身を正面から撮影可能なアングル、またはユーザーおよび音響機器20の全体的な様子を正面から撮影可能なアングルに設置される。撮影装置10Cにより生成される動画像Mは、DJプレイにおいてユーザーが特別な再生操作を行っていない場合等に、全体的な様子を視認するのに好適な動画像である。
また、撮影装置10Dは、再生操作を行うユーザーの全身を左側または右側から撮影可能なアングル、またはユーザーおよび音響機器20の全体的な様子を左側または右側から撮影可能なアングルに設置される。撮影装置10Dにより生成される動画像Mは、上述した動画像Mと同様に、DJプレイにおいてユーザーが特別な再生操作を行っていない場合等に、全体的な様子を視認するのに好適な画像であり、かつ、動画像Mとは、異なるアングルで全体的な様子を視認するのに好適な動画像である。
なお、上述した動画像M、M、M、およびMに加えて、表示制御部223により表示部24に表示される動画像であって、再生操作の状態を示す動画像Mも、選択部226により選択される動画像の候補である。
First, the moving images generated by the image capture devices 10A, 10B, 10C, and 10D will be described.
The imaging device 10A is installed at an angle that allows it to capture the hands of a user performing playback operations, i.e., the operation unit 21 of the audio equipment 20 and the hands of a user performing playback operations using the operation unit 21. The moving image M A generated by the imaging device 10A is a moving image that is suitable for visually confirming how a user is operating which controls during DJ play.
The image capturing device 10B is set at an angle that allows the upper body of the user performing the playback operation to be captured. The moving image MB generated by the image capturing device 10B is suitable for visually confirming the so-called monitoring state, in which the user specifies the playback position of a song during DJ play.
The image capturing device 10C is set at an angle that allows the whole body of the user performing playback operation to be captured from the front, or an overall view of the user and the audio device 20 to be captured from the front. The moving image M C generated by the image capturing device 10C is a moving image that is suitable for visually checking the overall view when the user is not performing any special playback operation during DJ play, for example.
The imaging device 10D is installed at an angle that allows the whole body of the user performing playback operation to be captured from the left or right side, or an overall view of the user and the audio device 20 to be captured from the left or right side. The moving image M D generated by the imaging device 10D is, like the above-mentioned moving image M C , an image suitable for visually checking the overall view when the user is not performing any special playback operation during DJ play, and is a moving image suitable for visually checking the overall view from a different angle than the moving image M C.
In addition to the above-mentioned moving images M A , M B , M C , and M D , a moving image ME which is displayed on the display unit 24 by the display control unit 223 and indicates the state of a playback operation is also a candidate for a moving image to be selected by the selection unit 226.

図2は、選択部226による動画像の選択について説明する模式図である。図2の例では、下記のように再生操作が順次行われる場合を例示する。なお、所定の周期Pで操作信号の受信の有無を監視することにより、所定の区間ごとの再生操作を判別することができる。
時刻t1:第1の楽曲データの再生操作Op1
時刻t2:次に再生する第2の楽曲データの選択操作Op2
時刻t3:楽曲を切り替える、またはミックスするタイミングであるミックスポイントを決定するためのモニタリング操作Op3
時刻t4:第1の楽曲データから第2楽曲データへの切り替え、または第1の楽曲データと第2楽曲データとをミックスするミキシング操作Op4
時刻t5:次に再生する第3の楽曲データの選択操作Op5
Fig. 2 is a schematic diagram for explaining the selection of a moving image by the selection unit 226. In the example of Fig. 2, a case where the playback operations are performed sequentially as follows is illustrated. Note that by monitoring the presence or absence of reception of an operation signal at a predetermined period P, the playback operation for each predetermined section can be determined.
Time t1: Reproduction operation Op1 of first music data
Time t2: Selection operation Op2 of the second music data to be reproduced next
Time t3: Monitoring operation Op3 for determining a mix point, which is the timing for switching or mixing songs
Time t4: Switching from the first music piece data to the second music piece data, or mixing the first music piece data and the second music piece data Op4
Time t5: Selection operation Op5 of the third music data to be reproduced next

選択部226は、基本的に、信号受信部221により操作信号を受信すると、受信した操作信号の種類と、受信した時刻とに応じて、上述した動画像M、M、M、M、またはMのいずれかを選択する。この選択は、例えば、再生操作の内容と、複数の撮影装置10A、10B、10C、10Dとを関連付けて不図示の記憶部に記憶しておくことにより実行することができる。選択部226は、受信した操作信号に基づいて再生操作の内容を判別し、判別した再生操作の内容に関連付けられた撮影装置により生成された動画像を選択する。再生操作の内容と、複数の撮影装置10A、10B、10C、10Dとの関連付けの一例を下記に示す。
撮影装置10A(ユーザーの手元):音響機器20の操作部21に対する再生操作
撮影装置10B(ユーザーの上半身):再生位置を指定する再生操作
撮影装置10C(ユーザーの全身、正面):再生操作なし、初期状態
撮影装置10D(ユーザーの全身、左側または右側):再生操作なし、初期状態
つまり、再生操作の内容と、視聴者が見たいと考える動画像とが紐づいているため、選択部226は、再生操作の内容に関連付けられた撮影装置により生成された動画像を選択することにより、再生操作の内容に相応しい動画像を簡便に選択することが可能となる。
Basically, when the signal receiving unit 221 receives an operation signal, the selection unit 226 selects one of the above-mentioned videos M A , M B , M C , M D , or M E according to the type of the received operation signal and the time of reception. This selection can be performed, for example, by associating the content of the playback operation with the multiple image capture devices 10A, 10B, 10C, and 10D and storing them in a storage unit (not shown). The selection unit 226 determines the content of the playback operation based on the received operation signal, and selects the video generated by the image capture device associated with the determined content of the playback operation. An example of the association between the content of the playback operation and the multiple image capture devices 10A, 10B, 10C, and 10D is shown below.
Camera 10A (at the user's hand): playback operation on operation unit 21 of audio equipment 20 Camera 10B (upper body of user): playback operation specifying playback position Camera 10C (full body of user, in front): no playback operation, initial state Camera 10D (full body of user, left or right side): no playback operation, initial state In other words, since the content of the playback operation is linked to the video that the viewer wants to see, the selection unit 226 can easily select a video appropriate for the content of the playback operation by selecting a video generated by a camera associated with the content of the playback operation.

なお、操作信号を受信してから動画像を選択すると、実際の再生操作の開始時刻、あるいは開始後に動画像が選択されることになる。そこで、選択部226は、図2に示すように、操作信号を受信した時刻、つまり、再生操作の時刻より所定時間Lだけ前の時刻を始点として動画像を選択する。この結果、実際の再生操作の開始時刻より所定時間Lだけ前の時点を始点として最適な動画像を選択することが可能である。 Note that if a video is selected after receiving an operation signal, the video will be selected at or after the start of the actual playback operation. Therefore, as shown in FIG. 2, the selection unit 226 selects a video starting from the time when the operation signal was received, that is, a time a predetermined time L before the time of the playback operation. As a result, it is possible to select an optimal video starting from a time a predetermined time L before the start time of the actual playback operation.

また、ユーザーが頻繁に、または、連続的に再生操作を行う場合、操作信号が頻繁に受信されることになる。このような場合に、すべての操作信号に応じてその都度動画像を選択すると、アングルの変更が頻繁に発生し、視聴者に不快感や煩わしさを与えるという問題がある。
そこで、選択部226は、N回目に動画像の選択を行ってから所定の時間T1が経過した後に、N+1回目の動画像の選択を行う。つまり、選択部226は、一旦動画像を選択した後、一定の期間は操作信号を受信しても動画像の選択を行わない。
なお、所定の時間T1は、予め定められていてもよいし、ユーザーにより指定されてもよい。また、楽曲解析情報に基づいて決定されてもよい。例えば、テンポが速い楽曲や激しい曲調の楽曲に関しては、アングル変化が多い方が相応しいとの考えによりT1を短くし、テンポが遅い楽曲や穏やかな曲調の楽曲に関しては、アングル変化が少ない方が相応しいとの考えによりT1を長く決定してもよい。
Furthermore, when a user frequently or continuously performs playback operations, operation signals are received frequently, and if a video is selected each time in response to every operation signal, the angle will be changed frequently, causing a problem of discomfort and annoyance to the viewer.
Therefore, the selection unit 226 selects a video for the Nth time, and then, after a predetermined time T1 has elapsed since the selection unit 226 selected a video for the Nth time, the selection unit 226 selects a video for the (N+1)th time. In other words, after the selection unit 226 selects a video, the selection unit 226 does not select a video for a certain period of time even if it receives an operation signal.
The predetermined time T1 may be determined in advance or may be specified by the user. It may also be determined based on music analysis information. For example, T1 may be set to be short for music with a fast tempo or a strong melody since more angle changes are appropriate, whereas T1 may be set to be long for music with a slow tempo or a gentle melody since fewer angle changes are appropriate.

また、選択部226は、解析部224により生成した楽曲解析情報を動画像の選択に利用することもできる。この場合、解析部224による楽曲解析情報の生成は、ユーザーによる仕込み操作として、楽曲データごとに予め実行され、楽曲データと関連付けて記録されていることが好ましい。
例えば、上述した例とは反対に、ユーザーがある程度長い期間にわたって再生操作を行わない場合、操作信号が受信されず、動画像も選択されないことになる。このような場合には、アングルが変化せず、エンターテインメント性が低下したり、視聴者が飽きたりするという問題がある。
そこで、選択部226は、図2におけるミキシング操作Op4から楽曲データの選択操作Op5までの間のように、信号受信部221が操作信号を所定の時間T2の間受信しない場合、楽曲解析情報の展開変化点に応じて動画像を選択する。図2の例では、選択部226は、前回の再生操作であるミキシング操作Op4から時間T2が経過した時点に最も近い展開変化点、つまり楽曲解析情報D2cおよびD2dの展開変化点において、全体的な様子を視認するのに好適な動画像Mを選択する。
なお、信号受信部221が操作信号を所定の時間T2の間受信しない場合に、どのような動画像を選択するかは、予め優先順位が定められてもいてもよいし、ランダムに決定されてもよい。
また、所定の時間T2は、予め定められていてもよいし、ユーザーにより指定されてもよい。また、楽曲解析情報に基づいて決定されてもよい。例えば、テンポが速い楽曲や激しい曲調の楽曲に関しては、アングル変化が多い方が相応しいとの考えによりT2を短くし、テンポが遅い楽曲や穏やかな曲調の楽曲に関しては、アングル変化が少ない方が相応しいとの考えによりT2を長く決定してもよい。
Furthermore, the selection unit 226 can also use the music analysis information generated by the analysis unit 224 to select a moving image. In this case, it is preferable that the generation of music analysis information by the analysis unit 224 is performed in advance for each piece of music data as a preparation operation by the user, and is recorded in association with the music data.
For example, in contrast to the above example, if the user does not perform a playback operation for a certain period of time, the operation signal will not be received and no video will be selected. In such a case, the angle will not change, which may reduce the entertainment value or cause viewers to tire of the content.
Therefore, the selection unit 226 selects a moving image according to a development change point of music analysis information when the signal receiving unit 221 does not receive an operation signal for a predetermined time T2, such as from mixing operation Op4 to music data selection operation Op5 in Fig. 2. In the example of Fig. 2, the selection unit 226 selects a moving image MD suitable for visually confirming the overall state at the development change point closest to the point at which time T2 has elapsed since mixing operation Op4, which is the previous playback operation, i.e., the development change point of music analysis information D2c and D2d.
When the signal receiving unit 221 does not receive an operation signal for a predetermined time T2, the video to be selected may be prioritized in advance or may be randomly determined.
The predetermined time T2 may be determined in advance or may be specified by the user. It may also be determined based on music analysis information. For example, T2 may be set to be short for music with a fast tempo or a strong melody, since more angle changes are appropriate, whereas T2 may be set to be long for music with a slow tempo or a gentle melody, since fewer angle changes are appropriate.

また、選択部226は、展開変化点、拍位置、及び小節位置等に応じて、現在選択している動画像の終点と、次に選択する動画像の始点とを選択してもよい。動画像の始点及び終点をこのように選択することにより、アングル変更のタイミングを、展展開変化点、拍位置、及び小節位置等に吸着させることができるので、視聴者が感じる違和感を抑え、視聴者にとって心地よいカメラワークを簡便に実現することができる。
図2の例では、選択部226は、選択操作Op2に応じて動画像Mを選択する際に、最も近い展開変化点、つまり楽曲解析情報D1aおよびD1bの展開変化点を、現在選択している動画像Mの終点と、次に選択する動画像Mの始点として選択することにより、アングル変更のタイミングを後ろにずらして、展開変化点と一致させる。
また、選択部226は、選択部226は、操作信号を所定の時間T2の間受信しないことに起因して動画像Mを選択する際に、最も近い展開変化点、つまり楽曲解析情報D2cおよびD2dの展開変化点を、現在選択している動画像Mの終点と、次に選択する動画像Mの始点として選択することにより、アングル変更のタイミングを前にずらして、展開変化点と一致させる。
なお、最も近い展開変化点までの時間が所定の時間T3以上である場合には、アングル変更のタイミングがずれすぎてしまうので好ましくない。このような問題を回避するために、最も近い展開変化点までの時間が所定の時間T3以上である場合には、次の拍位置または次の小節位置を、現在選択している動画像の終点と、次に選択する動画像の始点として選択すると良い。
Furthermore, the selection unit 226 may select the end point of the currently selected video and the start point of the next video to be selected according to the development change point, beat position, bar position, etc. By selecting the start point and end point of the video in this way, the timing of the angle change can be attached to the development change point, beat position, bar position, etc., so that the sense of discomfort felt by the viewer can be suppressed and camera work that is comfortable for the viewer can be easily achieved.
In the example of FIG. 2, when the selection unit 226 selects a moving image M E in response to a selection operation Op2, it selects the closest development change point, i.e., the development change point of the music analysis information D1a and D1b, as the end point of the currently selected moving image M C and the start point of the moving image M E to be selected next, thereby shifting the timing of the angle change back to coincide with the development change point.
Furthermore, when the selection unit 226 selects a moving image M D due to not receiving an operation signal for a predetermined time T2, the selection unit 226 selects the closest development change point, i.e., the development change point of the music analysis information D2c and D2d, as the end point of the currently selected moving image M A and the start point of the moving image M D to be selected next, thereby shifting the timing of the angle change forward to coincide with the development change point.
If the time to the nearest development change point is longer than the predetermined time T3, the timing of the angle change will be too far off, which is undesirable. To avoid this problem, if the time to the nearest development change point is longer than the predetermined time T3, it is preferable to select the next beat position or the next bar position as the end point of the currently selected video and the start point of the next video to be selected.

また、選択部226は、楽曲解析情報に基づいて、上述した各タイミング以外のタイミングで動画像を選択してもよい。例えば、サビの近辺等に曲調が盛り上がる区間がある場合には、そのタイミングに合わせて動画像をあえて頻繁に選択することにより、アングルの変更のタイミングを増やして画像のスクラッチのような演出効果を実現してもよい。また、このような演出効果を実現する際には、楽曲解析情報の拍位置にアングル変更のタイミングを合わせることにより、さらに演出効果を向上させることができる。
何れの場合も、動画像の選択において、補助的な情報として楽曲解析情報を利用することにより、楽曲の特徴に応じた処理を実現することができる。
The selection unit 226 may also select video images at timings other than the above-mentioned timings based on the music analysis information. For example, when there is a section where the melody gets exciting, such as near the chorus, video images may be selected frequently to match that timing, thereby increasing the timing of the angle change and achieving a performance effect such as an image scratch. When achieving such a performance effect, the performance effect can be further improved by matching the timing of the angle change to the beat position of the music analysis information.
In either case, by using music analysis information as auxiliary information in selecting a video, processing according to the characteristics of the music can be realized.

また、選択部226は、アングル変更のタイミングで画像エフェクト処理を行ってもよい。例えば、現在選択している動画像の終点と次に選択する動画像の始点との間で、フェードイン及びフェードアウト、ズームイン及びズームアウト等の画像エフェクト処理を行ってもよい。このような画像エフェクト処理を行うことにより、視聴者にとって心地よいアングル変更を実現したり、演出効果を向上させたりすることができる。 The selection unit 226 may also perform image effect processing at the timing of the angle change. For example, image effect processing such as fade-in and fade-out, zoom-in and zoom-out, etc. may be performed between the end point of the currently selected video and the start point of the next video to be selected. By performing such image effect processing, it is possible to realize an angle change that is comfortable for the viewer and to improve the dramatic effect.

また、操作部21を介したスクラッチ操作など、DJプレイにおいて特に特徴的なユーザー操作が行われた場合にも、選択部226は、上述した場合と同様に、動画像をあえて頻繁に選択したり、画像エフェクト処理を行ったりしてもよい。 In addition, when a user performs a particularly characteristic DJ play operation, such as a scratch operation via the operation unit 21, the selection unit 226 may, as in the above-mentioned case, frequently select moving images or perform image effect processing.

図3は、動画像の選択時の制御部22の動作を示すフローチャートである。
図3に示された例では、まず、信号受信部221が操作信号を受信したか否かを判定する(ステップS101)。
操作信号を受信したと判定すると(ステップS101YES)、選択部226が操作信号の種類と、操作信号を受信した時刻とに応じて、動画像を選択する(ステップS102)。一方、操作信号を受信しないと判定すると(ステップS101NO)、前回の操作信号受信から所定時間T2を経過したか否かを判定する(ステップS103)。所定時間T2を経過したと判定すると(ステップS103YES)、選択部226が楽曲解析情報に応じて、動画像を選択する(ステップS104)。一方、所定時間T2を経過しない場合には、ステップS101に戻る。
動画像の選択(ステップS102またはS104)後、前後の展開変化点までの時間がT3未満であるかを判定する(ステップS105)。
前後の展開変化点までの時間がT3未満であると判定すると(ステップS105YES)、最も近い展開変化点を現在選択している動画像の終点と、次に選択する動画像の始点として選択する(ステップS106)。一方、前後の展開変化点までの時間がT3以上であると判定すると(ステップS105NO)、次の拍位置を現在選択している動画像の終点と、次に選択する動画像の始点として選択する(ステップS107)。
始点および終点の選択(ステップS106またはS107)後、現在選択している動画像を出力部227により出力し(ステップS108)、前回の操作信号受信から所定時間T1を経過したか否かを判定する(ステップS109)。所定時間T1を経過するまで待機し、所定時間T1を経過したと判定すると(ステップS109YES)、ステップS101に戻り、ステップS101からの処理を繰り返す。
FIG. 3 is a flowchart showing the operation of the control unit 22 when a moving image is selected.
In the example shown in FIG. 3, first, it is determined whether or not the signal receiving unit 221 has received an operation signal (step S101).
When it is determined that an operation signal has been received (step S101: YES), the selection unit 226 selects a video image according to the type of operation signal and the time when the operation signal was received (step S102). On the other hand, when it is determined that an operation signal has not been received (step S101: NO), it is determined whether or not a predetermined time T2 has elapsed since the previous reception of an operation signal (step S103). When it is determined that the predetermined time T2 has elapsed (step S103: YES), the selection unit 226 selects a video image according to the music analysis information (step S104). On the other hand, when the predetermined time T2 has not elapsed, the process returns to step S101.
After a moving image is selected (step S102 or S104), it is determined whether the time to the previous or next evolution change point is less than T3 (step S105).
If it is determined that the time between the previous and next evolution change points is less than T3 (step S105 YES), the closest evolution change point is selected as the end point of the currently selected video and the start point of the next video to be selected (step S106).On the other hand, if it is determined that the time between the previous and next evolution change points is T3 or more (step S105 NO), the next beat position is selected as the end point of the currently selected video and the start point of the next video to be selected (step S107).
After the start point and end point are selected (step S106 or S107), the currently selected video is output by the output unit 227 (step S108), and it is determined whether a predetermined time T1 has elapsed since the previous operation signal was received (step S109). The process waits until the predetermined time T1 has elapsed, and if it is determined that the predetermined time T1 has elapsed (step S109 YES), the process returns to step S101 and repeats the process from step S101.

以上で説明したような本発明の一実施形態によれば、特別な機材や手間を必要とせずに、演出面に優れたDJプレイの動画像を簡便に作成することができる。
従来、DJプレイの動画像は、定点カメラによる単一アングルで撮影されたものが多かった。そのため、DJの様子のみ、または、DJの手元のみの動画像であるため、エンターテインメント性に乏しく、また、視聴者が見たい詳細な操作が見づらいという問題があった。また、このような問題を解決するには特別な機材や、撮影を行う複数の人材などのリソースが必要であり、一般のユーザーには容易ではなかった。さらに、演出および編集の技術や手間が必要とされるという問題もあった。
これに対して、上記実施形態では、楽曲データの再生操作の操作信号を操作装置から受信するとともに、動画像を複数の撮影装置のそれぞれから取得し、操作信号の種類と、操作信号を受信した時刻とに応じて、複数の撮影装置から取得した複数の動画像から少なくとも1つの動画像を時系列で選択することにより、DJプレイの内容に応じて最適な動画像を時系列で選択することができる。特に、本実施形態によれば、特別な機材、演出および編集の技術や手間、人材等を必要としないため、一人のユーザーであっても手軽に処理を行うことが可能である。
According to one embodiment of the present invention as described above, moving images of DJ performances with excellent presentation can be easily created without requiring special equipment or effort.
Previously, videos of DJ performances were often shot from a single angle using a fixed camera. As a result, the videos only showed the DJ's appearance or his hands, which made them less entertaining and made it difficult for viewers to see the detailed operations they were performing. Solving these issues required special equipment and resources such as multiple people to film, which was not easy for the average user to do. Another problem was that it required the skills and effort required for directing and editing.
In contrast, in the above embodiment, an operation signal for playing music data is received from an operation device, video images are acquired from each of the multiple image capture devices, and at least one video image is selected in chronological order from the multiple video images acquired from the multiple image capture devices according to the type of operation signal and the time when the operation signal was received, thereby making it possible to select the optimal video image in chronological order according to the content of the DJ play. In particular, according to this embodiment, since no special equipment, directing and editing skills, effort, personnel, etc. are required, even a single user can easily perform the process.

また、上記実施形態では、再生操作の時刻より所定時間前の時刻を始点として動画像を選択する。そのため、再生操作の少し前の時点で最適な動画像を選択することが可能であり、再生操作に先立ってアングルを変更するカメラ切り替えと同様の効果を得ることができる。
また、上記実施形態では、一旦動画像の選択を行ってから所定の時間T1が経過した後に、次の動画像の選択を行う。そのため、アングルの変更が頻繁に発生することによる視聴者の不快感や煩わしさを抑えることが期待できる。
In the above embodiment, the video is selected starting from a time a predetermined time before the playback operation, so that the optimal video can be selected just before the playback operation, and the same effect as camera switching that changes the angle prior to the playback operation can be obtained.
In the above embodiment, the next video is selected after a predetermined time T1 has elapsed since the previous video was selected, which is expected to reduce discomfort and annoyance felt by viewers due to frequent angle changes.

また、上記実施形態では、再生操作の内容と、複数の撮影装置のうち少なくとも1つの撮影装置とを関連付けて記憶しておき、操作信号に基づいて再生操作の内容を判別し、判別した再生操作の内容に関連付けられた撮影装置により生成された動画像を選択する。そのため、再生操作の内容に相応しいアングルの動画像を容易に選択することができる。
また、上記実施形態では、楽曲データの少なくとも拍位置情報を解析して楽曲解析情報を生成し、楽曲解析情報に応じて動画像を選択する。そのため、再生中の楽曲の特徴に応じて、相応しいアングルの動画像を選択することができる。
In the above embodiment, the content of the playback operation is stored in association with at least one of the multiple camera devices, the content of the playback operation is determined based on the operation signal, and a video generated by the camera device associated with the determined content of the playback operation is selected, so that a video with an angle suitable for the content of the playback operation can be easily selected.
In the above embodiment, at least beat position information of music data is analyzed to generate music analysis information, and a video is selected according to the music analysis information, so that a video with an appropriate angle can be selected according to the characteristics of the music being played.

また、上記実施形態では、楽曲データの展開変化点をさらに判定し、操作信号を所定の時間T2の間受信しない場合、展開変化点に応じて動画像を選択する。そのため、アングルが変化しないことによりエンターテインメント性が低下したり、視聴者が飽きたりするという問題を回避することが期待できる。
また、上記実施形態では、展開変化点に応じて、現在選択している動画像の終点と、次に選択する動画像の始点とを選択する。そのため、アングル変更により視聴者が感じる違和感を抑え、視聴者にとって心地よいカメラワークを簡便に実現することができる。
また、上記実施形態では、複数の撮影装置から取得した複数の動画像と、再生操作の状態を示す動画像とのうち、少なくとも1つの動画像を時系列で選択する。そのため、楽曲の選択時などには、再生操作の状態を示す動画像を選択することができる。
In the above embodiment, the development change point of the music data is further determined, and if an operation signal is not received for a predetermined time T2, a video is selected according to the development change point. This is expected to avoid problems such as a decrease in entertainment value due to an unchanging angle and viewer boredom.
In the above embodiment, the end point of the currently selected video and the start point of the next video are selected according to the development change point, so that the sense of discomfort felt by the viewer due to the angle change can be reduced, and camera work that is comfortable for the viewer can be easily achieved.
In the above embodiment, at least one video is selected in chronological order from among the multiple video images acquired from the multiple image capture devices and the video image showing the state of the playback operation, so that when selecting a song, the video image showing the state of the playback operation can be selected.

なお、上記実施形態では、撮影システム1に、表示装置30、音声出力装置40、配信装置50、および記録装置60の各装置を備える例を示したが、一部を省略してもよい。また、表示装置30、音声出力装置40、配信装置50、および記録装置60の少なくとも1つを、音響機器20本体に設ける構成としてもよい。 In the above embodiment, an example was shown in which the imaging system 1 includes the display device 30, the audio output device 40, the distribution device 50, and the recording device 60, but some of these may be omitted. In addition, at least one of the display device 30, the audio output device 40, the distribution device 50, and the recording device 60 may be provided in the main body of the audio device 20.

また、上記実施形態では、音響機器20の選択部226によりソフトウェア的に動画像を選択する例を示したが、動画像の入力をハード的に切り替えるスイッチング機材を音響機器20に備え、複数の撮影装置から入力する動画像をスイッチング機材により選択する構成であってもよい。 In addition, in the above embodiment, an example was shown in which a video was selected by the selection unit 226 of the audio device 20 using software, but the audio device 20 may be provided with switching equipment that switches the input of video using hardware, and the video input from multiple imaging devices may be selected by the switching equipment.

また、上記実施形態では、音響機器20として、再生装置と、再生装置を制御するミキサーとが一体化した装置を例示したが、再生装置とミキサーとが独立であってもよいし、再生機能を備えないDJコントローラーや、スマートフォンやタブレット端末などの携帯端末を用いた音響機器にも本発明を同様に適用することができる。 In the above embodiment, the audio device 20 is an integrated device that includes a playback device and a mixer that controls the playback device. However, the playback device and the mixer may be independent, and the present invention can also be applied to audio devices that use DJ controllers without playback functions, or mobile devices such as smartphones or tablet devices.

また、上記実施形態では、DJプレイの動画像を例示したが、本発明はこの例に限定されない。例えば、クラブやコンサート等で用いるスクリーンに表示する動画像、プロモーション用の動画像、チュートリアル用またはレッスン用の動画像にも本発明を好適に利用することができる。また、DJプレイ時の周囲の状況を撮影した動画像も選択の対象としてもよい。例えば、結婚パーティーにおいて、新郎新婦を撮影する撮影装置と、ゲストを撮影する撮影装置とを備えてもよい。 In addition, while the above embodiment has been exemplified by video of a DJ playing, the present invention is not limited to this example. For example, the present invention can also be suitably used for video displayed on screens used in clubs, concerts, etc., promotional video, and video for tutorials or lessons. Videos capturing the surroundings during DJ play may also be selected. For example, at a wedding party, a camera may be provided to capture the bride and groom, and another to capture the guests.

また、上記実施形態では、音響機器20の制御部22は、図示しない記憶部および記録媒体からプログラムを読み取って実行することによって、上述した処理を行うとした。しかしながら、これに限らず、例えば、制御部22は、ネットワーク上の機器からプログラムを取得して実行してもよい。なお、記録媒体としては、ディスク型記録媒体、HDD、並びに、半導体メモリー等が挙げられる。 In the above embodiment, the control unit 22 of the audio device 20 performs the above-mentioned processing by reading and executing a program from a storage unit and a recording medium (not shown). However, this is not limited to the above, and for example, the control unit 22 may obtain and execute a program from a device on a network. Examples of recording media include disk-type recording media, HDDs, and semiconductor memories.

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範囲内において、各種の変形例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 The above describes in detail preferred embodiments of the present invention with reference to the attached drawings, but the present invention is not limited to such examples. It is clear that a person with ordinary knowledge in the technical field to which the present invention pertains can conceive of various modified or revised examples within the scope of the technical ideas described in the claims, and it is understood that these also naturally fall within the technical scope of the present invention.

1…撮影システム、10A・10B・10C・10D…撮影装置、20…音響機器、21…操作部、22…制御部、23…楽曲データ格納部、24…表示部、30…表示装置、40…音声出力装置、50…配信装置、60…記録部、221…信号受信部、222…再生制御部、223…表示制御部、224…解析部、225…画像取得部、226…選択部、227…出力部。 1...photography system, 10A, 10B, 10C, 10D...photography device, 20...audio equipment, 21...operation unit, 22...control unit, 23...music data storage unit, 24...display unit, 30...display device, 40...audio output device, 50...distribution device, 60...recording unit, 221...signal receiving unit, 222...playback control unit, 223...display control unit, 224...analysis unit, 225...image acquisition unit, 226...selection unit, 227...output unit.

Claims (13)

楽曲データの再生状態を制御する操作装置から、前記操作装置に対して行われた操作を示す操作信号を受信する信号受信部と、
動画像を複数の撮影装置のそれぞれから取得する画像取得部と、
前記操作信号により示される前記操作の内容と、前記操作信号を受信した時刻とに応じて、前記複数の撮影装置から取得した複数の前記動画像から少なくとも1つの動画像を時系列で選択する選択部と、を備える情報処理装置。
a signal receiving unit that receives , from an operation device that controls a playback state of music data, an operation signal indicating an operation performed on the operation device;
an image acquisition unit that acquires moving images from each of a plurality of image capture devices;
an information processing device comprising: a selection unit that selects at least one moving image in chronological order from the multiple moving images acquired from the multiple photographing devices in accordance with the content of the operation indicated by the operation signal and the time when the operation signal was received.
前記選択部は、前記操作の時刻より所定時間前の時刻を始点として前記動画像を選択する、請求項1に記載の情報処理装置。 The information processing device according to claim 1 , wherein the selection unit selects the video starting from a time that is a predetermined time before a time of the operation . 前記選択部は、N回目に前記動画像の選択を行ってから所定の時間T1が経過した後に、N+1回目の前記動画像の選択を行う、請求項1または請求項2に記載の情報処理装置。 The information processing device according to claim 1 or 2, wherein the selection unit performs the N+1th selection of the video after a predetermined time T1 has elapsed since the Nth selection of the video. 記操作の内容と、前記複数の撮影装置のうち少なくとも1つの撮影装置とを関連付けて記憶する記憶部をさらに備え、
前記選択部は、前記操作信号に基づいて前記操作の内容を判別し、判別した前記操作の内容に関連付けられた前記撮影装置により生成された前記動画像を選択する、請求項1から請求項3のいずれか1項に記載の情報処理装置。
a storage unit that stores the content of the operation in association with at least one of the plurality of photographing devices;
The information processing device according to claim 1 , wherein the selection unit determines the content of the operation based on the operation signal, and selects the video generated by the imaging device associated with the determined content of the operation .
前記楽曲データの少なくとも拍位置情報を解析して楽曲解析情報を生成する解析部または外部機器で生成した楽曲解析情報を取得する情報取得部をさらに備え、
前記選択部は、前記楽曲解析情報に応じて、前記動画像を選択する、請求項1から請求項4のいずれか1項に記載の情報処理装置。
The music data processing apparatus further includes an analysis unit that analyzes at least beat position information of the music data to generate music analysis information, or an information acquisition unit that acquires music analysis information generated by an external device,
The information processing device according to claim 1 , wherein the selection unit selects the video image in accordance with the music analysis information.
前記解析部は、前記楽曲データの展開変化点をさらに判定し、
前記選択部は、前記信号受信部が前記操作信号を所定の時間T2の間受信しない場合、前記展開変化点に応じて前記動画像を選択する、請求項5に記載の情報処理装置。
The analysis unit further determines a transition point of the music data;
The information processing device according to claim 5 , wherein the selection section selects the moving image in accordance with the evolution transition point when the signal receiving section does not receive the operation signal for a predetermined time T2.
前記選択部は、前記展開変化点に応じて、現在選択している動画像の終点と、次に選択する動画像の始点とを選択する、請求項6に記載の情報処理装置。 The information processing device according to claim 6, wherein the selection unit selects an end point of a currently selected video and a start point of a next video to be selected in accordance with the evolution change point. 前記画像取得部は、前記操作装置を操作するユーザーを撮影した前記撮影装置により生成された動画像と、表示部に表示される前記楽曲データに関する情報を示す動画像とを取得し、
前記選択部は、前記複数の撮影装置から取得した複数の前記動画像と、前記楽曲データに関する情報を示す動画像とのうち、少なくとも1つの動画像を時系列で選択する、請求項1から請求項7のいずれか1項に記載の情報処理装置。
the image acquisition unit acquires a moving image generated by the imaging device that captures an image of a user operating the operation device, and a moving image showing information related to the music data that is displayed on the display unit ;
The information processing device according to claim 1 , wherein the selection unit selects at least one video in chronological order from among the multiple video images acquired from the multiple image capture devices and a video image showing information related to the music data .
楽曲データの再生状態を制御する操作装置と、動画像を生成する複数の撮影装置と、情報処理装置とを有する撮影システムであって、
前記情報処理装置は、
前記操作装置に対して行われた操作を示す操作信号を前記操作装置から受信する信号受信部と、
前記複数の撮影装置のそれぞれから複数の前記動画像を取得する画像取得部と、
前記操作信号により示される前記操作の内容と、前記操作信号を受信した時刻とに応じて、前記複数の撮影装置から取得した複数の前記動画像から少なくとも1つの動画像を時系列で選択する選択部と、を有する撮影システム。
A photographing system having an operation device for controlling a playback state of music data, a plurality of photographing devices for generating moving images, and an information processing device,
The information processing device includes:
a signal receiving unit that receives an operation signal indicating an operation performed on the operation device from the operation device;
an image acquisition unit that acquires a plurality of the moving images from each of the plurality of image capture devices;
a selection unit that selects at least one video image in chronological order from the multiple video images acquired from the multiple photographing devices in accordance with the content of the operation indicated by the operation signal and the time when the operation signal was received.
前記撮影システムは、
前記選択部により選択した前記動画像を順次インターネット配信する配信装置をさらに含む、請求項9に記載の撮影システム。
The imaging system includes:
The imaging system according to claim 9 , further comprising a distribution device that sequentially distributes the moving images selected by the selection unit over the Internet.
前記撮影システムは、
前記選択部により選択した前記動画像を順次結合して記録する記録装置をさらに含む、請求項9に記載の撮影システム。
The imaging system includes:
The photographing system according to claim 9 , further comprising a recording device that sequentially combines and records the moving images selected by the selection unit.
請求項1から請求項8のいずれか1項に記載の情報処理装置としてコンピュータを機能させるように構成されたプログラム。 A program configured to cause a computer to function as an information processing device according to any one of claims 1 to 8. 楽曲データの再生状態を制御する操作装置から、前記操作装置に対して行われた操作を示す操作信号を受信するステップと、
動画像を複数の撮影装置のそれぞれから取得するステップと、
前記操作信号により示される前記操作の内容と、前記操作信号を受信した時刻とに応じて、前記複数の撮影装置から取得した複数の前記動画像から少なくとも1つの動画像を時系列で選択するステップと、を含む情報処理方法。
receiving , from an operation device that controls a playback state of music data, an operation signal indicating an operation performed on the operation device;
acquiring video images from each of a plurality of image capture devices;
and selecting at least one moving image in chronological order from the multiple moving images acquired from the multiple photographing devices in accordance with the content of the operation indicated by the operation signal and the time at which the operation signal was received.
JP2020159634A 2020-09-24 2020-09-24 Information processing device, photographing system, program, and information processing method Active JP7606305B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020159634A JP7606305B2 (en) 2020-09-24 2020-09-24 Information processing device, photographing system, program, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020159634A JP7606305B2 (en) 2020-09-24 2020-09-24 Information processing device, photographing system, program, and information processing method

Publications (2)

Publication Number Publication Date
JP2022053048A JP2022053048A (en) 2022-04-05
JP7606305B2 true JP7606305B2 (en) 2024-12-25

Family

ID=80962845

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020159634A Active JP7606305B2 (en) 2020-09-24 2020-09-24 Information processing device, photographing system, program, and information processing method

Country Status (1)

Country Link
JP (1) JP7606305B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006171215A (en) 2004-12-14 2006-06-29 Yamaha Corp Data processor and program for conducting guidance display associated with music playing and lyrics display
JP2006217366A (en) 2005-02-04 2006-08-17 Yamaha Corp Photographic system
JP2008010966A (en) 2006-06-27 2008-01-17 Xing Inc Moving picture generation system and method
JP2018170678A (en) 2017-03-30 2018-11-01 株式会社ライブ・アース Live video processing system, live video processing method, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006171215A (en) 2004-12-14 2006-06-29 Yamaha Corp Data processor and program for conducting guidance display associated with music playing and lyrics display
JP2006217366A (en) 2005-02-04 2006-08-17 Yamaha Corp Photographic system
JP2008010966A (en) 2006-06-27 2008-01-17 Xing Inc Moving picture generation system and method
JP2018170678A (en) 2017-03-30 2018-11-01 株式会社ライブ・アース Live video processing system, live video processing method, and program

Also Published As

Publication number Publication date
JP2022053048A (en) 2022-04-05

Similar Documents

Publication Publication Date Title
US20100064219A1 (en) Network Hosted Media Production Systems and Methods
JPH11341350A (en) Multimedia information editing and reproducing device, recording medium with multimedia information reproduction program and recording medium with sequence information respectively recorded on them
JP4349313B2 (en) Playback device, playback control method, and program
KR20110040190A (en) Apparatus and method for playing music on a portable terminal
KR20110012125A (en) Apparatus and method for playing music on a portable terminal
JP2021182678A (en) Moving image reproduction device and moving image reproduction method
JP2008204560A (en) Reproducing device, reproducing method, program, and recording medium
JP7606305B2 (en) Information processing device, photographing system, program, and information processing method
US8153879B2 (en) Data processing apparatus, data reproduction apparatus, data processing method and data processing program
JP7226709B2 (en) Video control system and video control method
US8340508B2 (en) Record/playback apparatus and control method therefor
JP2008304581A (en) Program recording medium, playback device, playback control program, and playback control method
JP2005285285A (en) Content read system and musical piece reproduction apparatus
JP5794934B2 (en) Collaboration song recording system
JP7397090B2 (en) Sound device, sound system, image generation method, and image generation program
JP2006012257A (en) Composition selection device, composition selection system and composition selection method
JP2006108843A (en) Playback device and playback method
JP6474292B2 (en) Karaoke equipment
JP4771085B2 (en) Content information display device
JP7685665B1 (en) Information processing device and music playback program
JP6051028B2 (en) Singing video data acquisition system
KR100797390B1 (en) Music production apparatus and method for portable digital audio playback device
JP6043610B2 (en) Synthetic video content generation system
KR100932778B1 (en) Recording media on which multitrack media files are recorded, a method of playing multitrack media files, and a media device
KR100771632B1 (en) Digital Broadcast Processing Apparatus and Method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230725

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240716

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241213

R150 Certificate of patent or registration of utility model

Ref document number: 7606305

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150