JP7606305B2 - Information processing device, photographing system, program, and information processing method - Google Patents
Information processing device, photographing system, program, and information processing method Download PDFInfo
- Publication number
- JP7606305B2 JP7606305B2 JP2020159634A JP2020159634A JP7606305B2 JP 7606305 B2 JP7606305 B2 JP 7606305B2 JP 2020159634 A JP2020159634 A JP 2020159634A JP 2020159634 A JP2020159634 A JP 2020159634A JP 7606305 B2 JP7606305 B2 JP 7606305B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- unit
- information processing
- image
- music data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
- Circuit For Audible Band Transducer (AREA)
- User Interface Of Digital Computer (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
本発明は、情報処理装置、撮影システム、プログラム、及び情報処理方法に関する。 The present invention relates to an information processing device, a photography system, a program, and an information processing method.
DJ(Disc Jockey)によるパフォーマンスに関して、スマートフォンおよびタブレット端末などの携帯端末を使用したDJプレイアプリケーションなど、様々な技術が考えられている。そのため、プロのDJだけでなく、一般のユーザーもDJプレイを楽しむことができるようになっている。例えば、非特許文献1には、コンピュータ及び携帯端末で利用可能なDJプレイアプリケーションが開示されている。
Various technologies have been developed for DJ (Disc Jockey) performances, such as DJ play applications that use mobile devices such as smartphones and tablet devices. This has made it possible for not only professional DJs, but also general users to enjoy DJ performances. For example, Non-Patent
ところで、DJプレイの紹介には動画像が用いられることが多い。DJプレイの動画像の撮影において、演出面に優れた動画像を作成するためは、様々な機材が必要である場合が多く、また、演出および編集の技術や手間が必要である。そのため、一般のユーザーが作成するには様々な問題がある。 By the way, video is often used to introduce DJ performances. When shooting video of DJ performances, various equipment is often required to create a video that excels in the presentation aspect, and directing and editing techniques and time are also required. For this reason, there are various problems when general users try to create such videos.
そこで、本発明は、特別な機材や手間を必要とせずに、演出面に優れた動画像を簡便に作成することが可能な情報処理装置、撮影システム、プログラム、及び情報処理方法を提供することを目的とする。 The present invention aims to provide an information processing device, a shooting system, a program, and an information processing method that can easily create moving images with excellent presentation without requiring special equipment or effort.
本発明のある観点によれば、楽曲データの再生操作の操作信号を操作装置から受信する信号受信部と、動画像を複数の撮影装置のそれぞれから取得する画像取得部と、操作信号の種類と、操作信号を受信した時刻とに応じて、複数の撮影装置から取得した複数の動画像から少なくとも1つの動画像を時系列で選択する選択部と、を備える情報処理装置が提供される。 According to one aspect of the present invention, there is provided an information processing device including a signal receiving unit that receives an operation signal for operating playback of music data from an operation device, an image acquiring unit that acquires video images from each of a plurality of image capturing devices, and a selecting unit that selects at least one video image in chronological order from a plurality of video images acquired from the plurality of image capturing devices according to the type of the operation signal and the time at which the operation signal was received.
本発明の別の観点によれば、上記の情報処理装置としてコンピュータを機能させるように構成されたプログラムが提供される。 According to another aspect of the present invention, a program configured to cause a computer to function as the above-mentioned information processing device is provided.
本発明のさらに別の観点によれば、楽曲データの再生操作の操作信号を操作装置から受信するステップと、動画像を複数の撮影装置のそれぞれから取得するステップと、操作信号の種類と、操作信号を受信した時刻とに応じて、複数の撮影装置から取得した複数の動画像から少なくとも1つの動画像を時系列で選択するステップと、を含む情報処理方法が提供される。 According to yet another aspect of the present invention, there is provided an information processing method including the steps of receiving an operation signal for a playback operation of music data from an operation device, acquiring video images from each of a plurality of image capture devices, and selecting at least one video image in chronological order from the plurality of video images acquired from the plurality of image capture devices according to the type of the operation signal and the time at which the operation signal was received.
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 A preferred embodiment of the present invention will be described in detail below with reference to the accompanying drawings. Note that in this specification and the drawings, components having substantially the same functional configuration are designated by the same reference numerals to avoid redundant description.
図1は、本発明の一実施形態に係る撮影システムの概略的な機能構成を示すブロック図である。本発明の一実施形態に係る撮影システム1は、複数の撮影装置10A、10B、10C、10D、音響機器20、表示装置30、音声出力装置40、配信装置50、および記録装置60を含む。複数の撮影装置10A、10B、10C、10Dにより生成される動画像は、有線または無線の通信を介して音響機器20に供給される。また、音響機器20の出力は、表示装置30、音声出力装置40、配信装置50、および記録装置60の各部に供給される。
このような撮影システム1では、音響機器20を用いてユーザーが行うDJプレイを撮影装置10A、10B、10C、10Dによって異なるアングルから同時に撮影し、音響機器20によってDJプレイの動画像を生成するシステムである。
1 is a block diagram showing a schematic functional configuration of a photography system according to an embodiment of the present invention. The
In the
撮影装置10A、10B、10C、および10Dは、それぞれ、被写界を撮像して動画像を生成する撮影装置である。生成した動画像のデータには、撮影時刻の情報であるタイムスタンプが対応付けられる。
図1の例では4台の撮影装置10A、10B、10C、および10Dを例示しているが、撮影システム1は何台の撮影装置を備えてもよい。また、撮影装置10A、10B、10C、および10Dは、撮影機能のみを備えた撮影装置であってもよいし、撮影装置を内蔵したスマートフォンおよびタブレットなどの携帯端末であってもよい。
撮影装置10A、10B、10C、および10Dは、それぞれ異なるアングルからユーザーが行うDJプレイの動画像を撮影可能な位置に配置される。DJプレイの動画像とは、例えば、DJプレイを行うユーザーの手元を撮影した動画像、およびユーザーの全身または一部を撮影した動画像等である。
Each of the image capturing
1 illustrates four image capturing
The image capturing
音響機器20は、操作装置と情報処理装置とを一体として備える機器であり、異なる楽曲データを再生可能な複数の再生装置の機能と、複数の再生装置を制御するミキサーの機能と、DJプレイの動画像を生成する機能とを有する。
図1に示されるように、音響機器20は、操作部21、制御部22、楽曲データ格納部23、および表示部24の各部を含む。上記の各部の機能は、例えばコンピュータのハードウェア構成を備える音響機器において、プロセッサがプログラムに従って動作することによって実現される。以下、各部の機能についてさらに説明する。
The
1, the
操作部21は、各種操作子、およびタッチパネルを介して、DJプレイに関するユーザーの操作、つまり、楽曲データの再生操作を目的としたユーザーの操作を受け付け、ユーザーの操作を示す操作信号を制御部22に供給する。この再生操作には、複数の再生装置による再生設定および再生制御のための操作、および複数の再生装置に関する再生制御を行うための操作が含まれる。より具体的には、再生操作には、楽曲の選択操作、楽曲の再生に関する操作、特殊再生およびエフェクト処理等の再生制御に関する操作等が含まれる。そして、操作部21には、例えば、ジョグダイヤル、テンポスライダー、パフォーマンスパッド(再生制御に関する各種機能を割り当てることができる汎用性操作子)、フェーズおよびノイズ等のエフェクト処理に関する操作子、チャンネルフェーダー等が含まれる。
The
制御部22は、例えば通信インターフェース、CPU(Central Processing Unit)等のプロセッサ、及び、作業領域となるメモリーによって音響機器20に実装され、音響機器20の動作を制御する。制御部22は、プロセッサがメモリーに格納された、又は通信インターフェースを介して受信されたプログラムに従って動作することによって実現される信号受信部221と、再生制御部222と、表示制御部223と、解析部224と、画像取得部225と、選択部226と、出力部227とを含む。
The
信号受信部221は、操作部21から操作信号を受信する。
再生制御部222は、複数の再生装置の機能を備え、それぞれの再生装置における楽曲データの再生を行い、音声信号を出力部227に出力する。なお、再生制御部222は、信号受信部221により受信した操作信号に基づいて、後述する楽曲データ格納部23から楽曲データを取得し、取得した楽曲データの再生制御を行う。
表示制御部223は、再生操作の状態を示す動画像として、音響機器20によって再生される楽曲データの情報を含む動画像を表示部24に表示させる。再生操作の状態を示す動画像には、複数の再生装置のそれぞれにロードされている楽曲データの情報、楽曲データの波形情報、BPMを示す情報、および複数の再生装置のBPMの同期状態を示す情報等が含まれる。
解析部224は、楽曲データを解析して、楽曲解析情報を生成する。楽曲解析情報は、楽曲データの拍位置情報、小節位置情報、および展開変化点等の情報を含み、既存の楽曲解析技術に基づいて生成可能である。解析部224は、例えば、特定の楽器音を検出して楽曲データの拍位置情報および小節位置情報を取得する。さらに、解析部224は、拍位置情報の解析結果や発音パターンの類似度等に基づいて、楽曲データの展開変化点を判定する。展開変化点は、例えば、楽曲のAメロ、Bメロ、サビなどの先頭に該当し、楽曲の展開構成として参照することができる。
画像取得部225は、撮影装置10A、10B、10C、および10Dのそれぞれから、楽曲データのDJプレイの動画像を取得する。
The
The
The
The
The
選択部226は、信号受信部221が受信した操作信号の種類と、操作信号を受信した時刻とに応じて、撮影装置10A、10B、10C、および10Dのそれぞれから取得した複数の動画像等から、少なくとも1つの動画像を時系列で選択する。選択部226による処理の詳細については後述する。
The
出力部227は、音響機器20と外部機器との間のインターフェースである。出力部227は、選択部226により選択された動画像を順次表示装置30、配信装置50、および記録装置60に出力する。また、出力部227は、再生制御部222により再生された楽曲データの音声信号を音声出力装置40、配信装置50、および記録装置60に出力する。
The
楽曲データ格納部23は、HDD(Hard Disk Drive)またはフラッシュメモリー等により、楽曲データを格納可能に構成されている。楽曲データ格納部23には、複数の楽曲データがMP3形式等の所定の形式で格納されている。楽曲データは、音声情報に加えて、例えば、楽曲のBPM、アートワーク、タイトル、アーティスト名、アルバム名、キー、DJプレイ回数及びジャンル等の情報をタグ情報として含む。楽曲データ格納部23に格納される楽曲データには、再生位置の情報であるタイムスタンプが対応付けられる。
なお、音響機器20は、通信インターフェースを備え、外部記憶装置およびコンピュータ等に記憶された楽曲データを、図示しない通信インターフェースを介して取得し、楽曲データ格納部23に格納する構成としてもよい。この場合、音響機器20には楽曲データ格納部23が含まれず、外部記憶装置が楽曲データ格納部23として機能する。
The music
The
表示部24は、音響機器20における各種の情報を表示する表示装置である。表示部24としては、液晶表示装置、有機EL表示装置等、各種方式の表示装置を採用できる。なお、表示部24の表面にタッチパネルを設けることにより、表示部24を上述した操作部21の少なくとも一部として利用してもよい。
The
表示装置30は、出力部227から出力された動画像を順次表示する。
音声出力装置40は、スピーカ等を備え、出力部227から出力された音声信号を音声情報として出力する。
配信装置50は、インターネットに接続され、出力部227から出力された動画像を順次インターネット配信するとともに、出力部227から出力された音声信号を動画像と同期した状態でインターネット配信することにより、音声付き動画像をインターネット配信する。
記録装置60は、ディスク型記録媒体、HDD、並びに、半導体メモリー等の記録媒体を備え、出力部227から出力された動画像を順次結合して記録するとともに、出力部227から出力された音声信号を動画像と同期した状態で記録することにより、音声付き動画像を記録する。
配信装置50は、記録装置60により生成される音声付き動画像を順次インターネット配信してもよいし、記録装置60は、配信装置50によりインターネット配信される音声付き動画像を順次記録してもよい。また、音響機器20に音声付き動画像を生成する生成部を設けてもよい。
The
The
The
The
The
以上説明した撮影システム1における選択部226による処理について説明する。選択部226は、上述したように、信号受信部221が受信した操作信号の種類と、操作信号を受信した時刻とに応じて、複数の動画像から、少なくとも1つの動画像を時系列で選択する。なお、複数の動画像には、撮影装置10A、10B、10C、および10Dにより生成される動画像の他に、再生操作の状態を示す動画像も含まれる。再生操作の状態を示す動画像とは、例えば、上述した表示制御部223により表示部24に表示される動画像である。
The processing by the
まず、撮影装置10A、10B、10C、10Dにより生成される動画像について説明する。
撮影装置10Aは、再生操作を行うユーザーの手元、つまり、音響機器20の操作部21及び操作部21による再生操作を行うユーザーの手元が撮影可能なアングルに設置される。撮影装置10Aにより生成される動画像MAは、DJプレイにおいてユーザーがどのような操作子をどのように操作しているのかを視認するのに好適な動画像である。
また、撮影装置10Bは、再生操作を行うユーザーの上半身が撮影可能なアングルに設置される。撮影装置10Bにより生成される動画像MBは、DJプレイにおいてユーザーが楽曲の再生位置の指定を行う、所謂モニタリングの状態等を視認するのに好適な動画像である。
また、撮影装置10Cは、再生操作を行うユーザーの全身を正面から撮影可能なアングル、またはユーザーおよび音響機器20の全体的な様子を正面から撮影可能なアングルに設置される。撮影装置10Cにより生成される動画像MCは、DJプレイにおいてユーザーが特別な再生操作を行っていない場合等に、全体的な様子を視認するのに好適な動画像である。
また、撮影装置10Dは、再生操作を行うユーザーの全身を左側または右側から撮影可能なアングル、またはユーザーおよび音響機器20の全体的な様子を左側または右側から撮影可能なアングルに設置される。撮影装置10Dにより生成される動画像MDは、上述した動画像MCと同様に、DJプレイにおいてユーザーが特別な再生操作を行っていない場合等に、全体的な様子を視認するのに好適な画像であり、かつ、動画像MCとは、異なるアングルで全体的な様子を視認するのに好適な動画像である。
なお、上述した動画像MA、MB、MC、およびMDに加えて、表示制御部223により表示部24に表示される動画像であって、再生操作の状態を示す動画像MEも、選択部226により選択される動画像の候補である。
First, the moving images generated by the
The
The
The image capturing device 10C is set at an angle that allows the whole body of the user performing playback operation to be captured from the front, or an overall view of the user and the
The
In addition to the above-mentioned moving images M A , M B , M C , and M D , a moving image ME which is displayed on the
図2は、選択部226による動画像の選択について説明する模式図である。図2の例では、下記のように再生操作が順次行われる場合を例示する。なお、所定の周期Pで操作信号の受信の有無を監視することにより、所定の区間ごとの再生操作を判別することができる。
時刻t1:第1の楽曲データの再生操作Op1
時刻t2:次に再生する第2の楽曲データの選択操作Op2
時刻t3:楽曲を切り替える、またはミックスするタイミングであるミックスポイントを決定するためのモニタリング操作Op3
時刻t4:第1の楽曲データから第2楽曲データへの切り替え、または第1の楽曲データと第2楽曲データとをミックスするミキシング操作Op4
時刻t5:次に再生する第3の楽曲データの選択操作Op5
Fig. 2 is a schematic diagram for explaining the selection of a moving image by the
Time t1: Reproduction operation Op1 of first music data
Time t2: Selection operation Op2 of the second music data to be reproduced next
Time t3: Monitoring operation Op3 for determining a mix point, which is the timing for switching or mixing songs
Time t4: Switching from the first music piece data to the second music piece data, or mixing the first music piece data and the second music piece data Op4
Time t5: Selection operation Op5 of the third music data to be reproduced next
選択部226は、基本的に、信号受信部221により操作信号を受信すると、受信した操作信号の種類と、受信した時刻とに応じて、上述した動画像MA、MB、MC、MD、またはMEのいずれかを選択する。この選択は、例えば、再生操作の内容と、複数の撮影装置10A、10B、10C、10Dとを関連付けて不図示の記憶部に記憶しておくことにより実行することができる。選択部226は、受信した操作信号に基づいて再生操作の内容を判別し、判別した再生操作の内容に関連付けられた撮影装置により生成された動画像を選択する。再生操作の内容と、複数の撮影装置10A、10B、10C、10Dとの関連付けの一例を下記に示す。
撮影装置10A(ユーザーの手元):音響機器20の操作部21に対する再生操作
撮影装置10B(ユーザーの上半身):再生位置を指定する再生操作
撮影装置10C(ユーザーの全身、正面):再生操作なし、初期状態
撮影装置10D(ユーザーの全身、左側または右側):再生操作なし、初期状態
つまり、再生操作の内容と、視聴者が見たいと考える動画像とが紐づいているため、選択部226は、再生操作の内容に関連付けられた撮影装置により生成された動画像を選択することにより、再生操作の内容に相応しい動画像を簡便に選択することが可能となる。
Basically, when the
なお、操作信号を受信してから動画像を選択すると、実際の再生操作の開始時刻、あるいは開始後に動画像が選択されることになる。そこで、選択部226は、図2に示すように、操作信号を受信した時刻、つまり、再生操作の時刻より所定時間Lだけ前の時刻を始点として動画像を選択する。この結果、実際の再生操作の開始時刻より所定時間Lだけ前の時点を始点として最適な動画像を選択することが可能である。
Note that if a video is selected after receiving an operation signal, the video will be selected at or after the start of the actual playback operation. Therefore, as shown in FIG. 2, the
また、ユーザーが頻繁に、または、連続的に再生操作を行う場合、操作信号が頻繁に受信されることになる。このような場合に、すべての操作信号に応じてその都度動画像を選択すると、アングルの変更が頻繁に発生し、視聴者に不快感や煩わしさを与えるという問題がある。
そこで、選択部226は、N回目に動画像の選択を行ってから所定の時間T1が経過した後に、N+1回目の動画像の選択を行う。つまり、選択部226は、一旦動画像を選択した後、一定の期間は操作信号を受信しても動画像の選択を行わない。
なお、所定の時間T1は、予め定められていてもよいし、ユーザーにより指定されてもよい。また、楽曲解析情報に基づいて決定されてもよい。例えば、テンポが速い楽曲や激しい曲調の楽曲に関しては、アングル変化が多い方が相応しいとの考えによりT1を短くし、テンポが遅い楽曲や穏やかな曲調の楽曲に関しては、アングル変化が少ない方が相応しいとの考えによりT1を長く決定してもよい。
Furthermore, when a user frequently or continuously performs playback operations, operation signals are received frequently, and if a video is selected each time in response to every operation signal, the angle will be changed frequently, causing a problem of discomfort and annoyance to the viewer.
Therefore, the
The predetermined time T1 may be determined in advance or may be specified by the user. It may also be determined based on music analysis information. For example, T1 may be set to be short for music with a fast tempo or a strong melody since more angle changes are appropriate, whereas T1 may be set to be long for music with a slow tempo or a gentle melody since fewer angle changes are appropriate.
また、選択部226は、解析部224により生成した楽曲解析情報を動画像の選択に利用することもできる。この場合、解析部224による楽曲解析情報の生成は、ユーザーによる仕込み操作として、楽曲データごとに予め実行され、楽曲データと関連付けて記録されていることが好ましい。
例えば、上述した例とは反対に、ユーザーがある程度長い期間にわたって再生操作を行わない場合、操作信号が受信されず、動画像も選択されないことになる。このような場合には、アングルが変化せず、エンターテインメント性が低下したり、視聴者が飽きたりするという問題がある。
そこで、選択部226は、図2におけるミキシング操作Op4から楽曲データの選択操作Op5までの間のように、信号受信部221が操作信号を所定の時間T2の間受信しない場合、楽曲解析情報の展開変化点に応じて動画像を選択する。図2の例では、選択部226は、前回の再生操作であるミキシング操作Op4から時間T2が経過した時点に最も近い展開変化点、つまり楽曲解析情報D2cおよびD2dの展開変化点において、全体的な様子を視認するのに好適な動画像MDを選択する。
なお、信号受信部221が操作信号を所定の時間T2の間受信しない場合に、どのような動画像を選択するかは、予め優先順位が定められてもいてもよいし、ランダムに決定されてもよい。
また、所定の時間T2は、予め定められていてもよいし、ユーザーにより指定されてもよい。また、楽曲解析情報に基づいて決定されてもよい。例えば、テンポが速い楽曲や激しい曲調の楽曲に関しては、アングル変化が多い方が相応しいとの考えによりT2を短くし、テンポが遅い楽曲や穏やかな曲調の楽曲に関しては、アングル変化が少ない方が相応しいとの考えによりT2を長く決定してもよい。
Furthermore, the
For example, in contrast to the above example, if the user does not perform a playback operation for a certain period of time, the operation signal will not be received and no video will be selected. In such a case, the angle will not change, which may reduce the entertainment value or cause viewers to tire of the content.
Therefore, the
When the
The predetermined time T2 may be determined in advance or may be specified by the user. It may also be determined based on music analysis information. For example, T2 may be set to be short for music with a fast tempo or a strong melody, since more angle changes are appropriate, whereas T2 may be set to be long for music with a slow tempo or a gentle melody, since fewer angle changes are appropriate.
また、選択部226は、展開変化点、拍位置、及び小節位置等に応じて、現在選択している動画像の終点と、次に選択する動画像の始点とを選択してもよい。動画像の始点及び終点をこのように選択することにより、アングル変更のタイミングを、展展開変化点、拍位置、及び小節位置等に吸着させることができるので、視聴者が感じる違和感を抑え、視聴者にとって心地よいカメラワークを簡便に実現することができる。
図2の例では、選択部226は、選択操作Op2に応じて動画像MEを選択する際に、最も近い展開変化点、つまり楽曲解析情報D1aおよびD1bの展開変化点を、現在選択している動画像MCの終点と、次に選択する動画像MEの始点として選択することにより、アングル変更のタイミングを後ろにずらして、展開変化点と一致させる。
また、選択部226は、選択部226は、操作信号を所定の時間T2の間受信しないことに起因して動画像MDを選択する際に、最も近い展開変化点、つまり楽曲解析情報D2cおよびD2dの展開変化点を、現在選択している動画像MAの終点と、次に選択する動画像MDの始点として選択することにより、アングル変更のタイミングを前にずらして、展開変化点と一致させる。
なお、最も近い展開変化点までの時間が所定の時間T3以上である場合には、アングル変更のタイミングがずれすぎてしまうので好ましくない。このような問題を回避するために、最も近い展開変化点までの時間が所定の時間T3以上である場合には、次の拍位置または次の小節位置を、現在選択している動画像の終点と、次に選択する動画像の始点として選択すると良い。
Furthermore, the
In the example of FIG. 2, when the
Furthermore, when the
If the time to the nearest development change point is longer than the predetermined time T3, the timing of the angle change will be too far off, which is undesirable. To avoid this problem, if the time to the nearest development change point is longer than the predetermined time T3, it is preferable to select the next beat position or the next bar position as the end point of the currently selected video and the start point of the next video to be selected.
また、選択部226は、楽曲解析情報に基づいて、上述した各タイミング以外のタイミングで動画像を選択してもよい。例えば、サビの近辺等に曲調が盛り上がる区間がある場合には、そのタイミングに合わせて動画像をあえて頻繁に選択することにより、アングルの変更のタイミングを増やして画像のスクラッチのような演出効果を実現してもよい。また、このような演出効果を実現する際には、楽曲解析情報の拍位置にアングル変更のタイミングを合わせることにより、さらに演出効果を向上させることができる。
何れの場合も、動画像の選択において、補助的な情報として楽曲解析情報を利用することにより、楽曲の特徴に応じた処理を実現することができる。
The
In either case, by using music analysis information as auxiliary information in selecting a video, processing according to the characteristics of the music can be realized.
また、選択部226は、アングル変更のタイミングで画像エフェクト処理を行ってもよい。例えば、現在選択している動画像の終点と次に選択する動画像の始点との間で、フェードイン及びフェードアウト、ズームイン及びズームアウト等の画像エフェクト処理を行ってもよい。このような画像エフェクト処理を行うことにより、視聴者にとって心地よいアングル変更を実現したり、演出効果を向上させたりすることができる。
The
また、操作部21を介したスクラッチ操作など、DJプレイにおいて特に特徴的なユーザー操作が行われた場合にも、選択部226は、上述した場合と同様に、動画像をあえて頻繁に選択したり、画像エフェクト処理を行ったりしてもよい。
In addition, when a user performs a particularly characteristic DJ play operation, such as a scratch operation via the
図3は、動画像の選択時の制御部22の動作を示すフローチャートである。
図3に示された例では、まず、信号受信部221が操作信号を受信したか否かを判定する(ステップS101)。
操作信号を受信したと判定すると(ステップS101YES)、選択部226が操作信号の種類と、操作信号を受信した時刻とに応じて、動画像を選択する(ステップS102)。一方、操作信号を受信しないと判定すると(ステップS101NO)、前回の操作信号受信から所定時間T2を経過したか否かを判定する(ステップS103)。所定時間T2を経過したと判定すると(ステップS103YES)、選択部226が楽曲解析情報に応じて、動画像を選択する(ステップS104)。一方、所定時間T2を経過しない場合には、ステップS101に戻る。
動画像の選択(ステップS102またはS104)後、前後の展開変化点までの時間がT3未満であるかを判定する(ステップS105)。
前後の展開変化点までの時間がT3未満であると判定すると(ステップS105YES)、最も近い展開変化点を現在選択している動画像の終点と、次に選択する動画像の始点として選択する(ステップS106)。一方、前後の展開変化点までの時間がT3以上であると判定すると(ステップS105NO)、次の拍位置を現在選択している動画像の終点と、次に選択する動画像の始点として選択する(ステップS107)。
始点および終点の選択(ステップS106またはS107)後、現在選択している動画像を出力部227により出力し(ステップS108)、前回の操作信号受信から所定時間T1を経過したか否かを判定する(ステップS109)。所定時間T1を経過するまで待機し、所定時間T1を経過したと判定すると(ステップS109YES)、ステップS101に戻り、ステップS101からの処理を繰り返す。
FIG. 3 is a flowchart showing the operation of the
In the example shown in FIG. 3, first, it is determined whether or not the
When it is determined that an operation signal has been received (step S101: YES), the
After a moving image is selected (step S102 or S104), it is determined whether the time to the previous or next evolution change point is less than T3 (step S105).
If it is determined that the time between the previous and next evolution change points is less than T3 (step S105 YES), the closest evolution change point is selected as the end point of the currently selected video and the start point of the next video to be selected (step S106).On the other hand, if it is determined that the time between the previous and next evolution change points is T3 or more (step S105 NO), the next beat position is selected as the end point of the currently selected video and the start point of the next video to be selected (step S107).
After the start point and end point are selected (step S106 or S107), the currently selected video is output by the output unit 227 (step S108), and it is determined whether a predetermined time T1 has elapsed since the previous operation signal was received (step S109). The process waits until the predetermined time T1 has elapsed, and if it is determined that the predetermined time T1 has elapsed (step S109 YES), the process returns to step S101 and repeats the process from step S101.
以上で説明したような本発明の一実施形態によれば、特別な機材や手間を必要とせずに、演出面に優れたDJプレイの動画像を簡便に作成することができる。
従来、DJプレイの動画像は、定点カメラによる単一アングルで撮影されたものが多かった。そのため、DJの様子のみ、または、DJの手元のみの動画像であるため、エンターテインメント性に乏しく、また、視聴者が見たい詳細な操作が見づらいという問題があった。また、このような問題を解決するには特別な機材や、撮影を行う複数の人材などのリソースが必要であり、一般のユーザーには容易ではなかった。さらに、演出および編集の技術や手間が必要とされるという問題もあった。
これに対して、上記実施形態では、楽曲データの再生操作の操作信号を操作装置から受信するとともに、動画像を複数の撮影装置のそれぞれから取得し、操作信号の種類と、操作信号を受信した時刻とに応じて、複数の撮影装置から取得した複数の動画像から少なくとも1つの動画像を時系列で選択することにより、DJプレイの内容に応じて最適な動画像を時系列で選択することができる。特に、本実施形態によれば、特別な機材、演出および編集の技術や手間、人材等を必要としないため、一人のユーザーであっても手軽に処理を行うことが可能である。
According to one embodiment of the present invention as described above, moving images of DJ performances with excellent presentation can be easily created without requiring special equipment or effort.
Previously, videos of DJ performances were often shot from a single angle using a fixed camera. As a result, the videos only showed the DJ's appearance or his hands, which made them less entertaining and made it difficult for viewers to see the detailed operations they were performing. Solving these issues required special equipment and resources such as multiple people to film, which was not easy for the average user to do. Another problem was that it required the skills and effort required for directing and editing.
In contrast, in the above embodiment, an operation signal for playing music data is received from an operation device, video images are acquired from each of the multiple image capture devices, and at least one video image is selected in chronological order from the multiple video images acquired from the multiple image capture devices according to the type of operation signal and the time when the operation signal was received, thereby making it possible to select the optimal video image in chronological order according to the content of the DJ play. In particular, according to this embodiment, since no special equipment, directing and editing skills, effort, personnel, etc. are required, even a single user can easily perform the process.
また、上記実施形態では、再生操作の時刻より所定時間前の時刻を始点として動画像を選択する。そのため、再生操作の少し前の時点で最適な動画像を選択することが可能であり、再生操作に先立ってアングルを変更するカメラ切り替えと同様の効果を得ることができる。
また、上記実施形態では、一旦動画像の選択を行ってから所定の時間T1が経過した後に、次の動画像の選択を行う。そのため、アングルの変更が頻繁に発生することによる視聴者の不快感や煩わしさを抑えることが期待できる。
In the above embodiment, the video is selected starting from a time a predetermined time before the playback operation, so that the optimal video can be selected just before the playback operation, and the same effect as camera switching that changes the angle prior to the playback operation can be obtained.
In the above embodiment, the next video is selected after a predetermined time T1 has elapsed since the previous video was selected, which is expected to reduce discomfort and annoyance felt by viewers due to frequent angle changes.
また、上記実施形態では、再生操作の内容と、複数の撮影装置のうち少なくとも1つの撮影装置とを関連付けて記憶しておき、操作信号に基づいて再生操作の内容を判別し、判別した再生操作の内容に関連付けられた撮影装置により生成された動画像を選択する。そのため、再生操作の内容に相応しいアングルの動画像を容易に選択することができる。
また、上記実施形態では、楽曲データの少なくとも拍位置情報を解析して楽曲解析情報を生成し、楽曲解析情報に応じて動画像を選択する。そのため、再生中の楽曲の特徴に応じて、相応しいアングルの動画像を選択することができる。
In the above embodiment, the content of the playback operation is stored in association with at least one of the multiple camera devices, the content of the playback operation is determined based on the operation signal, and a video generated by the camera device associated with the determined content of the playback operation is selected, so that a video with an angle suitable for the content of the playback operation can be easily selected.
In the above embodiment, at least beat position information of music data is analyzed to generate music analysis information, and a video is selected according to the music analysis information, so that a video with an appropriate angle can be selected according to the characteristics of the music being played.
また、上記実施形態では、楽曲データの展開変化点をさらに判定し、操作信号を所定の時間T2の間受信しない場合、展開変化点に応じて動画像を選択する。そのため、アングルが変化しないことによりエンターテインメント性が低下したり、視聴者が飽きたりするという問題を回避することが期待できる。
また、上記実施形態では、展開変化点に応じて、現在選択している動画像の終点と、次に選択する動画像の始点とを選択する。そのため、アングル変更により視聴者が感じる違和感を抑え、視聴者にとって心地よいカメラワークを簡便に実現することができる。
また、上記実施形態では、複数の撮影装置から取得した複数の動画像と、再生操作の状態を示す動画像とのうち、少なくとも1つの動画像を時系列で選択する。そのため、楽曲の選択時などには、再生操作の状態を示す動画像を選択することができる。
In the above embodiment, the development change point of the music data is further determined, and if an operation signal is not received for a predetermined time T2, a video is selected according to the development change point. This is expected to avoid problems such as a decrease in entertainment value due to an unchanging angle and viewer boredom.
In the above embodiment, the end point of the currently selected video and the start point of the next video are selected according to the development change point, so that the sense of discomfort felt by the viewer due to the angle change can be reduced, and camera work that is comfortable for the viewer can be easily achieved.
In the above embodiment, at least one video is selected in chronological order from among the multiple video images acquired from the multiple image capture devices and the video image showing the state of the playback operation, so that when selecting a song, the video image showing the state of the playback operation can be selected.
なお、上記実施形態では、撮影システム1に、表示装置30、音声出力装置40、配信装置50、および記録装置60の各装置を備える例を示したが、一部を省略してもよい。また、表示装置30、音声出力装置40、配信装置50、および記録装置60の少なくとも1つを、音響機器20本体に設ける構成としてもよい。
In the above embodiment, an example was shown in which the
また、上記実施形態では、音響機器20の選択部226によりソフトウェア的に動画像を選択する例を示したが、動画像の入力をハード的に切り替えるスイッチング機材を音響機器20に備え、複数の撮影装置から入力する動画像をスイッチング機材により選択する構成であってもよい。
In addition, in the above embodiment, an example was shown in which a video was selected by the
また、上記実施形態では、音響機器20として、再生装置と、再生装置を制御するミキサーとが一体化した装置を例示したが、再生装置とミキサーとが独立であってもよいし、再生機能を備えないDJコントローラーや、スマートフォンやタブレット端末などの携帯端末を用いた音響機器にも本発明を同様に適用することができる。
In the above embodiment, the
また、上記実施形態では、DJプレイの動画像を例示したが、本発明はこの例に限定されない。例えば、クラブやコンサート等で用いるスクリーンに表示する動画像、プロモーション用の動画像、チュートリアル用またはレッスン用の動画像にも本発明を好適に利用することができる。また、DJプレイ時の周囲の状況を撮影した動画像も選択の対象としてもよい。例えば、結婚パーティーにおいて、新郎新婦を撮影する撮影装置と、ゲストを撮影する撮影装置とを備えてもよい。 In addition, while the above embodiment has been exemplified by video of a DJ playing, the present invention is not limited to this example. For example, the present invention can also be suitably used for video displayed on screens used in clubs, concerts, etc., promotional video, and video for tutorials or lessons. Videos capturing the surroundings during DJ play may also be selected. For example, at a wedding party, a camera may be provided to capture the bride and groom, and another to capture the guests.
また、上記実施形態では、音響機器20の制御部22は、図示しない記憶部および記録媒体からプログラムを読み取って実行することによって、上述した処理を行うとした。しかしながら、これに限らず、例えば、制御部22は、ネットワーク上の機器からプログラムを取得して実行してもよい。なお、記録媒体としては、ディスク型記録媒体、HDD、並びに、半導体メモリー等が挙げられる。
In the above embodiment, the
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範囲内において、各種の変形例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 The above describes in detail preferred embodiments of the present invention with reference to the attached drawings, but the present invention is not limited to such examples. It is clear that a person with ordinary knowledge in the technical field to which the present invention pertains can conceive of various modified or revised examples within the scope of the technical ideas described in the claims, and it is understood that these also naturally fall within the technical scope of the present invention.
1…撮影システム、10A・10B・10C・10D…撮影装置、20…音響機器、21…操作部、22…制御部、23…楽曲データ格納部、24…表示部、30…表示装置、40…音声出力装置、50…配信装置、60…記録部、221…信号受信部、222…再生制御部、223…表示制御部、224…解析部、225…画像取得部、226…選択部、227…出力部。 1...photography system, 10A, 10B, 10C, 10D...photography device, 20...audio equipment, 21...operation unit, 22...control unit, 23...music data storage unit, 24...display unit, 30...display device, 40...audio output device, 50...distribution device, 60...recording unit, 221...signal receiving unit, 222...playback control unit, 223...display control unit, 224...analysis unit, 225...image acquisition unit, 226...selection unit, 227...output unit.
Claims (13)
動画像を複数の撮影装置のそれぞれから取得する画像取得部と、
前記操作信号により示される前記操作の内容と、前記操作信号を受信した時刻とに応じて、前記複数の撮影装置から取得した複数の前記動画像から少なくとも1つの動画像を時系列で選択する選択部と、を備える情報処理装置。 a signal receiving unit that receives , from an operation device that controls a playback state of music data, an operation signal indicating an operation performed on the operation device;
an image acquisition unit that acquires moving images from each of a plurality of image capture devices;
an information processing device comprising: a selection unit that selects at least one moving image in chronological order from the multiple moving images acquired from the multiple photographing devices in accordance with the content of the operation indicated by the operation signal and the time when the operation signal was received.
前記選択部は、前記操作信号に基づいて前記操作の内容を判別し、判別した前記操作の内容に関連付けられた前記撮影装置により生成された前記動画像を選択する、請求項1から請求項3のいずれか1項に記載の情報処理装置。 a storage unit that stores the content of the operation in association with at least one of the plurality of photographing devices;
The information processing device according to claim 1 , wherein the selection unit determines the content of the operation based on the operation signal, and selects the video generated by the imaging device associated with the determined content of the operation .
前記選択部は、前記楽曲解析情報に応じて、前記動画像を選択する、請求項1から請求項4のいずれか1項に記載の情報処理装置。 The music data processing apparatus further includes an analysis unit that analyzes at least beat position information of the music data to generate music analysis information, or an information acquisition unit that acquires music analysis information generated by an external device,
The information processing device according to claim 1 , wherein the selection unit selects the video image in accordance with the music analysis information.
前記選択部は、前記信号受信部が前記操作信号を所定の時間T2の間受信しない場合、前記展開変化点に応じて前記動画像を選択する、請求項5に記載の情報処理装置。 The analysis unit further determines a transition point of the music data;
The information processing device according to claim 5 , wherein the selection section selects the moving image in accordance with the evolution transition point when the signal receiving section does not receive the operation signal for a predetermined time T2.
前記選択部は、前記複数の撮影装置から取得した複数の前記動画像と、前記楽曲データに関する情報を示す動画像とのうち、少なくとも1つの動画像を時系列で選択する、請求項1から請求項7のいずれか1項に記載の情報処理装置。 the image acquisition unit acquires a moving image generated by the imaging device that captures an image of a user operating the operation device, and a moving image showing information related to the music data that is displayed on the display unit ;
The information processing device according to claim 1 , wherein the selection unit selects at least one video in chronological order from among the multiple video images acquired from the multiple image capture devices and a video image showing information related to the music data .
前記情報処理装置は、
前記操作装置に対して行われた操作を示す操作信号を前記操作装置から受信する信号受信部と、
前記複数の撮影装置のそれぞれから複数の前記動画像を取得する画像取得部と、
前記操作信号により示される前記操作の内容と、前記操作信号を受信した時刻とに応じて、前記複数の撮影装置から取得した複数の前記動画像から少なくとも1つの動画像を時系列で選択する選択部と、を有する撮影システム。 A photographing system having an operation device for controlling a playback state of music data, a plurality of photographing devices for generating moving images, and an information processing device,
The information processing device includes:
a signal receiving unit that receives an operation signal indicating an operation performed on the operation device from the operation device;
an image acquisition unit that acquires a plurality of the moving images from each of the plurality of image capture devices;
a selection unit that selects at least one video image in chronological order from the multiple video images acquired from the multiple photographing devices in accordance with the content of the operation indicated by the operation signal and the time when the operation signal was received.
前記選択部により選択した前記動画像を順次インターネット配信する配信装置をさらに含む、請求項9に記載の撮影システム。 The imaging system includes:
The imaging system according to claim 9 , further comprising a distribution device that sequentially distributes the moving images selected by the selection unit over the Internet.
前記選択部により選択した前記動画像を順次結合して記録する記録装置をさらに含む、請求項9に記載の撮影システム。 The imaging system includes:
The photographing system according to claim 9 , further comprising a recording device that sequentially combines and records the moving images selected by the selection unit.
動画像を複数の撮影装置のそれぞれから取得するステップと、
前記操作信号により示される前記操作の内容と、前記操作信号を受信した時刻とに応じて、前記複数の撮影装置から取得した複数の前記動画像から少なくとも1つの動画像を時系列で選択するステップと、を含む情報処理方法。 receiving , from an operation device that controls a playback state of music data, an operation signal indicating an operation performed on the operation device;
acquiring video images from each of a plurality of image capture devices;
and selecting at least one moving image in chronological order from the multiple moving images acquired from the multiple photographing devices in accordance with the content of the operation indicated by the operation signal and the time at which the operation signal was received.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020159634A JP7606305B2 (en) | 2020-09-24 | 2020-09-24 | Information processing device, photographing system, program, and information processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020159634A JP7606305B2 (en) | 2020-09-24 | 2020-09-24 | Information processing device, photographing system, program, and information processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022053048A JP2022053048A (en) | 2022-04-05 |
| JP7606305B2 true JP7606305B2 (en) | 2024-12-25 |
Family
ID=80962845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020159634A Active JP7606305B2 (en) | 2020-09-24 | 2020-09-24 | Information processing device, photographing system, program, and information processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7606305B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006171215A (en) | 2004-12-14 | 2006-06-29 | Yamaha Corp | Data processor and program for conducting guidance display associated with music playing and lyrics display |
| JP2006217366A (en) | 2005-02-04 | 2006-08-17 | Yamaha Corp | Photographic system |
| JP2008010966A (en) | 2006-06-27 | 2008-01-17 | Xing Inc | Moving picture generation system and method |
| JP2018170678A (en) | 2017-03-30 | 2018-11-01 | 株式会社ライブ・アース | Live video processing system, live video processing method, and program |
-
2020
- 2020-09-24 JP JP2020159634A patent/JP7606305B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006171215A (en) | 2004-12-14 | 2006-06-29 | Yamaha Corp | Data processor and program for conducting guidance display associated with music playing and lyrics display |
| JP2006217366A (en) | 2005-02-04 | 2006-08-17 | Yamaha Corp | Photographic system |
| JP2008010966A (en) | 2006-06-27 | 2008-01-17 | Xing Inc | Moving picture generation system and method |
| JP2018170678A (en) | 2017-03-30 | 2018-11-01 | 株式会社ライブ・アース | Live video processing system, live video processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022053048A (en) | 2022-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20100064219A1 (en) | Network Hosted Media Production Systems and Methods | |
| JPH11341350A (en) | Multimedia information editing and reproducing device, recording medium with multimedia information reproduction program and recording medium with sequence information respectively recorded on them | |
| JP4349313B2 (en) | Playback device, playback control method, and program | |
| KR20110040190A (en) | Apparatus and method for playing music on a portable terminal | |
| KR20110012125A (en) | Apparatus and method for playing music on a portable terminal | |
| JP2021182678A (en) | Moving image reproduction device and moving image reproduction method | |
| JP2008204560A (en) | Reproducing device, reproducing method, program, and recording medium | |
| JP7606305B2 (en) | Information processing device, photographing system, program, and information processing method | |
| US8153879B2 (en) | Data processing apparatus, data reproduction apparatus, data processing method and data processing program | |
| JP7226709B2 (en) | Video control system and video control method | |
| US8340508B2 (en) | Record/playback apparatus and control method therefor | |
| JP2008304581A (en) | Program recording medium, playback device, playback control program, and playback control method | |
| JP2005285285A (en) | Content read system and musical piece reproduction apparatus | |
| JP5794934B2 (en) | Collaboration song recording system | |
| JP7397090B2 (en) | Sound device, sound system, image generation method, and image generation program | |
| JP2006012257A (en) | Composition selection device, composition selection system and composition selection method | |
| JP2006108843A (en) | Playback device and playback method | |
| JP6474292B2 (en) | Karaoke equipment | |
| JP4771085B2 (en) | Content information display device | |
| JP7685665B1 (en) | Information processing device and music playback program | |
| JP6051028B2 (en) | Singing video data acquisition system | |
| KR100797390B1 (en) | Music production apparatus and method for portable digital audio playback device | |
| JP6043610B2 (en) | Synthetic video content generation system | |
| KR100932778B1 (en) | Recording media on which multitrack media files are recorded, a method of playing multitrack media files, and a media device | |
| KR100771632B1 (en) | Digital Broadcast Processing Apparatus and Method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230725 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240627 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240716 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240902 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20241114 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20241126 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241213 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7606305 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |