Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7660983B2 - Karaoke equipment - Google Patents
[go: Go Back, main page]

JP7660983B2 - Karaoke equipment - Google Patents

Karaoke equipment Download PDF

Info

Publication number
JP7660983B2
JP7660983B2 JP2021124671A JP2021124671A JP7660983B2 JP 7660983 B2 JP7660983 B2 JP 7660983B2 JP 2021124671 A JP2021124671 A JP 2021124671A JP 2021124671 A JP2021124671 A JP 2021124671A JP 7660983 B2 JP7660983 B2 JP 7660983B2
Authority
JP
Japan
Prior art keywords
image data
karaoke
user
identification information
song
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021124671A
Other languages
Japanese (ja)
Other versions
JP2023019726A (en
Inventor
敦 三宅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daiichikosho Co Ltd
Original Assignee
Daiichikosho Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daiichikosho Co Ltd filed Critical Daiichikosho Co Ltd
Priority to JP2021124671A priority Critical patent/JP7660983B2/en
Publication of JP2023019726A publication Critical patent/JP2023019726A/en
Application granted granted Critical
Publication of JP7660983B2 publication Critical patent/JP7660983B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Reverberation, Karaoke And Other Acoustics (AREA)

Description

本発明は、カラオケ歌唱時に背景画像を表示する機能を有するカラオケ装置に関する。 The present invention relates to a karaoke device that has a function for displaying a background image while singing karaoke.

多くのカラオケ装置は、カラオケ歌唱時に、カラオケ装置に接続された大型のディスプレイ(以下、これを「カラオケディスプレイ」という。)に、楽曲の歌詞と共に背景映像を表示する機能を備えている。従来のカラオケ装置において、その背景映像は、通常、カラオケサービスの提供者側により作成されたものである。背景映像は、カラオケ装置に予め記憶されており、またはサーバ装置からカラオケ装置へ配信される。また、カラオケ歌唱時に表示される背景映像は、カラオケ歌唱が行われる楽曲のジャンル等に基づいてカラオケ装置により選択される。 Many karaoke machines are equipped with a function that displays background images along with the lyrics of a song on a large display connected to the karaoke machine (hereinafter referred to as the "karaoke display") when karaoke is being sung. In conventional karaoke machines, the background images are usually created by the karaoke service provider. The background images are pre-stored in the karaoke machine, or distributed to the karaoke machine from a server device. In addition, the background images displayed when singing karaoke are selected by the karaoke machine based on factors such as the genre of the song being sung.

一方、現在、利用者の携帯端末からカラオケ装置へ送信された画像を背景画像として表示する機能を有するカラオケ装置が普及しつつある(下記の非特許文献1を参照)。利用者は、携帯端末をカラオケ装置に無線接続した後、携帯端末を手動操作して、携帯端末内に記憶されている画像を選択し、選択した画像を、任意のタイミングでカラオケ装置へ送信することができる。送信された画像は、カラオケディスプレイに直ちに表示される。利用者は、携帯端末に設けられたカメラを用いて撮影した画像をカラオケ装置に送信し、カラオケディスプレイに表示させることができる。この機能によれば、利用者は、例えばカラオケの仲間を撮影した画像を背景にカラオケ歌唱を行うことができ、カラオケを盛り上げることができる。 Meanwhile, karaoke machines that have the function of displaying an image sent from the user's mobile terminal to the karaoke machine as a background image are becoming popular (see Non-Patent Document 1 below). After wirelessly connecting the mobile terminal to the karaoke machine, the user can manually operate the mobile terminal to select an image stored in the mobile terminal and send the selected image to the karaoke machine at any time. The sent image is immediately displayed on the karaoke display. The user can send an image taken with the camera installed in the mobile terminal to the karaoke machine and have it displayed on the karaoke display. With this function, the user can, for example, sing karaoke with an image of their karaoke companions in the background, making the karaoke more exciting.

株式会社第一興商、“デンモクmini(スマホアプリ)|カラオケ曲検索のDAM CHANNEL”、[online]、[令和3年7月16日検索]、インターネット<https://www.clubdam.com/denmokuapp/index.html>Daiichikosho Co., Ltd., “Denmoku mini (smartphone app) | Karaoke song search DAM CHANNEL”, [online], [searched on July 16, 2021], Internet <https://www.clubdam.com/denmokuapp/index.html>

利用者の携帯端末から送信された画像を背景画像として表示する機能を有するカラオケ装置において、複数の利用者が集まってカラオケを楽しむ場合に、複数の利用者がそれぞれ撮影した画像をカラオケディスプレイに次々に切り替えながら表示させるようにすれば、カラオケが一層盛り上がるであろう。 In a karaoke machine that has the function of displaying an image sent from a user's mobile terminal as a background image, if multiple users gather to enjoy karaoke, the karaoke experience would be further enhanced if the images each user has taken were displayed on the karaoke display in sequence.

しかしながら、現在のカラオケ装置において、これを実現するためには、各利用者は複雑な操作を行わなければならない。すなわち、このような画像の表示の切り替えを行うために、複数の利用者は、自己の携帯端末をそれぞれ手動操作し、互いに異なるタイミングで、自己の携帯端末内に記憶された画像をカラオケ装置へ逐一送信しなければならない。 However, to achieve this with current karaoke machines, each user must perform complex operations. That is, to switch the image display in this way, multiple users must each manually operate their own mobile terminals and transmit the images stored in their own mobile terminals to the karaoke machine one by one at different times.

また、利用者の携帯端末から送信された画像を背景画像として表示する機能を有するカラオケ装置において、複数の利用者が集まってカラオケを楽しむ場合に、例えば利用者Aがカラオケ歌唱を行うときには利用者Aが撮影した画像をカラオケディスプレイに表示させ、利用者Bがカラオケ歌唱を行うときには利用者Bが撮影した画像をカラオケディスプレイに表示させるといったように、利用者がカラオケ歌唱を行うタイミングと、当該利用者の撮影した画像をカラオケディスプレイに表示させるタイミングとを合わせるようにすれば、カラオケが一層盛り上がるであろう。 In addition, in a karaoke device that has a function for displaying an image sent from a user's mobile terminal as a background image, when multiple users gather to enjoy karaoke, for example, when user A sings karaoke, an image taken by user A is displayed on the karaoke display, and when user B sings karaoke, an image taken by user B is displayed on the karaoke display. In this way, the karaoke experience will be more exciting if the timing at which the users sing karaoke and the timing at which the images taken by the users are displayed on the karaoke display can be synchronized.

しかしながら、現在のカラオケ装置において、これを実現するに当たり、カラオケ歌唱を行う各利用者は、カラオケ歌唱を開始するときに、自己の携帯端末を手動操作して、当該携帯端末内に記憶された画像をカラオケ装置へ送信しなければならず、手間がかかる。 However, to achieve this with current karaoke devices, each user who wants to sing karaoke must manually operate their own mobile device to send the images stored in the mobile device to the karaoke device when they start singing karaoke, which is time-consuming.

本発明は例えば上述したような問題に鑑みなされたものであり、本発明の課題は、複数の利用者が携帯端末等の端末装置を用いてそれぞれ撮影した複数の画像を、各利用者のカラオケ歌唱時の背景画像として切り替えながら簡単に表示することができるカラオケ装置を提供することにある。 The present invention has been made in consideration of the problems described above, and the object of the present invention is to provide a karaoke device that can easily display multiple images taken by multiple users using terminal devices such as mobile terminals as background images for each user while singing karaoke, switching between them.

上記課題を解決するために、本発明の第1のカラオケ装置は、複数の利用者によりそれぞれ用いられる複数の端末装置と通信可能に接続されるカラオケ装置であって、前記複数の端末装置からそれぞれ送信された複数の画像データを前記複数の利用者の利用者識別情報とそれぞれ対応付けて記憶する画像データ記憶部と、利用者により選択された楽曲の楽曲識別情報を、当該楽曲を選択した利用者の利用者識別情報と対応付けて待ち行列に登録する予約部と、前記待ち行列に登録された前記楽曲識別情報に対応する利用者識別情報に対応付けられた画像データを前記画像データ記憶部に記憶された複数の画像データの中から特定する画像データ特定部と、前記待ち行列に登録された前記楽曲識別情報に対応する楽曲のカラオケ演奏を行うときに、前記画像データ特定部により特定された画像データに対応する画像を前記カラオケ装置に接続された表示装置に表示する表示制御部とを備えていることを特徴とする。 In order to solve the above problem, the first karaoke device of the present invention is a karaoke device that is communicatively connected to a plurality of terminal devices used by a plurality of users, and is characterized in that it includes an image data storage unit that stores a plurality of image data transmitted from the plurality of terminal devices in association with the user identification information of the plurality of users, a reservation unit that registers in a queue the song identification information of a song selected by a user in association with the user identification information of the user who selected the song, an image data specification unit that specifies, from the plurality of image data stored in the image data storage unit, image data associated with the user identification information corresponding to the song identification information registered in the queue, and a display control unit that displays, on a display device connected to the karaoke device, an image corresponding to the image data specified by the image data specification unit when performing karaoke of a song corresponding to the song identification information registered in the queue.

上記本発明の第1のカラオケ装置、楽曲の歌詞と画像との関連を分析する関連分析部をさらに備え、前記画像データ特定部は、前記待ち行列に登録された前記楽曲識別情報に対応する利用者識別情報に対応付けられた複数の画像データを前記画像データ記憶部に記憶された複数の画像データの中から特定し、前記関連分析部は、前記待ち行列に登録された前記楽曲識別情報に対応する楽曲の歌詞と関連する画像の画像データを前記画像データ特定部により特定された複数の画像データの中から選択し、前記表示制御部は、前記関連分析部により選択された画像データに対応する画像を前記表示装置に表示する。






The first karaoke device of the present invention further includes an association analysis unit that analyzes the association between lyrics of a song and an image, wherein the image data identification unit identifies, from the multiple image data stored in the image data storage unit, multiple image data associated with user identification information corresponding to the song identification information registered in the queue, the association analysis unit selects, from the multiple image data identified by the image data identification unit, image data of an image associated with the lyrics of a song corresponding to the song identification information registered in the queue, and the display control unit displays, on the display device, an image corresponding to the image data selected by the association analysis unit.






上記課題を解決するために、本発明の第2のカラオケ装置は、複数の利用者によりそれぞれ用いられる複数の端末装置と通信可能に接続されるカラオケ装置であって、前記複数の端末装置からそれぞれ送信された複数の画像データを前記複数の利用者の利用者識別情報とそれぞれ対応付けて記憶する画像データ記憶部と、前記複数の利用者の外観の情報をそれぞれ含む複数の利用者特徴データを前記複数の利用者の利用者識別情報とそれぞれ対応付けて記憶する利用者特徴データ記憶部と、前記複数の利用者のうちカラオケ歌唱を行う一の利用者を前記カラオケ装置に接続された撮影装置により撮影し、前記撮影装置により撮影された前記一の利用者の画像に適合する利用者特徴データを前記利用者特徴データ記憶部に記憶された前記複数の利用者特徴データの中から特定し、当該特定した利用者特徴データに対応する利用者識別情報に対応付けられた画像データを前記画像データ記憶部に記憶された前記複数の画像データの中から特定する画像データ特定部と、前記一の利用者がカラオケ歌唱を行っている間、前記画像データ特定部により特定された画像データに対応する画像を前記カラオケ装置に接続された表示装置に表示する表示制御部とを備えていることを特徴とする。 In order to solve the above problem, the second karaoke device of the present invention is a karaoke device that is communicatively connected to a plurality of terminal devices used by a plurality of users, and is characterized in that it includes an image data storage unit that stores a plurality of image data transmitted from the plurality of terminal devices in association with the user identification information of the plurality of users, a user characteristic data storage unit that stores a plurality of user characteristic data including information on the appearance of the plurality of users in association with the user identification information of the plurality of users, an image data identification unit that photographs one of the plurality of users singing karaoke using a photographing device connected to the karaoke device, identifies user characteristic data that matches the image of the one user photographed by the photographing device from the plurality of user characteristic data stored in the user characteristic data storage unit, and identifies image data associated with the user identification information corresponding to the identified user characteristic data from the plurality of image data stored in the image data storage unit, and a display control unit that displays an image corresponding to the image data identified by the image data identification unit on a display device connected to the karaoke device while the one user is singing karaoke.

上記本発明の第1または第2のカラオケ装置において、前記複数の端末装置のうちの一の端末装置と前記カラオケ装置との接続が確立されたときに前記一の端末装置から自動的に送信された画像データを受信する画像データ通信部と、前記画像データ通信部により受信された画像データを、前記一の端末装置を用いる利用者の利用者識別情報と対応付ける対応付け形成部とを備え、前記画像データ記憶部は、前記対応付け形成部により前記一の端末装置を用いる利用者の利用者識別情報と対応付けられた画像データを記憶することとしてもよい。 The first or second karaoke device of the present invention may include an image data communication unit that receives image data automatically transmitted from one of the plurality of terminal devices when a connection between the one terminal device and the karaoke device is established, and a correspondence forming unit that associates the image data received by the image data communication unit with user identification information of a user using the one terminal device, and the image data storage unit may store the image data that is associated by the correspondence forming unit with the user identification information of the user using the one terminal device.

本発明によれば、複数の利用者が端末装置を用いてそれぞれ撮影した複数の画像を、各利用者のカラオケ歌唱時の背景画像として切り替えながら簡単に表示することができる。 According to the present invention, multiple images taken by multiple users using their terminal devices can be easily displayed in a switchable manner as background images while each user sings karaoke.

本発明の第1の実施形態におけるカラオケシステムを示すブロック図である。1 is a block diagram showing a karaoke system according to a first embodiment of the present invention; 本発明の第1の実施形態のカラオケ装置を示すブロック図である。1 is a block diagram showing a karaoke device according to a first embodiment of the present invention; 本発明の第1の実施形態のカラオケ装置における処理を示すフローチャートである。5 is a flowchart showing a process in the karaoke device according to the first embodiment of the present invention. 本発明の第1の実施形態のカラオケ装置において、互いに対応付けられた画像データおよび利用者識別情報を示す説明図である。3 is an explanatory diagram showing image data and user identification information that are associated with each other in the karaoke device of the first embodiment of the present invention; FIG. 本発明の第1の実施形態のカラオケ装置において、楽曲識別情報が利用者識別情報と対応付けられて登録された待ち行列を示す説明図である。1 is an explanatory diagram showing a queue in which music identification information is registered in association with user identification information in the karaoke apparatus according to the first embodiment of the present invention; FIG. 本発明の第2の実施形態のカラオケ装置を示すブロック図である。FIG. 11 is a block diagram showing a karaoke apparatus according to a second embodiment of the present invention. 本発明の第2の実施形態のカラオケ装置における処理を示すフローチャートである。10 is a flowchart showing a process in a karaoke device according to a second embodiment of the present invention. 本発明の第2の実施形態のカラオケ装置において、互いに対応付けられ、かつ画像キーワードが付加された画像データおよび利用者識別情報を示す説明図である。13 is an explanatory diagram showing image data and user identification information associated with each other and to which an image keyword is added in a karaoke device according to a second embodiment of the present invention. FIG. 本発明の第3の実施形態のカラオケ装置を示すブロック図である。FIG. 11 is a block diagram showing a karaoke device according to a third embodiment of the present invention. 本発明の第3の実施形態のカラオケ装置において、互いに対応付けられた顔画像データおよび利用者識別情報を示す説明図である。13 is an explanatory diagram showing face image data and user identification information associated with each other in a karaoke device according to a third embodiment of the present invention. FIG. 本発明の第3の実施形態のカラオケ装置における処理を示すフローチャートである。10 is a flowchart showing a process in a karaoke device according to a third embodiment of the present invention.

(第1の実施形態)
[カラオケシステム]
図1は、本発明の第1の実施形態のカラオケ装置11を含むカラオケシステム1を示している。図1に示すように、カラオケシステム1は、カラオケ装置11、サーバ装置41および複数の端末装置51A、51B、51Cを備えている。カラオケ装置11およびサーバ装置41は通信ネットワーク5を介して相互に通信可能に接続されている。各端末装置51A、51B、51Cは、後述するように、通信ネットワーク5を介してカラオケ装置11に接続される。通信ネットワーク5は、例えばインターネットであり、各端末装置51A、51B、51Cをインターネットに接続する移動体通信ネットワークを含む。なお、本実施形態では、3機の端末装置51A、51Bおよび51Cを例にあげるが、カラオケシステム1において端末装置の数は限定されない。また、カラオケシステム1には、通常、複数のカラオケ装置11が設けられているが、本実施形態では、説明の便宜上、1機のカラオケ装置11が設けられていることとする。
(First embodiment)
[Karaoke system]
FIG. 1 shows a karaoke system 1 including a karaoke device 11 according to a first embodiment of the present invention. As shown in FIG. 1, the karaoke system 1 includes a karaoke device 11, a server device 41, and multiple terminal devices 51A, 51B, and 51C. The karaoke device 11 and the server device 41 are connected to each other via a communication network 5 so as to be able to communicate with each other. Each of the terminal devices 51A, 51B, and 51C is connected to the karaoke device 11 via the communication network 5, as described later. The communication network 5 is, for example, the Internet, and includes a mobile communication network that connects each of the terminal devices 51A, 51B, and 51C to the Internet. Note that, although three terminal devices 51A, 51B, and 51C are taken as an example in this embodiment, the number of terminal devices in the karaoke system 1 is not limited. In addition, although a karaoke system 1 is usually provided with multiple karaoke devices 11, in this embodiment, for the sake of convenience of explanation, it is assumed that one karaoke device 11 is provided.

[カラオケ装置]
図2は本発明の第1の実施形態のカラオケ装置11を示している。カラオケ装置11は例えばカラオケルーム内に設置されている。図2に示すように、カラオケ装置11は、制御部12、記憶部13、通信部14、操作部15、音源16および音声入出力回路17を備えている。また、カラオケ装置11には、リモートコントロール装置(リモコン装置)18、マイクロフォン(マイク)19、スピーカ20、ディスプレイ装置21およびカメラ22が接続されている。なお、記憶部13は画像データ記憶部の具体例である。
[Karaoke equipment]
Fig. 2 shows a karaoke device 11 according to a first embodiment of the present invention. The karaoke device 11 is installed, for example, in a karaoke room. As shown in Fig. 2, the karaoke device 11 includes a control unit 12, a storage unit 13, a communication unit 14, an operation unit 15, a sound source 16, and an audio input/output circuit 17. In addition, a remote control device 18, a microphone 19, a speaker 20, a display device 21, and a camera 22 are connected to the karaoke device 11. The storage unit 13 is a specific example of an image data storage unit.

制御部12は、CPU(中央演算処理装置)等を有し、カラオケ装置11を制御する。記憶部13は、半導体記憶装置または磁気記憶装置(ハードディスクドライブ)等を有し、情報、データおよびプログラム等を記憶する。通信部14は、通信ネットワーク5を介してカラオケ装置11をサーバ装置41または各端末装置51A、51B、51Cと接続する制御を行う。また、通信部14は、例えば無線LAN(ローカルエリアネットワーク)を介してカラオケ装置11とリモコン装置18とを接続する制御を行う。操作部15は、カラオケ装置11を直接操作するためのボタン、つまみ、またはタッチパネル等を有している。音源16は、楽曲のカラオケ演奏を行うためのシンセサイザである。音声入出力回路17は、マイク19により集音された音声および音源16から出力された音声を混合してスピーカ20へ出力する機能を有している。 The control unit 12 has a CPU (Central Processing Unit) and the like, and controls the karaoke device 11. The storage unit 13 has a semiconductor storage device or a magnetic storage device (hard disk drive) and the like, and stores information, data, programs, and the like. The communication unit 14 controls the connection of the karaoke device 11 to the server device 41 or each of the terminal devices 51A, 51B, 51C via the communication network 5. The communication unit 14 also controls the connection of the karaoke device 11 to the remote control device 18, for example, via a wireless LAN (local area network). The operation unit 15 has buttons, knobs, a touch panel, and the like for directly operating the karaoke device 11. The sound source 16 is a synthesizer for performing karaoke music. The audio input/output circuit 17 has a function of mixing the sound collected by the microphone 19 and the sound output from the sound source 16, and outputting the result to the speaker 20.

リモコン装置18は、カラオケルーム内において利用者がカラオケ装置11を遠隔操作するための装置である。利用者はリモコン装置18を用いて楽曲の予約等を行うことができる。リモコン装置18は、タブレットと同等の筐体を備え、その筐体内には、CPU、半導体記憶装置、無線通信回路、タッチパネルおよびディスプレイ装置等が設けられている。カラオケ装置11に接続されたディスプレイ装置21は例えば大画面液晶ディスプレイ装置であり、カラオケルーム内に設置されている。ディスプレイ装置21は上記カラオケディスプレイに相当する。カメラ22は、例えばビデオカメラであり、カラオケルーム内に設置されている。カメラ22は、カラオケルーム内を撮影するために設けられている。なお、ディスプレイ装置21は表示装置の具体例であり、カメラ22は撮影装置の具体例である。 The remote control device 18 is a device that allows a user to remotely operate the karaoke device 11 in the karaoke room. The user can use the remote control device 18 to reserve songs, etc. The remote control device 18 has a housing equivalent to that of a tablet, and the housing contains a CPU, a semiconductor memory device, a wireless communication circuit, a touch panel, a display device, etc. The display device 21 connected to the karaoke device 11 is, for example, a large-screen liquid crystal display device, and is installed in the karaoke room. The display device 21 corresponds to the karaoke display. The camera 22 is, for example, a video camera, and is installed in the karaoke room. The camera 22 is provided to capture images inside the karaoke room. The display device 21 is a specific example of a display device, and the camera 22 is a specific example of a capture device.

また、カラオケ装置11の制御部12は、例えば記憶部13に記憶されたプログラムを読み込んで実行することにより、接続制御部31、画像データ通信部32、ログイン処理部33、対応付け形成部34、予約部35、演奏部36、画像データ特定部37、表示制御部38および総合制御部39として機能する。 The control unit 12 of the karaoke device 11 also functions as a connection control unit 31, an image data communication unit 32, a login processing unit 33, a matching formation unit 34, a reservation unit 35, a performance unit 36, an image data identification unit 37, a display control unit 38, and an overall control unit 39, for example, by reading and executing a program stored in the memory unit 13.

接続制御部31は、カラオケ装置11と各端末装置51A、51B、51Cとを接続する制御を行う。画像データ通信部32は、各端末装置51A、51B、51Cから送信された画像データを受信する。ログイン処理部33は、利用者のカラオケ装置11へのログインに関する処理を行う。対応付け形成部34は、端末装置51A、51Bまたは51Cから送信された画像データと当該端末装置を用いる利用者の利用者識別情報とを互いに対応付ける。予約部35は、カラオケ演奏を行う楽曲を予約する処理を行う。演奏部36は、音源16を制御して、楽曲のカラオケ演奏を行う。画像データ特定部37は、楽曲のカラオケ演奏時にディスプレイ装置21に表示する画像の画像データを特定する処理を行う。表示制御部38は、画像データに対応する画像をディスプレイ装置21に表示する制御を行う。総合制御部39は、オペレーティングシステムとして機能する部分であり、カラオケ装置11における記憶管理およびプロセス管理、並びにサーバ装置41等との通信の制御等の基本的な処理および制御を行う。 The connection control unit 31 controls the connection between the karaoke device 11 and each of the terminal devices 51A, 51B, and 51C. The image data communication unit 32 receives image data transmitted from each of the terminal devices 51A, 51B, and 51C. The login processing unit 33 performs processing related to the user's login to the karaoke device 11. The association forming unit 34 associates image data transmitted from the terminal device 51A, 51B, or 51C with the user identification information of the user using the terminal device. The reservation unit 35 performs processing to reserve a song to be karaoke-played. The performance unit 36 controls the sound source 16 to perform karaoke performance of the song. The image data specification unit 37 performs processing to specify image data of an image to be displayed on the display device 21 during karaoke performance of the song. The display control unit 38 controls the display of an image corresponding to the image data on the display device 21. The general control unit 39 functions as an operating system, and performs basic processing and control such as memory management and process management in the karaoke device 11, and control of communication with the server device 41, etc.

[端末装置、サーバ装置]
図1において、各端末装置51A、51B、51Cは、例えばスマートフォン等の携帯電話機、またはタブレット等の小型のコンピュータである。本実施形態では、利用者Aが端末装置51Aを所持し、利用者Bが端末装置51Bを所持し、利用者Cが端末装置51Cを所持しているものとする。各端末装置51A、51B、51Cは、CPUを有する制御部52、半導体記憶装置を有する記憶部53、無線通信制御を行う通信部54、当該端末装置を操作するためのタッチパネル55、画像等を表示するためのディスプレイ装置56、および人、物、風景等を撮影するためのカメラ57等を備えている。また、カメラ57は二次元バーコードの読取にも用いられる。
[Terminal device, server device]
In Fig. 1, each of the terminal devices 51A, 51B, and 51C is, for example, a mobile phone such as a smartphone, or a small computer such as a tablet. In this embodiment, it is assumed that a user A possesses the terminal device 51A, a user B possesses the terminal device 51B, and a user C possesses the terminal device 51C. Each of the terminal devices 51A, 51B, and 51C includes a control unit 52 having a CPU, a storage unit 53 having a semiconductor storage device, a communication unit 54 that controls wireless communication, a touch panel 55 for operating the terminal device, a display device 56 for displaying images, and a camera 57 for photographing people, objects, scenery, and the like. The camera 57 is also used to read two-dimensional barcodes.

また、各端末装置51A、51B、51Cには、当該端末装置をリモコン装置18と同等に機能させるためのアプリケーションソフトウェア(以下、これを「リモコンアプリ」という。)がインストールされている。各利用者A、B、Cは、リモコンアプリを起動させ、端末装置51A、51Bまたは51Cをカラオケ装置11に接続させることにより、端末装置51A、51Bまたは51Cを用いて、カラオケ装置11を遠隔操作することができる。具体的には、各利用者A、B、Cは、端末装置51A、51Bまたは51Cを用いて、カラオケ装置11へのログインおよび楽曲の予約等を行うことができる。また、各端末装置51A、51B、51Cは、リモコンアプリの実行により、端末装置をカラオケ装置11に接続する処理、端末装置からカラオケ装置11へ画像データを送信する処理、利用者のカラオケ装置へのログインに関する処理、楽曲を予約する処理、端末装置とカラオケ装置11との接続を解除する処理等を行うことができる。 In addition, application software (hereinafter, referred to as a "remote control app") is installed in each of the terminal devices 51A, 51B, and 51C to make the terminal device function in the same manner as the remote control device 18. Each of the users A, B, and C can remotely operate the karaoke device 11 using the terminal device 51A, 51B, or 51C by starting the remote control app and connecting the terminal device 51A, 51B, or 51C to the karaoke device 11. Specifically, each of the users A, B, and C can log in to the karaoke device 11 and reserve songs, etc., using the terminal device 51A, 51B, or 51C. Furthermore, each of the terminal devices 51A, 51B, and 51C can perform processes such as connecting the terminal device to the karaoke device 11, transmitting image data from the terminal device to the karaoke device 11, processing related to the user's login to the karaoke device, reserving songs, and disconnecting the terminal device from the karaoke device 11 by executing the remote control app.

サーバ装置41は、例えばサーバコンピュータであり、例えばカラオケサービスの提供者の事業所等に設置され、カラオケサービスの提供者により直接管理されている。サーバ装置41は、各端末装置51A、51B、51Cとカラオケ装置11とが通信ネットワーク5を介して通信を行うに当たり、その通信を中継する機能を有している。各端末装置51A、51B、51Cから出力された指令、データまたは情報等は、まず、通信ネットワーク5を介してサーバ装置41へ送信され、続いて、サーバ装置41から通信ネットワーク5を介してカラオケ装置11へ送信される。後述するように、カラオケ装置11は各端末装置51A、51B、51Cへ画像データ送信要求指令を送信し、各端末装置51A、51B、51Cはカラオケ装置11へ画像データ、利用者識別情報および楽曲識別情報を送信するが、これらの指令、データおよび情報は、カラオケ装置11と各端末装置51A、51B、51Cとの間において、上述したようにサーバ装置41を介して送信される。カラオケ装置11と各端末装置51A、51B、51Cとの間の通信を、カラオケサービスの提供者により直接管理されているサーバ装置41を介して行うことにより、カラオケシステム1に高度な情報セキュリティ対策を施すことができる。 The server device 41 is, for example, a server computer, and is installed, for example, at the business premises of the karaoke service provider, and is directly managed by the karaoke service provider. The server device 41 has a function of relaying communication between each of the terminal devices 51A, 51B, 51C and the karaoke device 11 when the terminal devices 51A, 51B, 51C communicate with the karaoke device 11 via the communication network 5. Commands, data, information, etc. output from each of the terminal devices 51A, 51B, 51C are first transmitted to the server device 41 via the communication network 5, and then transmitted from the server device 41 to the karaoke device 11 via the communication network 5. As will be described later, the karaoke device 11 transmits an image data transmission request command to each of the terminal devices 51A, 51B, 51C, and each of the terminal devices 51A, 51B, 51C transmits image data, user identification information, and song identification information to the karaoke device 11, and these commands, data, and information are transmitted between the karaoke device 11 and each of the terminal devices 51A, 51B, 51C via the server device 41 as described above. By conducting communication between the karaoke device 11 and each of the terminal devices 51A, 51B, and 51C via the server device 41 that is directly managed by the karaoke service provider, advanced information security measures can be implemented for the karaoke system 1.

[カラオケの大まか流れ]
利用者A、BおよびCが、カラオケ装置11が設置されたカラオケルームでカラオケを行う場合のカラオケの大まかな流れについて説明する。まず、利用者Aが端末装置51Aを操作して、リモコンアプリを起動させ、端末装置51Aをカラオケ装置11に接続し、カラオケ装置11にログインする。同様に、利用者Bも、リモコンアプリを起動させ、端末装置51Bをカラオケ装置11に接続し、カラオケ装置11にログインする。同様に、利用者Cも、リモコンアプリを起動させ、端末装置51Cをカラオケ装置11に接続し、カラオケ装置11にログインする。続いて、利用者A、BおよびCのうち、カラオケ歌唱を望む利用者は、自己の端末装置51A、51Bまたは51Cを操作して、楽曲を選択し、選択した楽曲のカラオケ演奏の予約を行う。予約された楽曲のカラオケ演奏がカラオケ装置11により開始された後、当該楽曲を予約した利用者はマイク19を持ってカラオケ歌唱を行う。カラオケを終了するときには、各利用者A、B、Cは、自己の端末装置51A、51Bまたは51Cを操作して、端末装置51A、51Bまたは51Cとカラオケ装置11との接続を解除する。
[General flow of karaoke]
A general flow of karaoke when users A, B, and C sing karaoke in a karaoke room where a karaoke device 11 is installed will be described. First, user A operates terminal device 51A to start a remote control application, connects terminal device 51A to karaoke device 11, and logs in to karaoke device 11. Similarly, user B also operates a remote control application, connects terminal device 51B to karaoke device 11, and logs in to karaoke device 11. Similarly, user C also operates a remote control application, connects terminal device 51C to karaoke device 11, and logs in to karaoke device 11. Next, among users A, B, and C, a user who wants to sing karaoke operates his/her terminal device 51A, 51B, or 51C to select a song and reserve a karaoke performance of the selected song. After the karaoke performance of the reserved song is started by karaoke device 11, the user who reserved the song picks up the microphone 19 and sings karaoke. When the user A, B, C finishes the karaoke, he/she operates his/her own terminal device 51A, 51B, or 51C to disconnect the terminal device 51A, 51B, or 51C from the karaoke device 11.

図3は、このような一連のカラオケの流れにおいてカラオケ装置11が行う処理、すなわち、各端末装置51A、51B、51Cとカラオケ装置11との接続時の処理、楽曲予約時の処理、楽曲演奏時の処理、および各端末装置51A、51B、51Cとカラオケ装置11との接続解除時の処理を示している。以下、これらカラオケ装置11が行う処理について、図3等を用いて具体的に説明する。 Figure 3 shows the processes performed by the karaoke device 11 in this series of karaoke flows, i.e., the processes when each of the terminal devices 51A, 51B, 51C is connected to the karaoke device 11, the processes when reserving a song, the processes when playing a song, and the processes when each of the terminal devices 51A, 51B, 51C is disconnected from the karaoke device 11. The processes performed by the karaoke device 11 will be specifically explained below with reference to Figure 3 etc.

[接続時の処理]
まず、各端末装置51A、51B、51Cとカラオケ装置11との接続時の処理について説明する。カラオケ装置11は、まず、例えば利用者Aによる端末装置51Aおよびリモコン装置18の操作に応じて、カラオケ装置11と端末装置51Aとの接続(ペアリング)を確立する(図3中のステップS1)。カラオケ装置11と端末装置51Aとの接続の流れは概ね次の通りである。
[Connection process]
First, a description will be given of the process when each of the terminal devices 51A, 51B, 51C is connected to the karaoke device 11. First, the karaoke device 11 establishes a connection (pairing) between the karaoke device 11 and the terminal device 51A in response to, for example, the operation of the terminal device 51A and the remote control device 18 by the user A (step S1 in FIG. 3). The flow of connection between the karaoke device 11 and the terminal device 51A is generally as follows.

カラオケルーム内において、利用者Aは、まず、自己の端末装置51Aを操作して、リモコンアプリを起動させる。次に、利用者は、リモコン装置18が有するタッチパネルを操作し、リモコン装置18が有するディスプレイ装置の画面に表示される複数の操作項目の中から、端末装置をカラオケ装置11に接続する操作を行うための操作項目を選択する。利用者がこの操作項目を選択すると、リモコン装置18が有するディスプレイ装置の画面に二次元バーコードが表示される。この二次元バーコードには、カラオケ装置識別情報およびサーバ装置41の通信アドレス情報が含まれている。カラオケ装置識別情報とは、カラオケ装置11を識別するための情報である。サーバ装置41の通信アドレス情報は、サーバ装置41に割り当てられたURL(Uniform Resource Locator)またはグローバルIPアドレス等である。利用者Aは、端末装置51Aのカメラ57により、この二次元バーコードを端末装置51Aに読み取らせる。端末装置51Aは、読み取った二次元バーコードをデコードし、カラオケ装置識別情報、およびサーバ装置41の通信アドレス情報を取得する。続いて、端末装置51Aは、二次元バーコードから取得したサーバ装置41の通信アドレスを用いてサーバ装置41に接続する。ここで、端末装置51Aの記憶部53には、当該端末装置51Aを識別するための端末装置識別情報が記憶されている。端末装置51Aは、この端末装置識別情報、および二次元バーコードから取得したカラオケ装置識別情報をサーバ装置41へ送信する。サーバ装置41は、端末装置51Aから送信されたカラオケ装置識別情報に基づいてカラオケ装置11を特定し、端末装置51Aから送信された端末装置識別情報をカラオケ装置11に送信する。カラオケ装置11は、サーバ装置41から送信された端末装置識別情報を受信し、これを記憶部13に記憶する。このようにしてカラオケ装置11が端末装置51Aの端末装置識別情報を取得することにより、カラオケ装置11は、サーバ装置41を介して端末装置51Aと通信を行うことが可能になり、実質的に見て、カラオケ装置11と端末装置51Aとの接続が確立されることとなる。 In the karaoke room, user A first operates his/her terminal device 51A to start the remote control application. Next, the user operates the touch panel of the remote control device 18 to select an operation item for connecting the terminal device to the karaoke device 11 from among a plurality of operation items displayed on the screen of the display device of the remote control device 18. When the user selects this operation item, a two-dimensional barcode is displayed on the screen of the display device of the remote control device 18. This two-dimensional barcode includes karaoke device identification information and communication address information of the server device 41. The karaoke device identification information is information for identifying the karaoke device 11. The communication address information of the server device 41 is a URL (Uniform Resource Locator) or a global IP address assigned to the server device 41. User A causes the terminal device 51A to read this two-dimensional barcode using the camera 57 of the terminal device 51A. The terminal device 51A decodes the read two-dimensional barcode and obtains the karaoke device identification information and the communication address information of the server device 41. Next, the terminal device 51A connects to the server device 41 using the communication address of the server device 41 obtained from the two-dimensional barcode. Here, the terminal device identification information for identifying the terminal device 51A is stored in the storage unit 53 of the terminal device 51A. The terminal device 51A transmits this terminal device identification information and the karaoke device identification information obtained from the two-dimensional barcode to the server device 41. The server device 41 identifies the karaoke device 11 based on the karaoke device identification information transmitted from the terminal device 51A, and transmits the terminal device identification information transmitted from the terminal device 51A to the karaoke device 11. The karaoke device 11 receives the terminal device identification information transmitted from the server device 41 and stores it in the storage unit 13. In this way, the karaoke device 11 obtains the terminal device identification information of the terminal device 51A, and the karaoke device 11 can communicate with the terminal device 51A via the server device 41, and a connection between the karaoke device 11 and the terminal device 51A is essentially established.

このようにカラオケ装置11と端末装置51Aとの接続が確立された後、カラオケ装置11の画像データ通信部32が、端末装置51Aへ、画像データの送信を要求する指令である画像データ送信要求指令を送信する。これに応じ、端末装置51Aは、端末装置51Aの記憶部53に記憶されている画像データをカラオケ装置11へ送信する。そして、カラオケ装置11の画像データ通信部32は、端末装置51Aから送信された画像データを受信する(ステップS2)。 After the connection between the karaoke device 11 and the terminal device 51A is thus established, the image data communication unit 32 of the karaoke device 11 transmits an image data transmission request command to the terminal device 51A, which is a command requesting the transmission of image data. In response, the terminal device 51A transmits the image data stored in the memory unit 53 of the terminal device 51A to the karaoke device 11. The image data communication unit 32 of the karaoke device 11 then receives the image data transmitted from the terminal device 51A (step S2).

端末装置51Aの記憶部53には、例えば、利用者Aが端末装置51Aのカメラ57で撮影することによって生成された画像データ、利用者Aがダウンロードしたインターネット上に公開されている画像データ、利用者Aが受け取った電子メールに添付されていた画像データ等、種々の画像データが記憶されている。ステップS2において、カラオケ装置11の画像データ通信部32は、このような画像データを端末装置51Aから受信する。また、端末装置51Aの記憶部53に複数の画像データが記憶されている場合、画像データ通信部32は、それら複数の画像データを端末装置51Aから受信する。なお、画像は映像を含み、画像データは映像データを含む。 The storage unit 53 of the terminal device 51A stores various image data, such as image data generated by user A taking a picture with the camera 57 of the terminal device 51A, image data downloaded by user A and published on the Internet, and image data attached to an e-mail received by user A. In step S2, the image data communication unit 32 of the karaoke device 11 receives such image data from the terminal device 51A. Furthermore, if multiple pieces of image data are stored in the storage unit 53 of the terminal device 51A, the image data communication unit 32 receives the multiple pieces of image data from the terminal device 51A. Note that images include video, and image data includes video data.

端末装置51Aは、画像データをカラオケ装置11へ送信した後、端末装置51Aが有するディスプレイ装置56の画面にログイン画面を表示し、利用者Aに対して、ログインを要求する。利用者Aは、自己の利用者識別情報(利用者ID)およびパスワードを入力する。端末装置51Aは、利用者Aにより入力された利用者識別情報を記憶部53に記憶する。また、端末装置51Aは、利用者Aにより入力された利用者識別情報およびパスワードをカラオケ装置11へ送信する。そして、カラオケ装置11は、端末装置51Aから送信された利用者識別情報およびパスワードを受信する(ステップS3)。続いて、カラオケ装置11のログイン処理部33が、受信された利用者識別情報およびパスワードに基づいて、利用者Aが既登録の利用者であるか否かを判断し、利用者Aが既登録の利用者である場合には、利用者Aのカラオケ装置11へのログインを許可する。 After transmitting the image data to the karaoke device 11, the terminal device 51A displays a login screen on the screen of the display device 56 of the terminal device 51A and requests user A to log in. User A inputs his/her user identification information (user ID) and password. The terminal device 51A stores the user identification information input by user A in the storage unit 53. The terminal device 51A also transmits the user identification information and password input by user A to the karaoke device 11. The karaoke device 11 then receives the user identification information and password transmitted from the terminal device 51A (step S3). Next, the login processing unit 33 of the karaoke device 11 determines whether user A is a registered user based on the received user identification information and password, and permits user A to log in to the karaoke device 11 if user A is a registered user.

利用者Aのカラオケ装置11へのログインが許可された場合、カラオケ装置11の対応付け形成部34が、ステップS2において受信された画像データと、ステップS3において受信された利用者識別情報とを互いに対応付ける(ステップS4)。これにより、端末装置51Aから送信された画像データが利用者Aの利用者識別情報と対応付けられることとなる。 If user A is permitted to log in to the karaoke device 11, the association forming unit 34 of the karaoke device 11 associates the image data received in step S2 with the user identification information received in step S3 (step S4). As a result, the image data transmitted from the terminal device 51A is associated with the user identification information of user A.

続いて、対応付け形成部34は、このようにして対応付けられた画像データおよび利用者識別情報を記憶部13に記憶する(ステップS5)。 Next, the association forming unit 34 stores the image data and user identification information associated in this manner in the storage unit 13 (step S5).

同様に、カラオケ装置11は、利用者Bによる端末装置51Bおよびリモコン装置18の操作に応じて、カラオケ装置11と端末装置51Bとの接続を確立したとき、端末装置51Bから送信された画像データを受信し、続いて、端末装置51Bから送信された利用者識別情報およびパスワードを受信し、利用者Bのカラオケ装置11へのログインが許可された場合には、端末装置51Bから送信された画像データを端末装置51Bから送信された利用者Bの利用者識別情報と対応付け、これら対応付けられた画像データおよび利用者識別情報を記憶部13に記憶する。また、カラオケ装置11は、利用者Cによる端末装置51Cおよびリモコン装置18の操作に応じて、カラオケ装置11と端末装置51Cとの接続を確立したときにも同様の処理を行う。 Similarly, when the karaoke device 11 establishes a connection between the karaoke device 11 and the terminal device 51B in response to the operation of the terminal device 51B and the remote control device 18 by user B, the karaoke device 11 receives the image data transmitted from the terminal device 51B, and then receives the user identification information and password transmitted from the terminal device 51B. If user B is permitted to log in to the karaoke device 11, the karaoke device 11 associates the image data transmitted from the terminal device 51B with the user identification information of user B transmitted from the terminal device 51B, and stores the associated image data and user identification information in the storage unit 13. The karaoke device 11 also performs a similar process when the karaoke device 11 establishes a connection between the karaoke device 11 and the terminal device 51C in response to the operation of the terminal device 51C and the remote control device 18 by user C.

図4は、図3中のステップS1~S5の処理により、互いに対応付けられてカラオケ装置11の記憶部13に記憶された画像データおよび利用者識別情報の一例を示している。図4に示すように、端末装置51Aから送信された画像データIMG11、IMG12およびIMG13はそれぞれ利用者Aの利用者識別情報USR01と対応付けられている。また、端末装置51Bから送信された画像データIMG21およびIMG22はそれぞれ利用者Bの利用者識別情報USR02と対応付けられている。また、端末装置51Cから送信された画像データIMG31およびIMG32はそれぞれ利用者Cの利用者識別情報USR03と対応付けられている。 Figure 4 shows an example of image data and user identification information that are associated with each other and stored in the storage unit 13 of the karaoke device 11 by the processing of steps S1 to S5 in Figure 3. As shown in Figure 4, image data IMG11, IMG12, and IMG13 transmitted from terminal device 51A are each associated with user identification information USR01 of user A. Furthermore, image data IMG21 and IMG22 transmitted from terminal device 51B are each associated with user identification information USR02 of user B. Furthermore, image data IMG31 and IMG32 transmitted from terminal device 51C are each associated with user identification information USR03 of user C.

[楽曲予約時の処理]
次に、カラオケ装置11における楽曲予約時の処理について説明する。各端末装置51A、51B、51Cにインストールされているリモコンアプリは、歌手名または曲名等に基づいて楽曲を検索する機能、および利用者により選択された楽曲のカラオケ演奏の予約をカラオケ装置11に対して行う機能を有している。例えば、利用者Aがカラオケ歌唱を望む場合、利用者Aは、端末装置51Aのリモコンアプリを操作して、楽曲を検索し、検索した楽曲の中から選択した楽曲の予約を行う。この利用者Aによる操作に応じ、端末装置51Aは、利用者Aにより選択された楽曲の楽曲識別情報を、利用者Aの利用者識別情報と共にカラオケ装置11へ送信する。そして、カラオケ装置11は、端末装置51Aから送信された楽曲識別情報および利用者識別情報を受信する(図3中のステップS11)。
[Processing when reserving music]
Next, the process of reserving a song in the karaoke device 11 will be described. The remote control application installed in each of the terminal devices 51A, 51B, and 51C has a function of searching for songs based on the singer name or song title, etc., and a function of reserving the karaoke performance of a song selected by the user to the karaoke device 11. For example, when user A wants to sing karaoke, user A operates the remote control application of the terminal device 51A to search for songs and reserve a song selected from the searched songs. In response to this operation by user A, the terminal device 51A transmits song identification information of the song selected by user A together with the user identification information of user A to the karaoke device 11. Then, the karaoke device 11 receives the song identification information and user identification information transmitted from the terminal device 51A (step S11 in FIG. 3).

続いて、カラオケ装置11の予約部35が、ステップS11において受信された楽曲識別情報および利用者識別情報を互いに対応付け、待ち行列に登録する(ステップS12)。待ち行列とは、予約された楽曲の楽曲識別情報および当該楽曲識別情報に対応付けられた利用者識別情報を予約された順番に配列した先入れ先出しの情報配列(キュー)である。また、待ち行列に登録するとは、待ち行列に加えることを意味する。また、待ち行列はカラオケ装置11の記憶部13に記憶されている。 Then, the reservation unit 35 of the karaoke device 11 associates the song identification information and the user identification information received in step S11 with each other and registers them in a queue (step S12). The queue is a first-in, first-out information arrangement (queue) in which the song identification information of the reserved songs and the user identification information associated with the song identification information are arranged in the order in which they were reserved. Furthermore, registering in a queue means adding to the queue. Furthermore, the queue is stored in the memory unit 13 of the karaoke device 11.

同様に、利用者Bがカラオケ歌唱を望む場合、利用者Bは、端末装置51Bのリモコンアプリを操作して、楽曲を検索し、検索した楽曲の中から選択した楽曲の予約を行う。カラオケ装置11は、利用者Bによる操作に応じて端末装置51Bから送信された楽曲識別情報および利用者識別情報を受信し、これら楽曲識別情報および利用者識別情報を互いに対応付け、待ち行列に登録する。また、利用者Cが端末装置51Cのリモコンアプリを操作して楽曲を検索し、検索した楽曲の中から選択した楽曲の予約を行った場合も、カラオケ装置11は同様の処理を行う。 Similarly, if user B wishes to sing karaoke, he operates the remote control app on terminal device 51B to search for songs and reserve a song selected from the searched songs. Karaoke device 11 receives the song identification information and user identification information sent from terminal device 51B in response to the operation by user B, associates the song identification information and user identification information with each other, and registers them in the queue. Also, karaoke device 11 performs a similar process when user C operates the remote control app on terminal device 51C to search for songs and reserves a song selected from the searched songs.

図5は、図3中のステップS11およびS12の処理により、互いに対応付けられて待ち行列に登録された楽曲識別情報および利用者識別情報の一例を示している。図5に示すように、利用者Aにより選択された楽曲の楽曲識別情報SNG09と利用者Aの利用者識別情報USR01とが互いに対応付けられている。また、利用者Bにより選択された楽曲の楽曲識別情報SNG05と利用者Bの利用者識別情報USR02とが互いに対応付けられている。また、利用者Cにより選択された楽曲の楽曲識別情報SNG12と利用者Cの利用者識別情報USR03とが互いに対応付けられている。 Figure 5 shows an example of song identification information and user identification information that have been associated with each other and registered in the queue by the processing of steps S11 and S12 in Figure 3. As shown in Figure 5, song identification information SNG09 of a song selected by user A and user A's user identification information USR01 are associated with each other. Furthermore, song identification information SNG05 of a song selected by user B and user B's user identification information USR02 are associated with each other. Furthermore, song identification information SNG12 of a song selected by user C and user C's user identification information USR03 are associated with each other.

[楽曲演奏時の処理]
次に、カラオケ装置11における楽曲演奏時の処理について説明する。カラオケ装置11の演奏部36は、待ち行列に登録された楽曲識別情報に対応する楽曲のカラオケ演奏を、予約の順番に従って行う。例えば、図5に示すように、利用者A、B、Cがそれぞれ選択した楽曲の楽曲識別情報SNG09、SNG05、SNG12がこの順番で待ち行列に登録されている場合、演奏部36は、まず、利用者Aにより選択された楽曲、すなわち楽曲識別情報SNG09に対応する楽曲のカラオケ演奏を開始する(図3中のステップS21)。
[Processing during music performance]
Next, a process of playing music pieces in the karaoke device 11 will be described. The playing unit 36 of the karaoke device 11 plays karaoke pieces corresponding to the music identification information registered in the queue in the order of reservation. For example, as shown in Fig. 5, when music identification information SNG09, SNG05, and SNG12 of music pieces selected by users A, B, and C, respectively, are registered in the queue in this order, the playing unit 36 first starts karaoke performance of the music piece selected by user A, i.e., the music piece corresponding to music identification information SNG09 (step S21 in Fig. 3).

続いて、カラオケ装置11の画像データ特定部37が、カラオケ演奏が開始された楽曲の楽曲識別情報に対応する利用者識別情報に対応付けられた画像データを特定する(ステップS22)。具体的には、画像データ特定部37は、まず、待ち行列を参照し、利用者Aにより選択された楽曲の楽曲識別情報SNG09に対応付けられた利用者識別情報、すなわち、利用者Aの利用者識別情報USR01を特定する。次に、画像データ特定部37は、図4に示すように利用者識別情報と対応付けられて記憶部13に記憶されている複数の画像データの中から、利用者識別情報USR01に対応付けられた画像データIMG11、IMG12およびIMG13を特定する。 Then, the image data specification unit 37 of the karaoke device 11 specifies image data associated with the user identification information corresponding to the song identification information of the song for which karaoke performance has started (step S22). Specifically, the image data specification unit 37 first refers to the queue and specifies the user identification information associated with the song identification information SNG09 of the song selected by user A, i.e., the user identification information USR01 of user A. Next, the image data specification unit 37 specifies the image data IMG11, IMG12, and IMG13 associated with the user identification information USR01 from among the multiple image data items associated with the user identification information and stored in the storage unit 13 as shown in FIG. 4.

続いて、カラオケ装置11の表示制御部38が、画像データ特定部37により特定された画像データに対応する画像をディスプレイ装置21に表示する(ステップS23)。画像データ特定部37により特定された画像データに対応する画像は、背景画像として、ディスプレイ装置21の画面一杯に大きく表示される。また、画像データ特定部37により特定された画像データに対応する画像は、現在カラオケ演奏が行われている楽曲のカラオケ演奏が終了するまでディスプレイ装置21に表示される。 Then, the display control unit 38 of the karaoke device 11 displays an image corresponding to the image data identified by the image data identification unit 37 on the display device 21 (step S23). The image corresponding to the image data identified by the image data identification unit 37 is displayed large as a background image, filling the entire screen of the display device 21. In addition, the image corresponding to the image data identified by the image data identification unit 37 is displayed on the display device 21 until the karaoke performance of the song currently being performed is completed.

また、画像データ特定部37により複数の画像データが特定された場合には、表示制御部38は、複数の画像データにそれぞれ対応する複数の画像を切り替えながらディスプレイ装置21に表示する。この場合、画像の表示順序は、画像の撮影日時または作成日時が早い順でもよいし、ランダムでもよい。なお、画像の撮影日時および作成日時は画像データにメタデータとして記述されている。画像の表示を切り替える間隔は、楽曲の演奏時間を画像の数で除することにより算出してもよいし、予め設定された固定の間隔でもよい。例えば、画像の表示順序が画像の撮影日時の早い順であり、画像の表示を切り替える間隔が30秒の固定の間隔である場合には、楽曲識別情報SNG09に対応する楽曲のカラオケ演奏が行われている間、画像データIMG11、IMG12およびIMG13に対応する3つの画像が、それらの画像の撮影日時の早い順に30秒の間隔で切り替わりながらディスプレイ装置21に繰り返し表示される。 When the image data specification unit 37 specifies a plurality of image data, the display control unit 38 switches between a plurality of images corresponding to the plurality of image data on the display device 21. In this case, the order of displaying the images may be in the order of the earliest image capture date/time or the earliest image creation date/time, or may be random. The image capture date/time and the image creation date/time are described as metadata in the image data. The interval for switching the image display may be calculated by dividing the performance time of the song by the number of images, or may be a fixed interval set in advance. For example, when the image display order is in the order of the earliest image capture date/time and the interval for switching the image display is a fixed interval of 30 seconds, three images corresponding to the image data IMG11, IMG12, and IMG13 are repeatedly displayed on the display device 21 in the order of the earliest image capture date/time at 30-second intervals while the song corresponding to the song identification information SNG09 is being played as karaoke.

図5に示す待ち行列に基づいて楽曲のカラオケ演奏を行う場合、楽曲識別情報SNG09に対応する楽曲のカラオケ演奏が終了した後(ステップS24:YES)、演奏部36は、利用者Bにより選択された楽曲識別情報SNG05に対応する楽曲のカラオケ演奏を開始する。続いて、画像データ特定部37は、楽曲識別情報SNG05に対応する利用者識別情報USR02に対応付けられた画像データIMG21およびIMG22を特定する。続いて、表示制御部38は、これら画像データIMG21およびIMG22にそれぞれ対応する2つの画像を切り替えながらディスプレイ装置21に表示する。楽曲識別情報SNG05に対応する楽曲のカラオケ演奏が終了した後、演奏部36は、利用者Cにより選択された楽曲識別情報SNG12に対応する楽曲のカラオケ演奏を開始する。続いて、画像データ特定部37は、楽曲識別情報SNG12に対応する利用者識別情報USR03に対応付けられた画像データIMG31およびIMG32を特定する。続いて、表示制御部38は、これら画像データIMG31およびIMG32にそれぞれ対応する2つの画像を切り替えながらディスプレイ装置21に表示する。 When performing karaoke performance of songs based on the queue shown in FIG. 5, after the karaoke performance of the song corresponding to the song identification information SNG09 is completed (step S24: YES), the performance unit 36 starts the karaoke performance of the song corresponding to the song identification information SNG05 selected by user B. Next, the image data specification unit 37 specifies the image data IMG21 and IMG22 associated with the user identification information USR02 corresponding to the song identification information SNG05. Next, the display control unit 38 displays two images corresponding to these image data IMG21 and IMG22, respectively, on the display device 21 while switching between them. After the karaoke performance of the song corresponding to the song identification information SNG05 is completed, the performance unit 36 starts the karaoke performance of the song corresponding to the song identification information SNG12 selected by user C. Next, the image data specification unit 37 specifies the image data IMG31 and IMG32 associated with the user identification information USR03 corresponding to the song identification information SNG12. Next, the display control unit 38 switches between two images corresponding to the image data IMG31 and IMG32, respectively, and displays them on the display device 21.

[接続解除時の処理]
次に、各端末装置51A、51B、51Cとカラオケ装置11との接続解除時の処理について説明する。カラオケを終了するときには、利用者Aは、端末装置51Aを用いて、端末装置51Aとカラオケ装置11との接続(ペアリング)を解除する操作を行う(ステップS31)。同様に、利用者Bも端末装置51Bを用いて端末装置51Bとカラオケ装置11との接続を解除する操作を行う。利用者Cも端末装置51Cを用いて端末装置51Cとカラオケ装置11との接続を解除する操作を行う。これにより、各端末装置51A、51B、51Cとサーバ装置41との接続が切断され、各端末装置51A、51B、51Cはカラオケ装置11と通信を行うことができない状態になる。
[Disconnection process]
Next, a process for disconnecting the terminal devices 51A, 51B, and 51C from the karaoke device 11 will be described. When finishing karaoke, user A uses the terminal device 51A to perform an operation for disconnecting the connection (pairing) between the terminal device 51A and the karaoke device 11 (step S31). Similarly, user B uses the terminal device 51B to perform an operation for disconnecting the terminal device 51B from the karaoke device 11. User C also uses the terminal device 51C to perform an operation for disconnecting the terminal device 51C from the karaoke device 11. As a result, the connection between the terminal devices 51A, 51B, and 51C and the server device 41 is cut off, and the terminal devices 51A, 51B, and 51C are unable to communicate with the karaoke device 11.

以上説明した通り、本発明の第1の実施形態のカラオケ装置11は、カラオケ装置11と各端末装置51A、51B、51Cとの接続が確立されたときに、端末装置51A、51Bおよび51Cからそれぞれ送信された複数の画像データを利用者A、BおよびCの利用者識別情報とそれぞれ対応付けて記憶部13に記憶し、利用者A、BおよびCによりそれぞれ選択された楽曲の楽曲識別情報を、利用者A、BおよびCの利用者識別情報とそれぞれ対応付けて待ち行列に登録し、待ち行列に登録された楽曲識別情報に対応する楽曲のカラオケ演奏を行うときに、待ち行列に登録された楽曲識別情報に対応する利用者識別情報に対応付けられた画像データを記憶部13に記憶された複数の画像データの中から特定し、特定した画像データに対応する画像をディスプレイ装置21に表示する。これにより、利用者Aにより選択された楽曲のカラオケ演奏を行う間には、端末装置51Aから送信された画像データに対応する画像をディスプレイ装置21に表示することができ、利用者Bにより選択された楽曲のカラオケ演奏を行う間には、端末装置51Bから送信された画像データに対応する画像をディスプレイ装置21に表示することができ、利用者Cにより選択された楽曲のカラオケ演奏を行う間には、端末装置51Cから送信された画像データに対応する画像をディスプレイ装置21に表示することができる。すなわち、利用者A、B、Cが端末装置51A、51B、51Cで撮影した画像の画像データが端末装置51A、51B、51Cの記憶部53にそれぞれ記憶されている場合には、利用者Aのカラオケ歌唱時には、利用者Aが端末装置51Aで撮影した画像を背景画像として表示することができ、利用者Bのカラオケ歌唱時には、利用者Bが端末装置51Bで撮影した画像を背景画像として表示することができ、利用者Cのカラオケ歌唱時には、利用者Cが端末装置51Cで撮影した画像を背景画像として表示することができる。このように、カラオケ装置11によれば、カラオケ演奏が行われる楽曲が切り替わるごとに、利用者が撮影した画像のディスプレイ装置21による表示を自動的に切り替えることができる。また、利用者がカラオケ歌唱を行うタイミングと、当該利用者の撮影した画像を背景画像としてディスプレイ装置21に表示するタイミングとを自動的に合わせることができる。 As described above, when a connection is established between the karaoke device 11 and each of the terminal devices 51A, 51B, 51C, the karaoke device 11 of the first embodiment of the present invention stores in the memory unit 13 a plurality of image data transmitted from the terminal devices 51A, 51B, and 51C, respectively, in association with the user identification information of users A, B, and C, respectively, registers in a queue the song identification information of songs selected by users A, B, and C, respectively, in association with the user identification information of users A, B, and C, respectively, and, when performing karaoke of a song corresponding to the song identification information registered in the queue, identifies from the plurality of image data stored in the memory unit 13 the image data associated with the user identification information corresponding to the song identification information registered in the queue, and displays an image corresponding to the identified image data on the display device 21. Thus, while the user A is performing karaoke of the song selected by the user, an image corresponding to the image data transmitted from the terminal device 51A can be displayed on the display device 21, while the user B is performing karaoke of the song selected by the user, an image corresponding to the image data transmitted from the terminal device 51B can be displayed on the display device 21, and while the user C is performing karaoke of the song selected by the user, an image corresponding to the image data transmitted from the terminal device 51C can be displayed on the display device 21. That is, if the image data of the images taken by the users A, B, and C with the terminal devices 51A, 51B, and 51C are stored in the storage units 53 of the terminal devices 51A, 51B, and 51C, respectively, the image taken by the user A with the terminal device 51A can be displayed as a background image when the user A is singing karaoke, the image taken by the user B with the terminal device 51B can be displayed as a background image when the user B is singing karaoke, and the image taken by the user C with the terminal device 51C can be displayed as a background image when the user C is singing karaoke. In this way, the karaoke device 11 can automatically switch the display of the image captured by the user on the display device 21 each time the song being performed by karaoke changes. In addition, the timing at which the user sings karaoke and the timing at which the image captured by the user is displayed as a background image on the display device 21 can be automatically synchronized.

しかも、カラオケ装置11によれば、カラオケ装置11と各端末装置51A、51B、51Cとの接続が確立されたときに、各端末装置51A、51B、51Cから複数の画像データを取得して記憶部13に記憶しておき、それら記憶された複数の画像データを、楽曲のカラオケ演奏の切替に同期させて、自動的に切り替えながら表示するので、各利用者A、B、Cは端末装置51A、51Bまたは51Cを手動操作して画像データをカラオケ装置11へ逐一送信する必要がない。このように、本実施形態のカラオケ装置11によれば、利用者A、B、Cが端末装置51A、51B、51Cを用いてそれぞれ撮影した複数の画像を、利用者A、B、Cのそれぞれのカラオケ歌唱時の背景画像として切り替えながら簡単に表示することができる。それゆえ、利用者A、B、Cは、カラオケ歌唱を互いに聴かせ合うことと、撮影した画像を互いに見せ合うこととを手軽に楽しむことができる。 Moreover, when the karaoke device 11 is connected to each of the terminal devices 51A, 51B, and 51C, the karaoke device 11 acquires a plurality of image data from each of the terminal devices 51A, 51B, and 51C and stores them in the storage unit 13. The stored plurality of image data are automatically switched and displayed in synchronization with the switching of the karaoke performance of the music piece, so that the users A, B, and C do not need to manually operate the terminal devices 51A, 51B, or 51C to transmit the image data to the karaoke device 11 one by one. In this way, the karaoke device 11 of this embodiment can easily display a plurality of images taken by the users A, B, and C using the terminal devices 51A, 51B, and 51C as background images while the users A, B, and C are singing karaoke, while switching between them. Therefore, the users A, B, and C can easily enjoy singing karaoke to each other and showing each other the images they have taken.

なお、上記第1の実施形態では、各端末装置51A、51B、51Cをカラオケ装置11にサーバ装置41を介して接続する場合を例にあげたが、各端末装置51A、51B、51Cをカラオケ装置11にサーバ装置41を介さずに直接接続してもよい。この場合には、個々のカラオケ装置11の情報セキュリティ対策を強化する。 In the above first embodiment, the terminal devices 51A, 51B, and 51C are connected to the karaoke device 11 via the server device 41. However, the terminal devices 51A, 51B, and 51C may be connected directly to the karaoke device 11 without going through the server device 41. In this case, the information security measures for each karaoke device 11 are strengthened.

また、上記第1の実施形態では、各端末装置51A、51B、51Cをカラオケ装置11に接続するのに必要な情報を、二次元バーコードを用いて各端末装置51A、51B、51Cに与える場合を例にあげたが、各端末装置51A、51B、51Cをカラオケ装置11に接続するのに必要な情報を、例えばNFC(Near Field Communication)等の近距離無線通信を用いて各端末装置51A、51B、51Cに与えるようにしてもよい。 In the above first embodiment, the information required to connect each of the terminal devices 51A, 51B, and 51C to the karaoke device 11 is provided to each of the terminal devices 51A, 51B, and 51C using a two-dimensional barcode. However, the information required to connect each of the terminal devices 51A, 51B, and 51C to the karaoke device 11 may be provided to each of the terminal devices 51A, 51B, and 51C using short-range wireless communication such as NFC (Near Field Communication).

また、上記第1の実施形態では、カラオケ装置11と端末装置との接続が確立された直後に、端末装置からカラオケ装置11へ画像データを自動的に送信するが、利用者がカラオケ装置11にログインした後に、端末装置からカラオケ装置11へ画像データを自動的に送信するようにしてもよい。 In addition, in the first embodiment described above, image data is automatically sent from the terminal device to the karaoke device 11 immediately after a connection between the karaoke device 11 and the terminal device is established, but image data may also be automatically sent from the terminal device to the karaoke device 11 after a user logs in to the karaoke device 11.

(第2の実施形態)
図6は本発明の第2の実施形態のカラオケ装置61を示している。なお、図6に示すカラオケ装置61において、図2に示す第1の実施形態のカラオケ装置11の構成要素と同一の構成要素には同一の符号を付し、その説明を省略する。図6に示すように、第2の実施形態のカラオケ装置61の制御部62は、楽曲の歌詞と画像との関連を分析する関連分析部63を有している。関連分析部63は、例えば制御部62が記憶部13に記憶されたプログラムを読み込んで実行することにより、実現されるものである。
Second Embodiment
Fig. 6 shows a karaoke device 61 according to a second embodiment of the present invention. In the karaoke device 61 shown in Fig. 6, the same components as those of the karaoke device 11 according to the first embodiment shown in Fig. 2 are denoted by the same reference numerals, and their description will be omitted. As shown in Fig. 6, the control unit 62 of the karaoke device 61 according to the second embodiment has an association analysis unit 63 that analyzes associations between lyrics of a song and images. The association analysis unit 63 is realized, for example, by the control unit 62 reading and executing a program stored in the storage unit 13.

図7は、各端末装置51A、51B、51Cとカラオケ装置61との接続時の処理、カラオケ装置61における楽曲予約時の処理、カラオケ装置61における楽曲演奏時の処理、および各端末装置51A、51B、51Cとカラオケ装置61との接続解除時の処理を示している。なお、図7に示すカラオケ装置61の処理において、図3に示す第1の実施形態のカラオケ装置11の処理におけるステップと同一内容のステップには同一の符号を付し、その説明を省略または簡略化する。 Figure 7 shows the processing when each of the terminal devices 51A, 51B, 51C is connected to the karaoke device 61, the processing when a song is reserved on the karaoke device 61, the processing when a song is played on the karaoke device 61, and the processing when each of the terminal devices 51A, 51B, 51C is disconnected from the karaoke device 61. Note that in the processing of the karaoke device 61 shown in Figure 7, steps that are the same as those in the processing of the karaoke device 11 of the first embodiment shown in Figure 3 are given the same reference numerals, and their explanations are omitted or simplified.

図7に示すように、各端末装置51A、51B、51Cとカラオケ装置61との接続時の処理において、カラオケ装置61は、例えば、利用者Aによる端末装置51Aおよびリモコン装置18の操作に応じて、カラオケ装置61と端末装置51Aとの接続を確立したとき(ステップS1)、端末装置51Aから送信された画像データを受信し(ステップS2)、続いて、端末装置51Aから送信された利用者識別情報およびパスワードを受信し(ステップS3)、利用者Aのカラオケ装置61へのログインが許可された場合には、端末装置51Aから送信された画像データを利用者Aの利用者識別情報と対応付け(ステップS4)、これら対応付けられた画像データおよび利用者識別情報を記憶部13に記憶する(ステップS5)。 As shown in FIG. 7, in the process of connecting each of the terminal devices 51A, 51B, 51C to the karaoke device 61, when the karaoke device 61 establishes a connection between the karaoke device 61 and the terminal device 51A in response to the operation of the terminal device 51A and the remote control device 18 by user A (step S1), the karaoke device 61 receives image data sent from the terminal device 51A (step S2), and then receives the user identification information and password sent from the terminal device 51A (step S3). If user A is permitted to log in to the karaoke device 61, the image data sent from the terminal device 51A is associated with the user identification information of user A (step S4), and the associated image data and user identification information are stored in the memory unit 13 (step S5).

続いて、カラオケ装置61の関連分析部63が、ステップS5において記憶部13に記憶された画像データの画像キーワードを決定する(ステップS41)。なお、ステップS2において複数の画像データが受信され、ステップS5においてそれら複数の画像データが記憶部13に記憶された場合には、関連分析部63は、記憶された複数の画像データのそれぞれの画像キーワードを画像データごとに決定する。 Then, the association analysis unit 63 of the karaoke device 61 determines image keywords for the image data stored in the storage unit 13 in step S5 (step S41). Note that if multiple image data are received in step S2 and stored in the storage unit 13 in step S5, the association analysis unit 63 determines image keywords for each of the multiple stored image data.

画像キーワードとは、画像データに対応する画像を全体的に見たときに、その画像に写っているまたは描かれているもの(例えば、人、物、風景等)を表した語である。具体的には、画像データに対応する画像が写真である場合には、その写真の被写体を表した語である。例えば、画像データに対応する画像に写っているものが海である場合には、画像キーワードは「海」である。関連分析部63は、ステップS2において受信された画像データに対して画像認識処理を行うことにより、その画像データに対応する画像に写っているまたは描かれているものを認識し、当該画像データの画像キーワードを決定する。また、ステップS2において受信された画像データに画像のタイトルがメタデータとして含まれている場合には、そのタイトルに基づいて画像キーワードを決定してもよい。画像キーワードを決定する処理には、例えば特開2010-218227号公報に記載されているような周知の技術を用いることができる。 An image keyword is a word that represents something (e.g., a person, object, landscape, etc.) that is shown or depicted in the image corresponding to the image data when the image is viewed as a whole. Specifically, if the image corresponding to the image data is a photograph, the image keyword is a word that represents the subject of the photograph. For example, if the image corresponding to the image data is the sea, the image keyword is "sea". The association analysis unit 63 performs image recognition processing on the image data received in step S2 to recognize things that are shown or depicted in the image corresponding to the image data, and determines an image keyword for the image data. Also, if the image data received in step S2 includes the title of the image as metadata, the image keyword may be determined based on the title. The process of determining the image keyword can use well-known technology, such as that described in JP 2010-218227 A.

画像データの画像キーワードを決定した後、関連分析部63は、ステップS5において記憶部13に記憶された画像データに、当該画像データの画像キーワードを付加する(ステップS42)。 After determining the image keywords for the image data, the association analysis unit 63 adds the image keywords for the image data to the image data stored in the memory unit 13 in step S5 (step S42).

同様に、カラオケ装置11は、利用者Bによる端末装置51Bおよびリモコン装置18の操作に応じて、カラオケ装置11と端末装置51Bとの接続を確立したとき、端末装置51Bから送信された画像データを受信し、続いて、端末装置51Bから送信された利用者識別情報およびパスワードを受信し、利用者Bのカラオケ装置11へのログインが許可された場合には、端末装置51Bから送信された画像データを利用者Bの利用者識別情報と対応付け、これら対応付けられた画像データおよび利用者識別情報を記憶部13に記憶し、記憶部13に記憶された当該画像データの画像キーワードを決定し、決定した画像キーワードを当該画像データに付加する。また、カラオケ装置11は、利用者Cによる端末装置51Cおよびリモコン装置18の操作に応じて、カラオケ装置11と端末装置51Cとの接続を確立したときにも同様の処理を行う。 Similarly, when the karaoke device 11 establishes a connection between the karaoke device 11 and the terminal device 51B in response to the operation of the terminal device 51B and the remote control device 18 by user B, the karaoke device 11 receives the image data transmitted from the terminal device 51B, and then receives the user identification information and password transmitted from the terminal device 51B. If user B is permitted to log in to the karaoke device 11, the karaoke device 11 associates the image data transmitted from the terminal device 51B with the user identification information of user B, stores the associated image data and user identification information in the storage unit 13, determines an image keyword for the image data stored in the storage unit 13, and adds the determined image keyword to the image data. The karaoke device 11 also performs a similar process when it establishes a connection between the karaoke device 11 and the terminal device 51C in response to the operation of the terminal device 51C and the remote control device 18 by user C.

図8は、図7中のステップS1~S5、S41、S42の処理により、互いに対応付けられて記憶部13に記憶された画像データおよび利用者識別情報に画像キーワードが付加されたものの一例を示している。図8において、例えば、利用者Aの利用者識別情報USR01に対応付けられた画像データIMG11には、画像キーワード「海」が付加されている。また、利用者Bの利用者識別情報USR02に対応付けられた画像データIMG21には、画像キーワード「猫」が付加されている。また、利用者Cの利用者識別情報USR03に対応付けられた画像データIMG31には、画像キーワード「月」が付加されている。 Figure 8 shows an example of image keywords added to image data and user identification information that are associated with each other and stored in the storage unit 13 by the processing of steps S1 to S5, S41, and S42 in Figure 7. In Figure 8, for example, the image keyword "sea" is added to image data IMG11 associated with user identification information USR01 of user A. The image keyword "cat" is added to image data IMG21 associated with user identification information USR02 of user B. The image keyword "moon" is added to image data IMG31 associated with user identification information USR03 of user C.

また、図7に示すように、カラオケ装置61における楽曲演奏時の処理において、例えば、利用者Aにより選択された楽曲の楽曲識別情報SNG09が利用者Aの利用者識別情報USR01と対応付けられて待ち行列に登録されており(図5参照)、カラオケ装置61の演奏部36が、この楽曲のカラオケ演奏を開始したとする(ステップS21)。この場合、カラオケ装置61の画像データ特定部37が、カラオケ演奏が開始された楽曲の楽曲識別情報に対応する利用者識別情報に対応付けられた画像データを特定する(ステップS22)。具体的には、画像データ特定部37は、まず、待ち行列を参照し、カラオケ演奏が開始された楽曲の楽曲識別情報SNG09に対応する利用者識別情報USR01を特定する。次に、画像データ特定部37は、図8に示すように利用者識別情報と対応付けられて記憶部13に記憶されている複数の画像データの中から、利用者識別情報USR01に対応付けられた画像データIMG11、IMG12およびIMG13を特定する(ステップS22)。 As shown in FIG. 7, in the process of playing a song in the karaoke device 61, for example, the song identification information SNG09 of the song selected by user A is registered in the queue in association with the user identification information USR01 of user A (see FIG. 5), and the performance unit 36 of the karaoke device 61 starts karaoke performance of this song (step S21). In this case, the image data specification unit 37 of the karaoke device 61 specifies the image data associated with the user identification information corresponding to the song identification information of the song whose karaoke performance has started (step S22). Specifically, the image data specification unit 37 first refers to the queue and specifies the user identification information USR01 corresponding to the song identification information SNG09 of the song whose karaoke performance has started. Next, the image data specification unit 37 specifies the image data IMG11, IMG12, and IMG13 associated with the user identification information USR01 from among the multiple image data associated with the user identification information and stored in the storage unit 13 as shown in FIG. 8 (step S22).

続いて、カラオケ装置61の関連分析部63が、カラオケ演奏が開始された楽曲の歌詞の歌詞キーワードを決定する(ステップS51)。 Then, the association analysis unit 63 of the karaoke device 61 determines the lyric keywords of the lyrics of the song for which karaoke performance has started (step S51).

歌詞キーワードとは、楽曲の歌詞において用いられている頻度の高い語である。例えば、歌詞キーワードは、楽曲の歌詞に含まれている語の中で利用回数が最も多い語、楽曲の歌詞に含まれている語について利用回数が多い順に順位付けをした場合に、第1位、第2位および第3位の3つの語、または楽曲の歌詞に含まれている語の中で利用回数が所定回数以上の語等である。本実施形態において、関連分析部63は、楽曲の歌詞に含まれている語の中で利用回数が最も多い語を歌詞キーワードとして決定する。例えば、楽曲の歌詞に含まれている語の中で利用回数が最も多い語が「海」である場合、歌詞キーワードは「海」である。なお、カラオケシステム1において用意されている各楽曲の歌詞についての歌詞キーワードを予め決定しておき、歌詞キーワードを歌詞データに予め含ませておいてもよい。これにより、関連分析部63は、歌詞データに含まれている歌詞キーワードを読み取るだけで、歌詞キーワードを決定することができる。 A lyric keyword is a word that is frequently used in the lyrics of a song. For example, a lyric keyword is the most frequently used word in the lyrics of a song, the first, second and third most used words when the words in the lyrics of a song are ranked in order of frequency of use, or a word that is used a predetermined number of times or more among the words in the lyrics of a song. In this embodiment, the association analysis unit 63 determines the most frequently used word in the lyrics of a song as the lyric keyword. For example, if the most frequently used word in the lyrics of a song is "sea", the lyric keyword is "sea". Note that the lyric keywords for the lyrics of each song prepared in the karaoke system 1 may be determined in advance, and the lyric keywords may be included in the lyrics data in advance. In this way, the association analysis unit 63 can determine the lyric keywords simply by reading the lyric keywords included in the lyrics data.

続いて、関連分析部63は、カラオケ演奏が開始された楽曲の歌詞の歌詞キーワード、および画像データ特定部37により特定された画像データに付加された画像キーワードに基づいて、カラオケ演奏が開始された楽曲の歌詞と関連する画像の画像データを、画像データ特定部37により特定された画像データの中から選択する(ステップS52)。具体的には、関連分析部63は、カラオケ演奏が開始された楽曲の歌詞の歌詞キーワードと、画像データ特定部37により特定された画像データに付加された画像キーワードとを比較し、両者が一致または類似するか否かを判断する。そして、関連分析部63は、カラオケ演奏が開始された楽曲の歌詞の歌詞キーワードと、画像データ特定部37により特定された画像データに付加された画像キーワードとが一致または類似している場合に、当該楽曲の歌詞と当該画像データに対応する画像とが関連すると判断し、当該画像データを選択する。 Next, the association analysis unit 63 selects image data of an image related to the lyrics of the song from which the karaoke performance has started from among the image data identified by the image data identification unit 37, based on the lyrics keywords of the lyrics of the song from which the karaoke performance has started and the image keywords added to the image data identified by the image data identification unit 37 (step S52). Specifically, the association analysis unit 63 compares the lyrics keywords of the lyrics of the song from which the karaoke performance has started with the image keywords added to the image data identified by the image data identification unit 37, and determines whether they match or are similar. Then, when the lyrics keywords of the lyrics of the song from which the karaoke performance has started and the image keywords added to the image data identified by the image data identification unit 37 match or are similar, the association analysis unit 63 determines that the lyrics of the song and the image corresponding to the image data are related, and selects the image data.

例えば、図8に示すように、画像データIMG11に付加された画像キーワードが「海」であり、画像データIMG12に付加された画像キーワードが「海岸」であり、画像データIMG13に付加された画像の画像キーワードが「盆踊り」であるとする。また、カラオケ演奏が開始された楽曲、すなわち、利用者Aにより選択された楽曲の歌詞の歌詞キーワードが「海」であるとする。画像キーワードの「海」は、歌詞キーワードの「海」と一致する。また、画像キーワードの「海岸」は、歌詞キーワードの「海」と類似する。一方、画像キーワードの「盆踊り」は、歌詞キーワードの「海」と一致せず、かつ類似しない。この場合、関連分析部63は、画像データ特定部37により特定された画像データIMG11、IMG12およびIMG13の中から、カラオケ演奏が開始された楽曲の歌詞と関連する画像の画像データとして、画像データIMG11および画像データIMG12を選択する。 For example, as shown in FIG. 8, the image keyword added to image data IMG11 is "sea", the image keyword added to image data IMG12 is "coast", and the image keyword added to image data IMG13 is "bon dance". Also, the lyrics keyword of the song from which the karaoke performance has started, i.e., the song selected by user A, is "sea". The image keyword "sea" matches the lyrics keyword "sea". Also, the image keyword "coast" is similar to the lyrics keyword "sea". On the other hand, the image keyword "bon dance" does not match and is not similar to the lyrics keyword "sea". In this case, the association analysis unit 63 selects image data IMG11 and image data IMG12 from the image data IMG11, IMG12, and IMG13 identified by the image data identification unit 37 as image data of images related to the lyrics of the song from which the karaoke performance has started.

続いて、カラオケ装置61の表示制御部38が、関連分析部63により選択された画像データに対応する画像を、カラオケ装置61に接続されたディスプレイ装置21に背景画像として表示する(ステップS53)。関連分析部63により選択された画像データが画像データIMG11および画像データIMG12である場合には、表示制御部38は、画像データIMG11に対応する画像と、画像データIMG12に対応する画像とを切り替えながらディスプレイ装置21に表示する。 Then, the display control unit 38 of the karaoke device 61 displays an image corresponding to the image data selected by the association analysis unit 63 as a background image on the display device 21 connected to the karaoke device 61 (step S53). If the image data selected by the association analysis unit 63 is image data IMG11 and image data IMG12, the display control unit 38 switches between displaying an image corresponding to the image data IMG11 and an image corresponding to the image data IMG12 on the display device 21.

なお、カラオケ演奏が開始された楽曲の歌詞と関連する画像の画像データが、画像データ特定部37により特定された画像データの中に存在しない場合には、カラオケ装置61の表示制御部38は、画像データ特定部37により特定されたすべての画像データにそれぞれ対応する画像を切り替えながらディスプレイ装置21に背景画像として表示する。 If image data of an image related to the lyrics of the song for which karaoke performance has started is not present in the image data identified by the image data identification unit 37, the display control unit 38 of the karaoke device 61 switches between images corresponding to all the image data identified by the image data identification unit 37 and displays them as background images on the display device 21.

本発明の第2の実施形態のカラオケ装置61によっても、本発明の第1の実施形態のカラオケ装置11と同様の作用効果を得ることができる。さらに、第2の実施形態のカラオケ装置61によれば、利用者のカラオケ歌唱時に、利用者が端末装置で撮影した画像のうち、当該利用者がカラオケ歌唱を行っている楽曲の歌詞に関連する画像を背景画像としてディスプレイ装置21に表示することができる。楽曲の歌詞と関連した画像が表示されることで、楽曲の雰囲気や歌詞のメッセージがカラオケ歌唱を鑑賞している利用者に伝わり易くなる。 The karaoke device 61 of the second embodiment of the present invention can also provide the same effects as the karaoke device 11 of the first embodiment of the present invention. Furthermore, according to the karaoke device 61 of the second embodiment, when a user is singing karaoke, an image related to the lyrics of the song that the user is singing karaoke, among images taken by the user with a terminal device, can be displayed as a background image on the display device 21. By displaying an image related to the lyrics of the song, the atmosphere of the song and the message of the lyrics can be easily conveyed to the user who is listening to the karaoke singing.

なお、上記第2の実施形態では、カラオケ装置61が端末装置から画像データを受信したときに、画像データの画像キーワードを決定する場合を例にあげたが、楽曲の演奏が開始されたときに、当該楽曲の楽曲識別情報に対応する利用者識別情報に対応付けられた画像データの画像キーワードを決定するようにしてもよい。 In the above second embodiment, an example was given in which the image keyword for the image data is determined when the karaoke device 61 receives the image data from the terminal device, but it is also possible to determine the image keyword for the image data associated with the user identification information corresponding to the song identification information of the song when the performance of the song begins.

(第3の実施形態)
図9は本発明の第3の実施形態のカラオケ装置71を示している。なお、図9に示すカラオケ装置71において、図2に示す第1の実施形態のカラオケ装置11の構成要素と同一の構成要素には同一の符号を付し、その説明を省略する。図9に示すように、第3の実施形態のカラオケ装置71の制御部72は、第1の画像データ特定部37および第2の画像データ特定部73を備えている。第1の画像データ特定部37は、第1の実施形態のカラオケ装置11の画像データ特定部37と同じである(第1の画像データ特定部37には第1の実施形態のカラオケ装置11の画像データ特定部37と同一の符号を付す)。第2の画像データ特定部73は、カラオケ歌唱を行う利用者をカメラ22により撮影し、撮影した利用者の画像に適合する顔画像データを特定し、特定した顔画像データに対応する利用者識別情報に対応付けられた画像データを特定する。第2の画像データ特定部73は、例えば制御部72が記憶部13に記憶されたプログラムを読み込んで実行することにより、実現されるものである。
Third Embodiment
FIG. 9 shows a karaoke device 71 according to a third embodiment of the present invention. In the karaoke device 71 shown in FIG. 9, the same components as those of the karaoke device 11 according to the first embodiment shown in FIG. 2 are given the same reference numerals, and their description will be omitted. As shown in FIG. 9, the control unit 72 of the karaoke device 71 according to the third embodiment includes a first image data specification unit 37 and a second image data specification unit 73. The first image data specification unit 37 is the same as the image data specification unit 37 of the karaoke device 11 according to the first embodiment (the first image data specification unit 37 is given the same reference numeral as the image data specification unit 37 of the karaoke device 11 according to the first embodiment). The second image data specification unit 73 photographs a user singing karaoke with the camera 22, specifies face image data that matches the image of the user photographed, and specifies image data associated with user identification information corresponding to the specified face image data. The second image data specification unit 73 is realized, for example, by the control unit 72 reading and executing a program stored in the storage unit 13.

また、カラオケ装置71の記憶部13には、複数の利用者の外観の情報をそれぞれ含む複数の利用者特徴データが複数の利用者の利用者識別情報とそれぞれ対応付けられて記憶されている。具体的には、カラオケ装置71の記憶部13には、図10に示すように、利用者A、BおよびCのそれぞれの顔の画像である顔画像データCHR01、CHR02およびCHR03が利用者A、BおよびCの利用者識別情報USR01、USR02およびUSR03とそれぞれ対応付けられて記憶されている。 In addition, the storage unit 13 of the karaoke device 71 stores a plurality of user characteristic data each including information on the appearance of a plurality of users, each associated with the user identification information of the plurality of users. Specifically, as shown in FIG. 10, the storage unit 13 of the karaoke device 71 stores face image data CHR01, CHR02, and CHR03, which are images of the faces of users A, B, and C, associated with the user identification information USR01, USR02, and USR03 of users A, B, and C, respectively.

図11は、各端末装置51A、51B、51Cとカラオケ装置71との接続時の処理、カラオケ装置71における楽曲予約時の処理、カラオケ装置71における楽曲演奏時の処理、および各端末装置51A、51B、51Cとカラオケ装置71との接続解除時の処理を示している。なお、図11に示すカラオケ装置71の処理において、図3に示す第1の実施形態のカラオケ装置11の処理におけるステップと同一内容のステップには同一の符号を付し、その説明を省略または簡略化する。 Figure 11 shows the processing when each of the terminal devices 51A, 51B, 51C is connected to the karaoke device 71, the processing when reserving a song on the karaoke device 71, the processing when playing a song on the karaoke device 71, and the processing when each of the terminal devices 51A, 51B, 51C is disconnected from the karaoke device 71. Note that in the processing of the karaoke device 71 shown in Figure 11, steps that are the same as those in the processing of the karaoke device 11 of the first embodiment shown in Figure 3 are given the same reference numerals, and their explanations are omitted or simplified.

図11において、各端末装置51A、51B、51Cとカラオケ装置71との接続時の処理が行われ、カラオケ装置71の記憶部13には、図4に示すように、端末装置51A、51Bおよび51Cからカラオケ装置71へそれぞれ送信された複数の画像データが、利用者A、BおよびCの利用者識別情報とそれぞれ対応付けられて記憶されているものとする。また、カラオケ装置71における楽曲予約時の処理が行われ、図5に示すように、利用者A、BおよびCによりそれぞれ選択された楽曲の楽曲識別情報が、利用者A、BおよびCの利用者識別情報とそれぞれ対応付けられて待ち行列に登録されているものとする。このような状態において、カラオケ装置71における楽曲演奏時の処理が開始され、カラオケ装置71の演奏部36が、利用者Aにより選択された楽曲識別情報SNG09に対応する楽曲のカラオケ演奏を開始したとする(ステップS21)。この場合、カラオケ装置71の第1の画像データ特定部37が、カラオケ演奏が開始された楽曲の楽曲識別情報に対応する利用者識別情報に対応付けられた画像データを特定する(ステップS22)。具体的には、第1の画像データ特定部37は、まず、図5に示す待ち行列を参照し、カラオケ演奏が開始された楽曲の楽曲識別情報SNG09に対応する利用者識別情報USR01を特定し、次に、図4に示すように利用者識別情報と対応付けられて記憶部13に記憶されている複数の画像データの中から、利用者識別情報USR01に対応付けられた画像データIMG11、IMG12およびIMG13を特定する(ステップS22)。続いて、カラオケ装置71の表示制御部38が、第1の画像データ特定部37により特定された画像データIMG11、IMG12およびIMG13にそれぞれ対応する画像を切り替えながらディスプレイ装置21に表示する(ステップS23)。 11, a process is performed when each of the terminal devices 51A, 51B, and 51C is connected to the karaoke device 71, and the storage unit 13 of the karaoke device 71 stores a plurality of image data transmitted from the terminal devices 51A, 51B, and 51C to the karaoke device 71 in association with the user identification information of the users A, B, and C, as shown in FIG. 4. Also, a process is performed when reserving a song in the karaoke device 71, and the song identification information of the songs selected by the users A, B, and C is registered in a queue in association with the user identification information of the users A, B, and C, as shown in FIG. 5. In this state, a process is started when playing a song in the karaoke device 71, and the performance unit 36 of the karaoke device 71 starts playing the song corresponding to the song identification information SNG09 selected by the user A (step S21). In this case, the first image data identification unit 37 of the karaoke device 71 identifies the image data associated with the user identification information corresponding to the song identification information of the song for which the karaoke performance has started (step S22). Specifically, the first image data specification unit 37 first refers to the queue shown in FIG. 5 and specifies the user identification information USR01 corresponding to the song identification information SNG09 of the song for which karaoke performance has started, and then specifies the image data IMG11, IMG12, and IMG13 corresponding to the user identification information USR01 from among the multiple image data stored in the storage unit 13 in association with the user identification information as shown in FIG. 4 (step S22). Next, the display control unit 38 of the karaoke device 71 switches between images corresponding to the image data IMG11, IMG12, and IMG13 specified by the first image data specification unit 37 and displays them on the display device 21 (step S23).

ステップS22において第1の画像データ特定部37により特定された画像データIMG11、IMG12およびIMG13が切り替わり表示されている間、カラオケ装置71の第2の画像データ特定部73が、カラオケ歌唱を行う利用者が変わったか否かを判断する(ステップS61)。 While the image data IMG11, IMG12, and IMG13 identified by the first image data identification unit 37 in step S22 are being switched and displayed, the second image data identification unit 73 of the karaoke device 71 determines whether the user singing the karaoke has changed (step S61).

第2の画像データ特定部73は、カラオケ歌唱を行う利用者が変わったか否かの判断を次のように行う。まず、第2の画像データ特定部73は、図10に示すように記憶部13に記憶されている複数の顔画像データの中から、現在カラオケ演奏が行われている楽曲の楽曲識別情報に対応する利用者識別情報に対応付けられた顔画像データを特定する。次に、第2の画像データ特定部73は、カラオケ装置71に接続されたカメラ22を制御し、カメラ22により、カラオケルーム内の全域を撮影する。例えば、カメラ22は超広角レンズを有しており、カラオケルーム内の全域を撮影することができる。なお、カメラ22を可動式の雲台に設置し、雲台によりカメラ22の向きを変えることによりカラオケルーム内の全域を撮影するようにしてもよい。次に、第2の画像データ特定部73は、カメラ22により得られた撮影画像に基づいて、カラオケルーム内にいる複数の利用者のうち、カラオケ歌唱を行う利用者を認識する。具体的には、第2の画像データ特定部73は、カメラ22により得られた撮影画像に基づいて、マイク19を手に持って口元に近づけている者を認識し、その者をカラオケ歌唱を行う利用者と判断する。次に、第2の画像データ特定部73は、カメラ22により得られた撮影画像に基づいて、カラオケ歌唱を行う利用者の顔を認識し、認識した利用者の顔に適合する顔画像データを、記憶部13に記憶された複数の顔画像データの中から特定する。次に、第2の画像データ特定部73は、現在カラオケ演奏が行われている楽曲の楽曲識別情報に対応する利用者識別情報に対応付けられた顔画像データと、撮影画像に基づいて認識したカラオケ歌唱を行う利用者の顔に適合する顔画像データとを比較し、両者が互いに異なる場合には、カラオケ歌唱を行う利用者が変わったと判断し、一方、両者が互いに一致する場合には、カラオケ歌唱を行う利用者が変わっていないと判断する。 The second image data identification unit 73 judges whether the user singing karaoke has changed as follows. First, the second image data identification unit 73 identifies face image data associated with user identification information corresponding to the song identification information of the song currently being performed karaoke from among the multiple face image data stored in the storage unit 13 as shown in FIG. 10. Next, the second image data identification unit 73 controls the camera 22 connected to the karaoke device 71 to capture an image of the entire area of the karaoke room with the camera 22. For example, the camera 22 has an ultra-wide-angle lens and can capture an image of the entire area of the karaoke room. The camera 22 may be installed on a movable platform and the orientation of the camera 22 may be changed by the platform to capture an image of the entire area of the karaoke room. Next, the second image data identification unit 73 recognizes the user singing karaoke from among the multiple users in the karaoke room based on the captured image obtained by the camera 22. Specifically, the second image data identification unit 73 recognizes a person who holds the microphone 19 close to their mouth based on the captured image obtained by the camera 22, and determines that the person is a user who will sing karaoke. Next, the second image data identification unit 73 recognizes the face of the user who will sing karaoke based on the captured image obtained by the camera 22, and identifies facial image data that matches the recognized user's face from among the multiple facial image data stored in the storage unit 13. Next, the second image data identification unit 73 compares the facial image data associated with the user identification information corresponding to the song identification information of the song currently being performed karaoke with the facial image data that matches the face of the user who will sing karaoke recognized based on the captured image, and if the two are different, it determines that the user who will sing karaoke has changed, and on the other hand, if the two are identical, it determines that the user who will sing karaoke has not changed.

カラオケ歌唱を行う利用者が変わった場合には(ステップS61:YES)、第2の画像データ特定部73は、撮影画像に基づいて認識したカラオケ歌唱を行う利用者の顔に適合する顔画像データに対応する利用者識別情報に対応付けられた画像データを、図4に示すように記憶部13に記憶された複数の画像データの中から特定する(ステップS62)。 If the user singing the karaoke has changed (step S61: YES), the second image data identification unit 73 identifies image data associated with user identification information corresponding to facial image data that matches the face of the user singing the karaoke recognized based on the captured image from among the multiple image data stored in the memory unit 13 as shown in Figure 4 (step S62).

例えば、利用者Aにより選択された楽曲のカラオケ演奏中に、カラオケ歌唱を行う利用者が利用者Aから利用者Bに変わった場合、第2の画像データ特定部73は、まず、現在カラオケ演奏が行われている楽曲の楽曲識別情報SNG09に対応する利用者Aの利用者識別情報USR01に対応付けられた顔画像データCHR01を特定する。次に、第2の画像データ特定部73は、カメラ22により得られた撮影画像に基づいて、カラオケ歌唱を行う利用者Bの顔を認識し、利用者Bの顔に適合する顔画像データCHR02を特定する。そして、特定したこれら2つの顔画像データが互いに異なるので、第2の画像データ特定部73は、カラオケ歌唱を行う利用者が変わったと判断する。この場合、第2の画像データ特定部73は、顔画像データCHR02に対応する利用者Bの利用者識別情報USR02に対応付けられた画像データIMG21およびIMG22を特定する。 For example, if the user singing karaoke changes from user A to user B during the karaoke performance of a song selected by user A, the second image data identification unit 73 first identifies face image data CHR01 associated with user A's user identification information USR01, which corresponds to the song identification information SNG09 of the song currently being karaoke performed. Next, the second image data identification unit 73 recognizes the face of user B singing karaoke based on the captured image obtained by the camera 22, and identifies face image data CHR02 that matches the face of user B. Then, since these two identified face image data are different from each other, the second image data identification unit 73 determines that the user singing karaoke has changed. In this case, the second image data identification unit 73 identifies image data IMG21 and IMG22 associated with user B's user identification information USR02, which corresponds to face image data CHR02.

続いて、カラオケ装置71の表示制御部38は、第2の画像データ特定部73により特定された画像データに対応する画像を、ステップS21でカラオケ演奏が開始された楽曲のカラオケ演奏中に、カラオケ装置71に接続されたディスプレイ装置21に背景画像として表示する(ステップS24:NO、ステップS23)。 Then, the display control unit 38 of the karaoke device 71 displays an image corresponding to the image data identified by the second image data identification unit 73 as a background image on the display device 21 connected to the karaoke device 71 during the karaoke performance of the song whose karaoke performance was started in step S21 (step S24: NO, step S23).

例えば、利用者Aにより選択された楽曲のカラオケ演奏中に、カラオケ歌唱を行う利用者が利用者Aから利用者Bに変わった場合には、当該楽曲の演奏中に、ディスプレイ装置21に表示されている画像が、画像データIMG11、IMG12およびIMG13にそれぞれ対応する画像(例えば利用者Aが端末装置51Aで撮影した画像)から、画像データIMG21およびIMG22にそれぞれ対応する画像(例えば利用者Bが端末装置51Bで撮影した画像)に切り替わる。 For example, if the user singing karaoke changes from user A to user B during the karaoke performance of a song selected by user A, the images displayed on display device 21 during the performance of the song will be switched from images corresponding to image data IMG11, IMG12, and IMG13, respectively (e.g., images taken by user A with terminal device 51A) to images corresponding to image data IMG21 and IMG22, respectively (e.g., images taken by user B with terminal device 51B).

一方、利用者Aが、自ら選択した楽曲のカラオケ歌唱を当該楽曲のカラオケ演奏の開始から終了まで継続して行った場合には、当該楽曲のカラオケ演奏の開始から終了まで、画像データIMG11、IMG12およびIMG13が切り替わり表示される。他方、利用者Aにより選択された楽曲のカラオケ演奏中に、カラオケ歌唱を行う利用者が利用者Aから利用者Bに変わり、その後、利用者Bから利用者Cに変わった場合には、ディスプレイ装置21に表示されている画像が、画像データIMG11、IMG12およびIMG13にそれぞれ対応する画像から、画像データIMG21およびIMG22にそれぞれ対応する画像に切り替わり、その後、画像データIMG21およびIMG22にそれぞれ対応する画像から、画像データIMG31およびIMG32にそれぞれ対応する画像に切り替わる。 On the other hand, when user A continues to sing the karaoke of the song he/she selected from the beginning to the end of the karaoke performance of the song, the image data IMG11, IMG12, and IMG13 are displayed in a switching manner from the beginning to the end of the karaoke performance of the song. On the other hand, when the user singing the karaoke changes from user A to user B during the karaoke performance of the song selected by user A, and then from user B to user C, the images displayed on the display device 21 are switched from the images corresponding to the image data IMG11, IMG12, and IMG13, respectively, to images corresponding to the image data IMG21 and IMG22, respectively, and then from the images corresponding to the image data IMG21 and IMG22, respectively, to images corresponding to the image data IMG31 and IMG32, respectively.

本発明の第3の実施形態のカラオケ装置71によっても、本発明の第1の実施形態のカラオケ装置11と同様の作用効果を得ることができる。さらに、第3の実施形態のカラオケ装置71によれば、楽曲のカラオケ演奏中に、カラオケ歌唱を行う利用者が例えば利用者Aから利用者Bに変わった場合に、ディスプレイ装置21に表示する背景画像を、利用者Aが端末装置51Aで撮影した画像から、利用者Bが端末装置51Bで撮影した画像に自動的に切り替えることができる。これにより、楽曲を予約した利用者とその楽曲のカラオケ歌唱を実際に行っている利用者とが異なる場合に、カラオケ歌唱を実際に行っている利用者が撮影した画像を背景画像として表示することができる。 The karaoke device 71 of the third embodiment of the present invention can also provide the same effects as the karaoke device 11 of the first embodiment of the present invention. Furthermore, according to the karaoke device 71 of the third embodiment, when the user singing karaoke changes from user A to user B during the karaoke performance of a song, the background image displayed on the display device 21 can be automatically switched from the image taken by user A with the terminal device 51A to the image taken by user B with the terminal device 51B. As a result, when the user who reserved the song is different from the user who is actually singing the karaoke of the song, the image taken by the user who is actually singing the karaoke can be displayed as the background image.

なお、上記第3の実施形態では、楽曲の演奏が開始されたときには、当該楽曲の楽曲識別情報に対応する利用者識別情報に対応付けられた画像データを特定して表示し、カラオケ歌唱を行う利用者が変わったときには、当該変わった後の利用者の顔を認識し、認識した顔に適合する顔画像データに対応する利用者識別情報に対応付けられた画像データを特定して表示する。しかしながら、本発明はこれに限らない。楽曲の演奏が開始されたときに、当該楽曲のカラオケ歌唱を行う利用者の顔を認識し、認識した顔に適合する顔画像データに対応する利用者識別情報に対応付けられた画像データを特定して表示するようにしてもよい。 In the third embodiment, when a song starts to be played, image data associated with user identification information corresponding to the song identification information of the song is identified and displayed, and when the user singing the karaoke changes, the face of the new user is recognized, and image data associated with user identification information corresponding to facial image data that matches the recognized face is identified and displayed. However, the present invention is not limited to this. When a song starts to be played, the face of the user singing the song karaoke may be recognized, and image data associated with user identification information corresponding to facial image data that matches the recognized face may be identified and displayed.

また、上記第3の実施形態では、利用者特徴データとして顔画像データを用いる場合を例にあげたが、利用者特徴データとして、利用者の顔以外の身体や服装等の画像の画像データを用いてもよい。また、カラオケ歌唱を行う利用者を、マイク19により集音された利用者の声の特徴に基づいて認識するようにしてもよい。 In the above third embodiment, facial image data is used as user characteristic data, but image data of an image other than the user's face, such as the user's body or clothing, may be used as user characteristic data. In addition, a user singing karaoke may be recognized based on the characteristics of the user's voice collected by the microphone 19.

また、本発明は、請求の範囲および明細書全体から読み取ることのできる発明の要旨または思想に反しない範囲で適宜変更可能であり、そのような変更を伴うカラオケ装置もまた本発明の技術思想に含まれる。 The present invention may be modified as appropriate without going against the gist or concept of the invention as can be read from the claims and the entire specification, and karaoke devices with such modifications are also included in the technical concept of the present invention.

11、61、71 カラオケ装置
13 記憶部(画像データ記憶部、利用者特徴データ記憶部)
21 ディスプレイ装置(表示装置)
22 カメラ(撮影装置)
32 画像データ通信部
34 対応付け形成部
35 予約部
37 画像データ特定部、第1の画像データ特定部
38 表示制御部
51A、51B、51C 端末装置
63 関連分析部
73 第2の画像データ特定部
11, 61, 71 Karaoke device 13 Storage unit (image data storage unit, user characteristic data storage unit)
21 Display device (display device)
22 Camera (photography device)
32 Image data communication unit 34 Correlation formation unit 35 Reservation unit 37 Image data identification unit, first image data identification unit 38 Display control unit 51A, 51B, 51C Terminal device 63 Association analysis unit 73 Second image data identification unit

Claims (3)

複数の利用者によりそれぞれ用いられる複数の端末装置と通信可能に接続されるカラオケ装置であって、
前記複数の端末装置からそれぞれ送信された複数の画像データを前記複数の利用者の利用者識別情報とそれぞれ対応付けて記憶する画像データ記憶部と、
利用者により選択された楽曲の楽曲識別情報を、当該楽曲を選択した利用者の利用者識別情報と対応付けて待ち行列に登録する予約部と、
前記待ち行列に登録された前記楽曲識別情報に対応する利用者識別情報に対応付けられた画像データを前記画像データ記憶部に記憶された複数の画像データの中から特定する画像データ特定部と、
楽曲の歌詞と画像との関連を分析する関連分析部と、
前記待ち行列に登録された前記楽曲識別情報に対応する楽曲のカラオケ演奏を行うときに、前記画像データ特定部により特定された画像データに対応する画像を前記カラオケ装置に接続された表示装置に表示する表示制御部とを備え
前記画像データ特定部は、前記待ち行列に登録された前記楽曲識別情報に対応する利用者識別情報に対応付けられた複数の画像データを前記画像データ記憶部に記憶された複数の画像データの中から特定し、
前記関連分析部は、前記待ち行列に登録された前記楽曲識別情報に対応する楽曲の歌詞と関連する画像の画像データを前記画像データ特定部により特定された複数の画像データの中から選択し、
前記表示制御部は、前記関連分析部により選択された画像データに対応する画像を前記表示装置に表示することを特徴とするカラオケ装置。
A karaoke device communicably connected to a plurality of terminal devices each used by a plurality of users,
an image data storage unit that stores a plurality of image data transmitted from the plurality of terminal devices in association with user identification information of the plurality of users;
a reservation unit that registers song identification information of a song selected by a user in a queue in association with user identification information of the user who selected the song;
an image data specification unit that specifies image data associated with user identification information corresponding to the song identification information registered in the queue from among a plurality of image data stored in the image data storage unit;
a correlation analysis unit that analyzes correlations between song lyrics and images;
a display control unit that displays an image corresponding to the image data specified by the image data specifying unit on a display device connected to the karaoke device when a karaoke performance of a song corresponding to the song identification information registered in the queue is performed ,
the image data specification unit specifies, from among the image data stored in the image data storage unit, a plurality of image data items associated with user identification information corresponding to the music identification information registered in the queue;
the association analysis unit selects image data of an image related to lyrics of a song corresponding to the song identification information registered in the queue from the plurality of image data identified by the image data identification unit;
The karaoke device according to claim 1, wherein the display control unit displays, on the display device, an image corresponding to the image data selected by the association analysis unit .
複数の利用者によりそれぞれ用いられる複数の端末装置と通信可能に接続されるカラオケ装置であって、
前記複数の端末装置からそれぞれ送信された複数の画像データを前記複数の利用者の利用者識別情報とそれぞれ対応付けて記憶する画像データ記憶部と、
前記複数の利用者の外観の情報をそれぞれ含む複数の利用者特徴データを前記複数の利用者の利用者識別情報とそれぞれ対応付けて記憶する利用者特徴データ記憶部と、
前記複数の利用者のうちカラオケ歌唱を行う一の利用者を前記カラオケ装置に接続された撮影装置により撮影し、前記撮影装置により撮影された前記一の利用者の画像に適合する利用者特徴データを前記利用者特徴データ記憶部に記憶された前記複数の利用者特徴データの中から特定し、当該特定した利用者特徴データに対応する利用者識別情報に対応付けられた画像データを前記画像データ記憶部に記憶された前記複数の画像データの中から特定する画像データ特定部と、
前記一の利用者がカラオケ歌唱を行っている間、前記画像データ特定部により特定された画像データに対応する画像を前記カラオケ装置に接続された表示装置に表示する表示制御部とを備えていることを特徴とするカラオケ装置。
A karaoke device communicably connected to a plurality of terminal devices each used by a plurality of users,
an image data storage unit that stores a plurality of image data transmitted from the plurality of terminal devices in association with user identification information of the plurality of users;
a user characteristic data storage unit that stores a plurality of user characteristic data including information on the appearance of each of the plurality of users in association with user identification information of each of the plurality of users;
an image data specification unit that photographs one of the plurality of users who sings karaoke using a photographing device connected to the karaoke device, identifies user characteristic data that matches the image of the one user photographed by the photographing device from among the plurality of user characteristic data stored in the user characteristic data storage unit, and specifies image data associated with user identification information corresponding to the identified user characteristic data from among the plurality of image data stored in the image data storage unit;
a display control unit that displays an image corresponding to the image data specified by the image data specification unit on a display device connected to the karaoke device while the one user is singing karaoke.
前記複数の端末装置のうちの一の端末装置と前記カラオケ装置との接続が確立されたときに前記一の端末装置から自動的に送信された画像データを受信する画像データ通信部と、
前記画像データ通信部により受信された画像データを、前記一の端末装置を用いる利用者の利用者識別情報と対応付ける対応付け形成部とを備え、
前記画像データ記憶部は、前記対応付け形成部により前記一の端末装置を用いる利用者の利用者識別情報と対応付けられた画像データを記憶することを特徴とする請求項1または2に記載のカラオケ装置。
an image data communication unit that receives image data automatically transmitted from one of the plurality of terminal devices when a connection between the one terminal device and the karaoke device is established;
a correspondence forming unit that associates the image data received by the image data communication unit with user identification information of a user who uses the one terminal device,
3. The karaoke apparatus according to claim 1 , wherein the image data storage section stores image data associated by the association forming section with user identification information of a user who uses the one of the terminal devices.
JP2021124671A 2021-07-29 2021-07-29 Karaoke equipment Active JP7660983B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021124671A JP7660983B2 (en) 2021-07-29 2021-07-29 Karaoke equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021124671A JP7660983B2 (en) 2021-07-29 2021-07-29 Karaoke equipment

Publications (2)

Publication Number Publication Date
JP2023019726A JP2023019726A (en) 2023-02-09
JP7660983B2 true JP7660983B2 (en) 2025-04-14

Family

ID=85159824

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021124671A Active JP7660983B2 (en) 2021-07-29 2021-07-29 Karaoke equipment

Country Status (1)

Country Link
JP (1) JP7660983B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246075A (en) 2003-02-13 2004-09-02 Xing Inc Background video supply system of music playback device, music playback device and server
JP2008275936A (en) 2007-04-27 2008-11-13 Daiichikosho Co Ltd Image-compatible music recommendation presentation system
JP2010256643A (en) 2009-04-27 2010-11-11 Daiichikosho Co Ltd Karaoke system with a function to exclude inappropriate acts
JP2010262072A (en) 2009-04-30 2010-11-18 Daiichikosho Co Ltd Karaoke system for digital TV

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4504112B2 (en) * 2004-06-21 2010-07-14 株式会社エクシング Karaoke device and karaoke system
JP2016071186A (en) * 2014-09-30 2016-05-09 ブラザー工業株式会社 Karaoke device and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246075A (en) 2003-02-13 2004-09-02 Xing Inc Background video supply system of music playback device, music playback device and server
JP2008275936A (en) 2007-04-27 2008-11-13 Daiichikosho Co Ltd Image-compatible music recommendation presentation system
JP2010256643A (en) 2009-04-27 2010-11-11 Daiichikosho Co Ltd Karaoke system with a function to exclude inappropriate acts
JP2010262072A (en) 2009-04-30 2010-11-18 Daiichikosho Co Ltd Karaoke system for digital TV

Also Published As

Publication number Publication date
JP2023019726A (en) 2023-02-09

Similar Documents

Publication Publication Date Title
US7786367B2 (en) Music player connection system for enhanced playlist selection
KR101900319B1 (en) Method for interoperably performing service and system supporting the same
CN110932963B (en) Multimedia resource sharing method, system, device, terminal, server and medium
CN106531201B (en) Song recording method and device
JP5964722B2 (en) Karaoke system
US20160034539A1 (en) System and method of managing metadata
JP2016533075A (en) Information acquisition method, apparatus, program, and recording medium
KR102536806B1 (en) Method and system for sharing content on instant messaging application during calls
KR101924205B1 (en) Karaoke system and management method thereof
KR20210037891A (en) System and method for providing karaoke service using mask content
JP5178040B2 (en) Automatic user preference collection system in portable terminal and server device used in the system
JP6422286B2 (en) Karaoke management system
JP7660983B2 (en) Karaoke equipment
CN118870144B (en) Video generation method, device, electronic equipment and storage medium
CN113342444A (en) Method, device, terminal and storage medium for sending greeting card
JP6210220B2 (en) Karaoke equipment
KR20030089981A (en) System for network-based controlling karaoke related to PC and method thereof
JP6289330B2 (en) Video information distribution system and server
JP5665192B2 (en) Karaoke music selection system using personal portable terminal
JP4994921B2 (en) Karaoke system
KR20030008345A (en) Intergrated Entertainment System and Implementation Method Thereof
JP2016177840A (en) Apparatus and method for providing social network service using sound
JP2002006871A (en) Internet karaoke sing-along machine system
JP6185416B2 (en) Karaoke device, program and karaoke system
CN116489463B (en) Multimedia resource recommendation methods, devices, terminals and storage media

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240415

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250401

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250401

R150 Certificate of patent or registration of utility model

Ref document number: 7660983

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150