JP7471752B2

JP7471752B2 - Server device

Info

Publication number: JP7471752B2
Application number: JP2020143600A
Authority: JP
Inventors: 里恵執行
Original assignee: Daiichikosho Co Ltd
Current assignee: Daiichikosho Co Ltd
Priority date: 2020-08-27
Filing date: 2020-08-27
Publication date: 2024-04-22
Anticipated expiration: 2040-08-27
Also published as: JP2022038891A

Description

本発明は、サーバ装置に関する。 The present invention relates to a server device.

サーバ装置には、Ｚｏｏｍ（登録商標）等のオンライン会議アプリケーションを搭載した複数の端末装置と通信可能に接続して、複数の端末装置の間のオンライン会議を運用するものがある。換言すれば、上記のオンライン会議用のサーバ装置と複数の端末装置とからオンライン会議システムが構成され、各端末装置の利用者は、このシステムを利用することにより、直接会うことなくオンラインで会議を開催することができる。 Some server devices are communicatively connected to multiple terminal devices equipped with an online conference application such as Zoom (registered trademark) and operate online conferences between the multiple terminal devices. In other words, an online conference system is made up of the above-mentioned server device for online conferences and multiple terminal devices, and by using this system, users of each terminal device can hold an online conference without meeting in person.

また最近では、感染症等の影響を懸念して、利用者が、飲食店に来店したり家に訪問したりすることなく、上記のオンライン会議システムを利用することでオンラインで飲み会を開催する、いわゆるオンライン飲み会が実施されている。オンライン飲み会では、利用者がパーソナルコンピュータや家庭用ゲーム機等に搭載されたアプリケーションを使用することで、利用者同士でオンラインでカラオケを楽しむことがある。 Recently, due to concerns about the effects of infectious diseases, so-called online drinking parties have been held, where users do not have to visit restaurants or homes, but instead use the online conference system described above to hold drinking parties online. In online drinking parties, users may enjoy karaoke online with each other using applications installed on personal computers, home game consoles, etc.

また、特許文献１に記載のテレビ会議システムは、複数の異なる会議場内にそれぞれ設置されるテレビ会議端末と，各テレビ会議端末に対応して設置され、会議場内のユーザが所持する無線送信機から発信される識別コードを検知する無線受信機と、テレビ会議端末及び無線受信機とネットワークを介して接続されるテレビ会議管理装置とを備える。このテレビ会議システムでは、テレビ会議端末を会議室や自宅の書斎、カラオケ店等に設置し、利用者の無線送信機と接続することにより、複数の場所をテレビ会議により接続して遠隔パーティを実現可能にしている。 The videoconferencing system described in Patent Document 1 includes videoconferencing terminals installed in multiple different conference locations, wireless receivers installed corresponding to each videoconferencing terminal and detecting identification codes transmitted from wireless transmitters carried by users in the conference locations, and a videoconferencing management device connected to the videoconferencing terminals and wireless receivers via a network. In this videoconferencing system, videoconferencing terminals are installed in conference rooms, home studies, karaoke stores, etc., and connected to users' wireless transmitters, making it possible to connect multiple locations via videoconferencing and hold remote parties.

特開２００４－３４３１７８号公報JP 2004-343178 A

上記のようなオンライン飲み会が行われれば、利用者の外出が抑制され、感染症等の拡大を抑制することができる。オンライン会議システムでは、オンライン飲み会の中でカラオケを楽しむ機能を拡充することで、オンライン飲み会を促進することができる。 If online drinking parties like the one above are held, it will discourage people from going out, and help curb the spread of infectious diseases. Online conference systems can promote online drinking parties by expanding the functionality to allow people to enjoy karaoke during online drinking parties.

しかしながら、オンライン飲み会でカラオケを楽しむとき、一の利用者（歌唱者）がカラオケを歌唱中に、それを聞いている他の利用者（聴衆）も一緒に歌唱する場合がある。この場合、オンライン会議システムでは、他の利用者の歌唱が歌唱者に送信され、歌唱者は他の利用者の歌唱をうるさく不快に感じるおそれがある。また、他の利用者の歌唱を禁止すると、オンライン飲み会の盛り上がりに水を差すことになる。これにより、利用者がオンライン飲み会でのカラオケを楽しむことができず、カラオケの利用が減少して、オンライン飲み会が促進されなくなるおそれもある。 However, when enjoying karaoke at an online drinking party, there are cases where, while one user (singer) is singing karaoke, other users (audience) who are listening to him/her also start singing along. In this case, the online conference system transmits the singing of the other users to the singer, and the singer may find the singing of the other users loud and unpleasant. Furthermore, prohibiting other users from singing would dampen the excitement of the online drinking party. This could prevent users from enjoying karaoke at the online drinking party, leading to a decrease in the use of karaoke and a lack of promotion of online drinking parties.

本発明の目的は、オンライン飲み会で歌唱者がカラオケを歌唱するときに他の利用者の歌唱によって生じる不快感を抑制することができるオンライン会議用のサーバ装置を提供することである。 The object of the present invention is to provide a server device for online conferences that can suppress the discomfort caused by the singing of other users when a singer sings karaoke at an online drinking party.

上記課題を解決するために、本発明のサーバ装置は、複数の端末装置と通信可能に接続され、前記複数の端末装置の間のオンライン会議を運用するサーバ装置であって、前記オンライン会議中に各端末装置から送信された音声データを受信する受信部と、各端末装置から受信した前記音声データに基づいて、カラオケ演奏の開始及び終了を検出する第１の検出部と、一の端末装置の前記音声データからカラオケ演奏の開始を検出した場合に、当該一の端末装置に対して他の端末装置の前記音声データの送信を中断し、前記一の端末装置の前記音声データからカラオケ演奏の終了を検出した場合に、前記一の端末装置に対する前記他の端末装置の前記音声データの送信を再開するように制御する送信制御部と、を有する。 In order to solve the above problem, the server device of the present invention is a server device that is communicatively connected to a plurality of terminal devices and operates an online conference between the plurality of terminal devices, and has a receiving unit that receives audio data transmitted from each terminal device during the online conference, a first detection unit that detects the start and end of a karaoke performance based on the audio data received from each terminal device, and a transmission control unit that, when the start of a karaoke performance is detected from the audio data of one terminal device, suspends transmission of the audio data of the other terminal devices to the one terminal device, and, when the end of a karaoke performance is detected from the audio data of the one terminal device, controls to resume transmission of the audio data of the other terminal devices to the one terminal device.

本発明によれば、オンライン飲み会で歌唱者がカラオケを歌唱するときに他の利用者の歌唱によって生じる不快感を抑制することができる。 The present invention makes it possible to reduce the discomfort caused by the singing of other users when singing karaoke at an online drinking party.

本発明の第１の実施形態のサーバ装置を備えたオンライン会議システムを示すブロック図である。1 is a block diagram showing an online conference system including a server device according to a first embodiment of the present invention. 本発明の第１の実施形態のサーバ装置の音声データ送信動作を示すフローチャートである。5 is a flowchart showing an audio data transmission operation of the server device according to the first embodiment of the present invention. 本発明の第２の実施形態のサーバ装置を備えたオンライン会議システムを示すブロック図である。FIG. 11 is a block diagram showing an online conference system including a server device according to a second embodiment of the present invention. 本発明の第２の実施形態のサーバ装置の音声データ送信動作を示すフローチャートである。10 is a flowchart showing an audio data transmission operation of a server device according to a second embodiment of the present invention.

（第１の実施形態）
［オンライン会議システム］
以下、本発明の第１の実施形態のオンライン会議用のサーバ装置３を備えたオンライン会議システム１について説明する。図１は、第１の実施形態のオンライン会議システム１の構成を示すブロック図である。図１に示すように、第１の実施形態のオンライン会議システム１は、複数の端末装置２と、オンライン会議用のサーバ装置３とを備えている。複数の端末装置２とサーバ装置３とは、インターネットや移動体通信網等のネットワーク４を介して通信可能に接続される。オンライン会議システム１で実施されるオンライン会議は、複数の端末装置２の利用者が開催するオンライン飲み会等の会合に利用可能である。 First Embodiment
[Online conference system]
Hereinafter, an online conference system 1 including a server device 3 for online conferences according to a first embodiment of the present invention will be described. FIG. 1 is a block diagram showing the configuration of the online conference system 1 according to the first embodiment. As shown in FIG. 1, the online conference system 1 according to the first embodiment includes a plurality of terminal devices 2 and a server device 3 for online conferences. The plurality of terminal devices 2 and the server device 3 are communicatively connected via a network 4 such as the Internet or a mobile communication network. An online conference held by the online conference system 1 can be used for a meeting such as an online drinking party held by users of the plurality of terminal devices 2.

［端末装置］
各端末装置２は、当該端末装置２の周囲の音声及び映像を入力する入力部１０、ネットワーク４を介して音声及び映像を送受信する通信部１１、受信した音声及び映像を出力する出力部１２を備える。各端末装置２は、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ等で構成される。各端末装置２は、オンライン会議を利用する利用者が保有する装置であって、Ｚｏｏｍ（登録商標）等のオンライン会議アプリケーションを搭載（インストール）している。 [Terminal Device]
Each terminal device 2 includes an input unit 10 that inputs audio and video around the terminal device 2, a communication unit 11 that transmits and receives audio and video via the network 4, and an output unit 12 that outputs the received audio and video. Each terminal device 2 is, for example, a smartphone, a tablet terminal, a personal computer, etc. Each terminal device 2 is a device owned by a user who uses online conferences, and has an online conference application such as Zoom (registered trademark) installed on it.

各端末装置２の入力部１０は、音声を集音するマイクを内蔵し、あるいは外部機器のマイクを接続することで、音声の入力機能を実現する。また、入力部１０は、映像を撮影するカメラを内蔵し、あるいは外部機器のカメラを接続することで、映像の入力機能を実現する。 The input unit 10 of each terminal device 2 has a built-in microphone for collecting audio, or is connected to a microphone of an external device, thereby realizing an audio input function. The input unit 10 also has a built-in camera for capturing video, or is connected to a camera of an external device, thereby realizing an image input function.

各端末装置２の通信部１１は、ネットワーク４を介して通信を行うインタフェースである。各端末装置２がオンライン会議アプリケーションを起動させると、通信部１１は、サーバ装置３と通信可能に接続される。このとき、各端末装置２は、例えばサーバ装置３に展開される所定の仮想的なルームに参加可能となり、当該ルームに参加している複数の端末装置２の間でオンライン会議を実行する。オンライン会議の実行中では、通信部１１は、入力部１０により入力した音声及び映像をそれぞれ音声データ及び映像データとしてサーバ装置３へ送信する。また、オンライン会議の実行中では、通信部１１は、他の端末装置２によりサーバ装置３へ送信された音声データ及び映像データをサーバ装置３から受信する。 The communication unit 11 of each terminal device 2 is an interface that communicates via the network 4. When each terminal device 2 starts an online conference application, the communication unit 11 is connected to the server device 3 so that it can communicate with the server device 3. At this time, each terminal device 2 can participate in a specific virtual room deployed in the server device 3, for example, and an online conference is held between the multiple terminal devices 2 participating in the room. During the online conference, the communication unit 11 transmits the audio and video input by the input unit 10 to the server device 3 as audio data and video data, respectively. Also, during the online conference, the communication unit 11 receives from the server device 3 the audio data and video data transmitted to the server device 3 by other terminal devices 2.

各端末装置２の出力部１２は、音声を出力するスピーカを内蔵し、あるいは外部機器のスピーカを接続することで、音声の出力機能を実現し、通信部１１によりサーバ装置３から受信した他の端末装置２の音声データを出力する。また、出力部１２は、映像を出力するディスプレイ等の表示装置を内蔵し、あるいは外部機器の表示装置を接続することで、映像の出力機能を実現し、通信部１１によりサーバ装置３から受信した他の端末装置２の映像データを出力する。 The output unit 12 of each terminal device 2 has a built-in speaker for outputting audio or is connected to a speaker of an external device, thereby realizing an audio output function, and outputs audio data of other terminal devices 2 received from the server device 3 via the communication unit 11. The output unit 12 also has a built-in display device such as a display for outputting video or is connected to a display device of an external device, thereby realizing an video output function, and outputs video data of other terminal devices 2 received from the server device 3 via the communication unit 11.

なお、各端末装置２は、カラオケ演奏を実行するカラオケ用アプリケーションを搭載（インストール）していてもよい。オンライン会議アプリケーションの実行中でも、カラオケ用アプリケーションは実行可能である。 Each terminal device 2 may be equipped (installed) with a karaoke application that performs karaoke. The karaoke application can be executed even while the online conference application is running.

［サーバ装置］
サーバ装置３は、オンライン会議アプリケーションを搭載した複数の端末装置２と通信可能に接続して、各端末装置２のオンライン会議アプリケーションを通じて複数の端末装置２の間のオンライン会議を運用する装置である。サーバ装置３は、オンライン会議システム１を運営する管理者等が保有、管理する装置である。サーバ装置３は、例えば上記したように所定の仮想的なルームを展開し、当該ルームに参加している複数の端末装置２の間でオンライン会議を実行する。 [Server device]
The server device 3 is a device that is communicably connected to a plurality of terminal devices 2 equipped with an online conference application, and operates an online conference between the plurality of terminal devices 2 through the online conference application of each terminal device 2. The server device 3 is a device owned and managed by an administrator or the like who operates the online conference system 1. The server device 3 develops, for example, a predetermined virtual room as described above, and executes an online conference between the plurality of terminal devices 2 participating in the room.

サーバ装置３は、制御部２０、記憶部２１及び通信部２２を備える。制御部２０は、ＣＰＵ（Central Processing Unit）等を有して構成され、サーバ装置３を統括制御する。記憶部２１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の記憶媒体を有して構成される。記憶部２１は、サーバ装置３の各部及び各機能を制御するためのプログラムやデータを記憶し、制御部２０が、記憶部２１に記憶されたプログラムやデータに基づいて演算処理を実行することにより、各部及び各機能を制御する。 The server device 3 includes a control unit 20, a memory unit 21, and a communication unit 22. The control unit 20 includes a CPU (Central Processing Unit) and the like, and controls the server device 3. The memory unit 21 includes storage media such as a ROM (Read Only Memory), a RAM (Random Access Memory), and a HDD (Hard Disc Drive). The memory unit 21 stores programs and data for controlling each part and function of the server device 3, and the control unit 20 controls each part and function by executing calculations based on the programs and data stored in the memory unit 21.

通信部２２は、ネットワーク４を介して通信を行うインタフェースであり、オンライン会議アプリケーションを起動させる各端末装置２と通信可能に接続される。通信部２２は、各端末装置２から音声データ及び映像データを受信する受信部２３として機能すると共に、受信した音声データ及び映像データを複数の端末装置２のそれぞれへ送信する送信部２４として機能する。 The communication unit 22 is an interface that communicates via the network 4, and is communicatively connected to each terminal device 2 that launches the online conference application. The communication unit 22 functions as a receiving unit 23 that receives audio data and video data from each terminal device 2, and also functions as a transmitting unit 24 that transmits the received audio data and video data to each of the multiple terminal devices 2.

また、サーバ装置３の制御部２０は、記憶部２１に記憶されたプログラムを実行することにより、第１の検出部２６、第２の検出部２７、記憶制御部２８及び送信制御部２９として動作する。 The control unit 20 of the server device 3 also operates as a first detection unit 26, a second detection unit 27, a memory control unit 28, and a transmission control unit 29 by executing the programs stored in the memory unit 21.

第１の検出部２６は、オンライン会議の音声データに基づいてカラオケ演奏の開始及び終了を検出する。具体的には、第１の検出部２６は、受信部２３により各端末装置２から受信した音声データを解析して、各音声データから音楽データや音声キーワード等を検出する。音楽データは、各端末装置２の音声データから抽出されるカラオケ演奏音であり、例えば、楽曲の前奏区間に対応するカラオケ演奏音がカラオケ演奏開始に対応する。音声キーワードは、各端末装置２の音声データから抽出される会話音声であり、例えば、「カラオケ」、「歌う」、「演奏開始」等がカラオケ演奏開始に対応する。第１の検出部２６は、検出した音楽データや音声キーワード等がカラオケ演奏開始に対応するか否かを判定してカラオケ演奏の開始を検出する。 The first detection unit 26 detects the start and end of a karaoke performance based on the voice data of the online conference. Specifically, the first detection unit 26 analyzes the voice data received from each terminal device 2 by the receiving unit 23, and detects music data, voice keywords, etc. from each voice data. The music data is karaoke performance sounds extracted from the voice data of each terminal device 2, and for example, karaoke performance sounds corresponding to the introductory section of a song correspond to the start of a karaoke performance. The voice keywords are conversational voices extracted from the voice data of each terminal device 2, and for example, "karaoke," "sing," "start playing," etc. correspond to the start of a karaoke performance. The first detection unit 26 detects the start of a karaoke performance by determining whether the detected music data, voice keywords, etc. correspond to the start of a karaoke performance.

第１の検出部２６は、各端末装置２の音声データから少なくとも所定音量以上でカラオケ演奏開始に対応する音楽データ（前奏区間に対応するカラオケ演奏音等）を検出し始めたときに、カラオケ演奏開始を検出する。ここで、所定音量とは、例えば、端末装置２を使用している利用者の会話音量と同等レベルの音量である。カラオケ演奏開始の検出後、第１の検出部２６は、音楽データ又は所定音量以上の音楽データを所定時間以上検出しなくなったときに、カラオケ演奏終了を検出する。第１の検出部２６は、カラオケ演奏開始からカラオケ演奏終了まではカラオケ演奏中と判定する。 The first detection unit 26 detects the start of karaoke performance when it begins to detect music data corresponding to the start of karaoke performance (such as karaoke performance sounds corresponding to the introductory section) at a volume at least equal to or higher than a predetermined volume from the audio data of each terminal device 2. Here, the predetermined volume is, for example, a volume at a level equivalent to the conversation volume of the user using the terminal device 2. After detecting the start of karaoke performance, the first detection unit 26 detects the end of karaoke performance when it no longer detects music data or music data at a volume equal to or higher than the predetermined volume for a predetermined period of time. The first detection unit 26 determines that karaoke performance is in progress from the start of karaoke performance to the end of karaoke performance.

第１の検出部２６は、オンライン会議を実行中の端末装置２のカラオケ用アプリケーションにより出力されるカラオケ演奏音を検出し、あるいは、この端末装置２以外の他の機器（例えば、カラオケ装置、家庭用ゲーム機、家庭用ゲーム機に接続されるテレビ、スマートフォン、タブレット端末、パーソナルコンピュータ等）のカラオケ機能により出力されるカラオケ演奏音を検出してもよい。 The first detection unit 26 detects karaoke performance sounds output by a karaoke application of the terminal device 2 during an online conference, or may detect karaoke performance sounds output by a karaoke function of another device other than the terminal device 2 (e.g., a karaoke device, a home game console, a television connected to a home game console, a smartphone, a tablet terminal, a personal computer, etc.).

なお、第１の検出部２６は、記憶部２１に予め記憶したデータパターンに基づいて、あるいは、外部の人工知能サーバ等によって機械学習された学習モデルに基づいて、各音声データを解析してカラオケ演奏を検出してよい。 The first detection unit 26 may analyze each piece of audio data to detect a karaoke performance based on a data pattern pre-stored in the memory unit 21, or based on a learning model trained by machine learning by an external artificial intelligence server or the like.

また、第１の検出部２６は、カラオケ演奏が検出された音声データを送信した端末装置２を、歌唱者の端末装置２と判定し、その他の端末装置２を聴衆の端末装置２と判定してよい。第１の検出部２６は、一人の歌唱者に対応する端末装置２又は二人以上の歌唱者に対応する端末装置２を判定してよい。また、第１の検出部２６は、歌唱者に対応する一つの端末装置２又は二つ以上の端末装置２を判定してよい。 The first detection unit 26 may determine that the terminal device 2 that transmitted the audio data in which the karaoke performance was detected is the terminal device 2 of the singer, and may determine the other terminal devices 2 as the terminal devices 2 of the audience. The first detection unit 26 may determine that the terminal device 2 corresponds to one singer or that the terminal devices 2 correspond to two or more singers. The first detection unit 26 may determine that one terminal device 2 or that the terminal devices 2 correspond to two or more singers.

第２の検出部２７は、オンライン会議の音声データに基づいてカラオケ歌唱の開始及び終了を検出する。具体的には、第２の検出部２７は、受信部２３により各端末装置２から受信した音声データを解析して、各音声データから歌唱データを検出する。歌唱データは、各端末装置２の音声データから抽出されるカラオケ歌唱音である。第２の検出部２７は、検出した歌唱データがカラオケ歌唱開始に対応するか否かを判定してカラオケ歌唱の開始を検出する。 The second detection unit 27 detects the start and end of karaoke singing based on the audio data of the online conference. Specifically, the second detection unit 27 analyzes the audio data received from each terminal device 2 by the receiving unit 23 and detects singing data from each audio data. The singing data is karaoke singing sounds extracted from the audio data of each terminal device 2. The second detection unit 27 detects the start of karaoke singing by determining whether the detected singing data corresponds to the start of karaoke singing.

第２の検出部２７は、第１の検出部２６によりカラオケ演奏を検出している場合に、各端末装置２の音声データから歌唱データを検出し始めたときに、カラオケ歌唱開始を検出する。カラオケ歌唱開始の検出後、第２の検出部２７は、歌唱データを所定時間以上検出しなくなったとき、又は第１の検出部２６によりカラオケ演奏終了を検出したときに、カラオケ歌唱終了を検出する。第２の検出部２７は、カラオケ歌唱開始からカラオケ歌唱終了まではカラオケ歌唱中と判定する。また、第２の検出部２７は、各端末装置２の音声データから少なくとも所定音量以上の歌唱データを抽出した場合にカラオケ歌唱を検出してもよい。 When the first detection unit 26 detects karaoke performance, the second detection unit 27 detects the start of karaoke singing when it starts to detect singing data from the audio data of each terminal device 2. After detecting the start of karaoke singing, the second detection unit 27 detects the end of karaoke singing when singing data is not detected for a predetermined time or more, or when the first detection unit 26 detects the end of karaoke performance. The second detection unit 27 determines that karaoke singing is in progress from the start of karaoke singing to the end of karaoke singing. The second detection unit 27 may also detect karaoke singing when singing data at least at a predetermined volume or more is extracted from the audio data of each terminal device 2.

なお、第２の検出部２７は、第１の検出部２６によりカラオケ演奏が検出された歌唱者の端末装置２の音声データだけでなく、聴衆の端末装置２の音声データについても、カラオケ歌唱を検出してよい。換言すれば、第２の検出部２７は、カラオケ歌唱を検出した端末装置２が、歌唱者の端末装置２であるか聴衆の端末装置２であるかを判定できる。 The second detection unit 27 may detect karaoke singing not only from the voice data of the terminal device 2 of the singer whose karaoke performance was detected by the first detection unit 26, but also from the voice data of the terminal device 2 of the audience. In other words, the second detection unit 27 can determine whether the terminal device 2 that detected the karaoke singing is the terminal device 2 of the singer or the terminal device 2 of the audience.

また、第２の検出部２７は、記憶部２１に予め記憶したデータパターンに基づいて、あるいは、外部の人工知能サーバ等によって機械学習された学習モデルに基づいて、各音声データを解析してカラオケ歌唱を検出してよい。 The second detection unit 27 may also analyze each piece of audio data to detect karaoke singing based on a data pattern pre-stored in the memory unit 21, or based on a learning model trained by machine learning by an external artificial intelligence server or the like.

記憶制御部２８は、オンライン会議中の複数の端末装置２から通信部２２の受信部２３が受信した音声データを、必要に応じて記憶部２１に記憶するように制御する。また、記憶制御部２８は、記憶部２１に記憶した音声データを、必要に応じて削除するように制御する。 The storage control unit 28 controls the storage unit 21 to store the voice data received by the receiving unit 23 of the communication unit 22 from multiple terminal devices 2 during an online conference as necessary. The storage control unit 28 also controls the storage unit 21 to delete the voice data stored in the storage unit 21 as necessary.

送信制御部２９は、オンライン会議中の複数の端末装置２から通信部２２の受信部２３が受信した音声データ及び映像データを、各端末装置２へ送信するように通信部２２の送信部２４を制御する。具体的には、送信制御部２９は、複数の端末装置２のそれぞれの映像データを各端末装置２へ送信するように制御する。送信制御部２９は、音声送信の通常モードとして、複数の端末装置２のそれぞれの音声データのうち、一の端末装置２から受信した音声データを、当該一の端末装置２へ送信せずに、他の端末装置２のみへ送信するように制御する。 The transmission control unit 29 controls the transmission unit 24 of the communication unit 22 to transmit the audio data and video data received by the reception unit 23 of the communication unit 22 from multiple terminal devices 2 during the online conference to each terminal device 2. Specifically, the transmission control unit 29 controls the transmission of each video data of the multiple terminal devices 2 to each terminal device 2. As a normal mode of audio transmission, the transmission control unit 29 controls the transmission of audio data received from one terminal device 2 among the audio data of the multiple terminal devices 2 to only the other terminal devices 2 without transmitting it to the one terminal device 2.

また、送信制御部２９は、第１の検出部２６により歌唱者の端末装置２の音声データからカラオケ演奏開始を検出している場合には、音声送信の歌唱時モードとして、聴衆の端末装置２の音声データを歌唱者の端末装置２へ送信しないように、すなわち送信中断を行うように制御する。なお、送信制御部２９は、歌唱時モードでは、聴衆の端末装置２に対する音声データの送信は、通常モードと同様である。 When the first detector 26 detects the start of karaoke performance from the voice data of the singer's terminal device 2, the transmission controller 29 controls the voice transmission to a singing mode so that the voice data of the audience's terminal device 2 is not transmitted to the singer's terminal device 2, i.e., the transmission controller 29 interrupts the transmission. In the singing mode, the transmission of voice data to the audience's terminal device 2 is the same as in the normal mode.

カラオケ演奏開始の検出後、このカラオケ演奏を検出している間は、送信制御部２９は、聴衆の端末装置２の音声データについて歌唱者の端末装置２への送信中断を継続するように制御する。そして、送信制御部２９は、第１の検出部２６により歌唱者の端末装置２の音声データからカラオケ演奏終了を検出したとき、聴衆の端末装置２の音声データについて歌唱者の端末装置２への送信中断を解除して、歌唱者の端末装置２への送信を再開するように制御する。 After detecting the start of a karaoke performance, the transmission control unit 29 controls the transmission of the audience's terminal device 2's voice data to the singer's terminal device 2 to continue to be suspended while the karaoke performance is being detected. Then, when the first detection unit 26 detects the end of the karaoke performance from the voice data of the singer's terminal device 2, the transmission control unit 29 controls the transmission of the audience's terminal device 2's voice data to the singer's terminal device 2 to be lifted from the suspension, and the transmission to the singer's terminal device 2 to be resumed.

［オンライン会議における音声データ送信動作］
次に、第１の実施形態において、オンライン会議システム１のオンライン会議におけるサーバ装置３による音声データ送信動作の例について説明する。図２は、第１の実施形態の音声データ送信動作の例を示すフローチャートである。このオンライン会議動作の例では、複数の利用者が、端末装置２Ａ、端末装置２Ｂ、端末装置２Ｃ及び端末装置２Ｄを使用していて、オンライン会議システム１を利用してオンライン飲み会を開催している。図２のフローチャートでは、サーバ装置３に加えて端末装置２Ａと端末装置２Ｂ～２Ｄとが図示され、端末装置２Ｂ～２Ｄはそれぞれ同様のフローを経由する。 [Audio data transmission operation in online conference]
Next, in the first embodiment, an example of a voice data transmission operation by the server device 3 in an online conference of the online conference system 1 will be described. Fig. 2 is a flowchart showing an example of a voice data transmission operation of the first embodiment. In this example of an online conference operation, multiple users use terminal devices 2A, 2B, 2C, and 2D, and hold an online drinking party using the online conference system 1. In the flowchart of Fig. 2, in addition to the server device 3, terminal device 2A and terminal devices 2B to 2D are illustrated, and each of terminal devices 2B to 2D goes through a similar flow.

オンライン飲み会において、端末装置２Ａ～２Ｄは、周囲から入力した音声データをサーバ装置３へ送信している（ステップＳ１、Ｓ２）。 During the online drinking party, the terminal devices 2A to 2D transmit voice data input from the surroundings to the server device 3 (steps S1 and S2).

サーバ装置３の受信部２３は、端末装置２Ａ～２Ｄのそれぞれから音声データを受信する（ステップＳ３）。 The receiving unit 23 of the server device 3 receives the voice data from each of the terminal devices 2A to 2D (step S3).

サーバ装置３の第１の検出部２６は、各端末装置２Ａ～２Ｄのそれぞれの音声データに基づき、音楽データが検出されたか否かを判定して、カラオケ演奏が開始したか否かを検出する（ステップＳ４）。 The first detection unit 26 of the server device 3 determines whether music data has been detected based on the voice data of each of the terminal devices 2A to 2D, and detects whether karaoke performance has started (step S4).

第１の検出部２６がカラオケ演奏の開始を検出していない場合（ステップＳ４：ＮＯ）、サーバ装置３の送信制御部２９は、通常モードとして、一の端末装置２から受信した音声データを他の端末装置２のみへ送信するように制御する。例えば、送信制御部２９は、端末装置２Ａに対して端末装置２Ｂ、２Ｃ、２Ｄの音声データを送信し、端末装置２Ｂに対して端末装置２Ａ、２Ｃ、２Ｄの音声データを送信し、端末装置２Ｃに対して端末装置２Ａ、２Ｂ、２Ｄの音声データを送信し、端末装置２Ｄに対して端末装置２Ａ、２Ｂ、２Ｃの音声データを送信するように制御する（ステップＳ５）。 If the first detector 26 does not detect the start of a karaoke performance (step S4: NO), the transmission controller 29 of the server device 3 controls the normal mode so that the audio data received from one terminal device 2 is transmitted only to the other terminal devices 2. For example, the transmission controller 29 controls the server device 3 to transmit the audio data of terminal devices 2B, 2C, and 2D to terminal device 2A, transmit the audio data of terminal devices 2A, 2C, and 2D to terminal device 2B, transmit the audio data of terminal devices 2A, 2B, and 2D to terminal device 2C, and transmit the audio data of terminal devices 2A, 2B, and 2C to terminal device 2D (step S5).

複数の端末装置２Ａ～２Ｄは、サーバ装置３から各端末装置２Ａ～２Ｄの音声データを受信して、各利用者に向けて出力する（ステップＳ６、Ｓ７）。 The multiple terminal devices 2A-2D receive the voice data of each of the terminal devices 2A-2D from the server device 3 and output it to each user (steps S6, S7).

一方、第１の検出部２６は、例えば、端末装置２Ａの音声データから、所定音量以上でカラオケ演奏開始に対応する音楽データを検出した場合、この端末装置２Ａ及びその利用者（歌唱者）によるカラオケ演奏の開始を検出する。また、第１の検出部２６は、この端末装置２Ａを歌唱者の端末装置２Ａと判定すると共に、他の端末装置２Ｂ～２Ｄを聴衆の端末装置２Ｂ～２Ｄと判定する。 On the other hand, when the first detection unit 26 detects, for example, music data corresponding to the start of a karaoke performance at a volume equal to or greater than a predetermined volume from the audio data of the terminal device 2A, it detects the start of a karaoke performance by this terminal device 2A and its user (singer). The first detection unit 26 also determines that this terminal device 2A is the singer's terminal device 2A, and determines that the other terminal devices 2B to 2D are the audience's terminal devices 2B to 2D.

このように端末装置２Ａのカラオケ演奏の開始が検出された場合（ステップＳ４：ＹＥＳ）、送信制御部２９は、歌唱時モードとして、歌唱者の端末装置２Ａに対する聴衆の端末装置２Ｂ～２Ｄの音声データの送信を中断するように制御する（ステップＳ８）。なお、送信制御部２９は、歌唱時モードでは、聴衆の端末装置２Ｂ～２Ｄに対する音声データの送信はそのまま維持するように制御する（ステップＳ９）。すなわち、送信制御部２９は、端末装置２Ｂに対して端末装置２Ａ、２Ｃ、２Ｄの音声データを送信し、端末装置２Ｃに対して端末装置２Ａ、２Ｂ、２Ｄの音声データを送信し、端末装置２Ｄに対して端末装置２Ａ、２Ｂ、２Ｃの音声データを送信するように制御する。 When the start of karaoke performance on terminal device 2A is detected in this way (step S4: YES), the transmission control unit 29 controls the singing mode so as to suspend the transmission of audio data from the audience's terminal devices 2B to 2D to the singer's terminal device 2A (step S8). Note that in the singing mode, the transmission control unit 29 controls the transmission of audio data to the audience's terminal devices 2B to 2D to be maintained as is (step S9). That is, the transmission control unit 29 controls the transmission of audio data from terminal devices 2A, 2C, and 2D to terminal device 2B, the transmission of audio data from terminal devices 2A, 2B, and 2D to terminal device 2C, and the transmission of audio data from terminal devices 2A, 2B, and 2C to terminal device 2D.

端末装置２Ａの音声データからカラオケ演奏が検出されている間、聴衆の端末装置２Ｂ～２Ｄは、サーバ装置３から各端末装置２Ａ～２Ｄの音声データを受信して、各利用者に向けて出力する（ステップＳ７）。一方、歌唱者の端末装置２Ａは、サーバ装置３から各端末装置２Ｂ～２Ｄの音声データを受信せず、出力しない。 While karaoke performance is being detected from the audio data of terminal device 2A, the audience's terminal devices 2B-2D receive the audio data of each of terminal devices 2A-2D from server device 3 and output it to each user (step S7). On the other hand, the singer's terminal device 2A does not receive or output the audio data of each of terminal devices 2B-2D from server device 3.

また、カラオケ演奏開始の検出後、第１の検出部２６は、カラオケ演奏の開始が検出された歌唱者の端末装置２Ａの音声データに基づき、音楽データを検出しなくなったか否かを判定して、カラオケ演奏が終了したか否かを検出する（ステップＳ４）。 After detecting the start of the karaoke performance, the first detection unit 26 determines whether music data is no longer being detected based on the voice data of the terminal device 2A of the singer whose karaoke performance start was detected, and detects whether the karaoke performance has ended (step S4).

第１の検出部２６がカラオケ演奏の終了を検出していない場合（ステップＳ４：ＹＥＳ）、送信制御部２９は、歌唱時モードを維持し、歌唱者の端末装置２Ａに対する音声データの送信中断を維持するように制御する（ステップＳ８）。 If the first detection unit 26 has not detected the end of the karaoke performance (step S4: YES), the transmission control unit 29 maintains the singing mode and controls the transmission of voice data to the singer's terminal device 2A to remain suspended (step S8).

一方、第１の検出部２６がカラオケ演奏の終了を検出した場合（ステップＳ４：ＮＯ）、送信制御部２９は、歌唱時モードから通常モードへと戻して、歌唱者の端末装置２Ａに対する音声データの送信を中断前の状態に戻して聴衆の端末装置２Ｂ～２Ｄの音声データを送信するように制御する（ステップＳ５）。なお、送信制御部２９は、歌唱者の端末装置２Ａが歌唱時モードであっても、聴衆の端末装置２Ｂ～２Ｄに対する音声データの送信はそのまま維持するように制御する（ステップＳ５）。 On the other hand, if the first detection unit 26 detects the end of the karaoke performance (step S4: NO), the transmission control unit 29 returns from the singing mode to the normal mode, and controls the transmission of voice data to the singer's terminal device 2A to the state before the interruption, so that the voice data of the audience's terminal devices 2B to 2D is transmitted (step S5). Note that the transmission control unit 29 controls the transmission of voice data to the audience's terminal devices 2B to 2D to be maintained as is, even if the singer's terminal device 2A is in the singing mode (step S5).

端末装置２Ａのカラオケ演奏の開始を検出してからカラオケ演奏を検出しなくなり、すなわち、端末装置２Ａのカラオケ演奏の終了を検出した後、複数の端末装置２Ａ～２Ｄは、サーバ装置３から各端末装置２Ａ～２Ｄの音声データを受信して、各利用者に向けて出力する（ステップＳ６、Ｓ７）。 After detecting the start of the karaoke performance on terminal device 2A and then no longer detecting the karaoke performance, i.e., after detecting the end of the karaoke performance on terminal device 2A, the multiple terminal devices 2A-2D receive the voice data of each of terminal devices 2A-2D from server device 3 and output it to each user (steps S6, S7).

なお、上記の第１の実施形態では、送信制御部２９は、第１の検出部２６により歌唱者の端末装置２の音声データからカラオケ演奏を検出したときに、歌唱時モードとして、歌唱者の端末装置２に対する聴衆の端末装置２の音声データの送信を中断する例を説明したが、本発明はこの例に限定されない。例えば、他の実施形態では、送信制御部２９は、第１の検出部２６により歌唱者の端末装置２の音声データからカラオケ演奏を検出すると共に、第２の検出部２７により歌唱者の端末装置２の音声データからカラオケ歌唱を検出している間に、歌唱時モードとして、歌唱者の端末装置２に対する聴衆の端末装置２の音声データの送信を中断するようにしてもよい。 In the above first embodiment, an example has been described in which the transmission control unit 29 suspends the transmission of the voice data of the audience's terminal device 2 to the singer's terminal device 2 as the singing mode when the first detection unit 26 detects karaoke performance from the voice data of the singer's terminal device 2, but the present invention is not limited to this example. For example, in another embodiment, the transmission control unit 29 may suspend the transmission of the voice data of the audience's terminal device 2 to the singer's terminal device 2 as the singing mode while the first detection unit 26 detects karaoke performance from the voice data of the singer's terminal device 2 and the second detection unit 27 detects karaoke singing from the voice data of the singer's terminal device 2.

あるいは、他の実施形態では、送信制御部２９は、第２の検出部２７により聴衆の端末装置２の音声データからカラオケ歌唱を検出している場合に、歌唱時モードとして、全ての聴衆の端末装置２の音声データ又はカラオケ歌唱を検出した聴衆の端末装置２の音声データの送信を中断するようにしてもよい。 Alternatively, in another embodiment, when the second detection unit 27 detects karaoke singing from the audio data of the audience members' terminal devices 2, the transmission control unit 29 may suspend transmission of the audio data of all audience members' terminal devices 2 or the audio data of the audience member's terminal device 2 in which karaoke singing has been detected, as a singing mode.

上記したように、本発明の第１の実施形態のサーバ装置３は、各端末装置２から受信した音声データに基づいて、カラオケ演奏の開始及び終了を検出する第１の検出部２６と、一の端末装置２の音声データからカラオケ演奏の開始を検出した場合に、当該一の端末装置２（すなわち、歌唱者の端末装置２）に対して他の端末装置２（すなわち、聴衆の端末装置２）の音声データの送信を中断し、一の端末装置２の音声データからカラオケ演奏の終了を検出した場合に、一の端末装置２に対する他の端末装置２の音声データの送信を再開するように制御する送信制御部２９と、を有する。 As described above, the server device 3 of the first embodiment of the present invention has a first detection unit 26 that detects the start and end of a karaoke performance based on the audio data received from each terminal device 2, and a transmission control unit 29 that, when detecting the start of a karaoke performance from the audio data of one terminal device 2, suspends the transmission of audio data of the other terminal devices 2 (i.e., the terminal device 2 of the audience) to the one terminal device 2 (i.e., the singer's terminal device 2), and, when detecting the end of the karaoke performance from the audio data of the one terminal device 2, resumes the transmission of the audio data of the other terminal devices 2 to the one terminal device 2.

これにより、複数の端末装置２のオンライン飲み会において、カラオケ演奏が音声データに含まれる端末装置２を歌唱者の端末装置２として認識することができる。そして、歌唱者がカラオケ演奏を開始して歌唱をしている間、歌唱者の端末装置２へは、聴衆の端末装置２の音声データが送信されない。そのため、歌唱者が流したカラオケ演奏に合わせて、聴衆が歌唱を行った場合でも、聴衆の歌唱は、歌唱者の端末装置２で出力されることがないので、歌唱者は、聴衆の歌唱をうるさく不快に感じることがないので、オンライン飲み会でのカラオケをより楽しむことができる。 As a result, in an online drinking party with multiple terminal devices 2, the terminal device 2 whose audio data includes a karaoke performance can be recognized as the singer's terminal device 2. Then, while the singer starts a karaoke performance and is singing, the audio data of the audience's terminal device 2 is not transmitted to the singer's terminal device 2. Therefore, even if the audience sings along with the karaoke performance played by the singer, the audience's singing is not output on the singer's terminal device 2, so the singer does not find the audience's singing noisy or unpleasant, allowing him or her to enjoy karaoke at an online drinking party even more.

このように、本発明のサーバ装置３は、オンライン飲み会で歌唱者がカラオケを歌唱するときに他の利用者の歌唱によって生じる不快感を抑制することができる。また、聴衆は歌唱者を邪魔することがなく歌唱者のカラオケに乗じることができ、歌唱を禁止されないのでオンライン飲み会の盛り上がりに水を差すことがなく、オンライン飲み会でのカラオケをより楽しむことができる。従って、オンライン飲み会でのカラオケの利用を促進して、オンライン飲み会を促進することができる。 In this way, the server device 3 of the present invention can suppress the discomfort caused by the singing of other users when a singer sings karaoke at an online drinking party. In addition, the audience can join in on the singer's karaoke without disturbing the singer, and since singing is not prohibited, the excitement of the online drinking party is not dampened and karaoke at the online drinking party can be enjoyed even more. Therefore, the use of karaoke at online drinking parties can be promoted, and online drinking parties can be promoted.

また、上記したように、第１の実施形態において、第１の検出部２６は、音声データから少なくとも所定音量以上の音楽データを抽出した場合にカラオケ演奏の開始を検出する。これにより、端末装置２の周囲でカラオケ歌唱を目的として流れるカラオケ演奏と、カラオケ歌唱を目的としていないＢＧＭやテレビ等の音楽とを識別することができる。従って、不用意に音声データの送信が中断されることを抑制することができる。 As described above, in the first embodiment, the first detection unit 26 detects the start of a karaoke performance when music data with at least a predetermined volume or more is extracted from the audio data. This makes it possible to distinguish between karaoke performances playing around the terminal device 2 for the purpose of karaoke singing and background music, television music, and other music that is not intended for karaoke singing. This makes it possible to prevent the transmission of audio data from being inadvertently interrupted.

（第２の実施形態）
以下、本発明の第２の実施形態のオンライン会議用のサーバ装置３を備えたオンライン会議システム１について説明する。図３は、第２の実施形態のオンライン会議システム１の構成を示すブロック図である。図３に示すように、第２の実施形態のオンライン会議システム１は、第１の実施形態のオンライン会議システム１と同様に、複数の端末装置２と、オンライン会議用のサーバ装置３とを備えている。第２の実施形態の説明において、第１の実施形態と同一の構成要素には第１の実施形態と同一の符号を付し、その説明を省略する。 Second Embodiment
Hereinafter, an online conference system 1 including a server device 3 for online conferences according to a second embodiment of the present invention will be described. Fig. 3 is a block diagram showing the configuration of the online conference system 1 according to the second embodiment. As shown in Fig. 3, the online conference system 1 according to the second embodiment includes a plurality of terminal devices 2 and a server device 3 for online conferences, similar to the online conference system 1 according to the first embodiment. In the description of the second embodiment, the same components as those in the first embodiment are denoted by the same reference numerals as those in the first embodiment, and the description thereof will be omitted.

第２の実施形態のサーバ装置３は、制御部２０、記憶部２１及び通信部２２を備える。制御部２０は、記憶部２１に記憶されたプログラムを実行することにより、第１の検出部２６、第２の検出部２７、記憶制御部２８及び送信制御部２９に加えて、再生制御部３０として動作する。第２の実施形態において、制御部２０は、歌唱者の音楽データ及び歌唱データと聴衆の歌唱データとを同期して記憶するように各部を制御する。 The server device 3 of the second embodiment includes a control unit 20, a storage unit 21, and a communication unit 22. The control unit 20 executes a program stored in the storage unit 21, thereby operating as a playback control unit 30 in addition to a first detection unit 26, a second detection unit 27, a storage control unit 28, and a transmission control unit 29. In the second embodiment, the control unit 20 controls each unit so that the singer's music data and singing data and the audience's singing data are stored in synchronization.

第２の実施形態の第２の検出部２７は、上記した同期記憶を行う前提として、第１の検出部２６により一の端末装置２（すなわち、歌唱者の端末装置２）の音声データからカラオケ演奏の開始を検出すると共に、第２の検出部２７により一の端末装置２の音声データからカラオケ歌唱の開始を検出した場合に、他の端末装置２（すなわち、聴衆の端末装置２）の音声データに基づいて聴衆のカラオケ歌唱の開始を検出する。すなわち、第２の検出部２７は、オンライン飲み会において歌唱者がカラオケ演奏の下でカラオケ歌唱を行っている場合、上記した同期記憶を行うために、聴衆のカラオケ歌唱を識別して検出する。 In the second embodiment, the second detection unit 27 detects the start of karaoke performance from the voice data of one terminal device 2 (i.e., the singer's terminal device 2) using the first detection unit 26 as a prerequisite for performing the above-mentioned synchronous storage, and when the second detection unit 27 detects the start of karaoke singing from the voice data of one terminal device 2, it detects the start of karaoke singing by the audience based on the voice data of the other terminal device 2 (i.e., the audience's terminal device 2). In other words, when a singer sings karaoke while karaoke is being played at an online drinking party, the second detection unit 27 identifies and detects the karaoke singing by the audience in order to perform the above-mentioned synchronous storage.

このとき、第２の検出部２７は、歌唱者の端末装置２の音声データからカラオケ演奏が検出されている間、聴衆の端末装置２の音声データから検出される歌唱データを、全てカラオケ歌唱として検出してよい。あるいは、第２の検出部２７は、聴衆の端末装置２の音声データから検出される歌唱データが所定音量以上の場合に、その歌唱データをカラオケ歌唱として検出してもよい。 At this time, the second detection unit 27 may detect all singing data detected from the audio data of the audience's terminal device 2 as karaoke singing while karaoke performance is detected from the audio data of the singer's terminal device 2. Alternatively, the second detection unit 27 may detect singing data as karaoke singing when the singing data detected from the audio data of the audience's terminal device 2 is at or above a predetermined volume.

特に、第２の検出部２７は、歌唱者の端末装置２の音声データ及び聴衆の端末装置２の音声データの比較結果が所定条件を満足する場合に、聴衆の端末装置２のカラオケ歌唱の開始を検出するようにしてもよい。第２の検出部２７は、歌唱者の端末装置２の音声データに含まれる音楽データ（すなわち、カラオケ演奏音）及び歌唱データと、聴衆の端末装置２の音声データに含まれる歌唱データとを比較する。このとき、第２の検出部２７は、同じ演奏区間（歌唱区間）を比較するように、歌唱者の音楽データ及び歌唱データと聴衆の歌唱データを取得する。 In particular, the second detection unit 27 may detect the start of karaoke singing on the audience's terminal device 2 when a comparison result between the voice data of the singer's terminal device 2 and the voice data of the audience's terminal device 2 satisfies a predetermined condition. The second detection unit 27 compares the music data (i.e., karaoke performance sound) and singing data contained in the voice data of the singer's terminal device 2 with the singing data contained in the voice data of the audience's terminal device 2. At this time, the second detection unit 27 acquires the singer's music data and singing data and the audience's singing data so as to compare the same performance section (singing section).

第２の検出部２７は、例えば、歌唱者の音楽データ及び歌唱データからリズム及び音程を抽出すると共に、聴衆の歌唱データからリズム及び音程を抽出して、歌唱者のリズム及び音程と、聴衆のリズム及び音程とを比較する。そして、第２の検出部２７は、歌唱者のリズム及び音程と、聴衆のリズム及び音程とのマッチング率を算出し、マッチング率が所定閾値（例えば、８０％）以上の場合に、所定条件を満足すると判定するとよい。なお、第２の検出部２７は、マッチング等の比較判定を行った歌唱データの開始時点にさかのぼって、聴衆の端末装置２のカラオケ歌唱の開始を検出するとよい。 The second detection unit 27, for example, extracts rhythm and pitch from the music data and singing data of the singer, and also extracts rhythm and pitch from the singing data of the audience, and compares the singer's rhythm and pitch with those of the audience. The second detection unit 27 then calculates the matching rate between the singer's rhythm and pitch and those of the audience, and determines that the specified conditions are satisfied if the matching rate is equal to or greater than a specified threshold (e.g., 80%). The second detection unit 27 may detect the start of karaoke singing on the audience's terminal device 2 by going back to the start of the singing data where the comparison judgment such as matching was performed.

第２の実施形態の記憶制御部２８は、上記した同期記憶を行う前提として、第１の検出部２６により歌唱者の端末装置２の音声データからカラオケ演奏の開始を検出した場合に、歌唱者の端末装置２の音声データを記憶部２１に記憶する。このとき、記憶制御部２８は、第１の検出部２６により歌唱者の端末装置２の音声データからカラオケ演奏の終了を検出するまで、歌唱者の端末装置２の音声データを記憶部２１に記憶する。すなわち、記憶制御部２８は、カラオケ演奏の開始から終了まで、カラオケ演奏の音楽データ及びカラオケ歌唱の歌唱データを記憶部２１に記憶する。 In the second embodiment, the storage control unit 28 stores the voice data of the singer's terminal device 2 in the storage unit 21 when the first detection unit 26 detects the start of a karaoke performance from the voice data of the singer's terminal device 2, assuming that the above-mentioned synchronous storage is performed. At this time, the storage control unit 28 stores the voice data of the singer's terminal device 2 in the storage unit 21 until the first detection unit 26 detects the end of the karaoke performance from the voice data of the singer's terminal device 2. In other words, the storage control unit 28 stores the music data of the karaoke performance and the singing data of the karaoke singing in the storage unit 21 from the start to the end of the karaoke performance.

なお、記憶制御部２８は、常時、端末装置２の音声データを一時的に記憶していて、カラオケ演奏の開始が検出された歌唱者の端末装置２の音声データを演奏開始時点（例えば、前奏区間の開始時点）にさかのぼって記憶部２１に記憶するとよい。 The storage control unit 28 may temporarily store the voice data of the terminal device 2 at all times, and may store the voice data of the terminal device 2 of a singer whose karaoke performance has been detected back to the start of the performance (e.g., the start of the introductory section) in the storage unit 21.

また、記憶制御部２８は、第１の検出部２６及び第２の検出部２７により歌唱者の端末装置２の音声データからカラオケ演奏及びカラオケ歌唱を検出している場合であって、第２の検出部２７により聴衆の端末装置２の音声データからカラオケ歌唱の開始を検出した場合に、聴衆の端末装置２の音声データを記憶部２１に記憶する。 In addition, when the first detection unit 26 and the second detection unit 27 detect karaoke performance and karaoke singing from the voice data of the singer's terminal device 2, and the second detection unit 27 detects the start of karaoke singing from the voice data of the audience's terminal device 2, the memory control unit 28 stores the voice data of the audience's terminal device 2 in the memory unit 21.

なお、記憶制御部２８は、常時、端末装置２の音声データを一時的に記憶していて、カラオケ歌唱の開始が検出された聴衆の端末装置２の音声データを歌唱開始時点にさかのぼって記憶部２１に記憶するとよい。 The memory control unit 28 may temporarily store the audio data of the terminal device 2 at all times, and may store the audio data of the terminal device 2 of an audience member whose karaoke singing has been detected back to the time when singing began in the memory unit 21.

特に、記憶制御部２８は、同じカラオケ演奏での歌唱者の端末装置２の音声データと聴衆の端末装置２の音声データとを同期して同期歌唱データとして記憶部２１に記憶する。換言すれば、記憶制御部２８は、第２の検出部２７により歌唱者の端末装置２の音声データ及び聴衆の端末装置２の音声データの比較結果が所定条件を満足すると判定した場合に、歌唱者の端末装置２の音声データと聴衆の端末装置２の音声データとを同期して記憶部２１に記憶する。 In particular, the storage control unit 28 synchronizes the voice data of the singer's terminal device 2 and the voice data of the audience's terminal device 2 in the same karaoke performance and stores them in the storage unit 21 as synchronized singing data. In other words, when the second detection unit 27 determines that the comparison result between the voice data of the singer's terminal device 2 and the voice data of the audience's terminal device 2 satisfies a predetermined condition, the storage control unit 28 synchronizes the voice data of the singer's terminal device 2 and the voice data of the audience's terminal device 2 and stores them in the storage unit 21.

記憶制御部２８は、歌唱者の端末装置２の音声データと聴衆の端末装置２の音声データとを関連付けて同時再生できるように同期して処理される同期歌唱データとしてもよく、あるいは、歌唱者の端末装置２の音声データと聴衆の端末装置２の音声データとを合成して同期して生成される同期歌唱データとしてもよい。 The memory control unit 28 may process the voice data of the singer's terminal device 2 and the voice data of the audience's terminal device 2 in a synchronized manner so that they can be associated and played back simultaneously, or may generate synchronized singing data by synthesizing the voice data of the singer's terminal device 2 and the voice data of the audience's terminal device 2 to generate synchronized singing data.

なお、記憶制御部２８は、第２の検出部２７による比較結果が所定条件を満足する時間が比較的短い場合には、同期記憶を行わず、一方、所定時間以上満足している場合には、同期歌唱データの記憶を行うようにしてもよい。 The storage control unit 28 may not perform synchronous storage if the time during which the comparison result by the second detection unit 27 satisfies the predetermined condition is relatively short, but may store the synchronous singing data if the condition is satisfied for a period of time or longer.

記憶制御部２８は、例えば、歌唱者の端末装置２の歌唱データの開始時点に、聴衆の端末装置２の歌唱データの開始時点を合わせるように、両音声データを同期して記憶部２１に記憶するとよい。このとき、記憶制御部２８は、第２の検出部２７によるカラオケ歌唱の開始の検出時点や、端末装置２での音声データの入力時点や、端末装置２の音声データのサーバ装置３での受信時点を参照して、歌唱データの開始時点を取得してもよい。 The memory control unit 28 may, for example, synchronize and store both sets of voice data in the memory unit 21 so that the start point of the singing data of the singer's terminal device 2 coincides with the start point of the singing data of the audience's terminal device 2. At this time, the memory control unit 28 may obtain the start point of the singing data by referring to the detection point of the start of karaoke singing by the second detection unit 27, the input point of the voice data at the terminal device 2, or the reception point of the voice data of the terminal device 2 at the server device 3.

ところで、歌唱者は、カラオケ演奏を直接的に聴いているため、カラオケ演奏のリズムに対して遅延時間なくカラオケ歌唱していると解される。一方、聴衆は、カラオケ演奏の音声データが歌唱者の端末装置２からサーバ装置３へ送信された後、サーバ装置３から聴衆の端末装置２へ送信されてから、聴衆の端末装置２から出力されるカラオケ演奏を聴いてカラオケ歌唱することになる。そのため、歌唱者に比べて、聴衆がカラオケ演奏を聴くまでには、少なくとも歌唱者の端末装置２からサーバ装置３への送信時間とサーバ装置３から聴衆の端末装置２への送信時間とに相当する遅延時間が発生することになる。 The singer is considered to be singing karaoke without any delay time to the rhythm of the karaoke performance because the singer listens to the karaoke performance directly. On the other hand, the audience sings karaoke by listening to the karaoke performance output from the audience's terminal device 2 after the audio data of the karaoke performance is transmitted from the singer's terminal device 2 to the server device 3 and then transmitted from the server device 3 to the audience's terminal device 2. Therefore, compared to the singer, there is a delay time at least equivalent to the transmission time from the singer's terminal device 2 to the server device 3 and the transmission time from the server device 3 to the audience's terminal device 2 before the audience can hear the karaoke performance.

すなわち、サーバ装置３では、歌唱者の端末装置２から送信される音楽データ及び歌唱データに比べて、聴衆の歌唱者の端末装置２から送信される歌唱データは、この遅延時間だけ遅れて受信される。従って、第２の検出部２７は、歌唱者の音楽データ及び歌唱データのリズムと、聴衆の歌唱データのリズムとを比較する場合、この遅延時間を取り除いて行うとよい。また、記憶制御部２８は、第２の検出部２７によるカラオケ歌唱の開始の検出時点や、端末装置２の音声データのサーバ装置３での受信時点を同期記憶のために判定する場合、この遅延時間を取り除いて行うとよい。 In other words, the server device 3 receives the singing data transmitted from the terminal device 2 of the audience singer with a delay of this delay time compared to the music data and singing data transmitted from the singer's terminal device 2. Therefore, when the second detection unit 27 compares the rhythm of the singer's music data and singing data with the rhythm of the audience's singing data, it is preferable to remove this delay time. Furthermore, when the storage control unit 28 determines the time when the second detection unit 27 detects the start of karaoke singing or the time when the server device 3 receives the voice data from the terminal device 2 for synchronous storage, it is preferable to remove this delay time.

再生制御部３０は、記憶制御部２８により記憶部２１に記憶した同期歌唱データの再生を制御する。具体的には、再生制御部３０は、歌唱者の端末装置２に表示させるオンライン会議アプリケーションの表示画面に、同期歌唱データの再生要求ボタン等の操作キーを表示する。なお、複数の同期歌唱データが記憶部２１に記憶されている場合、再生要求ボタンは、同期歌唱データを選択可能にしてよい。歌唱者の端末装置２は、再生要求ボタンの操作に応じて再生要求をサーバ装置３へ送信し、サーバ装置３は、歌唱者の端末装置２から再生要求を受信する。 The playback control unit 30 controls the playback of the synchronized singing data stored in the storage unit 21 by the storage control unit 28. Specifically, the playback control unit 30 displays operation keys such as a playback request button for the synchronized singing data on the display screen of the online conference application displayed on the singer's terminal device 2. Note that if multiple synchronized singing data are stored in the storage unit 21, the playback request button may make it possible to select the synchronized singing data. The singer's terminal device 2 transmits a playback request to the server device 3 in response to the operation of the playback request button, and the server device 3 receives the playback request from the singer's terminal device 2.

再生制御部３０は、同期歌唱データが記憶されたオンライン会議中（オンライン飲み会中）に再生要求を受信すると、同期歌唱データを全ての端末装置２に送信する。この場合、通常モードの送信制御部２９は、オンライン会議中の複数の端末装置２のそれぞれの音声データを、各端末装置２へ送信している。そのため、各端末装置２は、オンライン会議中の音声データと同期歌唱データとを受信して合わせて出力部１２で出力する。 When the playback control unit 30 receives a playback request during an online conference (online drinking party) in which the synchronized singing data is stored, it transmits the synchronized singing data to all terminal devices 2. In this case, the transmission control unit 29 in normal mode transmits the voice data of each of the multiple terminal devices 2 during the online conference to each terminal device 2. Therefore, each terminal device 2 receives the voice data and the synchronized singing data during the online conference and outputs them together from the output unit 12.

一方、再生制御部３０は、オンライン会議終了後に再生要求を受信すると、同期歌唱データを歌唱者の端末装置２のみに送信する。そのため、歌唱者の端末装置２のみが、同期歌唱データを受信して出力部１２で出力する。 On the other hand, when the playback control unit 30 receives a playback request after the online conference ends, it transmits the synchronized singing data only to the singer's terminal device 2. Therefore, only the singer's terminal device 2 receives the synchronized singing data and outputs it on the output unit 12.

第２の実施形態において、オンライン会議システム１のオンライン会議におけるサーバ装置３による音声データ送信動作の例について説明する。図４は、第２の実施形態の音声データ送信動作の例を示すフローチャートである。 In the second embodiment, an example of an audio data transmission operation by the server device 3 in an online conference of the online conference system 1 will be described. FIG. 4 is a flowchart showing an example of an audio data transmission operation in the second embodiment.

第２の実施形態の音声データ送信動作は、第１の実施形態の音声データ送信動作と同様に進行し、第１の実施形態の音声データ送信動作との相違点は、サーバ装置３において第２の検出部２７及び記憶制御部２８による同期記憶フロー（ステップＳ１１～Ｓ）を含むことである。 The voice data transmission operation of the second embodiment proceeds in the same manner as the voice data transmission operation of the first embodiment, and differs from the voice data transmission operation of the first embodiment in that it includes a synchronous storage flow (steps S11 to S) by the second detection unit 27 and the storage control unit 28 in the server device 3.

同期記憶フローでは、先ず、第１の検出部２６により端末装置２Ａのカラオケ演奏の開始が検出された場合（ステップＳ４：ＹＥＳ）、記憶制御部２８は、歌唱者の端末装置２Ａの音声データを記憶部２１に記憶する（ステップＳ１１）。また、第２の検出部２７が、聴衆の端末装置２Ｂ～２Ｄの音声データに基づいて、例えば、端末装置２Ｂの聴衆の音声データから歌唱データを検出すると（ステップＳ１２：ＹＥＳ）、記憶制御部２８は、歌唱者の端末装置２Ａの音声データと聴衆の端末装置２Ｂの音声データとを同期して同期歌唱データとして記憶部２１に記憶する（ステップＳ１３）。 In the synchronous storage flow, first, when the first detection unit 26 detects the start of karaoke performance on the terminal device 2A (step S4: YES), the storage control unit 28 stores the voice data of the singer's terminal device 2A in the storage unit 21 (step S11). When the second detection unit 27 detects singing data, for example, from the audience's voice data of terminal device 2B based on the voice data of the audience's terminal devices 2B to 2D (step S12: YES), the storage control unit 28 synchronizes the voice data of the singer's terminal device 2A and the voice data of the audience's terminal device 2B and stores them in the storage unit 21 as synchronous singing data (step S13).

なお、第１の検出部２６が端末装置２Ａのカラオケ演奏の開始を検出してからカラオケ演奏を検出しなくなり、すなわち、カラオケ演奏の終了を検出した場合（ステップＳ４：ＮＯ）、記憶制御部２８は同期記憶を終了する（ステップＳ１４）。 When the first detection unit 26 detects the start of a karaoke performance on the terminal device 2A and then no longer detects the karaoke performance, i.e., detects the end of the karaoke performance (step S4: NO), the storage control unit 28 ends the synchronous storage (step S14).

上記したように、本発明の第２の実施形態のサーバ装置３は、一の端末装置２（歌唱者の端末装置２）の音声データからカラオケ演奏の開始を検出した場合に、当該音声データを記憶部２１に記憶する記憶制御部２８と、一の端末装置２の音声データからカラオケ演奏の開始を検出した場合に、他の端末装置２（聴衆の端末装置２）の音声データに基づいてカラオケ歌唱の開始を検出する第２の検出部２７と、を有する。記憶制御部２８は、他の端末装置２の音声データからカラオケ歌唱の開始を検出した場合に、他の端末装置２の音声データを一の端末装置２の音声データに同期させて記憶部２１に記憶する。 As described above, the server device 3 of the second embodiment of the present invention has a storage control unit 28 that, when it detects the start of karaoke performance from the voice data of one terminal device 2 (the singer's terminal device 2), stores the voice data in the storage unit 21, and a second detection unit 27 that, when it detects the start of karaoke performance from the voice data of the first terminal device 2, detects the start of karaoke singing based on the voice data of another terminal device 2 (the audience's terminal device 2). When it detects the start of karaoke singing from the voice data of the other terminal device 2, the storage control unit 28 stores the voice data of the other terminal device 2 in the storage unit 21 in synchronization with the voice data of the first terminal device 2.

これにより、サーバ装置３は、歌唱者がカラオケ歌唱を行っている間に、聴衆の歌唱を歌唱者へ出力していない場合でも、歌唱者は、カラオケ歌唱の終了後等に、歌唱者と聴衆とのカラオケ歌唱の同期記憶データを再生することが可能となる。カラオケ演奏の終了後であれば、聴衆の歌唱が、歌唱者の歌唱を邪魔することなく、歌唱者はうるさく不快に感じることもない。また、歌唱者の歌唱に対する聴衆の歌唱にハモリが入っていた場合等、歌唱者又は聴衆がカラオケ歌唱の確認を所望することがあり、オンライン飲み会では、同期記憶データの再生を所望する場合がある。このように、歌唱者及び聴衆のカラオケ歌唱の同期記憶データは、カラオケの盛り上がりを高め、カラオケの利用を促進し、更にオンライン飲み会の盛り上がりを高めることができる。 As a result, even if the server device 3 does not output the audience's singing to the singer while the singer is singing karaoke, the singer can play back the synchronized stored data of the karaoke singing between the singer and the audience after the karaoke singing is finished, etc. After the karaoke performance is finished, the audience's singing does not interfere with the singer's singing, and the singer does not feel it is noisy or uncomfortable. In addition, the singer or audience may wish to check the karaoke singing, for example, when the audience's singing harmonizes with the singer's singing, and in an online drinking party, they may wish to play back the synchronized stored data. In this way, the synchronized stored data of the karaoke singing of the singer and the audience can increase the excitement of karaoke, promote the use of karaoke, and further increase the excitement of online drinking parties.

また、上記したように、第２の実施形態において、第２の検出部２７は、一の端末装置２の音声データ及び他の端末装置２の音声データの比較結果が所定条件を満足する場合に、他の端末装置２のカラオケ歌唱の開始を検出する。これにより、聴衆の音声データのうちで、歌唱者のカラオケ歌唱と同時に聴きたいものだけを、カラオケ歌唱と認識して同期記憶させることができる。例えば、歌唱者のカラオケ歌唱に関係のない音楽や邪魔になる音楽等は、同期記憶から除外することができ、カラオケの盛り上がりに関係のある音楽だけを同期記憶させることができる。 Also, as described above, in the second embodiment, the second detection unit 27 detects the start of karaoke singing on one terminal device 2 when the comparison result between the voice data of the one terminal device 2 and the voice data of the other terminal device 2 satisfies a predetermined condition. This makes it possible to recognize as karaoke singing and synchronously store only the voice data of the audience that the audience wants to hear simultaneously with the singer's karaoke singing, among other voice data. For example, music that is unrelated to the singer's karaoke singing or music that is distracting can be excluded from the synchronous storage, and only music that is related to the excitement of karaoke can be synchronously stored.

また、本実施形態では、各端末装置２がオンライン会議アプリケーションを使用することで、サーバ装置３で展開されるオンライン会議に参加する例を説明したが、端末装置２は、オンライン会議アプリケーションに限らず、ブラウザやその他のプログラムやソフトウェアによってオンライン会議に参加してもよい。 In addition, in this embodiment, an example has been described in which each terminal device 2 participates in an online conference held by the server device 3 by using an online conference application, but the terminal device 2 may participate in the online conference not only by using an online conference application, but also by using a browser or other programs or software.

また、本発明は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴うサーバ装置もまた本発明の技術思想に含まれる。 The present invention may be modified as appropriate without going against the gist or concept of the invention as can be read from the claims and the entire specification, and server devices with such modifications are also included in the technical concept of the present invention.

１オンライン会議システム
２端末装置
３サーバ装置
４ネットワーク
１０入力部
１１通信部
１２出力部
２０制御部
２１記憶部
２２通信部
２３受信部
２４送信部
２６第１の検出部
２７第２の検出部
２８記憶制御部
２９送信制御部
３０再生制御部 REFERENCE SIGNS LIST 1 Online conference system 2 Terminal device 3 Server device 4 Network 10 Input unit 11 Communication unit 12 Output unit 20 Control unit 21 Storage unit 22 Communication unit 23 Reception unit 24 Transmission unit 26 First detection unit 27 Second detection unit 28 Storage control unit 29 Transmission control unit 30 Playback control unit

Claims

A server device that is communicably connected to a plurality of terminal devices and that manages an online conference among the plurality of terminal devices,
a receiving unit for receiving voice data transmitted from each terminal device during the online conference;
a first detector for detecting the start and end of a karaoke performance based on the voice data received from each terminal device;
a transmission control unit that, when the start of a karaoke performance is detected from the voice data of one terminal device, suspends transmission of the voice data of the other terminal device to the one terminal device, and, when the end of a karaoke performance is detected from the voice data of the one terminal device, controls so as to resume transmission of the voice data of the other terminal device to the one terminal device.

The server device according to claim 1, characterized in that the first detection unit detects the start of a karaoke performance when music data with a volume at least equal to or greater than a predetermined volume is extracted from the audio data.

a storage control unit that stores the audio data in a storage unit when a start of a karaoke performance is detected from the audio data of the one of the terminal devices;
a second detection unit that detects the start of karaoke singing based on the voice data of the other terminal device when the start of karaoke performance is detected from the voice data of the one terminal device,
The server device according to claim 1 or 2, characterized in that when the memory control unit detects the start of karaoke singing from the audio data of the other terminal device, it stores the audio data of the other terminal device in the memory unit in synchronization with the audio data of the one terminal device.

The server device according to claim 3, characterized in that the second detection unit detects the start of karaoke singing in the other terminal device when a comparison result between the voice data of the one terminal device and the voice data of the other terminal device satisfies a predetermined condition.