JP6051075B2 - 通信障害時にデュエット歌唱を継続可能な通信カラオケシステム - Google Patents

Description

本発明は、通信回線を介して通信可能に接続されたサーバー及び複数台のカラオケ装置を有し、デュエット歌唱を行うように構成された通信カラオケシステムに関する。

通信回線を介して通信可能に接続された複数台のカラオケ装置を利用し、デュエット歌唱を行うように構成された通信カラオケシステムが知られている。例えば、特許文献１には、情報管理サーバーを通信回線（通信網）に接続するとともに、この通信回線に利用者の音楽演奏通信装置や携帯電話等も接続することで、遠隔地且つ多拠点でのデュエットや合唱カラオケを実現するシステムが開示されている。

通信回線を用いて映像や音声を送受信する場合、通信の遅延や障害が問題となる。このような問題に対して、特許文献１のシステムでは、過度な遅延を抑制すべく音響信号を他の信号等に優先させて通信回線に配信している。

また、特許文献２には、動画コンテンツの再生中に通信回線（ネットワーク）が切断された場合、自動的に代替の動画コンテンツを再生する技術が開示されている。この技術は、ネットワークの切断時までにバッファリングされた動画コンテンツが再生されることから、リアルタイムのデュエット歌唱を行う通信カラオケシステムに適用することは困難である。

また、特許文献３には、複数曲のボーカル音を記憶させておき、歌唱者の音声が途絶えたときに自動的にボーカル付き演奏に切り替える技術が開示されている。この技術は、楽曲を完全にマスターしていない歌唱者を対象にした技術であることから、デュエット歌唱を行う通信カラオケシステムについて何ら考慮されていない。

特開２００５−７７４８５号公報 特開２００６−２７９５４４号公報 特開平４−２９８７９３号公報

前述のように、デュエット歌唱を行う通信カラオケシステムに関し、通信回線の障害に対する有効な対策は、いまだ提案されていない。本発明は、このような事情に鑑みてなされたものであり、その目的は、通信回線に障害が発生してもデュエット歌唱を継続的に行えるようにすることにある。

前述の目的を達成するため、本発明は、複数のカラオケ装置とサーバーを通信回線で相互に接続し、送信側カラオケ装置での歌唱に基づく歌唱映像データ及び歌唱音声データを前記通信回線を通じて送信し、再生側カラオケ装置で再生することで、或る楽曲のデュエット歌唱を行わせる通信カラオケシステムであって、前記サーバーは、カラオケ楽曲の歌唱に伴って取得された歌唱動画データを、歌唱者を示す利用者ＩＤと前記カラオケ楽曲を示す楽曲ＩＤに対応付けて記憶するものであり、前記再生側カラオケ装置は、前記利用者ＩＤ及び前記楽曲ＩＤに基づいて選択された、前記送信側カラオケ装置の歌唱者による前記或る楽曲の過去の歌唱時の歌唱動画データを、前記サーバーから受信して記憶する歌唱動画データ記憶手段と、前記通信回線における通信障害の有無を判定する障害判定手段と、通信障害有りと判定された場合に、前記歌唱映像データ及び前記歌唱音声データに代えて前記歌唱動画データを再生させる再生制御手段を有することを特徴とする。

本発明によれば、通信障害有りと判定された場合に、再生制御手段により、歌唱動画データ記憶手段に記憶された歌唱動画データが読み出され、送信側カラオケ装置からの歌唱映像データ及び歌唱音声データに代えて再生されるので、歌唱映像データと歌唱音声データを受信できなくてもデュエット歌唱を継続的に行うことができる。そして、再生されている歌唱動画データは歌唱相手のものであるため、デュエット歌唱の雰囲気が損なわれ難い。

前述の通信カラオケシステムにおいて、前記再生側カラオケ装置は、前記障害判定手段によって通信障害有りと判定された後、前記歌唱音声データの再生音量に基づき、通信障害が復旧されたことを判定する復旧判定手段を有し、前記再生制御手段は、通信障害から復旧したと判定された場合に、前記歌唱動画データに代えて前記歌唱映像データ及び前記歌唱音声データを再生させることが好ましい。この通信カラオケシステムでは、通信障害が復旧された場合に、送信側カラオケ装置の歌唱者と再度デュエット歌唱を行うことができる。

前述の通信カラオケシステムにおいて、前記再生側カラオケ装置は、前記障害判定手段によって通信障害有りと判定された後、前記歌唱音声データの再生音量に基づき、通信障害が復旧されたことを判定する復旧判定手段を有し、前記歌唱動画データ記憶手段は、前記歌唱動画データを映像部分と音声部分とに分けて記憶し、前記再生制御手段は、通信障害から復旧したと判定された場合に、前記歌唱動画データの音声部分に代えて前記歌唱音声データを再生させ、前記歌唱動画データの映像部分の再生を継続させることが好ましい。この通信カラオケシステムでは、通信障害が復旧された場合に、送信側カラオケ装置の歌唱者と再度デュエット歌唱を行うことができる。そして、通信障害の原因となりやすい大容量の歌唱映像データについては、通信回線を通じて送受信されないので通信の安定性を高めることができる。

前述の通信カラオケシステムにおいて、前記復旧判定手段は、前記歌唱音声データの再生音量が予め設定された閾値よりも規定時間に亘って大きくなったことを条件に、通信障害から復旧されたと判定することが好ましい。この通信カラオケシステムでは、通信が安定した状態で、送信側カラオケ装置の歌唱者と再度デュエット歌唱を行うことができる。

前述の通信カラオケシステムにおいて、前記障害判定手段は、前記歌唱音声データの再生音量が予め設定された閾値よりも小さくなったことを条件に、前記通信回線を通じて前記送信側カラオケ装置に確認要求を送信し、前記送信側カラオケ装置からの応答を規定時間内に受信できなかった場合に、通信障害有りと判定することが好ましい。この通信カラオケシステムでは、通信障害の有無を確実に判定することができる。

本発明の通信カラオケシステムによれば、通信回線に障害が発生してもデュエット歌唱を継続的に行うことができる。

通信カラオケシステムの概略構成を説明する概念図である。 ホスト装置の構成を説明するブロック図である。 履歴データを説明する概念図である。 カラオケ装置の構成を説明するブロック図である。 カラオケ本体の構成を説明するブロック図である。 音響処理部の構成を説明するブロック図である。 ユーザー端末の構成を説明するブロック図である。 デュエットを行う一対のカラオケ装置が通信回線を介して接続された状態を説明するブロック図である。 通信デュエット時における各カラオケルームの様子を説明する図である。 障害発生時の処理の概略を説明する図である。 再生側カラオケ装置の処理を説明するフローチャートである。 判定音量を説明する図である。

以下、本発明の実施形態について説明する。図１に示す通信カラオケシステムは、ホスト装置１とカラオケ装置２とユーザー端末３とを有している。そして、これらが通信回線４を介して通信可能に接続されている。カラオケ装置２は、例えばカラオケ店ＫＢの各カラオケルームＲＭに設置されている。そして、通信回線４を通じたデュエット歌唱（以下、通信デュエットという）を行う場合、一対のカラオケ装置２，２が通信回線４を介して相互に接続されると共に、ホスト装置１から配信された歌唱動画データが各カラオケ装置２に記憶される。以下、通信カラオケシステムを構成する各装置について説明する。

まず、ホスト装置１について説明する。ホスト装置１は、サーバーとして機能し、顧客情報などの各種情報を蓄積して管理する。図２に示すように、ホスト装置１は、ホスト側制御部１１と、ホスト側通信部１２と、ホスト側記憶部１３とを有している。ホスト側制御部１１は、ホスト装置１における制御の中心となる部分であり、ＣＰＵ１１ａやメモリ１１ｂを有している。ＣＰＵ１１ａは、メモリ１１ｂに記憶された動作プログラムに従って各種の制御を実行する。メモリ１１ｂは、ＣＰＵ１１ａに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶素子である。ホスト側通信部１２は、ホスト装置１を通信回線４に接続するためのインタフェースを提供する。

ホスト側記憶部１３は、大容量の情報を記憶する記憶装置であり、ハードディスクドライブ等によって構成されている。ホスト側記憶部１３の一部領域は、顧客情報記憶領域、歌唱音声データ記憶領域、歌唱映像データ記憶領域、閲覧用動画データ記憶領域として用いられている。

顧客情報記憶領域は、利用者（歌唱者）の個人情報や履歴データが記憶される領域である。例えば図３に示すように、利用者を識別するための利用者ＩＤ、過去に歌唱したカラオケ楽曲を示す楽曲ＩＤ、利用された店舗を示す利用店舗情報、カラオケ楽曲の歌唱日時を示す歌唱日時情報、及び、当該カラオケ楽曲の採点結果を示す採点結果情報等が記憶されている。

図２に示す歌唱音声データ記憶領域及び歌唱映像データ記憶領域は、カラオケ装置２からアップロードされた歌唱音声のデータ（以下歌唱音声データという）及び歌唱映像のデータ（以下歌唱映像データという）が記憶される領域である。これらの歌唱音声データや歌唱映像データは、歌唱動画コンテンツの基となる歌唱動画データである。

歌唱音声データ及び歌唱映像データは、前述の利用者ＩＤ及び楽曲ＩＤと対応付けられた状態で記憶されている。すなわち、ホスト側記憶部１３は、カラオケ楽曲の歌唱に伴って取得された歌唱動画データを、歌唱者を示す利用者ＩＤとカラオケ楽曲を示す楽曲ＩＤに対応付けた状態で蓄積して記憶する歌唱動画データ蓄積手段に相当する。なお、本実施形態において、歌唱音声データはＭＰ３形式のデータが用いられ、歌唱映像データはＭＰＥＧ２形式のデータが用いられている。

閲覧用動画データ記憶領域には、ユーザー端末３に閲覧させるための閲覧用動画データが記憶される。この閲覧用動画データは、ユーザー端末３で再生される歌唱動画コンテンツの基となるデータである。本実施形態の閲覧用動画データは、ＷＭＶ形式やＭＰ４形式の動画データであり、カラオケ装置２からの歌唱動画データ（歌唱音声データと歌唱映像データの組）よりファイルサイズが小さいデータである。この閲覧用動画データは、カラオケ装置２からの歌唱動画データのアップロードに伴って、ホスト側制御部１１が生成する。

次に、カラオケ装置２について説明する。カラオケ装置２は、カラオケ演奏や歌唱採点を行うものであり、例えば図４に示すように、カラオケ本体２１と、スピーカ２２と、モニタ２３と、マイク２４と、ビデオカメラ２５と、リモコン装置２６と、映像用通信端末２７と、音声用通信端末２８とを有している。

カラオケ本体２１は、選択されたカラオケ楽曲の演奏制御、歌詞及び背景映像の表示制御、マイク２４を通じて入力された歌唱音声信号の処理といった、カラオケ歌唱に関する各種の制御を行う部分である。このカラオケ本体２１については、後で詳しく説明する。

スピーカ２２は、カラオケ本体２１に接続されており、カラオケ本体２１からの放音信号に基づいて放音する。モニタ２３もカラオケ本体２１に接続されており、カラオケ本体２１からの映像信号に基づいて映像を画面に表示する。マイク２４もカラオケ本体２１に接続されており、歌唱者の音声をアナログの歌唱音声信号に変換してカラオケ本体２１に入力させる。ビデオカメラ２５もカラオケ本体２１に接続されており、撮影された映像（例えば歌唱中の映像）を歌唱映像データとしてカラオケ本体２１に入力させる。

リモコン装置２６は、カラオケ本体２１との間で情報を送受信するための双方向通信可能な短距離無線通信部を備えており、カラオケ楽曲の予約や歌唱者の利用者ＩＤの取得等は、このリモコン装置２６のインタフェースを介して行う。

カラオケ楽曲の予約時において、歌唱者の利用者ＩＤと楽曲ＩＤを含んだ操作信号がリモコン装置２６から出力されると、本体制御部３１は、その歌唱者の利用者ＩＤと楽曲ＩＤを内部のメモリ３１ｂに格納して演奏処理の待ち行列で管理する。そして、その利用者ＩＤと楽曲ＩＤがホスト装置１に送信される。これらの利用者ＩＤと楽曲ＩＤに基づき、ホスト装置１は、歌唱を行う利用者（歌唱者）と歌唱する楽曲とが対応付けた状態を認識できる。

また、本実施形態のリモコン装置２６は、通信デュエットにおける開始信号を送信する開始信号送信手段としても機能する。詳細は後述するが、この通信カラオケシステムでは、通信デュエットの実行時において、或るカラオケ装置２が親機として機能し、他のカラオケ装置２が子機として機能する。そして、親側のカラオケ装置２が有するリモコン装置２６からの開始信号が、親側のカラオケ本体２１と子側のカラオケ本体２１のそれぞれに送信される。この場合において、親側のカラオケ本体２１に対しては開始信号が直接入力され、子側のカラオケ本体２１に対しては開始信号が近隣のアクセスポイント（図示せず）及び通信回線４（汎用通信回線４Ａ）を介して送信される。

さらに、リモコン装置２６は、ユーザー端末３としても機能する。この場合、リモコン装置２６は、アクセスポイント及び汎用通信回線４Ａを介してホスト装置１に接続される。このため、利用者は、カラオケ店ＫＢに居ながらにしてマイページにアクセスできる。

映像用通信端末２７及び音声用通信端末２８は、通信デュエットが行われる際に、相手側のカラオケ装置２と通信回線４を介して接続される部分であり、ビデオカメラ２５で撮影された歌唱映像データ、及び、マイク２４等を通じて取得された歌唱音声データが送受信される。具体的には、映像用通信端末２７は、映像用通信回線４Ｂを介して歌唱映像データを、相手側のカラオケ装置２が有する映像用通信端末２７と送受信する。同様に、音声用通信端末２８は、音声用通信回線４Ｃを介して歌唱音声データを、相手側のカラオケ装置２が有する音声用通信端末２８と送受信する。これらの映像用通信回線４Ｂ及び音声用通信回線４Ｃでは、接続先となるカラオケ装置２を電話番号やＩＰアドレスなどによって選択できる。

映像用通信端末２７で受信された相手側のカラオケ装置２からの歌唱映像データは、カラオケ本体２１に入力される。同様に、音声用通信端末２８で受信された相手側のカラオケ装置２からの歌唱音声データもまた、カラオケ本体２１に入力される。なお、カラオケ本体２１は、汎用通信回線４Ａを介して相手側のカラオケ本体２１やホスト装置１と通信可能に接続されている。そして、通信デュエット時の歌唱映像データ及び歌唱音声データを除く各種のデータや情報は、汎用通信回線４Ａを介して送受信される。このように、本実施形態の通信カラオケシステムでは、通信デュエット時の歌唱映像データ及び歌唱音声データが、専用の映像用通信回線４Ｂ及び音声用通信回線４Ｃを介して送受信されている。

次に、カラオケ本体２１について詳細に説明する。図５に示すように、カラオケ本体２１は、本体側制御部３１と、本体側通信部３２と、本体側記憶部３３と、音響処理部３４と、表示処理部３５と、映像入力部３６と、操作部３７とを有している。そして、これらの各部がバスＢＳを介して通信可能な状態に接続されている。

本体側制御部３１は、カラオケ本体２１における制御の中心となる部分であり、ＣＰＵ３１ａやメモリ３１ｂを有している。ＣＰＵ３１ａは、メモリ３１ｂに記憶された動作プログラムに従って各種の制御を実行する。例えば、操作部３７からの操作を受け付ける操作入力処理やシーケンサとして動作するシーケンサ処理を行う。メモリ３１ｂは、ＣＰＵ３１ａに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶素子である。本体側通信部３２は、カラオケ本体２１を通信回線４（汎用通信回線４Ａ）に接続するためのインタフェースを提供する。この本体側通信部３２は、本体側制御部３１によって動作が制御される。

本体側記憶部３３は、各種のデータを記憶する大容量の記憶装置であり、例えばハードディスクドライブによって構成されている。この本体側記憶部３３には、例えば、楽曲データ記憶領域、背景映像データ記憶領域、歌唱映像データ記憶領域、歌唱音声データ記憶領域が設けられる。

楽曲データ記憶領域には、リモコン装置２６で選択されたカラオケ楽曲を演奏するための楽曲データが記憶され、背景映像データ記憶領域には、モニタ２３に背景映像を表示させるための背景映像データが記憶される。歌唱映像データ記憶領域には、デュエット相手が過去に歌唱したデュエット対象曲の歌唱映像データが、ホスト装置１からダウンロードされて記憶される。同様に、歌唱音声データ記憶領域には、デュエット相手が過去に歌唱したデュエット対象曲の歌唱音声データが、ホスト装置１からダウンロードされて記憶される。このため、本体側記憶部３３（歌唱映像データ記憶領域，歌唱音声データ記憶領域）は、歌唱動画データ記憶手段に相当する。

音響処理部３４は、カラオケ楽曲に対する演奏の制御、マイク２４を通じて入力された歌唱音声信号の処理、及び、音声用通信端末２８を通じて入力された歌唱音声データの処理を行う部分である。図６に示すように、音響処理部３４は、音声再生部４１、音声レベル調整部４２、音源装置４３、ミキサ４４、及び、アンプ４５を有している。

音声再生部４１は、歌唱音声データ記憶領域に記憶された歌唱音声データに基づく歌唱音声信号（便宜上、動画音声信号という）を生成する部分である。音声レベル調整部４２は、歌唱者の歌唱音声、デュエット相手の歌唱音声、及び、歌唱動画の動画音声（便宜上、歌唱動画音声という）のそれぞれについて、音量を調整する部分である。音声レベル調整部４２には、音声再生部４１からの動画音声信号と、マイク２４からの歌唱音声信号と、音声用通信端末２８からの歌唱音声データとが入力される。そして、音声レベル調整部４２からは、動画音声信号、歌唱音声信号、及び、歌唱音声データのアナログ変換で得られた相手側歌唱音声信号が、音量を調整された状態で出力される。

音源装置４３は、例えばＭＩＤＩ音源などであり、楽曲データに基づいて楽音信号を生成する。ミキサ４４は、音源装置４３及び音声レベル調整部４２から出力される各種信号を適当な比率でミキシングしてアンプ４５に出力する。本実施形態では、動画音声信号、歌唱音声信号、相手側歌唱音声信号、及び、楽音信号が適宜ミキサ４４へ入力される。アンプ４５は、ミキサ４４からのミキシング信号を増幅し、放音信号としてスピーカ２２へ出力する。これにより、スピーカ２２からは放音信号に基づくカラオケ演奏音や歌唱音声が放音される。

図５に示す表示処理部３５は、カラオケ演奏時における背景映像の表示等の制御を行う。カラオケ演奏時において、表示処理部３５には背景映像データが入力されており、この背景映像データのデコードが行われる。そして、表示処理部３５は、デコードで生成された背景映像の映像信号に歌詞テロップを合成し、合成後の映像信号をモニタ２３に出力する。その結果、モニタ２３には、背景映像に歌詞テロップが重ねられた映像が表示される。

また、表示処理部３５は、通信デュエットが行われている際、映像用通信端末２７を介して受信した相手側の歌唱映像データをモニタ２３に表示させる。このとき、モニタ２３の所定位置には、ビデオカメラ２５から直接入力された映像データに基づく映像、すなわち歌唱者の歌唱映像が上書き（スーパーインポーズ）される。

映像入力部３６は、ビデオカメラ２５からの歌唱映像データの取り込み処理を行う部分であり、いわゆるビデオカードで構成されている。この映像入力部３６は、例えば、ビデオカメラ２５及び映像用通信端末２７と接続するための外部インタフェースと、バスＢＳを通じて本体側制御部３１等と接続するための内部インタフェースと、フレームバッファとしてのビデオメモリを有している（何れも図示せず）。

操作部３７は、パネルスイッチやリモコン受信回路などからなっており、利用者によるパネルスイッチやリモコン装置２６の操作に応じた操作信号を本体側制御部３１に対して出力する。本体側制御部３１は、操作入力処理を行うことで操作信号を検出し、対応する処理を実行する。なお、パネルスイッチやリモコン装置２６は、操作を選択するための種々のキースイッチ（図示せず）を備えている。そして、リモコン装置２６を通じた操作により、通信デュエットの実行を選択できる。

次に、ユーザー端末３について説明する。ユーザー端末３は、カラオケの利用者によって操作される通信端末であり、歌唱動画コンテンツを閲覧する際などに操作される。図１に示すように、ユーザー端末３は、パーソナルコンピュータ３Ａ、タブレットコンピュータ３Ｂ、携帯電話機３Ｃなどが含まれる。また、前述したように、リモコン装置２６もユーザー端末３に含まれる。

図７に示すように、ユーザー端末３は、端末側制御部５１と、端末側通信部５２と、端末側記憶部５３と、表示部５４と、入力部５５とを有している。

端末側制御部５１は、ユーザー端末３における制御の中心となる部分であり、ＣＰＵ５１ａやメモリ５１ｂを有している。ＣＰＵ５１ａは、メモリ５１ｂに記憶された動作プログラムに従って各種の制御を実行する。メモリ５１ｂは、ＣＰＵ５１ａに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶素子である。端末側通信部５２は、ユーザー端末３を通信回線４（汎用通信回線４Ａ）に接続するためのインタフェースを提供する。端末側記憶部５３は、各種の情報を記憶する記憶装置であり、不揮発性メモリやハードディスクドライブ等によって構成される。

表示部５４及び入力部５５は、いずれもユーザインタフェースを提供する部分である。表示部５４は、各種メニューや操作用のラジオボタン等を表示する部分であり、例えば液晶表示装置やブラウン管で構成される。入力部５５は、利用者による操作を操作情報として取り込む部分であり、例えばキーボード、マウス、タッチパネルによって構成される。なお、可搬性が要求されるタブレットコンピュータ３Ｂやリモコン装置２６では、表示部５４と入力部５５とが一体化されたタッチパネル付きの液晶表示パネルが好適に用いられる。

次に、上記構成を有する通信カラオケシステムの動作について説明する。このカラオケシステムは、通信デュエットの処理に特徴を有している。このため、通信デュエットの動作を中心に説明を行う。

図８は、通信デュエットを行う一対のカラオケ装置２Ａ，２Ｂが通信回線４（４Ａ〜４Ｃ）を介して接続された状態を説明するブロック図である。通信デュエットの実行時には、一方のカラオケ装置２Ａが親側となり、他方のカラオケ装置２Ｂが子側となる。便宜上、以下の説明では、親側のカラオケ装置２を親側カラオケ装置２Ａといい、子側のカラオケ装置２を子側カラオケ装置２Ｂという。そして、親側カラオケ装置２Ａが備える各部を「親側」の語を付して示し、子側カラオケ装置２Ｂが備える各部を「子側」の語を付して示すこととする。

親側リモコン装置２６Ａや子側リモコン装置２６Ｂの操作によって通信デュエットが選択されると、親側映像用通信端末２７Ａと子側映像用通信端末２７Ｂとが映像用通信回線４Ｂを介して通信可能に接続され、親側音声用通信端末２８Ａと子側音声用通信端末２８Ｂとが音声用通信回線４Ｃを介して通信可能に接続される。これにより、親側ビデオカメラ２５Ａで撮影された映像が子側モニタ２３Ｂで視認可能となり、親側マイク２４Ａで集音された音声が子側スピーカ２２Ｂから放音されるようになる。同様に、子側ビデオカメラ２５Ｂで撮影された映像が親側モニタ２３Ａで視認可能となり、子側マイク２４Ｂで集音された音声が親側スピーカ２２Ａから放音されるようになる。

すなわち、送信側のカラオケ装置２で取得された歌唱映像データ及び歌唱音声データが通信回線４を通じて送信される。そして、再生側のカラオケ装置２が歌唱映像データ及び歌唱音声データを受信し、これらのデータを再生する。なお、親側カラオケ本体２１Ａと子側カラオケ本体２１Ｂとは汎用通信回線４Ａを介して常時通信可能に接続されているので、必要な情報は、汎用通信回線４Ａを介して送受信することができる。

また、通信デュエットが選択されると、親側カラオケ装置２Ａと子側カラオケ装置２Ｂとの間で、通信デュエットの対象となるカラオケ楽曲の楽曲ＩＤ、そのカラオケ装置２を利用している歌唱者歌唱者の利用者ＩＤ、及び、デュエット相手の利用者ＩＤが共有される。そして、これらの情報がホスト装置１に送信される。ホスト装置１は、これらの情報に基づき、選択されたカラオケ楽曲について、各歌唱者が過去に歌唱した際の歌唱動画データ（歌唱映像データと歌唱音声データの組）を選択する。そして、デュエット相手の歌唱動画データを各カラオケ装置２Ａ，２Ｂに配信する。これにより、各カラオケ装置２Ａ，２Ｂにおいて、デュエット相手の歌唱映像データと歌唱音声データが、歌唱映像データ記憶領域と歌唱音声データ記憶領域に記憶される。

その後、各ビデオカメラ２５Ａ，２５Ｂの角度や各マイク２４Ａ，２４Ｂの入力感度等が調整され、通信デュエットが行える状態になったならば、親側リモコン装置２６Ａにより、通信デュエットの開始が指示される。これにより、親側リモコン装置２６Ａから開始信号が送信され、親側カラオケ本体２１Ａと子側カラオケ本体２１Ｂに受信される。本実施形態における開始信号は、親側カラオケ本体２１Ａに対しては直接送信され、子側カラオケ本体２１Ｂに対しては、アクセスポイント及び汎用通信回線４Ａを通じて送信される。そして、開始信号が各カラオケ本体２１Ａ，２１Ｂで受信されると通信デュエットが開始される。すなわち、親側カラオケ本体２１Ａと子側カラオケ本体２１Ｂのそれぞれでカラオケ伴奏が開始される。各歌唱者は、カラオケ伴奏にあわせて歌唱を行うことで、デュエット歌唱を行うことができる。

図９は、通信デュエットの様子を説明する図である。同図に示すように、親側カラオケルームＲＭ（親）では、親側モニタ２３Ａに子側歌唱映像ＸＢと親側歌唱映像ＸＡが表示されている。同様に、子側カラオケルームＲＭ（子）では、子側モニタ２３Ｂに親側歌唱映像ＸＡと子側歌唱映像ＸＢが表示されている。また、親側カラオケルームＲＭ（親）及び子側カラオケルームＲＭ（子）では、親側歌唱音声と子側歌唱音声とが合成された合成音声が親側スピーカ２２Ａ及び子側スピーカ２２Ｂから放音される。このように、通信回線４で接続された一対のカラオケ装置２Ａ，２Ｂで歌唱映像と歌唱音声が共有されることにより、通信デュエットが実現される。

この通信カラオケシステムでは、通信デュエットの実行時に、デュエット相手の歌唱動画データが用いられる。例えば、デュエット相手の歌唱音量等に基づいて通信障害の有無が判定され、通信障害有りと判定された場合に歌唱動画データが代わりに再生される。また、デュエット相手の歌唱音量が規定時間に亘って閾値以上である場合に、歌唱動画データの再生が停止される。

便宜上、以下の説明では、通信デュエットの実行時において、相手側歌唱者の歌唱音声が再生されている状態をデュエットモードといい、相手側歌唱者の歌唱映像や歌唱音声に代えて歌唱動画データが再生されている状態を動画再生モードという。

例えば、図１０に示す例では、時刻ｔ０でデュエット歌唱が開始されている。なお、歌唱開始時点ではデュエットモードに設定されている。そして、時刻ｔ１で相手側の歌唱音声の音量が閾値未満まで低下し、時刻ｔ２で通信障害有りと判定されたことを契機に、動画再生モードに移行する。これにより、デュエット相手の歌唱動画データの再生が、曲の途中からタイミングをあわせて行われる。

その後、時刻ｔ３で相手側の歌唱音声の音量が閾値以上に復帰し、それが時刻ｔ４まで継続していることから通信が安定状態と判断される。これに伴い、デュエットモードに復帰される。すなわち、時刻ｔ４で歌唱動画データを構成する歌唱音声データの再生が停止されると共に、相手側歌唱音声の再生が開始される。なお、歌唱動画データを構成する歌唱映像データについては再生が継続される。その後、時刻ｔ５までデュエット歌唱が行われる。このデュエット歌唱において、時刻ｔ４以降の歌唱音声は通信回線４を通じて受信した歌唱音声データに基づくものであるが、歌唱映像は歌唱映像データを再生したものとなる。

このような制御を行うことで、通信障害によって歌唱音声データを受信できなくても、その期間に亘って歌唱動画データ再生され、デュエット歌唱を継続させることができる。そして、歌唱者は、デュエット歌唱が中断されないので、気分よく歌唱を行うことができる。また、デュエットモードに復帰した後の歌唱映像は、歌唱映像データを再生したものであるので通信負荷が軽減される。

以下、上記の制御を図１１のフローチャートを参照して詳細に説明する。このフローチャートは、デュエット歌唱を行う各カラオケ装置２Ａ，２Ｂの再生側動作を説明するものである。言い換えれば、再生側のカラオケ装置２の動作を説明するものである。

通信デュエットを行うに際し、親側カラオケ装置２Ａの利用者及び子側カラオケ装置２Ｂの利用者（歌唱者）は、事前操作を行う（Ｓ１）。この事前操作では、それぞれ親側リモコン装置２６Ａ及び子側リモコン装置２６Ｂを操作し、各カラオケ装置２Ａ，２Ｂを通信デュエットモードに設定する。この事前操作により、親側映像用通信端末２７Ａと子側映像用通信端末２７Ｂとの間で歌唱映像データが相互に送受信されるとともに、親側音声用通信端末２８Ａと子側音声用通信端末２８Ｂとの間で歌唱音声データが相互に送受信される。また、デュエット歌唱されるカラオケ楽曲が選択され、演奏の準備が行われる。

この事前操作において、各カラオケ装置２Ａ，２Ｂでは、歌唱者の利用者ＩＤと、デュエット歌唱されるカラオケ楽曲の楽曲ＩＤが共有され、ホスト装置１に送信される。ホスト装置１は、受信した利用者ＩＤ及び楽曲ＩＤに基づき、各歌唱者による過去の歌唱で取得された当該カラオケ楽曲の歌唱動画データ（歌唱映像データと歌唱音声データの組）を選択し、相手側歌唱者が歌唱するカラオケ装置２へのダウンロードを開始させる（Ｓ２）。すなわち、親側カラオケ装置２Ａへは、子側カラオケ装置２Ｂの歌唱者による歌唱動画データの送信が開始され、子側カラオケ装置２Ｂへは、親側カラオケ装置２Ａの歌唱者による歌唱動画データの送信が開始される。

歌唱動画データのダウンロードが開始されたならば、各カラオケ装置２Ａ，２Ｂは開始信号の受信を待つ（Ｓ３）。ここで、再生側のカラオケ装置２が親側カラオケ装置２Ａである場合には、親側リモコン装置２６Ａからの開始信号を直接受信する。一方、再生側のカラオケ装置２が子側カラオケ装置２Ｂである場合には、アクセスポイント及び汎用通信回線４Ａを通じて送信されてきた開始信号を受信する。開始信号を受信したならば、歌唱動画データのダウンロードが完了したか否かを判断し、ダウンロードが完了するまで待機する（Ｓ４）。

各歌唱動画データのダウンロード完了を条件に、カラオケ楽曲の演奏が開始される（Ｓ５）。ここでは、本体側制御部３１によるシーケンス制御により、本体側記憶部３３に記憶された楽曲データの読み出しが開始され、音響処理部３４や表示処理部３５に入力される。これにより、各カラオケ装置２Ａ，２Ｂでカラオケ伴奏や歌詞表示が開始される。あわせて、映像や音声が出力されないように、バックグラウンドで歌唱動画データの再生も開始される。

次に、本体側制御部３１は相手側歌唱音声取得手段として機能し、相手側歌唱者の歌唱音声を取得する（Ｓ６）。例えば、音響処理部３４での変換で得られた相手側歌唱音声信号を測定用にサンプリングする。歌唱音声を取得したならば、本体側制御部３１はモード判定手段として機能し、デュエット歌唱のモードを判定する（Ｓ７）。ここでは、デュエットモードと動画再生モードの何れが行われているかを判定する。例えば、本体側制御部３１は、音声レベル調整部４２の動作状況に基づき、相手側歌唱音声信号が出力されている場合にはデュエットモードと判定し、動画音声信号が出力されている場合には動画再生モードと判定する。なお、モードの判定に関しては、この方法に限らず他の方法を用いてもよい。

ステップＳ７のモード判定処理でデュエットモードと判定された場合、本体側制御部３１は音量判定手段として機能し、相手側歌唱音声の音量を判定する（Ｓ８）。例えば、図１２に示すように、歌唱動画音声の音量ＶＬに基づいて設定された障害判定用の第１閾値ＴＨ１と相手側歌唱音声の音量（歌唱音声データの再生音量）とを比較し、相手側歌唱音声の音量が第１閾値ＴＨ１以上であるか否かを判定する。そして、第１閾値ＴＨ１以上である場合には、通信障害は生じていないとして、ステップＳ１４に移行する。一方、第１閾値ＴＨ１未満である場合には、通信障害が生じている可能性があるとして、ステップＳ９の通信障害判定処理に移行する。

なお、第１閾値ＴＨ１は、通信障害の有無を判定する際に用いられることから、歌唱動画音声の音量ＶＬに比べて十分に低い値が設定される。例えば、音量ＶＬの２０〜３０％程度に設定される。この第１閾値ＴＨ１は、音量ＶＬに基づく数値に限られず、一定値に定めてもよい。

通信障害有無の判定処理（Ｓ９）において、本体側制御部３１は障害判定手段として機能し、通信障害の有無を判定する。本実施形態では、各音声用通信端末２８Ａ，２８Ｂから音声用通信回線４Ｃを通じて確認要求（ｐｉｎｇ等）を送信している。その後、相手側のカラオケ装置２からの応答を規定時間内に受信できた場合に通信障害無しと判定し、受信できなかった場合に通信障害有りと判定する。この場合における規定時間は任意に設定することができるが、例えば０．５〜１．０秒に設定される。この程度の時間であれば、デュエット歌唱に大きな支障は来さないと考えられるためである。そして、通信障害無しと判定された場合にはステップＳ１４に移行する。また、通信障害有りと判定された場合には、デュエットモードから動画再生モードへ切り替えられる。すなわち、ダウンロード済みの歌唱動画データが再生される第１モード切替処理（Ｓ１１）に移行する。

第１モード切替処理（Ｓ１１）において、本体側制御部３１は再生制御手段として機能し、相手側歌唱映像及び相手側歌唱音声に代えてダウンロード済みの歌唱動画データを再生させる。ここでは、本体側制御部３１が音響処理部３４と表示処理部３５を制御し、バックグラウンドで再生されていたダウンロード済みの歌唱映像データと歌唱音声データを、フォアグラウンドで再生させる。この第１モード切替処理を行ったならば、ステップＳ１４に移行する。

また、前述したステップＳ７のモード判定処理で動画再生モードと判定された場合、本体側制御部３１は復旧判定手段として機能し、相手側歌唱音声の音量が規定時間に亘って判定音量以上であるかを判定する（Ｓ１２）。例えば、図１２に示すように、歌唱動画音声の音量ＶＬに基づいて設定された復旧判定用の第２閾値ＴＨ２と相手側歌唱音声の音量とを比較し、相手側歌唱音声の音量が第２閾値ＴＨ２以上であるか否かを判定する。

そして、第２閾値ＴＨ２以上であって、この状態が５秒程度継続した場合には、通信障害は復旧したとして、動画再生モードからデュエットモードへ切り替えられる。すなわち、相手側歌唱音声を放音させる第２モード切替処理（Ｓ１３）に移行する。一方、第２閾値ＴＨ２未満である場合、或いは、第２閾値ＴＨ２以上の期間が規定時間に達していない場合には、まだ通信障害から復旧されていないとして、ステップＳ１４に移行する。

なお、第２閾値ＴＨ２は、通信障害からの復旧を判定する際に用いられることから、歌唱動画音声の音量ＶＬに比較的近い値が設定される。例えば、音量ＶＬの６０〜８０％程度に設定される。この第２閾値ＴＨ２もまた、音量ＶＬに基づく数値に限られず、一定値に定めてもよい。

第２モード切替処理（Ｓ１３）においても、本体側制御部３１は再生制御手段として機能し、再生中の歌唱音声データに代えて、音声用通信回線４Ｃを介して受信した相手側歌唱音声を放音させる。このとき、再生中の歌唱音声データについては、再生音量を絞ってバックグラウンドでの再生に移行させる。

なお、歌唱映像に関しては、歌唱映像データを継続して再生させる。これは、通信回線４の安定性を高めるためである。すなわち、通信障害が発生する環境は通信回線４が不安定であると考えられ、専用回線であっても何らかの影響を受ける可能性がある。そこで、大容量の歌唱映像データについては送受信をせず、比較的小容量の歌唱音声データについて送受信を行うようにしている。この第２モード切替処理を行ったならば、ステップＳ１４に移行する。

ステップＳ１４では、カラオケ楽曲が終了したか否かが判断される。例えば、本体側制御部３１は、再生中のカラオケ楽曲に対するシーケンス制御が最後まで行われたか否かを判断する。そして、演奏途中である場合には、前述のステップＳ６に移行し、相手側歌唱音声の取得処理から順に、前述の処理を繰り返し行う。一方、演奏が終了したならば、一連の処理を終了する。

以上の処理を行う本実施形態の通信カラオケシステムによれば、ホスト装置１（サーバー）は、カラオケ楽曲の歌唱に伴って取得された歌唱動画データを、歌唱者を示す利用者ＩＤとカラオケ楽曲を示す楽曲ＩＤに対応付けて記憶するホスト側記憶部１３（歌唱動画データ蓄積手段）を有している。そして、各カラオケ装置２は、利用者ＩＤ及び楽曲ＩＤに基づいて選択された、デュエット相手の歌唱者による或る楽曲の過去の歌唱時の歌唱動画データを、ホスト装置１から受信して記憶する本体側記憶部３３（歌唱動画データ記憶手段）と、通信回線４における通信障害の有無を判定すると共に、通信障害有りと判定された場合に、歌唱映像データ及び歌唱音声データに代えて歌唱動画データを再生させる本体側制御部３１（障害判定手段，再生制御手段）を有しているので、送信側のカラオケ装置２からの歌唱音声データを受信できなくてもデュエット歌唱を継続的に行わせることができる。そして、再生されている歌唱動画データは歌唱相手のものであるため、デュエット歌唱の雰囲気が損なわれ難い。

また、本体側制御部３１（復旧判定手段）は、通信障害有りと判定された後、相手側からの歌唱音声データの再生音量に基づき、この再生音量が予め設定された第２閾値ＴＨ２よりも規定時間に亘って大きくなったことを条件に、通信障害から復旧されたと判定しているので、通信が安定した状態で、相手側のカラオケ装置２の歌唱者と再度デュエット歌唱を行うことができる。

また、本体側記憶部３３（歌唱動画データ記憶手段）は、歌唱動画データを歌唱映像データ（映像部分）と歌唱音声データ（音声部分）とに分けて記憶し、本体側制御部３１（再生制御手段）は、通信障害から復旧したと判定された場合に、本体側記憶部３３に記憶された歌唱音声データに代えて音声用通信回線４Ｃを通じて受信した歌唱音声データを再生させ、本体側記憶部３３に記憶された歌唱動画データの再生を継続させているので、大容量の歌唱映像データについては映像用通信回線４Ｂによる送受信の対象にならず、通信の安定性を高めることができる。

また、本体側制御部３１（障害判定手段）は、相手側からの歌唱音声データの再生音量が予め設定された第１閾値ＴＨ１よりも小さくなったことを条件に、音声用通信回線４Ｃを通じて相手側のカラオケ装置２に確認要求を送信し、このカラオケ装置２からの応答を規定時間内に受信できなかった場合に、通信障害有りと判定しているので、通信障害の有無を確実に判定することができる。

以上の実施形態の説明は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明はその趣旨を逸脱することなく、変更、改良され得ると共に本発明にはその等価物が含まれる。例えば、次のように構成してもよい。

まず、デュエット相手の過去の歌唱動画データに関し、選択されたカラオケ楽曲について複数の歌唱動画データがホスト装置１に蓄積されている場合がある。この場合、歌唱日時に基づき最新の歌唱動画データをカラオケ装置２に配信することが好ましい。このようにすると、現在の歌唱手法に最も近い状態でデュエット歌唱を継続できる。また、採点結果に基づき最も高得点の歌唱動画データをカラオケ装置２に配信してもよい。このようにすると、デュエット相手のベストに近い状態でデュエット歌唱を継続できる。

前述の実施形態では、通信障害が復旧したと判定された後においても、本体側記憶部３３に記憶された歌唱映像データの再生を継続させるものを例示したが、この構成に限られない。例えば、復旧判定後において、歌唱映像データを映像用通信回線４Ｂを通じて送受信させてもよい。

また、歌唱動画データに関し、前述の実施形態では歌唱映像データと歌唱音声データとに分かれたものを例示したが、この構成に限られない。映像と音声が一体化された形式の歌唱動画データを用いてもよい。この場合、容量の比較的小さな閲覧用動画データを用いると、ホスト装置１からの転送時間を短縮化できて好ましい。

通信回線４に関し、前述の実施形態では、映像用通信回線４Ｂと音声用通信回線４Ｃとを専用回線で構成したものを例示したが、これらを汎用回線で構成してもよいし、歌唱映像データ及び歌唱音声データを送受信する通信回線４を専用回線で構成してもよい。

１…ホスト装置，２…カラオケ装置，２Ａ…親側カラオケ装置，２Ｂ…子側カラオケ装置，３…ユーザー端末，３Ａ…パーソナルコンピュータ，３Ｂ…タブレットコンピュータ，３Ｃ…携帯電話機，４…通信回線，４Ａ…汎用通信回線，４Ｂ…映像用通信回線，４Ｃ…音声用通信回線，１１…ホスト側制御部，１１ａ…ＣＰＵ，１１ｂ…メモリ，１２…ホスト側通信部，１３…ホスト側記憶部，２１…カラオケ本体，２１Ａ…親側カラオケ本体，２１Ｂ…子側カラオケ本体，２２…スピーカ，２２Ａ…親側スピーカ，２２Ｂ…子側スピーカ，２３…モニタ，２３Ａ…親側モニタ，２３Ｂ…子側モニタ，２４…マイク，２４Ａ…親側マイク，２４Ｂ…子側マイク，２５…ビデオカメラ，２５Ａ…親側ビデオカメラ，２５Ｂ…子側ビデオカメラ，２６…リモコン装置，２６Ａ…親側リモコン装置，２６Ｂ…子側リモコン装置，２７…映像用通信端末，２７Ａ…親側映像用通信端末，２７Ｂ…子側映像用通信端末，２８…音声用通信端末，２８Ａ…親側音声用通信端末，２８Ｂ…子側音声用通信端末，３１…本体側制御部，３１ａ…ＣＰＵ，３１ｂ…メモリ，３２…本体側通信部，３３…本体側記憶部，３４…音響処理部，３５…表示処理部，３６…映像入力部，３７…操作部，４１…音声再生部，４２…音声レベル調整部，４３…音源装置，４４…ミキサ，４５…アンプ，５１…端末側制御部，５１ａ…ＣＰＵ，５１ｂ…メモリ，５２…端末側通信部，５３…端末側記憶部，５４…表示部，５５…入力部，ＫＢ…カラオケ店，ＲＭ…カラオケルーム，ＸＡ…親側歌唱映像，ＸＢ…子側歌唱映像，ＢＳ…バス

Claims (5)

1. 複数のカラオケ装置とサーバーを通信回線で相互に接続し、送信側カラオケ装置での歌唱に基づく歌唱映像データ及び歌唱音声データを前記通信回線を通じて送信し、再生側カラオケ装置で再生することで、或る楽曲のデュエット歌唱を行わせる通信カラオケシステムであって、
   前記サーバーは、
   カラオケ楽曲の歌唱に伴って取得された歌唱動画データを、歌唱者を示す利用者ＩＤと前記カラオケ楽曲を示す楽曲ＩＤに対応付けて記憶するものであり、
   前記再生側カラオケ装置は、
   前記利用者ＩＤ及び前記楽曲ＩＤに基づいて選択された、前記送信側カラオケ装置の歌唱者による前記或る楽曲の過去の歌唱時の歌唱動画データを、前記サーバーから受信して記憶する歌唱動画データ記憶手段と、
   前記通信回線における通信障害の有無を判定する障害判定手段と、
   通信障害有りと判定された場合に、前記歌唱映像データ及び前記歌唱音声データに代えて前記歌唱動画データを再生させる再生制御手段を有することを特徴とする通信カラオケシステム。
2. 前記再生側カラオケ装置は、前記障害判定手段によって通信障害有りと判定された後、前記歌唱音声データの再生音量に基づき、通信障害が復旧されたことを判定する復旧判定手段を有し、
   前記再生制御手段は、通信障害から復旧したと判定された場合に、前記歌唱動画データに代えて前記歌唱映像データ及び前記歌唱音声データを再生させることを特徴とする請求項１に記載の通信カラオケシステム。
3. 前記再生側カラオケ装置は、前記障害判定手段によって通信障害有りと判定された後、前記歌唱音声データの再生音量に基づき、通信障害が復旧されたことを判定する復旧判定手段を有し、
   前記歌唱動画データ記憶手段は、前記歌唱動画データを映像部分と音声部分とに分けて記憶し、
   前記再生制御手段は、通信障害から復旧したと判定された場合に、前記歌唱動画データの音声部分に代えて前記歌唱音声データを再生させ、前記歌唱動画データの映像部分の再生を継続させることを特徴とする請求項１に記載の通信カラオケシステム。
4. 前記復旧判定手段は、前記歌唱音声データの再生音量が予め設定された閾値よりも規定時間に亘って大きくなったことを条件に、通信障害から復旧されたと判定することを特徴とする請求項２又は３に記載の通信カラオケシステム。
5. 前記障害判定手段は、
   前記歌唱音声データの再生音量が予め設定された閾値よりも小さくなったことを条件に、前記通信回線を通じて前記送信側カラオケ装置に確認要求を送信し、前記送信側カラオケ装置からの応答を規定時間内に受信できなかった場合に、通信障害有りと判定することを特徴とする請求項１から４の何れか１項に記載の通信カラオケシステム。

Images