JP6944366B2 - カラオケ装置 - Google Patents

Description

本発明はカラオケ装置に関する。

カラオケ装置では、様々な楽曲のカラオケ歌唱を楽しむことができる。楽曲の中には、英語や中国語等、外国語でカラオケ歌唱を行う洋楽曲が含まれている。このため、洋楽曲の歌詞テロップは外国語で表示される。また、洋楽曲の場合、外国語の歌詞テロップと合わせて母国語（たとえば仮名）のルビが表示されるため、外国語の発音に慣れていない利用者であっても洋楽曲のカラオケ歌唱を楽しむことが可能となっている。一方、外国語の発音に長けている利用者や当該外国語を母国語とする利用者の中には、ルビが表示されることでカラオケ歌唱を行い辛いと感じる者もいる。

そこで、カラオケ装置は、リモコン装置等を介してルビを表示／非表示とすることができる。また、特許文献１には、利用者の発音の一致度合いによって、歌詞テロップのルビを表示したり消去したりする技術が開示されている。

特開平９−２４４６６７号公報

ところで、同じ外国語であっても、利用者毎に発音が容易な単語と困難な単語とが存在する。一方、歌詞テロップには複数の単語が含まれているため、これらの単語が混在している可能性が高い。

このような場合に、カラオケ歌唱を行いながら、リモコン装置を介して単語毎にルビの表示をＯＮ／ＯＦＦすることは煩雑である。また、特許文献１に開示された技術は、ある歌唱区間における発音一致度合の判定結果に応じて、次の歌唱区間におけるルビの表示を切り替えるものである。従って、ある歌唱区間に含まれる単語の発音が容易であった場合には、次の歌唱区間におけるルビが表示されない。しかし、次の歌唱区間に発音が困難な単語が含まれる場合、利用者はルビを参照できないため、カラオケ歌唱を行うことが困難となる。

本発明の目的は、外国語の楽曲をカラオケ歌唱する際、利用者に応じて単語毎にルビの表示態様を切り替えることが可能なカラオケ装置を提供することにある。

上記目的を達成するための主たる発明は、外国語の楽曲をカラオケ歌唱した際の発音を評価するための基準情報に基づいて、利用者の歌唱音声信号を評価し、楽曲の歌詞に含まれる単語毎の発音の評価結果を示す発音評価データを取得する評価取得部と、前記利用者が外国語の楽曲をカラオケ歌唱する際、歌詞テロップデータに基づいて外国語の歌詞テロップを表示させ、且つ当該歌詞テロップに含まれる単語毎に、当該利用者の前記発音評価データに応じた表示態様でルビデータに基づく母国語のルビを表示する表示制御部と、を有するカラオケ装置である。
本発明の他の特徴については、後述する明細書及び図面の記載により明らかにする。

本発明によれば、外国語の楽曲をカラオケ歌唱する際、利用者に応じて単語毎にルビの表示態様を切り替えることができる。

実施形態に係るカラオケ装置の構成を示す図である。 実施形態に係る発音評価データの例を示す図である。 実施形態に係る発音評価データの例を示す図である。 実施形態に係る評価結果とルビの表示態様の関係を示す図である。 実施形態に係る歌詞テロップ及びルビの表示例を示す図である。 実施形態に係るカラオケ装置の処理を示すフローチャートである。 実施形態に係るカラオケ装置の処理を示すフローチャートである。

＜第１実施形態＞
図１〜図６Ｂを参照して、本実施形態に係るカラオケ装置１について説明する。

＝＝カラオケ装置＝＝
カラオケ装置１は、利用者が選曲した楽曲のカラオケ演奏、及び利用者がカラオケ歌唱を行うための装置である。図１に示すように、カラオケ装置１は、カラオケ本体１０、スピーカ２０、表示装置３０、マイク４０、及びリモコン装置５０を備える。

スピーカ２０はカラオケ本体１０からの放音信号に基づいて放音するための構成である。表示装置３０はカラオケ本体１０からの信号に基づいて映像や画像を画面に表示するための構成である。マイク４０は利用者の歌唱音声（マイク４０への入力音声）をアナログの歌唱音声信号に変換してカラオケ本体１０に入力するための構成である。

（カラオケ本体のハードウェア）
図１に示すように、カラオケ本体１０は、制御部１１、通信部１２、記憶部１３、音響処理部１４、表示処理部１５及び操作部１６を備える。各構成はインターフェース（図示なし）を介してバスＢに接続されている。

カラオケ本体１０は、選曲された楽曲のカラオケ演奏制御、歌詞や背景画像等の表示制御、マイク４０を通じて入力された歌唱音声信号の処理といった、カラオケ歌唱に関する各種の制御を行う。

制御部１１は、ＣＰＵおよびメモリ（いずれも図示無し）を備える。ＣＰＵは、メモリに記憶された動作プログラムを実行することにより各種の制御機能を実現する。メモリは、ＣＰＵに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶装置である。

通信部１２は、ルーター（図示なし）を介してカラオケ本体１０を通信回線に接続するためのインターフェースを提供する。

記憶部１３は、各種のデータを記憶する大容量の記憶装置であり、たとえばハードディスクドライブなどである。記憶部１３は、カラオケ装置１によりカラオケ演奏を行うための複数の楽曲データを記憶する。

楽曲データは、個々の楽曲を特定するための識別情報（楽曲ＩＤ）が付与されている。楽曲データは、伴奏データ、リファレンスデータ、背景画像データ、歌詞データ、及び属性情報を含む。伴奏データは、カラオケ演奏音の元となるＭＩＤＩ形式のデータである。リファレンスデータは、利用者によるカラオケ歌唱を採点する際の基準として用いられるデータである。リファレンスデータは、ピッチ（音高）データ、音長データ、タイミングデータ等を含む。背景画像データは、カラオケ演奏時に合わせて表示装置３０等に表示される背景画像に対応するデータである。歌詞データは、表示装置３０等に表示させる歌詞（歌詞テロップ）に関するデータである。属性情報は、曲名、歌手名、作詞・作曲者名、及びジャンル等の当該楽曲に関する情報である。

ここで、楽曲の中には歌詞が外国語の楽曲が存在する。外国語は、母国語以外の言語である。たとえば、日本語を母国語とする利用者にとって、英語や中国語でカラオケ歌唱する必要がある楽曲（歌詞が英語や中国語の楽曲）は外国語の楽曲に相当する。

本実施形態における外国語の楽曲の楽曲データは、伴奏データ等の他に、発音リファレンスデータ及びルビデータを含む。なお、外国語の楽曲の歌詞データは、外国語による歌詞テロップを表示するためのデータである。たとえば、英語の楽曲の歌詞データは、複数の英単語により構成されている。

発音リファレンスデータは、外国語の楽曲をカラオケ歌唱した際の発音を評価するためのデータである。発音リファレンスデータは、「基準情報」の一例である。

具体的に、発音リファレンスデータは、楽曲の歌詞に含まれる単語毎の正確な発音を示すデータであり、たとえば、外国語を母国語とする者（以下、「ネイティブ」という場合がある）が発音した音声を変換したデータである。

上述のリファレンスデータは、カラオケ歌唱における音程やリズム等を含めた総合的な歌唱評価の基準として用いられる。一方、発音リファレンスデータは、カラオケ歌唱において発声されたある単語の発音が、ネイティブの発音にどれだけ近似しているかを評価するための基準として用いられる。

ルビデータは、歌詞テロップに対して母国語のルビを付すための文字データである。たとえば、ルビデータは、英語（外国語）の歌詞テロップに対して日本語（母国語）のルビを付すために使用される。

音響処理部１４は、制御部１１の制御に基づき、楽曲に対する演奏の制御およびマイク４０を通じて入力された歌唱音声信号の処理を行う。音響処理部１４は、たとえばＭＩＤＩ音源、ミキサ、アンプ（いずれも図示なし）を含む。制御部１１は、予約された楽曲の伴奏データを、テンポクロック信号に基づいて順次読み出し、ＭＩＤＩ音源に入力する。ＭＩＤＩ音源は、当該伴奏データに基づいて楽音信号を生成する。ミキサは、当該楽音信号およびマイク４０から出力される歌唱音声信号を適当な比率でミキシングしてアンプに出力する。アンプは、ミキサからのミキシング信号を増幅し、放音信号としてスピーカ２０へ出力する。これにより、スピーカ２０からは放音信号に基づくカラオケ演奏音およびマイク４０からの歌唱音声が放音される。

表示処理部１５は、制御部１１の制御に基づき、表示装置３０における各種表示に関する処理を行う。たとえば、表示処理部１５は、カラオケ演奏時における背景画像に歌詞や各種アイコンが重ねられた映像を表示装置３０に表示させる制御を行う。

操作部１６は、パネルスイッチおよびリモコン受信回路などからなり、利用者によるカラオケ装置１のパネルスイッチあるいはリモコン装置５０の操作に応じて選曲信号、演奏中止信号などの操作信号を制御部１１に対して出力する。制御部１１は、操作部１６からの操作信号を検出し、対応する処理を実行する。

リモコン装置５０は、カラオケ本体１０に対する各種操作をおこなうための装置である。利用者はリモコン装置５０を用いて歌唱を希望するカラオケ楽曲の選曲（予約）等を行うことができる。

（カラオケ本体のソフトウェア）
図１に示すように、カラオケ本体１０は、評価取得部１００、及び表示制御部２００を備える。評価取得部１００及び表示制御部２００は、ＣＰＵがメモリに記憶されるプログラムを実行することにより実現される。

［評価取得部］
評価取得部１００は、外国語の楽曲をカラオケ歌唱した際の発音を評価するための基準情報に基づいて、利用者の歌唱音声信号を評価し、楽曲の歌詞に含まれる単語毎の発音の評価結果を示す発音評価データを取得する。

評価結果は、利用者がある単語を発音した際に、どれくらいネイティブと近似した発音ができたかを評価することにより得られる。評価結果は、たとえば、１〜５の５段階（数字が大きいほどネイティブの発音に近似しているとする）の発音レベルとして設定できる。

具体例として、利用者Ａが英語の楽曲Ｘのカラオケ歌唱を行ったとする。この場合、評価取得部１００は、記憶部１３から楽曲Ｘの発音リファレンスデータを読み出し、利用者Ａのカラオケ歌唱により得られた歌唱音声信号と比較して単語毎に発音の評価を行う。たとえば、歌唱音声信号を解析して得られたある単語の特徴パターンが、当該ある単語の発音リファレンスデータに近い場合、評価取得部１００は、当該単語の発音がネイティブと近似した発音であると評価する。この場合、評価取得部１００は、当該単語について発音レベルが高い（上記例であれば数値「５」）という評価結果を設定する。評価取得部１００は、楽曲Ｘに含まれる全ての単語について発音レベルを設定することで、利用者Ａに対する発音評価データを取得する。評価取得部１００は、取得した発音評価データを利用者毎に記憶部１３に記憶させる。図２は、記憶部１３に記憶された利用者Ａの発音評価データの一例である。ここでは、単語毎に、評価結果として「１」〜「５」の発音レベルが設定されている。

また、評価取得部１００は、利用者Ａが外国語のカラオケ歌唱を行う都度、既に記憶されている評価結果の更新・追加を行う。

具体的に、評価取得部１００は、発音評価データに含まれている単語が再度カラオケ歌唱された場合には、当該単語に対する発音の評価結果を更新し、発音評価データに含まれていない新たな単語がカラオケ歌唱された場合には、当該新たな単語に対する発音の評価結果を追加する。

たとえば、図２に示した発音評価データが記憶部１３に記憶されている場合に、利用者Ａが英語の楽曲Ｙのカラオケ歌唱を行ったとする。ここで、楽曲Ｙの中に楽曲Ｘと同じ単語「ｌｏｖｅ」が含まれていた場合、評価取得部１００は、利用者Ａの単語「ｌｏｖｅ」の発音を改めて評価し、既に記憶されている発音レベルの値と異なる場合には、改めて評価された発音レベルの値に更新する。また、楽曲Ｙの中に楽曲Ｘに含まれていない単語「ｄｅａｔｈ」が含まれていた場合、評価取得部１００は、利用者Ａのカラオケ歌唱により得られた歌唱音声信号、及び楽曲Ｙの発音リファレンスデータに基づいて、新たな単語「ｄｅａｔｈ」の発音を評価し、その評価結果を発音レベルの値として図２の発音評価データに追加する（図３参照）。

なお、発音評価データは、外国語毎に取得される。たとえば、利用者Ａが英語の楽曲と中国語の楽曲をカラオケ歌唱した場合、記憶部１３には英語に対する発音評価データと中国語に対する発音評価データが別々に記憶される。また、取得された発音評価データは、歌唱履歴と合わせてサーバ（図示なし）に記憶されることでもよい。

［表示制御部］
表示制御部２００は、表示処理部１５を制御し、カラオケ装置１おける各種表示制御を行う。

本実施形態において、表示制御部２００は、利用者が外国語の楽曲をカラオケ歌唱する際、歌詞テロップデータに基づいて外国語の歌詞テロップを表示させ、且つ当該歌詞テロップに含まれる単語毎に、当該利用者の発音評価データに応じた表示態様でルビデータに基づく母国語のルビを表示する。

たとえば、利用者Ａが外国語の楽曲Ｚをカラオケ歌唱するとする。また、利用者Ａの発音評価データとして図３に示すデータが記憶部１３に記憶されているとする。

表示制御部２００は、記憶部１３から楽曲Ｚの歌詞テロップデータを読み出し、楽曲Ｚのカラオケ演奏に合わせて、表示装置３０に外国語の歌詞テロップを表示させる。また、表示制御部２００は、記憶部１３から楽曲Ｚのルビデータを読み出し、歌詞テロップの表示と合わせてルビを表示させる。

この際、表示制御部２００は、歌詞テロップに含まれる単語が、図３に示す発音評価データに含まれているかどうかを確認する。歌詞テロップに含まれる単語が発音評価データに含まれている場合、表示制御部２００は、当該単語の評価結果に応じた表示態様でルビを表示させる。

評価結果とルビの表示態様の関係は予め設定されている。図４は、評価結果としての発音レベルの値とルビの表示態様の関係を規定したテーブルデータである。図４においては、発音レベルの値が高くなればなるほど（ネイティブに近似した発音をすればするほど）、ルビの表示サイズが小さくなる（発音レベルが最大値の場合、ルビを表示させない）よう設定されている。このようなテーブルデータは、たとえば記憶部１３に記憶されている。

ここで、楽曲Ｚの歌詞テロップに単語「ｐｒｏｍｉｓｅｓ」が含まれているとする。この場合、表示制御部２００は、図３に示す発音評価データから単語「ｐｒｏｍｉｓｅｓ」の発音レベルの値「１」を特定し、図４に示すテーブルデータを参照して発音レベルの値「１」に対応する表示態様を決定する。そして、表示制御部２００は、単語「ｐｒｉｍｉｓｅｓ」のルビ「プロミスィズ」を通常サイズの１．５倍のサイズで表示させる（図５参照）。なお、図５の例では、単語「Ｄｏ」は発音レベルの値が「５」であるため表示されず、単語「ｂｅｌｉｅｖｅ」及び「ｆａｌｓｅ」は発音レベルの値が「３」であるため通常サイズ（１．０倍）で表示され、単語「ｎｏｔ」は発音レベルの値が「４」であるため、通常サイズよりも少し小さいサイズ（０．８倍）で表示されている。

一方、表示制御部２００は、発音評価データに含まれていない新たな単語を歌詞テロップとして表示する場合、所定の表示態様でルビデータに基づくルビを表示する。

所定の表示態様は、予めルビデータにおいて設定されている。たとえば、ルビの表示サイズを変更する場合、所定の表示態様として通常サイズ（１．０倍）が設定される。

なお、表示態様の変更は、ルビの表示サイズの変更に限られない。たとえば、ルビの表示色や輝度を変更することでもよいし、ルビの表示時間や表示タイミングを変更する（発音レベルの値が低い単語は早めに表示する等）ことでもよい。或いは、ルビの字体を変更したり、ルビに下線を付したりすることでもよい。また、これらを組み合わせることで表示態様の変更を行ってもよい。

＝＝カラオケ装置１の動作について＝＝
次に、図６Ａ及び図６Ｂを参照して本実施形態におけるカラオケ装置１の動作の具体例について述べる。

［発音評価データの取得］
図６Ａは、発音評価データを取得する際のカラオケ装置１の動作例を示すフローチャートである。

利用者Ａが英語の楽曲Ｘのカラオケ歌唱を行った場合、カラオケ装置１は、マイク４０を介して得られた音声に基づいて歌唱音声信号を取得する（歌唱音声信号の取得。ステップ１０）。

評価取得部１００は、記憶部１３から楽曲Ｘの発音リファレンスデータを読み出し、ステップ１０で得られた歌唱音声信号と比較することで、楽曲Ｘの歌詞に含まれる単語毎に発音の評価を行う（単語毎に発音を評価。ステップ１１）。ここで、既に利用者Ａの発音評価データが記憶部１３に記憶されている場合（ステップ１２でＹの場合）、評価取得部１００は、発音の評価を行った単語が発音評価データに含まれているかどうかを確認する。

発音の評価を行った単語が発音評価データに含まれていない場合（ステップ１３でＮの場合）、評価取得部１００は当該単語の評価結果を記憶する（評価結果の記憶。ステップ１４）。

一方、発音の評価を行った単語が発音評価データに含まれている場合（ステップ１３でＹの場合）、評価取得部１００は、当該単語に対しする発音の評価に応じて評価結果を更新する（評価結果の更新。ステップ１５）。

なお、利用者Ａの発音評価データが記憶部１３に記憶されていない場合（ステップ１２でＮの場合）、評価取得部１００は当該単語の評価結果を記憶する（発音レベルの記憶。ステップ１４）。

評価取得部１００は、楽曲Ｘに含まれる全ての単語に対して発音の評価結果が得られるまで（ステップ１６でＹの場合）、ステップ１１〜ステップ１５の処理を繰り返し行う。

［ルビの表示］
図６Ｂは、ルビを表示させる際のカラオケ装置１の動作例を示すフローチャートである。この例では、図６Ａに示した処理により、利用者Ａの発音評価データが既に取得されているとする。

利用者Ａが英語の楽曲Ｙのカラオケ歌唱を行う場合、表示制御部２００は、記憶部１３から楽曲Ｙの歌詞テロップデータを読み出し、カラオケ演奏に合わせて表示装置３０に歌詞テロップを表示させる（歌詞テロップの表示。ステップ２０）。

この際、表示制御部２００は、表示される歌詞テロップに含まれる単語が利用者Ａの発音評価データに含まれているかどうかを確認する。表示される歌詞テロップに含まれる単語が利用者Ａの発音評価データに含まれている場合（ステップ２１でＹの場合）、表示制御部２００は、歌詞テロップの表示に合わせて、発音評価データに応じた表示態様でルビを表示させる（発音評価データに応じた表示態様でルビを表示。ステップ２２）。

一方、表示される歌詞テロップに含まれる単語が利用者Ａの発音評価データに含まれていない場合（ステップ２１でＮの場合）、表示制御部２００は、歌詞テロップの表示に合わせて、予め設定された所定の表示態様でルビを表示させる（所定の表示態様でルビを表示。ステップ２３）。

表示制御部２００は、楽曲Ｙの歌詞テロップ及びルビを全て表示するまで（ステップ２４でＹの場合）、ステップ２０〜ステップ２３の処理を繰り返し行う。

以上から明らかなように、本実施形態に係るカラオケ装置１は、外国語の楽曲をカラオケ歌唱した際の発音を評価するための発音リファレンスデータに基づいて、利用者の歌唱音声信号を評価し、楽曲の歌詞に含まれる単語毎の発音の評価結果を示す発音評価データを取得する評価取得部１００と、利用者が外国語の楽曲をカラオケ歌唱する際、歌詞テロップデータに基づいて外国語の歌詞テロップを表示させ、且つ当該歌詞テロップに含まれる単語毎に、当該利用者の発音評価データに応じた表示態様でルビデータに基づく母国語のルビを表示する表示制御部２００と、を有する。

このようなカラオケ装置１によれば、外国語の楽曲をカラオケ歌唱する際、利用者に応じて単語毎にルビの表示態様の切り替えが可能となる。具体的に、カラオケ装置１は、利用者の評価結果（発音レベルの値）に応じて、歌詞テロップに含まれる単語毎にルビの表示態様を切り替えることができる。たとえば、発音が容易な単語についてはルビを表示させないことにより、ルビの表示によりカラオケ歌唱が妨げられるといった状況が生じない。また、発音が困難な単語についてはルビを大きく表示させる等により、ルビが見やすくなり、また発音が困難な単語であることを利用者自身が容易に認識できるため、注意してカラオケ歌唱を行うことができる。更に、予め取得された発音評価データに応じてルビの表示態様を変えるため、発音が困難な単語にも関わらずルビが表示されないといった状況を回避することができる。

また、評価取得部１００は、発音評価データに含まれている単語が再度カラオケ歌唱された場合には、当該単語に対する発音の評価結果を更新し、発音評価データに含まれていない新たな単語がカラオケ歌唱された場合には、当該新たな単語に対する発音の評価結果を追加する。このように、既に評価済みの単語の発音の評価結果を更新することにより、利用者の外国語の上達度を反映してルビの表示態様を変えることができる。また、新たな単語に対する発音の評価結果を追加することにより、表示態様の切り替えが可能なルビを増やすことができる。

また、表示制御部２００は、発音評価データに含まれていない新たな単語を歌詞テロップとして表示する場合、所定の表示態様でルビデータに基づくルビを表示する。このような構成によれば、発音評価データに含まれていない新たな単語がある楽曲をカラオケ歌唱する場合であっても、利用者が参照しやすい適当な表示態様でルビを表示することができる。

＜その他＞
なお、上記実施形態では、歌唱音声信号と発音リファレンスデータとを比較することにより、歌唱評価データを取得する例について述べたが、これに限られない。母国語及び外国語の発音の特徴を分類したパターンデータを含むデータベースを利用することにより、歌唱評価データを取得することができる。この場合、楽曲データは発音リファレンスデータを含む必要が無い。このようなデータベースは、「基本情報」の一例である。

具体的に、カラオケ装置１（記憶部１３）は、日本人が発音した英語の発音の特徴パターンデータ、及びネイティブの発音の特徴パターンデータからなるデータベースを記憶しておく。ここで、利用者Ａが外国語の楽曲Ｘのカラオケ歌唱を行った場合、評価取得部１００は、歌唱音声信号を解析し、単語毎の特徴パターンを抽出する。評価取得部１００は、抽出された特徴パターンをデータベースと比較し、日本語の発音との近似度及びネイティブの発音との近似度に応じて発音レベルの値を設定する。評価取得部１００は、楽曲Ｘに含まれる全ての単語について発音レベルの値を設定することで、利用者Ａの発音評価データを取得する（抽出された特徴パターンとデータベースとの比較処理について、詳細は特開２００１−２８２０９６号公報を参照）。

上記実施形態は、例として提示したものであり、発明の範囲を限定するものではない。上記の構成は、適宜組み合わせて実施することが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ カラオケ装置
１００ 評価取得部
２００ 表示制御部

Claims (4)

1. 外国語の楽曲をカラオケ歌唱した際の発音を評価するための基準情報に基づいて、利用者の歌唱音声信号を評価し、楽曲の歌詞に含まれる単語毎の発音の評価結果を示す発音評価データを取得する評価取得部と、
   前記利用者が外国語の楽曲をカラオケ歌唱する際、歌詞テロップデータに基づいて外国語の歌詞テロップを表示させ、且つ当該歌詞テロップに含まれる単語毎に、当該利用者の前記発音評価データに応じた表示態様でルビデータに基づく母国語のルビを表示する表示制御部と、
   を有するカラオケ装置。
2. 前記評価取得部は、前記発音評価データに含まれている単語が再度カラオケ歌唱された場合には、当該単語に対する発音の評価結果を更新し、前記発音評価データに含まれていない新たな単語がカラオケ歌唱された場合には、当該新たな単語に対する発音の評価結果を追加することを特徴とする請求項１記載のカラオケ装置。
3. 前記表示制御部は、前記発音評価データに含まれていない新たな単語を歌詞テロップとして表示する場合、所定の表示態様で前記ルビデータに基づくルビを表示することを特徴とする請求項１または２記載のカラオケ装置。
4. 前記表示制御部は、前記発音評価データに応じた大きさで前記ルビデータに基づく母国語のルビを表示することを特徴とする請求項１から３のいずれか一つに記載のカラオケ装置。

Images