JP5287782B2 - 歌唱補助装置、及びプログラム - Google Patents

Description

本発明は、楽曲の歌唱を補助する歌唱補助装置、及びプログラムに関する。

従来、楽曲において歌唱されるべき旋律（以下、基準旋律とする）を構成する各構成音を出力するタイミングである発音タイミングが規定された楽曲データに基づいて、基準旋律を演奏すると共に、その楽曲における歌詞を表示し、基準旋律の時間軸に沿った進行に連動して、歌詞の表示色を変更するカラオケ装置が知られている。

この種のカラオケ装置の中には、発音タイミングと、当該発音タイミングに対して発声されたタイミング（以下、発声タイミングとする）との時間差を検出し、その検出した時間差に基づいて、歌詞の表示色を変更するタイミング（以下、変更タイミングとする）を制御するものがある（特許文献１参照）。

すなわち、特許文献１に記載のカラオケ装置では、発声タイミングが発音タイミングに対して遅れていれば、変更タイミングを早くし、発声タイミングが発音タイミングに対して早まれば、変更タイミングを遅くする。

特開２００５−１７３２５６号公報

上述したような特許文献１に記載のカラオケ装置を用いて歌唱する場合、歌唱者は、基準旋律を聞きつつ、楽曲の歌詞の表示を視認して、発音タイミングに発声タイミングを一致させる必要がある。

ところが、楽曲を歌唱する際に発音タイミングと発声タイミングとの間に時間差が生じる歌唱が下手な歌唱者にとって、表示されている楽曲の歌詞を視認することと、演奏されている基準旋律の構成音を聞くこととの両方を実施しながら、発音タイミングに発声タイミングを一致させることは困難である。

つまり、特許文献１に記載のカラオケ装置では、歌唱が下手な歌唱者に、発音タイミングに発声タイミングを一致させて歌唱させることが困難であるという問題がある。
そこで、本発明は、歌唱が下手な歌唱者であっても、発声タイミングを容易に発音タイミングに一致させること可能な歌唱補助装置、及びプログラムを提供することを目的とする。

上記目的を達成するためになされた本発明の歌唱補助装置は、演奏手段と、時間導出手段と、特別音設定手段と、対象特定手段と、強調制御手段とを備えている。
この本発明の歌唱補助装置では、楽曲の楽譜を表し、歌唱されるべき旋律を構成する各構成音を出力する発音タイミング、及び少なくとも一種類の楽器の楽器音を模擬した特定音を出力する出力タイミングが規定された楽曲データに従って、演奏手段が、楽曲を演奏し、その演奏手段での楽曲の演奏中に入力された音声に基づいて、当該演奏中に出力された構成音に対応する発音タイミングである特定タイミングに対する、当該構成音に対して発声が開始されたタイミングである発声タイミングの時間差を表すズレ時間を、時間導出手段が導出する。

その導出されたズレ時間が、予め規定された時間長である規定時間以上であれば、特別音設定手段が、少なくとも、当該ズレ時間に対応する特定タイミング以降に出力される構成音である特別構成音を設定し、対象特定手段が、その設定された各特別構成音の発音タイミングから、当該特別構成音の発音タイミングと同じタイミングとみなせる期間として予め規定された特別時間以内に出力タイミングとなる特定音である対象楽器音を特定すると共に、強調制御手段が、対象特定手段にて特定された対象楽器音が、当該対象楽器音に対応する特別構成音の発音タイミングにて強調して出力されるように制御する強調制御を実行する。

本発明の歌唱補助装置によれば、特別構成音の発音タイミングに対象楽器音が強調して出力されることで、特別構成音の発音タイミングを、楽曲の歌詞を視認させることなく、聴覚のみを用いて、歌唱者に認識させることができる。

この結果、特許文献１に記載のカラオケ装置に比べて、特別構成音の発音タイミングを認識するために必要となる情報が、視覚情報及び聴覚情報の２つから聴覚情報の１つに減少し、歌唱が下手な歌唱者であっても、構成音の発音タイミングに発声タイミングを一致させて歌唱することが容易となる。

本発明の歌唱補助装置における強調制御手段は、請求項２に記載のように、ズレ時間が長いほど、対象楽器音が出力される音量を、当該対象楽器音に対応する特別構成音の発音タイミングにて大きくすることを強調制御として実行しても良い。

このような本発明の歌唱補助装置によれば、ズレ時間が長いほど対象楽器音の音量が大きくなるため、歌唱が下手な歌唱者に、特別構成音の発音タイミングをより確実に認識させることができる。

ところで、通常、特定タイミングと発声タイミングとのズレ時間が長いほど、歌唱者は、歌唱が下手であることが多い。
このため、本発明の歌唱補助装置における特別音設定手段は、請求項３に記載のように、ズレ時間が長いほど、多くの構成音を特別構成音として設定しても良い。このような本発明の歌唱補助装置によれば、歌唱が下手な歌唱者に、より多くの発音タイミングに発声タイミングが一致するように発声させることができる。

さらに、本発明の歌唱補助装置における対象特定手段は、請求項４に記載のように、特別構成音の発音タイミングから特別時間以内に出力タイミングとなる特定音が楽曲データ中に存在しない場合、新たに追加した特定音を対象楽器音としても良い。

このような本発明の歌唱補助装置によれば、全ての特別構成音の発音タイミングに対象楽器音が強調して確実に出力されるため、全ての特別構成音の発音タイミングを、歌唱者に認識させることができる。この結果、当該楽曲を、より歌唱しやすいものとすることができる。

また、本発明の歌唱補助装置において、対象楽器音に対応する楽器は、請求項５に記載のように、楽曲において、リズムを刻む楽器であることが望ましい。
このような楽器の楽器音を対象楽器音とする理由は、歌唱者に、特別構成音の発音タイミングを容易に認識させることができるためである。

なお、本発明は、コンピュータを歌唱補助装置として機能させるためのプログラムであっても良い。
本発明が、このようなプログラムとしてなされている場合、本発明のプログラムは、請求項６に記載されたように、楽曲データに従って、楽曲を演奏する演奏手順と、その楽曲の演奏中に入力された音声に基づいて、特定タイミングに対する、当該構成音の発声タイミングの時間差を表すズレ時間を導出する時間導出手順と、その導出されたズレ時間が規定時間以上であれば、特別構成音を設定する特別音設定手順と、その設定された各特別構成音の発音タイミングから、特別時間以内に出力タイミングとなる特定音である対象楽器音を特定する対象特定手順と、その特定された対象楽器音が、当該対象楽器音に対応する特別構成音の発音タイミングにて強調して出力されるように制御する強調制御を実行する強調制御手順とをコンピュータに実行させる必要がある。

本発明が、このようになされたプログラムであれば、例えば、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータにロードさせて起動することや、必要に応じて通信回線を介してコンピュータに取得させて起動することにより用いることができる。そして、コンピュータに各手順を実行させることで、そのコンピュータを、請求項１に記載された歌唱補助装置として機能させることができる。

実施形態における歌唱補助装置の概略構成を示すブロック図である。 歌唱補助装置の制御部が実行するカラオケ演奏処理の処理手順を示すフローチャートである。 歌唱補助装置の制御部が実行する楽器音強調処理の処理手順を示すフローチャートである。 楽器音強調処理において、対象楽器音を設定する方法の概要を示す説明図である。 楽器音強調処理において、対象楽器音を設定する方法の概要を示す説明図である。

以下に本発明の実施形態を図面と共に説明する。
〈歌唱補助装置の構成について〉
本実施形態の歌唱補助装置は、楽曲の楽譜を表す楽曲データに基づいて演奏される楽曲において、当該楽曲の歌詞に対して歌唱者が発声を開始すべきタイミングである歌出開始タイミングを、歌唱者に認識させるものであり、図１に示すカラオケ装置１０によって構成されている。

図１に示すように、カラオケ装置１０は、入力受付部１１と、表示部１２と、音声入力部１３と、音声出力部１４と、音源モジュール１５と、記憶部１６と、制御部２０とを備えている。

このうち、入力受付部１１は、外部からの操作に従って情報や指令の入力を受け付ける入力機器（例えば、リモコンから情報を受け付ける機器や、機械的なキーから情報を受け付ける機器）である。表示部１２は、画像を表示する表示装置（例えば、液晶ディスプレイやＣＲＴ等）である。また、音声入力部１３は、音声を電気信号に変換して制御部２０に入力する装置（いわゆるマイクロホン）である。音声出力部１４は、制御部２０からの電気信号を音声に変換して出力する装置（いわゆるスピーカ）である。

さらに、音源モジュール１５は、楽曲の楽譜を表す演奏データに基づいて、予め登録された楽器（以下、模擬楽器とする）の楽器音を模擬した音（以下、特定音とする）を出力する装置であり、本実施形態では、周知のＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）音源によって構成されている。一般的に、模擬楽器には、鍵盤楽器（例えば、ピアノやパイプオルガンなど）、弦楽器（例えば、バイオリンやビオラ、ギター、琴など）、打楽器（例えば、ドラムやシンバル、ティンパニー、木琴など）、及び管楽器（例えば、クラリネットやトランペット、フルート、尺八など）が少なくとも含まれている。

また、記憶部１６は、記憶内容を読み書き可能に構成された不揮発性の記憶装置（例えば、ハードディスク装置）である。この記憶部１６には、処理プログラムや楽曲データが少なくとも格納されている。

〈楽曲データの構造について〉
次に、楽曲データは、周知のＭＩＤＩ規格によって表されたデータであり、予め制作された楽曲毎に用意されている。この楽曲データは、当該楽曲データに対応する楽曲（以下、対応楽曲とする）を区別するデータである識別データと、対応楽曲の楽譜を表すデータである楽譜データと、対応楽曲の歌詞を表すデータである歌詞データとを少なくとも有している。

このうち、楽譜データは、対応楽曲にて演奏される楽器の種類毎に用意され、音源モジュール１５が出力する音の内容を表す音符が時間軸に沿って羅列されている。以下、楽譜データの音符に従って、音源モジュール１５が出力する音を特定音ＮＯと称す
具体的に言うと、各楽譜データは、音源モジュール１５が特定音ＮＯ_kそれぞれを出力する期間（いわゆる音符長）、各特定音ＮＯ_kの音高（いわゆるノートオンナンバー）ＮＮ_k、及び特定音ＮＯ_kの強さを表すパラメータ（いわゆるアタック、ベロシティ、ディケイ、リリースレベルなど）が含まれている。

このうち、特定音ＮＯ_kを出力する期間は、音源モジュール１５が当該特定音ＮＯ_kの出力を開始するまでの対応楽曲の演奏開始からの時刻を表す発音タイミング（いわゆるノートオンタイミング）ＯＮ_kと、当該特定音ＮＯ_kの出力を終了するまでの対応楽曲の演奏開始からの時刻を表す終了タイミング（いわゆるノートオフタイミング）ＯＦＦ_kとによって規定されている。

なお、本実施形態では、複数の楽譜データのうち、対応楽曲において歌唱されるべき旋律（以下、基準旋律とする）を構成する特定音（以下、構成音とする）ＮＯｇ_kの音符を羅列した楽譜データをガイドメロディと称す。

また、本実施形態において、添え字ｋは、特定音ＮＯ_kが対応楽曲の演奏開始から何番目に出力されるものであるかを表すインデックス番号である。
〈制御部の構成について〉
次に、制御部２０は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを格納するＲＯＭ２１と、処理プログラムやデータを一時的に格納するＲＡＭ２２と、ＲＯＭ２１やＲＡＭ２２に記憶された処理プログラムに従って各処理（各種演算）を実行するＣＰＵ２３とを少なくとも有した周知のコンピュータを中心に構成されている。

なお、本実施形態では、制御部２０が実行する処理プログラムとして、楽曲データに基づいて対応楽曲を演奏すると共に、その演奏された対応楽曲の歌出開始タイミングから、歌唱者が発声したタイミング（以下、発声タイミング）がズレていれば、特定条件を満たす特定音ＮＯを強調して出力させるものが、予め用意されている。以下、この処理プログラムにて実行される処理をカラオケ演奏処理と称す。

〈カラオケ演奏処理の処理内容について〉
次に、カラオケ装置１０の制御部２０が実行するカラオケ演奏処理について説明する。
このカラオケ演奏処理は、入力受付部１１を介して、本カラオケ演奏処理を起動するための起動指令が入力されると、実行を開始するものである。

そして、図２に示すように、カラオケ演奏処理は、起動されると、入力受付部１１を介して入力された情報によって指定される楽曲に対応する楽曲データ、即ち、歌詞データ及び各模擬楽器についての楽譜データを取得する（Ｓ１１０）。その取得した楽曲データに含まれている各楽譜データに基づいて、構成音ＮＯｇ_k及び各楽譜データに規定された特定音ＮＯ_k（即ち、楽音）を音源モジュール１５に出力させる。これと共に、楽曲データに含まれている歌詞データに基づいて、音源モジュール１５から出力される構成音ＮＯｇ_kに対応する歌詞を表示部１２に表示させる（Ｓ１２０）。

この音源モジュール１５から出力された構成音ＮＯｇ_kに対して、歌唱者が発声した音（以下、歌唱音とする）が、音声入力部１３を介して入力され、その入力された歌唱音を増幅して音声出力部１４から出力する。そして、時間の進行に従って対応楽曲の演奏が進むと、上述した歌出開始タイミングに合致する発音タイミングＯＮｇ_kを有した構成音ＮＯｇ_kが音源モジュール１５から出力される。なお、本実施形態では、歌出開始タイミングとして、歌詞を構成する１つの句における最初の音節が規定されている。

このような構成音ＮＯｇ_kが音源モジュール１５から出力されるとき、当該構成音ＮＯｇ_kの発音タイミング（以下、特定タイミングとする）ＯＮｇ_kと、当該構成音ＮＯｇ_kに対する歌唱音の発声タイミングとを対比して、特定タイミングＯＮｇ_kと歌唱音の発声タイミングとの時間差（以下、ズレ時間とする）を導出する（Ｓ１３０）。具体的に、本実施形態における歌唱音の発声タイミングは、音声入力部１３を介して入力された歌唱音の信号レベルが、予め規定された規定レベル未満から規定レベル以上へと変化したタイミングである。

続いて、Ｓ１３０にて導出されたズレ時間が、予め規定された時間長である規定時間以上であれば（Ｓ１４０：ＹＥＳ）、楽器音強調処理を実行する（Ｓ１５０）。この楽器音強調処理は、少なくとも対応楽曲において特定タイミングＯＮｇ_k以降に出力される構成音（以下、特別構成音）ＮＯｄの発音タイミングＯＮｄと同じタイミングとみなせる発音タイミングＯＮが規定された特定音ＮＯを、上述した特定条件を満たす特定音ＮＯ（以下、対象楽器音ＮＯｔとする）とし、その対象楽器音ＮＯｔが音源モジュール１５から強調して出力されるように対象楽器音ＮＯｔに対して制御を実行する処理である。その後、Ｓ１２０へと戻る。

一方、ズレ時間が規定時間未満であれば（Ｓ１４０：ＮＯ）、楽器音強調処理を実行することなく、Ｓ１２０へと戻る。
これらのように、Ｓ１２０へと戻ると、対応楽曲について新たな楽音（即ち、構成音ＮＯｇ及び特定音ＮＯ）を音源モジュール１５に出力させる。

そして、Ｓ１１０にて取得された楽曲データが終了するか、または入力受付部１１を介して本カラオケ演奏処理を終了するための終了指令が入力されるまで、Ｓ１２０からＳ１５０のステップを繰り返し実行する。

〈楽器音強調処理の処理内容について〉
次に、カラオケ演奏処理のＳ１５０にて起動される楽器音強調処理について説明する。
図３に示すように、この楽器音強調処理は、起動されると、先のＳ１３０にて導出されたズレ時間が、予め設定された時間長である設定時間（ただし、設定時間＞規定時間）以上であるか否かを判定する（Ｓ５１０）。

このＳ５１０での判定の結果、ズレ時間が設定時間以上であれば（Ｓ５１０：ＹＥＳ）、特定タイミングＯＮｇ_k以降に出力される全ての構成音ＮＯｇを、特別構成音ＮＯｄとして設定する（Ｓ５２０）。一方、Ｓ５１０での判定の結果、ズレ時間が設定時間未満であれば（Ｓ５１０：ＮＯ）、特定タイミングＯＮｇ_k以降に出力される構成音ＮＯｇのうち、歌出開始タイミングに合致する発音タイミングＯＮｇ_kが規定された構成音ＮＯｇを特別構成音ＮＯｄとして設定する（Ｓ５３０）。すなわち、ズレ時間が長いほど、歌唱者が、歌出開始タイミングに発声タイミングを一致させて歌唱することができないものと判断して、特別構成音ＮＯｄの個数を多くしている。

続いて、特別構成音ＮＯｄが特定タイミングＯＮｇ_kから何番目に出力されるものであるかを表すインデックス番号Ｎを、初期値（本実施形態では、１）に設定する（Ｓ５４０）。そして、対応楽曲のリズムを刻む楽器（例えば、ドラム）に対応する特定音ＮＯｒ_Lのうち、特別構成音ＮＯｄ_Nの発音タイミング（以下、特別タイミング）ＯＮｄ_Nから、特別タイミングＯＮｄ_Nと同じタイミングとみなせる期間として予め規定された特別時間Ａ（本実施形態では、５０［ｍｓｅｃ］）以内に発音タイミングＯＮｒ_Lとなる特定音ＮＯｒ_Lの有無を判定する（Ｓ５５０）。なお、本実施形態において、符合ｒは、当該特定音ＮＯｒがリズムを刻む楽器に対応するものであることを意味し、添え字Ｌは、当該特定音ＮＯｒが対応楽曲の演奏開始から何番目に出力されるものであるかを表すインデックス番号を意味する。

そして、Ｓ５５０での判定の結果、特別タイミングＯＮｄ_Nから特別時間Ａ以内に発音タイミングＯＮｒ_Lとなる特定音ＮＯｒ_Lがあれば（Ｓ５５０：ＹＥＳ）、当該特定音ＮＯｒ_Lを対象楽器音ＮＯｔ_Nとして設定する（Ｓ５６０）。一方、特別タイミングＯＮｄ_Nから特別時間Ａ以内に発音タイミングＯＮｒ_Lとなる特定音ＮＯｒ_Lがなければ（Ｓ５５０：ＮＯ）、対応楽曲の旋律を演奏する楽器（例えば、ベース）に対応する特定音ＮＯｍ_Mのうち、特別タイミングＯＮｄ_Nから特別時間Ａ以内に発音タイミングＯＮｍ_Mとなる特定音ＮＯｍ_Mの有無を判定する（Ｓ５７０）。なお、本実施形態において、符合ｍは、当該特定音ＮＯｍが旋律を演奏する楽器に対応するものであることを意味し、添え字Ｍは、当該特定音ＮＯｍが対応楽曲の演奏開始から何番目に出力されるものであるかを表すインデックス番号を意味する。

そして、Ｓ５７０での判定の結果、特別タイミングＯＮｄ_Nから特別時間Ａ以内に発音タイミングＯＮｍ_Mとなる特定音ＮＯｍ_Mが存在していれば（Ｓ５７０：ＹＥＳ）、当該特定音ＮＯｍ_Mを対象楽器音ＮＯｔ_Nとして設定する（Ｓ５８０）。一方、Ｓ５７０での判定の結果、特別タイミングＯＮｄ_Nから特別時間Ａ以内に発音タイミングＯＮｍ_Mとなる特定音ＮＯｍ_Mがなければ（Ｓ５７０：ＮＯ）、対応楽曲のリズムを刻む楽器（例えば、ドラム）に対応する特定音ＮＯｒを対象楽器音ＮＯｔ_Nとして、新たに追加する（Ｓ５９０）。

なお、本実施形態のＳ５９０にて新たに追加される当該対象楽器音ＮＯｔ_Nの発音タイミングＯＮｔ_Nは、特別タイミングＯＮｄ_Nにて、対象楽器音ＮＯｔ_Nが出力されるように、特別タイミングＯＮｄ_Nに設定される。

このようにして、特別構成音ＮＯｄ_Nに対応する対象楽器音ＮＯｔ_Nが設定されると、その対象楽器音ＮＯｔ_Nが強調して出力されるように、当該対象楽器音ＮＯｔ_Nのパラメータを設定する（Ｓ６００）。具体的には、本実施形態のＳ６００では、対象楽器音ＮＯｔ_Nが、対応楽曲のリズムを刻む楽器に対応する特定音ＮＯｒ_Lであれば、先のＳ１３０にて導出したズレ時間が長いほど、当該対象楽器音ＮＯｔ_Nの音量が大きくなるように、当該特定音ＮＯｒ_Lのベロシティが設定される。一方、対象楽器音ＮＯｔ_Nが、対応楽曲の旋律を演奏する楽器に対応する特定音ＮＯｍ_Mであれば、ズレ時間が長いほど、特別タイミングＯＮｄ_Nで、当該対象楽器音ＮＯｔ_Nの音量が大きくなるように、当該対象楽器音ＮＯｔ_Nのアタック、ディケイ、ベロシティが設定される。これと共に、当該対象楽器音ＮＯｔ_Nの発音期間中における全体の音量が低下するようにリリースレベルを低下させる。なお、特定音ＮＯｒ_Lが出力されている期間は、特別構成音ＮＯｄ_Nに比べて短時間であるため、特定音ＮＯｒ_Lに基づいて設定された対象楽器音ＮＯｔ_Nでは、ベロシティのみが設定される。

続いて、特別構成音ＮＯｄのインデックス番号Ｎが、最大値Ｎｍａｘ以上であるか否かを判定する（Ｓ６１０）。そして、Ｓ６１０での判定の結果、特別構成音ＮＯｄのインデックス番号Ｎが最大値Ｎｍａｘに達していなければ（Ｓ６１０：ＮＯ）、特別構成音ＮＯｄのインデックス番号Ｎを１つインクリメントして、Ｓ５５０へと戻る。一方、特別構成音ＮＯｄのインデックス番号Ｎが最大値Ｎｍａｘに達すると（Ｓ６１０：ＹＥＳ）、本楽器音強調処理を終了して、カラオケ演奏処理へと戻る。すなわち、全ての特別構成音ＮＯｄに対応する対象楽器音ＮＯｔ_Nが設定されると共に、それらの対象楽器音ＮＯｔ_Nが強調して出力されるように、当該対象楽器音ＮＯｔ_Nのパラメータが設定されると、本楽器音強調処理を終了する。

つまり、本実施形態の楽器音強調処理では、リズムを刻む楽器に対する楽譜データ中に、特別タイミングＯＮｄ_Nから特別時間Ａ以内に発音タイミングＯＮｒ_Lとなる特定音ＮＯｒ_Lがあれば、図４に示すように、特別タイミングＯＮｄ_Nから特別時間Ａ以内に発音タイミングＯＮｒ_Lとなる全ての特定音ＮＯｒ_Lを対象楽器音ＮＯｔ_Nとしている。一方、リズムを刻む楽器に対する楽譜データ中に、特別タイミングＯＮｄ_Nから特別時間Ａ以内に発音タイミングＯＮｒ_Lとなる特定音ＮＯｒ_Lがなければ、図５に示すように、特別タイミングＯＮｄ_Nから特別時間Ａ以内に発音タイミングＯＮｒ_Lとなる特定音ＮＯｒを、新たに追加して当該楽譜データを更新している。

そして、楽器音強調処理が実行された後に実行されるカラオケ演奏処理において、時間の進行に従って対応楽曲の演奏が進むと、対象楽器音ＮＯｔ_Nが他の特定音ＮＯよりも大きな音量にて出力される。

［実施形態の効果］
以上説明したように、本実施形態のカラオケ装置１０によれば、特別タイミングＯＮｄ_Nに対象楽器音ＮＯｔ_Nが強調して出力されるため、特別タイミングＯＮｄ_Nを、聴覚のみを用いて、歌唱者に認識させることができる。

特に、本実施形態のカラオケ装置１０によれば、全ての特別タイミングＯＮｄ_Nにて、対象楽器音の音量が大きくなるため、特別タイミングＯＮｄ_Nをより確実に歌唱者に認識させることができる。しかも、カラオケ装置１０では、対象楽器音ＮＯｔ_Nを、対応楽曲のリズムを刻む楽器に対応する特定音ＮＯｒ_Lを中心に設定しているため、歌唱者に、対応楽曲のリズムを認識させやすく、結果として、特別タイミングＯＮｄ_Nを容易に認識させることができる。

つまり、従来（例えば、特許文献１に記載）のカラオケ装置に比べて、特別タイミングＯＮｄ_Nを認識するための情報を、視覚情報及び聴覚情報の２つから、聴覚情報の１つに減少することができ、対応楽曲を、より歌唱しやすいものとすることができる。この結果、本実施形態のカラオケ装置１０を用いることで、歌唱が下手な歌唱者であっても、発声タイミングを特別タイミングＯＮｄ_Nに容易に一致させて歌唱することができる。

特に、本実施形態のカラオケ装置１０では、ズレ時間が長いほど、特別構成音ＮＯｄ_Nとして設定される構成音ＮＯｇ_kの数が多くなると共に、対象楽器音ＮＯｔ_Nの音量が大きくなる。このため、対応楽曲の時間軸に沿った進行に従って、強調して出力される特定音ＮＯ（即ち、対象楽器音ＮＯｔ_N）の数が減少していれば、発声タイミングを特別タイミングＯＮｄ_N一致させて発声できていることを、歌唱者自身に認識させることができる。

［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。

例えば、上記実施形態のカラオケ装置１０では、歌詞を構成する１つの句における最初の音節を歌出開始タイミングとして規定していたが、歌出開始タイミングは、これに限るものではなく、対応楽曲において曲調が変化するタイミングであっても良い。

また、上記実施形態のカラオケ演奏処理では、楽器音強調処理の実行を開始するタイミングを、対応楽曲が演奏されている際に、当該対応楽曲の歌出開始タイミングに対するズレ時間が規定時間以上となるタイミングとしていたが、楽器音強調処理の実行を開始するタイミングは、これに限るものではない。例えば、対応楽曲が１曲演奏された後に、当該対応楽曲の全ての歌出開始タイミングに対するズレ時間の平均が規定時間以上となった場合には、入力受付部１１を介して次に演奏する楽曲として指定された対応楽曲の演奏開始時点を、楽器音強調処理の実行を開始するタイミングとしても良い。

この場合、ズレ時間を導出する方法は、例えば、歌唱音の音高が推移した軌跡（以下、歌唱音高推移とする）を、対応楽曲の基準旋律での構成音の音高が推移した軌跡（以下、基準音高推移とする）と対比するものでも良い。つまり、歌唱音高推移を基準音高推移に対して時間軸に沿って前後にシフトさせ、歌唱音高推移が基準音高推移に対して最も近似する（近似度が最大となる）シフト量を、ズレ時間として導出しても良い。このとき、歌唱音高推移と基準音高推移とが近似するように時間軸上の位置を修正する方法としては、例えば、特開２００５−１０７３３０号公報に記載されている方法を用いることが考えられる。

なお、上記実施形態のカラオケ演奏処理では、対象楽器音ＮＯｔ_Nの音量を大きくすることで、対象楽器音ＮＯｔ_Nを強調していたが、対象楽器音ＮＯｔ_Nを強調する方法は、これに限るものではない。例えば、対象楽器音ＮＯｔ_Nとして設定された特定音ＮＯ以外の特定音ＮＯの音量を抑制することで、対象楽器音ＮＯｔ_Nを強調しても良い。

また、上記実施形態のカラオケ演奏処理では、対象楽器音ＮＯｔ_Nとして新たな特定音ＮＯを挿入する条件を、特別構成音ＮＯｄ_Nから特別時間Ａ以内に発音タイミングＯＮとなる「リズム楽器の特定音ＮＯｒ」及び「音程楽器の特定音ＮＯｍ」の両方が存在しない場合（すなわち、Ｓ５５０：ＮＯ、かつＳ５７０：ＮＯ）としていたが、対象楽器音ＮＯｔ_Nとして新たな特定音ＮＯを挿入する条件は、これに限るものではなく、特別構成音ＮＯｄ_Nから特別時間Ａ以内に発音タイミングＯＮとなる「リズム楽器の特定音ＮＯｒ」のみが存在しない場合であっても良い。すなわち、楽器音強調処理において、Ｓ５７０及びＳ５８０は省略されていても良い。

上記実施形態のカラオケ装置１０では、楽曲データは、予め記憶部１６に記憶されていたが、カラオケ装置１０において、楽曲データは、公衆通信網を介して外部から取得しても良い。すなわち、上記実施形態のカラオケ装置１０は、いわゆる通信カラオケ装置として構成されていても良い。

上記実施形態における歌唱補助装置は、カラオケ装置１０として構成されていたが、本発明の歌唱補助装置は、カラオケ装置１０に限るものではなく、例えば、上述した入力受付部１１と、表示部１２と、音声入力部１３と、音声出力部１４と、音源モジュール１５と、記憶部１６と、制御部２０とを備えた情報処理装置（いわゆるパーソナルコンピュータ）として構成されていても良い。

［実施形態と特許請求の範囲との対応関係］
最後に、上記実施形態の記載と、特許請求の範囲の記載との関係を説明する。
上記実施形態のカラオケ演奏処理におけるＳ１２０を実行することで得られる機能が、本発明の演奏手段に相当し、Ｓ１３０を実行することで得られる機能が、本発明の時間導出手段に相当する。そして、カラオケ演奏処理におけるＳ１４０及び楽器音強調処理におけるＳ５１０〜Ｓ５３０を実行することで得られる機能が、本発明の特別音設定手段に相当し、楽器音強調処理におけるＳ５５０〜Ｓ５９０を実行することで得られる機能が、本発明の対象特定手段に相当する。

さらに、楽器音強調処理におけるＳ６００を実行することで得られる機能が、本発明の強調制御手段に相当する。

１０…カラオケ装置 １１…入力受付部 １２…表示部 １３…音声入力部 １４…音声出力部 １５…音源モジュール １６…記憶部 １６…予め記憶部 ２０…制御部 ２１…ＲＯＭ ２２…ＲＡＭ ２３…ＣＰＵ

Claims (6)

1. 楽曲の楽譜を表し、歌唱されるべき旋律を構成する各構成音を出力する発音タイミング、及び少なくとも一種類の楽器の楽器音を模擬した特定音を出力する出力タイミングが規定された楽曲データに従って、前記楽曲を演奏する演奏手段と、
   前記演奏手段での楽曲の演奏中に入力された音声に基づいて、当該演奏中に出力された構成音に対応する発音タイミングである特定タイミングに対する、当該構成音に対して発声が開始されたタイミングである発声タイミングの時間差を表すズレ時間を導出する時間導出手段と、
   前記時間導出手段で導出されたズレ時間が、予め規定された時間長である規定時間以上であれば、少なくとも、当該ズレ時間に対応する特定タイミング以降に出力される構成音である特別構成音を設定する特別音設定手段と、
   前記特別音設定手段にて設定された各特別構成音の発音タイミングから、当該特別構成音の発音タイミングと同じタイミングとみなせる期間として予め規定された特別時間以内に前記出力タイミングとなる特定音である対象楽器音を特定する対象特定手段と、
   前記対象特定手段にて特定された対象楽器音が、当該対象楽器音に対応する特別構成音の発音タイミングにて強調して出力されるように制御する強調制御を実行する強調制御手段と
   を備えることを特徴とする歌唱補助装置。
2. 前記強調制御手段は、
   前記時間導出手段で導出されたズレ時間が長いほど、前記対象楽器音が出力される音量を、当該対象楽器音に対応する特別構成音の発音タイミングにて大きくすることを前記強調制御として実行することを特徴とする請求項１に記載の歌唱補助装置。
3. 前記特別音設定手段は、
   前記時間導出手段で導出されるズレ時間が長いほど、多くの構成音を前記特別構成音として設定することを特徴とする請求項１または請求項２に記載の歌唱補助装置。
4. 前記対象特定手段は、
   前記特別構成音の発音タイミングから前記特別時間以内に出力タイミングとなる特定音が前記楽曲データ中に存在しない場合、前記特別構成音の発音タイミングから前記特別時間以内に出力タイミングとなる特定音を追加し、その追加した特定音を前記対象楽器音として特定することを特徴とする請求項１から請求項３のいずれか一項に記載の歌唱補助装置。
5. 前記対象特定手段は、
   前記楽曲において、リズムを刻む楽器の特定音を、前記対象楽器音として特定することを特徴とする請求項１から請求項４のいずれか一項に記載の歌唱補助装置。
6. 楽曲の楽譜を表し、歌唱されるべき旋律を構成する各構成音を出力する発音タイミング、及び少なくとも一種類の楽器の楽器音を模擬した特定音を時間軸に沿って出力する出力タイミングが規定された楽曲データに従って、前記楽曲を演奏する演奏手順と、
   前記演奏手順での楽曲の演奏中に入力された音声に基づいて、当該演奏中に出力された構成音に対応する発音タイミングである特定タイミングに対する、当該構成音に対して発声が開始されたタイミングである発声タイミングの時間差を表すズレ時間を導出する時間導出手順と、
   前記時間導出手順で導出されたズレ時間が、予め規定された時間長である規定時間以上であれば、少なくとも、当該ズレ時間に対応する特定タイミング以降に出力される構成音である特別構成音を設定する特別音設定手順と、
   前記特別音設定手順にて設定された各特別構成音の発音タイミングから、当該特別構成音の発音タイミングと同じタイミングとみなせる期間として予め規定された特別時間以内に前記出力タイミングとなる特定音である対象楽器音を特定する対象特定手順と、
   前記対象特定手順にて特定された対象楽器音が、当該対象楽器音に対応する特別構成音の発音タイミングにて強調して出力されるように制御する強調制御を実行する強調制御手順と
   をコンピュータに実行させることを特徴とするプログラム。

Images