JP5311069B2

JP5311069B2 - 歌唱評価装置及び歌唱評価プログラム

Info

Publication number: JP5311069B2
Application number: JP2010174580A
Authority: JP
Inventors: 哲也水谷
Original assignee: Brother Industries Ltd
Current assignee: Brother Industries Ltd
Priority date: 2010-08-03
Filing date: 2010-08-03
Publication date: 2013-10-09
Anticipated expiration: 2030-08-03
Also published as: JP2012037565A

Description

本発明は、カラオケなどにおいて採点など歌唱の優劣を評価する歌唱評価装置及び歌唱評価プログラムに関するものである。

従来、カラオケシステムにおいては、歌唱の優劣を判定するため採点機能が装備されているものが知られている。このような採点機能は、演奏のための楽曲情報に含まれる模範音程情報と、マイクロホンから入力された歌唱音声の音程を比較し、その差分などを利用して得点が算出される。

このようなカラオケ装置の採点について、特許文献１には、ガイドボーカルなど、カラオケ用ソフトに記録された基準音声信号と、マイクロホンから入力される比較音声信号とを、バンドパスフィルタを用いて評価する音程評価装置が記載されている。この音程評価装置では、基準音声信号の音程と、比較音声信号の音程とが周波数的に一致しているか否かに基づいて評価される。

一方、特許文献２には、歌い手の歌う主旋律データと再生手段からの主旋律データとを比較し、比較結果に基づいて歌い手の歌う主旋律データを補正するカラオケ装置が開示されている。この主旋律データの補正は音楽的特性を考慮したものとなっており、１オクターブを超える補正は行わず、特許文献２の図１２に示されるように、再生手段からの主旋律データとオクターブ分離れた音名となるように補正を行うこととしている。

特許文献２に開示される音楽的特性の考え方は、歌唱評価においても用いられることが知られている。すなわち、マイクロホンから入力される歌唱者の音程が、模範音程と１オクターブ離れていた場合であっても同じ音名であれば、正しく歌えていると評価する方法である。

これら従来の歌唱評価の形式を説明するための図を本願の図１に示している。図１（ａ）は、模式的に五線譜上に音符で示した、模範音程と歌唱音程が示されている。歌唱音程の例として、（あ）に示した低いＥ（ミ）と、（い）に示した１オクターブ高いＥ（ミ）が示されている。

音楽的特性を考慮せずに評価を行う特許文献１のような評価形式（以下、評価形式Ａ）では、（あ）の場合、模範音程と一致していると判定されるが、（い）の場合は、模範音程と一致していないものとして判定される。一方、音楽的特性を考慮して評価を行う特許文献２のような評価形式（以下、評価形式Ｂ）では、（あ）、（い）どちらもＥ（ミ）の音名であるため、両者とも一致していると判定されることとなる。

特開平８−２８６６８４号公報特開平４−８１８８０号公報

図２は、演奏の進行にともなう模範音程と歌唱音程の進行状況を示す図である。図に示されるような演奏途中におけるサビ区間では、それまでの音程よりも急激に音程が高くな
ることがある。楽曲演奏に合わせて歌唱が行われるが、不慣れな歌唱者は、このサビ区間では音高の変化に追従することができず、１オクターブ下げて歌唱することがある。このとき、サビ区間が終了した後、再び元の音程に上げて歌唱を行っているが、サビ区間で変更した音程のまま歌唱を続ける場合も考えられる。

図１で説明した従来の評価形式Ａでは、サビ区間にて１オクターブ下げた音程は、正しい歌唱とは評価されず、特に、サビ区間で変更した音程のまま歌唱を続けた場合には、以後の歌唱は全て誤ったものと評価されてしまう。一方、従来の評価形式Ｂでは、サビ区間で１オクターブ下げた音程についても、音名が同じであれば正しい歌唱と評価され、聴感上、違和感がある歌唱に対して高い評価を与えてしまうこととなる。また、このような場合のみに限らず、例えば、歌唱開始直後においては、模範音程に対して、どのようなオクターブ関係で歌うのか迷う場合もある。

本発明は、このような歌唱時におけるオクターブ異ならせて歌った場合を考慮した新たな歌唱評価方法を実現することを目的としている。

そのため、本発明に係る歌唱評価装置は、楽曲情報を再生する楽曲再生手段と、歌唱を評価する歌唱評価処理を実行する制御手段と、を備える歌唱評価装置において、前記歌唱評価処理は、オクターブ判定処理と、比較処理を含み、前記オクターブ判定処理は、複数の区間において、前記楽曲情報の再生に同期した模範音程情報と、入力音声信号から検出した歌唱音程情報との差である差分音程情報を抽出し、抽出した前記差分音程情報に基づいて歌唱オクターブを判定し、前記比較処理は、前記歌唱オクターブ分シフトさせた前記歌唱音程情報と前記模範音程情報とを比較する、もしくは、前記歌唱オクターブ分シフトさせた前記模範音程情報と前記歌唱音程情報とを比較し、前記オクターブ判定処理における前記複数の区間において、前記楽曲情報の再生進行上、最初に出現する区間長は、後に出現する区間長よりも短いことを特徴としている。

また、本発明に係る歌唱評価プログラムは、歌唱を評価する歌唱評価処理をコンピュータに実行させる歌唱評価プログラムにおいて、前記歌唱評価処理は、オクターブ判定処理と、比較処理を含み、前記オクターブ判定処理は、複数の区間において、楽曲情報の再生に同期した模範音程情報と、入力音声信号から検出した歌唱音程情報との差である差分音程情報を抽出し、抽出した前記差分音程情報に基づいて歌唱オクターブを判定し、前記比較処理は、前記歌唱オクターブ分シフトさせた前記歌唱音程情報と前記模範音程情報とを比較する、もしくは、前記歌唱オクターブ分シフトさせた前記模範音程情報と前記歌唱音程情報とを比較し、前記オクターブ判定処理における前記複数の区間において、前記楽曲情報の再生進行上、最初に出現する区間長は、後に出現する区間長よりも短いことを特徴としている。

本発明によれば、模範音程情報と歌唱音程情報の差にて歌唱オクターブを判定し、当該
、歌唱オクターブを比較処理に利用することで、新たな歌唱評価を実現することが可能となる。

さらに、オクターブ判定処理は、楽曲再生中における特定区間にて実行されるものであってもよい。例えば、楽曲の盛り上がりであるサビ区間において、本発明の歌唱評価処理を実施することで、より精度の高い歌唱評価を実現することが可能となる。

さらに、オクターブ判定処理は、楽曲再生中における複数区間にて実行されるものであってもよい。複数区間にてオクターブ判定処理を実行することで、さらに精度の高い歌唱評価を実現することが可能となる。

さらに、オクターブ判定処理において、複数の区間は、少なくとも１つの区間長が異なることとしてもよい。複数の区間長を異ならせることで、楽曲の進行に適した歌唱評価を実行することが可能となる。

さらに、複数の区間では、楽曲再生の進行に伴い、区間長の長さが長くなるように変化させることとしてもよい。歌唱開始直後における評価基準と、歌唱からある程度時間が経ったときの評価基準を異ならせた歌唱評価を実現できる。

また、本発明の歌唱評価プログラムは、前述の歌唱評価装置の機能をプログラムにて提供することで、コンピュータ装置や、既存の音響機器に対しても歌唱評価機能を付加することが可能となる。

従来の歌唱評価方法を説明するための図。従来の模範音程と歌唱音程の比較を説明するための図。本発明の実施形態に係るカラオケシステムの構成を示す図。本発明の実施形態に係る歌唱評価処理を示すフロー図。本発明の実施形態に係るオクターブ判定処理を示すフロー図。本発明の実施形態に係る歌唱オクターブ判定テーブルを示す図。本発明の実施形態に係る歌唱評価の行程を示す図。本発明の実施形態に係る歌唱評価の行程を示す図。本発明の実施形態に係る歌唱評価の行程を示す図。本発明の実施形態に係るオクターブ判定区間と比較区間を示す図。本発明の他の実施形態に係る歌唱評価処理を示すフロー図。本発明の他の実施形態に係るオクターブ判定区間と比較区間を示す図。本発明の他の実施形態に係るオクターブ判定区間と比較区間の形態を示す図。

本発明に係る歌唱評価装置をカラオケシステムに実装した場合について説明する。図１は、実施形態に係るカラオケシステムの基本構成を示した図である。なお、歌唱評価機能をカラオケシステムにて機能させるプログラムとして提供することとしてもよい。

メイン制御部１０４は、カラオケシステムの中核をなすコマンダ１００を統括制御する。その主な機能としては、外部の通信網と通信を行う通信制御部１０２の制御、外部に配置されたディスプレイにカラオケの背景映像などの映像信号を出力する映像制御部１０３の制御、そして、音声制御部１０７に対する制御を実行する。

音声制御部１０７は、音源部１０８と音声信号処理部２００に対する制御を行う。音声
制御部１０７は、メイン制御部１０４からの指令に基づき、楽曲再生処理、並びに、本発明の特徴となる歌唱評価処理等を実行する。本発明でいう制御手段は、メイン制御部１０４、音声制御部１０７、音声信号処理部２００などを含んで構成される。

楽曲再生処理は、音源部１０８にて楽曲情報を再生させる処理である。入力部１０１にてユーザから指定された楽曲に対応する楽曲情報をハードディスク１０５、１０６から読み出して音源部１０８に再生させる。楽曲情報は、ＭＩＤＩデータ、ＭＰＥＧ音声データ、歌詞データなどを含んで構成されている。また、楽曲情報には、再生進行に同期した模範音程情報が含まれており歌唱評価処理のために用いられる。なお、この模範音程情報は、歌唱を支援するためのガイドメロディとして音源部１０８にて再生されるものであってもよい。

歌唱評価処理は、マイクロホン４０４から入力された歌唱者の入力音声信号を評価する処理であって、評価方法としては、得点の算出、ランク付け、視覚的に音程差を提示することなどが挙げられる。この歌唱評価処理は、マイクロホン４０４から入力される入力音声信号から歌唱音程情報を検出し、楽曲情報の再生進行に同期して読み出される模範音程情報と比較することで実行される。

ミキシング部１１１では、音源部１０８にて再生された楽曲音信号と、音声信号処理部２００から出力された入力音声信号を加算して加算信号を出力する。加算信号は、ＤＡ変換器１１２、プリアンプ１１３を経て外部に出力され、外部のアンプ４０１にてスピーカー４０２から放音される。

本発明の歌唱評価処理について図４〜図１０を用いて説明する。本実施形態の歌唱評価処理では、オクターブ判定処理と比較処理を主要な処理としている。歌唱評価処理には、この他にも音量評価など他の評価処理が含まれることとしてもよい。オクターブ判定処理は、楽曲再生中の所定の区間で実行され、当該区間における歌唱オクターブを判定する。なお、歌唱オクターブとは、模範音程情報に対するオクターブ差を示す情報である。

比較処理では、この所定区間で判定された歌唱オクターブを利用して模範音程情報と、入力音声信号から検出した歌唱音程情報の比較が実行される。具体的には、歌唱オクターブ分シフトさせた歌唱音程情報と模範音程情報を比較した上で実行される。歌唱音程情報をシフトさせるのではなく、模範音程情報を歌唱オクターブ分シフトして比較することとしてもよい。なお、比較の手法としては、両者の差分をとって差分に基づいて得点を算出することであってもよいし、当該差分に基づいて歌唱ランクを決定することとしてもよい。また、両者をディスプレイ上でグラフ上に表示し、歌唱者に対しどの程度ずれているか認識させるなど各種の比較手法を採用することなども考えられる。

図４は、歌唱評価処理の一連の処理を示すフロー図である。歌唱評価処理は、楽曲再生処理に同期して開始される。まず、音声制御部１０７のメモリなどに一時的に記憶していた模範音程情報、歌唱音程情報をクリアさせ、新たな情報の入力に備える（Ｓ１０２ａ）。次に、入力音声信号から歌唱音程情報が検出される。本実施形態では１０ｍｓｅｃ分の入力音声信号に基づいて歌唱音程情報を検出している。歌唱音程情報の検出にあわせて楽曲再生に同期した模範音程情報とをメモリに一時記憶させる（Ｓ１０３ａ）。

Ｓ１０４ａでは、前回のオクターブ判定処理（Ｓ２００ａ）から所定期間（Ａ秒）経過下か否かが判定される。本実施形態では、この所定期間がオクターブ判定処理のための１区間となっている。さらにこの所定期間は、比較処理の区間と一致したものとなっている。なお、後ほど説明するが、オクターブ判定のための区間と比較処理のための区間とは必ずしも一致させる必要はない。

オクターブ判定処理（Ｓ２００ａ）について、図５のフロー図を用いて説明する。オクターブ判定処理が開始されると、まず、オクターブ判定区間（Ａ秒間）における模範音程情報と歌唱音程情報の差分（差分音程情報）が算出される。図７には、歌唱時における模範音程情報と歌唱音程情報の一例が示されており、図８には、図７における差分音程情報算出の様子が模式的に示されている。

算出された差分音程情報に基づいて、歌唱オクターブが判定される。まず、差分音程情報の平均値が算出され、歌唱オクターブ判定テーブルを参照することで、歌唱オクターブを判定している。図８の例では、差分音程情報の平均値は約−１０音階となっている。図６に記載された歌唱オクターブ判定テーブルを参照すると、この場合、歌唱オクターブは−１２音階と判定される。ここでは歌唱オクターブは音階数で示しているが、オクターブ数（この場合であれば−１オクターブ）で示されるものであってもよい。

このように、本実施形態では、差分音程情報の平均値に基づいて歌唱オクターブを判定することとしている。歌唱オクターブの判定方法については、例えば、オクターブ判定区間での所定位置（先頭、末尾など）に基づいて判定することなど、適宜手法を採用することができる。

判定された歌唱オクターブは、以後の比較処理に使用される。図４において、比較処理は、Ｓ１０５ａとＳ１０６ａの処理で構成されている。本実施形態では、歌唱音程情報をＳ２００ａで判定した歌唱オクターブ分シフトさせた上（Ｓ１０５ａ）で、シフトさせた歌唱音程情報と模範音程情報との比較（Ｓ１０６ａ）を実行することとしている。図９には、その様子が模式的に示されている。模範音程情報と破線で示されるシフト後の歌唱音程情報との間で比較が行われる。なお、ここでいうシフトとは、歌唱音程情報と模範音程情報が近づくように移動させることをいう。また、前述したように、模範音程情報をシフトさせることとしてもよい。

Ｓ１０２ａ〜Ｓ１０６ａの一連の処理は、楽曲再生が終了するまで継続し、楽曲再生終了時、あるいは、歌唱区間終了時に歌唱評価処理を終了する。以上の歌唱評価処理の流れについて図１０を用いて説明する。図１０は、歌唱評価処理におけるオクターブ判定区間と比較区間の関係を演奏の進行に沿って模式図である。歌唱評価処理は、歌唱区間が開始される時点、すなわち、最初に模範音程情報が登場した時点から開始されることとしている。図４のフロー図でも説明したように、オクターブ判定区間と比較区間は１対１、すなわち、判定された歌唱オクターブは、オクターブ判定区間と同じ区間である比較区間に対して利用される。このように、本実施形態では、オクターブ判定区間と比較区間を一致させることで、精度の高い比較処理を実現することが可能となっている。

次に、他の実施形態について図１１、図１２を用いて説明を行う。図１１は、本発明の他の実施形態に係る歌唱評価処理を示すフロー図である。また、図１２は、本実施形態におけるオクターブ判定区間と比較区間の関係を演奏の進行に沿って模式図となっている。

前述の実施形態では、オクターブ判定区間、並びに、比較区間の長さが所定長であったのに対し、本実施形態では、演奏の進行に伴って変化するものとなっている。このような形態を採用することで、例えば、歌唱の開始直後において、歌唱者が音程に迷う箇所では、短い区間でオクターブ判定を実行し、ある程度、演奏が経過した時点でオクターブ判定を長く取り、曲のサビなど、音程が高くなったときに歌えない状況を厳しく評価することが可能となる。

そのため、本実施形態のフロー図は、Ｓ１０４ｂ〜Ｓ１０６ｂの時間管理の点において
、図４のものと異なっている。ここでは、異なる処理について説明を行う。Ｓ１０４ｂでは、最初の模範音程登場、すなわち、歌唱区間の開始からＴ秒経過しているか否かが判定される。Ｔ秒経過していない場合には、Ｓ１０５ｂにて前回オクターブ判定からＡ秒経過したか否かが判定されることとなり、オクターブ判定区間長はＡ秒となる。一方、Ｔ秒経過したと判定された場合には、Ｓ１０６ｂにて前回オクターブ判定からＢ秒経過したかが判定されることとなり、オクターブ区間長はＢ秒となる。

図１２に示されるように、歌唱区間が開始されてからＴ秒経過する前後にて、オクターブ区間長は変化したものとなっている。なお、前実施形態と同様、オクターブ判定区間と比較区間は一致したものとなっている。本実施形態ではＡ秒、Ｂ秒、２つの時間長としたが、時間長はさらに複数種類設けることとしてもよい。また、区間長は、時間で設定するのみならず、小節数等、演奏の進行に同期した情報で設定されるものであってもよい。演奏の進行に同期した情報を採用することで、演奏速度を変更したときにも対応することが可能となる。こ区間長の設定の態様については、前述の実施形態を含む他の実施形態についても同様である。

この実施形態以外にもオクターブ判定区間、比較区間は様々な形態を採用することができる。図１３は、本発明の他の実施形態に係るオクターブ判定区間と比較区間を演奏の進行に沿って示した模式図である。

図１３（ａ）の実施形態では、オクターブ判定区間に対し比較区間がスライドした関係となっている。例えば、オクターブ判定区間ａ１で判定された歌唱オクターブは、次の区間ａ２にて利用される。このように、比較区間をスライドさせることで、歌唱オクターブの判定を待たずに、リアルタイムに比較を実行させることが可能となる。

図１３（ｂ）は、演奏進行において特定の区間のみをオクターブ判定区間の対象としたものとなっている。例えば、図に示されるようにサビの区間ｃ１、ｃ２だけを対象とすることが考えられ、高い音高となりがちなサビ区間において、歌唱オクターブを固定することで、精度の高い評価を行うことが可能となる。このような実施形態は、楽曲情報に特定区間を示す情報を埋め込んでおくことで、各楽曲情報毎に異なる位置に対応することが可能である。なお、この図では、サビ区間以外の箇所において比較が実行されていないようにも見えるが、実際には、他の区間においても比較は実行される。この比較としては、図１にて説明した評価形式Ａや評価形式Ｂのような従来のものなどを利用することが考えられる。

図１３（ｃ）は、歌唱区間が開始されてから所定期間ｄのみがオクターブ判定区間となっている。このオクターブ判定区間にて判定された歌唱オクターブは、全歌唱区間にて利用される。この実施形態において、オクターブ判定区間と比較区間とを一致させたのが図１３（ｄ）の実施形態である。本実施形態では、全歌唱区間ｅをオクターブ判定区間の対象となっている。

以上、詳細に説明した２つの実施形態、並びに、図１３（ａ）〜（ｄ）の実施形態は、可能な範囲において適宜組み合わせて利用することが可能である。

なお、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。

１００…コマンダ（カラオケ装置）、１０１…入力部、１０２…通信制御部、１０３…映像制御部、１０４…メイン制御部、１０５、１０６…ハードディスク、１０７…音声制御
部、１０８…音源部、１０９…マイクアンプ、１１０…ＡＤ変換器、１１１…ミキシング部、１１２…ＤＡ変換器、１１３…プリアンプ、２００…音声信号処理部、４０１…アンプ、４０２…スピーカー、４０３…ディスプレイ装置、４０４…マイクロホン

Claims

楽曲情報を再生する楽曲再生手段と、
歌唱を評価する歌唱評価処理を実行する制御手段と、を備える歌唱評価装置において、
前記歌唱評価処理は、オクターブ判定処理と、比較処理を含み、
前記オクターブ判定処理は、複数の区間において、前記楽曲情報の再生に同期した模範音程情報と、入力音声信号から検出した歌唱音程情報との差である差分音程情報を抽出し、抽出した前記差分音程情報に基づいて歌唱オクターブを判定し、
前記比較処理は、前記歌唱オクターブ分シフトさせた前記歌唱音程情報と前記模範音程情報とを比較する、もしくは、前記歌唱オクターブ分シフトさせた前記模範音程情報と前記歌唱音程情報とを比較し、
前記オクターブ判定処理における前記複数の区間において、前記楽曲情報の再生進行上、最初に出現する区間長は、後に出現する区間長よりも短いことを特徴とする
歌唱評価装置。
歌唱を評価する歌唱評価処理をコンピュータに実行させる歌唱評価プログラムにおいて、
前記歌唱評価処理は、オクターブ判定処理と、比較処理を含み、
前記オクターブ判定処理は、複数の区間において、楽曲情報の再生に同期した模範音程情報と、入力音声信号から検出した歌唱音程情報との差である差分音程情報を抽出し、抽出した前記差分音程情報に基づいて歌唱オクターブを判定し、
前記比較処理は、前記歌唱オクターブ分シフトさせた前記歌唱音程情報と前記模範音程情報とを比較する、もしくは、前記歌唱オクターブ分シフトさせた前記模範音程情報と前記歌唱音程情報とを比較し、
前記オクターブ判定処理における前記複数の区間において、前記楽曲情報の再生進行上、最初に出現する区間長は、後に出現する区間長よりも短いことを特徴とする
歌唱評価プログラム。