JP2604401B2 - 自動採譜方法及び装置 - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、歌唱音声やハミング音声や楽器音等の音響
信号から楽器データを作成する自動採譜方法及び装置に
関し、特に音響信号の音程軸と絶対音程軸とを一致させ
るチューニング処理に関するものである。

［従来の技術］ 歌唱音声やハミング音声や楽器音等の音響信号は、基
本波形の繰返し波形となっている。このような音響信号
を楽譜データに変換する自動採譜装置においては、ま
ず、音響信号における基本波形の繰返し周波数（以下、
ピッチ周波数と呼び、これに対応した周期をピッチ周期
と呼び、これらを合せた概念をピッチと呼ぶ）を分析周
期毎に抽出し、その後、このピッチ周波数に基づいて、
同一音程と考えられる区間（セグメント）やそのセグメ
ントにおける音程等を定めていた。

［発明が解決しようとする課題］ ところで、音響信号、特に人によって発声される歌唱
音声やハミング音程の音程は、絶対的な音程に対してず
れがある。そのため、音響信号から得られたピッチ情報
に基づいて絶対的な音程軸にその音程を同定しようとし
てもそのずれによって適切に同定し得ないことも生じ
る。このずれが大きければ大きい程、音程軸に同定した
音程が不正確になり、最終的に作成された楽譜データの
精度は低いものとなっていた。

本発明は、以上の点を考慮してなされたもので、音響
信号の音程軸と絶対音程軸とのずれを検出してピッチ情
報をそのずれ量に応じて修正して以降の処理においてよ
り良好に楽譜データを作成させることができるようにし
た自動採譜方法及び装置を提供しようとするものであ
る。

［課題を解決するための手段］ かかる課題を解決するため、第１の本発明において
は、入力された音響信号をデジタル信号に変換するアナ
ログ／デジタル変換手段と、所定の処理手順を記憶して
いる記憶手段と、記憶手段に記憶されている処理手順を
実行する制御手段とを備え、デジタル信号に変換された
音響信号からそのピッチ情報及びパワー情報を抽出し、
抽出されたピッチ情報及び又はパワー情報から音響信号
を同一音程とみなせる区間に区分し、ピッチ情報から各
区間の音響信号の絶対音程軸にそった音程を決定し、ピ
ッチ情報に基づいて音響信号の調を決定し、区間情報に
基づいて音響信号の拍子及びテンポを決定し、音響信号
を楽譜データに変換する自動採譜方法において、抽出さ
れたピッチ情報を集計して絶対音程軸周りのピッチ情報
の分布を検出し、検出されたピッチ分布情報に基づいて
音響信号の音程軸と絶対音程軸とのずれを検出し、検出
されたずれに応じて抽出されたピッチ情報を絶対音程軸
との差が最小となるように移動修正するようにした。

また、第２の本発明においては、入力された音響信号
をデジタル信号に変換するアナログ／デジタル変換手段
と、デジタル信号に変換された音響信号からそのピッチ
情報及びパワー情報を抽出するピッチ・パワー抽出手段
と、抽出されたピッチ情報及び又はパワー情報から音響
信号を同一音程とみなせる区間に区分するセグメンテー
ション手段と、ピッチ情報から各区間の音響信号の絶対
音程軸にそった音程を決定する音程同定手段と、ピッチ
情報に基づいて音響信号の調を決定する調決定手段と、
区間情報に基づいて音響信号の拍子及びテンポを決定す
る拍子・テンポ決定手段とを備え、音響信号を楽譜デー
タに変換する自動採譜装置において、抽出されたピッチ
情報を集計して絶対音程軸周りのピッチ情報の分布を検
出するピッチ分布検出手段と、検出されたピッチ分布情
報に基づいて音響信号の音程軸と絶対音程軸とのずれを
検出する音程ずれ検出手段と、検出されたずれに応じて
抽出されたピッチ情報を絶対音程軸との差が最小となる
ように移動修正するピッチ情報修正手段とを備えた。

［作用］ 第１の本発明においては、音響信号の音程軸と絶対音
程軸との差を修正して区間の決定及び音程の決定等の処
理に進むべく、まず、音響信号から得られたピッチ情報
の絶対音程軸周りの分布を検出して音響信号が有する音
程軸情報を捕らえ易く処理し、この分布を統計的に処理
して絶対音程軸に対する音響信号の音程のずれを検出
し、この検出されたずれに応じて抽出されたピッチ情報
を絶対音程軸との差が最小となるように移動修正する処
理を設けて最終的に得られる楽譜データの精度を向上さ
せるようにした。

また、第２の本発明においては、ピッチ・パワー抽出
手段によって抽出されたピッチ情報をピッチ分布検出手
段によって集計して絶対音程軸周りのピッチ情報の分布
を検出し、検出されたピッチ分布情報に基づいて音程ず
れ検出手段によって音響信号の音程軸と絶対音程軸との
ずれを検出し、検出されたずれに応じてピッチ情報修正
手段によって抽出されたピッチ情報を絶対音程軸との差
が最小となるように移動修正して音響信号の音程軸と絶
対音程軸とを合せ込んで最終的に得られる楽譜データの
精度を向上させるようにした。

［実施例］ 以下、本発明の一実施例を図面を参照しながら詳述す
る。

自動採譜方式 まず、本発明が適用される自動採譜方式について説明
する。

第３図において、中央処理ユニット（CPU）１は、当
該装置の全体を制御するものであり、バス２を介して接
続されている主記憶装置３に格納されている第４図に示
す採譜処理プログラムを実行するものである。バス２に
は、CPU1及び主記憶装置３に加えて、入力装置としての
キーボード４、出力装置としての表示装置５、ワーキン
グメモリとして用いられる補助記憶装置６及びアナログ
／デジタル変換器７が接続されている。

アナログ／デジタル変換器７には、例えば、マイクロ
フォンでなる音響信号入力装置８が接続されている。こ
の音響信号入力装置８は、ユーザによって発声された歌
唱やハミングや、楽器から発生された楽音等の音響信号
を捕捉して電気信号に変換するものであり、その電気信
号をアナログ／デジタル変換器７に出力するものであ
る。

CPU1は、キーボード入力装置４によって処理が指令さ
れたとき、当該採譜処理を開始し、主記憶装置３に格納
されているプログラムを実行してアナログ／デジタル変
換器７によってデジタル信号に変換された音響信号を一
旦補助記憶装置６に格納し、その後、これら音響信号を
上述のプログラムを実行して楽譜データに変換して必要
に応じて表示装置５に出力するようになされている。

次に、CPU1が実行する音響信号を取り込んだ後の採譜
処理を第４図の機能レベルで示すフローチャートに従っ
て詳述する。

まず、CPU1は、音響信号を自己相関分析して分析周期
毎に音響信号のピッチ情報を抽出し、また２乗和処理し
てパワー情報を抽出し、その後ノイズ除去や平滑化処理
等の後処理を実行する（ステップSP1、SP2）。その後、
CPU1は、ピッチ情報については、絶対音程軸に対する音
響信号のずれ量を算出し、得られたピッチ情報をそのず
れ量に応じてシフトさせるチューニング処理を実行する
（ステップSP3）。すなわち、音響信号を発生した歌唱
者または楽器の音程軸と絶対音程軸との差が小さくなる
ようにピッチ情報を修正する。

次いで、CPU1は、得られたピッチ情報が同一音程を指
示するものと考えられるピッチ情報の連続期間を得て、
音響信号を１音ごとのセグメントに切り分ける処理（以
下、セグメンテーションと呼ぶ）を実行し、また、得ら
れたパワー情報の変化に基づいてセグメンテーションを
実行する（ステップSP4、SP5）。これら得られた両者の
セグメント情報に基づいて、CPU1は、４分音符や８分音
符等の時間長に相当する基準長を算出してこの基準長に
基づいてより詳細にセグメンテーションを実行する（ス
テップSP6）。

CPU1は、このようにしてセグメンテーションされたセ
グメントのピッチ情報に基づき、そのピッチ情報が最も
近いと判断できる絶対音程軸上の音程にそのセグメント
の音程を同定し、さらに、同定された連続するセグメン
トの音程が同一か否かに基づいて再度セグメンテーショ
ンを実行する（ステップSP7、SP8）。

その後、CPU1は、ピッチ情報を集計して得た音程の出
現頻度と、調に応じて定まる所定の重み付け係数との積
和を求めての積和の最大情報に基づいて、例えば、ハ長
調やイ短調というように入力音響信号の楽曲の調を決定
し、決定された調における音階上の所定の音程について
その音程をピッチ情報について見直して音程を確認、修
正する（ステップSP9、SP10）。次いで、CPU1は、最終
的に決定された音程から連続するセグメントについて同
一なものがあるか否か、また連続するセグメント間でパ
ワーの変化があるか否かに基づいてセグメンテーション
の見直しを実行し、最終的なセグメンテーションを行な
う（ステップSP11）。

このようにして音程及び音長（セグメント）が決定さ
れると、CPU1は、楽曲は１拍目から始まる、フレーズの
最後の音は次の小節にまたがらない、小節ごとに切れ目
がある等の観点から小節を抽出し、この小節情報及びセ
グメンテーション情報から拍子を決定し、この決定され
た拍子情報及び小節の長さからテンポを決定する（ステ
ップSP12、SP13）。

そして、CPU1は決定された音程、音長、調、拍子及び
テンポの情報を整理して最終的に楽譜データを作成する
（ステップSP14）。

チューニング 次に、このような処理を実行して採譜を行なう自動採
譜方式におけるチューニング処理（ステップSP3参照）
について、第１図の詳細フローチャートを用いて詳述す
る。

CPU1は、まず、周波数の単位であるHzで表わされてい
る入力ピッチ情報を、音階の単位であるセント（基準音
程に対するある音程の周波数比を、２を底とする対数で
表現し、1200を乗算したもの）で表わされたピッチデー
タに変換する（ステップSP20）。なお、100セントの差
が半音の音程差に相当する。

その後、CPU1は、セント値の下２桁が同一なピッチデ
ータ毎に集計して第２図に示すようなヒストグラムを作
成する（ステップSP21）。すなわち、セント値が０、10
0、200、…のデータを同一なものとして集計し、セント
値が１、101、201、…のデータを同一なものとして集計
し、セント値が２、102、202、…のデータを同一なもの
として集計し、かかる集計をセント値が99、199、299、
…のグループのデータについてまで行なう。かくして、
第２図に示すような１セントずつ異なる全幅が100セン
トのピッチ情報についてのヒストグラムが得られる。

なお、同一なものとして集計する100セントずる異な
るピッチ情報は半音の整数倍だけ異なるものであり、ま
た、音響信号は半音及び全音を音程差の基準としている
ので、得られたヒストグラムは一様な分布を呈するので
はなく、音響信号を発声した歌唱者や音響信号を発生し
た楽器が有する音程軸に対応したセント値近傍に頻度の
ピークを持つものとなる。

次いで、CPU1は、パラメータｉ、ｊを０クリアし、パ
ラメータMINを十分に大きい値Ａにセットする（ステッ
プSP22）。その後、CPU1は、得られたヒストグラム情報
を用いてｉセントを中心とした統計上の分散VARを演算
する（ステップSP23）。その後、演算された分散VARが
パラメータMINより大きいか否かを判別し、小さい場合
にはパラメータMINをその分散値VARに更新し、パラメー
タｉを値ｉに更新してステップSP26に進み、他方、大き
い場合には更新動作することなく直ちにステップSP26に
進む（ステップSP24〜SP26）。その後、CPU1はパラメー
タｉが値99か否かを判断し、異なる場合にはパラメータ
ｉをインクリメントして上述のステップSP23に戻る（ス
テップSP27）。

このようにして、得られたピッチ情報の集計情報から
分散が最も小さくなるセント情報（ｊ）が得られる。こ
こで、このセント情報周りの分散が最も小さいので、音
響信号の中心とする半音毎のセント群（ｊ、100＋ｊ、2
00＋ｊ、…）と判断することができる。すなわち、歌唱
者または楽器の音程軸を表わしていると捕らえることが
できる。

そこで、CPU1は、このセント情報分だけずらして音響
信号の音程軸を絶対音程軸に合せ込む。まず、CPU1は、
パラメータｊが50セントより小さいか否かを判断して、
すなわち、高音及び低音のどちらの絶対音程軸に近いか
を判断し、高音側に近い場合には、すべてのピッチ情報
を得られたセントｊ分だけ高音側にずらして修正し、低
音側に近い場合には、すべてのピッチ情報を得られたセ
ントｊ分だけ低音側にずらして修正する（ステップSP28
〜30）。

かくして、音響信号の音程軸がほぼ絶対音程軸に合せ
込まれ、このようにしたピッチ情報が以降の処理に用い
られる。

従って、上述の実施例によれば、求められたピッチ情
報をセグメンテーションや音程同定処理等にそのまま適
用するのではなく、半音毎のピッチ情報を同軸上に集計
し、その集計情報から分散をパラメータとして絶対音程
軸とのずれ分を検出し、そのずれ分だけ音響信号の音程
軸を修正して以降の処理に利用するようにしたので、音
響信号源がいかなるものであろうと楽譜データとしてよ
り正確なものを得ることができる。

なお、上述の実施例においては、自己相関分析によっ
て得られたピッチ情報をチューニング処理するものを示
したが、ピッチ情報の抽出方法はこれに限られないこと
は勿論である。

また、上述の実施例においては、音響信号の音程軸を
分散を用いて得るものを示したが、他の統計的手法を用
いて検出するようにしても良い。

さらに、上述の実施例においては、チューニング処理
で統計処理するピッチ情報がセント単位のものを示した
が、単位系はこれに限らないことはいうまでもない。

さらにまた、上述の実施例においては、第４図に示す
全ての処理をCPU1が主記憶装置３に格納されているプロ
グラムに従って実行するものを示したが、その一部また
全部の処理をハードウェア構成で実行するようにしても
良い。例えば、第３図との対応部分に同一符号を付した
第５図に示すように、音響信号入力装置８からの音響信
号を増幅回路10を介して増幅した後、さらに前置フィル
タ11を介してアナログ／デジタル変換器12に与えてデジ
タル信号に変換し、このデジタル信号に変換された音響
信号を信号処理プロセッサ13が自己相関分析してピッチ
情報を抽出し、また２乗和処理してパワー情報を抽出し
てCPU1によるソフトウェア処理系に与えるようにしても
良い。このようなハードウェア構成（10〜13）に用いら
れる信号処理プロセッサ13としては、音声帯域の信号を
リアルタイム処理し得ると共に、ホストのCPU1とのイン
タフェース信号が用意されているプロセッサ（例えば、
日本電気株式会社製μPD7720）を適用し得る。

［発明の効果］ 以上のように、本発明によれば、ピッチ情報を、音響
信号の音程軸と絶対音程軸とのずれ分だけ修正して以降
の処理に供するようにしたので、音響信号源がいかなる
ものであろうと楽譜データとしてより正確なものを得る
ことができる。

【図面の簡単な説明】

第１図は本発明の一実施例にかかるチューニング処理を
示すフローチャート、第２図はピッチ情報の分布状況を
示すヒストグラム、第３図は本発明を適用する自動採譜
方式の構成を示すブロック図、第４図はその自動採譜方
式の処理手順を示すフローチャート、第５図は自動採譜
方式の他の構成を示すブロック図である。 １……CPU、３……主記憶装置、６……補助記憶装置、
７……アナログ／デジタル変換器、８……音響信号入力
装置。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 藤本 正樹 東京都港区芝５丁目７番15号 日本電気 技術情報システム開発株式会社内 (72)発明者 水野 正典 東京都港区芝５丁目７番15号 日本電気 技術情報システム開発株式会社内 審査官 新井 重雄

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】入力された音響信号をデジタル信号に変換
   するアナログ／デジタル変換手段と、所定の処理手順を
   記憶している記憶手段と、上記記憶手段に記憶されてい
   る処理手順を実行する制御手段とを備え、デジタル信号
   に変換された上記音響信号からそのピッチ情報及びパワ
   ー情報を抽出し、抽出されたピッチ情報及び又はパワー
   情報から上記音響信号を同一音程とみなせる区間に区分
   し、上記ピッチ情報から上記各区間の上記音響信号の絶
   対音程軸にそった音程を決定し、上記ピッチ情報に基づ
   いて上記音響信号の調を決定し、上記区間情報に基づい
   て上記音響信号の拍子及びテンポを決定し、上記音響信
   号を楽譜データに変換する自動採譜方法において、 抽出された上記ピッチ情報を集計して絶対音程軸周りの
   ピッチ情報の分布を検出し、検出されたピッチ分布情報
   に基づいて上記音響信号の音程軸と絶対音程軸とのずれ
   を検出し、検出されたずれに応じて抽出された上記ピッ
   チ情報を絶対音程軸との差が最小となるように移動修正
   することを特徴とする自動採譜方法。
2. 【請求項２】入力された音響信号をデジタル信号に変換
   するアナログ／デジタル変換手段と、デジタル信号に変
   換された上記音響信号からそのピッチ情報及びパワー情
   報を抽出するピッチ・パワー抽出手段と、抽出されたピ
   ッチ情報及び又はパワー情報から上記音響信号を同一音
   程とみなせる区間に区分するセグメンテーション手段
   と、上記ピッチ情報から上記各区間の上記音響信号の絶
   対音程軸にそった音程を決定する音程同定手段と、上記
   ピッチ情報に基づいて上記音響信号の調を決定する調決
   定手段と、上記区間情報に基づいて上記音響信号の拍子
   及びテンポを決定する拍子・テンポ決定手段とを備え、
   上記音響信号を楽譜データに変換する自動採譜装置にお
   いて、 抽出された上記ピッチ情報を集計して絶対音程軸周りの
   ピッチ情報の分布を検出するピッチ分布検出手段と、検
   出されたピッチ分布情報に基づいて上記音響信号の音程
   軸と絶対音程軸とのずれを検出する音程ずれ検出手段
   と、検出されたずれに応じて抽出された上記ピッチ情報
   を絶対音程軸との差が最小となるように移動修正するピ
   ッチ情報修正手段とを備えた自動採譜装置。