JP2604402B2 - 自動採譜方法及び装置 - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、歌唱音声やハミング音声や楽器音等の音響
信号から楽譜データを作成する自動採譜方法及び装置に
関し、特に、パワー情報に基づいて音響信号を同一音程
とみなせる区間に区分するセグメンテーション処理に関
するものである。

［従来の技術］ 歌唱音声やハミング音声や楽器音等の音響信号を楽譜
データに変換する自動採譜方式においては、音響信号か
ら楽譜としての基本的な情報である音長、音程、調、拍
子及びテンポを検出することを有する。

ところで、音響信号は基本波形の繰返し波形を連続的
に含む信号であるだけであり、上述した各情報を直ちに
得ることはできない。

そこで、従来の自動採譜方式においては、まず、音響
信号の音高を表す基本波形を繰返し情報（以下、ピッチ
情報と呼ぶ）及びパワー情報を分析周期毎に抽出し、そ
の後、少なくとも抽出されたパワー情報から音響信号を
同一音程とみなせる区間（セグメント）に区分し（かか
る処理をセグメンテーションと呼ぶ）、次いで、セグメ
ントのピッチ情報から各セグメントの音響信号の音程を
絶対音程軸にそった音程に同定し、ピッチ情報の音程軸
周りの分布状況に基づいて音響信号の調を決定し、さら
に、セグメントに基づいて音響信号の拍子及びテンポを
決定するという順序で各情報を得ていた。

従って、音程、拍子、テンポ等は、セグメント（音
長）に基づき決定されるので、セグメンテーション処理
は、特に楽譜データを作成する上で重要なものとなって
いる。

［発明が解決しようとする課題］ このように、セグメンテーションは楽譜データを作成
する上で重要な要素であり、セグメンテーションの精度
が低いと、最終的に得られる楽譜データの度も著しく低
くなるので、ピッチ情報に基づくセグメンテーション結
果及びパワー情報に基づくセグメンテーション結果の両
者から最終的にセグメンテーションを行なう場合、また
はパワー情報から最終的なセグメンテーションを行なう
場合共に、パワー情報からのセグメンテーション処理自
体の精度も向上することが望まれる。

本発明は、以上の点を考慮してなされたもので、パワ
ー情報の基づいたセグメンテーションを良好に実行する
ことができ、楽譜データの精度を向上させることのでき
る自動採譜方法及び装置を提供しようとするものであ
る。

［課題を解決するための手段］ かかる課題を解決するため、第１の本発明において
は、入力された音響信号からパワー情報を抽出する処理
と、パワー情報に基づいて音響信号を同一音程とみなせ
る区間に区分するセグメンテーション処理とを少なくと
も含み、音響信号を楽譜データに変換する自動採譜方法
において、セグメンテーション処理が、パワー情報の立
上り変化点を抽出し、この抽出された立上り変化点で音
響信号を区分し、区分された区間のうち所定長さより短
いものを前後いずれかの区間と連続させる処理でなるよ
うにした。

また、第２の本発明においては、入力された音響信号
からパワー情報を抽出するパワー抽出手段と、抽出され
たパワー情報から音響信号を同一音程とみなせる区間に
区分するセグメンテーション手段とを一部に備えて音響
信号を楽譜データに変換する自動採譜装置において、セ
グメンテーション手段を、パワー情報の立上り変化点を
抽出する変化点抽出部と、この抽出された立上り変化点
で音響信号を区分する区分部と、区分された区間のうち
所定長さより短いものを前後いずれかの区間と連続させ
る区間補正部とで構成した。

［作用］ 第１の本発明においては、パワー情報から同一音程と
みなせる区間に区分するにつき、音響信号は、その発生
源がいかなるものであろうと、新たな音の開始点でのパ
ワーが最大となり、その後徐々に減衰するという性質を
有することに着目し、パワー情報の立上り変化点を抽出
してその抽出変化点で音響信号を区分するようにした。
さらに、ノイズやパワーの揺らぎ等によるセグメンテー
ションミスを排除するように所定長さより短い区間を単
独の区間とせずに前後いずれかの区間につなげて一つの
区間とするようにした。

また、第２の本発明は、パワー情報から同一音程とみ
なせる区間にセグメンテーション手段によって区分する
につき、同様にパワー情報の変化の仕方に着目してパワ
ー情報の立上り変化点を変化点抽出部によって抽出して
区分部によってその抽出変化点で音響信号を区分するよ
うにした。さらに、ノイズやパワーの揺らぎ等によるセ
グメンテーションミスを排除するように、区間補正部に
よって所定長さより短い区間を単独の区間とせずに前後
いずれの区間につなげつて一つの区間とするようにし
た。

［実施例］ 以下、本発明の一実施令を図面を参照しながら詳述す
る。

自動採譜方式 まず、本発明が適用される自動採譜方式について説明
する。

第４図において、中央処理ユニット（CPU）１は、当
該装置の全体を制御するものであり、バス２を介して接
続されている主記憶装置３に格納されている第５図に示
す採譜処理プログラムを実行するものである。バス２に
は、CPU1及び主記憶装置３に加えて、入力装置としての
キーボード４、出力装置としての表示装置５、ワーキン
グメモリとして用いられる補助記憶装置６及びアナログ
／デジタル変換器７が接続されている。

アナログ／デジタル変換器７には、例えば、マイクロ
フォンでなる音響信号入力装置８が接続されている。こ
の音響信号入力装置８は、ユーザによって発声された歌
唱やハミングや、楽器から発生された楽音等の音響信号
を捕捉して電気信号に変換するものであり、その電気信
号をアナログ／デジタル変換器７に出力するものであ
る。

CPU1は、キーボード入力装置４によって処理が指令さ
れたとき、当該採譜処理を開始し、主記憶装置３に格納
されているプログラムを実行してアナログ／デジタル変
換器７によってデジタル信号に変換された音響信号を一
旦補助記憶装置６に格納し、その後、これら音響信号を
上述のプログラムを実行して楽譜データに変換して必要
に応じて表示装置５に出力するようになされている。

次に、CPU1が実行する音響信号を取り込んだ後の採譜
処理を第５図の機能レベルで示すフローチャートに従っ
て詳述する。

まず、CPU1は、音響信号を自己相関分析して分析周期
毎に音響信号のピッチ情報を抽出し、また２乗和処理し
て分析周期毎にパワー情報を抽出し、その後ノイズ除去
や平滑化処理等の後処理を実行する（ステップSP1、SP
2）。その後、CPU1は、ピッチ情報については、絶対音
程軸に対する音響信号が有する音程軸のずれ量を算出
し、得られたピッチ情報をそのずれ量に応じてシフトさ
せるチューニング処理を実行する（ステップSP3）。す
なわち、音響信号を発生した歌唱者または楽器の音程軸
と絶対音程軸との差が小さくなるようにピッチ情報を修
正する。

次いで、CPU1は、得られたピッチ情報が同一音程を指
示するものと考えられるピッチ情報の連続期間を得て、
音響信号を１音ごとのセグメントに切り分けるセグメン
テーションを実行し、また、得られたパワー情報の変化
に基づいてセグメンテーションを実行する（ステップSP
4、SP5）。これら得られた両者のセグメント情報に基づ
いて、CPU1は、４分音符や８分音符等の時間長に相当す
る基準長を算出してこの基準長に基づいて再度セグメン
テーションを実行する（ステップSP6）。

CPU1は、このようにしてセグメンテーションされたセ
グメントのピッシ情報に基づきそのピッチ情報が最も近
いと判断できる絶対音程軸上の音程にそのセグメントの
音程を同定し、さらに、同定された連続するセグメント
の音程が同一か否かに基づいて再度セグメンテーション
を実行する（ステップSP7、SP8）。

その後、CPU1は、チューニング後のピッチ情報を音程
軸に沿って集計して得た音程の出現頻度と、調に応じて
定まる所定の重み付け係数との積和を求めてこの積和の
最大情報に基づいて、例えば、ハ長調やイ短調というよ
うに入力音響信号の楽曲の調を決定し、決定された調の
音階における所定の音程についてその音程をピッチ情報
について見直して音程を確認、修正する（ステップSP
9、SP10）。次いで、CPU1は、最終的に決定された音程
から連続するセグメントについて同一なものがあるか否
か、また連続するセグメント間でのパワーの変化がある
か否かに基づいてセグメンテーションの見直しを実行
し、最終的なセグメンテーションを行なう（ステップSP
11）。

このようにして音程及びセグメントが決定されると、
CPU1は、楽曲は１拍目から始まる、フレーズの最後の音
は次の小節にまたがらない、小節ごとに切れ目がある等
の観点から小節を抽出し、この小節情報及びセグメンテ
ーション情報から拍子を決定し、この決定された拍子情
報及び小節の長さからテンポを決定する（ステップSP1
2、SP13）。

そして、CPU1は決定された音程、音長、調、拍子及び
テンポの情報を整理して最終的に楽譜データを作成する
（ステップSP14）。

パワー情報に基づくセグメンテーション 次に、このような自動採譜方式におけるパワー情報に
基づくセグメンテーション処理（ステップSP5参照）に
ついて、第１図及び第２図のフローチャートを用いて詳
述する。なお、第１図はかかる処理を機能レベルで示す
フローチャートであり、第２図は第１図をより詳細に示
すフローチャートである。

また、音響信号のパワー情報としては、分析周期内の
各サンプリング点について音響信号を２乗し、これら２
乗値の総和をその分析周期におけるパワー情報として用
いている。

まず、CPU1は各分析点についてそのパワー情報の変化
関数を演算し、その関数に基づいてパワー情報の立上り
を抽出してその立上りの分析点にセグメント開始の印を
付す（ステップSP20、21）。

なお、このようにパワー情報の立上りを抽出して、セ
グメンテーションを実行するようにしたのは、音響信号
は音程を変えた場合、新たな音の開始点でそのパワーが
最も大きくなり、その後徐々に減衰していく性質を有す
るためである。

その後、CPU1はセグメントの開始点から次のセグメン
トの開始点までの長さ、すなわちセグメント長を測定
し、セグメント長が不十分なセグメントは除去してその
区間を前後のセグメントにつなげる（ステップSP22、2
3）。

このようにセグメントの長さが短い場合には、セグメ
ントとして取り扱わないようにしたのは、音響信号の場
合、パワー情報に揺らぐことがあり、また、ノイズが混
入されていることがあり、例えば歌唱者が同一音を意図
している場合にもパワー変化の峰が複数個生じる場合が
あり、この複数の峰によるセグメンテーションミスを防
止するためである。

かくして、パワー情報の立上り情報いに基づいた、し
かもセグメント長を考慮したセグメンテーションを実行
することができる。

次に、かかる処理を第２図に基づいてさらに詳述す
る。

CPU1は、まず分析点パラメータｔを０クリアした後、
処理すべき分析点のデータが終了していないことを確認
してその分析点ｔについて、その点のパワー情報Ｐ
（ｔ）及びそれよりｋ個だけ進んだ分析点ｔ＋ｋのパワ
ー情報Ｐ（ｔ＋ｋ）に基づいて次式 ｄ（ｔ）＝｛Ｐ（ｔ＋ｋ）−Ｐ（ｔ）｝ ÷｛Ｐ（ｔ＋ｋ）＋Ｐ（ｔ）｝ …（１） に示すパワー情報の変化関数（以降の処理で立上り抽出
に利用するので、以下、立上り抽出関数と呼ぶ）ｄ
（ｔ）を演算する（ステップSP30〜32）。なお、ｋはパ
ワー情報の変化をとらえるのに好適な適当な時間差に選
定する。

その後、CPU1はその分析点ｔにおける立上り抽出関数
ｄ（ｔ）が閾値θｄ以上か否かを判断し、閾値θｄより
小さくて肯定結果を得ると、パラメータｔをインクリメ
ントして上述のステップSP31に戻る（ステップSP33〜3
4）。

かかる処理を繰返すことにより、CPU1は、やがて立上
り抽出関数ｄ（ｔ）が閾値θｄ以上に変化した直後の分
析点を見出し、ステップSP33において否定結果を得る。
このとき、CPU1はセグメント開始の印を付した後、処理
すべき分析点のデータが終了していないことを確認して
その分析点ｔについて、その点のパワー情報Ｐ（ｔ）及
びそれよりｋ個だけ進んだ分析点ｔ＋ｋのパワー情報Ｐ
（ｔ＋ｋ）に基づいて再度パワー情報の立上り抽出関数
ｄ（ｔ）を演算する（ステップSP35〜37）。

その後、CPU1はその分析点ｔにおける立上り抽出関数
ｄ（ｔ）が閾値θｄより小さいか否かを判断し、閾値θ
ｄ以上であって否定結果を得ると、分析点パラメータｔ
をインクリメントして上述のステップSP36に戻る（ステ
ップSP38〜39）。これに対して、閾値θｄより小さくな
ってステップSP38において肯定結果を得ると、上述した
ステップSP31に戻って次に立上り抽出関数ｄ（ｔ）が閾
値θｄ以上に変化した直後の分析点の抽出処理に進む。

このような処理を繰返すことによりパワー情報の立上
り時の全ての分析点にセグメントの開始の印が付され、
やがて、全てのパワー情報について処理が終了し、ステ
ップSP31またはSP36において肯定結果が得られ、ステッ
プSP40以降のセグメントの見直し処理に進む。

セグメントの見直し処理として、CPU1は、まずパラメ
ータｔを０クリアした後、処理すべき分析点データが終
了していないことを確認してセグメント開始の印がその
分析点ｔについて付されているか否かを判別する（ステ
ップSP40〜42）。CPU1は印が付されておらず否定結果を
得ると、パラメータｔをインクリメントして上述のステ
ップSP41に戻る（ステップSP43）。かかる処理を繰返す
ことにより、やがて、印が付されている分析点となり、
ステップSP42において肯定結果が得られる。

このとき、CPU1は長さパラメータＬとして１をセット
し、パラメータｔをインクリメントした後、処理すべき
分析点データが終了していないことを確認してセグメン
ト開始の印がその分析点ｔについて付されているか否か
を判別する（ステップSP44〜47）。処理中の分析点に印
が付されておらず否定結果を得ると、CPU1は長さパラメ
ータＬ及び分析点パラメータｔを共にインクリメントし
て上述のステップSP46に戻る（ステップSP48、49）。

かかる処理を繰返すことにより、やがて、次にセグメ
ント開始の印が付されている分析点となり、ステップSP
47で肯定結果が得られる。このときの長さパラメータＬ
は、印が付されている処理対象の分析点とその直前の印
が付されている分析点との距離に相当し、すなわち、セ
グメントの長さに相当している。CPU1はステップSP47で
肯定結果が得られると、このパラメータＬ（セグメント
長）が閾値θＬより短いか否かを判断し、閾値θＬ以上
の場合には、セグメント開始の印を取ることなく、上述
のステップSP41に戻り、閾値θＬより小さい場合には、
前側のセグメント開始の印を取り去って、すなわちこの
セグメントを前側のセグメントとつなげて上述のステッ
プSP41に戻る（ステップSP50、51）。

なお、ステップSP50または51からステップSP41に戻っ
た場合には、データが終了していないと、ステップSP42
で直ちに肯定結果が得られてステップSP44以降の処理に
進み、今見付かったばかりの印の次の印を捜す動作に移
行することになり、上述と同様にして次の印を見出だし
てセグメント長の見直しを実行する。

このような動作を繰返すことにより、全てのセグメン
ト長の見直しが終了し、やがてステップSP41で肯定結果
が得られて当該処理終了させる。

第３図はパワー情報Ｐ（ｔ）の時間変化及び立上り抽
出関数ｄ（ｔ）の時間変化の一例を示すものであり、こ
の例の場合には、第１図のステップSP39までの処理では
セグメントS1、S2…SNに区分される。しかし、ステップ
SP40以降の処理を実行することにより、長さの短いセグ
メントS4は排除され、セグメントS3及びセグメントS4が
一つのセグメントS34とされる。

従って、上述の実施例によれば、パワー情報の立上り
を抽出してその立上りでセグメンテーションを実行する
ようにしたので、音の開始点で区分することのできる精
度の高いセグメンテーションを実行することができ、ま
た、セグメント長により見直しを実行しているので、パ
ワー情報にノイズや揺らぎがある場合にも、その影響を
受けることなくセグメンテーションを実行することがで
きる。

他の実施例 なお、上述の実施例においては、パワー情報として音
響信号の２乗和を用いたものを示したが、他のパラメー
タを用いても良い。例えば、２乗和の平行根を用いても
良い。

また、上述の実施例においては、立上りを抽出する関
数として（１）式に示すものを適用したが、他の関数を
適用するようにしても良い。例えば、分母を固定した微
分関数を適用しても良い。

さらに、上述の実施例においては、セグメント長が不
十分なセグメントを直前のセグメントにつなげるものを
示したが、直後のセグメントにつなげるようにしても良
く、また、直前のセグメントが休符区間以外では直前の
セグメントにつなげ、休符区間であれば直後のセグメン
トにつなげるようにしても良い。

さらに、上述の実施例においては、第５図に示す全て
の処理をCPU1が主記憶装置３に格納されているプログラ
ムに従って実行するものを示したが、その一部または全
部の処理をハードウェア構成で実行するようにしても良
い。例えば、第４図との対応部分に同一符号を付した第
６図に示すように、音響信号入力装置８からの音響信号
を増幅回路10を介して増幅した後、さらに前置フィルタ
11を介してアナログ／デジル変換器12に与えてデジタル
信号に変換し、このデジタル信号に変換された音響信号
を信号処理プロセッサ13が自己相関分析してピッチ情報
を抽出し、また２乗和処理してパワー情報を抽出してCP
U1によるソフトウェア処理系に与えるようにしても良
い。このようなハードウェア構成（10〜13）に用いられ
る信号処理プロセッサ13としては、音声帯域の信号をリ
アルタイム処理し得ると共に、ホストのCPU1とのインタ
フェース信号が用意されているプロセッサ（例えば、日
本電気株式会社製μPD7720）を適用し得る。

［発明の効果］ 以上のように、本発明によれば、パワー情報の立上り
を抽出してその立上りでセグメンテーションを実行し、
また、セグメント長を考慮してセグメントを補正するよ
うにしたので、音の開始点で区分することのできる精度
の高いセグメンテーションを実行することができ、パワ
ー情報にノイズや揺らぎがある場合にも、その影響を受
けることなくセグメンテーションを実行することがで
き、セグメンテーション結果を利用する音程同定処理等
の以降の処理を良好に実行させることができる。

【図面の簡単な説明】

第１図及び第２図は本発明の一実施例にかかるパワー情
報に基づくセグメンテーション処理を示すフローチャー
ト、第３図はパワー情報及び立上り抽出関数の経時変化
をセグメンテーション結果と共に示す特性曲線図、第４
図は本発明を適用する自動採譜方式の構成を示すブロッ
ク図、第５図はその自動採譜処理手順を示すフローチャ
ート、第６図は自動採譜方式の他の構成を示すブロック
図である。 １……CPU、３……主記憶装置、６……補助記憶装置、
７……アナログ／デジタル変換器、８……音響信号入力
装置。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 藤本 正樹 東京都港区芝５丁目７番15号 日本電気 技術情報システム開発株式会社内 (72)発明者 水野 正典 東京都港区芝５丁目７番15号 日本電気 技術情報システム開発株式会社内 審査官 新井 重雄

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】入力された音響信号からパワー情報を抽出
   する処理と、上記パワー情報に基づいて上記音響信号を
   同一音程とみなせる区間に区分するセグメンテーション
   処理と少なくとも含み、上記音響信号を楽譜データに変
   換する自動採譜方法において、 上記セグメンテーション処理が、 上記パワー情報の立上り変化点を抽出し、この抽出され
   た立上り変化点で上記音響信号を区分し、区分された区
   間のうち所定長さより短いものを前後いずれかの区間と
   連続させる処理でなることを特徴とする自動採譜方法。
2. 【請求項２】入力された音響信号からパワー情報を抽出
   するパワー抽出手段と、抽出されたパワー情報から上記
   音響信号を同一音程とみなせる区間に区分するセグメン
   テーション手段とを一部に備えて上記音響信号を楽譜デ
   ータに変換する自動採譜装置において、 上記セグメンテーション手段が、 上記パワー情報の立上り変化点を抽出する変化点抽出部
   と、この抽出された立上り変化点で上記音響信号を区分
   する区分部と、区分された区間のうち所定長さより短い
   ものを前後いずれかの区間と連続させる区間補正部とで
   なることを特徴とする自動採譜装置。