JPH0151200B2

JPH0151200B2 -

Info

Publication number: JPH0151200B2
Application number: JP57232457A
Authority: JP
Inventors: Mamoru Inami; Yoshiaki Tanaka; Yoshiki Ootsuki
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 1982-12-30
Filing date: 1982-12-30
Publication date: 1989-11-01
Also published as: JPS59124384A

Description

【発明の詳細な説明】（産業上の利用分野）本発明は、音声信号の音の高さと対応する表示
をデイスプレイ上の五線譜あるいは鍵盤などにお
ける対応する部分に表示させうるようにした音符
の表示装置に関する。

（従来例と問題点）楽器の演奏を行なつたときに、演奏中の曲が五
線譜上に直ちに表示されるようにすることができ
れば、作曲した曲を誰でもが楽譜上に記録するこ
とも容易となり、また、音楽教育上での利用も期
待できるので、演奏中の曲が五線譜状の表示面上
に音符として表示されるようにした表示装置につ
いては、従来から各種形式のものが試みられて来
ているが、従来装置において例えば鍵盤の押鍵に
よつて動作するスイツチによつて五線譜状の表示
板上のランプを点灯させるように構成したもので
は、鍵盤楽器以外の楽器、すなわち、弦楽器や、
管楽器などには適用することができないという点
が問題となり、また、他の構成の従来装置、例え
ば、楽器の音を音響電気変換器で電気信号に変換
し、それを多数の帯域濾波器を用いて周波数分析
し、その分析結果によつて五線譜状の表示板上に
ランプを点灯させるように構成のものでは、多数
の帯域濾波器が必要とされるために、構成が複雑
なものになるという欠点があつた。

（問題点を解決するための手段）本発明は、音声信号をデジタル信号に変換して
周波数分析を行ない、その分析結果に基づいて音
声信号の音高を判定し、音高の判定結果によりデ
イスプレイ上へ五線譜における対応する部分、あ
るいはデイスプレイ上へ鍵盤における対応する部
分へ所要の表示を行なうようにした音符の表示装
置を提供するものである。

（実施例）以下、添付図面を参照しながら本発明の音符の
表示装置について詳細に説明する。第１図は本発
明の音符の表示装置の一実施態様のブロツク図で
あつて、この第１図において、１は左チヤンネル
（Ｌチヤンネル）の信号の入力端子、２は右チヤ
ンネル（Ｒチヤンネル）の信号の入力端子であ
り、Ｌチヤンネルの信号はバツフア増幅器BAlに
よつて増幅されてから、スイツチSWlと、加算器
ADDと減算器SUBとに与えられ、また、Ｒチヤ
ンネルの信号はバツフア増幅器BArによつて増
幅されてから、スイツチSWrと、加算器ADDと
減算器SUBとに与えられる。

第１図中の一点鎖線枠で示すSWは、前記した
各個別のスイツチSWl、SWr、SWa、SWbを備
えている選択スイツチであり、この選択スイツチ
SWは、それの各個別のスイツチの内の何れか１
つがオンの状態となされるときに、他のすべての
スイツチがオフの状態となされて、前記のオンの
状態にされた１つのスイツチで選択された信号が
後続する回路に与えられるようにする。

図示の例においては、選択スイツチSWによつ
て、Ｌチヤンネルの信号と、Ｒチヤンネルの信号
と、Ｌチヤンネルの信号とＲチヤンネルの信号と
の和信号と、Ｌチヤンネルの信号とＲチヤンネル
の信号との差信号との４つの信号の内の１つの信
号が選択されるのである。

前記の選択スイツチSWによつて選択された信
号はグラフイツクイコライザDEQに与えられ、
前記のグラフイツクイコライザDEQからの出力
信号は、アンチ・エイリアジング・フイルタ
AAFを介して絶対値検出回路AVDと符号検出回
路SDとに与えられ、絶対値検出回路AVDからの
出力信号はアナログ・デジタル（以下、ADと略
記する）変換器ADCに与えられ、また、符号検
出回路SDからの出力信号は中央制御装置CPUに
与えられる。

前記した絶対値検出回路AVDとしては、両波
整流器を用いることができ、また、符号検出回路
SDとしては、入力信号の正、負に応じてハイレ
ベルとローレベルの出力を出しうるように構成さ
れた比較器を用いることができる。

絶対値検出回路AVDの出力信号がAD変換器
ADCによつてAD変換されることによつて得られ
たデジタル信号と、符号検出回路SDから出力さ
れる１ビツトの信号とは１組のデジタル信号とし
て中央制御装置CPUの制御の下にメインメモリ
RAMに格納されてFFT演算のために使用される
のであるが、前記のように絶対値検出回路AVD
と符号検出回路SDとを使用すると、少ないビツ
ト数のAD変換器によつて広いダイナミツクレン
ジの入力信号のAD変換を行なうことができる。

また、前記したグラフイツクイコライザDEQ
は、楽器の種類に応じて、入力信号の周波数特性
を変更できるようにして、各種の楽器についての
周波数分析も良好に行なわれうるようにするため
のものであり、アンチ・エイリアジング・フイル
タAAFは、いわゆる折返し雑音が発生しないよ
うに信号の周波数帯域の制限を行なうための低域
通過濾波器である。

前記したアンチ・エイリアジング・フイルタ
AAFの遮断周波数をfcとすると、AD変換器
ADCにおける標本化周波数fsは2fc以上となされ
るべきことは周知のとおりであり、また、AD変
換器ADCから出力されるデジタル信号を用いた
FFT演算によつて周波数分析が行なわれる場合
に、分析結果として得られるスペクトルの周波数
間隔ｆは、デジタル信号を得るために用いたAD
変換器ADCの標本化周波数fsと、FFT演算を行
なう際に用いたデジタル信号のデータの数Ｎとに
よつて、ｆ＝fs／Ｎのように示されることも周知のとおりである。

例えば、アンチ・エイリアジング・フイルタ
AAFの遮断周波数fcが20KHzの場合に、AD変換
器ADCにおける標本化周波数fsを40KHz（fs＝
2fc）とし、FFT演算による分析結果として、ス
ペクトルを10Hzの周波数間隔ｆで得たいとする場
合には、FFT演算に使用されるべきデジタル信
号のデータ数Ｎは4000個となる。

前記したFFT演算は、演算に用いられるデー
タの数Ｎが多い程、周波数分析のために必要とさ
れる時間が長くあるから、データ数が多くて入力
信号の音の高さの決定までの所要時間が長く、実
時間での音の高さの表示が困難となるようなとき
は、FFT演算だけを乗算器によつて行なうよう
にして、入力信号の音の高さが実時間に近い状態
で表示されるようになされることが望ましい。

さて、本発明の音符の表示装置は、入力された
音声信号の音の高さを、デイスプレイCRTの表
示面上へ、例えば第４図に示すように、五線譜状
の表示の対応する部分へ順次に音符で表示した
り、鍵盤状の表示の対応する部分へ所定のマーク
で表示したりできるように、入力された音声信号
をデジタル信号に変換し、そのデジタル信号を用
いてFFT演算により周波数分析を行なつて、入
力の音声信号の音の高さを判定し、その判定結果
によつて定まるデイスプレイの表示面中の特定な
位置に、所定の図形を表示させるようにしたもの
であるが、前記した入力された音声信号の音の高
さの判定の基準としては例えば12平均律の音名の
音の高さが採用できる。

今、入力の音声信号の音の高さをデイスプレイ
の表示面に表示される五線譜によつて表わされう
る３オクターブの音名、すなわち、F₂〜F₅と対
応する五線譜上の位置や鍵盤上の位置で表示させ
ようとする場合には、周波数分析の結果として、
入力の音声信号の基音が、例えば440Hzであると
判定されれば、その入力の音声信号は音名A₄の
音の高さであるとして、デイスプレイの五線譜の
A₄の位置に音符の表示を行なつたり、鍵盤にお
けるA₄の鍵にマークの表示を行ない、また例え
ば入力の音声信号に対する周波数分析の結果とし
て、入力の音声信号の基音が146.83Hzであると判
定されれば、その入力の音声信号は音名D₃の音
の高さであるとして、デイスプレイの五線譜の
D₃の位置に音符の表示を行なつたり、鍵盤にお
けるD₃の鍵の位置にマークの表示を行なうとい
うような表示態様での入力の音声信号の音の高さ
の表示が、音名F₂〜F₅までの各音名と対応する
高さの音声信号が入力された際に行なわれうるの
である。

ところで、本発明の音符の表示装置に対して入
力される音声信号は、主として各種の楽器や電子
楽器から出た音が音響電気変換されたものなので
あるが、楽器音は楽器の種類によつて基音に対す
る倍音の強さとの関係や、基音と倍音との組合わ
さり方が異なつている。

第５図のａ〜ｄは、色々な楽器の音の周波数分
析結果を示す図｛第５図のａはフルートの音、第
５図のｂはクラリネツトの音、第５図のｃはバイ
オリン（バイオリンのＧ線）の音、第５図のｄは
コントラバス（コントラバスのＥ線）の音｝であ
るが、例えば第５図のａ，ｂに示されているフル
ートやクラリネツトのような管楽器では、基音が
どの倍音よりも強く（ピアノ、ギターなども管楽
器と同じような傾向を示す）、また、バイオリン
やコントラバスの場合には基音よりも強い倍音が
存在しているというような周波数分析結果となつ
ている。

第５図のａ〜ｄに例示した各種の楽器音の周波
数分析結果をみても判かるように、楽器音を構成
する周波数成分は、第５図のａ，ｂに示されてい
るように、基音の強さが最大であるようなものだ
けではなく、第５図のｃ，ｄに示されているよう
に、基音よりも倍音の方が強いものもあるので、
入力の音声信号を周波数分析し、その分析結果と
して得られた各周波数成分の内で一番大きなもの
を取り出しても、それが基音であるとは限らない
ので、入力の音声信号を周波数分析した結果に基
づいて入力の音声信号基音の高さを決定し、その
基音の高さと対応する音符がデイスプレイの表示
面の五線譜の所定の位置へ表示されるようにした
り、入力の音声信号の基音と対応する鍵の表示位
置へマークが表示されるようにするためには、入
力の音声信号の周波数分析結果として得た各周波
数成分の強度の相対的な関連をみて、入力の音声
信号の基音を決定することが必要とされる。

そこで、本発明の音符の表示装置では、入力の
音声信号をAD変換器ADCによつてデジタル信号
に変換して得たデジタルデータを用いてFFT演
算を行なつた後にパワースペクトル演算を行なつ
て、入力の音声信号の各周波数成分が得られたな
らば、前記の周波数分析手段によつて得られたす
べての周波数成分の中で最も大きなスペクトル値
を示す周波数成分の周波数よりも低い周波数領域
に存在する周波数成分の内で、前記した最も大き
なスペクトル値を示す周波数成分のスペクトル値
よりも、予め定められた範囲内で小さなスペクト
ル値を示す周波数成分を検出するようにし、前記
の検出手段によつて該当する周波数成分が検出さ
れなかつた場合には、前記した最も大きなスペク
トル値を示す周波数成分の周波数を、入力の音声
信号の音の高さ（基音）と判定し、また、前記の
検出手段によつて周波数成分が検出された場合に
は検出された周波数成分の内で、最も低い周波数
を示す周波数成分の周波数を入力の音声信号の音
の高さ（基音）と判定するようにして、入力の音
声信号の基音が決定されるようにしている。

前記した入力の音声信号の基音の判定の仕方に
よつて、入力の音声信号の基音が正しく見出せる
ということを第５図のａ〜ｄを参照して説明する
と次のとおりである。

入力の音声信号に対する周波数分析の結果が第
５図のａ，ｂのように、基音が最も強い場合に
は、基音が入力の音声信号の基音として判定され
ることは当然である。すなわち、基音は周波数分
析の結果として得られる多くの周波数成分の内で
最も周波数が低いものであるから、この場合に最
もスペクトル値が大きい基音よりも低い周波数領
域には周波数分析によつて生じる周波数成分は存
在せず、したがつて、周波数分析の結果として得
られた多くの周波数成分の内で、最も大きなスペ
クトル値を示す基音の周波数値が基音として判定
される。

また、入力の音声信号に対する入力の音声信号
に対する周波数分析の結果が、第５図のｃ，ｄの
ように、基音のスペクトル値よりも倍音のスペク
トル値の方が大きな場合には、周波数分析の結果
として得られた多くの周波数成分の内で最も大き
なもの｛第５図のｃに示されているバイオリンＧ
線の場合には３倍音（第３高調波）、第５図のｄ
に示されているコントラバスＥ線の場合には２倍
音（第２高調波）｝の周波数よりも低い周波数領
域に存在する周波数成分の内で、前記した最も大
きなスペクトル値を示す周波数成分のスペクトル
値よりも、予め定められた範囲内で小さなスペク
トル値を示す周波数成分の周波数を基音として判
定するのである。

第５図のｃに示すバイオリンのＧ線の音（開放
弦の音）の場合における「前記した予め定められ
た範囲」は、10dB程度とすればよく、また、第
５図のｄに示すコントラバスのＥ線の音（開放
弦）の場合における「前記した予め定められた範
囲」は30dB程度とすればよい。

そして、通常の楽器の楽器音で、基音のスペク
トル値よりも倍音のスペクトル値の方が大きいと
いう周波数分析結果が得られる場合における、最
もスペクトル値が大きな倍音のスペクトル値と基
音のスペクトル値とのレベル差は10dB以内に納
まつているのであり、第５図のｄに示すコントラ
バスのＥ線の音は例外である。

それで、基音の判定に当つて、最もスペクトル
値が大きな周波数成分の周波数値が、例えば100
Hz以下の場合だけは、その最もスペクトル値の大
きな周波数成分の周波数よりも低い周波数領域
に、前記した最もスペクトル値が大きな周波数成
分のスペクトル値に比べて例えば30dB以内のレ
ベル差を示す周波数成分があるかどうかをみるよ
うにし、前記以外の場合、すなわち、最もスペク
トル値が大きな周波数成分の周波数値が、例えば
100Hz以上の場合には、その最もスペクトル値の
大きな周波数成分の周波数よりも低い周波数領域
に、前記した最もスペクトル値が大きな周波数成
分のスペクトル値に比べて例えば10dB以内のレ
ベル差を示す周波数成分があるかどうかをみるよ
うにすれば、前述した判定基準によつて入力の音
声信号における基音の判定は常に正しく行なわれ
ることになる。

ところで、先に設例として示したように音符の
表示装置が、音名F₂〜F₅までの音の高さを表示
できるようなものとして構成されるような場合に
は、前記した表示の対象とされる音名中で最も音
の高い音名F₅の音が入力されたときにも、表示
装置では音名F₅と対応する表示がなされなけれ
ばならないが、前述のように、入力の音声信号の
音の高さ（基音）の判定に当つては、周波数分析
の結果として得られた最も大きなスペクトル値を
示す周波数成分のスペクトル値や周波数値が必要
とされるから、音符の表示装置で音名F₅の音が
入力の音声信号の周波数分析の結果に基づいて判
定されるためには、音名F₅の基音の周波数698.46
Hzの高次高調波（少なくとも３次高調波）成分も
周波数分析によつて正しい値のものとして得られ
ていなければならない。

それで、既述の設例のように音名F₅の音の表
示も行なわせる表示装置では、入力の音声信号の
周波数帯域を制限するアンチ・エイリアジング・
フイルタAAFとして、それの遮断周波数fcが、
音名F₅の周波数値698.46Hzの３倍以上に設定され
ているものが必要とされる。

実際の装置の構成に当つて、アンチ・エイリア
ジング・フイルタAAFとしては、他の条件が許
すかぎり遮断周波数fcが高く設定されたものを使
用することが望ましい（アンチ・エイリアジン
グ・フイルタAAFの遮断周波数fcと、AD変換器
ADCにおける標本化周波数fsと、周波数分析結
果として得られるスペクトルの周波数間隔ｆと、
データの個数Ｎとの関係、ならびに、FFT演算
に要する時間との関係などについて既述したとこ
ろである）。

第１図において、AD変換器ADCから出力され
るデジタル信号と、符号検出回路SDから出力さ
れる１ビツトの信号とは、メインメモリRAMに
格納されて、FFT演算のために使用されること
は既述したとおりであり、中央制御装置CPUは
リードオンリーメモリROM₁に記憶されているプ
ログラムに従つて所定の制御動作や演算動作を行
なうとともに、ビデオ・デイスプレイ・プロセツ
サVDPを介して、ビデオ・ラムＶ・RAMに対し
てデータを与える。ROM₂はスペクトル分析用の
プログラムを記憶させてある高速なリードオンリ
ーメモリであるが、FFT演算を中央制御装置
CPUで行なわず、乗算器で行なうようにする場
合には、第１図中のROM₂の部分が乗算器に変更
された構成となる。

第１図中のCRTはデイスプレイであり、以下
の説明ではデイスプレイは陰極線管を用いたもの
とされており、デイスプレイCRTの表示面には、
入力の音声信号の音の高さの表示が、例えば第４
図示のようにしてなされるのである。

ビデオ・デイスプレイ・プロセツサVDPは、
それにデータバス４を介して接続されているビデ
オ・ラムＶ・RAMと中央制御装置CPUとの間で
インターフエースとして動作すると共に、前記し
たビデオ・ラムＶ・RAMに記憶されている各種
のデータによつて画像内容が定められ、かつ、予
め定められた標準方式に従う複合映像信号を発生
することができるようなものとして構成されてい
るものであつて、このビデオ・デイスプレイ・プ
ロセツサVDPとしては、例えば、日経マグロウ
ヒル社の「日経エレクトロニクス」1981年３月30
日号（第156頁〜164頁）に紹介されている米国テ
キサス・インスツルメント社のビデオ・デイスプ
レイ・プロセツサ（VDP）を使用することがで
きるのであり、以下の説明では前記したビデオ・
デイスプレイ・プロセツサが使用されているとさ
れている。

第２図は、ビデオ・デイスプレイ・プロセツサ
にバス４を接続されているビデオ・ラムＶ・
RAMのメモリマツプの一例を示す図であつて、
この第２図に示すビデオ・ラムのメモリマツプで
は、０番地から1023番地までの1024バイトがスプ
ライト・ジエネレータ・テーブル（SGT）とし
て使われ、また、1024番地から1779番地までの
768バイトがパターン名称テーブル（PNT）とし
て使われ、さらに、1792番地から1919番地までの
128バイトがスプライト属性テーブル（SAT）と
して使われ、さらにまた、1920番地から1951番地
までの32バイトがカラーテーブル（CT）として
使われ、また、1952番地から2047番地までの96バ
イトは未使用で、2048番地から4095番地までの
2048バイトがパターン・ジエネレータ・テーブル
（PGT）として使用されている。

パターン・ジエネレータ・テーブルPGTは、
例えば各８バイトづつを使用して８画素×８画素
で１つの特定なパターンが記憶できるので、８×
８画素による256種類のパターンが記憶できる。
このパターン・ジエネレータ・テーブルPGTに
記憶されるパターンの情報は、中央制御装置
CPUの動作により、装置の初期状態においてリ
ードオンリーメモリROMから転送されるもので
あるが、パターン・ジエネレータ・テーブル
PGTがリード・オンリー・メモリとなされてい
てもよいことは勿論である。

パターン・ジエネレータ・テーブルPGTにお
ける各８バイトづつの記憶領域には、前述のよう
にそれぞれ８×８画素による特定なパターンが個
別に記憶されているが、それらの各特定なパター
ンは、それぞれの特定なパターンが記憶されてい
る各記憶領域毎につけたパターン名称によつて特
定なパターンを指定できるようにする。第２図示
の例のパターン・ジエネレータ・テーブルPGT
ではパターン名称＃０からパターン名称255まで
の256のパターン名称によつて256種類のパターン
を指定することができる。

次に、パターン名称テーブルPNTは、デイス
プレイCRTの表示面に想定された表示区画の
個々のものが、それぞれパターン・ジエネレー
タ・テーブルPGTにおけるどのパターン名称で
あるのかを示す情報を記憶するために、前記した
表示区画の総数と対応する記憶容量をもつてい
る。

第３図示の例において、表示面に設定される区
画の総数は、｛（32列）×（24行）｝＝768であり、ま
た１区画を示す情報量として１バイトを用いてい
るので前述のようにパターン名称テーブルPNT
は768バイトの記憶容量をもつものとされている。

前記のように、ビデオ・ラムＶ・RAMにおけ
るパターン・ジエネレータ・テーブルPGTに必
要数のパターンが記憶されており、また、それぞ
れのパターンと対応して付されているパターン名
称の所要のものが、パターン名称テーブルPNT
における表示面の各区画に記憶されているとき
は、ビデオ・デイスプレイ・プロセツサVDPが、
前記したビデオ・ラムＶ・RAMにおけるパター
ン名称テーブルPNTに記憶されている情報と、
パターン・ジエネレータ・テーブルPGTに記憶
されている情報と、それに、必要に応じてカラー
テーブルCTに記憶されている情報とによつて画
像内容が定められた特定な標準方式に従う複合映
像信号を発生してデイスプレイCRTに与え、デ
イスプレイCRTの表示面に特定なパターンが表
示されるのである。

これまでの説明は、パターン・ジエネレータ・
テーブルPGTに記憶させておいたパターンの特
定なものが、デイスプレイの表示面における768
個の区画の内の特定な区画に表示されるような表
示モード、いわゆるグラフイツクモードでパター
ンの表示が行なわれる場合に関するものである
が、このグラフイツクモードでのパターンの表示
は、パターン名称テーブルPNTによりパターン
の位置が指定されるため、表示面上である１つの
パターンを移動させようとした場合にはパターン
の移動のピツチは表示面における１区画（８画素
の距離）である。

それで、表示面上でのパターンの移動のピツチ
を小さくして、パターンに円滑な移動を行なわせ
るのには、スプライト・ジエネレータ・テーブル
SGTに記憶させておいたパターンを、座標の変
更によつて１画素のピツチで表示面内に移動させ
るようにする。

スプライト・ジエネレータ・テーブルSGTに
記憶されるパターンは、８画素×８画素のスプラ
イト・データとなされる場合と、16画素×16画素
のスプライト・データとなされる場合があるが、
スプライト・ジエネレータ・テーブルSGTに記
憶される各パターンについては、それぞれ個別の
＃０、＃１…＃Ｎのようにスプライト名称が付さ
れるが、各スプライト名称が付されたパターンと
対応するスプライト面は、スプライト名称が示す
数値の小さいもの程高い優先度をもつようになさ
れている。

第２図に例示したビデオ・ラムＶ・RAMのメ
モリ・マツプにおいては、既述のようにスプライ
ト・ジエネレータ・テーブルSGTとして０番地
から1023番地までの1024バイトが使用されるもの
とされているから、この例の場合にはパターンが
８画素×８画素の場合には、128個のパターン
（スプライト名称＃０〜＃127）が記憶でき、ま
た、パターンが16画素×16画素の場合には32個の
パターン（スプライト名称＃０〜＃31）が記憶で
きる。ビデオ・ラムＶ・RAMにおいて、スプラ
イト・ジエネレータ・テーブルSGTに2048バイ
トが割当てられた場合には、スプライト・ジエネ
レータ・テーブルSGTに記憶されるパターンの
個数が前例の場合の２倍となることはいうまでも
ない。

スプライト属性テーブルSATには、１スプラ
イト毎に４バイトを使用して、スプライトの位置
（垂直位置と水平位置との指定のために各１バイ
ト）、表示スプライトの名称（１バイト）、カラー
コード及び表示スプライトの終了コード（１バイ
ト）などが設定されるから、スプライト属性テー
ブルSATとして128バイトが使用される場合に
は、このスプライト属性テーブルSATには32ス
プライト分の情報が記憶される。

スプライトの位置は、表示面における横方向
（Ｘ方向）256画点（８画素×32区画）と縦方向
（Ｙ方向）192画点（８画素×24区画）とで定まる
49152画点の座標を、垂直位置（縦方向で何番目
の画点であるのかを示す数値）と、水平位置（横
方向で何番目の画点であるのかを示す数値）と
が、スプライト属性テーブルSATに書込まれる
ことにより決定され（スプライトの基点はスプラ
イトの左上端とされている）、スプライトの移動
は１画素のピツチで行なわれ得るのである。

そして、本発明の音符の表示装置では、パター
ン・ジエネレータテーブルPGTとスプライト・
ジエネレータ・テーブルSGTとに複数種類のパ
ターンを記憶させておき、デイスプレイCRTの
表示面に表示すべきパターンの選択や、パターン
の移動の態様の指定などが、パターン名称テーブ
ルPNTやスプライト属性テーブルSATに書込ま
れたデータによつて行なわれるようにして、デイ
スプレイCRTの表示面に、例えば第４図示のよ
うな表示が行なわれるようにされているのであ
る。

デイスプレイCRTの表示面上の表示態様を示
す第４図において、五線譜、ト音記号、ヘ音記
号、及び鍵盤の図形などは、予めリードオンリー
メモリROM₁に記憶させて用意しておいてあるも
のであり、音符の表示装置の動作の開始に当つ
て、前記のリードオンリーメモリROM₁に記憶さ
れている各種のパターンは、中央制御装置CPU
とビデオ・デイスプレイ・プロセツサVDPを介
して、ビデオ・ラムＶ・RAMにおけるパター
ン・ジエネレータ・テーブルPGTと、スプライ
ト・ジエネレータ・テーブルSGTとに転送記憶
されて、デイスプレイの表示面への表示動作のた
めに使用されるのである。また、第４図中におけ
る五線譜上に示されている音符状のマークＳと、
鍵盤上に示されているマークＭとは、入力の音声
信号の音の高さと対応してデイスプレイCRTの
表示面へ表示されるものである。

中央制御装置CPUは第６図示のフローチヤー
トに示されているような動作を行なつて、入力の
音声信号の音の高さを表示させるのに必要なデー
タを作り、それをビデオ・デイスプレイ・プロセ
ツサVDP、ビデオ・ラムＶ・RAMに与え、デイ
スプレイの表示面へ、第４図示のような音符また
はマークにより音の高さの表示が行なわれるよう
にする。

第６図示のフローチヤートにおいて、スタート
で電源投入が行なわれて音符の表示装置が始動さ
れ、ステツプ(1)で初期化（システム・イニシヤラ
イズ）が行なわれて、AD変換器ADC、メインメ
モリRAM、ビデオ・ラムＶ・RAMなどがクリ
アされるとともに、ビデオ・デイスプレイ・プロ
セツサVDPにおけるレジスタが設定されて、ビ
デオ・ラムＶ・RAMにおけるどの記憶領域が何
のテーブルに使用されるのかの使用領域の設定
や、動作モードの設定などが行なわれ、また、リ
ードオンリーメモリROM₁からパターン・ジエネ
レータ・テーブルPGTやスプライト・ジエネレ
ータ・テーブルSGTなどに対して、所定種類の
パターン情報（例えば、第４図中に示されている
各種の図形情報）をビデオ・デイスプレイ・プロ
セツサVDPを介して転送し、また、スプライト
属性テーブルSATに対してスプライト名称やＸ
座標ならびにカラーデータの転送が行なわれる。

そして、中央制御装置CPUは、第６図のフロ
ーチヤートに示す割込みが発生しない間はステツ
プ(2)からステツプ(7)までの各ステツプの各制御動
作を繰返して実行しているが、中央制御装置
CPU内に設けられている内部カウンタに設定さ
れた特定な標本化周期毎に割込みが発生すると、
中央制御装置CPUは、そのときに実行していた
制御動作を中断して、ステツプ(8)〜(10)に示す制御
動作を行ない、それが終了すると、先に割込みの
発生によつて中断されていた制御動作の実行を続
行する。

すなわち、中央制御装置CPUは、それがAD変
換器ADCに対する制御動作を行なう時間以外の
時間はステツプ(2)〜ステツプ(7)の制御動作を行な
うようになされている。

さて、中央制御装置CPUの内部に設けられて
いる内部カウンタが、AD変換器ADCの標本化周
期毎に割込みを発生させると、中央制御装置
CPUはAD変換器ADCにAD変換動作の開始パル
スを与え、ステツプ(8)でAD変換器ADCがAD変
換動作を行ない、出力のデジタル信号をメインメ
モリRAMに格納する。

ステツプ(9)でAD変換器ADCにおけるAD変換
動作が所定の回数だけ行なわれたかどうか（所定
個数のデジタルデータが得られたかどうか）をみ
て、NOならばリターンし、また、YESならばス
テツプ(10)に進み、ステツプ(10)で内部カウンタを０
にし（Ａ／Ｄプリセツト）でリターンする。

前記のようにして、所定の個数ｎのデジタルデ
ータがメインメモリRAMに格納された場合に、
ステツプ(2)でｎ個のデジタルデータを用いた
FFT演算が行なわれ、その演算結果のｎ／２個
のスペクトルデータをメインメモリRAMに格納
する。

FFT演算は、高速に動作するリードオンリー
メモリROM₂に記憶させてあるプログラムに従つ
て、中央制御装置CPUが短時間で行なうように
しても、あるいは、乗算器を用いて短時間で行な
うようにしてもよい。前記したどちらの方法で
FFT演算が行なわれるようにするのかは、表示
装置による表示をどの程度までに実時間に近づけ
る必要があるのかに応じてきめればよい。

ステツプ(3)では前記のステツプ(2)で得たスペク
トルデータについて、パワースペクトル演算を行
なつて、その演算結果をメインメモリRAMに格
納する。次いで、ステツプ(4)で最も大きなスペク
トル値を求め、ステツプ(5)では前記の最も大きな
スペクトル値を示すスペクトルの周波数よりも低
い周波数領域中に存在し、かつ、前記した最も大
きなスペクトル値のスペクトルの大きさよりも予
め定められた範囲内で小さなスペクトル値を有す
るスペクトルの内で最も低い周波数値を示すスペ
クトルの周波数値を求めて、それを入力の音声信
号の音の高さ（基音）と判定し、また、前記の条
件に該当するスペクトルが存在しない場合には、
前記した最も大きなスペクトル値を示すスペクト
ルの周波数値を入力の音声信号の音の高さ（基
音）と判定し、次に、ステツプ(6)では前記のステ
ツプ(5)で判定された音の高さを示すデータ値と対
応して、パターン名称テーブルPNTに書込むべ
きデータや、スプライト属性テーブルSATに書
込むべきデータを作り、次いで、ステツプ(7)では
前記のデータをビデオ・デイスプレイ・プロセツ
サVDPを介してビデオ・ラムＶ・RAMに転送
し、ビデオ・デイスプレイ・プロセツサVDPは、
前記のようにしてビデオ・ラムＶ・RAMに書込
まれたデータによつて複合映像信号を作つて、そ
れをデイスプレイCRTへ送り、デイスプレイ
CRTの表示面に、第４図示のようなパターンで
音の高さの表示を行なわせる。

第４図に例示した音の高さの表示パターンは、
デイスプレイCRTの表示面に映出された五線譜
状の画像における対応する音名の位置に、入力の
音声信号の音の高さが時間軸上で変化するのに応
じて、デイスプレイCRTの表示面の左側から右
側へ次々に音符状の図形Ｓ、Ｓ…が表示されると
ともに、最も新らしい音の高さの表示が、デイス
プレイCRTの表示面に映出された鍵盤状の図形
における対応する鍵盤の位置にマークＭによつて
なされるようにした場合のものである。

そして、１つの音符ＳがデイスプレイCRTの
表示面上に表示されてから、次の１つの音符Ｓが
新らたに表示面上に表示されるまでの時間々隔は
ステツプ(2)〜(7)の繰返し周期と略々対応してお
り、デイスプレイCRTの表示面上の横方向に最
大26個の音符を次々に表示させうるものとした場
合に、ステツプ(2)〜(7)の繰返し周期が例えば200
ミリ秒であつたとすれば、入力の音声信号の5.6
秒の長さと対応して、デイスプレイCRTの表示
面上には26個の音符が並ぶものとなる。

デイスプレイCRTの表示面上における音符の
表示態様としては、五線譜上へ左から右へ順次に
所定の個数（前記の例では26個）だけ並べられ終
る毎にクリアされるようにされても、あるいは五
線譜上へ左から右へ順次に所定の個数だけ並べら
れ終つた後は、次から次に現われる音符が常に表
示面上の一番右端へ表示されるようにし、それ以
前に表示されていた音符の表示位置がそれぞれ１
つづつ左側へ移されるような表示の仕方、いわゆ
るスクロール表示となされても、またはその他の
適当な表示態様が採用されてもよい。

既述もしたように、デイスプレイCRTの表示
面に例えば音名F₂から音名F₅までの３オクター
ブの音域内の音の高さを表示させようとした場合
には表示しようとしている最も高い音（音名F₅
の音）の基音の周波数698.46Hzよりもかなり高い
周波数成分までを通過させることができるような
アンチ・エイリアジング・フイルタAAFを使用
しないと、FFT演算等による周波数分析によつ
て音名F₅の基音を正しく判定することはできな
い。それで、アンチ・エイリアジング・フイルタ
AAFとして、それの遮断周波数fcが例えば20K
Hzというように高い周波数値を有するものが使用
されることは、音の高さの判定結果を正しいもの
にするという点からみれば望ましいことである。

しかしながら、遮断周波数fcの高いアンチ・エ
イリアジング・フイルタAAFを使用した場合に
は、当然のことながらAD変換器ADCにおける
AD変換の標本化周波数fs（fs＝2fc）も高くなる
が、一方、音の高さの判定を正確に行なうために
は、周波数分析によつて得られるスペクトルの周
波数間隔ｆも狭いことが要求されるために、
FFT演算のために使用されるデジタル信号のデ
ータの個数が多くなり、FFT演算のために必要
とされる時間が多くかかつたり、また、無駄に捨
て去られてしまうデータも多くなるということが
問題となる。

そこで、上記の問題点を解決するために、遮断
周波数fcが表示の対象とされている音域内の最高
音の周波数値の３倍程度の周波数（既述の設例の
場合のように、音名F₅の音が最高音の場合には、
約2.1KHzとなる）に設定されているようなアン
チ・エイリアジング・フイルタAAFを使用する
ことが考えられる。

前記のように、必要最小限までに通過帯域が狭
くされている低域通過濾波器が使用された場合に
は、AD変換時の標本化周波数も低くなるのであ
り、例えば、前記した例の場合における標本化周
波数としては、4.2KHzでよく、この場合にFFT
演算によつて例えば10Hzの周波数間隔のスペクト
ルが得られるようにする場合に必要とされるデジ
タル信号のデータの個数も420個というように少
ないものとなり、前述した問題点は解消される。

ところが、入力の音声信号を前記のように低い
遮断周波数のアンチ・エイリアジング・フイルタ
AAFによつて帯域制限してから以後の信号処理
が行なわれるようにされたときは、入力の音声信
号に高い周波数成分が存在するような場合に、音
の高さの判定結果に誤りが生じることが問題とな
る。この点を第７図を参照して具体的に説明す
る。

第７図において、実線図示の曲線AAFは、遮
断周波数がfcであるようなアンチ・エイリアジン
グ・フイルタAAFの通過帯域特性であり、第７
図中に示されている遮断周波数fcは、入力の音声
信号の周波数帯域（例えば15Hz〜16KHz）内の低
い周波数値（例えば2.1KHz）を有するものとな
されている。

今、入力の音声信号がアンチ・エイリアジン
グ・フイルタAAFの遮断周波数fcよりも低い周
波数領域内だけに、すべての周波数成分が含まれ
ているものであつた場合には、何らの問題も生じ
ないことは自明であるが、入力の音声信号がアン
チ・エイリアジング・フイルタAAFの遮断域付
近（通過帯域のスカートの部分）にも大きなスペ
クトル値を示すような周波数成分を含んでいるよ
うなものであつた場合には、音の高さの判定結果
に誤りを生じさせることがおこる。

すなわち、入力の音声信号に含まれている遮断
域付近の周波数成分は、アンチ・エイリアジン
グ・フイルタAAFの遮断域の下降曲線に沿つて、
それのスペクトル値が減少された状態で、AD変
換器ADCに供給されて、アンチ・エイリアジン
グ・フイルタAAFの通過帯域内の信号とともに
AD変換されて、FFT演算のためのデジタル信号
のデータとして用いられるが、AD変換器ADCに
与えられたアンチ・エイリアジング・フイルタ
AAFの遮断域付近の周波数成分の大きさは、前
述のようにもともとの大きさを有しているもので
はないから、前記したAD変換器ADCから出力さ
れたデジタル信号を用いて周波数分析を行なつて
も、音の高さの判定を誤まることが生じるのであ
る。

第８図は、アンチ・エイリアジング・フイルタ
AAFとして、低い遮断周波数値を有するものが
用いられた場合でも、前記の問題が生じないよう
に本発明の音符の表示装置を構成した場合の実施
態様のブロツク図であつて、この第８図におい
て、既述した第１図に示す音符の表示装置におけ
る構成部分と同一の構成部分には、第１図中で使
用した図面符号と同一の図面符号を付してある。
第８図において、INVは位相反転器、ADDaは加
算器、RFC₁，RFC₂は整流平滑回路、COMPは
比較器であつて、前記の加算器ADDaにはグラフ
イツクイコライザDEQの出力と、位相反転器
INVの出力とが与えられている。

位相反転器INVには、アンチ・エイリアジン
グ・フイルタAAFの出力信号が与えられている
から、前記した加算器ADDaから出力される信号
成分は、入力の音声信号からアンチ・エイリアジ
ング・フイルタAAFで除去された信号成分を差
引いた信号成分、すなわち、入力の音声信号を遮
断周波数fcの高域通過濾波器（第７図中の点線図
示の特性曲線が帯域通過特性である）に通したと
きに得られる信号成分である。

整流平滑回路RFC₁は、アンチ・エイリアジン
グ・フイルタAAFの出力信号、すなわち、入力
の音声信号において第７図中の実線図示の曲線で
示されている周波数帯域の信号成分を整流平滑
し、また、整流平滑回路RFC₂は、入力の音声信
号からアンチ・エイリアジング・フイルタAAF
によつて除去された信号成分を差引いた信号成
分、すなわち、入力の音声信号において第７図中
の点線図示の曲線で示されている周波数帯域の信
号成分を整流平滑する。

そして、前記した整流平滑回路RFC₁，FFC₂の
出力信号は比較器COMPに供給されているから、
比較器COMPからは、入力の音声信号における
第７図中の実線図示の特性曲線で示される周波数
帯域の信号成分の大きさと、第７図中の点線図示
の特性曲線で示される周波数帯域の信号成分の大
きさとの比較結果の信号が出力される。

そして、比較器COMPにおける比較結果を示
す信号の内で、整流平滑回路RFC₂の出力信号の
方が整流平滑回路RFC₁の出力信号よりも大きい
場合に比較器COMPから出力される比較結果の
信号は、中央制御回路CPUからパターンデータ
がビデオ・デイスプレイ・プロセツサVDPを介
してビデオ・ラムＶ・RAMに転送されるのを禁
止する信号として使用される。

したがつて、第８図に示す音符の表示装置で
は、アンチ・エイリアジング・フイルタAAFと
して遮断周波数fcの低いものが使用されている場
合に生じるおそれがあつた既述のような問題点、
すなわち、アンチ・エイリアジング・フイルタ
AAFで除去されるべき周波数帯域の信号成分が
大きい場合に、入力の音声信号の音の高さを正し
く表示できないことがあるという問題点は生じる
ことがない。

なお、第８図示の実施態様では、比較器
COMPにおいて、アンチ・エイリアジング・フ
イルタAAFを通過した信号成分と、アンチ・エ
イリアジング・フイルタAAFで除去された信号
成分との大きさを比較して、音符の表示禁止信号
が得られるようにしているが、実施に当つて音符
の表示禁止信号の発生手段として、他の構成態様
のもの、例えば、アンチ・エイリアジング・フイ
ルタAAFにおける遮断周波数fcの上方の周波数
領域で、かつ、前記した遮断周波数fcに近い部分
の信号成分を抽出することができるような帯域濾
波器をグラフイツクイコライザDEQの出力側に
接続し、前記した帯域濾波器で抽出された信号成
分を整流平滑回路RFC₂に与えるように構成した
ものが用いられてもよい。

（効果）以上、詳細に説明したところから明らかなよう
に、本発明の音符の表示装置では、帯域濾波器に
よつて周波数分析を行なうようなことはせず、音
声信号をデジタル信号に変換し、そのデジタル信
号を用いて周波数分析を行なうようにしているの
で、装置の構成が簡単なものとなり、また、周波
数分析によつて得られたすべての周波数成分の中
で最も大きなスペクトル値を示す周波数成分の周
波数よりも低い周波数領域において、前記した最
も大きなスペクトル値を示す周波数成分のスペク
トル値よりも予め定められた範囲内で小さなスペ
クトル値を示す周波数成分があるか否かをみて、
前記の条件に該当する周波数成分が無い場合に
は、前記した最も大きなスペクトル値を示す周波
数成分の周波数を入力の音声信号の音の高さと判
定し、他方、前記の条件に該当する周波数成分が
ある場合には、条件に該当する周波数成分の内で
最も低い周波数を示す周波数成分の周波数を入力
の音声信号の音の高さと判定して、デイスプレイ
上へ五線譜における対応する部分へ音符を表示さ
せたり、デイスプレイ上へ鍵盤における対応する
部分へマークを表示させるようにしたので、各種
の楽器音についての正確な音の表示がデイスプレ
イ上に容易に得られるのであり、それにより、楽
器を演奏しながら誰にでも楽譜の作成が容易にで
き、さらに、表示の対象とされている最高音を判
定するのに必要な程度の狭い通過周波数帯域巾を
備えたアンチ・エイリアジング・フイルタを用い
て装置が構成されたような場合に、アンチ・エイ
リアジング・フイルタで除去された周波数帯域中
に大きな信号成分が含まれているときには表示を
禁止するようにすることにより、誤まつた表示が
行なわれることなしに、簡単な構成で実時間に近
い状態での表示動作の可能な音符の表示装置も容
易に提供できる。

【図面の簡単な説明】

第１図及び第８図は本発明の音符の表示装置の
各異なる実施態様のブロツク図、第２図はビデ
オ・ラムのメモリマツプの一例図、第３図は表示
面の区画の説明図、第４図は表示面の表示パター
ンの一例図、第５図は楽器音のスペクトル分布
図、第６図はフローチヤート、第７図は濾波器の
通過帯域特性例図である。１，２……入力端子、BAL，BAr……バツフ
ア増幅器、SW……選択スイツチ、GEQ……グラ
フイツクイコライザ、AAF……アンチ・エイリ
アジング・フイルタ、AVD……絶対値検出回路、
SD……符号検出回路、ADC……AD変換器、
CPU……中央制御装置、RAM……メインメモ
リ、ROM₁，ROM₂……リードオンリーメモリ、
VDP……ビデオ・デイスプレイ・プロセツサ、
Ｖ・RAM……ビデオ・ラム、CRT……デイスプ
レイ、INV……位相反転器、RFC₁，RFC₂……
整流平滑回路、ADDa……加算器、COMP……
比較器。

Claims

【特許請求の範囲】１音声信号をデジタル信号に変換するアナロ
グ・デジタル変換手段と、前記したデジタル信号
の一定個数のデータを用いて周波数分析を行なう
手段と、前記の周波数分析結果によつて得たすべ
ての周波数成分中で最も大きなスペクトル値を示
す周波数成分の周波数よりも低い周波数の周波数
成分の内で、前記した最も大きなスペクトル値を
示す周波数成分のスペクトル値よりも予め定めら
れた範囲内で小さなスペクトル値を示す周波数成
分を検出する手段と、前記の検出手段によつて該
当する周波数成分が検出されなかつた場合には、
前記した最も大きなスペクトル値を示す周波数成
分の周波数を音声信号の音の高さと判定し、ま
た、前記の検出手段によつて周波数成分が検出さ
れた場合は、検出された周波数成分の内で最も低
い周波数を示す周波数成分の周波数を音声信号の
音の高さと判定する音高判定手段と、前記した音
高判定手段による判定結果に基づいて、デイスプ
レイ上へ五線譜における対応する部分に音符の表
示を行なうようにする手段とを備えてなる音符の
表示装置。２周波数分析手段によつて得たすべての周波数
成分中で最も大きなスペクトル値を示す周波数成
分の大きさよりも小さなスペクトル値を示す周波
数成分の大きさとして予め定められる周波数成分
の大きさの範囲は、周波数分析手段によつて得た
すべての周波数成分中で最も大きなスペクトル値
を示す周波数成分の周波数値に応じて可変にされ
るようにした特許請求の範囲第１項記載の音符の
表示装置。３音高判定手段による判定結果に基づいて、デ
イスプレイ上へ五線譜における対応する部分に音
符の表示を行なうようにするとともに、前記した
音高判定手段による判定結果に基づいて、デイス
プレイ上へ鍵盤における対応する部分に表示を行
なうようにした特許請求の範囲第１項記載の音符
の表示装置。４音声信号をデジタル信号に変換するアナロ
グ・デジタル変換手段と、前記のアナログ・デジ
タル変換手段から出力されたデジタル信号を
FFT演算するとともに、その結果についてパワ
ースペクトル演算を行ない、演算結果として得た
スペクトルのレベルに基づいて音高を判定し、判
定された音高に応じたパターン情報に変換して出
力する中央制御装置と、前記した中央制御装置の
出力データが印加されるビデオ・デイスプレイ・
プロセツサとを備え、デイスプレイ上へ五線譜に
おける対応する部分に音符の表示を行なうように
した特許請求の範囲第１項記載の音符の表示装
置。５アンチ・エイリアジング・フイルタを介して
得た音声信号をデジタル信号に変換するアナロ
グ・デジタル変換手段と、前記したデジタル信号
を用いて周波数分析を行なう手段と、前記の周波
数分析手段によつて得たすべての周波数成分中で
最も大きなスペクトル値を示す周波数成分の周波
数よりも低い周波数の周波数成分の内で、前記し
た最も大きなスペクトル値を示す周波数成分のス
ペクトル値よりも予め定められた小さなスペクト
ル値を示す周波数成分を検出する手段と、前記の
検出手段によつて該当する周波数成分が検出され
なかつた場合には、前記した最も大きなスペクト
ル値を示す周波数成分の周波数を音声信号の音の
高さと判定し、また、前記の検出手段によつて周
波数成分が検出された場合には、検出された周波
数成分の内で最も低い周波数を示す周波数成分の
周波数を音声信号の音の高さと判定する音高判定
手段と、前記した音高判定手段による判定結果に
基づいて、デイスプレイ上へ五線譜における対応
する部分に音符の表示を行なうようにする手段
と、前記したアンチ・エイリアジング・フイルタ
を通過した第１の信号成分と、アンチ・エイリア
ジング・フイルタによつて除去された第２の信号
成分とを比較する手段と、前記した第２の信号成
分の方が第１の信号成分よりも大きい場合におけ
る前記した比較手段からの出力信号に基づいてそ
の音符の表示動作を無効にする手段とを備えてな
る音符の表示装置。