JP5487718B2 - Sound material search device - Google Patents
Sound material search device Download PDFInfo
- Publication number
- JP5487718B2 JP5487718B2 JP2009121066A JP2009121066A JP5487718B2 JP 5487718 B2 JP5487718 B2 JP 5487718B2 JP 2009121066 A JP2009121066 A JP 2009121066A JP 2009121066 A JP2009121066 A JP 2009121066A JP 5487718 B2 JP5487718 B2 JP 5487718B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- sound material
- search
- symbol
- materials
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000000463 material Substances 0.000 title claims description 224
- 239000013598 vector Substances 0.000 claims description 65
- 238000000034 method Methods 0.000 description 28
- 230000033764 rhythmic process Effects 0.000 description 22
- 239000000428 dust Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013500 performance material Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Electrophonic Musical Instruments (AREA)
Description
本発明は、音素材の検索を支援する技術に関する。 The present invention relates to a technique for supporting search of sound material.
断片的な音波形である音素材を集めたデータベースを有し、このデータベースから検索した音素材を用いて曲を編集し、演奏する演奏装置がある。この種の演奏装置のデータベースは、複数の種類の音素材とその各々について求めた複数の種類の特徴量とを対応づけたものとなっている。この種の演奏装置において特徴量に基づく音素材の検索を容易にするための技術が各種提案されている。例えば特許文献1に開示された演奏装置では、ユーザが指定した2種類の特徴量をX軸およびY軸とする2次元座標系にデータベース内の各音素材がマッピングされ、このマッピング結果として各音素材を示すシンボルが2次元空間内に配置された検索画面が表示される。そして、ユーザが検索画面において所望の2種類の特徴量に対応した位置をポインティングデバイスにより指示すると、その指示点の所定距離以内に表示された各シンボルが示す音素材が選択され、複数の演奏用操作子に各々割り当てられる。
There is a performance apparatus that has a database that collects sound materials that are fragmentary sound waves, and that edits and plays music using sound materials retrieved from the database. The database of this type of performance device associates a plurality of types of sound materials with a plurality of types of feature values obtained for each of them. Various techniques have been proposed for facilitating the search for sound material based on feature quantities in this type of performance device. For example, in the performance device disclosed in
特許文献1に開示の技術によれば、各種の音素材の特徴を空間内の位置として把握することができるため、所望の音素材を見つけ出す作業が容易になる。しかしながら、見つけ出した音素材が所望のものに近いが所望のものではないような場合には、再度、検索画面内における特徴量に対応した位置を指示するという試行錯誤を繰り返さねばならないという問題があった。
本発明は、このような背景の下に案出されたものであり、データベースに記憶された音素材の中から所望の音素材を効率的に検索することができる音素材検索装置を提供することを目的とする。
According to the technique disclosed in
The present invention has been devised under such a background, and provides a sound material search device capable of efficiently searching for a desired sound material from sound materials stored in a database. With the goal.
本発明は、各音素材とそれらの音素材の特徴を示す特徴量ベクトルとを対応づけて記憶する記憶手段と、操作手段と、音素材を示すシンボルを表示する表示手段と、前記操作手段の操作により指定された複数の音素材を基準音素材とし、前記複数の基準音素材と各々対応づけて前記記憶手段に記憶された複数の特徴量ベクトル間を補間した1または複数組の各特徴量ベクトルに最も類似した特徴量ベクトルをもった1または複数の音素材を前記記憶手段から検索し、その検索結果である各音素材を示す複数のシンボルを前記表示手段に表示させる制御手段とを具備することを特徴とする音素材検索装置を提供する。 The present invention relates to a storage unit that stores each sound material and a feature vector indicating the characteristics of the sound material in association with each other, an operation unit, a display unit that displays a symbol indicating the sound material, and the operation unit. One or a plurality of sets of feature amounts obtained by interpolating between a plurality of feature amount vectors stored in the storage means in association with the plurality of reference sound materials, using a plurality of sound materials designated by operation as a reference sound material Control means for retrieving one or more sound materials having a feature vector most similar to the vector from the storage means, and displaying a plurality of symbols indicating the sound materials as the search results on the display means. Provided is a sound material retrieval apparatus characterized by:
本発明によれば、複数の音素材の中間的な特徴を持った音素材の検索を行うことができるので、検索済みの音素材のなかに所望のものに近い音素材が複数ある場合に、それらの音素材を利用して所望の音素材を効率的に探し出すことができる。 According to the present invention, it is possible to search for a sound material having an intermediate characteristic of a plurality of sound materials, so when there are a plurality of sound materials close to a desired one among searched sound materials, A desired sound material can be efficiently searched using these sound materials.
以下、図面を参照し、この発明の実施の形態を説明する。図1は、この発明の一実施形態である音素材検索装置10の構成を示すブロック図である。この音素材検索装置10は、パーソナルコンピュータに、本実施形態による音素材検索プログラム28をインストールしたものである。ここで、音素材検索プログラム28は、ユーザが行う操作に応じて、曲を構成するのに用いる音素材をデータベースから検索し、この検索した音素材を用いて曲を編集し演奏する機能を有するアプリケーションプログラムである。なお、本実施形態における音素材とは、曲中の1拍に相当する区間の音波形や1拍をさらに区分した区間の音波形である。
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a sound
図1に示すように、この音素材検索装置10は、インターフェース11を介してサウンドシステム90と接続される。この音素材検索装置10における操作部13はマウス14とキーボード15とを含む。表示部16は、液晶ディスプレイである。
As shown in FIG. 1, the sound
制御部20は、CPU21、RAM22、ROM23、ハードディスク24を有する。CPU21は、RAM22をワークエリアとして利用しつつ、ROM23やハードディスク24に記憶されたプログラムを実行する。ROM23は、IPL(Initial Program Loader)などを記憶した読み出し専用メモリである。
The control unit 20 includes a
ハードディスク24は、音素材データベース25および26と、リズムパターンデータベース27と、音素材検索プログラム28とを記憶している。
音素材データベース25は、楽曲の音波形内に含まれる各音素材のうちアタックが明瞭でエッジ感の強い音素材(以下、「エッジ音」と呼ぶ)と各々対応するレコードの集合体である。音素材データベース26は、楽曲の音波形内に含まれる各音素材のうちダスティーな感じの強い各音素材(以下、「ダスト音」と呼ぶ)と各々対応する複数のレコードの集合体である。なお、これらの両音素材データベース25,26のほかに、エッジ音やダスト音以外の音素材と各々対応する複数のレコードからなる別のデータベースを設けてもよい。
The
The
図2は、音素材データベース25のデータ構造を示す図である。図2に示すように、音素材データベース25における1つのエッジ音と対応するレコードは、楽曲の音波形内におけるエッジ音を含む区間の音波形のサンプル列と、その音波形を解析して得られた以下の8種類の特徴量を各々示す9つのフィールドを有する。
a1.高域強度Phigh
これは、音素材に含まれる高域の周波数成分の強度である。
b1.中高域強度Pmid-high
これは、音素材に含まれる中高域の周波数成分の強度である。
c1.中低域強度Pmid-low
これは、音素材に含まれる中低域の周波数成分の強度である。
d1.低域強度Plow
これは、音素材に含まれる低域の周波数成分の強度である。
e1.ディゾナンスPdisson
これは、音素材の協和度を示す指標値である。
f1.スペクトラルコンプレクシティPcomplex
これは、音素材の複雑さを示す指標値である。
g1.ピーク位置Ppeak-posi
これは、音素材の音波形において振幅がピークとなる時刻を当該音素材の先頭のサンプルの時刻を基準とした相対時刻として表わしたものである。
h1.ピーク強度Ppeak-val
これは、音素材におけるピークの振幅である。
FIG. 2 is a diagram showing the data structure of the
a1. High frequency intensity P high
This is the intensity of the high frequency component contained in the sound material.
b1. Mid-high frequency intensity P mid-high
This is the intensity of the frequency component in the mid-high range included in the sound material.
c1. Mid-low range strength P mid-low
This is the intensity of the mid-low frequency component contained in the sound material.
d1. Low frequency intensity P low
This is the intensity of the low frequency component contained in the sound material.
e1. Dissonance P disson
This is an index value indicating the degree of harmony of the sound material.
f1. Spectral Complexity P complex
This is an index value indicating the complexity of the sound material.
g1. Peak position P peak-posi
This represents the time at which the amplitude of the sound waveform of the sound material reaches its peak as a relative time based on the time of the first sample of the sound material.
h1. Peak intensity P peak-val
This is the amplitude of the peak in the sound material.
また、音素材データベース26における1つのダスト音と対応するレコードは、楽曲の音波形内におけるダスト音を含む区間の音波形のサンプル列と、その音波形を解析して得られた前掲のa1.〜f1.の6種類の特徴量Phigh,Pmid-high,Pmid-low,Plow,Pdisson,Pcomplexを各々示す7つのフィールドを有する。
以降は、特徴量Phigh,Pmid-high,Pmid-low,Plow,Pdisson,Pcomplex,Ppeak-posi,Ppeak-valを要素とする特徴量ベクトルを特徴量ベクトルPと記す。
なお、音素材を示すレコードに音素材の音波形のサンプル列を含める代わりに、その音波形を含む曲のハードディスク24内での所在を示す情報と、その曲においてその音波形が現れる区間を示す情報を含めてもよい。
In addition, a record corresponding to one dust sound in the
Hereinafter, a feature quantity vector having the feature quantities P high , P mid-high , P mid-low , P low , P disson , P complex , P peak-posi , and P peak-val as elements is referred to as a feature quantity vector P. .
In addition, instead of including the sample sequence of the sound waveform of the sound material in the record indicating the sound material, the information indicating the location of the music including the sound waveform in the
リズムパターンデータベース27は、複数のリズムパターンデータを記憶したデータベースである。ここで、1つのリズムパターンデータは、16種類のトラックデータTrack−k(k=1〜16)から構成される。各トラックデータTrack−k(k=1〜16)は、1つのリズムパターンを構成する各トラックにおけるリズム音のON(発音)/OFF(非発音)を指示する時系列パターンである。
The
音素材検索プログラム28は、以下の3つの処理をCPU21に実行させるプログラムである。
a2.検索制御処理
これは、音素材データベース25,26から音素材を検索し、検索した音素材を示すシンボルSM−i(i=1,2…)がマッピングされた画面である検索画面を表示部16に表示させる処理である。
b2.曲演奏処理
これは、検索画面内に表示されたシンボルSM−i(i=1,2…)のうち操作部13に指定されたシンボルSM−iが示す音素材をサウンドシステム90に発音させる処理である。
c2.リズム演奏処理
これは、ユーザが操作部13の操作により指定したリズムパターンデータをリズムパターンデータベース27から読み出してRAM22に格納し、ユーザが操作部13の操作により指定した音素材をリズムパターンデータの各トラックデータTrack−k(k=1〜16)に割り当て、割り当てた音素材をリズム音として用いてリズムパターンデータの自動再生を行う処理である。
The sound
a2. Search Control Processing This is a search screen that is a screen in which symbols SM-i (i = 1, 2,...) That indicate the searched sound material are mapped and the sound material is searched from the
b2. Music performance processing This is processing for causing the
c2. Rhythm performance processing In this process, the rhythm pattern data designated by the user through the operation of the
本実施形態における特徴の1つは、ユーザによる所望の音素材の検索を容易にするため、特徴量指定検索、類似検索、グラデーション検索の3種類の検索を実行可能にした点である。特徴量指定検索は、ユーザが指定した特徴量ベクトルPに最も近い特徴量ベクトルPをもった音素材を探し出す検索である。類似検索は、ユーザが指定した1つの音素材の特徴量ベクトルPに近い特徴量ベクトルPをもった音素材を上位所定個数だけ探し出す検索である。グラデーション検索は、ユーザが指定した2つの音素材の中間の特徴量ベクトルPをもった音素材をユーザが指定した個数だけ探し出す検索である。特徴量指定検索では、検索条件として特徴量ベクトルPが直接指定されるのに対し、類似検索およびグラデーション検索において、検索条件としてユーザが直接指定するのは音素材である。この点において、類似検索およびグラデーション検索は、特徴量指定検索とは異質の検索であるということができる。なお、これら3つの検索の詳細については、後述する。 One of the features in the present embodiment is that three types of search, that is, a feature amount search, a similarity search, and a gradation search, can be executed in order to facilitate the search for a desired sound material by the user. The feature quantity designation search is a search for finding a sound material having a feature quantity vector P closest to the feature quantity vector P designated by the user. The similarity search is a search for searching for a predetermined number of sound materials having a feature vector P close to the feature vector P of one sound material designated by the user. The gradation search is a search for searching for sound materials having a feature amount vector P intermediate between two sound materials specified by the user by the number specified by the user. In the feature quantity designation search, the feature quantity vector P is directly designated as a search condition, whereas in the similarity search and gradation search, the user directly designates the sound material as the search condition. In this respect, it can be said that the similarity search and the gradation search are different kinds of searches from the feature amount designation search. Details of these three searches will be described later.
次に、本実施形態の動作について説明する。本実施形態において、ユーザが音素材検索プログラム28を起動させると、CPU21は、検索制御処理において、表示部16に検索画面を表示させる。図3に示すように、検索画面は、検索操作領域31と演奏操作領域32とを有する。検索操作領域31は、x軸、y軸からなる2次元座標系を示す領域である。検索操作領域31の上端付近には、16個の枠5−k(k=1〜16)が配置されている。演奏操作領域32には、曲の自動演奏の開始を指示するためのボタン41、自動演奏のテンポを決めるBPM(Beats Per Minute)を指定するためのアップダウンコントロールボタン42、リズムパターンを指定するためのプルダウンメニュー43、曲の保存を指示するためのボタン44が配置される。
Next, the operation of this embodiment will be described. In the present embodiment, when the user activates the sound
検索画面が表示部16に表示されると、ユーザは、音素材データベース25,26から音素材を検索してそれらの中から演奏に利用する16個の音素材を選ぶ素材決定作業と、16個の音素材を使った曲をマニュアル演奏したり自動演奏させる演奏作業とを行う。以下では、素材決定作業と演奏作業における本実施形態の動作を説明する。
When the search screen is displayed on the
(1)素材決定作業
素材決定作業において、ユーザは、次のように特徴量指定検索をCPU21に実行させることができる。まず、ユーザは、検索操作領域31内に表示された1つのシンボルSM−iを選択した上で、操作ウィンドウ51を同領域31内に表示させる。なお、ユーザは、検索操作領域31内にシンボルSM−iが1つも表示されていない場合、デフォルト値として予め設定されている特徴量ベクトルP(例えば、特徴量Phigh,Pmid-high,Pmid-low,Plow,Pdisson,Pcomplex,Ppeak-posi,Ppeak-valの全てを0とする特徴量ベクトルP)を有する音素材を示すシンボルSM−iを検索操作領域31内にまず表示させ、その表示させたシンボルSM−iを選択する。図4に示すように、操作ウィンドウ51は8種類の特徴量と各々対応するスライダSLDRhigh,SLDRmid-high,SLDRmid-low,SLDRlow,SLDRdisson,SLDRcomplex,SLDRpeak-posi,SLDRpeak-valと「検索」と記されたボタン52とが配置されたウィンドウである。ユーザは、この操作ウィンドウ51内の各スライダSLDRhigh,SLDRmid-high,SLDRmid-low,SLDRlow,SLDRdisson,SLDRcomplex,SLDRpeak-posi,SLDRpeak-valのつまみの位置を所望の音素材が有しているであろう特徴量の大きさに合わせて調整した後、同ウィンドウ51内のボタン52を選択する。
(1) Material Determination Work In the material determination work, the user can cause the
この操作が行われると、検索制御処理において、CPU21は、以下に説明する第1、第2、および第3の処理を行う。
第1の処理では、CPU21は、ユーザによって選択されたシンボルSM−iに対応づける検索条件SCcharを決定する。より具体的は、CPU21は、操作ウィンドウ51内の各スライダSLDRhigh,SLDRmid-high,SLDRmid-low,SLDRlow,SLDRdisson,SLDRcomplex,SLDRpeak-posi,SLDRpeak-valのつまみの位置を各々特徴量に変換し、これらの各特徴量を要素とする特徴量ベクトルPを検索条件SCcharとする。
When this operation is performed, in the search control process, the
In the first process, the
第2の処理では、検索条件SCcharを構成する特徴量ベクトルPとのユークリッド距離が最も短い音素材のレコードを音素材データベース25,26から検索し、検索したレコードをユーザによって選択されたシンボルSM−iが示す音素材の最新の検索結果SRとしてRAM22に書き込む。ここで、上述したように、音素材データベース25における各レコードは特徴量Phigh,Pmid-high,Pmid-low,Plow,Pdisson,Pcomplex,Ppeak-posi,Ppeak-valを有しているため、検索条件SCcharを構成する8次元の特徴量ベクトルPとのユークリッド距離を求めることができるのに対し、音素材データベース26における各レコードは特徴量Phigh,Pmid-high,Pmid-low,Plow,Pdisson,Pcomplexしか有していないため、検索条件SCcharを構成する8次元の特徴量ベクトルPとのユークリッド距離を求めることができない。従って、本実施形態では、CPU21は、特徴量データベース26における各レコードについては、検索条件SCchar(後述する検索条件SC gra ,SCsimも同様)を構成する特徴量ベクトルPを6次元の特徴量ベクトルP(つまり、特徴量Ppeak-posi,Ppeak-valを使用しない)として各々との間のユークリッド距離を求める。
第3の処理では、CPU21は、最新の検索結果SRである音素材のサンプル列をインターフェース11を介してサウンドシステム90へ出力し、その音素材を同システム90に発音させる。
In the second process, a sound material record having the shortest Euclidean distance from the feature vector P constituting the search condition SC char is searched from the
In the third process, the
ユーザは、低音感の強い音素材(低域の周波数成分の強度が強い音素材)が欲しいときはスライダSLDRlowのつまみをより大きい特徴量Plowを示す位置まで移動させ、高音感の強い音素材(高域の周波数成分の強度が強い音素材)が欲しいときはスライダSLDRhighのつまみをより大きい特徴量Phighを示す位置まで移動させる、といったように設定を変えながら特徴量指定検索の実行指示を繰り返し、特徴量指定検索の後にサウンドシステム90から発音される音素材が所望のものに近いかを確認する。そして、所望の音素材ではないがそれに近い音素材が見つかった場合、ユーザは、次のように、その音素材を用いて類似検索をCPU21に実行させることができる。
The user, when a strong sound material (strength is high sound material of the frequency components in the low frequency range) want the bass moves the slider SLDR low to a position that indicates the larger feature value P low, strong sound with treble sense If you want material (sound material with high frequency component intensity), move the slider SLDR high knob to a position that indicates a larger feature P high, and perform feature-specific search while changing the settings. The instruction is repeated, and it is confirmed whether or not the sound material generated from the
まず、ユーザは、所望の音素材に近いと感じた音素材のシンボルSM−iを選択した上で、キーボード15における類似検索用のキーを押す。
これによりCPU21は、以下に説明する第1、第2、および第3の処理を行う。
第1の処理では、CPU21は、ユーザによって選択されたシンボルSM−iに対応づける検索条件SCsimを決定する。より具体的には、CPU21は、シンボルSM−iが示す音素材の最新の検索結果SRとしてRAM22に書き込まれているレコードの特徴量Pを検索条件SCsimとする。
First, the user selects a symbol SM-i of a sound material that is felt close to a desired sound material, and then presses a key for similarity search on the
Thereby, the
In the first process, the
第2の処理では、CPU21は、検索条件SCsimを構成する特徴量ベクトルPとのユークリッド距離が短い上位8個の音素材のレコードを音素材データベース25,26から検索し、それらの8個のレコードをユーザによって選択されたシンボルSM−iが示す音素材に近い特徴量ベクトルPをもった音素材の第1番目〜第8番目の検索結果SRとしてRAM22に書き込む。
In the second process, the
第3の処理では、CPU21は、図5に示すように、類似検索操作によって選択されたシンボルSM−i(図5の例では、シンボルSM−1)の左上近傍、左近傍、左下近傍、下近傍、右下近傍、右近傍、右上近傍、上近傍の各々の位置に第1番目〜第8番目の検索結果SRである音素材を各々示す8つのシンボルSM−i(図5の例では、シンボルSM−2,SM−3,SM−4,SM−5,SM−6,SM−7,SM−8,SM−9)を順に表示させる。ここで、図5は、8つのシンボルSM−iのうち5つが表示された時点における検索画面を示している。図5において、実線の矩形として示されたシンボルSM−2,SM−3,SM−4,SM−5,SM−6は既に表示済みのシンボルSM−iであり、鎖線の矩形として示されたシンボルSM−7,SM−8,SM−9は未表示のシンボルSM−iである。そして、矢印線は、その未表示のシンボルSM−7,SM−8,SM−9の表示順(シンボルSM−7→シンボルSM−8→シンボルSM−9)を示す。
In the third process, as shown in FIG. 5, the
ユーザは、この類似検索により得られた8つの音素材の中に所望のものが含まれているかを確認する。具体的には、ユーザは、選択したシンボルSM−iとその周りに表示された8個のシンボルSM−iをマウス14により1個ずつ指示する。このとき、CPU21は、ユーザがマウス14により指示したシンボルSM−iが示す音素材のレコードをRAM22から読み出し、その音素材の音波形のサンプル列をサウンドシステム90に送って音素材を発音させる。ユーザは、このようにして発音される音素材を確認する。そして、ユーザは、このようにして発音される9つの音素材の中に所望のものが含まれていないが、9つの音素材の中の2つの音素材の間に所望のものがあるかもしれないと感じたとき、グラデーション検索をCPU21に実行させる。
The user confirms whether the desired sound is included in the eight sound materials obtained by the similarity search. Specifically, the user designates the selected symbol SM-i and the eight symbols SM-i displayed around it by the
図6に示すように、グラデーション検索では、ユーザは、検索操作領域31内に表示済みのシンボルSM−iのうち2つ(図6の例では、シンボルSM−2とシンボルSM−6)を各々の間に適当な距離dが空くような位置に移動させた後、各々をグラデーション検索の始点および終点として順に選択し、キーボード15におけるグラデーション検索用のキーを押す。
As shown in FIG. 6, in the gradation search, the user uses two symbols SM-i displayed in the search operation area 31 (symbol SM-2 and symbol SM-6 in the example of FIG. 6). Are moved to positions where an appropriate distance d is left between them, and then each of them is sequentially selected as a gradation search start point and end point, and a gradation search key on the
検索制御処理において、CPU21は、グラデーション検索が指示された場合、以下に示す第1、第2、および第3の処理を行う。
第1の処理では、CPU21は、ユーザによって始点として選択されたシンボルSM−i(以下、始点シンボルSM−is)と終点として選択されたシンボルSM−i(以下、終点シンボルSM−ie)のセットに基づき検索条件SC gra を決定する。
In the search control process, when the gradation search is instructed, the
In the first process, the
より具体的に説明すると、CPU21は、始点シンボルSM−isから終点シンボルSM−ieまでの距離dを次式(1)に代入することにより検索数Numを求める。次式(1)において、dSMは、シンボルSM1つ分の幅である。
Num=d/dSM…(1)
More specifically, the
Num = d / d SM (1)
そして、CPU21は、始点シンボルSM−isと終点シンボルSM−ieが各々示す音素材を基準音素材とし、特徴量ベクトル空間において、始点シンボルSM−isが示す音素材の特徴量ベクトルPと終点シンボルSM−ieが示す音素材の特徴量ベクトルPとの間をNum点内挿補間し、この内挿補間により求まったNum点分の各特徴量ベクトルPint−h(h=1〜Num:hは、始点シンボルSM−isが示す音素材との特徴量ベクトルPの近さの順位を示すインデックスである)を各々検索条件SC gra とする。
Then, the
第2の処理では、CPU21は、検索条件SC gra を構成する特徴量ベクトルVPint−h(h=1〜Num)とのユークリッド距離が短い音素材のレコードを音素材データベース25,26から検索し、検索したNum個のレコードを始点シンボルSM−isと終点シンボルSM−ieが各々示す音素材の中間の特徴をもったNum個の音素材の検索結果SRとしてRAM22に書き込む。
In the second process, the
より具体的に説明すると、CPU21は、特徴量ベクトルPint−1とのユークリッド距離が最も短い音素材のレコードを音素材データベース25,26から検索し、検索したレコードを第1番目の検索結果SRとしてRAM22に書き込む。
More specifically, the
次に、CPU21は、特徴量ベクトルPint−2とのユークリッド距離が最も短い音素材のレコードを音素材データベース25,26から検索し、検索したレコードが第1番目の検索結果SRをなすレコードと異なる場合には、そのレコードを第2番目の検索結果SRとしてRAM22に書き込む。また、CPU21は、特徴量ベクトルPint−2とのユークリッド距離が最も短い音素材のレコードと第1番目の検索結果SRをなすレコードが同じである場合には、ユークリッド距離が次に短い音素材のレコードを音素材データベース25,26から再検索し、この再検索したレコードを第2番目の検索結果SRとしてRAM22に書き込む。
Next, the
以下、CPU21は、特徴量ベクトルPint−3,Pint−4…Pint−Numについて特徴量ベクトルPint−2の場合と同様の検索を繰り返し、各々の検索によって得られたレコードを第3番目〜第Num番目の検索結果SRとしてRAM22に書き込む。
Thereafter, the
第3の処理では、CPU21は、図7に示すように、始点シンボルSM−is(図7の例では、シンボルSM−2)から終点シンボルSM−ie(図7の例では、シンボルSM−6)に向かって、第2の処理における第1番目から第Num番目までの検索結果SRである音素材を示すNum個のシンボルSM−i(図7の例では、SM−10,SM−11,SM−12,SM−13,SM−14,SM−15)を順に表示させるとともに、第1番目から第Num番目までの検索結果SRである音素材をサウンドシステム90に発音させる。
In the third process, as shown in FIG. 7, the
ユーザは、グラデーション検索操作の後にサウンドシステム90から発音されるNum個の音素材のなかに所望のものが含まれているかを確認する。具体的には、ユーザは、Num個の音素材を示す各シンボルSM−iをマウス14により1個ずつ指示する。このとき、CPU21は、ユーザがマウス14により指示したシンボルSM−iが示す音素材のレコードをRAM22から読み出し、その音素材の音波形のサンプル列をサウンドシステム90に送って音素材を発音させる。ユーザは、このようにして発音される音素材を確認する。そして、それらNum個の音素材のなかに所望の音素材が含まれている場合、ユーザは、図8に示すように、検索操作領域31内に表示済みのシンボルSM−iのうちその所望の音素材を示すシンボルSM−i(図8の例では、シンボルSM−12)を選択し、選択したシンボルSM−iを同領域31における枠5−k(k=1〜16)のいずれか(図8の例では枠5−5)に移動させる。
The user checks whether the desired number is included in the Num sound materials generated from the
これにより、CPU21は、枠5−kに移動されたシンボルSM−iが示す音素材の検索結果SRである音素材のサンプル列をその枠5−kの識別子とを対応づけてRAM22の記憶領域ARに書き込む。記憶領域ARは、曲演奏処理およびリズム演奏処理において用いる音素材のサンプル列を記憶するために確保された記憶領域である。
ユーザは、枠5−k(k=1〜16)のすべてがシンボルSM−iで埋まるまで、特徴量指定検索、類似検索、グラデーション検索を使い分けながら所望の音素材を探索する。そして、枠5−k(k=1〜16)のすべてがシンボルSM−iで埋まると素材決定作業を終了し、次の演奏作業に移る。
Thereby, the
The user searches for a desired sound material while properly using feature amount designation search, similarity search, and gradation search until all of the frames 5-k (k = 1 to 16) are filled with the symbols SM-i. When all of the frames 5-k (k = 1 to 16) are filled with the symbols SM-i, the material determination work is finished, and the next performance work is started.
(2)演奏作業
演奏作業において、ユーザは、マニュアル演奏または自動演奏をCPU21に実行させる。
マニュアル演奏では、ユーザは、キーボード15における各キーのうち枠5−k(k=1〜16)の各々と対応する演奏キーkey−k(k=1〜16)としての役割が割り当てられているものを、音素材を鳴らしたいタイミングに合わせて押す。
曲演奏処理において、CPU21は、演奏キーkey−kが押される度に、枠5−kの識別子と対応づけて記憶領域ARに記憶された音素材のサンプル列をインターフェース11を介してサウンドシステム90へ出力し、その音素材を同システム90から発音させる。
(2) Performance work In the performance work, the user causes the
In the manual performance, the user is assigned a role as a performance key key-k (k = 1 to 16) corresponding to each of the frames 5-k (k = 1 to 16) among the keys on the
In the music performance processing, the
CPU21に自動演奏を実行させる場合、ユーザは、ボタン41をマウス14により指示する。ユーザは、ボタン41を指示する前やその後に、アップダウンコントロールボタン42によってテンポを変えたりプルダウンメニュー43によってリズムパターンデータを変えることもできる。
When causing the
リズム演奏処理において、CPU21は、ユーザが操作部13の操作により指定したリズムパターンデータをリズムパターンデータベース27から読み出してRAM22に格納し、リズムパターンデータを構成する16トラック分のトラックデータTrack−k(k=1〜16)を繰り返し再生する。その際、CPU21は、枠5−k(k=1〜16)に対応付けられた各音素材を第kトラック(k=1〜16)のリズム音として使用する。すなわち、RAM22から読み出される各トラックデータTrack−k(k=1〜16)のうち第kトラックのトラックデータTrack−kがリズム音のONを指示している場合、枠5−kに対応付けられた音素材のサンプル列を記憶領域ARから読み出してサウンドシステム90に送って発音させる。
In the rhythm performance processing, the
また、ユーザは、オーディオファイル書き出し操作を行うこともできる。オーディオファイル書き出し操作では、枠5−k(k=1〜16)におけるいずれかの1つまたは複数個の枠5−k内のシンボルSM−iを選択し、ボタン44を選択する。
The user can also perform an audio file writing operation. In the audio file writing operation, the symbol SM-i in any one or a plurality of frames 5-k in the frame 5-k (k = 1 to 16) is selected, and the
CPU21は、曲演奏処理では、オーディオファイル書き出し操作が行われた場合、この操作によって選択されたシンボルSM−iが示す音素材のサンプル列をWaveform Audio Format(以下、「WAVフォーマット」)のオーディオファイルに変換し、変換したオーディオファイルをハードディスク24に記憶する。ハードディスク24に記憶したオーディオファイルは、種々の態様で利用することができる。たとえば、音素材検索プログラム28をインストールした他のコンピュータのハードディスクにそのオーディオファイルをコピーし、同コンピュータによる作曲に利用してもよい。また、本発明の出願人らにより提案されたテノリオン(登録商標)と称される演奏装置内のメモリにオーディオファイルをコピーし、コピーしたオーディオファイルをテノリオンによる曲の演奏に利用してもよい。テノリオンの詳細については、非特許文献1を参照されたい。
In the music performance process, when an audio file writing operation is performed, the
以上説明した実施形態において、グラデーション検索では、ユーザによって選択された2つのシンボルSM−isおよびSM−ieが示す音素材の各々の特徴量ベクトルPを補間した特徴量ベクトルPを検索条件SCgraとし、この検索条件SCgraを用いた検索が実行される。よって、ユーザは、このグラデーション検索を他の特徴量指定検索および類似検索と組み合わせながら音素材の検索作業を行うことにより、音素材データベース25,26に収録されている多数の音素材の中から所望の音素材を効率的に探し出すことができる。
In the embodiment described above, in the gradation search, the feature amount vector P obtained by interpolating the feature amount vectors P of the sound material indicated by the two symbols SM-is and SM-ie selected by the user is set as the search condition SC gra. A search using the search condition SC gra is executed. Therefore, the user can perform a sound material search operation by combining this gradation search with other feature value specification search and similar search, thereby selecting a desired sound material from a large number of sound materials recorded in the
以上、この発明の一実施形態について説明したが、この発明には他にも実施形態があり得る。例えば、以下の通りである。
(1)上記実施形態において、CPU21は、検索制御処理では、選択された2つのシンボルSM−isおよびSM−ieが各々示す音素材の特徴量ベクトルPを外挿補間した特徴量ベクトルPを検索条件として音素材を検索し、検索した音素材を示すシンボルSM−iを2つのシンボルSM−isおよびSM−ieの外側に並べて表示させてもよい。
Although one embodiment of the present invention has been described above, the present invention may have other embodiments. For example, it is as follows.
(1) In the above embodiment, in the search control process, the
(2)上記実施形態において、検索操作領域31内に表示されたシンボルSM−iのうち3つ以上をグラデーション検索の検索条件として選択できるようにしてもよい。この実施形態では、図9に示すように、検索操作領域31内に表示済みのシンボルSM−iのうち3つ(たとえば、シンボルSM−21、SM−22、SM−23)が選択された場合に、特徴量ベクトル空間において、シンボルSM−21が示す音素材の特徴量ベクトルPとシンボルSM−22が示す音素材の特徴量ベクトルPとの差ベクトルを一辺とし、シンボルSM−21が示す音素材の特徴量ベクトルPとシンボルSM−23が示す音素材の特徴量ベクトルPとの差ベクトルを他の一辺とする平行四辺形内にマトリックス状に分布する特徴量ベクトルPを求めるとともに、それらの特徴量ベクトルPに最も近い特徴量ベクトルPを持った音素材を検索し、検索結果である各音素材を示すシンボルSM−iをマトリックス状に表示させてもよい。
(2) In the above embodiment, three or more of the symbols SM-i displayed in the
(3)上記(2)の態様を次のように変形してもよい。すなわち、図10に示すように、検索操作領域31に表示済みのシンボルSM−iのうち3つ(たとえば、シンボルSM−31、SM−32、SM−33)が選択された場合に、特徴量ベクトル空間において、シンボルSM−31、SM−32、SM−33が示す各音素材の各特徴量ベクトルPを各々頂点とする三角形内に分布する特徴量ベクトルPを求めるとともに、それらの特徴量ベクトルPに最も近い特徴量ベクトルPを持った音素材を検索し、検索結果である各音素材を示すシンボルSM−iを3次元表示させてもよい。
(3) The above aspect (2) may be modified as follows. That is, as shown in FIG. 10, when three symbols SM-i (for example, symbols SM-31, SM-32, and SM-33) displayed in the
(4)上記実施形態では、音素材間の類似度を示す指標として、音素材の特徴量ベクトル間のユークリッド距離を使用したが、他の類似度の指標を使用して、特徴量指定検索、類似検索、グラデーション検索を行ってもよい。
(4) In the above embodiment, the Euclidean distance between the feature amount vectors of the sound material is used as an index indicating the similarity between the sound materials . However , a feature amount designation search is performed using another similarity index. Similarity search and gradation search may be performed.
(5)上記実施形態においてグラデーション検索では、基準音素材を示す2個のシンボルSM−iを表示させるとともに、Num点補間により特徴量ベクトルに類似した特徴量を持ったNum個の音素材を示すシンボルSM−iの列を2個のシンボルSM−iの間に表示させたが、基準音素材を示す2個のシンボルSM−iの表示を省略してもよい。 (5) In the above-described embodiment, in gradation search, two symbols SM-i indicating the reference sound material are displayed, and Num sound materials having a feature value similar to the feature value vector are indicated by Num point interpolation. Although the symbol SM-i column is displayed between the two symbols SM-i, the display of the two symbols SM-i indicating the reference sound material may be omitted.
(6)上記実施形態において、検索画面31における検索操作領域31を、枠5−k(k=1〜16)の各々と対応するk(k=1〜16)層のレイヤlayer−k(k=1〜16)に分け、検索操作領域31のレイヤlayer−k(k=1〜16)における各レイヤlayer−kに表示済みのシンボルSM−iの中から枠5−kを埋めるシンボルSM−iを選択するようにしてもよい。
(6) In the above embodiment, the
(7)上記実施形態では、ユーザは、素材決定作業において検索操作領域31内における16個の枠5−k(k=1〜16)のすべてをシンボルSM−iにより埋めた上で続く演奏作業に移った。しかし、16個の枠5−k(k=1〜16)の一部をシンボルSM−iにより埋めた状態で演奏作業に移り、その一部の枠5−k上のシンボルSM−iが示す音素材を用いて演奏を行えるようにしてもよい。
(7) In the above embodiment, the user performs the performance work that continues after filling all the 16 frames 5-k (k = 1 to 16) in the
10…音素材検索装置、11…インターフェース、90…サウンドシステム、13…操作部、14…マウス、15…キーボード、16…表示部、20…制御部、21…CPU、22…RAM、23…ROM、24…ハードディスク、25,26…音素材データベース、27…リズムパターンデータベース、28…音素材検索プログラム。
DESCRIPTION OF
Claims (2)
操作手段と、
音素材を示すシンボルを表示する表示手段と、
前記操作手段の操作により指定された複数の音素材を基準音素材とし、前記複数の基準音素材と各々対応づけて前記記憶手段に記憶された複数の特徴量ベクトル間を補間した1または複数組の各特徴量ベクトルに最も類似した特徴量ベクトルをもった1または複数の音素材を前記記憶手段から検索し、その検索結果である各音素材を示す複数のシンボルを前記表示手段に表示させる制御手段とを具備し、
前記制御手段は、前記操作手段の操作により1つの音素材を示すシンボルが選択された場合に、選択されたシンボルが示す音素材と対応づけて前記記憶手段に記憶された特徴量ベクトルに類似した特徴量ベクトルをもった音素材を前記記憶手段から上位所定個数だけ検索し、その検索結果である上位所定個数の音素材を示すシンボルを前記選択されたシンボルの近傍に表示させることを特徴とする音素材検索装置。 Storage means for storing each sound material and a feature vector indicating the characteristics of the sound material in association with each other;
Operation means;
Display means for displaying a symbol indicating sound material;
One or a plurality of sets obtained by interpolating between a plurality of feature amount vectors stored in the storage unit in correspondence with the plurality of reference sound materials, using a plurality of sound materials specified by the operation of the operation unit as a reference sound material Control for searching one or a plurality of sound materials having a feature vector most similar to each of the feature vectors in the storage unit, and displaying a plurality of symbols indicating each sound material as a search result on the display unit Means ,
The control means is similar to the feature vector stored in the storage means in association with the sound material indicated by the selected symbol when a symbol indicating one sound material is selected by the operation of the operation means. A sound material having a feature vector is searched from the storage means for a predetermined upper number, and a symbol indicating the upper predetermined number of sound materials as a search result is displayed in the vicinity of the selected symbol. Sound material search device.
操作手段と、 Operation means;
音素材を示すシンボルを表示する表示手段と、 Display means for displaying a symbol indicating sound material;
前記操作手段の操作により指定された複数の音素材を基準音素材とし、前記複数の基準音素材と各々対応づけて前記記憶手段に記憶された複数の特徴量ベクトル間を補間した1または複数組の各特徴量ベクトルに最も類似した特徴量ベクトルをもった1または複数の音素材を前記記憶手段から検索し、その検索結果である各音素材を示す複数のシンボルを前記表示手段に表示させる制御手段とを具備し、 One or a plurality of sets obtained by interpolating between a plurality of feature amount vectors stored in the storage unit in correspondence with the plurality of reference sound materials, using a plurality of sound materials specified by the operation of the operation unit as a reference sound material Control for searching one or a plurality of sound materials having a feature vector most similar to each of the feature vectors in the storage unit, and displaying a plurality of symbols indicating each sound material as a search result on the display unit Means,
前記制御手段は、前記操作手段の操作に応じて2個の基準音素材を示す2個のシンボルを前記表示手段に表示させ、前記表示手段の表示画面内における前記2個の基準音素材を示す2個のシンボル間の距離に応じて、前記記憶手段から検索する音素材の数を決定することを特徴とする音素材検索装置。 The control means displays two symbols indicating two reference sound materials on the display means in response to an operation of the operation means, and indicates the two reference sound materials in the display screen of the display means. A sound material searching apparatus, wherein the number of sound materials to be searched from the storage means is determined according to a distance between two symbols.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009121066A JP5487718B2 (en) | 2009-05-19 | 2009-05-19 | Sound material search device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009121066A JP5487718B2 (en) | 2009-05-19 | 2009-05-19 | Sound material search device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010271398A JP2010271398A (en) | 2010-12-02 |
| JP5487718B2 true JP5487718B2 (en) | 2014-05-07 |
Family
ID=43419487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009121066A Expired - Fee Related JP5487718B2 (en) | 2009-05-19 | 2009-05-19 | Sound material search device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5487718B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104992713A (en) * | 2015-05-14 | 2015-10-21 | 电子科技大学 | A Fast Broadcast Audio Comparison Method |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5708317B2 (en) * | 2011-07-06 | 2015-04-30 | ヤマハ株式会社 | Sound waveform search support device and program |
| US12444394B2 (en) | 2021-12-15 | 2025-10-14 | Distributed Creation Inc. | Scalable similarity-based generation of compatible music mixes |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04347772A (en) * | 1991-05-24 | 1992-12-02 | Nippon Telegr & Teleph Corp <Ntt> | Representative screen display method |
| FR2857122A1 (en) * | 2003-07-03 | 2005-01-07 | Thomson Licensing Sa | NAVIGATION METHOD IN A SET OF SOUND DOCUMENTS USING A GRAPHICAL INTERFACE, AND RECEIVER FOR NAVIGATION ACCORDING TO THE METHOD |
| JP2007071903A (en) * | 2005-09-02 | 2007-03-22 | Yamaha Corp | Musical piece creation support device |
| JP4670591B2 (en) * | 2005-10-31 | 2011-04-13 | ヤマハ株式会社 | Music material editing method and music material editing system |
| JP4438810B2 (en) * | 2007-03-14 | 2010-03-24 | ヤマハ株式会社 | Song editing apparatus and program |
-
2009
- 2009-05-19 JP JP2009121066A patent/JP5487718B2/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104992713A (en) * | 2015-05-14 | 2015-10-21 | 电子科技大学 | A Fast Broadcast Audio Comparison Method |
| CN104992713B (en) * | 2015-05-14 | 2018-11-13 | 电子科技大学 | A kind of quick broadcast audio comparison method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010271398A (en) | 2010-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8255069B2 (en) | Digital audio processor | |
| JP3823928B2 (en) | Score data display device and program | |
| US20060180007A1 (en) | Music and audio composition system | |
| JP5259075B2 (en) | Mashup device and content creation method | |
| JP2009529717A (en) | Method and apparatus for automatically creating music | |
| JP3538242B2 (en) | Score display device | |
| CN101276373A (en) | Information processing device and method and program | |
| WO2017028686A1 (en) | Information processing method, terminal device and computer storage medium | |
| JP2003044046A (en) | Information processing apparatus, information processing method, and storage medium | |
| JP4616337B2 (en) | Playback order change support unit, music information playback apparatus, and playback order change support method | |
| JP2008071419A (en) | Music reproducing device, program, and music reproducing method in music reproducing device | |
| JP5487718B2 (en) | Sound material search device | |
| JP2009252054A (en) | Display device | |
| JP5050460B2 (en) | Interface device, interface program, and interface method | |
| JP2008071118A (en) | Interface device, music reproduction apparatus, interface program and interface method | |
| JPH10207460A (en) | Selecting device and method for playing setting data, and medium in which program is recorded | |
| JP4265408B2 (en) | Electronic music apparatus and computer program applied to the apparatus | |
| JP3632488B2 (en) | Data set selection device | |
| JP2797631B2 (en) | Music information search device | |
| US20130204628A1 (en) | Electronic apparatus and audio guide program | |
| JP4438810B2 (en) | Song editing apparatus and program | |
| JP4179063B2 (en) | Performance setting data selection device and program | |
| JP3972899B2 (en) | Music score display device | |
| JP2009265714A (en) | Image display method, image display program, and musical piece reproduction device | |
| JP5028922B2 (en) | Music playback device, music playback program, and music playback method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120321 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131030 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131112 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140128 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140210 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5487718 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |