Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5487718B2 - Sound material search device - Google Patents
[go: Go Back, main page]

JP5487718B2 - Sound material search device - Google Patents

Sound material search device Download PDF

Info

Publication number
JP5487718B2
JP5487718B2 JP2009121066A JP2009121066A JP5487718B2 JP 5487718 B2 JP5487718 B2 JP 5487718B2 JP 2009121066 A JP2009121066 A JP 2009121066A JP 2009121066 A JP2009121066 A JP 2009121066A JP 5487718 B2 JP5487718 B2 JP 5487718B2
Authority
JP
Japan
Prior art keywords
sound
sound material
search
symbol
materials
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009121066A
Other languages
Japanese (ja)
Other versions
JP2010271398A (en
Inventor
旬 臼井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2009121066A priority Critical patent/JP5487718B2/en
Publication of JP2010271398A publication Critical patent/JP2010271398A/en
Application granted granted Critical
Publication of JP5487718B2 publication Critical patent/JP5487718B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

本発明は、音素材の検索を支援する技術に関する。   The present invention relates to a technique for supporting search of sound material.

断片的な音波形である音素材を集めたデータベースを有し、このデータベースから検索した音素材を用いて曲を編集し、演奏する演奏装置がある。この種の演奏装置のデータベースは、複数の種類の音素材とその各々について求めた複数の種類の特徴量とを対応づけたものとなっている。この種の演奏装置において特徴量に基づく音素材の検索を容易にするための技術が各種提案されている。例えば特許文献1に開示された演奏装置では、ユーザが指定した2種類の特徴量をX軸およびY軸とする2次元座標系にデータベース内の各音素材がマッピングされ、このマッピング結果として各音素材を示すシンボルが2次元空間内に配置された検索画面が表示される。そして、ユーザが検索画面において所望の2種類の特徴量に対応した位置をポインティングデバイスにより指示すると、その指示点の所定距離以内に表示された各シンボルが示す音素材が選択され、複数の演奏用操作子に各々割り当てられる。   There is a performance apparatus that has a database that collects sound materials that are fragmentary sound waves, and that edits and plays music using sound materials retrieved from the database. The database of this type of performance device associates a plurality of types of sound materials with a plurality of types of feature values obtained for each of them. Various techniques have been proposed for facilitating the search for sound material based on feature quantities in this type of performance device. For example, in the performance device disclosed in Patent Document 1, each sound material in the database is mapped to a two-dimensional coordinate system in which two types of feature values designated by the user are set as an X axis and a Y axis. A search screen in which symbols indicating materials are arranged in the two-dimensional space is displayed. When the user designates a position corresponding to two desired feature quantities on the search screen with a pointing device, the sound material indicated by each symbol displayed within the predetermined distance of the designated point is selected, and a plurality of performance materials are used. Assigned to each operator.

特開2008−225200号公報JP 2008-225200 A “テノリオン”、[online]、ヤマハ株式会社、インターネット 平成21年4月28日検索、 <URL:http://www.yamaha.co.jp/design/tenori-on/>“Tenorion”, [online], Yamaha Corporation, Internet Search on April 28, 2009, <URL: http: //www.yamaha.co.jp/design/tenori-on/>

特許文献1に開示の技術によれば、各種の音素材の特徴を空間内の位置として把握することができるため、所望の音素材を見つけ出す作業が容易になる。しかしながら、見つけ出した音素材が所望のものに近いが所望のものではないような場合には、再度、検索画面内における特徴量に対応した位置を指示するという試行錯誤を繰り返さねばならないという問題があった。
本発明は、このような背景の下に案出されたものであり、データベースに記憶された音素材の中から所望の音素材を効率的に検索することができる音素材検索装置を提供することを目的とする。
According to the technique disclosed in Patent Document 1, since the characteristics of various sound materials can be grasped as positions in the space, an operation of finding a desired sound material is facilitated. However, when the found sound material is close to the desired one but not the desired one, there is a problem that trial and error of indicating the position corresponding to the feature amount in the search screen must be repeated again. It was.
The present invention has been devised under such a background, and provides a sound material search device capable of efficiently searching for a desired sound material from sound materials stored in a database. With the goal.

本発明は、各音素材とそれらの音素材の特徴を示す特徴量ベクトルとを対応づけて記憶する記憶手段と、操作手段と、音素材を示すシンボルを表示する表示手段と、前記操作手段の操作により指定された複数の音素材を基準音素材とし、前記複数の基準音素材と各々対応づけて前記記憶手段に記憶された複数の特徴量ベクトル間を補間した1または複数組の各特徴量ベクトルに最も類似した特徴量ベクトルをもった1または複数の音素材を前記記憶手段から検索し、その検索結果である各音素材を示す複数のシンボルを前記表示手段に表示させる制御手段とを具備することを特徴とする音素材検索装置を提供する。   The present invention relates to a storage unit that stores each sound material and a feature vector indicating the characteristics of the sound material in association with each other, an operation unit, a display unit that displays a symbol indicating the sound material, and the operation unit. One or a plurality of sets of feature amounts obtained by interpolating between a plurality of feature amount vectors stored in the storage means in association with the plurality of reference sound materials, using a plurality of sound materials designated by operation as a reference sound material Control means for retrieving one or more sound materials having a feature vector most similar to the vector from the storage means, and displaying a plurality of symbols indicating the sound materials as the search results on the display means. Provided is a sound material retrieval apparatus characterized by:

本発明によれば、複数の音素材の中間的な特徴を持った音素材の検索を行うことができるので、検索済みの音素材のなかに所望のものに近い音素材が複数ある場合に、それらの音素材を利用して所望の音素材を効率的に探し出すことができる。   According to the present invention, it is possible to search for a sound material having an intermediate characteristic of a plurality of sound materials, so when there are a plurality of sound materials close to a desired one among searched sound materials, A desired sound material can be efficiently searched using these sound materials.

この発明の一実施形態である音素材検索装置の構成を示すブロック図である。It is a block diagram which shows the structure of the sound material retrieval apparatus which is one Embodiment of this invention. 同音素材検索装置のハードディスクに記憶された音素材データベースのデータ構造を示す図である。It is a figure which shows the data structure of the sound material database memorize | stored in the hard disk of the same sound material search device. 同音素材検索装置の表示部に表示される検索画面を示す図である。It is a figure which shows the search screen displayed on the display part of the same sound material search device. 同音素材検索装置の表示部に表示される検索画面を示す図である。It is a figure which shows the search screen displayed on the display part of the same sound material search device. 同音素材検索装置の表示部に表示される検索画面を示す図である。It is a figure which shows the search screen displayed on the display part of the same sound material search device. 同音素材検索装置の表示部に表示される検索画面を示す図である。It is a figure which shows the search screen displayed on the display part of the same sound material search device. 同音素材検索装置の表示部に表示される検索画面を示す図である。It is a figure which shows the search screen displayed on the display part of the same sound material search device. 同音素材検索装置の表示部に表示される検索画面を示す図である。It is a figure which shows the search screen displayed on the display part of the same sound material search device. 同音素材検索装置の表示部に表示される検索画面を示す図である。It is a figure which shows the search screen displayed on the display part of the same sound material search device. 同音素材検索装置の表示部に表示される検索画面を示す図である。It is a figure which shows the search screen displayed on the display part of the same sound material search device.

以下、図面を参照し、この発明の実施の形態を説明する。図1は、この発明の一実施形態である音素材検索装置10の構成を示すブロック図である。この音素材検索装置10は、パーソナルコンピュータに、本実施形態による音素材検索プログラム28をインストールしたものである。ここで、音素材検索プログラム28は、ユーザが行う操作に応じて、曲を構成するのに用いる音素材をデータベースから検索し、この検索した音素材を用いて曲を編集し演奏する機能を有するアプリケーションプログラムである。なお、本実施形態における音素材とは、曲中の1拍に相当する区間の音波形や1拍をさらに区分した区間の音波形である。   Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a sound material searching apparatus 10 according to an embodiment of the present invention. The sound material search apparatus 10 is obtained by installing the sound material search program 28 according to the present embodiment in a personal computer. Here, the sound material search program 28 has a function of searching the sound material used for composing the music from the database in accordance with the operation performed by the user, and editing and playing the music using the searched sound material. It is an application program. Note that the sound material in the present embodiment is a sound waveform of a section corresponding to one beat in a song or a sound waveform of a section further divided into one beat.

図1に示すように、この音素材検索装置10は、インターフェース11を介してサウンドシステム90と接続される。この音素材検索装置10における操作部13はマウス14とキーボード15とを含む。表示部16は、液晶ディスプレイである。   As shown in FIG. 1, the sound material search device 10 is connected to a sound system 90 via an interface 11. The operation unit 13 in the sound material searching apparatus 10 includes a mouse 14 and a keyboard 15. The display unit 16 is a liquid crystal display.

制御部20は、CPU21、RAM22、ROM23、ハードディスク24を有する。CPU21は、RAM22をワークエリアとして利用しつつ、ROM23やハードディスク24に記憶されたプログラムを実行する。ROM23は、IPL(Initial Program Loader)などを記憶した読み出し専用メモリである。   The control unit 20 includes a CPU 21, a RAM 22, a ROM 23, and a hard disk 24. The CPU 21 executes programs stored in the ROM 23 and the hard disk 24 while using the RAM 22 as a work area. The ROM 23 is a read-only memory that stores an IPL (Initial Program Loader) and the like.

ハードディスク24は、音素材データベース25および26と、リズムパターンデータベース27と、音素材検索プログラム28とを記憶している。
音素材データベース25は、楽曲の音波形内に含まれる各音素材のうちアタックが明瞭でエッジ感の強い音素材(以下、「エッジ音」と呼ぶ)と各々対応するレコードの集合体である。音素材データベース26は、楽曲の音波形内に含まれる各音素材のうちダスティーな感じの強い各音素材(以下、「ダスト音」と呼ぶ)と各々対応する複数のレコードの集合体である。なお、これらの両音素材データベース25,26のほかに、エッジ音やダスト音以外の音素材と各々対応する複数のレコードからなる別のデータベースを設けてもよい。
The hard disk 24 stores sound material databases 25 and 26, a rhythm pattern database 27, and a sound material search program 28.
The sound material database 25 is a collection of records each corresponding to a sound material (hereinafter referred to as “edge sound”) with a clear attack and a strong edge feeling among the sound materials included in the sound waveform of the music. The sound material database 26 is an aggregate of a plurality of records respectively corresponding to each sound material (hereinafter referred to as “dust sound”) having a strong dusty feeling among the sound materials included in the sound waveform of the music. In addition to these two sound material databases 25 and 26, another database composed of a plurality of records respectively corresponding to sound materials other than edge sound and dust sound may be provided.

図2は、音素材データベース25のデータ構造を示す図である。図2に示すように、音素材データベース25における1つのエッジ音と対応するレコードは、楽曲の音波形内におけるエッジ音を含む区間の音波形のサンプル列と、その音波形を解析して得られた以下の8種類の特徴量を各々示す9つのフィールドを有する。
a1.高域強度Phigh
これは、音素材に含まれる高域の周波数成分の強度である。
b1.中高域強度Pmid-high
これは、音素材に含まれる中高域の周波数成分の強度である。
c1.中低域強度Pmid-low
これは、音素材に含まれる中低域の周波数成分の強度である。
d1.低域強度Plow
これは、音素材に含まれる低域の周波数成分の強度である。
e1.ディゾナンスPdisson
これは、音素材の協和度を示す指標値である。
f1.スペクトラルコンプレクシティPcomplex
これは、音素材の複雑さを示す指標値である。
g1.ピーク位置Ppeak-posi
これは、音素材の音波形において振幅がピークとなる時刻を当該音素材の先頭のサンプルの時刻を基準とした相対時刻として表わしたものである。
h1.ピーク強度Ppeak-val
これは、音素材におけるピークの振幅である。
FIG. 2 is a diagram showing the data structure of the sound material database 25. As shown in FIG. 2, a record corresponding to one edge sound in the sound material database 25 is obtained by analyzing a sample string of a sound waveform of a section including an edge sound in a sound waveform of a music piece and the sound waveform. In addition, each of the following eight types of feature amounts has nine fields.
a1. High frequency intensity P high
This is the intensity of the high frequency component contained in the sound material.
b1. Mid-high frequency intensity P mid-high
This is the intensity of the frequency component in the mid-high range included in the sound material.
c1. Mid-low range strength P mid-low
This is the intensity of the mid-low frequency component contained in the sound material.
d1. Low frequency intensity P low
This is the intensity of the low frequency component contained in the sound material.
e1. Dissonance P disson
This is an index value indicating the degree of harmony of the sound material.
f1. Spectral Complexity P complex
This is an index value indicating the complexity of the sound material.
g1. Peak position P peak-posi
This represents the time at which the amplitude of the sound waveform of the sound material reaches its peak as a relative time based on the time of the first sample of the sound material.
h1. Peak intensity P peak-val
This is the amplitude of the peak in the sound material.

また、音素材データベース26における1つのダスト音と対応するレコードは、楽曲の音波形内におけるダスト音を含む区間の音波形のサンプル列と、その音波形を解析して得られた前掲のa1.〜f1.の6種類の特徴量Phigh,Pmid-high,Pmid-low,Plow,Pdisson,Pcomplexを各々示す7つのフィールドを有する。
以降は、特徴量Phigh,Pmid-high,Pmid-low,Plow,Pdisson,Pcomplex,Ppeak-posi,Ppeak-valを要素とする特徴量ベクトルを特徴量ベクトルPと記す。
なお、音素材を示すレコードに音素材の音波形のサンプル列を含める代わりに、その音波形を含む曲のハードディスク24内での所在を示す情報と、その曲においてその音波形が現れる区間を示す情報を含めてもよい。
In addition, a record corresponding to one dust sound in the sound material database 26 includes a sample string of a sound waveform in a section including a dust sound in the sound waveform of the music, and the above-described a1. ~ F1. The seven types of feature quantities P high , P mid-high , P mid-low , P low , P disson , and P complex are included.
Hereinafter, a feature quantity vector having the feature quantities P high , P mid-high , P mid-low , P low , P disson , P complex , P peak-posi , and P peak-val as elements is referred to as a feature quantity vector P. .
In addition, instead of including the sample sequence of the sound waveform of the sound material in the record indicating the sound material, the information indicating the location of the music including the sound waveform in the hard disk 24 and the section in which the sound waveform appears in the music are shown. Information may be included.

リズムパターンデータベース27は、複数のリズムパターンデータを記憶したデータベースである。ここで、1つのリズムパターンデータは、16種類のトラックデータTrack−k(k=1〜16)から構成される。各トラックデータTrack−k(k=1〜16)は、1つのリズムパターンを構成する各トラックにおけるリズム音のON(発音)/OFF(非発音)を指示する時系列パターンである。   The rhythm pattern database 27 is a database that stores a plurality of rhythm pattern data. Here, one rhythm pattern data is composed of 16 types of track data Track-k (k = 1 to 16). Each track data Track-k (k = 1 to 16) is a time-series pattern instructing ON (pronunciation) / OFF (non-pronunciation) of a rhythm sound in each track constituting one rhythm pattern.

音素材検索プログラム28は、以下の3つの処理をCPU21に実行させるプログラムである。
a2.検索制御処理
これは、音素材データベース25,26から音素材を検索し、検索した音素材を示すシンボルSM−i(i=1,2…)がマッピングされた画面である検索画面を表示部16に表示させる処理である。
b2.曲演奏処理
これは、検索画面内に表示されたシンボルSM−i(i=1,2…)のうち操作部13に指定されたシンボルSM−iが示す音素材をサウンドシステム90に発音させる処理である。
c2.リズム演奏処理
これは、ユーザが操作部13の操作により指定したリズムパターンデータをリズムパターンデータベース27から読み出してRAM22に格納し、ユーザが操作部13の操作により指定した音素材をリズムパターンデータの各トラックデータTrack−k(k=1〜16)に割り当て、割り当てた音素材をリズム音として用いてリズムパターンデータの自動再生を行う処理である。
The sound material search program 28 is a program that causes the CPU 21 to execute the following three processes.
a2. Search Control Processing This is a search screen that is a screen in which symbols SM-i (i = 1, 2,...) That indicate the searched sound material are mapped and the sound material is searched from the sound material databases 25 and 26. It is a process to display on.
b2. Music performance processing This is processing for causing the sound system 90 to sound the sound material indicated by the symbol SM-i designated on the operation unit 13 among the symbols SM-i (i = 1, 2,...) Displayed in the search screen. It is.
c2. Rhythm performance processing In this process, the rhythm pattern data designated by the user through the operation of the operation unit 13 is read from the rhythm pattern database 27 and stored in the RAM 22, and the sound material designated by the user through the operation of the operation unit 13 is stored in each rhythm pattern data. In this process, the rhythm pattern data is automatically reproduced by using the assigned sound material as the rhythm sound and assigned to the track data Track-k (k = 1 to 16).

本実施形態における特徴の1つは、ユーザによる所望の音素材の検索を容易にするため、特徴量指定検索、類似検索、グラデーション検索の3種類の検索を実行可能にした点である。特徴量指定検索は、ユーザが指定した特徴量ベクトルPに最も近い特徴量ベクトルPをもった音素材を探し出す検索である。類似検索は、ユーザが指定した1つの音素材の特徴量ベクトルPに近い特徴量ベクトルPをもった音素材を上位所定個数だけ探し出す検索である。グラデーション検索は、ユーザが指定した2つの音素材の中間の特徴量ベクトルPをもった音素材をユーザが指定した個数だけ探し出す検索である。特徴量指定検索では、検索条件として特徴量ベクトルPが直接指定されるのに対し、類似検索およびグラデーション検索において、検索条件としてユーザが直接指定するのは音素材である。この点において、類似検索およびグラデーション検索は、特徴量指定検索とは異質の検索であるということができる。なお、これら3つの検索の詳細については、後述する。   One of the features in the present embodiment is that three types of search, that is, a feature amount search, a similarity search, and a gradation search, can be executed in order to facilitate the search for a desired sound material by the user. The feature quantity designation search is a search for finding a sound material having a feature quantity vector P closest to the feature quantity vector P designated by the user. The similarity search is a search for searching for a predetermined number of sound materials having a feature vector P close to the feature vector P of one sound material designated by the user. The gradation search is a search for searching for sound materials having a feature amount vector P intermediate between two sound materials specified by the user by the number specified by the user. In the feature quantity designation search, the feature quantity vector P is directly designated as a search condition, whereas in the similarity search and gradation search, the user directly designates the sound material as the search condition. In this respect, it can be said that the similarity search and the gradation search are different kinds of searches from the feature amount designation search. Details of these three searches will be described later.

次に、本実施形態の動作について説明する。本実施形態において、ユーザが音素材検索プログラム28を起動させると、CPU21は、検索制御処理において、表示部16に検索画面を表示させる。図3に示すように、検索画面は、検索操作領域31と演奏操作領域32とを有する。検索操作領域31は、x軸、y軸からなる2次元座標系を示す領域である。検索操作領域31の上端付近には、16個の枠5−k(k=1〜16)が配置されている。演奏操作領域32には、曲の自動演奏の開始を指示するためのボタン41、自動演奏のテンポを決めるBPM(Beats Per Minute)を指定するためのアップダウンコントロールボタン42、リズムパターンを指定するためのプルダウンメニュー43、曲の保存を指示するためのボタン44が配置される。   Next, the operation of this embodiment will be described. In the present embodiment, when the user activates the sound material search program 28, the CPU 21 displays a search screen on the display unit 16 in the search control process. As shown in FIG. 3, the search screen has a search operation area 31 and a performance operation area 32. The search operation area 31 is an area indicating a two-dimensional coordinate system composed of an x-axis and a y-axis. Near the upper end of the search operation area 31, 16 frames 5-k (k = 1 to 16) are arranged. In the performance operation area 32, a button 41 for instructing the start of automatic performance of music, an up / down control button 42 for specifying BPM (Beats Per Minute) for determining the tempo of automatic performance, and a rhythm pattern are specified. A pull-down menu 43 and a button 44 for instructing the saving of the music are arranged.

検索画面が表示部16に表示されると、ユーザは、音素材データベース25,26から音素材を検索してそれらの中から演奏に利用する16個の音素材を選ぶ素材決定作業と、16個の音素材を使った曲をマニュアル演奏したり自動演奏させる演奏作業とを行う。以下では、素材決定作業と演奏作業における本実施形態の動作を説明する。   When the search screen is displayed on the display unit 16, the user searches for sound materials from the sound material databases 25 and 26 and selects 16 sound materials to be used for performance from among them, and 16 materials determination work. Performing music using the sound material of the instrument manually or automatically. Below, operation | movement of this embodiment in a material determination work and a performance work is demonstrated.

(1)素材決定作業
素材決定作業において、ユーザは、次のように特徴量指定検索をCPU21に実行させることができる。まず、ユーザは、検索操作領域31内に表示された1つのシンボルSM−iを選択した上で、操作ウィンドウ51を同領域31内に表示させる。なお、ユーザは、検索操作領域31内にシンボルSM−iが1つも表示されていない場合、デフォルト値として予め設定されている特徴量ベクトルP(例えば、特徴量Phigh,Pmid-high,Pmid-low,Plow,Pdisson,Pcomplex,Ppeak-posi,Ppeak-valの全てを0とする特徴量ベクトルP)を有する音素材を示すシンボルSM−iを検索操作領域31内にまず表示させ、その表示させたシンボルSM−iを選択する。図4に示すように、操作ウィンドウ51は8種類の特徴量と各々対応するスライダSLDRhigh,SLDRmid-high,SLDRmid-low,SLDRlow,SLDRdisson,SLDRcomplex,SLDRpeak-posi,SLDRpeak-valと「検索」と記されたボタン52とが配置されたウィンドウである。ユーザは、この操作ウィンドウ51内の各スライダSLDRhigh,SLDRmid-high,SLDRmid-low,SLDRlow,SLDRdisson,SLDRcomplex,SLDRpeak-posi,SLDRpeak-valのつまみの位置を所望の音素材が有しているであろう特徴量の大きさに合わせて調整した後、同ウィンドウ51内のボタン52を選択する。
(1) Material Determination Work In the material determination work, the user can cause the CPU 21 to execute a feature amount designation search as follows. First, the user selects one symbol SM-i displayed in the search operation area 31 and then displays the operation window 51 in the area 31. When no symbol SM-i is displayed in the search operation area 31, the user can use a feature vector P (for example, feature values P high , P mid-high , P, which is preset as a default value). A symbol SM-i indicating a sound material having a feature quantity vector P) in which all of mid-low , P low , P disson , P complex , P peak-posi , and P peak-val are 0 is entered in the search operation area 31. First, the displayed symbol SM-i is selected. As shown in FIG. 4, the operation window 51 includes eight types of feature amounts corresponding to sliders SLDR high , SLDR mid-high , SLDR mid-low , SLDR low , SLDR disson , SLDR complex , SLDR peak-posi , and SLDR peak. This is a window in which -val and a button 52 labeled "Search" are arranged. The user, each slider SLDR high of the operating window 51, SLDR mid-high, SLDR mid-low, SLDR low, SLDR disson, SLDR complex, SLDR peak-posi, SLDR peak-val desired sound position of the knob After adjusting according to the size of the feature that the material will have, the button 52 in the window 51 is selected.

この操作が行われると、検索制御処理において、CPU21は、以下に説明する第1、第2、および第3の処理を行う。
第1の処理では、CPU21は、ユーザによって選択されたシンボルSM−iに対応づける検索条件SCcharを決定する。より具体的は、CPU21は、操作ウィンドウ51内の各スライダSLDRhigh,SLDRmid-high,SLDRmid-low,SLDRlow,SLDRdisson,SLDRcomplex,SLDRpeak-posi,SLDRpeak-valのつまみの位置を各々特徴量に変換し、これらの各特徴量を要素とする特徴量ベクトルPを検索条件SCcharとする。
When this operation is performed, in the search control process, the CPU 21 performs a first process, a second process, and a third process described below.
In the first process, the CPU 21 determines a search condition SC char associated with the symbol SM-i selected by the user. More specifically, the CPU 21 positions the sliders SLDR high , SLDR mid-high , SLDR mid-low , SLDR low , SLDR disson , SLDR complex , SLDR peak-posi , SLDR peak-val in the operation window 51. Are converted into feature quantities, and a feature quantity vector P having these feature quantities as elements is set as a search condition SC char .

第2の処理では、検索条件SCcharを構成する特徴量ベクトルPとのユークリッド距離が最も短い音素材のレコードを音素材データベース25,26から検索し、検索したレコードをユーザによって選択されたシンボルSM−iが示す音素材の最新の検索結果SRとしてRAM22に書き込む。ここで、上述したように、音素材データベース25における各レコードは特徴量Phigh,Pmid-high,Pmid-low,Plow,Pdisson,Pcomplex,Ppeak-posi,Ppeak-valを有しているため、検索条件SCcharを構成する8次元の特徴量ベクトルPとのユークリッド距離を求めることができるのに対し、音素材データベース26における各レコードは特徴量Phigh,Pmid-high,Pmid-low,Plow,Pdisson,Pcomplexしか有していないため、検索条件SCcharを構成する8次元の特徴量ベクトルPとのユークリッド距離を求めることができない。従って、本実施形態では、CPU21は、特徴量データベース26における各レコードについては、検索条件SCchar(後述する検索条件SC gra ,SCsimも同様)を構成する特徴量ベクトルPを6次元の特徴量ベクトルP(つまり、特徴量Ppeak-posi,Ppeak-valを使用しない)として各々との間のユークリッド距離を求める。
第3の処理では、CPU21は、最新の検索結果SRである音素材のサンプル列をインターフェース11を介してサウンドシステム90へ出力し、その音素材を同システム90に発音させる。
In the second process, a sound material record having the shortest Euclidean distance from the feature vector P constituting the search condition SC char is searched from the sound material databases 25 and 26, and the searched record is a symbol SM selected by the user. Write to the RAM 22 as the latest search result SR of the sound material indicated by -i. Here, as described above, each record in the sound material database 25 includes the feature values P high , P mid-high , P mid-low , P low , P disson , P complex , P peak-posi , P peak-val . Therefore, the Euclidean distance from the 8-dimensional feature vector P constituting the search condition SC char can be obtained, whereas each record in the sound material database 26 has the feature values P high and P mid-high. , P mid-low , P low , P disson , and P complex only, the Euclidean distance from the eight-dimensional feature vector P constituting the search condition SC char cannot be obtained. Therefore, in the present embodiment, the CPU 21 uses a feature quantity vector P constituting a search condition SC char (same for search conditions SC gra and SC sim described later) for each record in the feature quantity database 26 as a six-dimensional feature quantity. The Euclidean distance between each is determined as a vector P (that is, the feature amounts P peak-posi and P peak-val are not used).
In the third process, the CPU 21 outputs the sound material sample sequence that is the latest search result SR to the sound system 90 via the interface 11 and causes the system 90 to generate the sound material.

ユーザは、低音感の強い音素材(低域の周波数成分の強度が強い音素材)が欲しいときはスライダSLDRlowのつまみをより大きい特徴量Plowを示す位置まで移動させ、高音感の強い音素材(高域の周波数成分の強度が強い音素材)が欲しいときはスライダSLDRhighのつまみをより大きい特徴量Phighを示す位置まで移動させる、といったように設定を変えながら特徴量指定検索の実行指示を繰り返し、特徴量指定検索の後にサウンドシステム90から発音される音素材が所望のものに近いかを確認する。そして、所望の音素材ではないがそれに近い音素材が見つかった場合、ユーザは、次のように、その音素材を用いて類似検索をCPU21に実行させることができる。 The user, when a strong sound material (strength is high sound material of the frequency components in the low frequency range) want the bass moves the slider SLDR low to a position that indicates the larger feature value P low, strong sound with treble sense If you want material (sound material with high frequency component intensity), move the slider SLDR high knob to a position that indicates a larger feature P high, and perform feature-specific search while changing the settings. The instruction is repeated, and it is confirmed whether or not the sound material generated from the sound system 90 is close to a desired one after the feature value designation search. When a sound material that is not a desired sound material but is close to it is found, the user can cause the CPU 21 to perform a similarity search using the sound material as follows.

まず、ユーザは、所望の音素材に近いと感じた音素材のシンボルSM−iを選択した上で、キーボード15における類似検索用のキーを押す。
これによりCPU21は、以下に説明する第1、第2、および第3の処理を行う。
第1の処理では、CPU21は、ユーザによって選択されたシンボルSM−iに対応づける検索条件SCsimを決定する。より具体的には、CPU21は、シンボルSM−iが示す音素材の最新の検索結果SRとしてRAM22に書き込まれているレコードの特徴量Pを検索条件SCsimとする。
First, the user selects a symbol SM-i of a sound material that is felt close to a desired sound material, and then presses a key for similarity search on the keyboard 15.
Thereby, the CPU 21 performs first, second, and third processing described below.
In the first process, the CPU 21 determines a search condition SC sim associated with the symbol SM-i selected by the user. More specifically, the CPU 21 sets the feature amount P of the record written in the RAM 22 as the latest search result SR of the sound material indicated by the symbol SM-i as the search condition SC sim .

第2の処理では、CPU21は、検索条件SCsimを構成する特徴量ベクトルPとのユークリッド距離が短い上位8個の音素材のレコードを音素材データベース25,26から検索し、それらの8個のレコードをユーザによって選択されたシンボルSM−iが示す音素材に近い特徴量ベクトルPをもった音素材の第1番目〜第8番目の検索結果SRとしてRAM22に書き込む。 In the second process, the CPU 21 searches the sound material databases 25 and 26 for records of the top eight sound materials having the short Euclidean distance from the feature vector P constituting the search condition SC sim, and the eight of them. The record is written in the RAM 22 as the first to eighth search results SR of the sound material having the feature vector P close to the sound material indicated by the symbol SM-i selected by the user.

第3の処理では、CPU21は、図5に示すように、類似検索操作によって選択されたシンボルSM−i(図5の例では、シンボルSM−1)の左上近傍、左近傍、左下近傍、下近傍、右下近傍、右近傍、右上近傍、上近傍の各々の位置に第1番目〜第8番目の検索結果SRである音素材を各々示す8つのシンボルSM−i(図5の例では、シンボルSM−2,SM−3,SM−4,SM−5,SM−6,SM−7,SM−8,SM−9)を順に表示させる。ここで、図5は、8つのシンボルSM−iのうち5つが表示された時点における検索画面を示している。図5において、実線の矩形として示されたシンボルSM−2,SM−3,SM−4,SM−5,SM−6は既に表示済みのシンボルSM−iであり、鎖線の矩形として示されたシンボルSM−7,SM−8,SM−9は未表示のシンボルSM−iである。そして、矢印線は、その未表示のシンボルSM−7,SM−8,SM−9の表示順(シンボルSM−7→シンボルSM−8→シンボルSM−9)を示す。   In the third process, as shown in FIG. 5, the CPU 21 has a symbol SM-i (symbol SM-1 in the example of FIG. 5) selected by the similarity search operation near the upper left, the left, the lower left, and the lower. Eight symbols SM-i (in the example of FIG. 5) indicating sound materials that are the first to eighth search results SR at positions near, lower right, right, upper right, and upper, respectively. Symbols SM-2, SM-3, SM-4, SM-5, SM-6, SM-7, SM-8, SM-9) are displayed in order. Here, FIG. 5 shows a search screen when five of the eight symbols SM-i are displayed. In FIG. 5, symbols SM-2, SM-3, SM-4, SM-5 and SM-6 shown as solid line rectangles are already displayed symbols SM-i and shown as chain line rectangles. Symbols SM-7, SM-8, and SM-9 are undisplayed symbols SM-i. The arrow lines indicate the display order (symbol SM-7 → symbol SM-8 → symbol SM-9) of the undisplayed symbols SM-7, SM-8, SM-9.

ユーザは、この類似検索により得られた8つの音素材の中に所望のものが含まれているかを確認する。具体的には、ユーザは、選択したシンボルSM−iとその周りに表示された8個のシンボルSM−iをマウス14により1個ずつ指示する。このとき、CPU21は、ユーザがマウス14により指示したシンボルSM−iが示す音素材のレコードをRAM22から読み出し、その音素材の音波形のサンプル列をサウンドシステム90に送って音素材を発音させる。ユーザは、このようにして発音される音素材を確認する。そして、ユーザは、このようにして発音される9つの音素材の中に所望のものが含まれていないが、9つの音素材の中の2つの音素材の間に所望のものがあるかもしれないと感じたとき、グラデーション検索をCPU21に実行させる。   The user confirms whether the desired sound is included in the eight sound materials obtained by the similarity search. Specifically, the user designates the selected symbol SM-i and the eight symbols SM-i displayed around it by the mouse 14 one by one. At this time, the CPU 21 reads the sound material record indicated by the symbol SM-i designated by the user with the mouse 14 from the RAM 22 and sends a sound wave sample sequence of the sound material to the sound system 90 to generate the sound material. The user confirms the sound material that is pronounced in this way. The user does not include the desired material among the nine sound materials that are sounded in this way, but there may be a desired material between the two sound materials of the nine sound materials. When it is felt that there is not, gradation search is executed by the CPU 21.

図6に示すように、グラデーション検索では、ユーザは、検索操作領域31内に表示済みのシンボルSM−iのうち2つ(図6の例では、シンボルSM−2とシンボルSM−6)を各々の間に適当な距離dが空くような位置に移動させた後、各々をグラデーション検索の始点および終点として順に選択し、キーボード15におけるグラデーション検索用のキーを押す。   As shown in FIG. 6, in the gradation search, the user uses two symbols SM-i displayed in the search operation area 31 (symbol SM-2 and symbol SM-6 in the example of FIG. 6). Are moved to positions where an appropriate distance d is left between them, and then each of them is sequentially selected as a gradation search start point and end point, and a gradation search key on the keyboard 15 is pressed.

検索制御処理において、CPU21は、グラデーション検索が指示された場合、以下に示す第1、第2、および第3の処理を行う。
第1の処理では、CPU21は、ユーザによって始点として選択されたシンボルSM−i(以下、始点シンボルSM−is)と終点として選択されたシンボルSM−i(以下、終点シンボルSM−ie)のセットに基づき検索条件SC gra を決定する。
In the search control process, when the gradation search is instructed, the CPU 21 performs the following first, second, and third processes.
In the first process, the CPU 21 sets a symbol SM-i selected as a starting point by the user (hereinafter referred to as a starting point symbol SM-is) and a symbol SM-i selected as an end point (hereinafter referred to as an end point symbol SM-ie). Based on the above, the search condition SC gra is determined.

より具体的に説明すると、CPU21は、始点シンボルSM−isから終点シンボルSM−ieまでの距離dを次式(1)に代入することにより検索数Numを求める。次式(1)において、dSMは、シンボルSM1つ分の幅である。
Num=d/dSM…(1)
More specifically, the CPU 21 obtains the search number Num by substituting the distance d from the start point symbol SM-is to the end point symbol SM-ie into the following equation (1). In the following equation (1), d SM is a width corresponding to one symbol SM .
Num = d / d SM (1)

そして、CPU21は、始点シンボルSM−isと終点シンボルSM−ieが各々示す音素材を基準音素材とし、特徴量ベクトル空間において、始点シンボルSM−isが示す音素材の特徴量ベクトルPと終点シンボルSM−ieが示す音素材の特徴量ベクトルPとの間をNum点内挿補間し、この内挿補間により求まったNum点分の各特徴量ベクトルPint−h(h=1〜Num:hは、始点シンボルSM−isが示す音素材との特徴量ベクトルPの近さの順位を示すインデックスである)を各々検索条件SC gra とする。 Then, the CPU 21 uses the sound material indicated by the start point symbol SM-is and the end point symbol SM-ie as the reference sound material, and the feature amount vector P and the end point symbol of the sound material indicated by the start point symbol SM-is in the feature amount vector space. Num point interpolation is performed between the sound material feature vector P indicated by SM-ie, and each num point vector vector P int -h (h = 1 to Num: h) obtained by this interpolation. Is an index indicating the rank of the feature vector P with respect to the sound material indicated by the start point symbol SM-is) as search conditions SC gra .

第2の処理では、CPU21は、検索条件SC gra を構成する特徴量ベクトルVPint−h(h=1〜Num)とのユークリッド距離が短い音素材のレコードを音素材データベース25,26から検索し、検索したNum個のレコードを始点シンボルSM−isと終点シンボルSM−ieが各々示す音素材の中間の特徴をもったNum個の音素材の検索結果SRとしてRAM22に書き込む。 In the second process, the CPU 21 searches the sound material databases 25 and 26 for a sound material record having a short Euclidean distance from the feature vector VP int -h (h = 1 to Num) constituting the search condition SC gra . The searched Num records are written in the RAM 22 as search results SR of Num sound materials having intermediate characteristics between the sound materials indicated by the start point symbol SM-is and the end point symbol SM-ie.

より具体的に説明すると、CPU21は、特徴量ベクトルPint−1とのユークリッド距離が最も短い音素材のレコードを音素材データベース25,26から検索し、検索したレコードを第1番目の検索結果SRとしてRAM22に書き込む。 More specifically, the CPU 21 searches the sound material databases 25 and 26 for the record of the sound material having the shortest Euclidean distance from the feature vector P int −1, and the searched record is the first search result SR. Is written into the RAM 22.

次に、CPU21は、特徴量ベクトルPint−2とのユークリッド距離が最も短い音素材のレコードを音素材データベース25,26から検索し、検索したレコードが第1番目の検索結果SRをなすレコードと異なる場合には、そのレコードを第2番目の検索結果SRとしてRAM22に書き込む。また、CPU21は、特徴量ベクトルPint−2とのユークリッド距離が最も短い音素材のレコードと第1番目の検索結果SRをなすレコードが同じである場合には、ユークリッド距離が次に短い音素材のレコードを音素材データベース25,26から再検索し、この再検索したレコードを第2番目の検索結果SRとしてRAM22に書き込む。 Next, the CPU 21 searches the sound material databases 25 and 26 for a sound material record having the shortest Euclidean distance from the feature vector P int -2, and the retrieved record is a record that forms the first search result SR. If they are different, the record is written in the RAM 22 as the second search result SR. In addition, when the record of the sound material having the shortest Euclidean distance with the feature amount vector P int -2 is the same as the record forming the first search result SR, the CPU 21 stores the sound material having the next shortest Euclidean distance. Is re-searched from the sound material databases 25 and 26, and the re-searched record is written in the RAM 22 as the second search result SR.

以下、CPU21は、特徴量ベクトルPint−3,Pint−4…Pint−Numについて特徴量ベクトルPint−2の場合と同様の検索を繰り返し、各々の検索によって得られたレコードを第3番目〜第Num番目の検索結果SRとしてRAM22に書き込む。 Thereafter, the CPU 21 repeats the same search as the case of the feature vector P int -2 with respect to the feature vector P int −3, P int −4... P int −Num, and records obtained by each search are stored in the third record. Are written in the RAM 22 as the .sup.th to Num.sup.th search results SR.

第3の処理では、CPU21は、図7に示すように、始点シンボルSM−is(図7の例では、シンボルSM−2)から終点シンボルSM−ie(図7の例では、シンボルSM−6)に向かって、第2の処理における第1番目から第Num番目までの検索結果SRである音素材を示すNum個のシンボルSM−i(図7の例では、SM−10,SM−11,SM−12,SM−13,SM−14,SM−15)を順に表示させるとともに、第1番目から第Num番目までの検索結果SRである音素材をサウンドシステム90に発音させる。 In the third process, as shown in FIG. 7, the CPU 21 starts from the start point symbol SM-is (symbol SM-2 in the example of FIG. 7) to the end point symbol SM-ie (symbol SM-6 in the example of FIG. 7). ) Num symbols SM-i (SM-10, SM-11 in the example of FIG. 7) indicating the sound material which is the search result SR from the first to the Numth in the second process. SM-12, SM-13, SM-14, SM-15) together with is displayed in the order, to sound the sound material is results SR from the first to the Num-th to the sound system 90.

ユーザは、グラデーション検索操作の後にサウンドシステム90から発音されるNum個の音素材のなかに所望のものが含まれているかを確認する。具体的には、ユーザは、Num個の音素材を示す各シンボルSM−iをマウス14により1個ずつ指示する。このとき、CPU21は、ユーザがマウス14により指示したシンボルSM−iが示す音素材のレコードをRAM22から読み出し、その音素材の音波形のサンプル列をサウンドシステム90に送って音素材を発音させる。ユーザは、このようにして発音される音素材を確認する。そして、それらNum個の音素材のなかに所望の音素材が含まれている場合、ユーザは、図8に示すように、検索操作領域31内に表示済みのシンボルSM−iのうちその所望の音素材を示すシンボルSM−i(図8の例では、シンボルSM−12)を選択し、選択したシンボルSM−iを同領域31における枠5−k(k=1〜16)のいずれか(図8の例では枠5−5)に移動させる。   The user checks whether the desired number is included in the Num sound materials generated from the sound system 90 after the gradation search operation. Specifically, the user instructs each symbol SM-i indicating Num sound materials one by one using the mouse 14. At this time, the CPU 21 reads the sound material record indicated by the symbol SM-i designated by the user with the mouse 14 from the RAM 22 and sends a sound wave sample sequence of the sound material to the sound system 90 to generate the sound material. The user confirms the sound material that is pronounced in this way. If the desired sound material is included in the Num sound materials, the user can select the desired sound SM-i displayed in the search operation area 31 as shown in FIG. The symbol SM-i indicating the sound material (symbol SM-12 in the example of FIG. 8) is selected, and the selected symbol SM-i is selected from any of the frames 5-k (k = 1 to 16) in the region 31 ( In the example of FIG. 8, the frame is moved to the frame 5-5).

これにより、CPU21は、枠5−kに移動されたシンボルSM−iが示す音素材の検索結果SRである音素材のサンプル列をその枠5−kの識別子とを対応づけてRAM22の記憶領域ARに書き込む。記憶領域ARは、曲演奏処理およびリズム演奏処理において用いる音素材のサンプル列を記憶するために確保された記憶領域である。
ユーザは、枠5−k(k=1〜16)のすべてがシンボルSM−iで埋まるまで、特徴量指定検索、類似検索、グラデーション検索を使い分けながら所望の音素材を探索する。そして、枠5−k(k=1〜16)のすべてがシンボルSM−iで埋まると素材決定作業を終了し、次の演奏作業に移る。
Thereby, the CPU 21 associates the sample sequence of the sound material, which is the sound material search result SR indicated by the symbol SM-i moved to the frame 5-k, with the identifier of the frame 5-k, and stores the storage area in the RAM 22. Write to AR. The storage area AR is a storage area reserved for storing a sample sequence of sound materials used in the music performance process and the rhythm performance process.
The user searches for a desired sound material while properly using feature amount designation search, similarity search, and gradation search until all of the frames 5-k (k = 1 to 16) are filled with the symbols SM-i. When all of the frames 5-k (k = 1 to 16) are filled with the symbols SM-i, the material determination work is finished, and the next performance work is started.

(2)演奏作業
演奏作業において、ユーザは、マニュアル演奏または自動演奏をCPU21に実行させる。
マニュアル演奏では、ユーザは、キーボード15における各キーのうち枠5−k(k=1〜16)の各々と対応する演奏キーkey−k(k=1〜16)としての役割が割り当てられているものを、音素材を鳴らしたいタイミングに合わせて押す。
曲演奏処理において、CPU21は、演奏キーkey−kが押される度に、枠5−kの識別子と対応づけて記憶領域ARに記憶された音素材のサンプル列をインターフェース11を介してサウンドシステム90へ出力し、その音素材を同システム90から発音させる。
(2) Performance work In the performance work, the user causes the CPU 21 to execute manual performance or automatic performance.
In the manual performance, the user is assigned a role as a performance key key-k (k = 1 to 16) corresponding to each of the frames 5-k (k = 1 to 16) among the keys on the keyboard 15. Press the object at the timing you want the sound material to sound.
In the music performance processing, the CPU 21 sends the sound system 90 via the interface 11 to the sample sequence of the sound material stored in the storage area AR in association with the identifier of the frame 5-k each time the performance key key-k is pressed. The sound material is generated from the system 90.

CPU21に自動演奏を実行させる場合、ユーザは、ボタン41をマウス14により指示する。ユーザは、ボタン41を指示する前やその後に、アップダウンコントロールボタン42によってテンポを変えたりプルダウンメニュー43によってリズムパターンデータを変えることもできる。   When causing the CPU 21 to perform automatic performance, the user designates the button 41 with the mouse 14. The user can change the tempo with the up / down control button 42 or change the rhythm pattern data with the pull-down menu 43 before or after instructing the button 41.

リズム演奏処理において、CPU21は、ユーザが操作部13の操作により指定したリズムパターンデータをリズムパターンデータベース27から読み出してRAM22に格納し、リズムパターンデータを構成する16トラック分のトラックデータTrack−k(k=1〜16)を繰り返し再生する。その際、CPU21は、枠5−k(k=1〜16)に対応付けられた各音素材を第kトラック(k=1〜16)のリズム音として使用する。すなわち、RAM22から読み出される各トラックデータTrack−k(k=1〜16)のうち第kトラックのトラックデータTrack−kがリズム音のONを指示している場合、枠5−kに対応付けられた音素材のサンプル列を記憶領域ARから読み出してサウンドシステム90に送って発音させる。   In the rhythm performance processing, the CPU 21 reads out the rhythm pattern data designated by the user through the operation of the operation unit 13 from the rhythm pattern database 27 and stores it in the RAM 22, and the track data Track-k (16-track data constituting the rhythm pattern data). k = 1 to 16) are repeatedly reproduced. At that time, the CPU 21 uses each sound material associated with the frame 5-k (k = 1 to 16) as the rhythm sound of the k-th track (k = 1 to 16). That is, when the track data Track-k of the k-th track among the track data Track-k (k = 1 to 16) read from the RAM 22 indicates ON of the rhythm sound, it is associated with the frame 5-k. The sample sequence of the sound material is read from the storage area AR and sent to the sound system 90 for sound generation.

また、ユーザは、オーディオファイル書き出し操作を行うこともできる。オーディオファイル書き出し操作では、枠5−k(k=1〜16)におけるいずれかの1つまたは複数個の枠5−k内のシンボルSM−iを選択し、ボタン44を選択する。   The user can also perform an audio file writing operation. In the audio file writing operation, the symbol SM-i in any one or a plurality of frames 5-k in the frame 5-k (k = 1 to 16) is selected, and the button 44 is selected.

CPU21は、曲演奏処理では、オーディオファイル書き出し操作が行われた場合、この操作によって選択されたシンボルSM−iが示す音素材のサンプル列をWaveform Audio Format(以下、「WAVフォーマット」)のオーディオファイルに変換し、変換したオーディオファイルをハードディスク24に記憶する。ハードディスク24に記憶したオーディオファイルは、種々の態様で利用することができる。たとえば、音素材検索プログラム28をインストールした他のコンピュータのハードディスクにそのオーディオファイルをコピーし、同コンピュータによる作曲に利用してもよい。また、本発明の出願人らにより提案されたテノリオン(登録商標)と称される演奏装置内のメモリにオーディオファイルをコピーし、コピーしたオーディオファイルをテノリオンによる曲の演奏に利用してもよい。テノリオンの詳細については、非特許文献1を参照されたい。   In the music performance process, when an audio file writing operation is performed, the CPU 21 converts a sample string of sound material indicated by the symbol SM-i selected by this operation into an audio file of Waveform Audio Format (hereinafter referred to as “WAV format”). The converted audio file is stored in the hard disk 24. The audio file stored in the hard disk 24 can be used in various ways. For example, the audio file may be copied to the hard disk of another computer in which the sound material search program 28 is installed and used for composition by the computer. Further, an audio file may be copied to a memory in a performance device called Tenorion (registered trademark) proposed by the applicants of the present invention, and the copied audio file may be used for performance of a song by Tenorion. See Non-Patent Document 1 for details of Tenorion.

以上説明した実施形態において、グラデーション検索では、ユーザによって選択された2つのシンボルSM−isおよびSM−ieが示す音素材の各々の特徴量ベクトルPを補間した特徴量ベクトルPを検索条件SCgraとし、この検索条件SCgraを用いた検索が実行される。よって、ユーザは、このグラデーション検索を他の特徴量指定検索および類似検索と組み合わせながら音素材の検索作業を行うことにより、音素材データベース25,26に収録されている多数の音素材の中から所望の音素材を効率的に探し出すことができる。 In the embodiment described above, in the gradation search, the feature amount vector P obtained by interpolating the feature amount vectors P of the sound material indicated by the two symbols SM-is and SM-ie selected by the user is set as the search condition SC gra. A search using the search condition SC gra is executed. Therefore, the user can perform a sound material search operation by combining this gradation search with other feature value specification search and similar search, thereby selecting a desired sound material from a large number of sound materials recorded in the sound material databases 25 and 26. The sound material can be searched efficiently.

以上、この発明の一実施形態について説明したが、この発明には他にも実施形態があり得る。例えば、以下の通りである。
(1)上記実施形態において、CPU21は、検索制御処理では、選択された2つのシンボルSM−isおよびSM−ieが各々示す音素材の特徴量ベクトルPを外挿補間した特徴量ベクトルPを検索条件として音素材を検索し、検索した音素材を示すシンボルSM−iを2つのシンボルSM−isおよびSM−ieの外側に並べて表示させてもよい。
Although one embodiment of the present invention has been described above, the present invention may have other embodiments. For example, it is as follows.
(1) In the above embodiment, in the search control process, the CPU 21 searches for the feature vector P obtained by extrapolating the feature vector P of the sound material indicated by each of the two selected symbols SM-is and SM-ie. A sound material may be searched as a condition, and a symbol SM-i indicating the searched sound material may be displayed side by side outside the two symbols SM-is and SM-ie.

(2)上記実施形態において、検索操作領域31内に表示されたシンボルSM−iのうち3つ以上をグラデーション検索の検索条件として選択できるようにしてもよい。この実施形態では、図9に示すように、検索操作領域31内に表示済みのシンボルSM−iのうち3つ(たとえば、シンボルSM−21、SM−22、SM−23)が選択された場合に、特徴量ベクトル空間において、シンボルSM−21が示す音素材の特徴量ベクトルPとシンボルSM−22が示す音素材の特徴量ベクトルPとの差ベクトルを一辺とし、シンボルSM−21が示す音素材の特徴量ベクトルPとシンボルSM−23が示す音素材の特徴量ベクトルPとの差ベクトルを他の一辺とする平行四辺形内にマトリックス状に分布する特徴量ベクトルPを求めるとともに、それらの特徴量ベクトルPに最も近い特徴量ベクトルPを持った音素材を検索し、検索結果である各音素材を示すシンボルSM−iをマトリックス状に表示させてもよい。 (2) In the above embodiment, three or more of the symbols SM-i displayed in the search operation area 31 may be selected as search conditions for gradation search. In this embodiment, as shown in FIG. 9, when three symbols SM-i (for example, symbols SM-21, SM-22, and SM-23) displayed in the search operation area 31 are selected. In addition, in the feature vector space, the difference vector between the feature vector P of the sound material indicated by the symbol SM-21 and the feature vector P of the sound material indicated by the symbol SM-22 is one side, and the sound indicated by the symbol SM-21 is displayed. While obtaining a feature vector P distributed in a matrix within a parallelogram having a difference vector between the feature vector P of the material and the feature vector P of the sound material indicated by the symbol SM-23 as one other side, A sound material having the feature vector P closest to the feature vector P is searched, and symbols SM-i indicating each sound material as a search result are displayed in a matrix. Good.

(3)上記(2)の態様を次のように変形してもよい。すなわち、図10に示すように、検索操作領域31に表示済みのシンボルSM−iのうち3つ(たとえば、シンボルSM−31、SM−32、SM−33)が選択された場合に、特徴量ベクトル空間において、シンボルSM−31、SM−32、SM−33が示す各音素材の各特徴量ベクトルPを各々頂点とする三角形内に分布する特徴量ベクトルPを求めるとともに、それらの特徴量ベクトルPに最も近い特徴量ベクトルPを持った音素材を検索し、検索結果である各音素材を示すシンボルSM−iを3次元表示させてもよい。 (3) The above aspect (2) may be modified as follows. That is, as shown in FIG. 10, when three symbols SM-i (for example, symbols SM-31, SM-32, and SM-33) displayed in the search operation area 31 are selected, the feature amount is selected. In the vector space, a feature vector P distributed in a triangle having each feature vector P of each sound material indicated by the symbols SM-31, SM-32, SM-33 as vertices is obtained, and the feature vectors A sound material having the feature vector P closest to P may be searched, and the symbol SM-i indicating each sound material as a search result may be displayed in a three-dimensional manner.

(4)上記実施形態では、音素材間の類似度を示す指標として、音素材の特徴量ベクトル間のユークリッド距離を使用したが、他の類似度の指標を使用して、特徴量指定検索、類似検索、グラデーション検索を行ってもよい。
(4) In the above embodiment, the Euclidean distance between the feature amount vectors of the sound material is used as an index indicating the similarity between the sound materials . However , a feature amount designation search is performed using another similarity index. Similarity search and gradation search may be performed.

(5)上記実施形態においてグラデーション検索では、基準音素材を示す2個のシンボルSM−iを表示させるとともに、Num点補間により特徴量ベクトルに類似した特徴量を持ったNum個の音素材を示すシンボルSM−iの列を2個のシンボルSM−iの間に表示させたが、基準音素材を示す2個のシンボルSM−iの表示を省略してもよい。 (5) In the above-described embodiment, in gradation search, two symbols SM-i indicating the reference sound material are displayed, and Num sound materials having a feature value similar to the feature value vector are indicated by Num point interpolation. Although the symbol SM-i column is displayed between the two symbols SM-i, the display of the two symbols SM-i indicating the reference sound material may be omitted.

(6)上記実施形態において、検索画面31における検索操作領域31を、枠5−k(k=1〜16)の各々と対応するk(k=1〜16)層のレイヤlayer−k(k=1〜16)に分け、検索操作領域31のレイヤlayer−k(k=1〜16)における各レイヤlayer−kに表示済みのシンボルSM−iの中から枠5−kを埋めるシンボルSM−iを選択するようにしてもよい。 (6) In the above embodiment, the search operation area 31 on the search screen 31 is set to the layer layer-k (k) of k (k = 1 to 16) layers corresponding to each of the frames 5-k (k = 1 to 16). = 1 to 16), and the symbol SM- that fills the frame 5-k from among the symbols SM-i displayed in each layer layer-k in the layer layer-k (k = 1 to 16) of the search operation area 31 i may be selected.

(7)上記実施形態では、ユーザは、素材決定作業において検索操作領域31内における16個の枠5−k(k=1〜16)のすべてをシンボルSM−iにより埋めた上で続く演奏作業に移った。しかし、16個の枠5−k(k=1〜16)の一部をシンボルSM−iにより埋めた状態で演奏作業に移り、その一部の枠5−k上のシンボルSM−iが示す音素材を用いて演奏を行えるようにしてもよい。 (7) In the above embodiment, the user performs the performance work that continues after filling all the 16 frames 5-k (k = 1 to 16) in the search operation area 31 with the symbols SM-i in the material determination work. Moved on. However, the performance shifts to a performance work in a state where a part of the 16 frames 5-k (k = 1 to 16) is filled with the symbols SM-i, and the symbols SM-i on the part of the frames 5-k indicate. You may enable it to perform using sound material.

10…音素材検索装置、11…インターフェース、90…サウンドシステム、13…操作部、14…マウス、15…キーボード、16…表示部、20…制御部、21…CPU、22…RAM、23…ROM、24…ハードディスク、25,26…音素材データベース、27…リズムパターンデータベース、28…音素材検索プログラム。
DESCRIPTION OF SYMBOLS 10 ... Sound material search apparatus, 11 ... Interface, 90 ... Sound system, 13 ... Operation part, 14 ... Mouse, 15 ... Keyboard, 16 ... Display part, 20 ... Control part, 21 ... CPU, 22 ... RAM, 23 ... ROM 24, hard disk, 25, 26 ... sound material database, 27 ... rhythm pattern database, 28 ... sound material search program.

Claims (2)

各音素材とそれらの音素材の特徴を示す特徴量ベクトルとを対応づけて記憶する記憶手段と、
操作手段と、
音素材を示すシンボルを表示する表示手段と、
前記操作手段の操作により指定された複数の音素材を基準音素材とし、前記複数の基準音素材と各々対応づけて前記記憶手段に記憶された複数の特徴量ベクトル間を補間した1または複数組の各特徴量ベクトルに最も類似した特徴量ベクトルをもった1または複数の音素材を前記記憶手段から検索し、その検索結果である各音素材を示す複数のシンボルを前記表示手段に表示させる制御手段とを具備し、
前記制御手段は、前記操作手段の操作により1つの音素材を示すシンボルが選択された場合に、選択されたシンボルが示す音素材と対応づけて前記記憶手段に記憶された特徴量ベクトルに類似した特徴量ベクトルをもった音素材を前記記憶手段から上位所定個数だけ検索し、その検索結果である上位所定個数の音素材を示すシンボルを前記選択されたシンボルの近傍に表示させることを特徴とする音素材検索装置。
Storage means for storing each sound material and a feature vector indicating the characteristics of the sound material in association with each other;
Operation means;
Display means for displaying a symbol indicating sound material;
One or a plurality of sets obtained by interpolating between a plurality of feature amount vectors stored in the storage unit in correspondence with the plurality of reference sound materials, using a plurality of sound materials specified by the operation of the operation unit as a reference sound material Control for searching one or a plurality of sound materials having a feature vector most similar to each of the feature vectors in the storage unit, and displaying a plurality of symbols indicating each sound material as a search result on the display unit Means ,
The control means is similar to the feature vector stored in the storage means in association with the sound material indicated by the selected symbol when a symbol indicating one sound material is selected by the operation of the operation means. A sound material having a feature vector is searched from the storage means for a predetermined upper number, and a symbol indicating the upper predetermined number of sound materials as a search result is displayed in the vicinity of the selected symbol. Sound material search device.
各音素材とそれらの音素材の特徴を示す特徴量ベクトルとを対応づけて記憶する記憶手段と、Storage means for storing each sound material and a feature vector indicating the characteristics of the sound material in association with each other;
操作手段と、  Operation means;
音素材を示すシンボルを表示する表示手段と、  Display means for displaying a symbol indicating sound material;
前記操作手段の操作により指定された複数の音素材を基準音素材とし、前記複数の基準音素材と各々対応づけて前記記憶手段に記憶された複数の特徴量ベクトル間を補間した1または複数組の各特徴量ベクトルに最も類似した特徴量ベクトルをもった1または複数の音素材を前記記憶手段から検索し、その検索結果である各音素材を示す複数のシンボルを前記表示手段に表示させる制御手段とを具備し、  One or a plurality of sets obtained by interpolating between a plurality of feature amount vectors stored in the storage unit in correspondence with the plurality of reference sound materials, using a plurality of sound materials specified by the operation of the operation unit as a reference sound material Control for searching one or a plurality of sound materials having a feature vector most similar to each of the feature vectors in the storage unit, and displaying a plurality of symbols indicating each sound material as a search result on the display unit Means,
前記制御手段は、前記操作手段の操作に応じて2個の基準音素材を示す2個のシンボルを前記表示手段に表示させ、前記表示手段の表示画面内における前記2個の基準音素材を示す2個のシンボル間の距離に応じて、前記記憶手段から検索する音素材の数を決定することを特徴とする音素材検索装置。  The control means displays two symbols indicating two reference sound materials on the display means in response to an operation of the operation means, and indicates the two reference sound materials in the display screen of the display means. A sound material searching apparatus, wherein the number of sound materials to be searched from the storage means is determined according to a distance between two symbols.
JP2009121066A 2009-05-19 2009-05-19 Sound material search device Expired - Fee Related JP5487718B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009121066A JP5487718B2 (en) 2009-05-19 2009-05-19 Sound material search device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009121066A JP5487718B2 (en) 2009-05-19 2009-05-19 Sound material search device

Publications (2)

Publication Number Publication Date
JP2010271398A JP2010271398A (en) 2010-12-02
JP5487718B2 true JP5487718B2 (en) 2014-05-07

Family

ID=43419487

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009121066A Expired - Fee Related JP5487718B2 (en) 2009-05-19 2009-05-19 Sound material search device

Country Status (1)

Country Link
JP (1) JP5487718B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992713A (en) * 2015-05-14 2015-10-21 电子科技大学 A Fast Broadcast Audio Comparison Method

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5708317B2 (en) * 2011-07-06 2015-04-30 ヤマハ株式会社 Sound waveform search support device and program
US12444394B2 (en) 2021-12-15 2025-10-14 Distributed Creation Inc. Scalable similarity-based generation of compatible music mixes

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04347772A (en) * 1991-05-24 1992-12-02 Nippon Telegr & Teleph Corp <Ntt> Representative screen display method
FR2857122A1 (en) * 2003-07-03 2005-01-07 Thomson Licensing Sa NAVIGATION METHOD IN A SET OF SOUND DOCUMENTS USING A GRAPHICAL INTERFACE, AND RECEIVER FOR NAVIGATION ACCORDING TO THE METHOD
JP2007071903A (en) * 2005-09-02 2007-03-22 Yamaha Corp Musical piece creation support device
JP4670591B2 (en) * 2005-10-31 2011-04-13 ヤマハ株式会社 Music material editing method and music material editing system
JP4438810B2 (en) * 2007-03-14 2010-03-24 ヤマハ株式会社 Song editing apparatus and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992713A (en) * 2015-05-14 2015-10-21 电子科技大学 A Fast Broadcast Audio Comparison Method
CN104992713B (en) * 2015-05-14 2018-11-13 电子科技大学 A kind of quick broadcast audio comparison method

Also Published As

Publication number Publication date
JP2010271398A (en) 2010-12-02

Similar Documents

Publication Publication Date Title
US8255069B2 (en) Digital audio processor
JP3823928B2 (en) Score data display device and program
US20060180007A1 (en) Music and audio composition system
JP5259075B2 (en) Mashup device and content creation method
JP2009529717A (en) Method and apparatus for automatically creating music
JP3538242B2 (en) Score display device
CN101276373A (en) Information processing device and method and program
WO2017028686A1 (en) Information processing method, terminal device and computer storage medium
JP2003044046A (en) Information processing apparatus, information processing method, and storage medium
JP4616337B2 (en) Playback order change support unit, music information playback apparatus, and playback order change support method
JP2008071419A (en) Music reproducing device, program, and music reproducing method in music reproducing device
JP5487718B2 (en) Sound material search device
JP2009252054A (en) Display device
JP5050460B2 (en) Interface device, interface program, and interface method
JP2008071118A (en) Interface device, music reproduction apparatus, interface program and interface method
JPH10207460A (en) Selecting device and method for playing setting data, and medium in which program is recorded
JP4265408B2 (en) Electronic music apparatus and computer program applied to the apparatus
JP3632488B2 (en) Data set selection device
JP2797631B2 (en) Music information search device
US20130204628A1 (en) Electronic apparatus and audio guide program
JP4438810B2 (en) Song editing apparatus and program
JP4179063B2 (en) Performance setting data selection device and program
JP3972899B2 (en) Music score display device
JP2009265714A (en) Image display method, image display program, and musical piece reproduction device
JP5028922B2 (en) Music playback device, music playback program, and music playback method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120321

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131112

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140210

R150 Certificate of patent or registration of utility model

Ref document number: 5487718

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees