JP7120468B2 - 音響解析方法、音響解析装置およびプログラム - Google Patents

Description

本開示は、音響信号を解析する技術に関する。

楽曲の演奏音を表す音響信号を解析することで、当該楽曲が属する音楽ジャンルを推定する技術が、従来から提案されている。例えば非特許文献１には、機械学習技術を利用した音響信号の解析により楽曲の音楽ジャンルを推定する技術が開示されている。

Hareesh Bahuleyan, "Music Genre Classification using Machine Learning Techniques," arXiv:1804.01149 [cs.SD], 3 Apr 2018

しかし、実際の楽曲は、複数の音楽ジャンルにわたる音楽的な特徴を含む場合がある。したがって、例えば利用者が指定した楽曲に対して音楽ジャンルが共通する楽曲を検索しても、実際には音楽的な特徴が顕著に相違する楽曲が検索される場合がある。なお、以上の説明では音楽ジャンルに着目したが、音楽ジャンルのほかに「明るい印象の楽曲」「暗い印象の楽曲」等の音楽的な印象による分類を含む音楽カテゴリについて同様の課題が想定される。以上の事情を考慮して、本開示のひとつの態様は、複数の音楽カテゴリの観点から特定の楽曲に類似する適切な楽曲を選択することを目的とする。

以上の課題を解決するために、本開示のひとつの態様に係る音響解析方法は、楽曲の演奏音を表す音響信号を取得し、複数の音楽カテゴリの各々について前記楽曲が当該音楽カテゴリに属する確度を含む特徴量を、前記音響信号の解析により算定し、複数の候補楽曲のうち特徴量が前記楽曲について算定された特徴量に類似する１以上の候補楽曲を選択する。

本開示のひとつの態様に係る音響解析装置は、楽曲の演奏音を表す音響信号を取得する信号取得部と、複数の音楽カテゴリの各々について前記楽曲が当該音楽カテゴリに属する確度を含む特徴量を、前記音響信号の解析により算定する信号解析部と、複数の候補楽曲のうち特徴量が前記楽曲について算定された特徴量に類似する１以上の候補楽曲を選択する楽曲選択部とを具備する。

本開示のひとつの態様に係るプログラムは、楽曲の演奏音を表す音響信号を取得する信号取得部、複数の音楽カテゴリの各々について前記楽曲が当該音楽カテゴリに属する確度を含む特徴量を、前記音響信号の解析により算定する信号解析部、および、複数の候補楽曲のうち特徴量が前記楽曲について算定された特徴量に類似する１以上の候補楽曲を選択する楽曲選択部、としてコンピュータを機能させる。

第１実施形態に係る音響解析装置の構成を例示するブロック図である。 音響解析装置の機能的な構成を例示するブロック図である。 特徴量の説明図である。 信号解析部の具体的な構成を例示するブロック図である。 変動パターンＹの解析に関する説明図である。 変動パターンを生成する処理の具体的な手順を例示するフローチャートである。 単位特徴量の算定の説明図である。 第１解析画像の模式図である。 第１解析画像の模式図である。 第２解析画像の模式図である。 楽曲選択部の具体的な構成を例示するブロック図である。 音響解析処理の具体的な手順を例示するフローチャートである。 第２実施形態における音響解析装置の機能的な構成を例示するブロック図である。 第２実施形態における音響解析処理の具体的な手順を例示するフローチャートである。

Ａ：第１実施形態
図１は、本開示の第１実施形態に係る音響解析装置１００の構成を例示するブロック図である。音響解析装置１００は、特定の楽曲（以下「目標楽曲」という）の演奏音を表す音響信号Ｓを解析することで、音楽ジャンルに関する特徴量を生成する情報処理装置である。音楽ジャンルは、楽曲を音楽的な観点で分類した区分（種別）を意味する。例えばロック，ポップス，ジャズ，ダンスまたはブルース等の音楽的な区分が音楽ジャンルの典型例である。

音響解析装置１００は、制御装置１１と記憶装置１２と表示装置１３とを具備するコンピュータシステムで実現される。例えば、音響解析装置１００は、スマートフォンまたはパーソナルコンピュータ等の各種の情報端末により実現される。なお、音響解析装置１００は、単体の装置で実現されるほか、相互に別体で構成された複数の装置（すなわちシステム）でも実現される。

制御装置１１は、音響解析装置１００の各要素を制御する単数または複数のプロセッサで構成される。例えば、制御装置１１は、ＣＰＵ（Central Processing Unit）、ＳＰＵ（Sound Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、またはＡＳＩＣ（Application Specific Integrated Circuit）等の１種類以上のプロセッサで構成される。表示装置１３は、制御装置１１による制御のもとで画像を表示する。表示装置１３は、例えば液晶表示パネルである。

記憶装置１２は、制御装置１１が実行するプログラムと制御装置１１が使用するデータとを記憶する単数または複数のメモリである。記憶装置１２は、例えば磁気記録媒体または半導体記録媒体等の公知の記録媒体で構成される。なお、複数種の記録媒体の組合せにより記憶装置１２を構成してもよい。また、音響解析装置１００に対して着脱可能な可搬型の記録媒体、または、音響解析装置１００が通信可能な外部記録媒体（例えばオンラインストレージ）を、記憶装置１２として利用してもよい。

記憶装置１２は、音響解析装置１００による解析対象である音響信号Ｓを記憶する。音響信号Ｓは、例えば目標楽曲を構成する複数の演奏パートの演奏音の混合音を表す時間領域の信号である。目標楽曲の演奏音は、例えば楽器が発音する楽音と歌唱者が発音する音声との少なくとも一方を含む。音響信号Ｓは、例えば音楽配信装置（図示略）から音響解析装置１００に配信された音楽ファイルとして記憶装置１２に記憶される。

図２は、音響解析装置１００の機能的な構成を例示するブロック図である。制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで、音響信号Ｓを解析するための複数の機能（信号取得部２１，信号解析部２２，表示制御部２３および楽曲選択部２４）を実現する。なお、相互に別体で構成された複数の装置により制御装置１１の機能を実現してもよいし、制御装置１１の機能の一部または全部を専用の電子回路により実現してもよい。信号取得部２１は、音響信号Ｓを取得する。具体的には、信号取得部２１は、記憶装置１２から音響信号Ｓの各サンプルを順次に読出す。なお、信号取得部２１は、音響解析装置１００が通信可能な外部装置から音響信号Ｓを取得してもよい。

［信号解析部２２］
信号解析部２２は、音響信号Ｓの解析により特徴量Ｆを算定する。図３は、特徴量Ｆの説明図である。特徴量Ｆは、相異なる音楽ジャンルＧnに対応するＮ個の確度Ｑ1～ＱNを含むＮ次元ベクトルである（Ｎは２以上の自然数）。第ｎ番目（ｎ＝１～Ｎ）の音楽ジャンルＧnに対応する確度Ｑnは、音響信号Ｓが表す目標楽曲が当該音楽ジャンルＧnに属する確からしさの指標である。すなわち、例えば特徴量Ｆの１個の確度Ｑnが大きいほど、目標楽曲が第ｎ番目の音楽ジャンルＧnに属する可能性が高いと評価できる。以上の説明から理解される通り、特徴量Ｆは、目標楽曲が属する音楽ジャンルＧnを評価するための指標である。

図４は、信号解析部２２の具体的な構成を例示するブロック図である。信号解析部２２は、第１処理部２２１と第２処理部２２２と第３処理部２２３とを具備する。

第１処理部２２１は、音響信号Ｓの解析により変動パターンＹを生成する。図５は、変動パターンＹの解析に関する説明図である。図５における記号ｆは周波数を意味し、記号ｔは時間を意味する。第１処理部２２１は、音響信号Ｓを時間軸上で区分した複数の期間（以下「単位期間」という）Ｔの各々について変動パターンＹを生成する。単位期間Ｔは、例えば目標楽曲内の小節の所定個に相当する時間長（例えば４小節分）の期間である。

変動パターンＹは、相異なる音色に対応するＭ個の係数列ｙ1～ｙMで構成される。Ｍ種類の音色は、多数の楽曲に出現し得る音響成分の音色である。Ｍ種類の音色のうち第ｍ番目（ｍ＝１～Ｍ）の音色に対応する係数列ｙmは、音響信号Ｓにおける当該音色の音響成分に関する強度（例えば振幅またはパワー）の時間的な変動を表す非負の数値列である。なお、例えば楽器または歌唱者等の発音源の種類毎に音色は相違する。したがって、係数列ｙmは、Ｍ種類の発音源のうち第ｍ番目の発音源の音響成分に関する強度の時間的な変動とも換言される。

第１処理部２２１は、既知の基底行列Ｂを利用した非負行列因子分解（ＮＭＦ：Non-negative Matrix Factorization）により音響信号Ｓから変動パターンＹを生成する。基底行列Ｂは、相異なる音色に対応するＭ個の周波数特性ｂ1～ｂMを含む非負行列である。第ｍ番目の音色に対応する周波数特性ｂmは、当該音色の音響成分に関する周波数毎の強度の系列である。具体的には、周波数特性ｂmは、例えば振幅スペクトルまたはパワースペクトルである。機械学習により事前に生成された基底行列Ｂが記憶装置１２に記憶される。

以上の説明から理解される通り、変動パターンＹは、基底行列Ｂに対応する非負の係数行列（アクティベーション行列）である。すなわち、変動パターンＹにおける各係数列ｙmは、基底行列Ｂ内の周波数特性ｂmに対する加重値（活性度）の時間変動である。各係数列ｙmは、音響信号Ｓにおける第ｍ番目の音色に関するリズムパターンとも換言される。音色毎のリズムパターンの傾向は、音楽ジャンルＧn毎に相違する。

図６は、第１処理部２２１が変動パターンＹを生成する処理の具体的な手順を例示するフローチャートである。音響信号Ｓの単位期間Ｔ毎に図６の処理が実行される。

第１処理部２２１は、音響信号Ｓの単位期間Ｔについて観測行列Ｘを生成する（Ｓa1）。観測行列Ｘは、図５に例示される通り、音響信号Ｓの周波数特性の時系列を表す非負行列である。具体的には、単位期間Ｔ内における振幅スペクトルまたはパワースペクトルの時系列（スペクトログラム）が観測行列Ｘとして生成される。

第１処理部２２１は、記憶装置１２に記憶された基底行列Ｂを利用した非負行列因子分解により観測行列Ｘから変動パターンＹを算定する（Ｓa2）。具体的には、第１処理部２２１は、基底行列Ｂと変動パターンＹとの積ＢＹが観測行列Ｘに近似（理想的には一致）するように変動パターンＹを算定する。

図４の第２処理部２２２は、変動パターンＹから単位特徴量Ｖを算定する。単位期間Ｔ毎に単位特徴量Ｖが算定される。具体的には、第２処理部２２２は、図３に例示される通り、複数の単位期間Ｔの各々について、当該単位期間Ｔの変動パターンＹから単位特徴量Ｖを算定する。単位特徴量Ｖは、前述の特徴量Ｆと同様に、相異なる音楽ジャンルＧnに対応するＮ個の確度ｑ1～ｑNを含むＮ次元ベクトルである。第ｎ番目の音楽ジャンルＧnに対応する確度ｑnは、音響信号Ｓが表す目標楽曲の単位期間Ｔが当該音楽ジャンルＧnに属する確からしさの指標である。

第３処理部２２３は、目標楽曲内の複数の単位期間Ｔについて単位特徴量Ｖを平均することで特徴量Ｆを算定する。具体的には、特徴量Ｆにおける第ｎ番目の音楽ジャンルＧnの確度Ｑnは、複数の単位特徴量Ｖにおける当該音楽ジャンルＧnの確度ｑnの平均値である。したがって、目標楽曲内の複数の単位期間Ｔにわたる音響特性を反映した特徴量Ｆが算定される。

図７は、第２処理部２２２による単位特徴量Ｖの算定の説明図である。記憶装置１２には、相異なる音楽ジャンルＧnに対応するＮ個の変動パターンＺ1～ＺNが記憶される。各変動パターンＺnは、前述の変動パターンＹと同様に、相異なる音色に対応するＭ個の係数列ｚ1～ｚMで構成される。各変動パターンＺnは、例えば以下の手順で用意される。

Ｎ個の音楽ジャンルＧnの各々について、当該音楽ジャンルＧnの相異なる楽曲に対応する複数の参照信号Ｒnが用意される。各音楽ジャンルＧnについて用意された複数の参照信号Ｒnから当該音楽ジャンルＧnの変動パターンＺnが生成される。参照信号Ｒnは、第ｎ番目の音楽ジャンルＧnに属する楽曲の伴奏音を表す時間領域の信号である。図６の信号解析処理と同様の手順により各参照信号Ｒnから変動パターンＺ'nが生成され、１個の音楽ジャンルＧnに属する複数の楽曲について変動パターンＺ'nを平均することで、当該音楽ジャンルＧnの変動パターンＺnが生成される。以上の説明から理解される通り、変動パターンＺnの係数列ｚmは、第ｎ番目の音楽ジャンルＧnに属する楽曲において第ｍ番目の音色に発生し易いリズムパターンである。

第２処理部２２２は、Ｎ個の音楽ジャンルＧ1～ＧNの各々について当該音楽ジャンルＧnの変動パターンＺnと目標楽曲の変動パターンＹとを対比することで、単位特徴量Ｖにおける確度ｑnを算定する。確度ｑnは、変動パターンＺnと変動パターンＹとの相関または距離である。以下の説明では、変動パターンＺnと変動パターンＹとの相関の指標である相関係数を確度ｑnとして例示する。したがって、変動パターンＺnと変動パターンＹとが相互に相関するほど、確度ｑnは大きい数値となる。すなわち、確度ｑnは、目標楽曲が音楽ジャンルＧnに属する確からしさの指標である。以上の説明から理解される通り、特徴量Ｆの確度Ｑnは、音楽ジャンルＧnの変動パターンＺnと目標楽曲の変動パターンＹとを対比することで算定される。

以上の説明から理解される通り、音楽ジャンルＧnにおけるリズムパターンの傾向を表す変動パターンＺnと目標楽曲のリズムパターンの傾向を表す変動パターンＹとを対比することで、単位特徴量Ｖの確度ｑn（さらには特徴量Ｆの確度Ｑn）が算定される。したがって、音楽ジャンルＧnが共通する複数の楽曲の間においては特徴量Ｆが相互に類似する、という傾向がある。

[表示制御部２３]
表示制御部２３は、信号解析部２２による解析の結果を表示装置１３に表示させる。具体的には、表示制御部２３は、図８または図９の第１解析画像１３aと図１０の第２解析画像１３bとを表示装置１３に表示させる。

第１解析画像１３aは、特徴量Ｆを表す画像である。図８は、楽曲Ａについて算定された特徴量Ｆの第１解析画像１３aであり、図９は、楽曲Ａとは音楽的な印象が相違する楽曲Ｂについて算定された特徴量Ｆの第１解析画像１３aである。第１解析画像１３aは、特徴量Ｆを構成するＮ個の確度Ｑ1～ＱNの各々を縦軸に表現した棒グラフである。利用者は、第１解析画像１３aを参照することで、Ｎ個の音楽ジャンルＧ1～ＧNの各々に楽曲が属する確度Ｑnを視覚的および直観的に把握できる。例えば、図８の第１解析画像１３aを参照することで、利用者は、楽曲Ａが音楽ジャンルＧ1（ロック）と音楽ジャンルＧ4（ダンス）の双方の特徴を兼備することを確認できる。他方、図９の第１解析画像１３aを参照することで、利用者は、楽曲Ａが音楽ジャンルＧ1（ロック）の典型的な傾向の強い楽曲であることを確認できる。

また、図１０に例示された第２解析画像１３bは、複数の単位期間Ｔにわたる単位特徴量Ｖの時系列を表す画像である。第２解析画像１３bには、相互に直交する第１軸Ａxと第２軸Ａyとが設定される。第１軸Ａxは時間軸を意味する。第２軸ＡyにはＮ個の音楽ジャンルＧ1～ＧNが設定される。第２解析画像１３bは、第１軸Ａxおよび第２軸Ａyに沿って複数の単位画像Ｕを行列状に配列した画像である。第１軸Ａxにおける１個の単位期間Ｔと第２軸Ａyにおける１個の音楽ジャンルＧnとの組合せに対応する単位画像Ｕは、当該単位期間Ｔについて算定された単位特徴量ＶのＮ個の確度ｑ1～ｑNのうち当該音楽ジャンルＧnに対応する確度ｑnを表現する。具体的には、各確度ｑnに対応する単位画像Ｕの表示態様（例えば階調または色彩）が、当該確度ｑnに応じて設定される。例えば、確度ｑnが大きいほど、当該単位画像Ｕは高い階調で表示される。

以上の説明から理解される通り、第２解析画像１３bにおいて第２軸Ａyに沿うＮ個の単位画像Ｕの配列は、任意の１個の単位期間Ｔにおける単位特徴量Ｖ（すなわちＮ個の確度ｑ1～ｑNの系列）を意味する。また、第２解析画像１３bにおいて第１軸Ａxに沿う複数の単位画像Ｕの配列は、楽曲が１個の音楽ジャンルＧnに属する確度ｑnの時間的な変化を意味する。利用者は、第２解析画像１３bを参照することで、単位特徴量Ｖまたは各確度ｑnの時間的な変化を視覚的および直観的に把握できる。

［楽曲選択部２４］
図２の楽曲選択部２４は、複数（Ｋ個）の候補楽曲のうち目標楽曲に音楽的に類似する複数の候補楽曲を選択する。図１１は、楽曲選択部２４の構成を例示するブロック図である。

記憶装置１２には候補テーブルＣが記憶される。候補テーブルＣは、Ｋ個の候補楽曲の各々について特徴量Ｆk（ｋ＝１～Ｋ）と楽曲データＤkとが登録されたデータテーブルである。各候補楽曲の特徴量Ｆkは、目標楽曲の特徴量Ｆの生成と同様の手順で当該候補楽曲について事前に生成された特徴量である。すなわち、特徴量Ｆkは、相異なる音楽ジャンルに対応するＮ個の確度Ｑ1～ＱNで構成される。各候補楽曲の楽曲データＤkは、当該候補楽曲に関連する情報である。例えば候補楽曲の楽曲名または演奏者名等の各種の情報が楽曲データＤkに含まれる。

楽曲選択部２４は、Ｋ個の候補楽曲のうち特徴量Ｆkが目標楽曲の特徴量Ｆに類似する複数の候補楽曲を選択する。楽曲選択部２４は、類似度算定部２４１と選択処理部２４２とを具備する。類似度算定部２４１は、Ｋ個の候補楽曲の各々について、当該候補楽曲の特徴量Ｆkと目標楽曲の特徴量Ｆとの類似度σkを算定する。類似度σkは、特徴量Ｆkと特徴量Ｆとの類似の度合に関する指標である。具体的には、類似度σkは、特徴量Ｆkと特徴量Ｆとの相関または距離である。以下の説明では、特徴量Ｆkと特徴量Ｆとの相関の指標である相関係数を類似度σkとして例示する。したがって、特徴量Ｆkと特徴量Ｆとが類似するほど類似度σkは大きい数値となる。

選択処理部２４２は、Ｋ個の候補楽曲のうち類似度σkが高い複数の候補楽曲を選択する。具体的には、選択処理部２４２は、類似度σkが所定の閾値を上回る複数の候補楽曲、または、類似度σkの降順で上位に位置する所定個の候補楽曲を選択する。すなわち、目標楽曲に音楽的な印象（特にリズムパターン）が類似する候補楽曲が選択される。

表示制御部２３は、楽曲選択部２４（選択処理部２４２）が選択した複数の候補楽曲の各々を利用者に提示する。具体的には、表示制御部２３は、各候補楽曲の楽曲データＤkが表す情報（楽曲名および演奏者名）を表示装置１３に表示させる。

図１２は、制御装置１１が実行する処理（音響解析処理）の具体的な手順を例示するフローチャートである。例えば音響解析装置１００に対する利用者からの指示を契機として音響解析処理が開始される。

音響解析処理を開始すると、信号取得部２１は、音響信号Ｓを取得する（Ｓb1）。信号解析部２２は、音響信号Ｓを時間軸上で区分した複数の単位期間Ｔの各々について単位特徴量Ｖを算定する（Ｓb2）。信号解析部２２は、複数の単位期間Ｔについて単位特徴量Ｖを平均することで特徴量Ｆを算定する（Ｓb3）。表示制御部２３は、第１解析画像１３aおよび第２解析画像１３bを表示装置１３に表示させる（Ｓb4）。楽曲選択部２４は、Ｋ個の候補楽曲のうち特徴量Ｆkが目標楽曲の特徴量Ｆに類似する複数の候補楽曲を選択する（Ｓb5）。表示制御部２３は、楽曲選択部２４が選択した複数の候補楽曲の各々の楽曲データＤkが表す情報を表示装置１３に表示させる（Ｓb6）。

以上に説明した通り、第１実施形態においては、Ｎ個の音楽ジャンルＧ1～ＧNの各々について目標楽曲が当該音楽ジャンルＧnに属する確度Ｑnを含む特徴量Ｆが算定される。そして、Ｋ個の候補楽曲のうち特徴量Ｆkが目標楽曲の特徴量Ｆに類似する複数の候補楽曲が選択される。したがって、目標楽曲について推定された１個の音楽ジャンルＧnに属する候補楽曲を選択する構成と比較して、Ｎ個の音楽ジャンルＧ1～ＧNを考慮した総合的な観点で音楽的な印象が目標楽曲に類似する適切な候補楽曲を選択できる。例えば、目標楽曲の特徴量ＦにおけるＮ個の確度Ｑ1～ＱNのうちロックおよびジャズに対応する確度Ｑnが相対的に高い場合、ロックに属する２以上の候補楽曲のうちジャズに近い候補楽曲を選択できる。

第１実施形態においては特に、複数の音色の各々について時間的な変動を表す変動パターンＹを利用して、目標楽曲が各音楽ジャンルＧnに属する確度Ｑnが算定される。したがって、目標楽曲が各音楽ジャンルＧnに属する確度Ｑnを、目標楽曲のリズムの観点から適切に表現した特徴量Ｆを算定できる。

また、第１実施形態においては、複数の単位期間Ｔの各々について算定された単位特徴量Ｖを平均することで特徴量Ｆが算定される。したがって、目標楽曲内の複数の単位期間Ｔにわたる部分の音響特性を反映した特徴量Ｆを算定できる。

Ｂ：第２実施形態
第２実施形態について説明する。なお、以下に例示する各形態において機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。

図１３は、第２実施形態に係る音響解析装置１００の機能的な構成を例示するブロック図である。第２実施形態の音響解析装置１００は、第１実施形態と同様の要素（信号取得部２１，信号解析部２２，表示制御部２３および楽曲選択部２４）に構造解析部２５を追加した構成である。

構造解析部２５は、音響信号Ｓの解析により目標楽曲の複数の楽曲構造区間を特定する。楽曲構造区間は、音楽的な意義または楽曲内での位置付けに応じて目標楽曲を時間軸上で区分した区間である。例えば、楽曲構造区間は、イントロ（intro）、Ａメロ（verse）、Ｂメロ（bridge）、サビ（chorus）またはアウトロ（outro）である。構造解析部２５による各楽曲構造区間の特定には公知の音楽解析技術が任意に採用される。

第２実施形態の信号解析部２２（第３処理部２２３）は、楽曲構造区間毎に設定された加重値を利用して複数の単位期間Ｔにわたる単位特徴量Ｖを加重平均することで特徴量Ｆを算定する。すなわち、信号解析部２２は、各単位特徴量Ｖに対する加重値を、楽曲構造区間毎に個別に設定する。例えば、Ａメロ，Ｂメロまたはサビに相当する楽曲構造区間内の各単位期間Ｔにおける加重値は、イントロまたはアウトロに相当する楽曲構造区間内の各単位期間Ｔにおける加重値を上回る。また、サビに相当する楽曲構造区間内の各単位期間Ｔにおける加重値は、ＡメロまたはＢメロに相当する楽曲構造区間内の各単位期間における加重値を上回る。

図１４は、第２実施形態における音響解析処理の具体的な手順を例示するフローチャートである。音響信号Ｓの取得（Ｓb1）と単位期間Ｔ毎の単位特徴量Ｖの算定（Ｓb2）とが実行されると、構造解析部２５は、音響信号Ｓの解析により目標楽曲の複数の楽曲構造区間を特定する（Ｓc）。信号解析部２２は、楽曲構造区間毎に設定された加重値を適用した単位特徴量Ｖの加重平均により特徴量Ｆを算定する（Ｓb3）。表示制御部２３および楽曲選択部２４の動作（Ｓb4～Ｓb6）は第１実施形態と同様である。なお、単位特徴量Ｖの算定（Ｓb2）と楽曲構造区間の解析（Ｓc）との順序を逆転してもよい。

第２実施形態においても第１実施形態と同様の効果が実現される。楽曲の音楽的な印象は楽曲構造区間毎に変化する場合がある。第２実施形態においては、楽曲構造区間毎に各単位特徴量Ｖの加重値が設定されるから、楽曲構造区間毎に音楽的な印象が変化するという傾向を適切に反映した特徴量Ｆを算定できる。

Ｃ：変形例
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。

（１）前述の各形態においては、複数の単位期間Ｔにわたる単位特徴量Ｖを平均することで特徴量Ｆを算定したが、単位期間Ｔ毎の単位特徴量Ｖを最終的な特徴量Ｆとして算定してもよい。すなわち、信号解析部２２は、複数の単位期間Ｔの各々について特徴量Ｆを算定する。単位期間Ｔ毎に特徴量Ｆが算定される構成においては、第３処理部２２３が省略される。

（２）前述の各形態においては、目標楽曲の全部の単位期間Ｔにわたり単位特徴量Ｖを平均したが、目標楽曲内の特定の区間について特徴量Ｆを算定してもよい。例えば、目標楽曲内においてサビ等の特定の楽曲構造区間内の２以上の単位期間Ｔについて単位特徴量Ｖを平均することで特徴量Ｆを算定してもよい。

（３）前述の各形態においては、変動パターンＺnと変動パターンＹとの相関を単位特徴量Ｖの確度ｑnとして例示したが、変動パターンＺnと変動パターンＹとの距離を確度ｑnとして第２処理部２２２が算定してもよい。以上の構成においては、変動パターンＺnと変動パターンＹとが相互に相関するほど、確度ｑnは小さい数値となる。

（４）前述の各形態においては、目標楽曲の特徴量Ｆに特徴量Ｆkが類似する複数の候補楽曲を楽曲選択部２４が選択したが、楽曲選択部２４が１個の候補楽曲を選択してもよい。具体的には、楽曲選択部２４は、類似度σkが最大となる１個の候補楽曲を選択する。

（５）前述の各形態においては、候補楽曲の特徴量Ｆkと目標楽曲の特徴量Ｆとの相関を類似度σkとして算定したが、特徴量Ｆkと特徴量Ｆとの距離を類似度σkとして類似度算定部２４１が算定してもよい。以上の構成においては、特徴量Ｆkと特徴量Ｆとが類似するほど類似度σkは小さい数値となる。したがって、選択処理部２４２は、類似度σkが所定の閾値を下回る複数の候補楽曲、または、類似度σkの昇順で上位に位置する所定個の候補楽曲を選択する。

（６）前述の各形態においては、各候補楽曲の楽曲データＤkが表す情報を表示装置１３に表示したが、楽曲選択部２４が選択した候補楽曲について実行される処理は以上の例示に限定されない。例えば、楽曲データＤkが、候補楽曲の演奏音を表す音楽ファイルを含む構成においては、当該音楽ファイルを利用して候補楽曲の演奏音を再生してもよい。また、候補楽曲の音楽ファイルが記憶装置１２に記憶されていない場合に、当該候補楽曲の音楽ファイルを音楽配信装置から取得してもよい。

（７）前述の各形態においては、目標楽曲の特徴量Ｆに特徴量Ｆkが類似する候補楽曲を選択したが、特徴量Ｆを利用する方法は以上の例示に限定されない。例えば、目標楽曲の音響信号Ｓに関する付加的な音楽情報として特徴量Ｆを登録してもよい。付加情報に含まれる特徴量Ｆは、特定の音楽ジャンルＧnに属する楽曲を検索するために利用される。以上の説明から理解される通り、特徴量Ｆは楽曲の音楽情報として有用であり、特徴量Ｆの用途は候補楽曲の選択に限定されない。したがって、前述の各形態において例示した楽曲選択部２４は省略されてもよい。

（８）前述の各形態における音楽ジャンルＧnは「音楽カテゴリ」の一例である。音楽カテゴリは、楽曲の音楽的な分類である。音楽カテゴリには、前述の各形態においては例示した音楽ジャンルＧnのほか、「明るい印象の楽曲」「暗い印象の楽曲」等の音楽的な印象による分類も包含される。

（９）携帯電話機またはスマートフォン等の端末装置との間で通信するサーバ装置により音響解析装置１００を実現してもよい。例えば、音響解析装置１００は、端末装置から受信した音響信号Ｓの解析により特徴量Ｆを算定し、当該特徴量Ｆを利用して選択した候補楽曲を要求元の端末装置に通知する。なお、音響信号Ｓから算定した特徴量Ｆを端末装置に送信する構成、または、候補楽曲の楽曲データＤkを端末装置に送信する構成も想定される。

（１０）以上に例示した音響解析装置１００の機能は、前述の通り、制御装置１１を構成する単数または複数のプロセッサと記憶装置１２に記憶されたプログラムとの協働により実現される。本開示に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体も包含される。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体も除外されない。また、配信装置が通信網を介してプログラムを配信する構成では、当該配信装置においてプログラムを記憶する記憶装置１２が、前述の非一過性の記録媒体に相当する。

Ｄ：付記
以上に例示した形態から、例えば以下の構成が把握される。

本開示のひとつの態様（態様１）に係る音響解析方法は、楽曲の演奏音を表す音響信号を取得し、複数の音楽カテゴリの各々について前記楽曲が当該音楽カテゴリに属する確度を含む特徴量を、前記音響信号の解析により算定し、複数の候補楽曲のうち特徴量が前記楽曲について算定された特徴量に類似する１以上の候補楽曲を選択する。以上の態様においては、複数の音楽カテゴリの各々について楽曲が当該音楽カテゴリに属する確度を含む特徴量が算定される。そして、複数の候補楽曲のうち特徴量が楽曲に類似する１以上の候補楽曲が選択される。したがって、楽曲について推定された１個の音楽カテゴリに属する候補楽曲を選択する構成と比較して、複数の音楽カテゴリを考慮した総合的な観点で音楽的な印象が楽曲に類似する適切な候補楽曲を選択できる。態様１の具体例（態様２）において、前記複数の音楽カテゴリは、複数の音楽ジャンルである。

なお、「音楽カテゴリ」は、楽曲の音楽的な分類である。「音楽カテゴリ」の典型例は音楽ジャンル（例えばロックまたはジャズ等）であるが、「明るい印象の楽曲」「暗い印象の楽曲」等の音楽的な印象による分類も「音楽カテゴリ」の概念に包含される。

態様１または態様２の具体例（態様３）において、前記１以上の候補楽曲の選択においては、前記複数の候補楽曲の各々について、当該候補楽曲の特徴量と前記算定された特徴量との類似度を算定し、前記複数の候補楽曲のうち前記類似度が高い前記１以上の候補楽曲を選択する。以上の態様においては、候補楽曲の特徴量と楽曲の特徴量との類似度に応じて、１以上の候補楽曲を適切に選択できる。

「類似度」は、例えば特徴量間の類否に関する指標であり、具体的には距離または相関である。「類似度が高い」という概念は、「距離が小さい」または「相関が大きい」の双方を包含する。したがって、「類似度が閾値を上回る」とは、「距離が閾値を下回る」および「相関が閾値を上回る」の双方を包含する。「類似度が高い１以上の候補楽曲」とは、例えば、類似度が閾値を上回る１以上の候補楽曲、または、類似度の降順で上位に位置する１以上の候補楽曲である。

態様１から態様３の何れかの具体例（態様４）において、前記特徴量の算定においては、複数の音色の各々について時間的な変動を表す変動パターンを前記音響信号の解析により生成し、複数の音楽カテゴリの各々について、当該音楽カテゴリの変動パターンと前記生成された変動パターンとを対比することで、前記楽曲が当該音楽カテゴリに属する確度を算定する。以上の態様においては、複数の音色の各々について時間的な変動を表す変動パターンを利用して、音響信号が表す楽曲が各音楽カテゴリに属する確度が算定される。したがって、楽曲が各音楽カテゴリに属する確度を、当該楽曲のリズムの観点から適切に表現した特徴量を算定できる。

態様１から態様４の何れかの具体例（態様５）において、前記特徴量の算定においては、前記音響信号を時間軸上で区分した複数の単位期間の各々について前記特徴量を算定する。以上の態様においては、複数の単位期間の各々について特徴量が算定されるから、楽曲内における特徴量の時間的な遷移を評価できる。

態様１から態様４の何れかの具体例（態様６）において、前記特徴量の算定においては、前記音響信号を時間軸上で区分した複数の単位期間の各々について、前記楽曲が前記複数の音楽カテゴリの各々に属する確度を含む単位特徴量を算定し、前記複数の単位期間のうち２以上の単位期間における前記単位特徴量を平均することで前記特徴量を算定する。以上の態様においては、２以上の単位期間について算定された単位特徴量を平均することで特徴量が算定されるから、楽曲内の２以上の単位期間にわたる部分の音響特性を反映した特徴量を算定できる。

態様６の具体例（態様７）に係る前記音響解析方法は、さらに、前記音響信号の解析により前記楽曲の複数の楽曲構造区間を特定し、前記単位特徴量の平均においては、前記複数の楽曲構造区間の各々について設定された加重値を利用して前記２以上の単位期間における前記単位特徴量を加重平均する。以上の態様においては、楽曲構造区間毎に設定された加重値を利用して複数の単位特徴量が加重平均される。したがって、楽曲構造区間毎に音楽的な印象が変化するという傾向を適切に反映した特徴量を算定できる。

「楽曲構造区間」は、音楽的な意義または楽曲内での位置付けに応じて楽曲を時間軸上で区分した期間である。例えば、楽曲構造区間は、イントロ（intro）、Ａメロ（verse）、Ｂメロ（bridge）、サビ（chorus）またはアウトロ（outro）である。

本開示のひとつの態様（態様８）に係る音響解析装置は、楽曲の演奏音を表す音響信号を取得する信号取得部と、複数の音楽カテゴリの各々について前記楽曲が当該音楽カテゴリに属する確度を含む特徴量を、前記音響信号の解析により算定する信号解析部と、
複数の候補楽曲のうち特徴量が前記楽曲について算定された特徴量に類似する１以上の候補楽曲を選択する楽曲選択部とを具備する。

本開示のひとつの態様（態様９）に係るプログラムは、楽曲の演奏音を表す音響信号を取得する信号取得部、複数の音楽カテゴリの各々について前記楽曲が当該音楽カテゴリに属する確度を含む特徴量を、前記音響信号の解析により算定する信号解析部、および、複数の候補楽曲のうち特徴量が前記楽曲について算定された特徴量に類似する１以上の候補楽曲を選択する楽曲選択部としてコンピュータを機能させる。

１００…音響解析装置、１１…制御装置、１２…記憶装置、１３…表示装置、２１…信号取得部、２２…信号解析部、２２１…第１処理部、２２２…第２処理部、２２３…第３処理部、２３…表示制御部、２４…楽曲選択部、２４１…類似度算定部、２４２…選択処理部、２５…構造解析部、Ｃ…候補テーブル、Ｄk…楽曲データ、Ｆ，Ｆk…特徴量、Ｇn（Ｇ1～ＧN）…音楽ジャンル、ｑn（ｑ1～ｑN），Ｑn（Ｑ1～ＱN）…確度、Ｒn…参照信号、Ｓ…音響信号、Ｔ…単位期間、Ｕ…単位画像、Ｖ…単位特徴量、Ｘ…観測行列、Ｙ…変動パターン、Ｚn（Ｚ1～ＺN）…変動パターン、ｙm（ｙ1～ｙM）…係数列、σk（σ1～σK）…類似度。

Claims (14)

1. 楽曲の演奏音を表す音響信号を取得し、
   前記音響信号を時間軸上で区分した複数の単位期間の各々について、前記楽曲が複数の音楽カテゴリの各々に属する確度を含む特徴量を、前記音響信号の解析により算定し、
   複数の候補楽曲のうち特徴量が前記楽曲について算定された特徴量に類似する１以上の候補楽曲を選択する
   コンピュータにより実現される音響解析方法。
2. 楽曲の演奏音を表す音響信号を取得し、
   前記音響信号を時間軸上で区分した複数の単位期間の各々について、前記楽曲が複数の音楽カテゴリの各々に属する確度を含む単位特徴量を、前記音響信号の解析により算定し、
   前記複数の単位期間のうち２以上の単位期間における前記単位特徴量を平均することで特徴量を算定し、
   複数の候補楽曲のうち特徴量が前記楽曲について算定された特徴量に類似する１以上の候補楽曲を選択する
   コンピュータにより実現される音響解析方法。
3. さらに、前記音響信号の解析により前記楽曲の複数の楽曲構造区間を特定し、
   前記単位特徴量の平均においては、前記複数の楽曲構造区間の各々について設定された加重値を利用して前記２以上の単位期間における前記単位特徴量を加重平均する
   請求項２の音響解析方法。
4. 前記複数の音楽カテゴリは、複数の音楽ジャンルである
   請求項１から請求項３の何れかの音響解析方法。
5. 前記１以上の候補楽曲の選択においては、
   前記複数の候補楽曲の各々について、当該候補楽曲の特徴量と前記算定された特徴量との類似度を算定し、
   前記複数の候補楽曲のうち前記類似度が高い前記１以上の候補楽曲を選択する
   請求項１から請求項４の何れかの音響解析方法。
6. 前記特徴量の算定においては、
   複数の音色の各々について時間的な変動を表す変動パターンを前記音響信号の解析により生成し、
   前記複数の音楽カテゴリの各々について、当該音楽カテゴリの変動パターンと前記生成された変動パターンとを対比することで、前記楽曲が当該音楽カテゴリに属する確度を算定する
   請求項１から請求項５の何れかの音響解析方法。
7. 楽曲の演奏音を表す音響信号を取得する信号取得部と、
   前記音響信号を時間軸上で区分した複数の単位期間の各々について、前記楽曲が複数の音楽カテゴリの各々に属する確度を含む特徴量を、前記音響信号の解析により算定する信号解析部と、
   複数の候補楽曲のうち特徴量が前記楽曲について算定された特徴量に類似する１以上の候補楽曲を選択する楽曲選択部と
   を具備する音響解析装置。
8. 楽曲の演奏音を表す音響信号を取得する信号取得部と、
   前記音響信号を時間軸上で区分した複数の単位期間の各々について、前記楽曲が複数の音楽カテゴリの各々に属する確度を含む単位特徴量を、前記音響信号の解析により算定し、前記複数の単位期間のうち２以上の単位期間における前記単位特徴量を平均することで特徴量を算定する信号解析部と、
   複数の候補楽曲のうち特徴量が前記楽曲について算定された特徴量に類似する１以上の候補楽曲を選択する楽曲選択部と
   を具備する音響解析装置。
9. 前記音響信号の解析により前記楽曲の複数の楽曲構造区間を特定する構造解析部をさらに具備し、
   前記信号解析部は、前記複数の楽曲構造区間の各々について設定された加重値を利用して前記２以上の単位期間における前記単位特徴量を加重平均する
   請求項８の音響解析装置。
10. 前記複数の音楽カテゴリは、複数の音楽ジャンルである
    請求項７から請求項９の何れかの音響解析装置。
11. 前記楽曲選択部は、
    前記複数の候補楽曲の各々について、当該候補楽曲の特徴量と前記算定された特徴量との類似度を算定する類似度算定部と、
    前記複数の候補楽曲のうち前記類似度が高い前記１以上の候補楽曲を選択する選択処理部とを含む
    請求項７から請求項１０の何れかの音響解析装置。
12. 前記信号解析部は、
    複数の音色の各々について時間的な変動を表す変動パターンを前記音響信号の解析により生成し、
    前記複数の音楽カテゴリの各々について、当該音楽カテゴリの変動パターンと前記生成された変動パターンとを対比することで、前記楽曲が当該音楽カテゴリに属する確度を算定する
    請求項７から請求項１１の何れかの音響解析装置。
13. 楽曲の演奏音を表す音響信号を取得する信号取得部、
    前記音響信号を時間軸上で区分した複数の単位期間の各々について、前記楽曲が複数の音楽カテゴリの各々に属する確度を含む特徴量を、前記音響信号の解析により算定する信号解析部、および、
    複数の候補楽曲のうち特徴量が前記楽曲について算定された特徴量に類似する１以上の候補楽曲を選択する楽曲選択部
    としてコンピュータを機能させるプログラム。
14. 楽曲の演奏音を表す音響信号を取得する信号取得部、
    前記音響信号を時間軸上で区分した複数の単位期間の各々について、前記楽曲が複数の音楽カテゴリの各々に属する確度を含む単位特徴量を、前記音響信号の解析により算定し、前記複数の単位期間のうち２以上の単位期間における前記単位特徴量を平均することで特徴量を算定する信号解析部、および、
    複数の候補楽曲のうち特徴量が前記楽曲について算定された特徴量に類似する１以上の候補楽曲を選択する楽曲選択部
    としてコンピュータを機能させるプログラム。
    

Images