以下、本発明の実施形態を図1〜図12を用いて説明する。
(第1の実施形態)
以下、本発明の第1の実施形態を図1〜図9を用いて説明する。
図1は、本発明の第1の実施形態の計算機システムの構成を示すブロック図である。
本計算機システムは、サーバ101及びクライアント計算機104を備える。サーバ101とクライアント計算機104とはネットワーク106を介して説明されている。
サーバ101は、音響データに独自性があるか否かを示す音響−独自性データベース103を生成するとともに、音響−独自性データベース103を参照し、検証対象の音響データが他者の音響データに類似するか否かを判定する。
サーバ101は、音響−使用者データベース102、音響−独自性データベース103、音響特徴抽出手段110、共通音響抽出手段111、独自性判定手段112、及び、類似度計算手段113を備える。
音響−使用者データベース102は、音響データと当該音響データを使用する使用者との対応関係を示し、図3で詳細を説明する。
音響−独自性データベース103は、音響データを構成する音響区間のうち他の音響データと共通する音響区間(共通音響区間)に独自性があるか否かを示し、図4で詳細を説明する。
音響特徴抽出手段110、共通音響抽出手段111、独自性判定手段112、及び類似度計算手段113は、サーバ101の内部処理によって実現される構成である。
音響特徴抽出手段110は、音響の各構成要素の特徴量(音響特徴量)を抽出する。なお、音響の構成要素は、例えば、パワー、メロディ、音色、和声、及び音韻である。
共通音響抽出手段111は、音響特徴抽出手段110によって抽出された音響特徴量の自己相関を算出して、算出した自己相関が所定の値以上となる音響区間を抽出する。
独自性判定手段112は、共通音響抽出手段111によって抽出された音響区間に独自性があるか否かを判定する。独自性判定手段112の具体的な独自性の判定方法は、図2で詳細に説明する。
類似度計算手段113は、検証対象の音響データの音響特徴量と音響−独自性データベース103に登録された音響特徴量との類似度を計算することによって、検証対象の音響データが他者の音響データに類似するか否かを判定する。なお、類似度計算手段113の類似度計算方法は、図5で詳細に説明する。
クライアント計算機104は、音響データ蓄積装置105、音響特徴抽出手段114、情報提示手段115、及び音響抑圧手段116を備える。また、クライアント計算機104は、表示装置107、入力装置108、及び音声出力装置109に接続されている。
音響データ蓄積装置105は、検証対象となる音響データが記憶された記憶装置(HDD(Hard Disk Drive)等の)である。
なお、検証対象となる音響データは、例えば、ユーザによって入力装置108を介して入力装置を介して入力される。ユーザは、音声出力装置109から出力された音響、及び表示装置107に表示された音響を示す画面を確認しながら、検証対象となる音響データを入力してもよい。
音響特徴抽出手段114は、サーバ101に備わる音響特徴抽出手段110と同様に、音響特徴抽出手段114に記憶された音響データの各構成要素の音響特徴量を抽出する。
情報提示手段115は、検証対象の音響データが他者の音響データに類似するか否かの判定結果を示すメッセージをクライアント計算機104のユーザに提示する。なお、情報提示手段115が提示するメッセージは、図6〜図8で詳細に説明する。
音響抑圧手段116は、検証対象の音響データの構成要素のうち他者の音響データの構成要素に類似すると判定された構成要素が当該他者の音響データの構成要素との類似度が所定値以下になるように、類似度を抑圧する処理を実行する。なお、音響抑圧手段116の抑圧処理は、図9で詳細に説明する。
なお、クライアント計算機104は、少なくとも情報提示手段115を備え、表示装置107と接続されていればよく、他の構成はサーバ101が備えていてもよい。
図2は、本発明の第1の実施形態のサーバ101によって実行される音響−独自性データベース生成処理のフローチャートである。
音響−独自性データベース生成処理は、生成が容易な音響−使用者データベース102に基づいて、音響特徴量と独自性との関係を示す音響−独自性データベース103を自動的に生成する。
音響−独自性データベース生成処理を説明する前に、図3を用いて、音響−使用者データベース102について説明する。図3は、本発明の第1の実施形態の音響−使用者データベース102の説明図である。
音響−使用者データベース102は、ファイル名301及び使用者302を含む。
ファイル名301には、音響データのファイル名が登録される。使用者302には、ファイル名301に登録された音響データを使用する使用者の一意な識別子が登録される。
例えば、音響データがテレビコマーシャルの15秒間の音響データである場合には、ファイル名301には、当該テレビコマーシャルの音響データのファイル名が登録され、使用者302には、当該テレビコマーシャルの音響データを使用する会社名が登録される。
なお、音響−使用者データベース102は、音響−独自性データベース生成処理が実行される前に、サーバ101の管理者によって予め設定されているものとする。
図2に戻り、音響−独自性データベース生成処理について説明する。
音響−独自性データベース生成処理は、音響データの一つの構成要素が選択され、選択された構成要素に対して実行され、音響データのすべての構成要素に対して実行されるまで繰り返される(201、216)。
サーバ101は、ステップ201の処理で選択された構成要素の音響特徴量を抽出する(203)。ステップ203の処理は、音響−使用者データベース102に登録されたすべての音響データに対して実行されるまで繰り返される(202、204)。また、ステップ203の処理は、音響特徴抽出手段110によって実行される。
以下に、各構成要素(パワー、メロディ、音色、和声、及び音韻)についての音響特徴量の抽出方法について説明する。
まず、パワーの音響特徴量(パワー特徴量)の抽出方法について説明する。
処理対象となる構成要素としてパワーがステップ201の処理で選択された場合には、音響特徴抽出手段110は、フレーム長25ms及びフレーム周期10msの音響サンプルを音響データから抽出して、抽出された音響サンプルごとに、音響サンプルの振幅値を二乗した値(二乗値)を算出する。そして、音響特徴抽出手段110は、算出した二乗値をすべての音響サンプル分加算することによって、音響データのパワー特徴量を算出する。
次に、メロディの音響特徴量(メロディ特徴量)の抽出方法について説明する。
処理対象となる構成要素としてメロディがステップ201の処理で選択された場合には、音響特徴抽出手段110は、非特許文献1に記載された基本周波数を用いることによって、メロディ特徴量を抽出する。
基本周波数は、音響特徴抽出手段110が、所定の時刻Tを基準とした音響データの自己相関を計算し、自己相関の値が最大となる時刻と時刻Tとの差である時間tを算出し、1/tを計算することによって算出される。なお、音響特徴抽出手段110は、基本周波数を算出する際に用いる所定の時刻Tは任意の時刻であってもよい。なお、メロディ特徴量は、非特許文献2に記載された方法を用いても抽出できる。
次に、音色の音響特徴量(音色特徴量)の抽出方法について説明する。
処理対象となる構成要素として音色がステップ201の処理で選択された場合には、音響特徴抽出手段110は、非特許文献3に記載されたMFCC(Mel Frequency Cepstrum Coefficient)を用いることによって、音色特徴量を抽出する。なお、この方法については周知の方法であるため説明を省略する。
次に、和声の音響特徴量(和声特徴量)の抽出方法について説明する。
処理対象となる構成要素として和声がステップ201の処理で選択された場合には、音響特徴抽出手段110は、非特許文献4に記載されたクロマベクトルを用いることによって、和声特徴量を抽出する。
クロマベクトルは音響信号のパワースペクトルをオクターブごとに重ね合わせたもので、12音名をC(=1,2,・・・,12)として数式1によって表現される。
F(C,f)は、周波数fが音名cのオクターブである場合には1であり、周波数fがcのオクターブでない場合には0であるフィルタの役割を果たす。ここで、周波数fがcのオクターブである場合とは、cの基準周波数をfcとして、所定のxに対して数式2が成立する状態を示す。また、P(f、t)は時刻t及び周波数fにおけるパワースペクトルの密度関数を示す。
次に、音韻の音響特徴量(音韻特徴量)の抽出方法について説明する。
処理対象となる構成要素として音韻がステップ201の処理で選択された場合には、音響特徴抽出手段110は、例えば音響データの音響波形を音声認識した場合に取得される音素系列を利用することによって、音韻特徴量を抽出する。音声認識については非特許文献1に記載される。
Daniel Jurafsky et.al.著、Speech and Language Processing(2nd Edition)、Prentice Hall、2008
A.de Cheveigne et.al.著、YIN, a fundamental frequency estimator for speech and music、The Journal of the Acoustical Society of America 2002
Takenobu Tokunaga et.al.著、Large−Scale Knowledge Resources、Construction and Application、Springer 2008
M.A.Bartsch et.al.著、To Catch A Chorus:Using Chroma−Based Representations for Audio Thumbnailing、 Proc. WAS−PAA‘01,pp.15−18、2001 ステップ201の処理で選択された処理対象の構成要素の音響特徴量が音響−使用者データベース102に登録されたすべて音響データに対して抽出された場合には、サーバ101は、ステップ203の処理で抽出された音響特徴量の系列f1,f2,…,fNを縦列接続し、一つの音響特徴量の系列(F=(f1,f2,…,fN))に変換する(205)。そして、共通音響抽出手段111は、ステップ205の処理で変換された音響特徴量Fの自己相関を計算し、自己相関の値が所定の値以上となる音響区間を検出する(206)。ステップ206の処理は、音響−使用者データベース102に登録された音響データの類似する音響特徴量の音響区間を検出する処理である。
そして、独自性判定手段112は、ステップ206の処理で検出された音響区間から処理対象となる一つの音響区間を選択し、選択した処理対象の音響区間にステップ208〜210の処理を実行し、ステップ206の処理で検出されたすべての音響区間にステップ208〜210の処理が実行されるまで繰り返す(207、211)。
まず、独自性判定手段112は、処理対象の音響区間の使用者の異なり数が1であるか否か、つまり、当該音響区間が一人の使用者によって使用されているか、異なる複数の使用者によって使用されているかを判定する(208)。
ステップ208の処理について具体的に説明する。
まず、独自性判定手段112は、音響−使用者データベース102を参照し、処理対象の音響区間を含む音響データの使用者を特定し、処理対象の音響区間の使用者の異なり数を1とする。
そして、独自性判定手段112は、自己相関の値が処理対象の音響区間の自己相関の値から所定範囲内となる音響区間(類似音響区間)を抽出する。そして、独自性判定手段112は、音響−使用者データベース102を参照し、類似音響区間を含む音響データの使用者を特定する。
次に、独自性判定手段112は、処理対象の音響区間の使用者と類似音響区間の使用者とが異なる場合には、処理対象の音響区間の使用者の異なり数を使用者が異なる分だけ増加させる。独自性判定手段112は、特定された処理対象の音響区間の使用者と類似音響区間の使用者とが同一である場合には、処理対象の音響区間の使用者の異なり数を増加させない。
処理対象の音響区間の使用者数が1であるとステップ208の処理で判定された場合、つまり、当該音響区間が一人の使用者によって使用されていると判定された場合には、独自性判定手段112は、音響−独自性データベース103に、当該音響区間に独自性がある旨を登録する(209)。
一方、処理対象の音響区間の使用者数が2以上であるとステップ208の処理で判定された場合、つまり、当該音響区間が異なる複数の使用者によって使用されていると判定された場合には、独自性判定手段112は、音響−独自性データベース103に、当該音響区間に独自性がない旨を登録する(210)。
なお、ステップ208〜210の処理において、音響区間に独自性があるか否かを判定するための閾値として使用者の異なり数が1であるか否かを用いたが、当該使用者の異なり数の閾値は1に限られず、任意の値であればよい。
また、ステップ206の処理で検出された音響区間が多ければ多いほど音響区間に独自性があるか否かを判定するための閾値を大きくし、ステップ206の処理で検出された音響区間が少なければ少ないほど音響区間に独自性があるか否かを判定するための閾値を小さくしてもよい。
ここで、音響−独自性データベース103について、図4を用いて説明する。図4は、本発明の第1の実施形態の音響−独自性データベース103の説明図である。
音響−独自性データベース103は、ファイル名401、区間402、特徴量タイプ403、特徴量ファイル404、使用者405、及び独自性406を含む。
ファイル名401には、区間402に登録された音響区間を含む音響データのファイル名が登録される。区間402には、自己相関の値が所定値以上となった音響区間を示す時間情報が登録される。特徴量タイプ403には、区間402に登録された音響区間の構成要素を示す情報が登録される。特徴量ファイル404には、区間402に登録された音響区間の特徴量を示す値が登録される。使用者405には、区間402に登録された音響区間及び当該音響区間の類似音響区間の使用者の一意な識別子が登録される。独自性406には、区間402に登録された音響区間に独自性があるか否かを示す情報が登録される。
独自性判定手段112は、ステップ208及び209の処理では、音響−独自性データベース103のファイル名401、区間402、特徴量タイプ403、特徴量ファイル404、使用者405、及び独自性406に、処理対象の音響区間の対応する情報を登録する。
ステップ206の処理で検出されたすべての音響区間にステップ208〜210の処理が実行されると、独自性判定手段112は、自己相関の値が所定値よりも小さい音響区間を検出する(212)。
そして、独自性判定手段112は、ステップ212の処理で検出された音響区間から処理対象となる一つの音響区間を選択し、選択した処理対象の音響区間にステップ214の処理を実行し、ステップ212の処理で検出されたすべての音響区間にステップ214の処理が実行されるまで繰り返す(213、215)。
独自性判定手段112は、音響−独自性データベース103に、処理対象の音響区間に独自性がある旨を登録する(214)。
独自性判定手段112は、ステップ214の処理では、ステップ208及び209の処理と同じく、音響−独自性データベース103のファイル名401、区間402、特徴量タイプ403、特徴量ファイル404、使用者405、及び独自性406に、処理対象の音響区間の対応する情報を登録する。
ステップ212の処理で検出されたすべての音響区間にステップ214の処理が実行されると、サーバ101は、音響データのすべての構成要素に対してステップ202〜215の処理が実行されたか否かを判定し、音響データのすべての構成要素に対してステップ202〜215の処理が実行されていない場合には、ステップ201の処理に戻り他の構成要素に対してステップ202〜215の処理を実行し、音響データのすべての構成要素に対してステップ202〜215の処理が実行された場合には、音響−独自性データベース生成処理を終了する(216)。
以上の処理によって、音響−使用者データベース102から音響−独自性データベース103が生成される。
音響−独自性データベース103に登録されたエントリは、追加又は削除が可能であり、例えば、登録音響商標の音響データが音響−独自性データベース103のエントリに追加されてもよい。
図5は、本発明の第1の実施形態の検証対象の音響データの独自性検証処理のフローチャートである。
検証対象の音響データは、例えば、クライアント計算機104に備わる音響データ蓄積装置105に記憶された音響データのうちユーザによって指定された音響データである。
独自性検証処理は、ユーザによって指定された音響データ(検証対象の音響データ)の独自性を音響−独自性データベース103を用いて検証する処理であり、検証対象の音響データのどの構成要素が他者の音響データの構成要素と類似するかをユーザに提示する処理である。
なお、独自性検証処理は、検証対象の音響データの指定及び独自性検証処理の開始指令を入力装置108を介してクライアント計算機104が受け付けた場合に実行される。
まず、クライアント計算機104の音響特徴抽出手段114は、音響データ蓄積装置105に記憶された音響データのうち、検証対象となる音響データの各構成要素の音響特徴量を抽出する(501)。なお、ステップ501の処理の詳細は、図2のステップ203の処理と同じであるので、説明を省略する。
ステップ501の処理で、検証対象の音響データの各構成要素の音響特徴量が抽出されると、クライアント計算機104は、検証対象の音響データ、及び、ステップ501の処理で抽出された当該音響データの各構成要素の音響特徴量をサーバ101へ送信する。
なお、クライアント計算機104は、ユーザからの処理開始の指令を受け付けた場合に、検証対象の音響データを送信する構成であれば、ステップ501の処理を実行する必要はなく、サーバ101の音響特徴抽出手段110がステップ501の処理を実行すればよい。
サーバ101は、検証対象の音響データ及び当該音響データの音響特徴量を受信した場合に、検証対象の音響データの一つの構成要素を選択し、選択された構成要素に対してステップ503〜509の処理を実行し、検証対象の音響データのすべての構成要素に対してステップ503〜509の処理を実行するまで繰り返す(502、510)。
そして、サーバ101は、音響−独自性データベース103に登録された一の音響区間を選択し、当該音響区間の音響特徴量とステップ502の処理で選択された構成要素の音響特徴量とを検証する処理(ステップ504〜508)を、音響−独自性データベース103に登録されたすべての音響区間の音響特徴量に実行するまで繰り返す(503、509)。
まず、サーバ101の類似度計算手段113は、検証対象の音響データの構成要素のうち処理対象となる構成要素の任意の区間の音響特徴量(以下、音響特徴量Aという)と、ステップ503の処理で選択された音響−独自性データベース103の一の音響区間の音響特徴量(以下、音響特徴量Bという)との類似度を計算し、計算された類似度が所定値以上であるか否かを判定する(504)。類似度計算方法には、例えば動的計画方法を用いることができる。
ステップ504の処理で、音響特徴量Aと音響特徴量Bとの類似度が所定値未満であると判定された場合には、サーバ101は、ステップ502の処理で選択された構成要素の音響特徴量と音響−独自性データベース103に登録されたすべての音響区間の音響特徴量との検証が終了したか否かを判定し、ステップ502の処理で選択された構成要素の音響特徴量と音響−独自性データベース103に登録されたすべての音響区間の音響特徴量との検証が終了していない場合には、ステップ503の処理に戻り、ステップ502の処理で選択された構成要素の音響特徴量と音響−独自性データベース103に登録されたすべての音響区間の音響特徴量との検証が終了した場合には、ステップ510の処理に進む(509)。
ステップ510の処理では、サーバ101は、検証対象の音響データのすべての構成要素にステップ503〜509の処理が実行されたか否かを判定し、検証対象の音響データのすべての構成要素にステップ503〜509の処理が実行されていない場合には、ステップ502の処理に戻り、検証対象の音響データのすべての構成要素にステップ503〜509の処理が実行された場合には、ステップ511の処理に進む(510)。
サーバ101は、音響−独自性データベース103に登録された音響特徴量との類似度が閾値以上となる検証対象の音響データの構成要素が存在するか否かを判定する(511)。
ステップ511の処理で、音響−独自性データベース103に登録された音響特徴量との類似度が閾値以上となる検証対象の音響データの構成要素が存在しないと判定された場合には、検証対象の音響データは他者の音響データと非類似であるので、サーバ101は、検証対象の音響データは他者の音響データと非類似であることをクライアント計算機104に通知する。
クライアント計算機104は、検証対象の音響データは他者の音響データと非類似であることをサーバ101から通知されると、クライアント計算機104に備わる情報提示手段115は、検証対象の音響データが非類似である旨の非類似メッセージ600(図6参照)を表示装置107に表示する(512)。
一方、ステップ511の処理で、音響−独自性データベース103に登録された音響特徴量との類似度が閾値以上となる検証対象の音響データの構成要素が存在すると判定された場合には、クライアント計算機104は非類似メッセージ600を表示する必要はないので、独自性検証処理を終了する。
図6は、本発明の第1の実施形態の非類似メッセージ600の説明図である。
非類似メッセージ600は、図6に示すように、検証対象の音響データが他者の音響データと非類似である旨をユーザに提示する。
なお、ステップ511の処理では、検証対象の音響データは他者の音響データと非類似であることをサーバ101から通知された場合に、クライアント計算機104は非類似メッセージ600を表示するとしたが、何も表示しなくてもよい。
ステップ504の処理で、音響特徴量Aと音響特徴量Bとの類似度が所定値以上であると判定された場合には、サーバ101は、音響特徴量Bに独自性があるか否かを判定する(506)。
具体的には、サーバ101は、音響−独自性データベース103に登録されたエントリのうち、音響特徴量Bの音響区間を示すエントリの独自性406に「あり」が登録されているか否かを判定する。
ステップ506の処理で、音響特徴量Bの音響区間を示すエントリの独自性406に「あり」が登録されていないと判定された場合、つまり、音響特徴量Bに独自性がないと判定された場合には、サーバ101は、音響特徴量Aの音響区間が音響特徴量Bの音響区間と類似し、かつ、音響特徴量Aと類似する音響特徴量Bに独自性がないことをクライアント計算機104に通知し、ステップ509の処理に進む。
クライアント計算機104は、音響特徴量Aの音響区間が音響特徴量Bの音響区間と類似し、かつ、音響特徴量Aと類似する音響特徴量Bに独自性がないことをサーバ101から通知された場合には、音響特徴量Aの音響区間が音響特徴量Bの音響区間と類似し、かつ、音響特徴量Aと類似する音響特徴量Bに独自性がない旨の類似独自性無しメッセージ700(図7参照)を表示装置107に表示する(507)。
図7は、本発明の第1の実施形態の類似独自性無しメッセージ700の説明図である。
類似独自性無しメッセージ700は、互いに類似する構成要素、互いに類似する音響特徴量の音響区間、及び、検査対象の音響データの音響特徴量と類似する他者の音響特徴量に独自性が無いことをユーザに提示する。
図7に示す類似独自性無しメッセージ700では、互いに類似する構成要素は「和声」で、互いに類似する音響特徴量の音響区間は、「音響データAの3.5秒から4.9秒」及び「001.wavの3.5秒から4.1秒」である。また、検査対象の音響データの音響特徴量と類似する他者の音響特徴量に独自性が無いことは、「多数の使用者が利用している」及び「著作権上の問題がないかを確認してください。」によってユーザに提示される。
また、類似独自性無しメッセージ700は、「問題箇所を抑圧する」と表示された抑圧ボタン701を含む。
抑圧ボタン701がクリックされると、クライアント計算機104は、検査対象の音響データの類似する構成要素の音響区間の音響特徴量の類似度が低下するように、当該音響特徴量を抑圧する抑圧処理を実行する。この抑圧処理については図9で詳細に説明する。
一方、ステップ506の処理で、音響特徴量Bの音響区間を示すエントリの独自性406に「あり」が登録されていると判定された場合、つまり、音響特徴量Bに独自性があると判定された場合には、サーバ101は、音響特徴量Aの音響区間が音響特徴量Bの音響区間と類似し、かつ、音響特徴量Aと類似する音響特徴量Bに独自性があることをクライアント計算機104に通知し、ステップ509の処理に進む。
クライアント計算機104は、音響特徴量Aの音響区間が音響特徴量Bの音響区間と類似し、かつ、音響特徴量Aと類似する音響特徴量Bに独自性があることをサーバ101から通知された場合には、音響特徴量Aの音響区間が音響特徴量Bの音響区間と類似し、かつ、音響特徴量Aと類似する音響特徴量Bに独自性がある旨の類似独自性有りメッセージ800(図8参照)を表示装置107に表示する(508)。
図8は、本発明の第1の実施形態の類似独自性有りメッセージ800の説明図である。
類似独自性有りメッセージ800は、互いに類似する構成要素、互いに類似する音響特徴量の音響区間、及び、検査対象の音響データの音響特徴量と類似する他者の音響特徴量に独自性があることをユーザに提示する。
図8に示す類似独自性有りメッセージ800では、互いに類似する構成要素は「メロディ」で、互いに類似する音響特徴量の音響区間は、「音響データAの3.5秒から4.9秒」及び「002.wavの3.4秒から4.1秒」である。また、検査対象の音響データの音響特徴量と類似する他者の音響特徴量に独自性があることは、「使用者Bが独自に利用している」によってユーザに提示される。
また、類似独自性有りメッセージ800は、「問題箇所を抑圧する」と表示された抑圧ボタン801を含む。
なお、抑圧ボタン801がクリックされると、クライアント計算機104は、抑圧ボタン701がクリックされた場合と同じく、抑圧処理を実行する。
以上のように、独自性検証処理では、検証対象の音響データの類似する構成要素、類似する音響区間、及び、類似する音響区間の音響特徴量に独自性があるか否かを表示装置107に表示されるので、ユーザは、音響データのどの構成要素を修正すればよいのかが把握できる。
図9は、本発明の第1の実施形態の抑圧処理のフローチャートである。
抑圧処理は、ユーザによって指定された音響データAのある構成要素の音響区間(tstart…tend)の音響特徴量TAが他者の音響データBのある構成要素の音響特徴量TBと類似する場合に、音響特徴量TBと類似する音響特徴量TAを効果的に抑圧する処理である。抑圧処理は、音響特徴量TBの構成要素に合わせて効果的な抑圧方法を切り替える点、及び、音響特徴量TBと類似する音響特徴量TAの音響区間のみを適切に抑圧する点に特徴がある。
抑圧処理は、図7に示す類似独自性無しメッセージ700の抑圧ボタン701又は図8に示す類似独自性有りメッセージ800の抑圧ボタン801がクリックされた場合に、クライアント計算機104に備わる音響抑圧手段116によって実行される。
まず、音響抑圧手段116は、音響データAの構成要素のうち音響データBと類似する構成要素が音色であるか否かを判定する(901)。
ステップ901の処理で、音響データAの構成要素のうち音響データBと類似する構成要素が音色でないと判定された場合には、ステップ903の処理に進む。
一方、ステップ901の処理で、音響データAの構成要素のうち音響データBと類似する構成要素が音色であると判定された場合には、音響抑圧手段116は、当該音色を抑圧する処理を実行する(902)。
具体的には、音響抑圧手段116は、音響データAの音響区間(tstart…tend)の音色特徴量系列と音響データBの音色特徴量系列との類似度が最も高くなるように、音響区間(tstart…tend)を音響データBの音色特徴量系列に同期させる。この同期には、動的計画法を用いることができる。
そして、音響抑圧手段116は、音響データAの音響区間(tstart…tend)から25ミリ秒単位の音響サンプルを10ミリ秒周期で抽出し、抽出した各音響サンプルの音色特徴系列を、当該各音響サンプルの時刻と同じ時刻の音響データBの音色特徴量に対して抑圧するためにフィルタする。これによって、音響データBと類似する音色のみを効果的に抑圧できる。なお、特定の周波数成分のみを抑圧するために、あるサンプルをフィルタする方法は周知であるので、説明を省略する。
次に、音響抑圧手段116は、音響データAの構成要素のうち音響データBと類似する構成要素がメロディであるか否かを判定する(903)。
ステップ903の処理で、音響データAの構成要素のうち音響データBと類似する構成要素がメロディでないと判定された場合には、ステップ905の処理に進む。
一方、ステップ903の処理で、音響データAの構成要素のうち音響データBと類似する構成要素がメロディであると判定された場合には、音響抑圧手段116は、当該メロディを抑圧する処理を実行する(904)。
具体的には、音響抑圧手段116は、音響データAの音響区間(tstart…tend)から25ミリ秒単位の音響サンプルを10ミリ秒周期で抽出する。そして、音響特徴抽出手段114は、抽出した各音響サンプルから基本周波数成分を抽出する。
次に、音響抑圧手段116は、音響特徴抽出手段114によって抽出された基本周波数成分のみを抑圧するために抽出した音響サンプルをフィルタする。これによって、音響抑圧手段116は、音響データBと類似するメロディのみを効果的に抑圧できる。なお、特定の周波数成分のみを抑圧するためにあるサンプルをフィルタする方法は周知であるので、説明を省略する。
次に、音響抑圧手段116は、音響データAの構成要素のうち音響データBと類似する構成要素が和声であるか否かを判定する(905)。
ステップ905の処理で、音響データAの構成要素のうち音響データBと類似する構成要素が和声でないと判定された場合には、ステップ907の処理に進む。
一方、ステップ905の処理で、音響データAの構成要素のうち音響データBと類似する構成要素が和声であると判定された場合には、音響抑圧手段116は、当該和声を抑圧する処理を実行する(906)。
具体的には、音響抑圧手段116は、音響データAの音響区間(tstart…tend)の和声特徴量系列と音響データBの和声特徴量系列との類似度が最も高くなるように、音響区間(tstart…tend)を音響データBの和声特徴量系列に同期させる。この同期には、動的計画法を用いることができる。
そして、音響抑圧手段116は、音響データAの音響区間(tstart…tend)から25ミリ秒単位の音響サンプルを10ミリ秒周期で抽出し、抽出した各音響サンプルの和声特徴系列を、当該各音響サンプルの時刻と同じ時刻の音響データBの和声特徴量に対して抑圧するためにフィルタする。これによって、音響データBと類似する和声のみを効果的に抑圧できる。なお、特定の周波数成分のみを抑圧するためにあるサンプルをフィルタする方法は周知であるので、説明を省略する。
次に、音響抑圧手段116は、音響データAの構成要素のうち音響データBと類似する構成要素が音韻であるか否かを判定する(907)。
ステップ907の処理で、音響データAの構成要素のうち音響データBと類似する構成要素が音韻でないと判定された場合には、ステップ909の処理に進む。
一方、ステップ907の処理で、音響データAの構成要素のうち音響データBと類似する構成要素が音韻であると判定された場合には、音響抑圧手段116は、当該音韻を抑圧する処理を実行する(908)。
具体的には、音響抑圧手段116は、音響データAの音響区間(tstart…tend)のスペクトル系列と音響データBのスペクトル系列との間のスペクトル間距離が最も小さくなるように、音響区間(tstart…tend)を音響データBのスペクトル系列に同期させる。この同期には、動的計画法を用いることができる。
そして、音響抑圧手段116は、音響データAの音響区間(tstart…tend)から25ミリ秒単位の音響サンプルを10ミリ秒周期で抽出し、抽出した各音響サンプルのスペクトルを、当該各音響サンプルの時刻と同じ時刻の音響データBのスペクトルに対して抑圧するためにフィルタする。これによって、音響データBと類似する音韻のみを効果的に抑圧できる。なお、特定の周波数成分のみを抑圧するためにあるサンプルをフィルタする方法は周知であるので、説明を省略する。
次に、音響抑圧手段116は、音響データの音響区間(tstart…tend)のスペクトルから、当該スペクトルの距離が最も近い音響データBの音響区間のスペクトルを減算し(909)、抑圧処理を終了する。
具体的には、音響抑圧手段116は、音響データAの音響区間(tstart…tend)のスペクトル系列と音響データBのスペクトル系列との間のスペクトル間距離が最も小さくなるように、音響区間(tstart…tend)を音響データBのスペクトル系列に同期させる。この同期には、動的計画法を用いることができる。
そして、音響抑圧手段116は、音響データAの音響区間(tstart…tend)から25ミリ秒単位の音響サンプルを10ミリ秒周期で抽出し、抽出した各音響サンプルのスペクトルを、当該各音響サンプルの時刻と同じ時刻の音響データBのスペクトルに対して抑圧するためにフィルタする。これによって、音響データBと類似する音響データAのスペクトル系列のみを効果的に抑圧できる。なお、特定の周波数成分のみを抑圧するためにあるサンプルをフィルタする方法は周知であるので、説明を省略する。
以上によって、音響データAの構成要素の音響区間のうち音響データBと類似する構成要素の音響区間のみを効果的に抑圧できる。
(第2の実施形態)
以下、本発明の第2の実施形態を図10を用いて説明する。
第2の実施形態は、第1の実施形態の図2に示す音響−独自性データベース生成処理の別実施形態である。
図10は、本発明の第2の実施形態の音響−独自性データベース生成処理のフローチャートである。
音響−独自性データベース生成処理は、音響データの一つの構成要素が選択され、選択された構成要素に対して実行され、音響データのすべての構成要素に対して実行されるまで繰り返される(1101、1117)。
サーバ101は、ステップ1101の処理で選択された構成要素の音響特徴量を抽出する(1103)。ステップ1103の処理は、音響−使用者データベース102に登録されたすべての音響データに対して実行されるまで繰り返される(1102、1104)。また、ステップ1103の処理は、音響特徴抽出手段110によって実行され、図2に示すステップ203の処理と同じなので、説明を省略する。
次に、サーバ101は、ステップ1102〜1104の処理で抽出された音響特徴量の構成要素ごとにステップ1106〜1115の処理を実行する。なお、サーバ101は、ステップ1106〜1115の処理を音響特徴量のすべての構成要素に対して実行する(1105、1116)。
まず、共通音響抽出手段111は、実行対象の構成要素の音響特徴量と他の構成要素の構成要素の音響特徴量との相互相関を計算し、相互相関の値が所定の値以上となる音響区間を検出する(1106)。
そして、独自性判定手段112は、ステップ1106の処理で検出された音響区間から処理対象となる一つの音響区間を選択し、選択した処理対象の音響区間にステップ1108〜1110の処理を実行し、ステップ1106の処理で検出されたすべての音響区間にステップ1108〜1110の処理が実行されるまで繰り返す(1107、1111)。
なお、ステップ1108〜1110の処理は、図2に示すステップ208〜210の処理と同じであるので説明を省略する。
ステップ206の処理で検出されたすべての音響区間にステップ1108〜1110の処理が実行されると、独自性判定手段112は、相互相関の値が所定値よりも小さい音響区間を検出する(1112)。
そして、独自性判定手段112は、ステップ1112の処理で検出された音響区間から処理対象となる一つの音響区間を選択し、選択した処理対象の音響区間にステップ1114の処理を実行し、ステップ1112の処理で検出されたすべての音響区間にステップ1114の処理が実行されるまで繰り返す(1113、1115)。
独自性判定手段112は、音響−独自性データベース103に、処理対象の音響区間に独自性がある旨を登録する(1114)。
なお、ステップ1114の処理は、図2に示すステップ214の処理と同じであるので説明を省略する。
ステップ1112の処理で検出されたすべての音響区間にステップ1114の処理が実行されると、サーバ101は、音響データのすべての構成要素に対してステップ1102〜1115の処理が実行されたか否かを判定し、音響データのすべての構成要素に対してステップ1102〜1115の処理が実行されていない場合には、ステップ201の処理に戻り他の構成要素に対してステップ1102〜1115の処理を実行し、音響データのすべての構成要素に対してステップ1102〜1115の処理が実行された場合には、音響−独自性データベース生成処理を終了する(1116)。
以上の処理によって、音響−使用者データベース102から音響−独自性データベース103が生成される。
(第3の実施形態)
以下、本発明の第3の実施形態を図11を用いて説明する。
第3の実施形態は、第1の実施形態の図5に示す独自性検証処理の別実施形態である。
図11は、本発明の第3の実施形態の検証対象の音響データの独自性検証処理のフローチャートである。
なお、第3の実施形態の独自性検証処理は、検証対象の音響データの指定及び独自性検証処理の開始指令をクライアント計算機104からサーバ101が受信した場合に実行される。
サーバ101に備わる類似度計算手段113は、検証対象の音響データの総類似度変数S[t]を用意する(1201)。ここで、変数tは離散時刻を示し、例えば、10ミリ秒ごとに1ずつ増加するものとする。検査対象の音響データの総時間を離散時刻Tとすると、類似度計算手段113は、時刻0から時刻Tまでの総類似度変数S[t]をすべて0に設定する。
また、検証対象の音響データの指定及び独自性検証処理の開始指令をクライアント計算機104が受け付けた場合には、クライアント計算機104に備わる音響特徴抽出手段114は、音響データ蓄積装置105に記憶された音響データのうち、検証対象となる音響データの各構成要素の音響特徴量を抽出する(1202)。なお、ステップ1202の処理の詳細は、図2のステップ203の処理と同じであるので、説明を省略する。
ステップ1202の処理で、検証対象の音響データの各構成要素の音響特徴量が抽出されると、クライアント計算機104は、ステップ1202の処理で抽出された当該音響データの各構成要素の音響特徴量をサーバ101へ送信する。
なお、クライアント計算機104は、ユーザからの処理開始の指令を受け付けた場合に、検証対象の音響データを送信する構成であれば、ステップ1202の処理を実行する必要はなく、サーバ101の音響特徴抽出手段110がステップ1202の処理を実行すればよい。
サーバ101は、検証対象の音響データの音響特徴量を受信した場合には、音響−独自性データベース103に登録された一の音響区間を選択し、選択した一の音響区間に対してステップ1204〜1217の処理を実行し、音響−独自性データベース103に登録されたすべての音響区間に対してステップ1204〜1217の処理を実行するまで繰り返す(1203、1218)。
そして、サーバ101は、検証対象の音響データの一つの構成要素を選択し、選択された構成要素に対してステップ1205及び1206の処理を実行し、検証対象の音響データのすべての構成要素に対してステップ1205及び1206の処理を実行するまで繰り返す(1204、1207)。
まず、サーバ101に備わる類似度計算手段113は、検証対象の構成要素の音響特徴量(音響特徴量A)と音響−独自性データベース103に登録された音響特徴量(音響特徴量B)との類似度Rを計算する(1205)。類似度計算方法には、例えば動的計画方法を用いることができる。
また、類似度計算手段113は、音響特徴量Aの音響区間との時間的な重なりが所定の値以上である音響特徴量Bのみを類似度を計算する対象にしてもよい。さらに、類似度計算手段113は、音響区間の長さが所定値以上の音響特徴量Bのみを類似度を計算する対象にしてもよい。
ここで、ステップ1205の処理で計算された類似度Rは音響特徴量Aのある区間(ts〜te)の音響特徴量Bに対する類似度であるとする。
この場合に、類似度計算手段113は、ステップ1205の処理で算出された類似度Rを当該区間(ts〜te)の総類似度S[t]に加算し、加算された値を当該区間(ts〜te)の新たな総類似度S[t]とする(1206)。
次に、類似度計算手段113は、検証対象の音響データのすべての構成要素に対してステップ1205及び1206の処理が実行されたか否かを判定し、検証対象の音響データのすべての構成要素に対してステップ1205及び1206の処理が実行されていない場合には、ステップ1205の処理に戻り、検証対象の音響データのすべての構成要素に対してステップ1205及び1206の処理が実行された場合には、ステップ1208の処理に進む(1207)。
独自性判定手段112は、SoldにS[0]を代入して、ステップ1209〜1217の処理を実行する(1208)。
独自性判定手段112は、検証対象の音響データの各離散時刻の総類似度S[t]とSoldとを比較する処理(ステップ1210〜1216)を検証対象の音響データの全離散時刻の総類似度S[t]に実行するまで、ステップ1210〜1216の処理を繰り返す(1209、1217)。
まず、独自性判定手段112は、Soldの値とS[t]の値とが異なるか否かを判定する(1210)。なお、S[t]の離散時刻tには最初0が代入されている。
ステップ1210の処理で、Soldの値とS[t]の値とが同じと判定された場合には、独自性判定手段112は、S[t]の離散時刻tにtの値をインクリメントした値を代入し(1211)、ステップ1209の処理に戻る。
一方、ステップ1210の処理で、Soldの値とS[t]の値とが異なると判定された場合には、独自性判定手段112は、SoldにS[t]を代入する(1212)。
そして、独自性判定手段112は、ステップ1212の処理でS[t]の値が代入されたSoldの値が所定値以上であるか否かを判定する(1213)。
ステップ1213の処理で、Soldの値が所定値未満であると判定された場合には、ステップ1217の処理に進む。
一方、ステップ1213の処理で、Soldの値が所定値以上であると判定された場合には、独自性判定手段112は、類似度の計算に利用された音響特徴量Bに独自性があるか否かを判定する(1214)。
具体的には、独自性判定手段112は、音響−独自性データベース103に登録されたエントリのうち類似度の計算に利用された音響特徴量Bを示すエントリの独自性406に「あり」が登録されているか否かを判定する。
ステップ1214の処理で、類似度の計算に利用された音響特徴量Bに独自性がないと判定された場合には、独自性判定手段112は、離散時刻t及びステップ1205の処理で計算された類似度Rを参照して、音響特徴量Bと類似する構成要素を特定する。
これは、S[t]の値は、検証対象の音響データのすべての構成要素の離散時刻tにおける音響特徴量の類似度が加算されることによって算出されるため、独自性判定手段は、S[t]の値だけではどの構成要素の音響特徴量が音響特徴量Bと類似するのか把握できない。
このため、独自性判定手段112は、当該離散時刻tにおけるステップ1205の処理で計算された構成要素ごとの類似度Rに基づき、音響特徴量Bと類似する音響特徴量の構成要素を特定する。
次に、サーバ101は、離散時刻tが示す音響区間が音響特徴量Bと類似すること、当該音響区間Bと類似する構成要素、及び当該音響特徴量Bに独自性がないことをクライアント計算機104に通知し、ステップ1217の処理に進む。
クライアント計算機104は、離散時刻tが示す音響区間が音響特徴量Bと類似すること、当該音響区間Bと類似する構成要素、及び当該音響特徴量Bに独自性がないことをサーバ101から通知された場合には、図7に示す類似独自性無しメッセージ700を表示装置107に表示する(1215)。
一方、ステップ1214の処理で、類似度の計算に利用された音響特徴量Bに独自性があると判定された場合には、独自性判定手段112は、離散時刻t及びステップ1205の処理で計算された類似度Rを参照して、音響特徴量Bと類似する構成要素を特定する。なお、音響特徴量Bと類似する構成要素の特定方法については、前述したとおりである。
次に、サーバ101は、離散時刻tが示す音響区間が音響特徴量Bと類似すること、当該音響区間Bと類似する構成要素、及び当該音響特徴量Bに独自性があることをクライアント計算機104に通知し、ステップ1217の処理に進む。
クライアント計算機104は、離散時刻tが示す音響区間が音響特徴量Bと類似すること、当該音響区間Bと類似する構成要素、及び当該音響特徴量Bに独自性があることをサーバ101から通知された場合には、図8に示す類似独自性有りメッセージ800を表示装置107に表示する(1216)。
次に、独自性判定手段112は、検証対象の音響データの全離散時刻の総類似度S[t]にステップ1210〜1216の処理が実行されたか否かを判定し、検証対象の音響データの全離散時刻の総類似度S[t]にステップ1210〜1216の処理が実行されていないと判定された場合には、ステップ1209の処理に戻り、検証対象の音響データの全離散時刻の総類似度S[t]にステップ1210〜1216の処理が実行されたと判定された場合には、ステップ1218の処理に進む。
次に、サーバ101は、音響−独自性データベース103に登録されたすべての音響区間に対してステップ1204〜1217の処理が実行されたか否かを判定し、音響−独自性データベース103に登録されたすべての音響区間に対してステップ1204〜1217の処理がされていないと判定された場合には、ステップ1204の処理に戻り、音響−独自性データベース103に登録されたすべての音響区間に対してステップ1204〜1217の処理がされていないと判定された場合には、ステップ1219の処理に進む。
サーバ101は、ステップ1213の処理で音響−独自性データベース103に登録された音響特徴量との類似度が所定値以上であると判定された検証対象の音響データの構成要素が存在したか否かを判定する(1219)。
ステップ1219の処理で、音響−独自性データベース103に登録された音響特徴量との類似度が所定値以上であるとステップ1213の処理で判定された検証対象の音響データの構成要素が存在しないと判定された場合には、検証対象の音響データは他者の音響データと非類似であるので、サーバ101は、検証対象の音響データは他者の音響データと非類似であることをクライアント計算機104に通知する。
クライアント計算機104は、検証対象の音響データは他者の音響データと非類似であることをサーバ101から通知されると、図6に示す非類似メッセージ600(図6参照)を表示装置107に表示する(1220)。
一方、ステップ1219の処理で、音響−独自性データベース103に登録された音響特徴量との類似度が所定値以上であるとステップ1213の処理で判定された検証対象の音響データの構成要素が存在すると判定された場合には、クライアント計算機104は非類似メッセージ600を表示する必要はないので、独自性検証処理を終了する。
以上のように、第3の実施形態では、音響データを構成するすべての構成要素の音響特徴量の類似度を加算した類似度が算出されるので、検証対象の音響データが全体としてどの音響データに類似するかを把握することができる。
(第4の実施形態)
以下、本発明の第4の実施形態を図12を用いて説明する。
本発明の第4の実施形態は、第1の実施形態の類似独自性有りメッセージ800の別実施形態である。
図12は、本発明の第4の実施形態の類似独自性有りメッセージ1300の説明図である。
類似独自性有りメッセージ1300は、検証対象音響データ表示部1301、メッセージ部1302、及び抑圧ボタン1303を含む。
検証対象音響データ表示部1301には、検証対象の音響データのスペクトルが表示される。メッセージ部1302には、図8に示す類似独自性有りメッセージ800と同じく、音響特徴量Aの音響区間が音響特徴量Bの音響区間と類似し、かつ、音響特徴量Aと類似する音響特徴量Bに独自性がある旨が表示される。
抑圧ボタン1303は、図8に示す抑圧ボタン801と同じなので説明を省略する。
メッセージ部1302は、検証対象音響データ表示部1301に表示された音響データAの音響区間のうち音響データBと類似する音響区間を示すように、表示される。このため、ユーザは、音響データAのどの音響区間が他者の音響データと類似しているのかを一目で把握できる。
また、第4の実施形態の類似独自性有りメッセージ1300は、第1の実施形態の図7に示す類似独自性無しメッセージ700に適用してもよい。