JP6783443B2

JP6783443B2 - 情報処理装置、情報処理システム、情報処理方法、プログラム、及び記録媒体

Info

Publication number: JP6783443B2
Application number: JP2016046084A
Authority: JP
Inventors: 満河本; 車谷　浩一; 浩一車谷; 明男幸島
Original assignee: National Institute of Advanced Industrial Science and Technology AIST
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2015-04-06
Filing date: 2016-03-09
Publication date: 2020-11-11
Anticipated expiration: 2036-03-09
Also published as: JP2016197406A

Description

本発明は、情報処理装置、情報処理システム、情報処理方法、プログラム、及び記録媒体に関する。

従来、多数のデータを特徴的なカテゴリに分類するクラスタリング手法が知られている。最近のクラスタリング手法として、Affinity Propagation（AP）法が知られている（例えば非特許文献１、２参照）。

AP法では、パラメータr(i,k)は、クラスタ内のデータポイントiがそのクラスタの中心点(exemplar)候補kに割り当てられる適切さを示すスコアであり、データポイントiからexemplar候補kに送られるメッセージであると考えられている。また、パラメータa(i,k)は、exemplar候補kのクラスタ内に、データポイントiがメンバーとして属する適切さを示すスコアであり、exemplar候補kからそのクラスタメンバーとなる見込みのデータポイントiに対して送られるメッセージであると考えられている。つまり、AP法はメッセージ交換型クラスタリング手法である。

Brendan J. Frey and Delbert Dueck, "Clustering by Passing Messages Between Data Points", University of Toronto Science 315, 972-976, February 2007 Inmar E. Givoni and Brendan J. Frey, "A Binary Variable Model for Affinity Propagation", Neural Computation,Vol 21, issue 6, pp 1589-1600, June 2009

しかしながら、上記の従来技術では、クラスタリングされたクラスタ内に、クラス内の代表値とは異なる外れ値を含む可能性があり、分類精度に改善の余地がある。ここで、データの一例として環境音を用いてAP法が適用されると、クラスタ内の代表音と、同じクラスタ内の音とで、異なる音が同じクラスタに分類されることがある。このように、AP法に関して、分類精度を向上させることが求められている。

そこで、本発明は、AP法に関して、クラスタへの分類精度を向上させることができる情報処理装置、情報処理システム、情報処理方法、プログラム、及び記録媒体を提供する。

本発明の一態様における情報処理装置は、複数のデータを取得する取得部と、
各データの特徴量を抽出する抽出部と、
抽出された特徴量を用いて生成された各データ間の類似度行列に基づく第１評価値及び第２評価値それぞれの更新を繰り返すことにより、最終的なクラスタを生成する分類部であって、前記類似度行列の自己相関は、前記第１評価値及び前記第２評価値の算出過程において生成されたクラスタ内の外れデータに関する類似度を用いて設定され、前記第１評価値は、クラスタ中心の候補データが、クラスタに属するメンバーデータのクラスタ中心になることの適切さを示す値であり、前記第２評価値は、前記メンバーデータが、前記候補データのクラスタに属することの適切さを示す値である、前記分類部と、を備える。

第１実施形態における情報処理システムの一例を示す概念図である。第１実施形態における情報処理装置のハードウェア構成の一例を示すブロック図である。第１実施形態における情報処理装置の機能構成の一例を示すブロック図である。環境音を計測した場所を示す図である。マイクロフォンアレイの一例を示す図である。マイクロフォンの位置を示す図である。パワースペクトルの一例を示す図である。基底ベクトルの一例を示す図である。係数ベクトルの一例を示す図である。基底ベクトル及び係数ベクトルを用いて再構築したパワースペクトルの一例を示す図である。改良AP法を用いて音データをクラスタリングした結果の一例を示す図である。改良AP法の精度結果（その１）の一例を示す図である。改良AP法の精度結果（その２）の一例を示す図である。一日の環境音の発生割合の一例を示す図である。あるイベント日の１０時から１３時までのイベントＡにおける環境音発生割合の一例を示す図である。あるイベント日の１４時から１８時までのイベントＡにおける環境音発生割合の一例を示す図である。あるイベント日の１４時から１８時までのイベントＢにおける環境音発生割合の一例を示す図である。あるイベント日の１０時から１３時までのイベントＣにおける環境音発生割合の一例を示す図である。あるイベント日の１４時から１８時までのイベントＣにおける環境音発生割合の一例を示す図である。第１実施形態におけるデータ解析処理の一例を示すフローチャートである。第１実施形態における分類処理の一例を示すフローチャートである。第１実施形態におけるタグ付け処理の一例を示すフローチャートである。第１実施形態における解析処理の一例を示すフローチャートである。第２実施形態における情報処理装置の機能構成の一例を示すブロック図である。パワースペクトルの一例を示す図である。エッジ検出されたパワースペクトルの一例を示す図である。分類された各カテゴリの一例を示す図である。音の大小度の計算を説明するための図である。音の継続度の計算を説明するための図である。実験地における音模様を表現する所定領域を示す図である。平常時の音模様を示す図である。イベント時の音模様を示す図である。第２実施形態における音模様表現処理の一例を示すフローチャートである。

以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一または類似の部分には同一または類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。

［第１実施形態］
以下、本発明の第１実施形態における情報処理システムについて説明する。第１実施形態における情報処理システムは、取得された複数のデータに対し、適切な分類を行うことができる。また、情報処理システムは、適切に分類されたクラスタやデータを用いて、そのデータに適したモデルを構築し、データの解析などを行うことができる。

＜システム概要＞
図１は、第１実施形態における情報処理システムの一例を示す概念図である。図１に示すように、例えば情報処理システム１は、データを処理する情報処理装置（サーバ装置）１０Ａ、１０Ｂと、データを取得する取得装置２０Ａ、２０Ｂ、２０ＣとがネットワークＮを介して接続される。情報処理装置１０Ａ、１０Ｂは、処理を分散してもよいし、いずれか一つの装置で処理するようにしてもよい。

各情報処理装置は、個別に区別して説明する場合には符号１０Ａ、１０Ｂを用い、個別に区別する必要がなく、まとめて説明する場合には符号１０を用いる。なお、取得装置の符号の用い方は、情報処理装置と同様である。

取得装置２０は、分類対象のデータを取得する。例えば、データが音データであれば、取得装置２０は、集音可能なマイクやマイクロフォンアレイなどであり、データが画像データであれば、取得装置２０は、カメラなどの撮像装置であり、データが文字データであれば、文字データを取得する装置である。

情報処理装置１０は、取得装置２０から複数のデータを取得し、複数のデータに対して分類処理、所謂クラスタリングを行う。また、情報処理装置１０は、クラスタリングの結果を用いて、ラベル付けを行ったり、対象データのモデルを構築したりしてもよい。また、情報処理装置１０は、このモデルを用いて対象データの各種解析を行ってもよい。なお、情報処理装置１０は、自身の記憶部に記憶されているデータに対してクラスタリングや、モデル構築や、各種解析を行ってもよい。

ネットワークＮは、インターネット等であり、無線ＬＡＮのアクセスポイントや携帯電話の基地局などを含む。

＜ハードウェア構成＞
次に、情報処理装置１０のハードウェア構成について説明する。図２は、第１実施形態における情報処理装置１０のハードウェア構成の一例を示すブロック図である。

図２に示すように、情報処理装置１０は、制御部１０２と、通信インタフェース１０６と、記憶部１０８と、表示部１１４と、入力部１１６と、を有し、各部はバスラインを介して接続される。

制御部１０２は、ＣＰＵ、ＲＯＭ、ＲＡＭ１０４等を含む。制御部１０２は、記憶部１０８に記憶される処理プログラム１１０等を実行することにより、一般的なサーバ装置としての機能に加え、例えば分類機能や、ラベル付け機能や、モデル構築機能などを実現するように構成される。

また、ＲＡＭ１０４は、各種情報を一時的に保持したり、ＣＰＵが各種処理を実行する際のワークエリアとして使用されたりする。

通信インタフェース１０６は、ネットワークＮを介した取得装置２０との通信を制御する。

記憶部１０８は、例えばＨＤＤ等からなり、一般的な情報処理装置としての機能を実現するためのアプリケーション及びデータ（図示省略）を記憶することに加え、処理プログラム１１０を記憶する。また、記憶部１０８は、情報記憶部１１２を有している。

処理プログラム１１０は、分類などの処理を行うためのプログラムであり、取得装置２０から各データを取得し、各データを処理するプログラムである。処理プログラム１１０は、コンピュータに読み取り可能な記録媒体に保存され、この記録媒体から読み出されて、記憶部１０８に記憶されてもよい。

情報記憶部１１２は、例えば各取得装置２０から取得されたデータや、分類に関する情報、ラベルに関する情報、モデルに関する情報などを関連付けて記憶する。

表示部１１４は、情報処理装置１０の管理者等に情報を表示する。入力部１１６は、管理者等からの入力を受け付けたり、管理者等からの指示を受け付けたりする。また、情報処理装置１０は、表示部１１４と入力部１１６とを必ずしも設ける必要はなく、表示部１１４及び入力部１１６は、外部から情報処理装置１０に接続されるようにしてもよい。

＜機能構成＞
図３は、第１実施形態における情報処理装置１０の機能構成の一例を示すブロック図である。図３に示す情報処理装置１０は、送信部２０２、受信部２０４、処理制御部２０６、及び記憶部２４０を含む。

送信部２０２は、例えば通信インタフェース１０６等により実現されうる。送信部２０２は、分類結果や、ラベル付け結果や、構築したモデルなどを、ネットワークを介して接続された各装置に送信してもよい。

受信部２０４は、例えば通信インタフェース１０６等により実現されうる。受信部２０４は、例えば、各取得装置２０から複数のデータを受信する。受信されたデータは、例えばマイクなどにより集音された環境音の音データとする。処理制御部２０６に出力される。

記憶部２４０は、分類に用いるデータや、タグ付けなどに用いるデータや、モデル構築に用いるデータなどの各種データを記憶する。例えば、記憶部２４０は、ラベル付けのための特徴的なデータや、ラベル付けする識別情報などを記憶する。

処理制御部２０６は、例えば制御部１０２等により実現されうる。処理制御部２０６は、受信部２０４により受信された複数のデータ、例えば音データに対して、分類処理や、ラベル付け処理や、モデル構築処理などを実行する。

処理制御部２０６は、上述した処理を実行するため、取得部２１０、抽出部２１２、分類部２１４、検索部２２４、付与部２２６、解析部２２８、可視化部２３４を備える。

取得部２１０は、受信部２０４から、複数のデータを取得する。取得部２１０は、受信部２０４以外にも自装置内の記憶部などから分類等の対象データを取得してもよい。

抽出部２１２は、各データの特徴量を抽出する。データが音データである場合、抽出部２１２は、音データを周波数領域に変換し、この周波数領域におけるパワースペクトルに関する特徴量を１つ又は複数抽出する。抽出部２１２は、データに適した特徴量を算出すればよい。

より具体的には、抽出部２１２は、特徴量として、パワースペクトルに非負値行列因子分解を適用して得られた基底ベクトル、パワースペクトルの次元を揃えた分散行列、パワースペクトルにメルフィルタバンク分析を行って得られたベクトル、及び非負値行列因子分割により得られた係数ベクトルと基底ベクトルを用いて再構成されたパワースペクトルの第１主成分ベクトルのうちの少なくとも１つを含む。抽出された各データの特徴量は、分類部２１４に出力される。

分類部２１４は、例えば、抽出部２１２により抽出された特徴量を用いて、AP法を改良した手順によりデータの分類を行う。分類部２１４は、後述する第１評価値、第２評価値それぞれの更新を繰り返すことにより、最終的なクラスタを生成する。例えば、分類部２１４は、類似度行列の自己相関の更新値を用いて更新された第１評価値及び第２評価値に基づく値が収束するまで、クラスタ中心の候補データの決定及びクラスタの生成を行う。分類部２１４は、この第１評価値及び第２評価値の算出過程において生成されたクラスタ内の外れデータに関する類似度を用いて、類似度行列の自己相関の値を設定する。分類部２１４は、この分類法を用いるために、生成部２１６、算出部２１８、更新部２２０、判定部２２２を含む。

生成部２１６は、抽出部２１２により抽出された特徴量を用いて、各データ間の類似度行列を算出する。生成部２１６は、所定の手法により２つのデータ間の類似度を算出することで類似度行列を生成する。

例えば、音データに対して、上述したベクトルや分散行列が抽出された場合、生成部２１６は、類似度行列に含まれる類似度を、特徴量に含まれる各ベクトル又は分散行列の類似度に重み付けを行うことで算出してもよい。生成された類似度行列は、算出部２１８に出力される。

算出部２１８は、例えば、分類手法のAP法で用いられるresponsibilityとavailabilityとを算出する。ここでは、responsibilityをr(i,k)で表し、第１評価値と称し、availabilityをa(i,k)で表し、第２評価値と称す。

算出部２１８は、生成部２１６により生成された類似度行列に基づく、クラスタ中心の候補データが、クラスタに属するメンバーデータのクラスタ中心になることの適切さを示す第１評価値を算出する。また、算出部２１８は、類似度行列の自己相関に基づく、メンバーデータが、候補データのクラスタに属することの適切さを示す第２評価値を算出する。また、算出部２１８は、更新部２２０から類似度行列の自己相関の更新値を取得した場合、自己相関の更新値や新たなクラスタに基づいて第１評価値及び第２評価値を新たに算出し、更新する。

更新部２２０は、従来のAP法とは異なり、類似度行列の自己相関を示すs(k,k)の値の設定について、新規な手法を用いる。例えば、更新部２２０は、第１評価値及び第２評価値の算出過程において生成されたクラスタ内の外れデータに関する類似度を用いて、自己相関を設定する。

これは、クラスタリングの性質上、類似度が低いデータであっても、いずれかのクラスタに分類する必要があるため、クラスタ内には、類似度の低いデータも含まれてしまう。そのため、類似度の低い外れ値に対して適切な処理を施すことで、第１実施形態では、適切なクラスタ数を生成し、分類精度の向上を図る。

従来のAP法では、クラスタ数を決定するのに影響を与えるパラメータである類似度行列の自己相関の値s(k,k)は更新されない。また、第１評価値r(i,k)、第２評価値a(i,k)の更新時においても、s(k,k)の値は、更新されない。したがって、従来のAP法においては、自己相関s(k,k)の値に基づくクラスタ数が求まるのみであり、求めたクラスタには外れ値が存在する可能性が大いにある。

他方、提案手法では、第１評価値r(i,k)、第２評価値a(i,k)を更新していく過程で求められるクラスタの外れ値を検出し、それらに対応する類似度行列の自己相関を更新する手法を用いる。つまり、第１評価値r(i,k)、第２評価値a(i,k)の更新過程でクラスタ数の決定に影響を与える外れデータのs(k,k)の値も更新されるので、外れデータを中心としてクラスタが生成される可能性があり、最終的に更新が収束したときのクラスタリング結果では、それぞれのクラスタ内に外れ値が存在する可能性は従来手法より小さくなる。したがって、第１実施形態では、分類精度の向上を図ることができる。

また、更新部２２０は、クラスタ内の外れデータに対する類似度行列の自己相関を、他の値に更新してもよい。また、更新部２２０は、類似度行列の外れデータに関する列ベクトルに基づく値を、他の値に設定してもよい。また、更新部２２０は、この列ベクトルを所定順に並べ替え、所定番目の値を、他の値に設定してもよい。これにより、一旦クラスタに分類された外れ値を、他のクラスタに分類することを可能にし、外れデータを更新しながら、より適切なデータから構成されるクラスタが生成されやすくなる。

また、更新部２２０は、類似度行列の各列ベクトルにおける最大値の標準偏差に基づいて、この列ベクトル内の類似度を選択し、選択した類似度を類似度行列の自己相関の初期値に設定してもよい。これにより、列ベクトルの最大値の標準偏差を用いて外れデータを事前に識別し、この外れデータに対する自己相関の初期値をより適切な値に設定することができる。初期値が適切に設定されるだけでも、クラスタ内の外れデータが少なくなり、分類精度が向上する。

判定部２２２は、算出部２１８により算出された第１評価値と、第２評価値とに基づく値が収束するかどうかを判定する。例えば分類部２１４は、第１評価値と第２評価値との加算値が収束すれば、そのときのクラスタ中心データを代表データにする。分類部２１４は、加算値が収束していなければ、候補データの再決定やクラスタを再編し、もう一度分類を行う。

以上の分類処理を行うことにより、クラスタ内の外れ値に対して、クラスタの分類数などに影響を与える自己相関を更新することで、外れ値がクラスタから除外されやすくなり、分類精度を向上させることができる。

以下、上記処理で適切に分類されたデータを用いて、新たなモデルを構築することを考える。このとき、分類されたデータに、そのデータの特徴をラベル付けしておくことで、モデル化を行うことができる。

例えば、第１実施形態では、環境音の音データに対して分類されたクラスタに対し、代表音にラベル付けを行い、ラベル付けしたデータの特徴量を用いた学習をすることで、新たなモデルを構築する。この新たなモデルは、環境音全体を表すモデルであり、従来のような特定の音の推定や、音の方向の推定を表すモデルなどではない。

次に、ラベル付け処理や、モデル化に関する処理について説明する。記憶部２４０は、種類が異なる各データと、この種類を示す識別情報とを関連付けて記憶する。例えば、音データの場合、電車音、拍手音、イベント音、風音などの特徴的な各種音データと、その音データの種類を示す識別情報とが関連付けられている。識別情報は、電車音を示す情報、拍手音を示す情報などであり、ラベルの一種である。

検索部２２４は、分類部２１４により生成されたクラスタ中心のデータにマッチングする、記憶部２４０に記憶されたデータを検索する。例えば、クラスタ中心の代表音が、記憶部２４０に記憶されたどの音データにマッチングするかを、類似度などを用いて検索する。なお、クラスタ中心のデータについては、クラスタの特徴を示す代表データであれば他のデータでもよい。

付与部２２６は、検索部２２４により検索されたデータに関連付けられた識別情報を含むラベルを、クラスタ中心のデータに付与する。例えば、取得部２１０により取得されたデータが、マイクロフォンアレイにより取得された音データであれば、音の方向及び／又は音の発生時間が関連付けられているので、付与部２２６は、これらの情報をラベルに含めてもよい。

なお、検索部２２４及び付与部２２６を用いれば自動で代表データにラベルを付与することができるが、ユーザがクラスタ内のデータを実際に調べることで、適切なラベルを付与してもよい。例えば、ユーザが、クラスタ内の代表音を実際に聞くことで、その代表音が何かを判別し、代表音にラベルを付与してもよい。

解析部２２８は、ラベルに含まれる識別情報を用いて複数のデータを解析する。例えば、解析部２２８は、複数のデータにおける各識別情報の割合を算出し、この割合を解析結果にしてもよい。また、解析部２２８は、音の方向及び／又は音の発生時間を用いて、解析結果を細分化してもよい。

また、解析部２２８は、分類されたデータを用いて解析モデルを構築するため、学習部２３０と、構築部２３２とを含む。

学習部２３０は、ラベル付けされたデータと、特徴量とを用いてアンサンブル学習を行う。アンサンブル学習とは、個々に学習した識別器を複数個用意し、それらを、単純には出力の平均を用いる等して、まとめ合わせて一つの識別器を構築する学習法である。アンサンブル学習には、ランダムサブスペース法（参考 T.K.Ho, "The Random Subspace Method for Constructing Decision Forests," IEEE Trans. On Pattern Analysis and Machine Intelligence, Vol. 20, No. 8, pp. 832-844, 1998）を用いたアンサンブル学習（参考 "D. Opitz and R. Maclin, "Popular ensemble methods: An empirical study," Journal of Artificial Intelligence Research 11, pp. 169-196, 1999）を適用する。

構築部２３２は、学習部２３０による学習により、データに関するモデルを構築する。モデル構築には、例えば、MATLAB関数（参考 http://jp.mathworks.com/help/stats/random-subspace.html）を用いる。

可視化部２３４は、構築されたモデルを用いて解析された解析結果が表示部において可視化されるように処理する。例えば、可視化部２３４は、解析結果をグラフ化し、ユーザに把握しやすくすることができる。

以上により、このモデルを用いれば、例えば環境音に対して発生割合などの環境の雰囲気(活性度)を調べることができる。

＜具体例＞
ここでは、第１実施形態の具体例として、データは、環境計測から得られる環境音の音データとする。解析手法においては、様々な環境音をどのように整理して、分かり易い情報に変換するのかを主な課題とし、その課題を解決する手法を以下に説明する。

≪環境音の計測場所及び取得装置≫
図４は、環境音を計測した場所を示す図である。図４に示すように、駅ＳＴの右側の建物ＢＬ１の所定の高さに、取得装置２０（マイクロフォンアレイ）が設置される。また、この建物ＢＬ１と建物ＢＬ２との間に広場ＡＲがあり、この広場ＡＲでは、イベント等が頻繁に開催される。また、建物ＢＬ１及び建物ＢＬ２は、ショッピングセンターである。

図５は、マイクロフォンアレイの一例を示す図である。図６は、マイクロフォンの位置を示す図である。環境音計測には、図５、６に示すマイクロフォンアレイ２０Ａ〜Ｄ（以下、単にマイクロフォンアレイ２０と称す。）を用いる。

ここで、マイクロフォンアレイ２０は、複数のマイクロフォンＭＣを使用した音計測機器であるため、音源方向や音源位置の推定が可能となり、それらの情報もデータとして利活用が可能となる。マイクロフォンアレイ２０により集音される環境音は、そのショッピングセンター内で発生した音である。より具体的には、環境音は、電車音、広場整備音、イベント音、ハシャギ声、風音などである。マイクロフォンアレイ２０により計測される音の長さは、例えば最長で2secとする。計測された環境音は、周波数領域に変換され、パワースペクトルが算出される。算出されたパワースペクトルから特徴量が抽出され、抽出された特徴量は、環境音識別の解析モデルの構築に用いられる。

≪概要≫
まず、環境音の解析手法の概要について説明する。処理制御部２０６は、ある程度振幅を持った発生音データを対象にし、短時間フーリエ変換を適用し、得られたパワースペクトルPsに非負値行列因子分解（参考澤田宏：“非負値行列因子分解NMFの基礎とデータ／信号解析への応用,”電子情報通信学会誌，Vol.95，No.9，pp.829-833，2012）を施し、基底ベクトルPvと係数ベクトルPcを求める。

ここで、処理制御部２０６は、求めた値P（PはPs、Pv、Pcを含む）を環境音の特徴量とみなす。処理制御部２０６は、これらの特徴量を使って類似度行列を算出して生成する。次に、処理制御部２０６は、改良したAffinity Propagation（AP）法を用いてデータをカテゴリ（クラスタ）に分類する。これにより、本具体例では、適切なカテゴリを生成し、分類精度を向上させることができる。

また、処理制御部２０６は、分類されたそれぞれのカテゴリにラベル付けを行う。処理制御部２０６は、ラベル付けされたデータを利用してランダムサブスペース法を用いたアンサンブル学習を行い、環境音を識別するための解析モデルを構築する。ここで、アンサンブル学習において、例えば、弱学習器にはk最近傍法(k-NN法)を用いる。

さらに、本具体例では、環境音識別の解析モデルにより、計測環境がどのような音環境を形成しているのかを把握することができる。また、本解析手法の応用例として、例えば、イベント時などで、イベント音、歓声、拍手などを区別することにより、イベントの盛り上りなどの活性度が音によって計測できるサービスを提供することができる。

≪解析モデル≫
次に、解析モデルを構築するための分類処理、ラベル付け処理、モデル構築処理を順に説明する。

（１）分類処理
（１．１）特徴量抽出
抽出部２１２は、環境音の音データから特徴量を抽出する。例えば、抽出部２１２は、ある環境音に短時間フーリエ変換を施し、パワースペクトルを求める。

図７は、パワースペクトルの一例を示す図である。図７に示す例では、縦軸は、周波数（N個）を表し、横軸は、短時間フーリエ変換のシフト数で決まるフレーム数（Mフレーム）を表す。このとき、このパワースペクトルの値は、行列の要素と考えられ、N×M行列Psが考えられる。ここで、Nは固定で、256次元である。Mは、切り出す音の長さに応じて変化する。

抽出部２１２は、行列Psに、非負値行列因子分解を適用し、基底ベクトルと係数ベクトルとを求める。

図８は、基底ベクトルの一例を示す図である。図９は、係数ベクトルの一例を示す図である。非負値行列因子分解には、例えばGamma Process非負値行列因子分解(Gap-NMF)（参考 M. Hoffman, D. Blei, and P. Cook, "Bayesian Nonparametric Matrix Factorization for Recorded Music," Proceedings of the 27^th International Conference on Machine Learning, Haifa, 2010）を用いる。

Gap-NMFは、特徴的な周波数が選択されるように基底ベクトルを決定する因子分解手法である。このとき、基底ベクトルの数は、パワースペクトルの形状によって異なる。また、係数ベクトルは、それぞれの基底ベクトルの時間的変化を表す値を要素に持ったベクトルとなる。図８、９に示す例では、濃い部分が大きな値を表しており、段階的に薄い色に変化していくに従って値が小さくなっていく。

図１０は、基底ベクトル及び係数ベクトルを用いて再構築したパワースペクトルの一例を示す図である。図１０に示すパワースペクトルは、図８に示す基底ベクトルと、図９に示す係数ベクトルとを乗算することで生成される。つまり、図１０に示すパワースペクトルは、図７に示すパワースペクトルを再構築したものである。

Gap-NMFの特徴から、再構築されたパワースペクトル（図１０参照）は、元のパワースペクトル（図７参照）の形状の中で特徴的な周波数が強調されたパワースペクトルの形状になることが分かる。以下、再構築されたパワースペクトルをPr_sと表す。

抽出部２１２は、環境音の特徴量として、例えば以下の４つの値を算出する。
・元のパワースペクトルを以下の計算で正方行列にした行列Π₁、
・基底ベクトルの平均値、ベクトルf、
・以下の計算で得られる正方行列Π₂に主成分分析が適用され、得られた第１主成分ベクトルe、
・メルフィルタバンク分析によってP_sを20次元に圧縮した振幅スペクトルfa
ここで、faは、Mが異なるパワースペクトルに対して、パワースペクトルの時間変化を同次元（20次元）で比較できるようにする特徴量として取り扱われる。

（１．２）分類手法
分類部２１４は、上述した４つの特徴量を用いて、一日に発生した環境音の分類を行う。ここで、マイクロフォンアレイ２０により計測された一日の音データ数をLとする。分類部２１４は、分類手法としてAP法と同様の方法を用いる。AP法は、音データそれぞれの類似度に応じて、以下の２つの式を使って、代表音(exemplar)と、それに類似する環境音とを求めることができるクラスタリング手法である。算出部２１８は、以下の式（３）（４）を用いて第１評価値及び第２評価値を算出する。

ここで、第１評価値r(i,k)は、AP法では、環境音データiからexemplar候補kに送られるメッセージを表す。また、第２評価値a(i,k)は、exemplar候補kからそのクラスタに含められる可能性がある環境音データiに送られるメッセージを表す。このとき、パラメータs(i,k)は、各要素間の関係（例えば類似度）を表したものである。パラメータa(k,k)は、以下の式を用いて更新する。
このように、AP法は、exemplar候補kと音データi間でメッセージをやり取りする。つまり、分類部２１４は、式（３）と式（４）とを交互に求めることによって、exemplarが求まり、そのexemplarに分類される音データが決定するメッセージ交換型クラスタリング手法である。このとき、a(i,k)の初期値は０に設定される。

ここで、AP法は、従来のクラスタリング手法、例えば、k-means法のように事前にクラスタ数の情報を必要とせず、データ依存でexemplarの数が決まる手法である。このexemplarの数は、s(k,k)、つまり、環境音データの自己相関の大きさで決まることが知られている。また、従来手法では、全類似度s(i,k)の中央値をs(k,k)に設定してAP法を動作させている例が多い。

しかしながら、例えば分類対象データが音データの場合、従来のs(k,k)の設定方法では、分類がうまくいかないことが少なくない。つまり、クラスタリングの性質上、データはどこかのクラスタに分類されてしまうので、クラスタ内のデータの中には、多くのデータに対して類似度が低いデータ（以下、外れデータとも称す。）が含まれてしまう。

この欠点を解決するために、第１実施形態では、改良したs(k,k)の設定方法が用いられる。ここで、s(i,k)を要素として持つ類似度行列をSと表記する。また、その類似度行列の縦ベクトルをs_k（k=1,2,…,L）と表記する。このとき、それぞれのs_kに対する最大値をs_maxk（k=1,2,…,L）と表す。

ここでは、s(k,k)の設定方法（更新方法）として、以下の２つを例に挙げて説明する。１つ目の更新方法は、式（６）が用いられる。更新部２２０は、式（６）により、外れデータを求める。

ここで、abs(x)は、ｘの絶対値を表し、mean(x)は、ｘの平均値を表し、std(x)は、xの標準偏差を表し、パラメータαは、正数を表す。つまり、クラスタ内データXの外れデータは、式（６）により検出することができる。更新部２２０は、検出された外れデータのデータポイントkのs(k,k)に対して、以下のルールを適用して更新する。

ここで、s_kは、類似度行列のk列ベクトルを表し、sort(s_k)_nthは、降順のk列ベクトルs_kの上位からn番目の値を表す。本具体例では、例えば４番目の値を用いるが、どの値を用いるかは与えられたデータの分類形態で変更する。

また、式（６）のパラメータαは、どの程度の外れデータが想定されて分類が行われるかによって変更される。s(k,k)の初期値は、従来のAP法で用いられている類似度行列のすべての要素の中央値が設定される。

次に、２つ目の更新方法について説明する。更新部２２０は、最大値s_maxk（k=1,2,…,L）の標準偏差σ_sを基準に、s(k,k)の初期値を決める方法を用いる。すなわち、更新部２２０は、以下の式（８）を閾値Thとして用いてs(k,k)を決める。
Th＝σ_s／ａ（８）

ここで、定数aは、任意の正の整数とする。閾値Thは、s_kの要素の中で、できるだけ最大値に近い値をs(k,k)に設定しようとして、発明者によって考えられた閾値である。

更新部２２０は、各s_kの要素において、σ_s／aよりも大きい要素で、σ_s／aに最も近い要素の値をs(k,k)の初期値に設定する。もし、s_kが該当する要素を持たなければ、更新部２２０は、s_kの2番目の値をs(k,k)の初期値に設定する。

２つ目の更新方法の場合、分類部２１４は、改良されたAP法でクラスタリングした事後処理として、exemplarの値に応じて、クラスタ内の外れデータを求め、この外れデータをexemplar候補としてさらにクラスタリングすればよい。また、更新部２２０は、上述した２つの更新方法のいずれかを用いてもよいし、自己相関の初期値を２つ目の更新方法を用いて設定し、さらに、１つ目の更新方法を用いて、その初期値を更新してもよい。

分類部２１４は、r(i,k)＋a(i,k)の加算値が収束するまで分類処理を繰り返す。収束とは、例えば、再分類を所定回数以上行っても、加算値が所定範囲内にあることをいう。これにより、本具体例では、クラスタ内の外れデータを処理する改良AP法におけるクラスタリングを用いることで、分類精度を向上させることができる。

（２）ラベル付け
検索部２２４は、分類部２１４により分類された各カテゴリの代表音（例えばexemplarの音）に類似する音データを、記憶部２４０に記憶された音データから検索する。例えば、検索部２２４は、代表音との類似度が一番大きい音データを検索する。

付与部２２６は、検索された音データに関連する識別情報を含むラベルを、代表音に付与する。なお、ラベルは、識別情報以外にも、音の発生位置や発生時間帯などを含んでもよい。また、付与部２２６は、代表音と同じラベルを、クラスタ内の音データに付与してもよい。これにより、全データに対して検索処理を行う必要がなくなり、処理負荷を軽減させることができる。

また、ラベル付けとして、ユーザが、代表音を聞き、代表音に合ったラベルを選択し、ラベル付けを行ってもよい。この場合、付与部２２６は、ユーザが付与した代表音のラベルを、代表音と同じカテゴリの音データに付与してもよい。

（３）学習処理
解析部２２８は、ラベル付けされた各音データを教師信号とし、そのそれぞれに対する環境音の上述した特徴量（f',e,fa）を学習データとして用いて、一日の環境音を識別するための解析モデルを構築する。ここで、f'は、Pr_sの周波数平均値である。また、f'は、基底ベクトルの平均値、ベクトルfを用いてもよい。

本具体例では、解析部２２８は、アンサンブル学習を用いて環境音を識別するための解析モデルを構築する。学習部２３０は、アンサンブル学習として、上述したランダムサブスペース法を用いたアンサンブル学習を実行する。また、弱学習器には、k-最近傍法を用いてモデルを構築する。ここで、モデル構築には、例えばMATLAB関数(fitensemble)を用いることにする。

≪実験≫
ここで、発明者らが行った実験について説明する。発明者らは、図４に示す位置に、図５，６に示すマイクロフォンアレイ２０を設置し、マイクロフォンアレイ２０は、公共空間内に発生した環境音を計測する。

環境音のモデル構築には、平成26年7月7日(月)から平成26年7月11日(金)において計測された5日分の音データが用いられる。まず、分類部２１４による分類結果について説明する。この実験では、更新方法として２つ目を適用し、式（８）のパラメータaは３とする。

また、類似度行列の要素s(i,k)は、それぞれの環境音データの特徴量を用いて、Itakura spectral距離（Di）とCOSH spectral距離（Dcosh）を用いて算出する。
パラメータCi(i=1,2,3,4)は、それぞれの距離の重み係数を表し、正数値が与えられる。
図１１は、改良AP法を用いて音データをクラスタリングした結果の一例を示す図である。図１１に示す例では、データ数に対するクラスタ数が示されている。図１１に示す例では、圧縮率（＝クラスタ数／データ数）が46.2％となっている。

図示しないが、従来手法で用いられている全s(i,k)の中央値をs(k,k)に設定する方法を用いたAP法では、圧縮率が91.7％となる。つまり、クラスタ数が少ないため、外れデータがクラスタ内に含まれている可能性が高い。なお、自己相関の更新において、１つ目の更新方法を用いた場合には、その更新方法に合わせた圧縮率になるように、事前実験等により適宜パラメータを調整すればよい。

次に、上述した処理で構築された解析モデルの精度の検証について説明する。検証に用いた音データは、平成26年7月14日から平成26年7月18日に計測された環境音である。それぞれの音データに対し、平成26年7月7日(月)から平成26年7月11日(金)の音データを用いて構築された解析モデルが適用される。このとき、曜日毎に解析モデルが適用され、間違ったラベルが出力された回数（代表音とは異なる音が、その代表音のクラスタに分類された数）がカウントされる。

図１２は、改良AP法の精度結果（その１）の一例を示す図である。図１２に示すように、各曜日の正解率の平均は９１％である。なお、誤解答数とは、クラスタに分類された音データを人が聞いて、その音データがクラスタの代表音とは異なる数を示す。

なお、図示しないが、従来のAP法によりクラスタリングされた代表音を使ってラベリングされたときの解析モデルを用いた場合では、正解率が約78％という結果が得られている。このことから、改良AP法により、そのクラスタリング結果は、適切にカテゴリが生成され、そのカテゴリの分類精度が増加したと考えることができる。

さらに、曜日毎ではなく、7月7日から7月11日の全ての音データを使って、解析モデルが構築された場合を検討する。7月14日から7月18日のそれぞれの環境音データに、この解析モデルを適用し、モデル構築に使用するデータ数が多くなると、分類精度が向上するのかどうかを発明者らは検証した。

図１３は、改良AP法の精度結果（その２）の一例を示す図である。図１３に示すように、各曜日の正解率の平均は９３％である。図１３に示す例では、各曜日において、誤解答数が減り、平均正解率が向上している。このことから、多くのデータを使って解析モデルを構築した方が、モデルの信頼性が向上することが分かる。

次に、上述した解析モデルを用いて、可視化部２３４により分類された環境音の発生割合を示す。

図１４は、一日の環境音の発生割合の一例を示す図である。図１４に示すように、本実験において、マイクロフォンアレイ２０を設置した場所は、すぐ近くに駅STがあることから（図４参照）、電車音の発生割合が一番高い。

２番目は、広場ARのザワツキを表したような雑踏音の発生割合が高く、３番目は、広場の整備音の発生割合が高い。その他に、ハシャギ音、風音、イベント音などが発生している。

付与部２２６は、このような音にラベル付けを行い、可視化部２３４は、その発生割合を可視化することができる。図１４に示すグラフから、その日の音環境の雰囲気を理解することが可能になる。さらに、改良AP法を用いて生成された解析モデルは、図１２や図１３に示すように正答率が90％を超えているので、音環境の可視化は、信頼でき得るレベルに達していると言える。

上述したように、本具体例における解析モデルは、環境音の発生割合の可視化から、その音環境の雰囲気を把握することができる。そこで、この解析モデルの応用例として、広場ARで開催されたイベントに関して、イベント中に発生する音から、そのイベントの雰囲気を把握することができるのかを発明者らは検証した。

解析モデルの作成に関しては、イベントが開催された日に発生した一日の環境音の音データを使って、イベント音（歌、音楽等）、拍手音に新たにラベルが付与され、以前作成した解析モデルに、新たなラベルが付与されたクラスタが追加されるという手順でモデルが構築された。

図１５は、あるイベント日の１０時から１３時までのイベントＡにおける環境音発生割合の一例を示す図である。ここで、以下に示す全ての例は、モデル構築に使用されていない音データから得られた結果である。以降の図では、環境音に、ハシャギ音、イベント音、拍手音などが含まれる。

図１６は、あるイベント日の１４時から１８時までのイベントＡにおける環境音発生割合の一例を示す図である。図１６に示すイベントＡと図１５に示すイベントＡは同じイベントである。図１５及び図１６に示すグラフによれば、イベント中盤から後半にかけて、ハシャギ音、イベント音、拍手音がほぼ同じ割合で発生していることが分かる。

これは、実際のイベントによるアンケート結果などと照らし合わせて、このイベントの雰囲気や盛り上がりがどうだったかを、このグラフと照らし合わせて検討することが可能になる。

図１７は、あるイベント日の１４時から１８時までのイベントＢにおける環境音発生割合の一例を示す図である。図１７に示す例では、イベント音の発生割合が高く、これは、音楽や歌が中心のコンサート型のイベントであることが分かる。また、ハシャギ音や拍手音が発生しているが、イベント音の割合が圧倒的に多いことから、音楽や歌で盛り上ったイベントであったと推察することができる。

また、上述した環境音とは雰囲気が異なる例を図１８及び図１９を用いて説明する。図１８は、あるイベント日の１０時から１３時までのイベントＣにおける環境音発生割合の一例を示す図である。

図１９は、あるイベント日の１４時から１８時までのイベントＣにおける環境音発生割合の一例を示す図である。図１８に示すイベントＣと図１９に示すイベントＣは同じイベントである。図１８及び図１９に示すグラフによれば、イベント開始時には、拍手音などが発生しており、盛り上りの雰囲気があったが、イベントの中盤、後半に向けて、徐々に盛り上りの雰囲気が減少しているような傾向を把握することができる。

以上より、環境音を識別するための解析モデルを使うことによって、イベントの雰囲気を把握することができる。よって、この解析モデルのさらなる応用例として、イベント評価への活用にも期待できる。

本具体例では、環境音データの分類方法、その分類結果から環境音を識別するための解析モデルの構築手法を提供することができる。本具体例では、環境音の識別を約90%以上の確率で実現することができ、環境音の発生場所や、音環境の雰囲気などを理解することができる。

また、本具体例の応用例として、イベント時の発生音からイベントの雰囲気の把握、さらにはイベントの盛り上りなどの評価にも利用することが期待できる。また、イベント時の環境音発生割合から推察する結果と、実際の雰囲気とが一致しているかどうか、イベント参加者にアンケートなどで検証することができる。

＜動作＞
次に、第１実施形態における情報処理システム１の動作について説明する。図２０は、第１実施形態におけるデータ解析処理の一例を示すフローチャートである。図２０に示すステップＳ１０２で、分類部２１４は、複数のデータに対して分類処理を行う。分類処理の詳細は、図２１を用いて説明する。

ステップＳ１０４で、検索部２２４及び付与部２２６は、ラベル付け処理を行う。ラベル付け処理の詳細は、図２２を用いて説明する。

ステップＳ１０６で、解析部２２８は、分類されたデータを用いて、データ解析を行う。データ解析の詳細は、図２３を用いて説明する。

図２１は、第１実施形態における分類処理の一例を示すフローチャートである。例えば図２１に示す処理は、定期的に必要なデータが集まったときに実行される。例えば音データの場合、一日ごとに、データの取得処理が終わった後に分類処理が開始されればよい。

図２１に示すステップＳ２０２で、取得部２１０は、取得装置２０から受信した複数のデータを取得する。例えば、取得装置２０が外に設置されたマイクロフォンの場合、取得部２１０は、環境音の音データを取得する。また、複数のデータは、自装置の記憶部２４０から取得されてもよい。

ステップＳ２０４で、抽出部２１２は、各データから特徴量を抽出する。抽出される特徴量は、データに応じて変更されればよい。例えば、音データの場合、周波数領域のパワースペクトルに関する特徴量が抽出される。

ステップＳ２０６で、生成部２１６は、抽出された特徴量を用いて、各データ間の類似度で表される類似度行列を生成する。

ステップＳ２０８で、算出部２１８は、分類の収束判定に用いる評価値を算出する。例えば、算出部２１８は、改良AP法が用いられる場合、第１評価値r(i,k)と、第２評価値a(i,k)とを算出する。さらに算出部２１８は、分類処理の終了判定パラメータとして、第１評価値と第２評価値との加算値を算出する。

ステップＳ２１０で、判定部２２２は、終了判定パラメータが収束したか否かを判定する。例えば、判定部２２２は、加算値が収束したか否かを判定する。終了判定パラメータが収束していれば（ステップＳ２１０−ＹＥＳ）処理はステップＳ２１４に進み、終了判定パラメータが収束していなければ（ステップＳ２１０−ＮＯ）処理はステップＳ２１２に進む。

ステップＳ２１２で、更新部２２０は、クラスタ内の外れデータを検出し、検出された外れデータの自己相関を、他の値に更新する。自己相関は、類似度行列の中に含まれている。更新処理が終わると、処理はステップＳ２０８に戻り、更新後の自己相関を用いて第１評価値や第２評価値が更新される

ステップＳ２１４で、分類部２１４は、判定対象パラメータが終了したときのクラスタを最終の結果として決定する。これにより、従来のAP法よりも、外れデータを考慮してクラスタリングを行うため、クラスタ内の外れデータの数を減らすことができ、分類精度を向上させることができる。

図２２は、第１実施形態におけるタグ付け処理の一例を示すフローチャートである。図２２に示すステップＳ３０２で、検索部２２４は、各クラスタから１つのクラスタを選択し、そのクラスタ内の代表データを選択する。代表データは、例えばクラスタ中心のデータである。

ステップＳ３０４で、検索部２２４は、選択した代表データに対応するデータを、記憶部２４０の中から検索する。例えば、検索部２２４は、代表データに一番類似するデータを検索する。

ステップＳ３０６で、付与部２２６は、検索されたデータに関連付けられている識別情報をラベルに含めて、代表データに付与する。ラベルには、識別情報以外にも、そのデータに関する他の情報が含まれてもよい。

ステップＳ３０８で、付与部２２６は、全ての代表データにラベルを付与したか否かを判定する。代表データは、例えば各クラスタに１つずつ含まれる。全ての代表データにラベルが付与されていれば（ステップＳ３０８−ＹＥＳ）処理は終了し、全ての代表データにラベルが付与されていなければ（ステップＳ３０８−ＮＯ）処理はステップＳ３０２に戻り、他の代表データが選択される。

図２３は、第１実施形態における解析処理の一例を示すフローチャートである。図２３に示すステップＳ４０２で、学習部２３０及び構築部２３２は、ラベル付けされた各データを教師信号とし、各教師信号の特徴量を学習データとして用いてアンサンブル学習を行い、解析モデルを構築する。

ステップＳ４０４で、分類部２１４は、この解析モデルを適用して、解析対象のデータを分類する。さらに、解析部２２８は、分類の正答率などを算出する場合には、事前に割り当てられたデータのラベルと、分類後に割り当てられたラベルとを比較し、ラベルが異なるデータをカウントする。また、人が分類後のデータを分析して、誤って分類されたデータの数をカウントしてもよい。

ステップＳ４０６で、可視化部２３４は、解析結果を表示部において可視化されるように処理する。例えば、可視化部２３４は、解析結果をグラフ化し、把握しやすくする。

以上、取得されたデータ全体に対して解析モデルを構築することができ、さらに、解析結果を一目で把握しやすいように可視化することができる。

以上、第１実施形態では、多くのデータを処理するのに悩めるサービス産業の手助けをするため、まずはデータの分類において分類精度を向上させることができる。さらに、データ利活用を実行するためのデータ解析手法を提案することができる。また、その解析から得られた結果をどのようなサービスに活かすことができるのかを提示することができる。

例えば、第１実施形態によれば、音データを解析する場合、音の方向や位置を推定するだけではなく、その音の発生状況から、その音環境がどのような雰囲気になっているか、音環境模様を把握することができる。

より具体的には、イベント時に、その音環境を計測し、どのような雰囲気のイベントであったのかを、盛り上がり、賑わいなどの音による客観的指標を提示することができる。また、共同住宅において、その周りの音環境を計測し、どのような音環境であるのかを、入居予定者に提示することができる。また、クラスタ内の外れデータを検出することで、この外れデータを分析し、何らかの特徴を把握してもよい。

また、第１実施形態によれば、大量にあるデータから代表データを検出し、その代表データを用いて解析を行うことができるため、データ解析に時間がかからない。また、データのモデル構築については、適切な分類手法によりデータがカテゴリに分類されていれば、そのカテゴリに対してラベル付けを行い、モデルを構築することが可能である。

［第２実施形態］
次に、第２実施形態について説明する。第２実施形態では、音環境を色模様としてモニタリングする技術に関する。第２実施形態で取得されるデータは、音データである。第２実施形態において、音データから１又は複数の特徴量を抽出し、抽出した特徴量を色で表現することにより、環境音などの音データを色模様（以下、音模様とも称す。）で表現することができる。

例えば、第２実施形態における情報処理訴装置は、環境音の音データから、音の高低、大小、及び継続の３つの特徴を抽出し、それぞれに所定の色を割り当て、音模様を表現する。さらに、音の音源位置を推定することで、所定領域内における音模様を表現することができる。この音模様は、画面上に表示されることで、ユーザにとって視認可能となる。

なお、第２実施形態におけるシステム構成、及びハードウェア構成は、第１実施形態におけるシステム構成、及びハードウェア構成とそれぞれ同様であるため、その説明を省略する。また、第２実施形態におけるシステム構成及びハード構成については、図１及び図２と同じ符号を用いる。

＜機能構成＞
図２４は、第２実施形態における情報処理装置１０の機能構成の一例を示すブロック図である。図２４に示す情報処理装置１０は、送信部２０２、受信部２０４、処理制御部３００、及び記憶部３１０を含む。送信部２０２、及び受信部２０４は、第１実施形態と同様であるため、同じ符号を付し、その説明を省略する。記憶部３１０は、分類に用いるデータや、特徴量抽出などに用いるデータや、モデル構築に用いるデータなどの各種データを記憶する。例えば、記憶部３１０は、色表現に用いるデータや、色表現された画像データなどを記憶する。

処理制御部３００は、取得部２１０、抽出部２１２、分類部２１４、音特徴抽出部３０２、表現部３０４、及び推定部３０６を含む。なお、取得部２１０、抽出部２１２、分類部２１４は、第１実施形態と同様であるため、同じ符号を付し、その説明を省略する。

音特徴抽出部３０２は、分類部２１４により分類された各カテゴリに基づく音データの第１特徴量を抽出する。例えば、音特徴抽出部３０２は、分類部２１４により改良AP法を用いて所定期間内の音データが特徴ごとに分類された各カテゴリに対し、各カテゴリの代表となる周波数（例えばカテゴリの重心の周波数）を用いて第１特徴量を抽出する。

より具体的な例として、音特徴抽出部３０２は、代表周波数を大、中、小の３つに分類し、ヒストグラムを生成する。次に、音特徴抽出部３０２は、ヒストグラム内の度数に応じて、大、中、小ごとに０又は１の値を与える。音特徴抽出部３０２は、（大、中、小）の（０，０，１）から（１，１，１）までの７つのスコアを第１特徴量とする。

表現部３０４は、音データから、第１特徴量を、第１色により表現する。第１色は、例えばＧ（緑）とする。これにより、音データの特徴を色で表現することができ、音という視認しにくいものを視認しやすくすることができる。

また、音特徴抽出部３０２は、音データから第２特徴量及び第３特徴量を抽出してもよい。例えば、音特徴抽出部３０２は、音データの大小を示す第２特徴量と、音データの継続性を示す第３特徴量を求めてもよい。音特徴抽出部３０２は、取得された音データの大小を示す第２特徴量と、音データの継続性を示す第３特徴量とを生成する。

第２特徴量として、音特徴抽出部３０２は、例えば、公知のラウドネス（参考 ITU-R BS.17701-1勧告http://www.itu.int/rec/R-REC-BS.1770/）の計算によって求められる音量（単位：ＬＫＦＳ）を基準とし、音の強弱を７段落のスコアで表す。なお、音特徴抽出部３０２は、このスコアが大きくなるほど、音量が大きくなるようにスコアを設定する。また、音特徴抽出部３０２は、単純に音データの波形のエンベロープを、所定の時間単位で求めて、その平均値を音の大きさにしてもよい。また、音特徴抽出部３０２は、パワースペクトルを周波数軸方向に足して、時間軸方向の平均値を用いて音の大きさの代わりとしてもよい。

第３特徴量として、音特徴抽出部３０２は、例えば、音データのパワースペクトルにおけるパワー最大の時刻を基準にして相互情報量からヒストグラムを求める（参考角田拓也，中川匡弘，"相互情報量と相互相関関数を用いた筋電と筋音」の時間差の推定，信学技法，MBE2015-60，pp.37-42，2015.）。また、音特徴抽出部３０２は、求めたヒストグラムの尖度（Kurtosis）を計算する。このとき、音特徴抽出部３０２は、尖度の値が大きいほど、突発的な音を表し、尖度の値が小さくなるほど、変動が少なく持続性が高い音を表すことになる。よって、音特徴抽出部３０２は、尖度値に応じた度合を音の継続度とする。例えば、音の継続度は、７段階のスコアで表される。

上述したように、３つの特徴量が抽出される場合、表現部３０４は、第２特徴量を、第２色により表現し、かつ、第３特徴量を、第３色により表現する。第２色は、Ｒ（赤）、第３色は、Ｂ（青）として表す。例えば、それぞれの色は、０〜２５５の値で表される。これにより、環境音などの音に対して色を用いて表現することができる。なお、色の組み合わせは、光の三原色を用いたが、これに限られない。

推定部３０６は、音データに対して、所定領域内の音源位置を推定する。例えば、推定部３０６は、所定領域をブロック分割し、分割ごとに周波数選択を行って、その周波数を用いるＭＵＳＩＣ法（参考 R. O. Schmidt, "Multiple Emitter Location and Signal Parameter Estimation,"IEEE Trans. on Antennas and Propagation, Vol. 34, No. 3, pp. 276-280, 1986.）により、音源位置を推定することができる。また、推定部３０６は、主に音の到来方向が推定できる方法として、ビームフォーマ法、線形予測法や最小分散法などを用いてもよい（参考大賀寿郎、山崎芳男、金田豊著、音響システムとディジタル処理、電子情報通信学会出版）。

このとき、表現部３０４は、推定部３０６により推定された音源位置の音データに対して、第１特徴量を第１色で表現し、第２特徴量を第２色で表現し、第３特徴量を第３色で表現する。これにより、所定領域内の音を音源位置ごとにＲＧＢで表すことができ、色を用いて音模様を視覚的に表現することができる。

＜音特徴量の抽出＞
次に、音特徴量の抽出について説明する。まず、音特徴抽出部３０２は、第１音特徴量を求めるため、音データのパワースペクトルを求める。ここで、音特徴抽出部３０２は、所定期間内において、時間と共に変化しうるパワースペクトルを１つの画像として捉える。

図２５は、パワースペクトルの一例を示す図である。図２５に示す例では、所定値以上のパワースペクトルが表示されている。所定値には、音が発生していることを示すための適切な閾値が設定される。音特徴抽出部３０２は、所定値以上のパワースペクトルが表現された図に対し、エッジ検出を行う。

図２６は、エッジ検出されたパワースペクトルの一例を示す図である。図２６に示す例では、エッジ検出で囲まれた領域のそれぞれの重心において、分類部２１４により、距離が近いものが１つのカテゴリ内に改良ＡＰ法により分類される。

ここで、改良ＡＰ法を用いる理由としては、分類が詳細になり、周波数の分布把握がより精度よくなるからである。

図２７は、分類された各カテゴリの一例を示す図である。図２７に示す例では、カテゴリＣＴ１〜７までの７つのカテゴリに分類されている。音特徴抽出部３０２は、例えば、各カテゴリ内の重心の周波数（代表周波数）を大（４ｋＨｚ以上）、中（１ｋＨｚ以上４ｋＨｚ未満）、小（１ｋＨｚ未満）の各領域に分類する。各領域の閾値は一例であって、これに限定されない。

次に、音特徴抽出部３０２は、それぞれの周波数領域のカテゴリを、時間軸上において、いくつあるかをカウントする。例えば、大の領域において横軸のカテゴリの数をカウントすると２などである。音特徴抽出部３０２は、各領域のカウント数の最大値を用いて、カウント値を正規化する。例えば、音特徴抽出部３０２は、各カウント値を最大値で除算する。このとき、或る閾値（例えば０．４）以上の値は１に設定され、閾値未満の値は０に設定される。例えば、（大、中、小）が（１、０．２、０．５）の場合、（１、０、１）となる。

また、音特徴抽出部３０２は、（０，０，１）〜（１，１，１）からの各パターンについてスコア（第１特徴量）を付ける。例えば、音特徴抽出について、以下の処理が行われる。
パターン：スコア値
（０，０，１）：１
（０，１，０）：２
（０，１，１）：３
（１，０，０）：４
（１，０，１）：５
（１，１，０）：６
（１，１，１）：７
このように、音特徴抽出部３０２は、第１特徴量として、１〜７の数字を用いる。

図２８は、音の大小度の計算を説明するための図である。図２８に示す例では、横軸が時間で、縦軸が音の大きさである。音の大きさはラウドネスを用いるが、音の大きさが計算できれば、いずれの指標が用いられてもよい。

音特徴抽出部３０２は、音のレベルによって、例えば７段落のスコアを付ける。音特徴抽出部３０２は、平常時の音のレベル（例えば基準レベル）を１として、音環境の音レベルに合わせて段階的に閾値を設定し、７段階のスコア（第２特徴量）を付けるようにする。基準レベルや閾値は、適宜設定変更可能である。

図２９は、音の継続度の計算を説明するための図である。図２９に示す例では、音の尖度（Kurtosis）を用いて継続度が求められる。まず、音特徴抽出部３０２は、パワースペクトルの最大値（図２９に示す円で囲む部分）に対して、相関値を、相互情報量を使って計算する。

次に、音特徴抽出部３０２は、求めた値をMATLABのhistを用いてヒストグラムを生成する。音特徴抽出部３０２は、作成したヒストグラムに対して、ヒストグラムの形状を把握するための尖度（Kurtosis）を計算する。

最後に、音特徴抽出部３０２は、計算された尖度の値に応じて、以下のとおり７つのスコアを付ける。
条件：スコア値
Kurtosis≧４．５：１
４．５＞Kurtosis≧３．５：２
３．５＞Kurtosis≧２．５：３
２．５＞Kurtosis≧１．５：４
１．５＞Kurtosis≧１．０：５
１．０＞Kurtosis≧０．５：６
０．５＞Kurtosis：７

表現部３０４は、各特徴量に対して、７段階のスコア値を０〜２５５の値に置換し、色表現する。例えば、表現部３０４は、（第１特徴量：第２特徴量：第３特徴量）が（５：２：１）であるとすると、色（Ｇ：Ｒ：Ｂ）について（２５５×１：２５５×（２／５）：２５５×（１／５））で表現可能である。

＜音模様の実験＞
ここで、発明者らが行なった音模様に関する実験について説明する。図３０は、実験地における音模様を表現する所定領域を示す図である。図３０に示すように、本実験地は、図４に示す実験地と同じ場所であり、所定領域は、マイクロフォンアレイ２０近傍の領域ＡＲ１０である。音データは、最長で２秒間のデータであり、ある程度振幅を持った環境音とする。また、領域ＡＲ１０は、５ｍ×５ｍの各ブロック領域に分割され、各ブロック領域に、ＲＧＢ値が求められる。

図３１は、平常時の音模様を示す図である。図３２は、イベント時の音模様を示す図である。図３１及び図３２に示すように、様々な音が発生している（イベント時の）場合には、カラフルな（濃淡の差が大きい）音模様となり、あまり音の変化のない平常時には、青や黄緑が主体の（濃淡の差が小さい）音模様になる。つまり、音模様は、音環境の状況の変化を検知できることが分かる。よって、上述した３つの特徴量を用いる音模様は、音環境の状態を検知、及び把握するために、十分に役立つ効果的なモニタリング手法であると言える。

上述した例では、３つの特徴量を７段階のスコアで表現し、それぞれの値をＲＧＢ値に置き換えて、音模様が描かれる。７段階とする理由は、第１特徴量として音の高低度を算出する際に、高、中、低と３段階に分けてヒストグラムを作成し、そのヒストグラムの大きさで０か１に変換されるため、（高，中，低）に対する値が（０，０，１）から（１，１，１）までの７つに場合分けされるからである。第１特徴量と同様に、他の特徴量も、大きさに応じた７段階のスコアを用いる。

ここで、音の大小の値と継続度の尖度値に関して、７段階に分類する閾値設定は、音環境で取得される音データによって変動するので、それぞれの音環境に応じた場合分けで閾値が決められればよい。

また、音模様を学習データとして用いて、教師データには音模様を計測した日付を用いることにより、音模様を利用した音環境の理解、例えば、どの日に類似しているのか、いつもと違う音模様になっているのかなどが把握できる識別モデルの構築が可能になると考えられる。ここで、識別モデルには、例えば単純ベイズ分類器や判別分析（フィッシャー判別など（参照C.M.Bishop "Pattern Recognition and Machine Learning," Springer, 2006)）が利用できる。

また、他のセンサ、例えば、振動計や画像などの融合により、上述した音模様や識別モデルは、建物の老朽化（倒壊するまでの過程）のモニタリングに利用することが可能である。

また、当システムは、音模様を日付ごとに対応付けてデータベースに保存することにより、所定の音模様に対する類似の音模様を検索することが可能になる。このとき、ブロックごとに類似の音模様が検索されてもよい。

＜動作＞
次に、第２実施形態における情報処理システム１の動作について説明する。図３３は、第２実施形態における音模様表現処理の一例を示すフローチャートである。図３３に示すステップＳ５０２で、取得部２１０は、音データを取得する。

ステップＳ５０４で、推定部３０６は、所定期間毎に、取得された音データの音源位置を推定する。

ステップＳ５０６で、音特徴抽出部３０２は、推定された音源位置に対応する音データの各特徴量を抽出する。第１特徴量を抽出するため、図２０に示すステップＳ１０２の分類処理が実行される。

ステップＳ５０８で、表現部３０４は、抽出された各特徴量に対し、それぞれ各色を示す値に置換し、音を色で表現する。これにより、上述したように、音環境を音模様として色で視覚的に表現し、容易に把握することができるようになる。

なお、上述した第１実施形態及び第２実施形態における処理フローに含まれる各処理ステップは、処理内容に矛盾が生じない範囲で、任意に順番を変更して又は並列に実行することができるとともに、各処理ステップ間に他のステップを追加してもよい。また、便宜上１ステップとして記載されているステップは、複数ステップに分けて実行することができる一方、便宜上複数ステップに分けて記載されているものは、１ステップとして把握することができる。

以上、本発明の実施形態について述べたが、本発明は既述の実施形態に限定されるものではなく、本発明の技術的思想に基づいて各種の変形及び変更が可能である。

１情報処理システム
１０情報処理装置
２０取得装置
１０２制御部
１０８記憶部
２０６処理制御部
２１０取得部
２１２抽出部
２１４分類部
２２４検索部
２２６付与部
２２８解析部
２３４可視化部

Claims

環境音を表す複数の音データを取得する取得部と、
各音データの特徴量を抽出する抽出部と、
抽出された特徴量を用いて前記複数の音データを各カテゴリに分類する分類部と、
前記分類部により分類された各カテゴリに基づく前記音データを、前記音データの識別情報と、前記音データの方向及び／又は前記音データの発生時間とを用いて解析する解析部と、
前記解析部により解析された解析結果を可視化する可視化部と、
を備え、
前記分類部は、
抽出された特徴量を用いて生成された各音データ間の類似度行列に基づく第１評価値及び第２評価値それぞれの更新を繰り返すことにより、最終的なクラスタを生成して各カテゴリに分類し、前記類似度行列の自己相関は、前記第１評価値及び前記第２評価値の算出過程において生成されたクラスタ内の外れデータに関する類似度を用いて設定され、前記第１評価値は、クラスタ中心の候補データが、クラスタに属するメンバーデータのクラスタ中心になることの適切さを示す値であり、前記第２評価値は、前記メンバーデータが、前記候補データのクラスタに属することの適切さを示す値である、情報処理装置。
前記各カテゴリに基づく前記音データの第１特徴量、第２特徴量及び第３特徴量を抽出する音特徴抽出部と、
前記第１特徴量を、第１色により表現し、前記第２特徴量を、第２色により表現し、かつ、前記第３特徴量を、第３色により表現する表現部と、をさらに備える、請求項１に記載の情報処理装置。
前記音データに対して、所定領域内の音源位置を推定する推定部をさらに備え、
前記表現部は、
前記音源位置の音データを、前記第１色、前記第２色、及び前記第３色で表現する、請求項２に記載の情報処理装置。
前記音特徴抽出部は、
前記カテゴリの中心周波数に基づく前記音データの高低を示す前記第１特徴量と、前記音データの大小を示す前記第２特徴量と、前記音データの継続性を示す前記第３特徴量とを抽出する、請求項２に記載の情報処理装置。
前記分類部は、
前記類似度行列の各列ベクトルにおける最大値の標準偏差に基づいて、該列ベクトル内の類似度を選択し、選択した類似度を前記類似度行列の自己相関の初期値に設定する、請求項１に記載の情報処理装置。
前記分類部は、
前記第１評価値及び前記第２評価値、並びに前記自己相関の値それぞれの更新を繰り返すことにより、前記最終的なクラスタを生成する、請求項１乃至５いずれか一項に記載の情報処理装置。
前記分類部は、
前記特徴量を用いて前記類似度行列を生成する生成部と、
前記第１評価値及び前記第２評価値を算出する算出部と、
前記第１評価値及び前記第２評価値の算出過程において生成されたクラスタ内の外れデータを求め、該外れデータの前記自己相関の値を、他の値に更新する更新部と、
更新された値を用いて前記算出部により新たに算出された第１評価値及び第２評価値に基づく値が収束するか否かを判定する判定部と、
を含む、請求項１乃至６いずれか一項に記載の情報処理装置。
前記更新部は、
前記外れデータに関する前記類似度行列の列ベクトル内の類似度に基づく値を、前記他の値に設定する、請求項７に記載の情報処理装置。
前記更新部は、
前記列ベクトル内の類似度を所定順に並べ替え、所定番目の類似度を、前記他の値に設定する、請求項８に記載の情報処理装置。
前記音データは、マイクにより集音された音データであり、
前記特徴量は、周波数領域におけるパワースペクトルに関する特徴量である、請求項１乃至９いずれか一項に記載の情報処理装置。
前記特徴量は、前記パワースペクトルに非負値行列因子分解を適用して得られた基底ベクトル、前記パワースペクトルの次元を揃えた分散行列、前記パワースペクトルにメルフィルタバンク分析を行って得られたベクトル、及び前記非負値行列因子分割により得られた係数ベクトルと前記基底ベクトルを用いて再構成されたパワースペクトルの第１主成分ベクトルのうちの少なくとも１つを含む、請求項１０に記載の情報処理装置。
前記分類部は、
前記類似度行列に含まれる類似度を、前記特徴量に含まれる各ベクトル又は前記分散行列の類似度に重み付けを行うことで算出する、請求項１１に記載の情報処理装置。
種類が異なる各音データと、該種類を示す識別情報とを関連付けて記憶する記憶部と、
前記分類部により生成されたクラスタ中心の音データにマッチングする、前記記憶部に記憶された音データを検索する検索部と、
検索された音データに関連付けられた識別情報を含むラベルを、前記クラスタ中心の音データに付与する付与部と、
をさらに備える、請求項１乃至１２のいずれか一項に記載の情報処理装置。
前記解析部は、
前記ラベルに含まれる識別情報を用いて前記複数の音データを解析する、請求項１３に記載の情報処理装置。
前記取得部により取得された音データは、マイクロフォンアレイにより取得された音データであり、
前記ラベルは、前記音データの方向及び／又は前記音データの発生時間をさらに含む、請求項１４に記載の情報処理装置。
前記解析部は、
前記複数の音データにおける各識別情報の割合を算出し、該割合を解析結果にする、請求項１５に記載の情報処理装置。
前記可視化部は、
前記音データの方向及び／又は前記音データの発生時間を用いて、前記解析結果をグラフ化する、請求項１６に記載の情報処理装置。
前記解析部は、
前記ラベル付けされた音データと、前記特徴量とを用いてアンサンブル学習を行う学習部と、
前記学習部による学習により、前記音データに関するモデルを構築する構築部と、を含む、請求項１５に記載の情報処理装置。
前記可視化部は、
前記モデルを用いて解析された解析結果が表示部において可視化されるように処理する、請求項１８に記載の情報処理装置。
環境音を表す複数の音データを取得する取得部と、
各音データの特徴量を抽出する抽出部と、
抽出された特徴量を用いて前記複数の音データを各カテゴリに分類する分類部と、
前記分類部により分類された各カテゴリに基づく前記音データを、前記音データの識別情報と、前記音データの方向及び／又は前記音データの発生時間とを用いて解析する解析部と、
前記解析部により解析された解析結果を可視化する可視化部と、
を備え、
前記分類部は、
抽出された特徴量を用いて生成された各音データ間の類似度行列に基づく第１評価値及び第２評価値それぞれの更新を繰り返すことにより、最終的なクラスタを生成して各カテゴリに分類し、前記類似度行列の自己相関は、前記第１評価値及び前記第２評価値の算出過程において生成されたクラスタ内の外れデータに関する類似度を用いて設定され、前記第１評価値は、クラスタ中心の候補データが、クラスタに属するメンバーデータのクラスタ中心になることの適切さを示す値であり、前記第２評価値は、前記メンバーデータが、前記候補データのクラスタに属することの適切さを示す値である、情報処理システム。
コンピュータが、
環境音を表す複数の音データを取得することと、
各音データの特徴量を抽出することと、
抽出された特徴量を用いて前記複数の音データを各カテゴリに分類することと、
分類された各カテゴリに基づく前記音データを、前記音データの識別情報と、前記音データの方向及び／又は前記音データの発生時間とを用いて解析することと、
解析された解析結果を可視化することと、
を実行し、
前記分類することは、
抽出された特徴量を用いて生成された各音データ間の類似度行列に基づく第１評価値及び第２評価値それぞれの更新を繰り返すことにより、最終的なクラスタを生成して各カテゴリに分類し、前記類似度行列の自己相関は、前記第１評価値及び前記第２評価値の算出過程において生成されたクラスタ内の外れデータに関する類似度を用いて設定され、前記第１評価値は、クラスタ中心の候補データが、クラスタに属するメンバーデータのクラスタ中心になることの適切さを示す値であり、前記第２評価値は、前記メンバーデータが、前記候補データのクラスタに属することの適切さを示す値である、情報処理方法。
コンピュータに、
環境音を表す複数の音データを取得することと、
各音データの特徴量を抽出することと、
抽出された特徴量を用いて前記複数の音データを各カテゴリに分類することと、
分類された各カテゴリに基づく前記音データを、前記音データの識別情報と、前記音データの方向及び／又は前記音データの発生時間とを用いて解析することと、
解析された解析結果を可視化することと、
を実行させ、
前記分類することは、
抽出された特徴量を用いて生成された各音データ間の類似度行列に基づく第１評価値及び第２評価値それぞれの更新を繰り返すことにより、最終的なクラスタを生成して各カテゴリに分類し、前記類似度行列の自己相関は、前記第１評価値及び前記第２評価値の算出過程において生成されたクラスタ内の外れデータに関する類似度を用いて設定され、前記第１評価値は、クラスタ中心の候補データが、クラスタに属するメンバーデータのクラスタ中心になることの適切さを示す値であり、前記第２評価値は、前記メンバーデータが、前記候補データのクラスタに属することの適切さを示す値である、プログラム。
コンピュータに、
環境音を表す複数の音データを取得することと、
各音データの特徴量を抽出することと、
抽出された特徴量を用いて前記複数の音データを各カテゴリに分類することと、
分類された各カテゴリに基づく前記音データを、前記音データの識別情報と、前記音データの方向及び／又は前記音データの発生時間とを用いて解析することと、
解析された解析結果を可視化することと、
を実行させ、
前記分類することは、
抽出された特徴量を用いて生成された各音データ間の類似度行列に基づく第１評価値及び第２評価値それぞれの更新を繰り返すことにより、最終的なクラスタを生成して各カテゴリに分類し、前記類似度行列の自己相関は、前記第１評価値及び前記第２評価値の算出過程において生成されたクラスタ内の外れデータに関する類似度を用いて設定され、前記第１評価値は、クラスタ中心の候補データが、クラスタに属するメンバーデータのクラスタ中心になることの適切さを示す値であり、前記第２評価値は、前記メンバーデータが、前記候補データのクラスタに属することの適切さを示す値である、プログラムを記録したコンピュータ読み取り可能な記録媒体。