JP6741357B2 - マルチ関連ラベルを生成する方法及びシステム - Google Patents

Description

本発明は、包括的には、ラベル分類の方法及びシステムに関し、より詳細には、マルチラベル分類の方法及びシステムに関する。

近年、デジタルカメラ、パーソナルコンピューター及びスマートフォン等の電子デバイスを用いて、人間の手によって種々のタイプのデータを容易に生成することができる。これらのデータは、例えば、画像、音声信号、ビデオ、テキスト文書等であり、これらは、いくつかのファイル名と共に記憶媒体に書き込まれる。しかしながら、そのようなデータファイルを何らかの関心トピックに従って分類することは容易ではない。何故ならば、各データファイルのコンテンツを耳と目とによってチェックする必要があるためである。これは、大量のデータのためには時間が掛かるとともに労力を要する。

この種の問題を解決するために、データを自動的にアノテートする方法が有用である。１つの従来の手法は、１つのラベルを各データインスタンスに割り当てることである。例えば、大統領選挙を説明するテキスト文書は、ラベル「政治」でアノテートすることができる。バスケットボールの試合を報告する別の文書は、ラベル「スポーツ」でアノテートすることができる。これは、単一ラベル分類手法であり、その目標は、所定のラベルセットから、データインスタンスに対する最も関連度の高いラベルを推測することである。この手順を自動化方法において実行するために、人間の手でアノテートされたラベルとデータインスタンスとの対のセットでトレーニングされた分類器を用いて、新たなデータインスタンスごとに適切なラベルを予測する。

しかしながら、この手法は、現実世界のデータを有意なラベルでアノテートするのには十分ではない。何故ならば、多くのデータは、複数のトピック又はカテゴリーに関連することが多いためである。

例えば、ヘルスケアシステムについてのニュース記事は、２つのトピック、「医療問題」及び「政治」に関連する場合がある。さらに、異なる細分度を有する複数のラベルを１つのインスタンスに割り当てる可能性もあり、例えば、ボストンセルティックス対シカゴブルズのバスケットボールの試合についての記事は、複数のラベル、「スポーツ」、「バスケットボール」、「ＮＢＡ」及び「ボストンセルティックス」でアノテートすることができる。このように、複数のラベルでのアノテーションは、単一のラベルでのアノテーションよりも多くの情報を含む。

複数のラベルを各データインスタンスに割り当てることは、マルチラベル分類問題であると考えられ、このマルチラベル分類問題は、単一ラベル分類問題よりも複雑である。何故ならば、各インスタンスについて複数のラベルを選択する必要があるものの、選択すべきラベルの個数は未知であるためである。

マルチラベル分類に対する基本的な手法は、バイナリ関連度（ＢＲ：binary relevance）方法である。Ｍ個の所定のラベルのセットが割り当てられるものとすると、問題は、Ｍ個の独立バイナリ分類問題のセットに変換され、ここで、ラベルごとに１つの分類器がトレーニングされ、対応するラベルがデータインスタンスに関連しているか否かを予測するのに用いられる。そのような複数のバイナリ分類器をデータインスタンスに適用することによって、対応する分類器が関連していると予測したラベルのセットを取得することが可能である。しかしながら、これらのバイナリ分類器は、基本的には独立してトレーニングされるとともに適用される。それゆえ、ラベルが互いに相関していてもラベル間依存は無視される。例えば、「スポーツ」と「野球」とは密接に相関しているが、「スポーツ」と「大統領選挙」とは密接に相関しているわけではない。この種の知識は、通常、マルチラベル分類の精度を改善するのに役立つ。

分類器設計又はトレーニングに用いられる目的関数においてラベル間依存を考慮するためにいくつかの方法が提案されている。

図１は、関連技術の分器類チェーン（ＣＣ）方法１００を示しており、この図において、Ｍ個のバイナリ分類器のセットが１つのチェーンとして設計されている。

ＣＣ方法１００は、図に示すように、入力データ１０１、特徴抽出器１０２、分類器１０３〜１０６として図示される複数のバイナリ分類器を利用する。

入力データインスタンス１０１が与えられると、特徴抽出器１０２によって特徴ベクトルＸが抽出され、特徴ベクトルＸは、第１のバイナリ分類器１０３にフィードされる。第１のバイナリ分類器１０３によって第１のラベルに対するバイナリ関連度ｒ_１が推測され、ｒ_１は、Ｘとともに第２のバイナリ分類器１０４にフィードされる。第２のバイナリ分類器１０４によって第２のラベルに対するバイナリ関連度ｒ_２が推測され、ｒ_２は、Ｘとともに第３のバイナリ分類器１０５にフィードされる。第３のバイナリ分類器１０５によって第３のラベルに対するバイナリ関連度ｒ_３が推測される。

このようにして、バイナリ分類プロセスが最後の第Ｍの分類器１０６まで繰り返される。また、この方法は、ラベル間依存を考慮し、ラベル間依存は、チェーンにおける先行の分類器によって与えられるが、この手法は、２段階トレーニングプロセスを必要とせず、後続する分類器をトレーニングするのにグラウンドトゥルースバイナリ関連度を用いることができる。ＣＣ方法は、マルチラベル分類方法の評価に用いられるほとんどのメトリックにおいて、単純なＢＲ方法及び積層ＢＲ方法よりも優れている。

しかしながら、ＣＣ方法は、推測フレーズにおいて多数のＭステップバイナリ分類を必要とし、先行する分類器によって与えられたバイナリ分類結果が後続する分類器にフィードされる必要がある。これらのステップは並列化することができない。何故ならば、分類器ごとの入力ベクトルは、チェーンにおける先行する分類器の出力に依存するためである。Ｍの数が大きい場合、マルチラベル分類の計算時間が長くなる。

ＣＣ方法は、ラベル間依存が直接対処されるので効果的であるように見える。しかしながら、この方法は、所定のラベルの数が大きい場合、推測フェーズにおいて多くの反復ステップを必要とする。これは、マルチラベル分類について所定のラベルの大きなセットにおける種々のラベルで各データをアノテートするためには、大きな制限である。

したがって、マルチラベル分類を、推測フェーズにおけるより少ない反復ステップと、より安価なコストとで実行する必要がある。

本発明は、包括的には、画像、音声信号、及びテキスト文書等の未加工データを、データのコンテンツに関連したラベルのセットでアノテートすることに関する。

本発明のいくつかの実施形態は、マルチ関連ラベルを生成する方法によって、関心のターゲットデータを大きなデータセットから迅速に発見することができ、多くの未加工データを自動的に記憶して構造化データフォーマットにすることができ、そして、インテリジェントシステムを構築することができ、これにより、所与の画像、音声、及び／又は文書データに従ってユーザーにサービスが提供されるという認識に基づいている。上記マルチ関連ラベルを生成する方法は、特徴抽出器によって入力データを含む入力ベクトルから特徴ベクトルを抽出するステップと、ラベル予測器によって、特徴ベクトルに基づいて関連度スコア（relevant scores）を有する関連ラベルを含む関連ベクトルを求めるステップと、先行のラベル選択において選択されていた事前選択ラベルをマスキングすることによってバイナリマスキングベクトルを更新するステップと、関連ラベルから事前選択ラベルを除外するように関連ラベルベクトルが更新されるように、更新されたバイナリマスキングベクトルを関連ベクトルに適用するステップと、更新された関連ラベルベクトルの関連度スコアに基づいて更新された関連ラベルベクトルから関連ラベルを選択するステップとを含む。

したがって、本発明によるいくつかの実施形態において、マルチラベル分類の方法及びシステムの使用により、中央処理装置（ＣＰＵ）使用量、電力消費及び／又はネットワーク帯域幅使用量を低減することができる。

本発明の実施形態は、マルチラベル分類の方法及びシステムを提供し、これにより、所定のラベルの大きなセットを用いる場合でも、短い計算時間で高い予測精度が達成される。

さらに、本発明の別の実施形態は、マルチ関連ラベルを生成するシステムであって、入力デバイスから入力データを受信する入力インターフェースと、入力インターフェース、及びアルゴリズムモジュールのコードを記憶するメモリに接続されたプロセッサとを備え、プロセッサは、入力データに応答して、アルゴリズムモジュールの命令に従って複数のステップを実行し、各ステップは、特徴抽出器によって入力データを含む入力ベクトルから特徴ベクトルを抽出するステップと、ラベル予測器によって、特徴ベクトルに基づいて関連度スコアを有する関連ラベルを含む関連ベクトルを求めるステップと、先行のラベル選択において選択されていた事前選択ラベルをマスキングすることによってバイナリマスキングベクトルを更新するステップと、関連ラベルから事前選択ラベルを除外するように関連ラベルベクトルが更新されるように、更新されたバイナリマスキングベクトルを関連ベクトルに適用するステップと、更新された関連ラベルベクトルの関連度スコアに基づいて更新された関連ラベルベクトルから関連ラベルを選択するステップとを含む、システムを開示する。

マルチラベル分類の関連技術の分類器チェーン（ＣＣ）方法のブロック図である。 本発明の実施形態によるマルチラベル分類の方法のブロック図である。 本発明の実施形態によるマルチラベル分類のシステムのブロック図である。 本発明の実施形態によって用いられる、双方向長期短期記憶（ＢＬＳＴＭ：bidirectional long short-term memory）再帰型ニューラルネットワークの概略図である。 本発明のいくつかの実施形態によるマルチラベル分類システムのブロック図である。 或る所定のタスクについてマルチラベル分類を実行することによって得られた評価結果の図である。

本発明の様々な実施形態について、図面を参照して以下に説明する。図面は縮尺どおり描かれておらず、類似の構造又は機能の要素は、図面全体にわたって同様の参照符号によって表されることに留意されたい。図面は、本発明の特定の実施形態の説明を容易にすることのみを意図することにも留意されたい。図面は、本発明の網羅的な説明として意図されるものでもなければ、本発明の範囲を限定するものとして意図されるものでもない。加えて、本発明の特定の実施形態と併せて説明される態様は、必ずしもその実施形態に限定されず、本発明の任意の他の実施形態において実施することができる。

本発明のいくつかの実施形態は、既に生成されたラベルの関連度スコアをマスキングすることによって、同じデータインスタンスについて同じラベルが再度生成されることを抑制することが可能であるという認識に基づいている。

ラベル間依存は、ＣＣ方法における場合のように直接考慮されるが、所定のラベル全てにわたる反復は必要とされない。何故ならば、分類器は、各ラベルのバイナリ関連度ではなく、１つの関連ラベルを予測するためである。したがって、反復の数は、データインスタンスに割り当てられたラベルの数のみである。

マルチラベル分類システムは、カメラ、画像スキャナー、マイクロフォン、ハードディスクドライブ及びコンピューターネットワーク等の入力デバイスから入力データを受信する。システムは、この入力データについて特徴抽出モデル及びラベル生成モデルを用いてマルチラベル分類方法を実行し、生成されたラベルを、ハードディスクドライブ、ディスプレイモニター、及びコンピューターネットワーク等の出力デバイスに出力する。

本発明のいくつかの実施形態は、マルチラベル分類の方法及びシステムを提供する。

図２は、本発明のいくつかの実施形態によるマルチラベル分類について、マルチラベル分類方法２００のブロック図を示している。

本発明のいくつかの実施形態において、マルチラベル分類方法２００は、入力データ２０１、特徴抽出器２０２、ラベル予測器２０３、バイナリマスキング２０４及びラベル選択器２０５を利用して、出力ラベル２０６を提供する。

マルチラベル分類方法２００は、特徴抽出器２０２、ラベル予測器２０３、バイナリマスキング２０４及びラベル選択器２０５を含むアルゴリズムモジュールを用いて実行することができる。アルゴリズムモジュール２０２〜２０５は、プログラムコードとしてメモリ又は記憶装置に記憶することができ、マルチラベル分類アルゴリズムモジュール２５０（図５に示される）と称される場合がある。方法２００がメモリ及び記憶装置に接続されたプロセッサを用いて実行されるとき、アルゴリズムモジュールは、プロセッサに、このアルゴリズムモジュールの命令に従って方法２００を実行させる。方法２００は、特徴抽出器によって入力データを含む入力ベクトルから特徴ベクトルを抽出するステップと、ラベル予測器によって、特徴ベクトルに基づいて関連度スコアを有する関連ラベルを含む関連ベクトルを求めるステップと、先行のラベル選択において選択されていた事前選択ラベルをマスキングすることによってバイナリマスキングベクトルを更新するステップと、関連ラベルから事前選択ラベルを除外するように関連ラベルベクトルが更新されるように、更新されたバイナリマスキングベクトルを関連ベクトルに適用するステップと、更新された関連ラベルベクトルの関連度スコアに基づいて更新された関連ラベルベクトルから関連ラベルを選択するステップとを実行する。

本発明のいくつかの実施形態において、方法２００は、マルチラベル分類を、ラベルを反復的に生成することによって実行する。方法２００は、（ｉ）入力データを含む入力ベクトルから特徴ベクトルを抽出するステップと、（ｉｉ）上記特徴ベクトル及び先行して生成されたラベルに対する、所定のラベルセット内の各ラベルの関連度スコア又は確率を計算するステップと、（ｉｉｉ）先行の反復において生成されたラベルの関連度スコア又は確率をマスキングするステップであって、ただし、これらのスコア又は確率は、小さな定数、例えば０に設定することができる、ステップと、（ｉｖ）最も高いスコア又は確率を有するラベルを選択するステップと、（ｖ）選択されたラベルを生成されたラベルのセットに追加するステップと、（ｖｉ）「ラベルがこれ以上生成されない」ことを示す特別なラベルがステップ（ｉｖ）において選択されるまでステップ（ｉｉ）に戻るステップとを含むことができる。

本発明によるいくつかの実施形態において、マルチラベル分類システム５００は、入力デバイスから入力データを受信し、この入力データについて特徴抽出モデル及びラベル生成モデルを用いてマルチラベル分類方法を実行し、生成されたラベルを出力デバイスに出力することができる。

方法２００及びシステム５００は、現行技術水準の方法と比較して、ラベル間依存を考慮することによる、より高いラベリング精度と、より少ない反復数での高速な推測プロセスとの双方を達成することができる。

さらに、本発明のいくつかの実施形態によるマルチラベル分類器装置は、再帰型ニューラルネットワークとして設計することができる。この場合、マルチラベル分類器装置は、各反復ステップにおいて、入力特徴と先行して生成されたラベルとの双方について最も関連度の高いラベルを予測する。

マルチラベル分類方法２００は、以下で詳述される。マルチラベル分類について、所定のラベルセットＬ＝｛ｌ_ｍ│ｍ＝１，．．．，Ｍ｝を有するものとし、ここで、Ｍは、Ｌにおけるラベルの数を示す。

入力データインスタンス２０１が、特徴抽出器２０２に与えられ、データインスタンスは、データインスタンスの顕著な特徴を含む、Ｄ次元特徴ベクトル

に変換される。次いで、特徴ベクトルｘは、ラベル予測器２０３に与えられ、ラベル予測器２０３は、特徴ベクトル及び先行して生成されたラベルを用いて各ラベルの関連確率（関連度スコア）を計算する。次いで、ラベル予測器は、関連確率のＭ次元ベクトルを出力する。本発明のいくつかの実施形態において、ラベル予測器２０３は、関連度スコアを、再帰型ニューラルネットワークを用いて計算することができる。

バイナリマスキングモジュール２０４は、関連確率ベクトルをマスキングし、ここで、先行して生成されたラベルに対応するベクトル要素は、０に設定される。ラベル選択器２０５は、マスキングされた関連確率ベクトル内で確率が最も高い１つのラベルを選択する。選択されたラベルが生成され、ラベル予測器２０３に、そしてバイナリマスキングモジュール２０４に送信されて、次のラベルを生成する。「ラベルがこれ以上生成されない」ことを示す特別なラベルが選択されるまで、ラベル予測２０３からラベル選択２０５までのプロセスが反復される。Ｎ回の反復後、所与のデータインスタンスについて、関連ラベルのセット、Ｒ＝｛ｌ^（ｎ）∈Ｌ│ｎ＝１，．．．，Ｎ｝が取得される。各処理モジュールの詳細な説明が、以下のセクションにおいて提示される。

本発明のいくつかの実施形態によれば、関連ラベルを選択することは、再帰型ニューラルネットワークによって計算される関連度スコアに基づいて実行することができる。

特徴抽出
特徴抽出器２０２は、入力データインスタンスを、データの分類に有用である顕著な特徴を含む特徴ベクトルに変換する。データが長さＴのワードシーケンスのテキスト文書である場合、このシーケンスはまず、ワードＩｄナンバーのシーケンス、Ｗ＝ｗ_１，ｗ_２，．．．，ｗ_ｔ，．．．，ｗ_Ｔに変換され、ここで、任意のｔ＝１，．．．，Ｔについて、ｗ_ｔは、１≦ｗ_ｔ≦｜Ｖ｜であるような正の整数である。Ｖは、語彙と称される所定のワードのセットであり、このセット内の各ワードは、一意のＩｄナンバーを有し、｜Ｖ｜は、語彙サイズを表す。

本発明のいくつかの実施形態によれば、テキスト文書からの特徴抽出は、いくつかの方法によって実行することができる。例えば、「バッグオブワード（bag-of-words）」を用いることができ、これにより、ワードＩｄシーケンスが｜Ｖ｜次元バイナリ特徴ベクトルｘ^ＢＯＷ∈｛０，１｝^｜Ｖ｜に変換され、このベクトル内の第ｉの要素ｘ^ＢＯＷ［ｉ］は、以下のように取得される。

このベクトルは、どのワードが文書内に含まれるのかを表す。

さらに、特徴抽出のために特徴抽出モデルを用いることが可能である。近年、特徴抽出モデルとしてニューラルネットワークが用いられている。

入力データがテキスト文書である場合、各ワード識別（Ｉｄ）ナンバーｗ_ｔ∈Ｗはまず、ワンホット（one-hot）ベクトル

に変換され、ここで、このベクトルの第ｉの要素

は、以下のように取得することができる。

次いで、ワンホットベクトルのシーケンス

が、再帰型ニューラルネットワーク（ＲＮＮ）に与えられ、特徴ベクトルのシーケンスを、ＲＮＮの活性化ベクトルのシーケンスとして取得することができる。例えば、双方向長期短期記憶（ＢＬＳＴＭ）ＲＮＮを用いることができる。

図３は、双方向長期短期記憶（ＢＬＳＴＭ）再帰型ニューラルネットワーク（ＲＮＮ）３００の構造を示している。ＢＬＳＴＭ ＲＮＮ３００は、ＢＬＳＴＭネットワーク３００、又はネットワーク３００と称される場合がある。

ＢＬＳＴＭネットワーク３００は、入力層３０１、射影層（projection layer）３０２、順方向ＬＳＴＭ層３０５、逆方向ＬＳＴＭ層３０４、及び出力層３０５を含む。

ＢＬＳＴＭネットワーク３００の入力層３０１において、入力データをＢＬＳＴＭネットワーク３００にフィードするために、ワンホットベクトル

が取得される。次いで、射影層３０２において、Ｐ×｜Ｖ｜行列

とＰ次元バイアスベクトル

とでのアフィン変換を用いてＰ次元ベクトル

が計算される。すなわち、

である。

この変換は、｜Ｖ｜からＰへの次元削減に用いられるものであり、ここで、｜Ｖ｜は、通常５０００を超え、一方、Ｐは、１００〜３００程度のより小さな数として選択される。

順方向ＬＳＴＭ層３０３において、ＬＳＴＭ関数を用いてＨ次元活性化ベクトル

が計算され、

この式は、以下のように計算される。

ここで、

であり、σ（・）は、要素ごとのシグモイド関数であり、ｔａｎｈ（・）は、双曲線正接関数であり、ｉ_ｔ、ｆ_ｔ、ｏ_ｔ及びｃ_ｔは、ｘ_ｔについてのそれぞれ、入力ゲート、忘却ゲート、出力ゲート、及びセル活性化ベクトルであり、

であることを仮定する。

は、ベクトル同士の要素ごとの乗算を示す。重み行列

及びバイアスベクトルｂ_ｚは、ＬＳＴＭ関数のパラメーターであり、これらは、下付き文字ｚ∈｛ｘ，ｈ，ｉ，ｆ，ｏ，ｃ｝によって識別される。例えば、

は、隠れ対入力ゲート行列（hidden-to-input gate matrix）であり、

は、入力対出力ゲート行列（input-to-output gate matrix）である。活性化ベクトルｈ_ｔは、入力ベクトルｘ_ｔ及び先行の活性化ベクトルｈ_ｔ−１から再帰的に取得され、ここで、ｈ_０は、Ｈ次元の０ベクトルであると仮定する。

一方で、逆方向ＬＳＴＭ層３０４において、ｔ＝Ｔから１までという逆順で活性化ベクトルｈ’_ｔも取得され、ここで、逆方向ＬＳＴＭ関数は、以下のように適用される。

ここで、ＬＳＴＭ_Ｂ（・）は、順方向ＬＳＴＭ層３０３と同じように、以下のように計算され、

ｈ’_Ｔ＋１は、Ｈ次元の０ベクトルであると仮定する。

最終的に、ｔ＝１，．．．，Ｔについて、順方向活性化ベクトル及び逆方向活性化ベクトルの結合ベクトル（concatenated vector）

が得られ、特徴ベクトルシーケンスが取得される。

図３におけるように、出力層３０５が、ネットワーク３００に含まれる。本発明のいくつかの実施形態において、この層３０５は、ネットワークが特徴抽出に用いられる場合、無視することができる。出力層３０５は、ネットワークのトレーニングフェーズにおいて用いることができる。

画像データの場合、スケール不変特徴変換（ＳＩＦＴ：Scale-Invariant Feature Transform）及び勾配方向ヒストグラム（ＨＯＧ：Histograms of Oriented Gradients）が利用可能である。音声データの場合、メル周波数ケプストラル係数（ＭＦＣＣ：Mel-Frequency Cepstral Coefficients）が広く用いられている。

さらに、これらの基本的な特徴をニューラルネットワークと組み合わせることが可能であり、この組み合わせにおいて、基本的な特徴はまず抽出され、次いで、ニューラルネットワークにフィードされ、ニューラルネットワークの出力ベクトルが特徴ベクトルとして取得される。特徴抽出のために未加工データをニューラルネットワークに直接フィードすることも可能である。

特徴抽出にニューラルネットワークを用いることの利点は、抽出された特徴ベクトルを用いる分類器もまたニューラルネットワークである場合、特徴抽出器、すなわちニューラルネットワークを、この分類器と共同でトレーニングすることができることである。結果的に、特徴抽出器は、分類器のために、分類精度を改善する、より良好な特徴ベクトルを出力することができる。

マルチラベル分類のシーケンス生成器
本発明の実施形態によるシーケンス生成器が、図２に示されている。特徴抽出器２０２によって得られた１つの特徴ベクトル又は特徴ベクトルのシーケンスは、ラベル予測器２０３にフィードされ、このラベル予測器は、入力ベクトル（複数の場合もある）のラベルの関連確率を推測する。ここで、ラベル予測器として注目ベース再帰シーケンス生成器（ＡＲＳＧ：attention-based recurrent sequence generator）を用いる一例を示す。

であるような特徴ベクトルのシーケンスＸ＝ｘ_１，．．．，ｘ_ｔ，．．．，ｘ_Ｔを所与とすると、ＡＲＳＧは、ラベルの関連確率を反復的に推測する。

ＡＲＳＧは、注目機構（attention mechanism）を有する再帰型ニューラルネットワークである。注目機構は、複数の特徴ベクトル、例えばベクトルのシーケンスを、これらのベクトルの重み付き平均、すなわち、

として１つのベクトルに合計するのに用いられ、ここで、ｇ_ｎは、第ｎの反復における合計されたベクトルであり、α_ｎ，ｔは、第ｎの反復における第ｔのベクトルの注目重み（attention weight）であり、ここで、

であり、α_ｎ，ｔ≧０である。

高い注目重みを有する特徴ベクトルは、ｇ_ｎにおいて支配的であるので、いくつかの特定の特徴ベクトルを、注目重みを適切に推定することによって、良好な分類のために強調することができる。例えば、入力データが特定のフレーズに対応する特徴ベクトルを含むテキスト文書である場合、特徴ベクトルを、そのフレーズに密接に関連したラベルを予測するために強調することができる。

ＡＲＳＧは、注目機構を有する再帰型ニューラルネットワークである。ＡＲＳＧの隠れ活性化ベクトルを、ＬＳＴＭ関数を用いて以下のように取得することができる。

ここで、

は、ＡＲＳＧのＫ次元活性化ベクトルである。ｙ_ｎは、第ｎの反復における、生成されたラベルに対応するＪ次元ベクトルであり、これは、生成されたラベルをＭ次元ワンホットベクトルに変換した後にこのラベルをＪ次元ベクトルに射影することによって、以下のように取得される。

ここで、関数ｏｎｅｈｏｔ（）は、ラベルを、ラベルＩｄナンバーに対応する要素の場合には１を有し、他の要素の場合には０を有するワンホットベクトルに変換する。

及び

は、それぞれラベルの射影行列及びバイアスベクトルである。

ｓ_ｎは、先行の活性化ベクトルｓ_ｎ−１、生成されたラベルｌ^（ｎ）、及び合計された特徴ベクトルｇ_ｎを用いて更新されるので、これは、生成されたラベル及び付随した特徴ベクトルのコンテキスト情報を第ｎの反復まで保持する。

第ｎの反復におけるＭ次元関連確率ベクトルγ_ｎは、コンテキスト情報ｓ_ｎ−１及び現在の合計された特徴ベクトルｇ_ｎを用いて以下のように取得され、

ここで、

及び

は、変換行列であり、

は、バイアスベクトルである。ｓｏｆｔｍａｘ（）関数は、Ｄ次元ベクトルｘについて、以下のように計算される。

注目重みが同じように、以下のように計算され、

及び

ここで、

及び

は、変換行列であり、

は、バイアスベクトルであり、

は、ベクトルである。ｅ_ｎ，ｔは、所与のコンテキストｓ_ｎ−１における入力特徴ｘ_ｔの重要度を表す。次いで、ｅ_ｎ，ｔは、

かつα_ｎ，ｔ≧０であるように、注目重みα_ｎ，ｔに変換される。

バイナリマスキングモジュール２０４において、既に生成されたラベルがラベル選択器２０５において再度選択されることがないように関連確率ベクトルγ_ｎがマスキングされる。ＡＲＳＧはマルチラベル分類のために作成されたものではないので、この機構は、オリジナルのＡＲＳＧには含まれていない。このバイナリマスキングによって、同じラベルを再度生成して不必要な反復を実行することを回避することができる。

バイナリマスキングモジュール２０４において、関連確率ベクトルγ_ｎは、バイナリベクトルＢを用いてマスキングされ、このバイナリベクトルの要素は、以下のように与えられる。

ここで、ｌは、ラベルＩｄナンバーを示し、Ｓ_ｎ−１は、第（ｎ−１）の反復までに生成されたラベルのセットである。Ｂ及びγ_ｎの要素ごとの乗算を用いて、マスキングされた関連確率ベクトルγ_ｎ’が以下のように取得される。

ラベル選択器２０５において、マスキングされた関連確率ベクトルγ_ｎ’に基づいて、第ｎのラベルが以下のように選択され、

ここで、各ラベルがラベルＩｄナンバーとして表されると仮定する。

ｎ＝１から、「ラベルがこれ以上生成されない」ことを示す特別なラベル、例えば、＜ｎｏｌ＞が選択されるまで、上記のラベル生成プロセスを繰り返すことによって、所与の入力特徴ベクトルについて、関連ラベルのセット、Ｒ＝｛ｌ^（ｎ）∈Ｌ│ｎ＝１，．．．，Ｎ｝が最終的に取得され、ここで、Ｎは、実際に実行された反復数である。

次の反復について、

によって第ｎのラベルを選択した後にバイナリベクトルを更新することができ、ここで、全てのＢの要素は、ラベル生成を開始する前に、１に初期設定されている。

シーケンス生成器の手順は、アルゴリズム１に要約される。行１〜４は、初期化ステップに対応する。行１において、初期ラベルｌ^（０）は、ラベルシーケンスの開始を表す特別なラベル「＜ｓｔａｒｔ＞」に設定され、ここで、Ｉｄ（）は、所与のラベルのＩｄナンバーを返す関数である。行２において、ｌ^（０）は、ｙ_０に変換される。行３は、ｙ_０から初期活性化ベクトルｓ_０を取得し、ここで、

は、Ｋ次元０ベクトルであり、

は、Ｚ次元０ベクトルである。行４は、全ての要素が１であるような初期バイナリマスキングベクトルを用意する。

行５〜１７において、ｎ＝Ｎ_ｍａｘまでラベル生成ステップが反復されるが、ただし、特別なラベル「＜ｎｏｌ＞」が行１１において選択された場合、アルゴリズムは、行１３において反復ループから抜け出す。Ｎ_ｍａｘは、任意の自然数に設定することができるが、Ｍより大きくするべきではない。何故ならば、アルゴリズムは、Ｍ個のラベルより多くのラベルを生成することはないためである。アルゴリズムは、最悪の場合Ｎ_ｍａｘ回反復する可能性があるが、通常は、特別なラベルを選択することによって遥かに少ない反復で終了する。

アルゴリズム１：
入力：Ｘ＝ｘ_１，．．．，ｘ_Ｔ
出力：Ｒ＝｛ｌ^（１），ｌ^（２），．．．｝

マルチラベル分類システム
図４は、本発明の実施形態によるマルチラベル分類の装置のブロック図を示している。

マルチラベル分類装置４００は、入力デバイス４０１、特徴抽出器４０２、ラベル予測器４０３、バイナリマスキング４０４、ラベル選択器４０５、特徴抽出モデル４０６、シーケンス生成モデル４０７、及び出力デバイス３０８を備え、この装置において、特徴抽出モデル及びシーケンス生成モデルは、プロセッサに接続された記憶装置４０６及び４０７に記憶される。シーケンス生成モデル及び特徴抽出モデルは、ニューラルネットワークによって形成することができる。

マルチラベル分類装置４００は、記憶装置４０６からＢＬＳＴＭ ＲＮＮ等の特徴抽出モデルを読み出して特徴抽出器４０２に与える。また、システムは、記憶装置４０７からＡＲＳＧ等のシーケンス生成モデルを読み出してラベル予測器４０３に与える。

マルチラベル分類装置４００は、入力デバイス４０１から入力データインスタンスを受信する。入力デバイス４０１は、カメラ、画像スキャナー、マイクロフォン、ハードディスクドライブ又はコンピューターネットワークとすることができる。

マルチラベル分類装置４００のプロセッサは、マルチラベル分類方法を実施するコンピュータープログラムを実行し、この方法においてプロセッサは、特徴抽出モデル及びシーケンス生成モデルを用いて特徴抽出及びラベルシーケンス生成を実行する。ラベルを生成するために、最終ラベル（end label）が選択されるまで、ラベル予測器４０３、バイナリマスキング４０４、及びラベル選択器４０５が繰り返し実行される。いくつかの実施形態において、ラベル予測器４０３は、再帰型ニューラルネットワークを用いてラベルを予測することができる。

マルチラベル分類装置４００は、生成されたラベルを出力デバイス４０８に出力する。この場合、出力デバイス４０８は、ディスプレイ、ハードディスクドライブ、又はコンピューターネットワークとすることができる。さらに、本発明のいくつかの実施形態において、出力デバイス４０８は、マルチラベル分類装置４００又はマルチラベル分類システムに含めることができる。

図５は、本発明のいくつかの実施形態によるマルチラベル分類システム５００のブロック図を示している。マルチラベル分類システム５００は、キーボード５１１及びポインティングデバイス／メディア５１２と接続可能なヒューマンマシンインターフェース（ＨＭＩ）５１０と、プロセッサ５２０と、記憶デバイス５３０と、メモリ５４０と、ローカルエリアネットワーク及びインターネットネットワークを含むネットワーク５９０と接続可能なネットワークインターフェースコントローラー５５０（ＮＩＣ）と、ディスプレイインターフェース５６０と、撮像デバイス５７５と接続可能な撮像インターフェース５７０と、印刷デバイス５８５と接続可能なプリンターインターフェース５８０とを備える。マルチラベル分類システム５００は、ＮＩＣ５５０に接続されたネットワーク５９０を介して電子テキスト／イメージ化文書５９５を受信することができる。記憶デバイス５３０は、マルチラベル分類モジュール２５０、シーケンス生成モデル５３１、及び特徴抽出モデル５３２を含む。ポインティングデバイス／メディア５１２は、コンピューター可読記録媒体上に記憶されたプログラムを読み出すモジュールを含むことができる。マルチラベル分類モジュール２５０、シーケンス生成モデル５３１及び特徴抽出モデル５３２は、ニューラルネットワークによって形成することができる。

マルチラベル分類を実行するために、キーボード５１１、ポインティングデバイス／メディア５１２を用いて、又は他のコンピューター（図示せず）に接続されたネットワーク５９０を介して、命令をマルチラベル分類システム５００に送信することができる。システム５００は、ＨＭＩ５１０を介して命令を受信し、記憶デバイス５３０に記憶されたマルチラベル分類モジュール２５０、シーケンス生成モデル５３１及び特徴抽出モジュール５３２をロードすることによってメモリ５４０に接続されたプロセッサ５２０を用いてマルチラベル分類を実行するために命令を実行する。

マルチラベル分類のためのシーケンス生成器のトレーニング
シーケンス生成器は、マルチラベル分類にあたって用いる前に、トレーニングデータを用いてトレーニングされる必要がある。
Ｕ個のサンプルからなるトレーニングデータセットを所与とすると、

であり、ここで、Ｘ_ｕは、１つの特徴ベクトル又は特徴ベクトルのシーケンスであり、これは、第ｕのデータインスタンスから抽出される。Ｒ_ｕは、Ｘ_ｕについてのグラウンドトゥルースラベルのセット

であり、これは、手動で用意される。

目的関数が、交差エントロピーに基づいて計算される。すなわち、

であり、
ここで、Λは、シーケンス生成器のパラメーターのセットである。ＡＲＳＧの場合において、パラメーターセットは、

からなる。ＡＲＳＧを用いて、ｌｏｇＰ（Ｒ_ｕ│Ｘ_ｕ，Λ）は以下のように計算される。

ここで、γ_ｕｎ’は、パラメーターセットΛを用いて入力特徴ベクトルＸ_ｕについて第ｎの反復において推測される関連確率ベクトルである。しかしながら、γ_ｕｎ’は、確率分布であると仮定することができない。何故ならば、

はバイナリマスキングに起因して１未満である可能性があるためである。本発明において、γ_ｕｎ’は、以下のように、

となるように再正規化され、

トレーニングフェーズにおいてγ_ｕｎ’の代わりにγ_ｕｎ’’が用いられる。

ＡＲＳＧをトレーニングするために、時間的誤差逆伝播（back-propagation through time）アルゴリズムを用いて、目的関数が最小になるようにパラメーターセットΛを更新することができる。

ダイアログ状態追跡タスク（Dialog State Tracking Task）を用いた評価結果
話者の意図を表すラベルのセットで人間対人間の会話をアノテートしている、第５世代ダイアログ状態追跡チャレンジ（ＤＳＴＣ５：5th Dialog State Tracking Challenge）タスクを用いて、マルチラベル分類方法２００を評価した。全ての会話はシンガポール観光についてのものであり、これらの会話において、観光ガイドと観光客とがシンガポール観光の計画を立てている。

このタスクにおいて、会話は、既にテキスト化され、サブダイアログに分割されている。システムは、各サブダイアログのテキスト文書について適切なラベルを発見しなければならない。各サブダイアログは、平均して６．５個の発話を含み、１個〜５個のラベルでアノテートされている。本発明者らは、トレーニングデータにおいて、最も一般的な２００個のラベル、すなわち、Ｍ＝２００を用いた。このラベルセットは、トレーニングセット内のスロット値対の８０％をカバーし、テストセット内の７８％をカバーする。

各ラベルは、「ＡＣＣＯＭＯＤＡＴＩＯＮ：Ｈｏｔｅｌ（宿泊：ホテル）」、「ＩＮＦＯ：Ｐｒｉｃｅｒａｎｇｅ（情報：価格帯）」、「ＡＴＴＲＡＣＴＩＯＮ：Ｚｏｏ（アトラクション：動物園）」、及び「ＦＲＯＭ：Ｃｈａｎｇｉ Ａｉｒｐｏｒｔ（出発地：チャンギ国際空港）」等のスロット値対からなる。

特徴抽出にあたって、本発明者らは、本明細書に記載したようにＢＬＳＴＭに基づく一般的な方法を用いた。また、本発明者らは、全ての方法において注目機構を用いたが、ＢＲ方法及びＣＣ方法では、バイナリ関連ベクトルを出力するフィードフォワードネットワークが用いられている。ＣＣ方法では、各予測された関連ベクトルは、Ｍ個のラベルにわたって繰り返しネットワークにフィードされる。本発明の特徴抽出器及びＡＲＳＧは、｜Ｖ｜＝５６３９、Ｐ＝５０、Ｊ＝１００、Ｚ＝１００、Ｋ＝５０、Ｍ＝２００として設計した。ＢＲ方法及びＣＣ方法では、フィードフォワードネットワークは、１００個のユニットを有する２つの隠れ層を有した。

図６は、バイナリ関連度（ＢＲ）方法、分類器チェーン（ＣＣ）、及び本発明を用いた、Ｆスコアにおけるマルチラベル分類性能及び推測フェーズにおける計算時間を示している。Ｆスコアは、以下のように計算される、適合率及び再現率の調和平均である。

ここで、ＴＰは、真陽性（true positives）の数値、すなわち、正しく検出されたラベルの数であり、ＦＰは、偽陽性（false positives）の数値、すなわち、誤って検出されたラベルの数であり、ＦＮは、偽陰性（false negatives）の数値、すなわち、グラウンドトゥルースラベルにおける検出されていないラベルの数である。一般に、Ｆスコアが高いほど、より良好なシステムを示している。

図６は、ＤＳＴＣ５上の評価結果の一例である。計算時間は、Ｉｎｔｅｌ（登録商標）Ｘｅｏｎ（登録商標）プロセッサＥ５２６９０ ｖ３、１２Ｃｏｒｅ、２．６ＧＨｚ及びシングルＧＰＵ（ＮＶｉｄｉａ Ｔｉｔａｎ Ｘ）を有するコンピューター上で測定した。実験において、プログラムは、単一プロセスとして実行し、大半の行列及びベクトル演算は、ＧＰＵ上で実行される。図６における各計算時間は、データインスタンス、すなわち、サブダイアログあたりの平均処理時間を示している。

本発明の方法は、ＦスコアにおいてＢＲ方法及びＣＣ方法より優れていた。ＢＲ方法は他の方法よりも高速であるが、Ｆスコアは、遥かに低い（すなわち、０．１５５）。ＣＣ及び本発明は、同等のＦスコア、それぞれ０．３４２及び０．３６７を有するが、本発明は、ＣＣ方法よりも著しく高速であり、すなわち、本発明の推測時間は１．３２４であり、一方ＣＣ方法の推測時間は１４．７２９である。このように、本発明の方法及びシステムは、より高いラベリング精度及びより高速の推測プロセスの双方を達成した。

本発明の上記の実施形態は数多くの方法のいずれかにおいて実現することができる。例えば、それらの実施形態は、ハードウェア、ソフトウェア又はその組み合わせを用いて実現することができる。ソフトウェアにおいて実現されるとき、そのソフトウェアコードは、単一のコンピューター内に設けられるにしても、複数のコンピューター間に分散されるにしても、任意の適切なプロセッサ、又はプロセッサの集合体において実行することができる。そのようなプロセッサは集積回路として実現することができ、集積回路コンポーネント内に１つ以上のプロセッサが含まれる。しかしながら、プロセッサは、任意の適切な構成の回路を用いて実現することができる。

また、本発明の実施形態は方法として具現することができ、その一例が提供されてきた。その方法の一部として実行される動作は、任意の適切な方法において順序化することができる。したがって、例示的な実施形態において順次の動作として示される場合であっても、例示されるのとは異なる順序において動作が実行される実施形態を構成することもでき、異なる順序は、いくつかの動作を同時に実行することを含むことができる。

請求項要素を変更するために特許請求の範囲において「第１の」、「第２の」のような序数の用語を使用することは、それだけで、或る請求項要素が別の請求項要素よりも優先度が高いこと、優位であること、若しくは上位にあることを、又は方法の動作が実行される時間的な順序を暗示するのではなく、請求項要素を区別するために、或る特定の名称を有する１つの請求項要素を（序数用語を使用しなければ）同じ名称を有する別の要素から区別するラベルとして単に使用される。

Claims (20)

1. マルチ関連ラベルを生成する方法であって、
   特徴抽出器によって入力データを含む入力ベクトルから特徴ベクトルを抽出するステップと、
   ラベル予測器によって、前記特徴ベクトルに基づいて関連度スコアを有する複数の関連ラベルを含む関連ラベルベクトルを求めるステップであって、前記関連ラベルの前記関連度スコアのそれぞれは、前記入力データのコンテンツに対する関連確率である、ステップと、
   先行のラベル選択において選択されていた事前選択ラベルをマスキングすることによってバイナリマスキングベクトルを更新するステップと、
   前記関連ラベルから前記事前選択ラベルを除外するように前記関連ラベルベクトルが更新されるように、前記更新されたバイナリマスキングベクトルを前記関連ラベルベクトルに適用するステップと、
   前記更新された関連ラベルベクトルの前記関連度スコアに基づいて前記更新された関連ラベルベクトルから関連ラベルを選択するステップと、
   を含む、方法。
2. 前記関連ラベルを蓄積して、マルチ関連ラベルのセットを生成すること、
   を更に含む、請求項１に記載の方法。
3. 前記蓄積することは、最終ラベルが選択されるまで続行される、請求項２に記載の方法。
4. 前記更新されたバイナリマスキングベクトルを前記適用するステップは、前記事前選択ラベルの前記関連度スコアを予め設定された小さな定数に設定する、請求項１に記載の方法。
5. 前記選択するステップにおいて、前記更新された関連ラベルベクトルの前記関連ラベルにおいて最も高いスコアを有する前記関連ラベルが選択される、請求項１に記載の方法。
6. 前記ラベル予測器は、前記求めるステップにおいて、再帰型ニューラルネットワークを利用する、請求項１に記載の方法。
7. 前記選択するステップにおいて累積ラベル情報を生成して前記ラベル予測器に送信すること、
   を更に含む、請求項１に記載の方法。
8. 前記事前選択ラベルは、先行のラベル選択において選択されていた前記関連ラベルである、請求項１に記載の方法。
9. 前記選択するステップは、前記マスキングすることの後に実行される、請求項１に記載の方法。
10. 前記関連度スコアは、再帰型ニューラルネットワークを用いることによって計算される、請求項１に記載の方法。
11. 前記選択するステップにおいて、前記関連ラベルは、前記関連ラベルベクトルにおけるマスキングされていないラベルの中で最も高い関連度スコアを有する、請求項１に記載の方法。
12. 前記マスキングすることは、前記バイナリマスキングベクトルを用いることによって実行される、請求項１に記載の方法。
13. マルチ関連ラベルを生成するシステムであって、
    入力デバイスから入力データを受信する入力インターフェースと、
    前記入力インターフェース、及びアルゴリズムモジュールのコードを記憶するメモリに接続されたプロセッサと、
    を備え、
    前記プロセッサは、前記入力データに応答して、前記アルゴリズムモジュールの命令に従って複数のステップを実行し、
    前記複数のステップは、
    特徴抽出器によって入力データを含む入力ベクトルから特徴ベクトルを抽出するステップと、
    ラベル予測器によって、前記特徴ベクトルに基づいて関連度スコアを有する複数の関連ラベルを含む関連ラベルベクトルを求めるステップであって、前記関連ラベルの前記関連度スコアのそれぞれは、前記入力データのコンテンツに対する関連確率である、ステップと、
    先行のラベル選択において選択されていた事前選択ラベルをマスキングすることによってバイナリマスキングベクトルを更新するステップと、
    前記関連ラベルから前記事前選択ラベルを除外するように前記関連ラベルベクトルが更新されるように、前記更新されたバイナリマスキングベクトルを前記関連ラベルベクトルに適用するステップと、
    前記更新された関連ラベルベクトルの前記関連度スコアに基づいて前記更新された関連ラベルベクトルから関連ラベルを選択するステップと、
    を含む、システム。
14. 前記複数のステップは、前記関連ラベルを蓄積して、マルチ関連ラベルのセットを生成するステップ、
    を更に含む、請求項１３に記載のシステム。
15. 前記蓄積することは、最終ラベルが選択されるまで続行される、請求項１４に記載のシステム。
16. 前記選択するステップにおいて、前記更新された関連ラベルベクトルの前記関連ラベルにおいて最も高いスコアを有する前記関連ラベルが選択される、請求項１３に記載のシステム。
17. 前記複数のステップは、前記選択するステップにおいて累積ラベル情報を生成して前記ラベル予測器に送信するステップ、
    を更に含む、請求項１３に記載のシステム。
18. 前記事前選択ラベルは、先行のラベル選択において選択されていた前記関連ラベルである、請求項１３に記載のシステム。
19. 前記関連度スコアは、再帰型ニューラルネットワークを用いることによって計算される、請求項１３に記載のシステム。
20. 前記選択するステップにおいて、前記関連ラベルは、前記関連ラベルベクトルにおけるマスキングされていないラベルの中で最も高い関連度スコアを有する、請求項１３に記載のシステム。

Images