JP7658381B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本発明は、タクソノミを拡張する技術に関する。

タクソノミを拡張する技術が知られている。タクソノミは、複数のフレーズの間の関係性を表す情報であり、階層性を有する有向グラフで表現される。

例えば、非特許文献１には、対象のタクソノミに含まれる既存のフレーズのうち、追加するフレーズに類似するフレーズ又は親子関係を有するフレーズを特定することにより、当該タクソノミを横方向又は縦方向に拡張する技術が記載されている。

また、例えば、非特許文献２には、対象のタクソノミに含まれる既存のフレーズの間の親子関係を判別する判別モデルを用いて、追加するフレーズとの間に親子関係を有する既存のフレーズを特定することにより、当該タクソノミを拡張する技術が記載されている。

また、例えば、非特許文献３には、商品に関するタクソノミと、商品の説明文と、ユーザの検索クエリ及び行動ログとを用いて、当該タクソノミを拡張する技術が記載されている。

Jiaming Shen et al., "HiExpan: Task-Guided Taxonomy Construction by Hierarchical Tree Expansion", KDD 2018. Jiaming Shen et al., "TaxoExpan: Self-supervised Taxonomy Expansion with Position-Enhanced Graph Neural Network", WWW 2020. Yuning Mao et al., "Octet: Online Catalog Taxonomy Enrichment with Self-Supervision", KDD 2020.

非特許文献１～非特許文献３に記載された技術は、タクソノミを精度よく拡張する上で改善の余地がある。例えば、非特許文献１又は２に記載された技術は、拡張前のタクソノミに含まれるフレーズの数が少ない場合、または、追加するフレーズを抽出するために参照する文集合が小さい場合、タクソノミを精度よく拡張することが難しい。また、非特許文献３に記載された技術は、ユーザの検索クエリ及び行動ログが取得できない場合、タクソノミを精度よく拡張することが難しい。

本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的の一例は、タクソノミをより精度よく拡張する技術を提供することである。

本発明の一側面に係る情報処理装置は、複数のフレーズの間の関係性を表すタクソノミを取得する取得手段と、第１文集合を参照して、前記複数のフレーズの何れとも異なる新たなフレーズを生成する生成手段と、前記複数のフレーズの何れかと前記新たなフレーズとを関連付けることによって、前記タクソノミを拡張する拡張手段とを含み、前記生成手段及び前記拡張手段の一方または両方において言語モデルを使用する。

本発明の一側面に係る情報処理方法は、複数のフレーズの間の関係性を表すタクソノミを取得すること、第１文集合を参照して、前記複数のフレーズの何れとも異なる新たなフレーズを生成すること、及び、前記複数のフレーズの何れかと前記新たなフレーズとを関連付けることによって、前記タクソノミを拡張すること、を含み、前記新たなフレーズを生成すること、及び前記タクソノミを拡張すること、の一方または両方において言語モデルを使用する。

本発明の一側面に係るプログラムは、コンピュータを情報処理装置として機能させるためのプログラムであって、前記コンピュータを、複数のフレーズの間の関係性を表すタクソノミを取得する取得手段と、第１文集合を参照して、前記複数のフレーズの何れとも異なる新たなフレーズを生成する生成手段と、前記複数のフレーズの何れかと前記新たなフレーズとを関連付けることによって、前記タクソノミを拡張する拡張手段と、として機能させ、前記生成手段及び前記拡張手段の一方または両方において言語モデルを使用する。

本発明の一態様によれば、タクソノミをより精度よく拡張することができる。

本発明の例示的実施形態１に係る情報処理装置の機能的な構成を示すブロック図である。 本発明の例示的実施形態１に係る情報処理方法の流れを示すフロー図である。 本発明の例示的実施形態２に係る情報処理装置の機能的な構成を示すブロック図である。 本発明の例示的実施形態２におけるタクソノミＴ１の一例を模式的に示す図である。 本発明の例示的実施形態２に係る情報処理方法の流れを示すフロー図である。 本発明の例示的実施形態２における言語モデルの構築処理の詳細な流れを示すフロー図である。 本発明の例示的実施形態２における生成処理の一例の詳細な流れを示すフロー図である。 本発明の例示的実施形態２における生成処理の他の例の詳細な流れを示すフロー図である。 本発明の例示的実施形態２における拡張処理の一例の詳細な流れを示すフロー図である。 本発明の例示的実施形態２における拡張処理の他の例の詳細な流れを示すフロー図である。 本発明の例示的実施形態３に係る情報処理装置３の機能的な構成を示すブロック図である。 本発明の例示的実施形態３に係る情報処理方法の流れを示すフロー図である。 本発明の各例示的実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。

〔例示的実施形態１〕
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。

＜情報処理装置１の構成＞
本例示的実施形態に係る情報処理装置１の構成について、図１を参照して説明する。図１は、情報処理装置１の機能的な構成を示すブロック図である。

図１に示すように、情報処理装置１は、取得部１１と、生成部１２と、拡張部１３とを含む。取得部１１は、請求の範囲に記載した取得手段を実現する構成の一例である。生成部１２は、請求の範囲に記載した生成手段を実現する構成の一例である。拡張部１３は、請求の範囲に記載した拡張手段を実現する構成の一例である。

取得部１１は、複数のフレーズの間の関係性を表すタクソノミを取得する。生成部１２は、第１文集合を参照して、複数のフレーズの何れとも異なる新たなフレーズを生成する。拡張部１３は、複数のフレーズの何れかと新たなフレーズとを関連付けることによって、タクソノミを拡張する。生成部１２及び拡張部１３の一方または両方は、言語モデルを使用する。

（フレーズ）
フレーズは、１又は複数の単語によって表され、概念を表す。例えば、フレーズ「パスタ」は、イタリア料理の主食の１つである小麦粉を主体とする練り物という概念を表している。また、フレーズ「イタリア料理」は、イタリア発祥の料理法という概念を表している。以下では、「フレーズが表す概念」を、単に、「フレーズ」と記載する。したがって、「２つのフレーズがそれぞれ表す概念の間に関係性が有る」ことを、「２つのフレーズの間に関係性が有る」と記載する。例えば、フレーズ「パスタ」はフレーズ「イタリア料理」に含まれる。このため、これらのフレーズの間には親子関係が有る。

（タクソノミ）
タクソノミは、複数のフレーズの間の関係性を表す情報である。例えば、タクソノミは、階層性を有する有向グラフによって表される。具体的には、タクソノミは、各フレーズを表すノードと、親子関係を有する２つのノード間を接続するエッジとをそれぞれ表す情報を含む。

（新たなフレーズ）
新たなフレーズは、タクソノミに含まれる複数のフレーズの何れとも異なるフレーズであり、タクソノミに追加するためのフレーズである。換言すると、新たなフレーズは、拡張前のタクソノミに含まれないフレーズである。

（既存のフレーズ）
以降、拡張前のタクソノミに含まれる各フレーズを、拡張前のタクソノミに含まれない新たなフレーズと区別して説明するため、「既存のフレーズ」と記載する。

（第１文集合）
第１文集合は、文の集合である。第１文集合は、タクソノミに追加すべきフレーズを生成する際に参照される。第１文集合は、既存のフレーズに関連する文の集合であることが望ましい。

（言語モデル）
言語モデルは、入力された単語列に対してその確度を出力するモデルである。例えば、ある言語モデルに「his age is 100」という単語列を入力して出力される確度は、「his birthday is 100」という単語列を入力して出力される確度より大きい。これは、この言語モデルは、「he」と「100」との間の関係性が「age」である確度と「birthday」である確度とを保持しており、「age」である確度が「birthday」である確度より高いからである。また、言語モデルを用いて、一部の単語がマスクされた単語列に対して、マスクされた箇所に適合する単語を予測することが可能である。言語モデルの一例としては、例えば、以下の参考文献１又は参考文献２によって生成された言語モデルを適用可能である。

［参考文献１］ Jacob Devlin et al., "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding", NAACL 2019.
［参考文献２］ Yinhan Liu et al., "RoBERTa: A Robustly Optimized BERT Pretraining Approach", arXiv 2019.
＜情報処理方法Ｓ１の流れ＞
以上のように構成された情報処理装置１が実行する情報処理方法Ｓ１の流れについて、図２を参照して説明する。図２は、情報処理方法Ｓ１の流れを示すフロー図である。図２に示すように、情報処理方法Ｓ１は、ステップＳ１１～Ｓ１３を含む。

（ステップＳ１１）
ステップＳ１１において、取得部１１は、拡張する対象となるタクソノミを取得する。例えば、取得部１１は、情報処理装置１のメモリ（図示せず）に記憶されたタクソノミを取得してもよいし、ネットワークを介して接続された他の装置からタクソノミを取得してもよい。

（ステップＳ１２）
ステップＳ１２において、生成部１２は、第１文集合を参照して、複数のフレーズの何れとも異なる新たなフレーズを生成する。例えば、生成部１２は、情報処理装置１のメモリ（図示せず）に記憶された第１文集合を参照してもよいし、ネットワークを介して接続された他の装置に記憶された第１文集合を参照してもよい。当ステップにおいて、生成部１２は、第１文集合を参照して新たなフレーズを生成するために、言語モデルを使用してもよいし、使用しなくてもよい。ただし、当該ステップＳ１２及び後述するステップＳ１３の少なくとも一方は、言語モデルを使用する。

（言語モデルを使用する場合）
例えば、生成部１２は、情報処理装置１のメモリ（図示せず）に記憶された言語モデルを使用してもよいし、ネットワークを介して接続された他の装置に記憶された言語モデルを使用してもよい。具体的には、例えば、生成部１２は、第１文集合における既存のフレーズの箇所に適合する新たなフレーズを、言語モデルを用いて予測することにより生成してもよい。なお、言語モデルの使用により第１文集合を参照して新たなフレーズを生成する手法は、これに限定されない。

（言語モデルを使用しない場合）
例えば、生成部１２は、一般的な知識ベースを参照して、第１文集合から、既存のフレーズに関連する新たなフレーズを抽出してもよい。なお、言語モデルを使用せずに第１文集合を参照して新たなフレーズを生成する手法は、これに限定されない。

（ステップＳ１３）
ステップＳ１３において、拡張部１３は、複数の既存のフレーズの何れかと新たなフレーズとを関連付けることによって、タクソノミを拡張する。当ステップにおいて、拡張部１３は、複数の既存のフレーズの何れかと新たなフレーズとを関連付けるために、言語モデルを使用してもよいし、言語モデルを使用しなくてもよい。ただし、前述したように、前述のステップＳ１２及び当該ステップＳ１３の少なくとも一方は、言語モデルを使用する。なお、ステップＳ１２及びステップＳ１３の両方において言語モデルを使用する場合、各部が使用する言語モデルは同一であってもよいし、異なっていてもよい。

（言語モデルを使用する場合）
例えば、拡張部１３は、情報処理装置１のメモリ（図示せず）に記憶された言語モデルを使用してもよいし、ネットワークを介して接続された他の装置に記憶された言語モデルを使用してもよい。具体的には、例えば、生成部１２は、複数の既存のフレーズのうち何れかと新たなフレーズとの関係性を仮定した文の確度を言語モデルにより算出し、算出した確度に基づき関連付けを行ってもよい。なお、言語モデルの使用により複数の既存のフレーズの何れかと新たなフレーズとを関連付ける手法は、これに限定されない。

（言語モデルを使用しない場合）
例えば、拡張部１３は、既存のフレーズと新たなフレーズとの類似度を算出し、算出した類似度に基づき関連付けを行う。例えば、類似度は、既存のフレーズと新たなフレーズとの間の関連度を示すスコアであってもよい。また、類似度は、既存のフレーズと新たなフレーズとを関連付けられる確率値であってもよい。ただし、類似度は、これらの例に限られない。なお、言語モデルを使用せずに複数の既存のフレーズの何れかと新たなフレーズとを関連付ける手法は、これに限定されない。

＜本例示的実施形態の効果＞
以上のように、本例示的実施形態に係る情報処理装置１は、（ｉ）第１文集合を参照して新たなフレーズを生成する生成処理、及び、（ｉｉ）タクソノミに含まれる複数の既存のフレーズの何れかに新たなフレーズを関連付ける拡張処理の一方または両方において、言語モデルを使用する。これにより、生成処理において言語モデルを使用する場合には、第１文集合に含まれる情報に加えて言語モデルに含まれる情報を利用できるため、タクソノミに追加すべき新たなフレーズをより精度よく生成することができる。また、拡張処理において言語モデルを使用する場合には、言語モデルが表すフレーズの間の関係性を利用して、新たなフレーズと既存のフレーズとの関係性を補正できるため、新たなフレーズと既存のフレーズとをより精度よく関連付けることができる。したがって、本例示的実施形態は、より精度よくタクソノミを拡張することができる。

〔例示的実施形態２〕
本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。

＜情報処理装置２の構成＞
本例示的実施形態に係る情報処理装置２の構成について、図３を参照して説明する。図３は、情報処理装置２の機能的な構成を示すブロック図である。

図３に示すように、情報処理装置２は、取得部２１と、生成部２２と、拡張部２３と、構築部２４と、調整部２５とを含む。取得部２１は、請求の範囲に記載した取得手段を実現する構成の一例である。生成部２２は、請求の範囲に記載した生成手段を実現する構成の一例である。拡張部２３は、請求の範囲に記載した拡張手段を実現する構成の一例である。構築部２４は、請求の範囲に記載した構築手段を実現する構成の一例である。調整部２５は、請求の範囲に記載した調整手段を実現する構成の一例である。

取得部２１は、対象ドメインに関するタクソノミＴ１と、対象ドメインに関する文集合Ｄ１と、一般的な文集合Ｄ２とを取得する。構築部２４は、文集合Ｄ２に基づいて、言語モデルＭ１を構築する。調整部２５は、文集合Ｄ１に基づいて、言語モデルＭ１を調整する。生成部２２は、言語モデルＭ１を使用するか、または使用せずに、文集合Ｄ１を参照して新たなフレーズを生成する。拡張部２３は、言語モデルＭ１を使用するか、または使用せずに、複数の既存のフレーズの何れかと新たなフレーズとを関連付けることによって、タクソノミＴ１を拡張する。なお、生成部２２及び拡張部２３の少なくとも一方は、言語モデルＭ１を使用する。

（対象ドメインに関するタクソノミＴ１）
本実施形態では、対象ドメインに関するタクソノミＴ１を拡張対象とする。対象ドメインに関するタクソノミＴ１は、当該対象ドメインにおける複数のフレーズの間の関係性を表す。一例として、対象ドメインが「料理」である場合、タクソノミＴ１は、対象ドメイン「料理」における複数のフレーズの間の関係性を表す。

図４は、対象ドメイン「料理」に関するタクソノミＴ１の一例を模式的に示す図である。タクソノミＴ１は、ノードＮ１～Ｎ７及びエッジＥ１～Ｅ６を含む有向グラフによって表される。ノードＮ１～Ｎ７は、対象ドメイン「料理」における複数のフレーズにそれぞれ対応する。例えば、ノードＮ２はフレーズ「イタリア料理」に対応し、ノードＮ４はフレーズ「デザート」に対応し、ノードＮ５はフレーズ「ピザ」に対応し、ノードＮ７はフレーズ「お茶」に対応する。また、エッジＥ１～Ｅ６は、両端に接続された２つのフレーズの間に親子関係があることを表す。図４では、エッジＥ１～Ｅ６を矢印で表し、根元に接続されたノードが親であり、矢頭に接続されたノードが子である。例えば、エッジＥ４は、根元に接続されたノードＮ２に対応するフレーズ「イタリア料理」が親であり、矢頭に接続されたノードＮ５に対応するフレーズ「ピザ」が子であることを表す。つまり、フレーズ「イタリア料理」とフレーズ「ピザ」との間には親子関係があり、フレーズ「イタリア料理」はフレーズ「ピザ」の親である。

（対象ドメインに関する文集合Ｄ１）
文集合Ｄ１は、請求の範囲に記載した「第１文集合」の一例であり、対象ドメインに関する文の集合である。例えば、文集合Ｄ１は、対象ドメインに関する情報の一部または全部を構成する。例えば、文集合Ｄ１は、ドメイン「料理」に関する情報であるオンラインレシピサイトの一部または全部を構成する文の集合であってもよい。

（一般的な文集合Ｄ２）
文集合Ｄ２は、請求の範囲に記載した「第２文集合」の一例であり、一般的な文の集合である。ここで、「一般的」とは、対象ドメインに限定されないことを意味する。換言すると、「一般的」とは、複数のドメインに関することを意味する。文集合Ｄ２は、より多くのドメインに関する文を含むほど、一般的である度合いが高いとも言える。なお、文集合Ｄ２は、一般的な文の１つとして、対象ドメインに関する文を含むことは有り得る。例えば、文集合Ｄ２は、一般的な情報の一部または全部を構成する文の集合である。例えば、文集合Ｄ２は、一般的な情報であるＷｉｋｉｐｅｄｉａサイトの一部または全部を構成する文の集合であってもよい。

（言語モデルＭ１）
言語モデルＭ１は、入力された単語列に対してその確度を出力するモデルであり、その詳細については、実施形態１で説明した通りである。本実施形態では、言語モデルＭ１は、構築部２４によって構築される。

＜情報処理方法Ｓ２の流れ＞
（情報処理方法Ｓ２の概要）
以上のように構成された情報処理装置２が実行する情報処理方法Ｓ２の流れについて、図５を参照して説明する。図５は、情報処理方法Ｓ２の流れを示すフロー図である。図５に示すように、情報処理方法Ｓ２は、ステップＳ２１～Ｓ２４を含む。

（ステップＳ２１）
ステップＳ２１において、取得部２１は、タクソノミＴ１、文集合Ｄ１、及び文集合Ｄ２を取得する。例えば、取得部２１は、情報処理装置２のメモリ（図示せず）に記憶されたタクソノミＴ１、文集合Ｄ１、又は文集合Ｄ２を取得してもよいし、ネットワークを介して接続された他の装置からタクソノミＴ１、文集合Ｄ１、又は文集合Ｄ２を取得してもよい。

（ステップＳ２２）
ステップＳ２２において、構築部２４及び調整部２５は、言語モデルＭ１を構築する構築処理を実行する。当該構築処理の詳細については後述する。

（ステップＳ２３）
ステップＳ２３において、生成部２２は、文集合Ｄ１を参照して新たなフレーズを生成するため、言語モデルＭ１を使用する生成処理Ｓ２３Ａ及びＳ２３Ｂの何れかを実行する。生成処理Ｓ２３Ａは、言語モデルＭ１を使用して、文集合Ｄ１から新たなフレーズを抽出することにより生成する処理である。つまり、生成処理Ｓ２３Ａにより生成される新たなフレーズは、文集合Ｄ１に含まれるフレーズである。また、生成処理Ｓ２３Ｂは、言語モデルＭ１を使用して、文集合Ｄ１から新たなフレーズを予測することにより生成する処理である。つまり、生成処理Ｓ２３Ｂにより生成される新たなフレーズは、文集合Ｄ１に含まれない可能性がある。なお、生成部２２は、生成処理Ｓ２３Ａ及びＳ２３Ｂの何れかを実行する代わりに、言語モデルＭ１を使用しない生成処理の何れかを実行してもよい。これらの生成処理の詳細については後述する。

（ステップＳ２４）
ステップＳ２４において、拡張部２３は、タクソノミＴ１を拡張するため、言語モデルＭ１を使用する拡張処理Ｓ２４Ａ及びＳ２４Ｂの何れかを実行する。または、拡張部２３は、拡張処理Ｓ２４Ａ及びＳ２４Ｂの何れかを実行する代わりに、言語モデルＭ１を使用しない拡張処理を実行してもよい。これらの拡張処理の詳細については後述する。

なお、ステップＳ２３及びＳ２４の少なくとも何れかは、言語モデルＭ１を使用する。例えば、ステップＳ２３において言語モデルＭ１を使用しない生成処理が実行された場合には、当該ステップにおいて、言語モデルＭ１を使用する拡張処理Ｓ２４Ａ及びＳ２４Ｂの何れかが実行され、言語モデルＭ１を使用しない拡張処理は実行されない。

（言語モデルＭ１の構築処理の詳細）
ステップＳ２２における言語モデルＭ１の構築処理の詳細な流れについて、図６を参照して説明する。図６は、言語モデルＭ１の構築処理の詳細な流れを示すフロー図である。図６に示すように、ステップＳ２２の処理は、ステップＳ２２１と、ステップＳ２２２とを含む。

（ステップＳ２２１）
ステップＳ２２１において、構築部２４は、文集合Ｄ２を用いて言語モデルＭ１を構築する。言語モデルＭ１を構築する技術としては、上述した参考文献１または参考文献２に記載された技術を適用可能である。一般的な文集合Ｄ２を用いて生成された言語モデルＭ１は、一般的なフレーズに関するモデルとなる。

（ステップＳ２２２）
ステップＳ２２２において、調整部２５は、文集合Ｄ１を用いて言語モデルＭ１を調整する。文集合を調整する技術としては、既存の言語モデルを特定ドメインの言語モデルに転移させるｆｉｎｅ－ｔｕｎｉｎｇがある。ｆｉｎｅ－ｔｕｎｉｎｇについては、以下の参考文献３に記載された技術を適用可能である。この場合、調整部２５は、一般的なフレーズに関する言語モデルＭ１を、文集合Ｄ１を用いて対象ドメインに転移させることができる。ただし、調整部２５が言語モデルＭ１を調整する手法は、参考文献３に記載されたものに限られない。

［参考文献３］ Suchin Gururangan et al., "Don't Stop Pretraining: Adapt Language Models to Domains and Tasks", ACL 2020.
（言語モデルＭ１を使用する生成処理Ｓ２３Ａの詳細）
ステップＳ２３において実行され得る、言語モデルＭ１を使用した生成処理Ｓ２３Ａの詳細な流れについて、図７を参照して説明する。生成処理Ｓ２３Ａは、言語モデルＭ１を含む抽出モデルＭ１０を用いて、文集合Ｄ１から新たなフレーズを抽出する処理である。抽出される新たなフレーズは、文集合Ｄ１に含まれるフレーズである。図７は、生成処理Ｓ２３Ａの詳細な流れを示すフロー図である。図７に示すように、生成処理Ｓ２３Ａは、ステップＳ２３１Ａと、ステップＳ２３２Ａとを含む。

（ステップＳ２３１Ａ）
ステップＳ２３１Ａにおいて、生成部２２は、言語モデルＭ１を使用して抽出モデルＭ１０を生成する。抽出モデルＭ１０は、言語モデルＭ１と、言語モデルＭ１からの出力が入力される識別器Ｍ２とを含む。抽出モデルＭ１０は、文集合Ｄ１に含まれる文が言語モデルＭ１に入力されると、当該文における新たなフレーズを識別器Ｍ２が識別するよう機械学習される。この機械学習は、第１文集合に出現する複数の既存のフレーズを正解とする教師データを用いて行われる。識別器Ｍ２としては、例えば、系列ラベル器を適用可能である。抽出モデルＭ１０は、識別器Ｍ２が識別したフレーズを出力する。

抽出モデルＭ１０の機械学習では、文集合Ｄ１は、文集合Ｄ１に出現する既存のフレーズに正解とのラベルが付与された教師データとして用いられる。なお、教師データとしての文集合Ｄ１では、既存のフレーズ以外のフレーズにはラベルが付与されていない。つまり、文集合Ｄ１は、正解とのラベルが部分的に付与された教師データとして用いられる。

当該ステップの処理について、図７に示す具体例を用いて説明する。この具体例では、図４に示した対象ドメイン「料理」のタクソノミＴ１を拡張する。また、対象ドメイン「料理」に関する文集合Ｄ１は、「イタリア料理の定番パスタのレシピを基本からおさらい」との文１を含む。生成部２２は、文１に出現する既存のフレーズ「イタリア料理」に「正解」とのラベルを付与して教師データを生成する。また、生成部２２は、文１に出現する他のフレーズ「定番」、「パスタ」「レシピ」、「基本」、「おさらい」には、「正解でない」とのラベルを付与するのではなく、ラベルを付与しない。このように部分的にラベルが付与された教師データを用いた機械学習により、抽出モデルＭ１０は、文１が入力されると、対象ドメイン「料理」に関するフレーズとして、既存のフレーズ「イタリア料理」及び新たなフレーズ「パスタ」を出力するように機械学習される。

このようにして抽出モデルＭ１０を生成する技術としては、例えば、以下の参考文献４に記載された技術ＢＥＲＴ－ＣＲＦを利用可能である。ＢＥＲＴ－ＣＲＦは、言語モデルを用いて文集合から固有表現を抽出する技術である。生成部２２は、ＢＥＲＴ－ＣＲＦにおいて固有表現を抽出する処理を、対象ドメインに関するフレーズを抽出する処理に変更することにより、抽出モデルＭ１０を生成することができる。

［参考文献４］：Fabio Souza et al., "Portuguese Named Entity Recognition using BERT-CRF", arXiv 2019.
また、部分的にラベルが付与された教師データを用いる技術としては、例えば、以下の参考文献５に記載された技術を利用可能である。

［参考文献５］：Zhanming Jie et al., "Better Modeling of Incomplete Annotations for Named Entity Recognition", NAACL-HLT 2019.
なお、抽出モデルＭ１０は、共通する単語を含む異なるフレーズのそれぞれを出力するよう機械学習されてもよい。これは、対象ドメインに関する異なるフレーズが、共通の単語を含む場合があるためである。例えば、対象ドメイン「料理」に関する文１は、料理に関するフレーズとして、「イタリア料理」及び「イタリア料理の定番」を含むと考えることもできる。つまり、「イタリア料理」及び「イタリア料理の定番」は、共通する単語「イタリア料理」を含む異なるフレーズである。この場合、抽出モデルＭ１０は、言語モデルＭ１に文１が入力された場合に、識別器Ｍ２が「イタリア料理」及び「パスタ」を識別するだけでなく、「イタリア料理の定番」を識別するよう機械学習されることが望ましい。このような共通する単語を含む異なるフレーズ（すなわち、ネスト化された複数のフレーズ）のそれぞれを識別する技術としては、以下の参考文献６に記載された技術を利用可能である。

［参考文献６］：Jue Wang et al., "Pyramid: A Layered Model for Nested Named Entity Recognition", ACL 2020.
（ステップＳ２３２Ａ）
ステップＳ２３２Ａにおいて、生成部２２は、ステップＳ２３１Ａで生成した抽出モデルＭ１０を用いて、文集合Ｄ１から新たなフレーズを抽出する。

当該ステップの処理について、図７に示す具体例を用いて説明する。具体的には、生成部２２は、抽出モデルＭ１０に文１を入力し、出力されるフレーズ「イタリア料理」及び「パスタ」のうち、既存のフレーズとは異なる「パスタ」を新たなフレーズとして抽出する。

（言語モデルＭ１を使用する生成処理Ｓ２３Ｂの詳細）
ステップＳ２３において実行され得る、言語モデルＭ１を使用した生成処理Ｓ２３Ｂの詳細な流れについて、図８を参照して説明する。生成処理Ｓ２３Ｂは、言語モデルＭ１を使用して、文集合Ｄ１を用いて新たなフレーズを予測する処理である。予測される新たなフレーズは、文集合Ｄ１に含まれていない場合があるため、生成処理Ｓ２３Ｂは、生成処理Ｓ２３Ａに比べて、より多くの新たなフレーズを生成できる可能性がある。図８は、新たなフレーズの生成処理Ｓ２３Ｂの詳細な流れを示すフロー図である。図８に示すように、生成処理Ｓ２３Ｂは、ステップＳ２３１Ｂと、ステップＳ２３２Ｂとを含む。

（ステップＳ２３１Ｂ）
ステップＳ２３１Ｂにおいて、生成部２２は、文集合Ｄ１に含まれる文において複数の既存のフレーズの何れかが出現する箇所を特定する。

当該ステップの処理について、図８に示す具体例を用いて説明する。この具体例では、図４に示した対象ドメイン「料理」のタクソノミＴ１を拡張する。また、対象ドメイン「料理」に関する文集合Ｄ１は、「Ａは熱々のお茶を注いだ」との文２を含む。生成部２２は、文２に出現する既存のフレーズ「お茶」の箇所を特定する。

（ステップＳ２３２Ｂ）
ステップＳ２３２Ｂにおいて、生成部２２は、特定した箇所に適合する新たなフレーズを、言語モデルＭ１を用いて予測することにより生成する。

当該ステップの処理について、図８に示す具体例を用いて説明する。生成部２２は、文２において特定した箇所をマスクした文を、言語モデルＭ１に入力する。生成部２２は、言語モデルＭ１により予測された「お茶」及び「コーヒー」のうち、既存のフレーズとは異なる「コーヒー」を新たなフレーズとして抽出する。

（言語モデルＭ１を使用しない生成処理の一例）
ステップＳ２３において実行され得る、言語モデルＭ１を使用しない新たなフレーズの生成処理の一例について説明する。

例えば、生成部２２は、言語モデルＭ１を使用しない代わりに知識ベースを使用して、文集合Ｄ１から新たなフレーズを抽出してもよい。抽出される新たなフレーズは、文集合Ｄ１に含まれるフレーズである。知識ベースは、一般的な情報に関する知識ベースであることが望ましい。例えば、生成部２２は、情報処理装置２のメモリ（図示せず）に記憶された知識ベースを使用してもよいし、ネットワークを介して接続された他の装置から知識ベースを取得して使用してもよい。

例えば、生成部２２は、知識ベースを用いて、文集合Ｄ１に含まれるフレーズのうち対象ドメインに関するフレーズに正解のラベルを付与する。また、生成部２２は、正解のラベルを付与した文集合Ｄ１を教師データとして、文集合Ｄ１からフレーズを抽出する抽出モデルを機械学習により生成する。また、生成部２２は、生成した抽出モデルを用いて文集合Ｄ１から抽出したフレーズのうち、既存のフレーズとは異なるものを新たなフレーズとする。なお、知識ベースを用いて文集合Ｄ１から対象ドメインのフレーズを抽出する抽出モデルを生成する技術としては、以下の参考文献７に記載された技術を適用可能である。

［参考文献７］：Jingbo Shang et al.., "Automated Phrase Mining from Massive Text Corpora", TKDE 2018.
（言語モデルＭ１を使用しない生成処理の他の例）
ステップＳ２３において実行され得る、言語モデルＭ１を使用しない新たなフレーズの生成処理の他の例について説明する。

例えば、生成部２２は、言語モデルＭ１を使用せずに、ＢｉＬＳＴＭ－ＣＲＦモデルを使用して、文集合Ｄ１から新たなフレーズを抽出してもよい。ＢｉＬＳＴＭ－ＣＲＦモデルの一方からの入力は単語の列であり、他方からの入力は対象ドメインにおけるフレーズを識別するラベルである。この場合、生成部２２は、タクソノミＴ１及び文集合Ｄ１から学習データを生成し、生成した学習データを用いてＢｉＬＳＴＭ－ＣＲＦモデルを学習する。タクソノミＴ１及び文集合Ｄ１からＢｉＬＳＴＭ－ＣＲＦモデルの学習に用いる学習データを生成する技術については、非特許文献３に記載された技術を適用可能である。また、生成部２２は、生成したＢｉＬＳＴＭ－ＣＲＦモデルを用いて、文集合Ｄ１から新たなフレーズを抽出する。

（拡張処理Ｓ２４Ａの詳細：言語モデルＭ１を使用した拡張処理の一例）
ステップＳ２４において実行され得る、タクソノミＴ１の拡張処理Ｓ２４Ａの詳細な流れについて、図９を参照して説明する。拡張処理Ｓ２４Ａは、言語モデルＭ１を使用して、既存のフレーズの何れかに新たなフレーズを関連付ける処理である。図９は、拡張処理Ｓ２４Ａの詳細な流れを示すフロー図である。図９に示すように、拡張処理Ｓ２４Ａは、ステップＳ２４１Ａ～Ｓ２４３Ａを含む。

（ステップＳ２４１Ａ）
ステップＳ２４１Ａにおいて、拡張部２３は、タクソノミＴ１に含まれる複数の既存のフレーズのうち何れかと新たなフレーズとを含む文を生成する。具体的には、拡張部２３は、既存のフレーズ及び新たなフレーズを含む文として、既存のフレーズ及び新たなフレーズの間の関係性を仮定した文を生成する。

当該ステップの処理について、図９に示す具体例を用いて説明する。ここでは、図４に示した対象ドメイン「料理」に関するタクソノミＴ１に、新しいフレーズである「パスタ」を追加して拡張する具体例について説明する。拡張部２３は、既存のフレーズと新たなフレーズとの間の関係性を仮定した文として、「＜料理名＞は＜料理カテゴリ＞の１つ」との文を適用する。例えば、拡張部２３は、既存のフレーズ「イタリア料理」と新たなフレーズ「パスタ」との間の関係性を仮定した文として、「パスタはイタリア料理の１つ」というパターン１の文を生成する。また、拡張部２３は、既存のフレーズ「デザート」と新たなフレーズ「パスタ」との間の関係性を仮定した文として、「パスタはデザートの１つ」というパターン２の文を生成する。このようにして、拡張部２３は、タクソノミＴ１に含まれる既存のフレーズの各々について、新しいフレーズ「パスタ」との関係性を仮定した文を生成する。

（ステップＳ２４２Ａ）
ステップＳ２４２Ａにおいて、拡張部２３は、生成した文の確度を、言語モデルＭ１により算出する。

当該ステップの処理について、図９に示す具体例を用いて説明する。拡張部２３は、パターン１の文を言語モデルＭ１に入力することにより、出力される確度０．９を得る。また、拡張部２３は、パターン２の文を言語モデルＭ１に入力することにより、出力される確度０．１を得る。このようにして、拡張部２３は、タクソノミＴ１に含まれる既存のフレーズの各々について、その確度を得る。

（ステップＳ２４３Ａ）
ステップＳ２４３Ａにおいて、拡張部２３は、算出した確度を参照して、複数の既存のフレーズの何れかと新たなフレーズとを関連付ける。

当該ステップの処理について、図９に示す具体例を用いて説明する。例えば、拡張部２３は、タクソノミＴ１に含まれる既存のフレーズのうち、新しいフレーズ「パスタ」との関係性を仮定した文の確度が最も高い既存のフレーズ「イタリア料理」と、新しいフレーズ「パスタ」とを関連付ける。換言すると、図９に示すように、拡張部２３は、既存のフレーズ「イタリア料理」に対応するノードＮ２に、新たなフレーズ「パスタ」に対応する新たなノードＮ８を、新たなエッジＥ７により接続する。エッジＥ７は、根元に接続されたノードＮ２に対応するフレーズ「イタリア料理」が親であり、矢頭に接続されたノードＮ８に対応するフレーズ「パスタ」が子であることを表す。つまり、フレーズ「イタリア料理」はフレーズ「パスタ」の親である。このようにして、タクソノミＴ１が拡張される。

（拡張処理Ｓ２４Ｂの詳細：言語モデルＭ１を使用した拡張処理の他の例）
ステップＳ２４において実行され得る、言語モデルＭ１を使用した拡張処理Ｓ２４Ｂの詳細な流れについて、図１０を参照して説明する。拡張処理Ｓ２４Ｂは、言語モデルＭ１を含む判別モデルＭ２０を用いて、複数の既存のフレーズの何れかと新たなフレーズとを関連付ける処理である。図１０は、拡張処理Ｓ２４Ｂの詳細な流れを示すフロー図である。図１０に示すように、拡張処理Ｓ２４Ｂは、ステップＳ２４１Ｂ～Ｓ２４４Ｂを含む。

（ステップＳ２４１Ｂ）
ステップＳ２４１Ｂにおいて、拡張部２３は、言語モデルＭ１を使用して判別モデルＭ２０を生成する。判別モデルＭ２０は、言語モデルＭ１と、言語モデルＭ１からの出力が入力される分類器Ｍ３とを含む。判別モデルＭ２０は、複数の既存のフレーズのうち何れかと新たなフレーズとを含む文が言語モデルＭ１に入力されると、関係性の有無を示す情報を分類器Ｍ３が出力するよう学習される。この学習は、タクソノミＴ１が示す、複数の既存のフレーズのうち２つの間の関係性の有無を正解とする教師データを用いて行われる。判別モデルＭ２０は、分類器Ｍ３からの出力を出力する。

当該ステップの処理について、図１０に示す具体例を用いて説明する。ここでは、図４に示した対象ドメイン「料理」のタクソノミＴ１に、新しいフレーズである「パスタ」を追加して拡張する具体例について説明する。

この具体例では、文集合Ｄ１に含まれる２つの既存のフレーズの組み合わせの各々について、教師データが生成される。教師データは、２つの既存のフレーズを含む文と、当該２つのフレーズの間の関係性の有無を示す情報とを含む。例えば、タクソノミＴ１は、既存のフレーズ「ピザ」と既存のフレーズ「イタリア料理」との間には親子関係があることを示している。そこで、拡張部２３は、当該２つのフレーズの間の関係性を仮定したパターン３の文「ピザはイタリア料理の１つ」と、正解として「親子である」との情報を含む教師データを生成する。また、タクソノミＴ１は、既存のフレーズ「ピザ」と既存のフレーズ「デザート」との間には親子関係がないことを示している。そこで、拡張部２３は、当該２つの既存のフレーズの間の関係性を仮定したパターン４の文「ピザはデザートの１つ」と、正解として「親子でない」との情報を含む教師データを生成する。このようにして、拡張部２３は、タクソノミＴ１に含まれる２つの既存のフレーズの組み合わせの各々について教師データを生成する。また、拡張部２３は、生成した教師データを用いて、判別モデルＭ２０を学習する。

（ステップＳ２４２Ｂ）
ステップＳ２４２Ｂにおいて、拡張部２３は、タクソノミＴ１に含まれる複数の既存のフレーズのうち何れかと新たなフレーズとを含む文を生成する。具体的には、拡張部２３は、既存のフレーズ及び新たなフレーズを含む文として、既存のフレーズ及び新たなフレーズの間の関係性を仮定した文を生成する。

当該ステップの処理について、図１０に示す具体例を用いて説明する。ここでは、拡張部２３は、パターン１の文「パスタはイタリア料理の１つ」、及びパターン２の文「パスタはデザートの１つ」を生成する。パターン１の文およびパターン２の文については、ステップＳ２４１Ａで説明した通りである。このようにして、拡張部２３は、タクソノミＴ１に含まれる既存のフレーズの各々について、新しいフレーズ「パスタ」との関係性を仮定した文を生成する。

（ステップＳ２４３Ｂ）
ステップＳ２４３Ｂにおいて、拡張部２３は、生成した文を判別モデルＭ２０に入力することにより、判別モデルＭ２０から出力される判別結果を得る。

当該ステップの処理について、図１０に示す具体例を用いて説明する。ここでは、判別モデルＭ２０は、パターン１の文が入力されると、「親子である」との情報を出力する。また、判別モデルＭ２０は、パターン２の文が入力されると、「親子でない」との情報を出力する。このようにして、拡張部２３は、タクソノミＴ１に含まれる既存のフレーズの各々について、新しいフレーズ「パスタ」との関係性の有無の判別結果を得る。

（ステップＳ２４４Ｂ）
ステップＳ２４４Ｂにおいて、拡張部２３は、判別結果を参照して、複数の既存のフレーズの何れかと新たなフレーズとを関連付ける。

当該ステップの処理について、図１０に示す具体例を用いて説明する。例えば、拡張部２３は、タクソノミＴ１に含まれる既存のフレーズのうち、新しいフレーズ「パスタ」に対して「親子である」との判別結果が得られたフレーズ「イタリア料理」と、当該新しいフレーズ「パスタ」とを関連付ける。もし、新たなフレーズ「パスタ」に対して「親子である」との判別結果が得られた既存のフレーズが複数個ある場合、拡張部２３は、そのうち何れかの既存のフレーズと、新たなフレーズとを関連付ける。「これにより、タクソノミＴ１には、ノードＮ８及びエッジＥ７が追加されて拡張される。拡張されたタクソノミＴ１の詳細については、図９を参照して説明した通りである。

なお、ステップＳ２４１Ｂにおいて生成する判別モデルＭ２０は、関係性の有無を示す情報として、関係性が有る確度を出力してもよい。この場合、ステップＳ２４４Ｂにおいて、拡張部２３は、関係性が有る確度が最も高い既存のフレーズに、新たなフレーズを関連付ければよい。

（言語モデルＭ１を使用しない拡張処理の一例）
ステップＳ２４において実行され得る、言語モデルＭ１を使用しない拡張処理の一例について説明する。

例えば、拡張部２３は、タクソノミＴ１に含まれる複数の既存のフレーズの何れかと、新たなフレーズとの類似度を算出し、算出した類似度に基づいて、新たなフレーズを既存のフレーズの何れかに関連付けてもよい。

例えば、拡張部２３は、既存のフレーズと新たなフレーズとの類似度を、文字列的な類似度、及び意味的な類似度の一方または両方を用いて算出する。例えば、拡張部２３は、文字列的な類似度として、ｅｄｉｔ ｄｉｓｔａｎｃｅ、ｅｎｄ＿ｗｉｔｈ、またはｊａｃｃａｒｄ ｓｉｍｉｌａｒｉｔｙ等の指標を算出してもよい。また、拡張部２３は、意味的な類似度として、既存のフレーズを示す意味ベクトルと、新たなフレーズを示す意味ベクトルとの間のコサイン類似度又はユークリッド距離等を算出してもよい。なお、拡張部２３は、このような意味ベクトルを、ｗｏｒｄ２ｖｅｃ等により算出してもよい。

例えば、拡張部２３は、文字列的な類似度及び意味的な類似度の一方または両方が閾値以上となる既存のフレーズに、新たなフレーズを関連付けてもよい。

（言語モデルＭ１を使用しない拡張処理の他の例）
ステップＳ２４において実行され得る、言語モデルＭ１を使用しない拡張処理の他の例について説明する。

例えば、拡張部２３は、２つのフレーズの間の文字列的な類似度及び各フレーズの意味ベクトルの一方または両方を入力とし、関係性の有無を示す情報を出力する判別器を、機械学習により生成してもよい。この場合、拡張部２３は、生成した判別器を用いて、新しいフレーズとの関係性が有るとの判別結果が得られた既存のフレーズに、当該新たなフレーズを関連付ける。もし、関係性が有るとの判別結果が得られた既存のフレーズが複数個ある場合、拡張部２３は、そのうち何れかの既存のフレーズと、新たなフレーズとを関連付ける。なお、このような判別器は、関係性の有無を示す情報として、関係性が有る確度を出力してもよい。この場合、拡張部２３は、関係性が有る確度が最も高い既存のフレーズに、新たなフレーズを関連付ければよい。

＜本例示的実施形態の効果＞
本例示的実施形態は、対象ドメインに関するタクソノミＴ１を拡張するために、（ｉ）当該対象ドメインに関する文集合Ｄ１を参照して新たなフレーズを生成する処理と、（ｉｉ）タクソノミＴ１に含まれる複数の既存のフレーズの何れかに新たなフレーズを関連付ける処理との少なくとも一方において、一般的な文集合Ｄ２から生成した言語モデルＭ１を使用する。

ここで、対象ドメインに関する新たなフレーズは、一般的なフレーズの組み合わせによって説明できる場合がある。したがって、文集合Ｄ１に含まれる情報量が少ない場合であっても、言語モデルＭ１に含まれる一般的なフレーズに関する情報を利用することにより、タクソノミＴ１に追加すべき対象ドメインの新たなフレーズを、文集合Ｄ１からより精度よく生成することができる。

また、言語モデルＭ１は、一般的なフレーズ間の関係を表している。したがって、言語モデルＭ１が表す一般的なフレーズ間の関係を利用して、新たなフレーズと既存のフレーズとの関係性を補正することができる。その結果、文集合Ｄ１に含まれる情報量が少ない場合であっても、新たなフレーズと既存のフレーズとをより精度よく関連付けることができる。

例えば、本例示的実施形態を、ドメイン「料理名」に関するタクソノミＴ１を、一般的な文集合Ｄ２から構築した言語モデルＭ１と、オンラインレシピサイトから収集した文集合Ｄ１とを用いて拡張する場合の効果について説明する。ステップＳ２３において言語モデルＭ１を使用した生成処理Ｓ２３Ａを実行する場合、新たなフレーズとして、オンラインレシピサイトに含まれる料理名及び料理カテゴリをより高精度に抽出することが可能となる。また、ステップＳ２３において言語モデルＭ１を使用した生成処理Ｓ２３Ｂを実行する場合、新たなフレーズとして、オンラインレシピサイトに含まれていない料理名又は料理カテゴリを予測することが可能となる。また、ステップＳ２４において言語モデルＭ１を使用した拡張処理Ｓ２４Ａ又はＳ２４Ｂを実行する場合、新たな料理名又は料理カテゴリを、既存の料理名又は料理カテゴリにより高精度に関連付けることが可能となる。

〔例示的実施形態３〕
本発明の第３の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態２にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。

＜情報処理装置３の構成＞
本例示的実施形態に係る情報処理装置３の構成について、図１１を参照して説明する。図１１は、情報処理装置３の機能的な構成を示すブロック図である。

図１１に示すように、情報処理装置３は、例示的実施形態２に係る情報処理装置２とほぼ同様に構成されるが、取得部２１に替えて取得部３１と、調整部２５に替えて調整部３５とを含む点が異なる。また、構築部２４を含まない点も異なる。取得部３１は、請求の範囲に記載した取得手段を実現する構成の一例である。調整部３５は、請求の範囲に記載した調整手段を実現する構成の一例である。

（取得部３１）
取得部３１は、例示的実施形態２における取得部２１とほぼ同様に構成されるが、一般的な文集合Ｄ２を取得する代わりに、生成済み言語モデルＭ４を取得する点が異なる。

（生成済み言語モデルＭ４）
生成済み言語モデルＭ４は、入力された単語列に対してその確度を出力するモデルであり、その詳細については、実施形態１で説明した通りである。生成済み言語モデルＭ４は、情報処理装置３とは異なる装置によって生成されたモデルである。例えば、生成済み言語モデルＭ４としては、公開された言語モデルを適用してもよい。

（構築部３２）
構築部３２は、文集合Ｄ１を用いて生成済み言語モデルＭ４を調整することにより、言語モデルＭ５を構築する。文集合Ｄ１を用いて言語モデルＭ４を調整する処理に適用可能な技術については、例示的実施形態２における調整部２５について説明した通りである。

＜情報処理方法Ｓ３の流れ＞
以上のように構成された情報処理装置３が実行する情報処理方法Ｓ３の流れについて、図１２を参照して説明する。図１２は、情報処理方法Ｓ３の流れを示すフロー図である。図１３に示すように、情報処理方法Ｓ３は、ステップＳ３１～Ｓ３４を含む。

（ステップＳ３１）
ステップＳ３１において、取得部３１は、タクソノミＴ１、文集合Ｄ１、及び生成済み言語モデルＭ４を取得する。例えば、取得部３１は、情報処理装置３のメモリ（図示せず）に記憶されたタクソノミＴ１、文集合Ｄ１、又は生成済み言語モデルＭ４を取得してもよいし、ネットワークを介して接続された他の装置からタクソノミＴ１、文集合Ｄ１、又は生成済み言語モデルＭ４を取得してもよい。

（ステップＳ３２）
ステップＳ３２において、構築部３２は、文集合Ｄ１を用いて、生成済み言語モデルＭ４を調整することにより、言語モデルＭ５を生成する。

（ステップＳ３３）
ステップＳ３３において、生成部２２は、文集合Ｄ１を参照して新たなフレーズを生成するため、言語モデルＭ５を使用する生成処理Ｓ２３Ａ及びＳ２３Ｂの何れかを実行する。または、生成部２２は、生成処理Ｓ２３Ａ及びＳ２３Ｂの何れかを実行する代わりに、言語モデルＭ５を使用しない生成処理を実行してもよい。これらの生成処理の詳細については、例示的実施形態２におけるステップＳ２３の詳細な説明において、言語モデルＭ１を言語モデルＭ５と読み替えることにより、同様に説明される。

（ステップＳ３４）
ステップＳ３４において、拡張部２３は、タクソノミＴ１を拡張するため、言語モデルＭ５を使用する拡張処理Ｓ２４Ａ及びＳ２４Ｂの何れかを実行する。または、拡張部２３は、拡張処理Ｓ２４Ａ及びＳ２４Ｂの何れかを実行する代わりに、言語モデルＭ５を使用しない拡張処理を実行してもよい。なお、ステップＳ３３において言語モデルＭ５を使用しない生成処理が実行された場合には、当該ステップにおいて、言語モデルＭ５を使用する拡張処理Ｓ２４Ａ及びＳ２４Ｂの何れかが実行される。これらの拡張処理の詳細については、例示的実施形態２におけるステップＳ２４の詳細な説明において、言語モデルＭ１を言語モデルＭ５と読み替えることにより、同様に説明される。

＜本例示的実施形態の効果＞
本例示的実施形態は、対象ドメインに関するタクソノミＴ１を拡張するために使用する言語モデルとして、生成済みの言語モデルＭ４を調整した言語モデルＭ５を使用する。これにより、言語モデルを構築する処理を必要とせずに、例示的実施形態２と同様の効果を奏することができる。

〔変形例１〕
なお、例示的実施形態２及び３において、拡張部２３は、複数の既存のフレーズのうち何れかと新たなフレーズとを含む文として、当該２つのフレーズの間に複数種類の関係性の何れかがあることを仮定した文を生成してもよい。複数種類の関係性の具体例としては、例えば、所属関係、国と首都との関係等が挙げられる。所属関係とは、例えば、スポーツチーム名及び当該スポーツチームに所属する選手名の関係である。また、国と首都との関係とは、例えば、国名及び当該国の首都名の関係である。

例えば、拡張部２３は、所属関係を仮定した文として「＜新たなフレーズ＞は＜既存のフレーズ＞に所属する」との文ａ、及び「＜既存のフレーズ＞は＜新たなフレーズ＞に所属する」との文ｂを生成する。また、拡張部２３は、国と首都との関係を仮定した文として「＜新たなフレーズ＞は＜既存のフレーズ＞の中心である」との文ｃ、及び「＜既存のフレーズ＞は＜新たなフレーズ＞の中心である」との文ｄを生成する。

拡張処理Ｓ２４Ａを実行する場合、拡張部２３は、生成した文ａ～文ｄの確度を言語モデルＭ１（又はＭ５）を用いて算出する。また、拡張部２３は、算出した確度を参照して、新たなフレーズを既存のフレーズに関連付ける。

また、拡張処理Ｓ２４Ｂを実行する場合、拡張部２３は、生成した文ａ～文ｄのそれぞれを判別モデルＭ２０に入力し、判別結果を参照して、新たなフレーズを既存のフレーズに関連付ける。

このように変形することにより、各例示的実施形態は、新たなフレーズを、新たなフレーズに対してより適切な種類の関係性を有する既存のフレーズに関連付けることができる。

〔変形例２〕
なお、例示的実施形態２及び３は、調整部２５及び３５を含まないよう変形可能である。換言すると、各例示的実施形態において、言語モデルＭ１又はＭ４を調整する処理は必須ではない。この場合、例示的実施形態２において、生成部２２及び拡張部２３の少なくとも一方は、調整していない言語モデルＭ１を使用する。また、この場合、例示的実施形態３において、生成部２２及び拡張部２３は、生成済みの言語モデルＭ４を使用する。この場合であっても、各例示的実施形態は、文集合Ｄ１を参照して精度よく新たなフレーズを生成することができるとともに、新たなフレーズと既存のフレーズとを精度よく関連付けることができる。

ただし、調整した言語モデルＭ１及びＭ５を用いる場合には、対象ドメインにおけるフレーズ又は単語間の関係性を補正できるため、フレーズの生成及び関連付けの精度が向上するとの効果が得られる。したがって、各例示的実施形態は、調整部２５及び３５を含むことが望ましい。

〔他の変形例〕
また、例示的実施形態２及び３は、ステップＳ２３又はＳ３３において、生成処理Ｓ２３Ａ又はＳ２３Ｂに限らず、言語モデルＭ１（又はＭ５）を使用したその他の手法を用いて文集合Ｄ１から新たなフレーズを生成してもよい。また、例示的実施形態２及び３は、ステップＳ２４又はＳ３４において、拡張処理Ｓ２４Ａ又はＳ２４Ｂに限らず、言語モデルＭ１（又はＭ５）を使用したその他の手法を用いて新たなフレーズと既存のフレーズとを関連付けてもよい。

〔ソフトウェアによる実現例〕
情報処理装置１～３の一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、情報処理装置１～３は、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図１３に示す。コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣを情報処理装置１～３として動作させるためのプログラムＰが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、情報処理装置１～３の各機能が実現される。

プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせなどを用いることができる。

なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。

また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。

〔付記事項１〕
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。

〔付記事項２〕
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。

（付記１）
複数のフレーズの間の関係性を表すタクソノミを取得する取得手段と、
第１文集合を参照して、前記複数のフレーズの何れとも異なる新たなフレーズを生成する生成手段と、
前記複数のフレーズの何れかと前記新たなフレーズとを関連付けることによって、前記タクソノミを拡張する拡張手段とを含み、
前記生成手段及び前記拡張手段の一方または両方において言語モデルを使用する、
情報処理装置。

上記構成により、生成手段において言語モデルを使用する場合には、第１文集合に含まれる情報に加えて言語モデルが表す情報を利用できるため、タクソノミに追加すべき新たなフレーズをより精度よく生成することができる。また、拡張手段において言語モデルを使用する場合には、言語モデルが表すフレーズの間の関係性を利用して、新たなフレーズと既存のフレーズとの関係性を補正できるため、新たなフレーズと既存のフレーズとをより精度よく関連付けることができる。したがって、本例示的実施形態は、より精度よくタクソノミを拡張することができる。

（付記２）
前記第１文集合に含まれない文を含む第２文集合に基づいて、前記生成手段及び前記拡張手段の一方または両方において参照される前記言語モデルを構築する構築手段をさらに含む、付記１に記載の情報処理装置。

上記構成により、生成手段において言語モデルを使用する場合には、言語モデルが表す、第１文集合に含まれない情報を利用できるので、新たなフレーズをさらに精度よく生成することができる。また、拡張手段において言語モデルを使用する場合には、第１文集合には含まれていない、言語モデルが表すフレーズの間の関係性を利用できるので、新たなフレーズと既存のフレーズとをさらに精度よく関連付けることができる。

（付記３）
前記生成手段及び前記拡張手段の一方または両方において参照される前記言語モデルを、前記第１文集合に基づいて調整する調整手段をさらに含む、付記１又は２に記載の情報処理装置。

上記構成により、生成手段において、調整された言語モデルを使用するため、新たなフレーズをさらに精度よく生成することができる。また、拡張手段において調整された言語モデルを使用するため、新たなフレーズと既存のフレーズとをさらに精度よく関連付けることができる。

（付記４）
前記生成手段は、
前記新たなフレーズを、抽出モデルを用いて前記第１文集合から抽出することにより生成し、
前記抽出モデルは、
前記言語モデルと、前記言語モデルからの出力が入力される識別器とを含み、
前記第１文集合に含まれる文が前記言語モデルに入力されると、前記新たなフレーズを前記識別器が識別して出力するよう、
前記第１文集合に出現する前記複数のフレーズを正解とする教師データを用いた機械学習により生成される、
付記１から３の何れか１つに記載の情報処理装置。

上記構成により、言語モデルを使用して生成した抽出モデルを用いることで、第１文集合から新たなフレーズを精度よく抽出することができる。

（付記５）
前記生成手段は、
前記第１文集合に含まれる文において前記複数のフレーズの何れかが出現する箇所に適合する前記新たなフレーズを、前記言語モデルを用いて予測することにより生成する、
付記１から３の何れか１つに記載の情報処理装置。

上記構成により、言語モデルを用いて新たなフレーズを予測することにより、第１文集合に含まれていない新たなフレーズを生成することも可能である。

（付記６）
前記拡張手段は、
前記複数のフレーズのうち何れかと前記新たなフレーズとを含む文の確度を前記言語モデルにより算出し、算出した確度を参照して前記複数のフレーズの何れかと前記新たなフレーズとを関連付ける、
付記１から５の何れか１つに記載の情報処理装置。

上記構成により、タクソノミに既に含まれるフレーズ及び新たなフレーズとの関係性を、言語モデルが算出した確度により判定することができる。その結果、タクソノミに既に含まれるフレーズ及び新たなフレーズより精度よく関連付けることができる。

（付記７）
前記拡張手段は、
判別モデルを用いて、前記複数のフレーズの何れかと前記新たなフレーズとを関連付け、
前記判別モデルは、
前記言語モデルと、前記言語モデルからの出力が入力される分類器とを含み、
前記複数のフレーズの何れかと前記新たなフレーズとを含む文が前記言語モデルに入力されると、関係性の有無を示す情報を前記分類器が出力するよう、
前記タクソノミが示す、前記複数のフレーズのうち２つの間の関係性の有無を正解とする教師データを用いた機械学習により生成される、付記１から５の何れか１つに記載の情報処理装置。

上記構成により、タクソノミに既に含まれるフレーズ及び新たなフレーズとの関係性を、言語モデルが表す関係性を利用した判定モデルにより判定することができる。その結果、タクソノミに既に含まれるフレーズ及び新たなフレーズより精度よく関連付けることができる。

（付記８）
前記拡張手段は、
前記複数のフレーズのうち何れかと前記新たなフレーズとを含む文として、当該２つのフレーズの間に複数種類の関係性の何れかがあることを仮定した文を生成する、
付記６又は７に記載の情報処理装置。

上記構成により、タクソノミに既に含まれるフレーズ及び新たなフレーズとの関連付けを、これらのフレーズの間の関係性の種類を考慮して行うことができる。その結果、より精度よく関連付けを行うことができる。

（付記９）
複数のフレーズの間の関係性を表すタクソノミを取得すること、
第１文集合を参照して、前記複数のフレーズの何れとも異なる新たなフレーズを生成すること、及び、
前記複数のフレーズの何れかと前記新たなフレーズとを関連付けることによって、前記タクソノミを拡張すること、を含み、
前記新たなフレーズを生成すること、及び前記タクソノミを拡張すること、の一方または両方において言語モデルを使用する、
情報処理方法。

上記構成により、付記１と同様の効果を奏する。

（付記１０）
コンピュータを情報処理装置として機能させるためのプログラムであって、前記コンピュータを、
複数のフレーズの間の関係性を表すタクソノミを取得する取得手段と、
第１文集合を参照して、前記複数のフレーズの何れとも異なる新たなフレーズを生成する生成手段と、
前記複数のフレーズの何れかと前記新たなフレーズとを関連付けることによって、前記タクソノミを拡張する拡張手段と、として機能させ、
前記生成手段及び前記拡張手段の一方または両方において言語モデルを使用する、プログラム。

上記構成により、付記１と同様の効果を奏する。

〔付記事項３〕
上述した実施形態の一部又は全部は、更に、以下のように表現することもできる。

少なくとも１つのプロセッサを備え、
前記プロセッサは、
複数のフレーズの間の関係性を表すタクソノミを取得する取得処理と、
第１文集合を参照して、前記複数のフレーズの何れとも異なる新たなフレーズを生成する生成処理と、
前記複数のフレーズの何れかと前記新たなフレーズとを関連付けることによって、前記タクソノミを拡張する拡張処理とを実行し、
前記生成処理及び前記拡張処理の一方または両方において言語モデルを使用する、情報処理装置。

なお、この情報処理装置は、更にメモリを備えていてもよく、このメモリには、前記取得処理と、前記生成処理と、前記拡張処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。

１、２、３ 情報処理装置
１１、２１、３１ 取得部
１２、２２ 生成部
１３、２３ 拡張部
２４ 構築部
２５、３５ 調整部

Claims (10)

1. 複数のフレーズの間の関係性を表すタクソノミを取得する取得手段と、
   第１文集合を参照して、前記複数のフレーズの何れとも異なる新たなフレーズを生成する生成手段と、
   前記複数のフレーズの何れかと前記新たなフレーズとを関連付けることによって、前記タクソノミを拡張する拡張手段とを含み、
   前記生成手段及び前記拡張手段の一方または両方において言語モデルを使用し、
   前記生成手段は、
   前記新たなフレーズを、抽出モデルを用いて前記第１文集合から抽出することにより生成し、
   前記抽出モデルは、
   前記言語モデルと、前記言語モデルからの出力が入力される識別器とを含み、
   前記第１文集合に含まれる文が前記言語モデルに入力されると、前記新たなフレーズを前記識別器が識別して出力するよう、
   前記第１文集合に出現する前記複数のフレーズを正解とする教師データを用いた機械学習により生成される、
   情報処理装置。
2. 前記第１文集合に含まれない文を含む第２文集合に基づいて、前記生成手段及び前記拡張手段の一方または両方において参照される前記言語モデルを構築する構築手段をさらに含む、
   請求項１に記載の情報処理装置。
3. 前記生成手段及び前記拡張手段の一方または両方において参照される前記言語モデルを、前記第１文集合に基づいて調整する調整手段をさらに含む、
   請求項１又は２に記載の情報処理装置。
4. 前記拡張手段は、
   前記複数のフレーズのうち何れかと前記新たなフレーズとを含む文の確度を前記言語モデルにより算出し、算出した確度を参照して前記複数のフレーズの何れかと前記新たなフレーズとを関連付ける、
   請求項１から３の何れか１項に記載の情報処理装置。
5. 前記拡張手段は、
   判別モデルを用いて、前記複数のフレーズの何れかと前記新たなフレーズとを関連付け、
   前記判別モデルは、
   前記言語モデルと、前記言語モデルからの出力が入力される分類器とを含み、
   前記複数のフレーズの何れかと前記新たなフレーズとを含む文が前記言語モデルに入力されると、関係性の有無を示す情報を前記分類器が出力するよう、
   前記タクソノミが示す、前記複数のフレーズのうち２つの間の関係性の有無を正解とする教師データを用いた機械学習により生成される、請求項１から３の何れか１項に記載の情報処理装置。
6. 前記拡張手段は、
   前記複数のフレーズのうち何れかと前記新たなフレーズとを含む文として、当該２つのフレーズの間に複数種類の関係性の何れかがあることを仮定した文を生成する、
   請求項４又は５に記載の情報処理装置。
7. 複数のフレーズの間の関係性を表すタクソノミを取得する取得手段と、
   第１文集合を参照して、前記複数のフレーズの何れとも異なる新たなフレーズを生成する生成手段と、
   前記複数のフレーズの何れかと前記新たなフレーズとを関連付けることによって、前記タクソノミを拡張する拡張手段とを含み、
   前記生成手段及び前記拡張手段の一方または両方において言語モデルを使用し、
   前記生成手段は、
   前記第１文集合に含まれる文において前記複数のフレーズの何れかが出現する箇所に適合する前記新たなフレーズを、前記言語モデルを用いて予測することにより生成する、
   情報処理装置。
8. 複数のフレーズの間の関係性を表すタクソノミを取得する取得手段と、
   第１文集合を参照して、前記複数のフレーズの何れとも異なる新たなフレーズを生成する生成手段と、
   前記複数のフレーズの何れかと前記新たなフレーズとを関連付けることによって、前記タクソノミを拡張する拡張手段とを含み、
   前記生成手段及び前記拡張手段の一方または両方において言語モデルを使用し、
   前記拡張手段は、
   前記複数のフレーズのうち何れかと前記新たなフレーズとを含む文の確度を前記言語モデルにより算出し、算出した確度を参照して前記複数のフレーズの何れかと前記新たなフレーズとを関連付ける、
   情報処理装置。
9. 複数のフレーズの間の関係性を表すタクソノミを取得すること、
   第１文集合を参照して、前記複数のフレーズの何れとも異なる新たなフレーズを生成すること、及び、
   前記複数のフレーズの何れかと前記新たなフレーズとを関連付けることによって、前記タクソノミを拡張すること、を含み、
   前記新たなフレーズを生成すること、及び前記タクソノミを拡張すること、の一方または両方において言語モデルを使用し、
   前記生成することにおいて、
   前記新たなフレーズを、抽出モデルを用いて前記第１文集合から抽出することにより生成し、
   前記抽出モデルは、
   前記言語モデルと、前記言語モデルからの出力が入力される識別器とを含み、
   前記第１文集合に含まれる文が前記言語モデルに入力されると、前記新たなフレーズを前記識別器が識別して出力するよう、
   前記第１文集合に出現する前記複数のフレーズを正解とする教師データを用いた機械学習により生成される、
   情報処理方法。
10. コンピュータを情報処理装置として機能させるためのプログラムであって、前記コンピュータを、
    複数のフレーズの間の関係性を表すタクソノミを取得する取得手段と、
    第１文集合を参照して、前記複数のフレーズの何れとも異なる新たなフレーズを生成する生成手段と、
    前記複数のフレーズの何れかと前記新たなフレーズとを関連付けることによって、前記タクソノミを拡張する拡張手段と、として機能させ、
    前記生成手段及び前記拡張手段の一方または両方において言語モデルを使用し、
    前記生成手段は、
    前記新たなフレーズを、抽出モデルを用いて前記第１文集合から抽出することにより生成し、
    前記抽出モデルは、
    前記言語モデルと、前記言語モデルからの出力が入力される識別器とを含み、
    前記第１文集合に含まれる文が前記言語モデルに入力されると、前記新たなフレーズを前記識別器が識別して出力するよう、
    前記第１文集合に出現する前記複数のフレーズを正解とする教師データを用いた機械学習により生成される、
    プログラム。
    

Images