JP7616361B2 - 学習方法、推論方法、学習装置、推論装置、及びプログラム - Google Patents

Description

特許法第３０条第２項適用 ２０２０年１０月１３日にｈｔｔｐｓ：／／ｗｗｗ．ｉｅｉｃｅ．ｏｒｇ／ｋｅｎ／ｐａｐｅｒ／２０２０１０２０ＶＣａ４／のウェブサイトで公開されている電子情報通信学会技術研究報告、第１２０巻、第１９５号、第１－７頁、資料番号ＩＢＩＳＭＬ２０２０－８にて公開

本発明は、学習方法、推論方法、学習装置、推論装置、及びプログラムに関する。

年月、性別、年代等といった複数の属性を有する多次元データを用いて、或る特定の情報を推定するタスクが広く行われている。

多次元データを用いて情報を推定する手法としては、例えば、多重パーセプトロン（ＭＬＰ：multi layer perceptron）、Ｎ次元の畳み込み（非特許文献１参照）等が知られている。

「Ｎ次元の畳み込み」、インターネット＜ＵＲＬ：https://jp.mathworks.com/help/matlab/ref/convn.html＞

上記のＭＬＰでは、属性値集合のみを用いて推論が行われる。例えば、（年月，性別，年代）＝（２０２０年４月，男性，３０代）といった属性値集合のみを入力として、特定の情報（例えば、契約数）が推定される。しかしながら、ＭＬＰでは広範囲の傾向（例えば、時系列の周期性等）を捉えることが困難であり、推定精度が高くない場合がある。

また、上記のＮ次元の畳み込みでは、属性値集合とそれに隣接する属性値集合とを用いて推論が行われる。例えば、｛（年月，性別，年代）｜年月＝２０２０年３月，２０２０年４月，２０２０年５月，性別＝男性，女性，年代＝２０代，３０代，４０代｝といった属性値集合の集まりを入力として特定情報（例えば、契約数）が推定される。しかしながら、Ｎ次元の畳み込みでは、隣接の定義がないカテゴリカルな属性（例えば、職業、国名等）に対しては適用が困難である。また、次元数がＮのとき或る属性値集合に隣接する属性値集合の数は３^Ｎ－１であり、次元数Ｎが増えると隣接数が指数的に増えるという問題がある。

本発明の一実施形態は、上記の点に鑑みてなされたもので、多次元データから特定の情報を高精度かつ低計算量で推定することを目的とする。

上記目的を達成するため、一実施形態に係る学習方法は、推定対象の属性を示す推定対象属性と、前記推定対象属性以外の属性を示す２以上の非推定対象属性とを持つ多次元データを入力する入力手順と、前記多次元データの非推定対象属性の次元数を削減する次元削減手順と、前記次元削減後の多次元データの前記非推定対象属性の値をビニングするビニング手順と、前記ビニング後の多次元データに対して、所定の付加情報を付加する情報付加手順と、前記付加情報が付加された多次元データを用いて、前記推定対象属性の値を推定するための推論モデルのパラメータを学習する学習手順と、をコンピュータが実行する。

多次元データから特定の情報を高精度かつ低計算量で推定することができる。

本実施形態に係る推論装置のハードウェア構成の一例を示す図である。 本実施形態に係る推論装置の機能構成の一例を示す図である。 本実施形態に係る学習処理の一例を示すフローチャートである。 正解付き多次元データセットの一例を表形式で示す図である。 次元削減済み正解付き多次元データセットの一例を表形式で示す図である。 ビニング済み正解付き多次元データセットの一例を表形式で示す図である。 学習用多次元データセットの一例を表形式で示す図である。 推論モデルの一例を示す図である。 推論モデルの他の例を示す図である。 本実施形態に係る推論処理の一例を示すフローチャートである。 正解無し多次元データセットの一例を表形式で示す図である。 次元削減済み正解無し多次元データセットの一例を表形式で示す図である。 ビニング済み正解無し多次元データセットの一例を表形式で示す図である。 推論用多次元データセットの一例を表形式で示す図である。

以下、本発明の一実施形態について説明する。多次元データから特定の情報を高精度かつ低計算量で推定することができる推論装置１０について説明する。

＜ハードウェア構成＞
まず、本実施形態に係る推論装置１０のハードウェア構成について、図１を参照しながら説明する。図１は、本実施形態に係る推論装置１０のハードウェア構成の一例を示す図である。

図１に示すように、本実施形態に係る推論装置１０は一般的なコンピュータ又はコンピュータシステムのハードウェア構成で実現され、入力装置１０１と、表示装置１０２と、外部Ｉ／Ｆ１０３と、通信Ｉ／Ｆ１０４と、プロセッサ１０５と、メモリ装置１０６とを有する。これらの各ハードウェアは、それぞれがバス１０７により通信可能に接続される。

入力装置１０１は、例えば、キーボードやマウス、タッチパネル等である。表示装置１０２は、例えば、ディスプレイ等である。なお、推論装置１０は、例えば、入力装置１０１及び表示装置１０２のうちの少なくとも一方を有していなくてもよい。

外部Ｉ／Ｆ１０３は、記録媒体１０３ａ等の外部装置とのインタフェースである。推論装置１０は、外部Ｉ／Ｆ１０３を介して、記録媒体１０３ａの読み取りや書き込み等を行うことができる。なお、記録媒体１０３ａとしては、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等が挙げられる。

通信Ｉ／Ｆ１０４は、推論装置１０を通信ネットワークに接続するためのインタフェースである。プロセッサ１０５は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等の各種演算装置である。メモリ装置１０６は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等の各種記憶装置である。

本実施形態に係る推論装置１０は、図１に示すハードウェア構成を有することにより、後述する学習処理と推論処理を実現することができる。なお、図１に示すハードウェア構成は一例であって、推論装置１０は、例えば、複数のプロセッサ１０５を有していてもよいし、複数のメモリ装置１０６を有していてもよい。

＜機能構成＞
次に、本実施形態に係る推論装置１０の機能構成について、図２を参照しながら説明する。図２は、本実施形態に係る推論装置１０の機能構成の一例を示す図である。

図２に示すように、本実施形態に係る推論装置１０は、学習部２０１と、推論部２０２とを有する。これら各部は、例えば、推論装置１０にインストールされた１以上のプログラムがプロセッサ１０５に実行させる処理により実現される。

また、本実施形態に係る推論装置１０は、正解付き多次元データ記憶部２０３と、学習用次元削減モデル記憶部２０４と、学習用推論モデル記憶部２０５と、学習済み次元削減モデル記憶部２０６と、学習済み推論モデル記憶部２０７と、正解無し多次元データ記憶部２０８と、推定結果記憶部２０９とを有する。これら各部は、例えば、メモリ装置１０６により実現される。なお、これら各部のうちの少なくとも１つが、推論装置１０と通信ネットワークを介して接続される記憶装置等により実現されてもよい。

学習部２０１は、多次元データの次元数を削減するための次元削減モデルと、この次元削減モデルによる次元削減等を行った多次元データから特定の情報を推定するための推論モデルとを学習する。

推論部２０２は、学習済み次元削減モデルと学習済み推論モデルとを用いて、多次元データから特定の情報を推定する。

正解付き多次元データ記憶部２０３は、次元削減モデルと推論モデルの学習時に用いられる正解付き多次元データの集合（以下、正解付き多次元データセットともいう）を記憶する。正解付き多次元データセットとは、推論モデルの推定対象となる特定の情報の正解（つまり、いわゆる教師データ）が付与された多次元データの集合のことである。以下では、多次元データの各属性のうち、推定対象となる特定の情報を値として取り得る属性を「推定対象属性」、それ以外の属性の「非推定対象属性」ともいう。なお、正解付き多次元データセットの具体例については後述する。

学習用次元削減モデル記憶部２０４は、学習部２０１による学習対象となる次元削減モデル（以下、学習用次元削減モデルともいう。）を記憶する。次元削減モデルとは、多次元データの次元数を削減するためのモデルのことであり、例えば、主成分分析（ＰＣＡ：principal component analysis）等である。本実施形態では、次元削減モデルはＰＣＡであるものとするが、これは一例であって、他の次元削減モデルが用いられてもよい。

学習用推論モデル記憶部２０５は、学習部２０１による学習対象となる推論モデル（以下、学習用推論モデルともいう。）を記憶する。推論モデルとは、次元削減等を行った多次元データから推定対象属性値を推定するためのモデルのことであり、例えば、ニューラルネットワーク等のことである。なお、推論モデルの具体例については後述する。

学習済み次元削減モデル記憶部２０６は、学習部２０１によって学習された学習済み次元削減モデルを記憶する。

学習済み推論モデル記憶部２０７は、学習部２０１によって学習された学習済み推論モデルを記憶する。

正解無し多次元データ記憶部２０８は、推定対象属性値が付与されていない正解無し多次元データと、正解付き多次元データとの集合（以下、正解無し多次元データセットともいう）を記憶する。正解無し多次元データセットとは、推定対象属性値が付与されていない多次元データが含まれる多次元データセットのことである。なお、正解無し多次元データセットの具体例については後述する。

推定結果記憶部２０９は、推論部２０２による推定結果（つまり、正解無し多次元データから推定された推定対象属性値）を記憶する。

ここで、学習部２０１には、次元削減部２１１と、ビニング部２１２と、情報付加部２１３と、学習処理部２１４とが含まれる。

次元削減部２１１は、正解付き多次元データセットと学習用次元削減モデルとを入力として、当該正解付き多次元データセットに含まれる各多次元データの非推定対象属性の次元数を削減する。

そして、次元削減部２１１は、この次元削減後の多次元データの集合（以下、次元削減済み正解付き多次元データセットともいう）と、学習済み次元削減モデルとを出力する。なお、次元削減済み正解付き多次元データセットの具体例については後述する。

ビニング部２１２は、次元削減済み正解付き多次元データセットを入力として、当該次元削減済み正解付き多次元データセットに含まれる各多次元データの非推定対象属性に対してビニングを行う。そして、ビニング部２１２は、このビニング後の多次元データの集合（以下、ビニング済み正解付き多次元データセットともいう）を出力する。なお、ビニングとは離散化とも呼ばれ、多次元データに含まれる非推定対象属性の取り得る範囲を或る一定区間のビンに分割し、その非推定対象属性の値を、どのビンに属するかを表現する値に置き換える手法のことである。

情報付加部２１３は、ビニング済み正解付き多次元データセットを入力として、当該ビニング済み正解付き多次元データセットに含まれる各多次元データに対して付加情報を付与した学習用多次元データセットを作成する。ここで、付加情報とは、ビニング済み正解付き多次元データセットに含まれる各多次元データの各非推定対象属性に関して、その非推定対象属性以外の非推定対象属性の値を固定したまま、その非推定対象属性の値を変化させたときの推定対象属性の値で構成される情報のことである。

そして、情報付加部２１３は、学習用多次元データセットを出力する。なお、学習用多次元データセットの具体例については後述する。

学習処理部２１４は、学習用多次元データセットと学習用推論モデルとを入力として、当該学習用推論モデルを学習し、学習済み推論モデルを作成する。そして、学習処理部２１４は、学習済み推論モデルを出力する。

また、推論部２０２には、次元削減部２２１と、ビニング部２２２と、情報付加部２２３と、推定処理部２２４とが含まれる。

次元削減部２２１は、正解無し多次元データセットと学習済み次元削減モデルとを入力として、当該正解無し多次元データセットに含まれる各多次元データの非推定対象属性の次元を削減する。そして、次元削減部２２１は、この次元削減後の多次元データの集合（以下、次元削減済み正解無し多次元データセットともいう）を出力する。

ビニング部２２２は、次元削減済み正解無し多次元データセットを入力として、当該次元削減済み正解無し多次元データセットに含まれる各多次元データの非推定対象属性に対してビニングを行う。そして、ビニング部２２２は、このビニング後の多次元データの集合（以下、ビニング済み正解無し多次元データセットともいう）を出力する。

情報付加部２２３は、ビニング済み正解無し多次元データセットを入力として、当該ビニング済み正解無し多次元データセットに含まれる各多次元データに対して付加情報を付与した推論用多次元データセットを作成する。

推定処理部２２４は、推論用多次元データセットと学習済み推論モデルとを入力として、当該学習済み推論モデルにより推定対象属性値を推定する。そして、推定処理部２２４は、推定対象属性値を推定結果として出力する。

なお、図１に示す各部は複数の装置が分散して有していてもよい。特に、例えば、学習部２０１と推論部２０２は異なる装置が有していてもよい。このとき、学習部２０１を有する装置を「学習装置」と呼んでもよい。

＜学習処理＞
次に、本実施形態に係る学習処理について、図３を参照しながら説明する。図３は、本実施形態に係る学習処理の一例を示すフローチャートである。

ステップＳ１０１：まず、学習部２０１の次元削減部２１１は、正解付き多次元データ記憶部２０３に記憶されている正解付き多次元データセットを入力する。

ここで、正解付き多次元データセットの具体例について、図４を参照しながら説明する。図４は、正解付き多次元データセットの一例を表形式で示す図である。

図４に示す例は、「年月」、「性別」、「年代」等を非推定対象属性、「契約数」を推定対象属性として持つ多次元データの集合を表形式で表したものである。

「年月」は、「２０１９／４」、「２０１９／５」等といった年及び月を示す値を取り得る。「性別」は、「男性」又は「女性」のいずれかの値を取り得る。「年代」は、「１０代」、「２０代」、「３０代」等といった年代を示す値を取り得る。「契約数」は、当該年月、性別及び年代における契約数を値として取る。

例えば、図４に示す正解付き多次元データセットの１行目の多次元データでは、（年月，性別，年代，・・・，契約数）＝（２０１９／４，男性，３０代，・・・，２００）である。同様に、２行目の多次元データでは、（年月，性別，年代，・・・，契約数）＝（２０１９／５，女性，２０代，・・・，１００）である。

なお、図４に示す正解付き多次元データセットは一例であって、本実施形態は様々な属性を持つ多次元データの集合に対して適用可能である。また、各属性が取り得る値も様々に定義され得る。例えば、図４に示す例では「年月」は或る年の毎月の値を取り得るが、例えば、或る年の隔月の値を取るものであってもよいし、隔年の毎月又は隔月の値を取るものであってもよい。同様に、「年代」は１０歳毎に区切られた値を取る場合に限られず、例えば、「若年層」や「高齢層」といった値を取るものであってもよいし、「２０歳～２５歳」等といった範囲を値に取るものであってもよいし、「２０歳」等といった特定の年齢の値に取るものであってもよい。また、「契約数」についても、契約した顧客数であってもよいし、契約の延べ数等であってもよい。

以下では、正解付き多次元データセットに含まれる各多次元データは「年月」、「性別」、「年代」以外にも様々な非推定対象属性を持っており、合計Ｎ個の非推定対象属性を持っているものとする。すなわち、正解付き多次元データセットに含まれる各多次元データは、Ｎ個の非推定対象属性と、１個の推定対象属性とを持っているものとする。

ステップＳ１０２：次に、学習部２０１の次元削減部２１１は、正解付き多次元データセットと、学習用次元削減モデル記憶部２０４に記憶されている学習用次元削減モデルとを入力として、当該正解付き多次元データセットに含まれる各多次元データの非推定対象属性の次元数を削減する。これにより、学習用次元削減モデルが学習され、学習済み次元削減モデルが得られる。以下では、一例として、主成分分析により非推定対象属性の次元数（Ｎ次元）が、第１主成分、第２主成分及び第３主成分の３次元に削減されたものとする。なお、主成分分析は既知の手法であるため、その詳細な説明は省略する。

そして、学習部２０１の次元削減部２１１は、次元削減済み正解付き多次元データセットをビニング部２１２に出力すると共に、学習済み次元削減モデルを学習済み次元削減モデル記憶部２０６に出力する。なお、学習済み次元削減モデルとは、例えば、Ｎ個の非推定対象属性を持つＮ次元データを、第１主成分、第２主成分及び第３主成分を属性として持つ３次元データに変換する写像やそのパラメータ等を表す情報のことである。

ここで、次元削減済み正解付き多次元データセットの具体例について、図５を参照しながら説明する。図５は、次元削減済み正解付き多次元データセットの一例を表形式で示す図である。

図５に示す例は、図４に示す正解付き多次元データセットに含まれる各多次元データの非推定対象属性を３次元に次元削減した多次元データの集合を表形式で表したものである。図５に示す次元削減済み正解付き多次元データセットに含まれる各多次元データは、「第１主成分」、「第２主成分」、「第３主成分」を非推定対象属性、「契約数」を推定対象属性として持つ。

「第１主成分」、「第２主成分」及び「第３主成分」は、主成分分析でそれぞれ第１主成分、第２主成分及び第３主成分とした値を取る。なお、これらの第１主成分～第３主成分は、図４に示す正解付き多次元データセットに含まれる各多次元データが持つ非推定対象属性であってもよいし、新たに定義した属性であってもよい。

例えば、図５に示す次元削減済み正解付き多次元データセットの１行目の多次元データは、図４に示す正解付き多次元データセットの１行目の多次元データを次元削減したものであり、（第１主成分，第２主成分，第３主成分，契約数）＝（５３，２８，１０３，２００）である。同様に、２行目の多次元データは、図４に示す正解付き多次元データセットの２行目の多次元データを次元削減したものであり、（第１主成分，第２主成分，第３主成分，契約数）＝（２４，８０，９，１００）である。

なお、図５に示す次元削減済み正解付き多次元データセットは一例であって、例えば、次元削減後の次元数は、適宜、任意の値（ただし、Ｎよりも小さい２以上の整数値）とすることが可能である。一般に、次元削減後の次元数が小さい方が、より計算量を削減できる一方で、推論時の推定精度が低下する。このため、次元削減後の次元数は、目的とするタスクの種類やそのタスクで要求される計算時間等を考慮して適宜決定される。

ステップＳ１０３：次に、学習部２０１のビニング部２１２は、次元削減済み正解付き多次元データセットを入力として、当該次元削減済み正解付き多次元データセットに含まれる各多次元データの非推定対象属性に対してビニングを行う。そして、学習部２０１のビニング部２１２は、ビニング済み正解付き多次元データセットを情報付加部２１３に出力する。

ここで、ビニング済み正解付き多次元データセットの具体例について、図６を参照しながら説明する。図６は、ビニング済み正解付き多次元データセットの一例を表形式で示す図である。

図６に示す例は、図５に示す次元削減済み正解付き多次元データセットに含まれる各多次元データの非推定対象属性に対してビニングを行った多次元データの集合を表形式で表したものである。図６に示すビニング済み正解付き多次元データセットに含まれる各多次元データは、「第１主成分」、「第２主成分」、「第３主成分」を非推定対象属性、「契約数」を推定対象属性として持ち、各非推定対象属性の値はビニングされている。

例えば、図６に示すビニング済み正解付き多次元データセットの１行目の多次元データは、図５に示す次元削減済み正解付き多次元データセットの１行目の多次元データの非推定対象属性の値をビニングしたものであり、（第１主成分，第２主成分，第３主成分，契約数）＝（５，３，１０，２００）である。同様に、２行目の多次元データは、図５に示す次元削減済み正解付き多次元データセットの２行目の多次元データの非推定対象属性の値をビニングしたものであり、（第１主成分，第２主成分，第３主成分，契約数）＝（２，８，１，１００）である。

なお、図６に示すビニング済み正解付き多次元データセットは一例であって、例えば、ビニングする際のビンの区間幅等は、適宜、任意の値とすることが可能である。

ステップＳ１０４：次に、学習部２０１の情報付加部２１３は、ビニング済み正解付き多次元データセットを入力として、当該ビニング済み正解付き多次元データセットに含まれる各多次元データに対して付加情報を付与した学習用多次元データセットを作成する。そして、学習部２０１の情報付加部２１３は、学習用多次元データセットを学習処理部２１４に出力する。

なお、付加情報とは、上述したように、ビニング済み正解付き多次元データセットに含まれる各多次元データの各非推定対象属性に関して、その非推定対象属性以外の非推定対象属性の値を固定したまま、その非推定対象属性の値を変化（ただし、その非推定対象属性が取り得る値の範囲内で変化）させたときの推定対象属性の値で構成される情報のことである。このような推定対象属性の値は、当該非推定対象属性以外の非推定対象属性の値を固定したまま、当該非推定対象属性の値を変化させたときの推定対象属性の値をビニング済み正解付き多次元データセットから検索し、それらの推定対象属性値を集計することで得られる。

ここで、学習用多次元データセットの具体例について、図７を参照しながら説明する。図７は、学習用多次元データセットの一例を表形式で示す図である。

図７に示す例は、図６に示すビニング済み正解付き多次元データセットに含まれる各多次元データに対して付加情報を付加した多次元データの集合を表形式で表したものである。図７に示す学習用多次元データセットに含まれる各多次元データには、「第１主成分以外固定」と「第２主成分以外固定」と「第３主成分以外固定」とで構成される付加情報が付加されている。

「第１主成分以外固定」は、第２主成分及び第３主成分の値を固定したまま、第１主成分の値を変化させたときの非推定対象属性の値（契約数）を集計したものである。図７に示す例では、第１主成分の値を「０」、「１」等にそれぞれ変化させたときの契約数を集計したものである。

「第２主成分以外固定」は、第１主成分及び第３主成分の値を固定したまま、第２主成分の値を変化させたときの非推定対象属性の値（契約数）を集計したものである。図７に示す例では、第２主成分の値を「０」、「１」等にそれぞれ変化させたときの契約数を集計したものである。

「第３主成分以外固定」は、第１主成分及び第２主成分の値を固定したまま、第３主成分の値を変化させたときの非推定対象属性の値（契約数）を集計したものである。図７に示す例では、第３主成分の値を「０」、「１」等にそれぞれ変化させたときの契約数を集計したものである。

例えば、図７に示す学習用多次元データセットの１行目の多次元データの「第１主成分以外固定」の「０」は、図６に示すビニング済み正解付き多次元データセットの１行目の多次元データセットの第１主成分の値を「０」に変化させたときの契約数を集計したものである。すなわち、図７に示す学習用多次元データセットの１行目の多次元データの「第１主成分以外固定」の「０」は、図６に示すビニング済み正解付き多次元データセットで（第１主成分，第２主成分，第３主成分）＝（０，３，１０）である契約数を集計した値「４００」である。

同様に、図７に示す学習用多次元データセットの１行目の多次元データの「第１主成分以外固定」の「１」は、図６に示すビニング済み正解付き多次元データセットの１行目の多次元データセットの第１主成分の値を「１」に変化させたときの契約数を集計したものである。すなわち、図７に示す学習用多次元データセットの１行目の多次元データの「第１主成分以外固定」の「１」は、図６に示すビニング済み正解付き多次元データセットで（第１主成分，第２主成分，第３主成分）＝（１，３，１０）である契約数を集計した値「７００」である。

同様に、図７に示す学習用多次元データセットの１行目の多次元データの「第２主成分以外固定」の「０」は、図６に示すビニング済み正解付き多次元データセットの１行目の多次元データセットの第２主成分の値を「０」に変化させたときの契約数を集計したものである。すなわち、図７に示す学習用多次元データセットの１行目の多次元データの「第２主成分以外固定」の「０」は、図６に示すビニング済み正解付き多次元データセットで（第１主成分，第２主成分，第３主成分）＝（５，０，１０）である契約数を集計した値「４００」である。

同様に、図７に示す学習用多次元データセットの１行目の多次元データの「第２主成分以外固定」の「１」は、図６に示すビニング済み正解付き多次元データセットの１行目の多次元データセットの第２主成分の値を「１」に変化させたときの契約数を集計したものである。すなわち、図７に示す学習用多次元データセットの１行目の多次元データの「第２主成分以外固定」の「１」は、図６に示すビニング済み正解付き多次元データセットで（第１主成分，第２主成分，第３主成分）＝（５，１，１０）である契約数を集計した値「５００」である。

付加情報のその他の属性についても同様である。以下では、学習用多次元データセットに含まれる各多次元データの「第１主成分」、「第２主成分」及び「第３主成分」の値の組の集合を非推定対象属性値集合Ｗともいい、その付加情報の集合をＸで表すものとする。

なお、図７に示す学習用多次元データセットは一例であって、例えば、データ拡張等の手法を利用して、学習用多次元データセットに含まれる多次元データからその付加情報の一部を未知（例えば、「－」又は空値等を設定）にした多次元データを作成してもよい。

ステップＳ１０５：次に、学習部２０１の学習処理部２１４は、学習用多次元データセットと、学習用推論モデル記憶部２０５に記憶されている学習用推論モデルとを入力として、当該学習用推論モデルを学習し、学習済み推論モデルを作成する。すなわち、学習部２０１の学習処理部２１４は、非推定対象属性値の組を表すベクトルｗ∈Ｗと、このｗに対応する付加情報ｘ∈Ｘとを入力として、推定対象属性値ｙが正しく推定されるように（つまり、学習用推論モデルで推定した推定対象属性値ｙとその正解との誤差を最小化するように）、既知の誤差逆伝播法等を用いて学習用推論モデルのパラメータを学習する。なお、ｗに対応するｘとは、学習用多次元データセットでｗが表す非推定対象属性値の組同一行のｘのことである。

ここで、推論モデルは特に限定されないが、例えば、図８に示すようなニューラルネットワークを推論モデルとすることが考えられる。図８に示すニューラルネットワークは、非推定対象属性値の組を表すベクトルｗとその付加情報ｘとを入力として、推定対象属性値ｙを出力するモデルである。

また、例えば、図９に示すようなニューラルネットワークを推論モデルとしてもよい。図９に示すニューラルネットワークは、非推定対象属性値の組を表すベクトルｗとその付加情報ｘとを入力として、推定対象属性値ｙと非推定対象属性値の組を表すベクトルｗ'とを出力するモデルである。このモデルを用いる場合には、推定対象属性値ｙに加えて、ｗ'がｗを正しく再現するように、学習用推論モデルのパラメータを学習する。すなわち、推定対象属性値ｙに加えて、元のｗを再現するｗ'がマルチタスクに推定されるように、学習用推論モデルのパラメータを学習する。図９に示すようなニューラルネットワークを推論モデルとすることで、付加情報ｘから特徴を適切に抽出することができるため、推定対象属性値ｙに当該特徴を十分に反映させることが可能となり、より高い推定精度が得られることが期待できる。

ステップＳ１０６：最後に、学習部２０１の学習処理部２１４は、学習済み推論モデルを学習済み推論モデル記憶部２０７に出力する。

＜推論処理＞
次に、本実施形態に係る推論処理について、図１０を参照しながら説明する。図１０は、本実施形態に係る推論処理の一例を示すフローチャートである。

ステップＳ２０１：まず、推論部２０２の次元削減部２２１は、正解無し多次元データ記憶部２０８に記憶されている正解無し多次元データを入力する。

ここで、正解無し多次元データセットの具体例について、図１１を参照しながら説明する。図１１は、正解無し多次元データセットの一例を表形式で示す図である。

図１１に示す例は、「年月」、「性別」、「年代」等を非推定対象属性、「契約数」を推定対象属性として持つ多次元データの集合を表形式で表したものである。図１１に示す正解無し多次元データセットの１行目の多次元データでは、（年月，性別，年代，・・・，契約数）＝（２０２０／４，男性，３０代，・・・，２００）である。一方で、２行目の多次元データでは、（年月，性別，年代，・・・，契約数）＝（２０２０／５，女性，２０代，・・・，－）である。つまり、２行目の多次元データでは、推定対象属性値である契約数が未知である。このように、正解無し多次元データセットには、推定対象属性値が未知である多次元データが少なくとも含まれている。

ステップＳ２０２：次に、推論部２０２の次元削減部２２１は、正解無し多次元データセットと、学習済み次元削減モデル記憶部２０６に記憶されている学習済み次元削減モデルとを入力として、当該学習済み次元削減モデルにより、当該正解無し多次元データセットに含まれる各多次元データの非推定対象属性の次元数を削減する。そして、推論部２０２の次元削減部２２１は、次元削減済み正解無し多次元データセットをビニング部２１２に出力する。

ここで、次元削減済み正解無し多次元データセットの具体例について、図１２を参照しながら説明する。図１２は、次元削減済み正解無し多次元データセットの一例を表形式で示す図である。

図１２に示す例は、図１１に示す正解無し多次元データセットに含まれる各多次元データの非推定対象属性を３次元に次元削減した多次元データの集合を表形式で表したものである。図１２に示す次元削減済み正解無し多次元データセットに含まれる各多次元データは、「第１主成分」、「第２主成分」、「第３主成分」を非推定対象属性、「契約数」を推定対象属性として持つ。

例えば、図１２に示す次元削減済み正解無し多次元データセットの１行目の多次元データは、図１１に示す正解無し多次元データセットの１行目の多次元データを次元削減したものであり、（第１主成分，第２主成分，第３主成分，契約数）＝（５８，２１，１０９，２００）である。同様に、２行目の多次元データは、図１１に示す正解無し多次元データセットの２行目の多次元データを次元削減したものであり、（第１主成分，第２主成分，第３主成分，契約数）＝（２０，８１，６，－）である。

ステップＳ２０３：次に、推論部２０２のビニング部２２２は、次元削減済み正解無し多次元データセットを入力として、当該次元削減済み正解無し多次元データセットに含まれる各多次元データの非推定対象属性に対してビニングを行う。そして、推論部２０２のビニング部２２２は、ビニング済み正解無し多次元データセットを情報付加部２２３に出力する。

ここで、ビニング済み正解無し多次元データセットの具体例について、図１３を参照しながら説明する。図１３は、ビニング済み正解無し多次元データセットの一例を表形式で示す図である。

図１３に示す例は、図１２に示す次元削減済み正解無し多次元データセットに含まれる各多次元データの非推定対象属性に対してビニングを行った多次元データの集合を表形式で表したものである。図１３に示すビニング済み正解無し多次元データセットに含まれる各多次元データは、「第１主成分」、「第２主成分」、「第３主成分」を非推定対象属性、「契約数」を推定対象属性として持ち、各非推定対象属性の値はビニングされている。

例えば、図１３に示す次元削減済み正解無し多次元データセットの１行目の多次元データは、図１２に示す次元削減済み正解無し多次元データセットの１行目の多次元データの非推定対象属性の値をビニングしたものであり、（第１主成分，第２主成分，第３主成分，契約数）＝（５，３，１０，２００）である。同様に、２行目の多次元データは、図１２に示す次元削減済み正解無し多次元データセットの２行目の多次元データの非推定対象属性の値をビニングしたものであり、（第１主成分，第２主成分，第３主成分，契約数）＝（２，８，１，－）である。

ステップＳ２０４：次に、推論部２０２の情報付加部２２３は、ビニング済み正解無し多次元データセットを入力として、当該ビニング済み正解無し多次元データセットに含まれる各多次元データに対して付加情報を付与した推論用多次元データセットを作成する。そして、推論部２０２の情報付加部２２３は、推論用多次元データセットを推定処理部２２４に出力する。

ここで、推論用多次元データセットの具体例について、図１４を参照しながら説明する。図１４は、推論用多次元データセットの一例を表形式で示す図である。

図１４に示す例は、図１３に示すビニング済み正解無し多次元データセットに含まれる各多次元データに対して付加情報を付加した多次元データの集合を表形式で表したものである。図１４に示す推論用多次元データセットに含まれる各多次元データには、「第１主成分以外固定」と「第２主成分以外固定」と「第３主成分以外固定」とで構成される付加情報が付加されている。

例えば、図１４に示す推論用多次元データセットの１行目の多次元データの「第１主成分以外固定」の「０」は、図１３に示すビニング済み正解無し多次元データセットの１行目の多次元データセットの第１主成分の値を「０」に変化させたときの契約数を集計したものである。すなわち、図１４に示す推論用多次元データセットの１行目の多次元データの「第１主成分以外固定」の「０」は、図１３に示すビニング済み正解無し多次元データセットで（第１主成分，第２主成分，第３主成分）＝（０，３，１０）である契約数を集計した値「４００」である。

同様に、図１４に示す推論用多次元データセットの２行目の多次元データの「第１主成分以外固定」の「０」は、図１３に示すビニング済み正解無し多次元データセットの２行目の多次元データセットの第１主成分の値を「０」に変化させたときの契約数を集計したものである。すなわち、図１４に示す推論用多次元データセットの２行目の多次元データの「第１主成分以外固定」の「０」は、図１３に示すビニング済み正解無し多次元データセットで（第１主成分，第２主成分，第３主成分）＝（０，８，１）である契約数を集計した値「５００」である。

ここで、或る非推定対象属性以外の非推定対象属性の値を固定したまま、その非推定対象属性の値を或る値に変化させたときに推定対象属性の値が存在しない場合には、付加情報には「－」又は空値等が設定される。例えば、図１４に示す推論用多次元データセットの１行目の多次元データの「第１主成分以外固定」の「１」には「－」が設定されている。これは、図１３に示すビニング済み正解無し多次元データセットには、（第１主成分，第２主成分，第３主成分）＝（１，３，１０）のときの契約数が存在しないためである。

付加情報のその他の属性についても同様である。以下では、学習時と同様に、推論用多次元データセットに含まれる各多次元データの「第１主成分」、「第２主成分」及び「第３主成分」の値の組の集合を非推定対象属性値集合Ｗともいい、その付加情報の集合をＸで表すものとする。

ステップＳ２０５：次に、推論部２０２の推定処理部２２４は、推論用多次元データセットと、学習済み推論モデル記憶部２０７に記憶されている学習済み推論モデルとを入力として、当該学習済み推論モデルにより推定対象属性値を推定する。すなわち、推論部２０２の推定処理部２２４は、非推定対象属性値の組を表すベクトルｗ∈Ｗと、このｗに対応する付加情報ｘ∈Ｘとを入力として、学習済み推論モデルにより推定対象属性値ｙを推定する。

ステップＳ２０６：最後に、推論部２０２の推定処理部２２４は、学習済み推論モデルの推定結果（つまり、推定対象属性値ｙ）を推定結果記憶部２０９に出力する。

＜まとめ＞
以上のように、本実施形態に係る推論装置１０は、各非推定対象属性に関して、その非推定対象属性以外の非推定対象属性の値を固定したまま、その非推定対象属性の値を変化させたときの推定対象属性の値で構成される付加情報を作成した上で、この付加情報も用いて学習及び推論を行う。これにより、大域的な特徴を抽出することができるため、より高精度な推論が可能になる。

また、本実施形態に係る推論装置１０は、付加情報を作成する前に、非推定対象属性の次元数を削減すると共に、ビニングにより各非推定対象属性の属性値数を削減する。これにより、非推定対象属性数やその属性値数が多い場合であっても、計算量を削減することが可能となる。例えば、次元削減前の非推定対象属性の数をＮ、その属性値の平均をＭとした場合、次元削減及びビニングを行わないとＮ×Ｍ個の属性値に対して計算を行う必要がある。一方、次元削減後の非推定対象属性の数をｎ＜Ｎ、ビニング後の属性値の平均をｍ＜Ｍとした場合、本実施形態ではｎ×ｍ個の属性値に対して計算を行えばよく、より少ない計算量で学習及び推論を行うことが可能となる。

本発明は、具体的に開示された上記の実施形態に限定されるものではなく、請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。

１０ 推論装置
１０１ 入力装置
１０２ 表示装置
１０３ 外部Ｉ／Ｆ
１０３ａ 記録媒体
１０４ 通信Ｉ／Ｆ
１０５ プロセッサ
１０６ メモリ装置
１０７ バス
２０１ 学習部
２０２ 推論部
２０３ 正解付き多次元データ記憶部
２０４ 学習用次元削減モデル記憶部
２０５ 学習用推論モデル記憶部
２０６ 学習済み次元削減モデル記憶部
２０７ 学習済み推論モデル記憶部
２０８ 正解無し多次元データ記憶部
２０９ 推定結果記憶部
２１１ 次元削減部
２１２ ビニング部
２１３ 情報付加部
２１４ 学習処理部
２２１ 次元削減部
２２２ ビニング部
２２３ 情報付加部
２２４ 推定処理部

Claims (6)

1. 推定対象の属性を示す推定対象属性と、前記推定対象属性以外の属性を示す２以上の非推定対象属性とを持つ多次元データを入力する入力手順と、
   前記多次元データの非推定対象属性の次元数を削減する次元削減手順と、
   前記次元削減後の多次元データの前記非推定対象属性の値をビニングするビニング手順と、
   前記ビニング後の多次元データに対して、所定の付加情報を付加する情報付加手順と、
   前記付加情報が付加された多次元データを用いて、前記推定対象属性の値を推定するための推論モデルのパラメータを学習する学習手順と、
   をコンピュータが実行し、
   前記情報付加手順は、
   前記ビニング後の多次元データの前記非推定対象属性毎に、前記非推定対象属性以外の非推定対象属性の値を変化させたときの前記推定対象属性の値の集計値を前記付加情報として付加する、学習方法。
2. 前記学習手順は、
   前記非推定対象属性の値を入力として前記推論モデルにより推定された前記推定対象属性の値と前記推定対象属性の値の正解との誤差、及び、前記推論モデルにより再現された前記非推定対象属性の値と前記推論モデルに入力された前記非推定対象属性の値との誤差、を最小化するように、前記推論モデルのパラメータを学習する、請求項１に記載の学習方法。
3. 推定対象の属性を示す推定対象属性と、前記推定対象属性以外の属性を示す２以上の非推定対象属性とを持つ多次元データを入力する入力手順と、
   前記多次元データの非推定対象属性の次元数を削減する次元削減手順と、
   前記次元削減後の多次元データの前記非推定対象属性の値をビニングするビニング手順と、
   前記ビニング後の多次元データに対して、所定の付加情報を付加する情報付加手順と、
   前記付加情報が付加された多次元データを用いて、予め学習済みの推論モデルにより前記推定対象属性の値を推定する推定手順と、
   をコンピュータが実行し、
   前記情報付加手順は、
   前記ビニング後の多次元データの前記非推定対象属性毎に、前記非推定対象属性以外の非推定対象属性の値を変化させたときの前記推定対象属性の値の集計値を前記付加情報として付加する、推論方法。
4. 推定対象の属性を示す推定対象属性と、前記推定対象属性以外の属性を示す２以上の非推定対象属性とを持つ多次元データを入力する入力部と、
   前記多次元データの非推定対象属性の次元数を削減する次元削減部と、
   前記次元削減後の多次元データの前記非推定対象属性の値をビニングするビニング部と、
   前記ビニング後の多次元データに対して、所定の付加情報を付加する情報付加部と、
   前記付加情報が付加された多次元データを用いて、前記推定対象属性の値を推定するための推論モデルのパラメータを学習する学習部と、
   を有し、
   前記情報付加部は、
   前記ビニング後の多次元データの前記非推定対象属性毎に、前記非推定対象属性以外の非推定対象属性の値を変化させたときの前記推定対象属性の値の集計値を前記付加情報として付加する、学習装置。
5. 推定対象の属性を示す推定対象属性と、前記推定対象属性以外の属性を示す２以上の非推定対象属性とを持つ多次元データを入力する入力部と、
   前記多次元データの非推定対象属性の次元数を削減する次元削減部と、
   前記次元削減後の多次元データの前記非推定対象属性の値をビニングするビニング部と、
   前記ビニング後の多次元データに対して、所定の付加情報を付加する情報付加部と、
   前記付加情報が付加された多次元データを用いて、予め学習済みの推論モデルにより前記推定対象属性の値を推定する推定部と、
   を有し、
   前記情報付加部は、
   前記ビニング後の多次元データの前記非推定対象属性毎に、前記非推定対象属性以外の非推定対象属性の値を変化させたときの前記推定対象属性の値の集計値を前記付加情報として付加する、推論装置。
6. コンピュータに、請求項１又は２に記載の学習方法、又は、請求項３に記載の推論方法、を実行させるプログラム。

Images