Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7014069B2 - データ解析装置、方法、及びプログラム - Google Patents
[go: Go Back, main page]

JP7014069B2 - データ解析装置、方法、及びプログラム - Google Patents

データ解析装置、方法、及びプログラム Download PDF

Info

Publication number
JP7014069B2
JP7014069B2 JP2018131626A JP2018131626A JP7014069B2 JP 7014069 B2 JP7014069 B2 JP 7014069B2 JP 2018131626 A JP2018131626 A JP 2018131626A JP 2018131626 A JP2018131626 A JP 2018131626A JP 7014069 B2 JP7014069 B2 JP 7014069B2
Authority
JP
Japan
Prior art keywords
value
matrix
factor
factor matrix
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018131626A
Other languages
English (en)
Other versions
JP2020009314A (ja
Inventor
匡宏 幸島
達史 松林
浩之 戸田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2018131626A priority Critical patent/JP7014069B2/ja
Priority to PCT/JP2019/027368 priority patent/WO2020013236A1/ja
Priority to US17/259,133 priority patent/US20210157879A1/en
Publication of JP2020009314A publication Critical patent/JP2020009314A/ja
Application granted granted Critical
Publication of JP7014069B2 publication Critical patent/JP7014069B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)
  • Computational Linguistics (AREA)
  • Complex Calculations (AREA)

Description

本発明は、データ解析装置、方法、及びプログラムに関する。
近年データ分析において非負値行列分解(Nonnegative Matrix Factorization、NMF) と呼ばれる手法が広く利用されている（非特許文献２、３参照）。文書や購買履歴など分析対象の多くのデータは行列として表現することができ、NMFによって行列表現されたデータを非負の行列の積へ因子分解することで、 データ中のパターンを自動で抽出したりデータの欠損値を補完することが可能となる。しかしながら、近年のデータ分析において収集された様々なデータを組合せて分析する上で、具体的な値が観測されたデータだけでなく、値がどの範囲にあるかのみが観測されたデータを組合せて分析することが必要な場合がある。例えば小売店が顧客理解のために会員ユーザとアンケートで収集した非会員ユーザのデータを組合せて分析することを考える。この場合、例えば会員ユーザの平均訪問回数は会員カード等に蓄積されたデータから2.43回/週などのように具体的な値がわかるが、アンケートで収集した非会員ユーザはアンケート回答の週3回以上7回以下のように値がどの範囲にあるか、という情報しかわからない(図1)。このようなデータは図中に示すように、要素がスカラー値または区間値で表現される区間値行列として表現されることになる。
Z.Shen、 L.Du、 X.Shen、 and Y.Shen. Interval-valued matrix factorization with applications. In ICDM、 pp. 1037-1042. IEEE、 2010. 幸島匡宏、 松林達史、 澤田宏. 「複合データ分析技術とNTF[1] -複合データ分析技術とその発展-」 電子情報通信学会誌， The journal of the Institute of Electronics、 Information and Communication Engineers、 Vol.99、 No.6、pp.543-550、 jun 2016. 澤田宏. 「非負値行列因子分解NMFの基礎とデータ/信号解析への応用」 電子情報通信学会誌， The journal of the Institute of Electronics、 Information and Communication Engineers、 Vol.95、 No.9、 pp. 829-833、 sep 2012.
しかしながら、NMFは、要素が区間値で表現される行列に適用することができない。また、本発明の手法に最も関連する手法として、区間値で表現される行列を入力とするShenらによる手法が存在する（非特許文献１）。この手法では、 区間値行列から区間値要素の下限xL ij を抽出して作成した
Figure 0007014069000001
と上限xR ij を抽出した
Figure 0007014069000002
の2 つの行列を作成し
Figure 0007014069000003
と因子分解を行う。 また入力行列のスカラー欠損値は
Figure 0007014069000004
の対応する要素の値で補完する。このアプローチではパターン抽出、欠損補完のそれぞれで問題がある。パターン抽出においては列方向で、
Figure 0007014069000005
の2つを出力するため、列に対応する事物のパターンをとるのにどちらの行列を見なければいけないのかがわからない。また、欠損値の補完を
Figure 0007014069000006
の単純平均としているために、区間値要素に偏り、たとえば区間値の上限が必要以上に大きい値とされている場合に推定精度が悪化することが容易に推測される。
本発明は、上記の点に鑑みなされたもので、区間値で表現される要素を含む区間値行列を、精度よく因子行列に分解することが可能なデータ解析装置、方法及びプログラムを提供することを目的とする。
上記の目的を達成するために第１の発明に係るデータ解析装置は、第１のオブジェクトｉ（１≦ｉ≦Ｉ，Ｉは１以上の整数）と第２のオブジェクトｊ（１≦ｊ≦Ｊ，Ｊは１以上の整数）との関係を表す要素ｘijを持つＩ×Ｊの行列であって、前記要素ｘijがスカラー値又は区間値である区間値行列Ｘを、前記第１のオブジェクトｉと、因子ｒ（１≦ｒ≦Ｒ，Ｒは１以上の整数）との関係を表す要素ａｉｒを持つＩ×Ｒの因子行列Ａと、前記第２のオブジェクトｊと、前記因子ｒとの関係を表す要素ｂjrを持つＪ×Ｒの因子行列Ｂとに分解するデータ解析装置であって、スカラー値である前記要素ｘijの各々についての、前記因子行列Ａ及び前記因子行列Ｂから推定される前記要素ｘijの推定値を用いて表される、前記要素ｘijがそのスカラー値をとる確率と、区間値である前記要素ｘijの各々についての、前記因子行列Ａ及び前記因子行列Ｂから推定される前記要素ｘijの推定値を用いて表される、前記要素ｘijがその区間値をとる確率と、を含んで表わされる目的関数を最適化するように、前記因子行列Ａ及び前記因子行列Ｂを推定するパラメタ推定部を含んで構成されている。
第２の発明に係るデータ解析方法は、第１のオブジェクトｉ（１≦ｉ≦Ｉ，Ｉは１以上の整数）と第２のオブジェクトｊ（１≦ｊ≦Ｊ，Ｊは１以上の整数）との関係を表す要素ｘijを持つＩ×Ｊの行列であって、前記要素ｘijがスカラー値又は区間値である区間値行列Ｘを、前記第１のオブジェクトｉと、因子ｒ（１≦ｒ≦Ｒ，Ｒは１以上の整数）との関係を表す要素ａｉｒを持つＩ×Ｒの因子行列Ａと、前記第２のオブジェクトｊと、前記因子ｒとの関係を表す要素ｂjrを持つＪ×Ｒの因子行列Ｂとに分解するデータ解析装置におけるデータ解析方法であって、パラメタ推定部が、スカラー値である前記要素ｘijの各々についての、前記因子行列Ａ及び前記因子行列Ｂから推定される前記要素ｘijの推定値を用いて表される、前記要素ｘijがそのスカラー値をとる確率と、区間値である前記要素ｘijの各々についての、前記因子行列Ａ及び前記因子行列Ｂから推定される前記要素ｘijの推定値を用いて表される、前記要素ｘijがその区間値をとる確率と、を含んで表わされる目的関数を最適化するように、前記因子行列Ａ及び前記因子行列Ｂを推定する。
第３の発明に係るプログラムは、コンピュータを、上記のデータ解析装置を構成する各部として機能させるためのプログラムである。
以上説明したように、本発明のデータ解析装置、方法、及びプログラムによれば、スカラー値である前記要素ｘijの各々についての、前記因子行列Ａ及び前記因子行列Ｂから推定される前記要素ｘijの推定値を用いて表される、前記要素ｘijがそのスカラー値をとる確率と、区間値である前記要素ｘijの各々についての、前記因子行列Ａ及び前記因子行列Ｂから推定される前記要素ｘijの推定値を用いて表される、前記要素ｘijがその区間値をとる確率と、を含んで表わされる目的関数を最適化するように、前記因子行列Ａ及び前記因子行列Ｂを推定することにより、区間値で表現される要素を含む区間値行列を、精度よく因子行列に分解することが可能となる、という効果が得られる。
区間値行列の例を示す図である。 本発明の一実施の形態におけるデータ解析装置の概要動作のフローチャートである。 本発明の一実施の形態におけるデータ解析装置の構成例である。 本発明の一実施の形態におけるパラメタ推定時のフローチャートである。
以下、図面を参照して本発明の実施の形態を詳細に説明する。
＜本発明の実施の形態の概要＞
本発明の実施の形態では、要素がスカラー値または区間値で表現される区間値行列を因子分解する方法を示す。これにより、会員ユーザとアンケートで収集した非会員ユーザのデータ組のようにスカラー値と区間値をもつ行列として表現されるデータから潜在的なパターンを抽出したり精度のよい欠損値の補完を行うことが可能となる。
また、本発明の実施の形態では、 要素が区間値で表現される行列であっても、行方向と列方向に用いる因子行列はそれぞれ1 つ(計2つ)となる手法を構築した。また確率分布によるデータの生成過程の表現を考えることで、区間値要素に偏りがある場合でも精度よく欠損値を推定することを可能とした。
＜定式化＞
データがI行J列の区間値行列Xで表現されているとする。区間値行列Xはスカラー値要素xijと区間値要素(xL ij, xR ij)から成り、
Figure 0007014069000007
と表現される。 ただし、ΩsvとΩivはそれぞれ要素がスカラー値である要素全体、要素が区間値である要素全体を表す。また、その値が観測された要素全体(上記集合の和集合)をΩ = Ωsv ∪ Ωivと書く。区間値要素(xL ij, xR ij)は、その要素におけるスカラー値xij はわからないが、次のように区間の範囲内にあることを示している。
Figure 0007014069000008
本発明の実施の形態の手法で推定するパラメタをΘと書く。Θは因子行列
Figure 0007014069000009

と精度τから成る。因子行列Ａは、第１のオブジェクトｉと、因子ｒ（１≦ｒ≦Ｒ，Ｒは１以上の整数）との関係を表す要素ａｉｒを持つＩ×Ｒの行列であり、因子行列Ｂは、第２のオブジェクトｊと、因子ｒとの関係を表す要素ｂjrを持つＪ×Ｒの行列である。Rは因子行列の因子数を表す。通常のNMFの定式化に従い、区間値行列Ｘの要素が正規分布に従うと仮定したモデルを考える。
Figure 0007014069000010
（１）
ただし、
Figure 0007014069000011
と定義し、 f は以下の正規分布の確率密度関数を表す。
Figure 0007014069000012
（２）
なお、本発明はポアソン分布など他の確率分布に従うと仮定したモデルを考える場合でも同様に成り立つ。区間値要素を扱う上で鍵となるのは累積密度関数(Cumulative Density Function、CDF)Ｆの利用である。CDFは
Figure 0007014069000013
（３）
と定義され、 F(Ｃ｜μ，τ)が、確率密度関数がfで与えられる確率分布に従う確率変数がC以下の値をとる確率を表す。 したがって値xij が区間(xL ij, xR ij) の中に値をとる確率は
Figure 0007014069000014
（４）
と表現できる。この事実から、あるパラメタΘが与えられたもとで区間値行列X が生成される確率は次の式にように書き下せる。
Figure 0007014069000015
（５）
したがってパラメタΘを以下の対数尤度関数を最適化することで推定すればよいことがわかる。
Figure 0007014069000016
（６）
ただし、
Figure 0007014069000017

は因子行列Aの全ての要素が非負であることを示す。 A，B に非負の制約を課すことで、解釈できるパターンが抽出されることが経験的に知られる（非特許文献３参照）。
本発明の実施の形態では、上記式（６）に示すように、スカラー値である要素ｘijの各々についての、因子行列Ａ及び因子行列Ｂから推定される要素ｘijの推定値を用いて表される、要素ｘijがそのスカラー値をとる確率と、区間値である要素ｘijの各々についての、因子行列Ａ及び因子行列Ｂから推定される要素ｘijの推定値を用いて表される、要素ｘijがその区間値をとる確率と、を含んで表わされる目的関数を最適化するように、因子行列Ａ及び因子行列Ｂを推定する。ここで、要素ｘijがそのスカラー値をとる確率は、上記式（２）に示すように、正規分布の確率密度関数で表され、要素ｘijがその区間値をとる確率は、上記式（４）に示すように、要素ｘijがその区間値の上限値以下の値をとる確率を示す累積密度関数と、要素ｘijがその区間値の下限値以下の値をとる確率を示す累積密度関数と、の差で表される。
なお、 欠損値の補完をしたいだけの時などパターンの解釈が必要ない場合は、因子行列の非負制約を外して因子分解を行う場合がある。本発明はそのような場合にも適用可能である。 具体的には下記の最適化問題を考えればよい。
Figure 0007014069000018
（７）
＜補助関数法による推定アルゴリズム＞
パラメタΘの推定には任意の最適化手法が利用できる。 本実施の形態では、式（6）の最適化問題の解となるパラメタ推定法の1例として補助関数法（非特許文献３参照）による推定アルゴリズムを用いた場合を例に説明する。補助関数法では、目的関数Lの上界となる補助関数L+を利用する。 本発明の実施の形態のモデルにおける補助関数は
Figure 0007014069000019
（８）
Figure 0007014069000020
（９）
で与えられる。 ただし、
Figure 0007014069000021

は要素yij ∈ (xL ij ; xR ij) が区間値が与えられた要素におけるスカラー値を表す潜在変数であり、 q(Y)が、Yの従う補助分布、S = ｛sijr｝が
Figure 0007014069000022

を満たす補助変数を表す。この補助関数はL+は次の２つの性質をもつ。
Figure 0007014069000023
等号成立条件は
Figure 0007014069000024
（１０）
であり、 ftr(x｜μ，τ， a，b) が切断正規分布を表す。 切断正規分布の確率密度関数は以下の式で与えられる。
Figure 0007014069000025
以下のように補助関数の各パラメタごとの最適化を考えることでアルゴリズムが導出される。
Figure 0007014069000026
導出されたアルゴリズムは次の通りである。
Figure 0007014069000027
（１１）
Figure 0007014069000028
（１２）
Figure 0007014069000029
（１３）
Figure 0007014069000030
（１４）
Figure 0007014069000031
（１５）
Figure 0007014069000032

は確率分布q(Y )に従う確率変数Yの出方に関する平均を表し、
Figure 0007014069000033

はそれぞれ確率分布q(Y)の1次と2次のモーメントに対応する。確率密度関数fが正規分布であるとき、q(Y)は切断正規分布であるのでこのモーメントは解析的に計算できる値である。確率密度関数fとして、q(Y)のモーメントを解析的に計算できない分布を用いる場合であっても、重点サンプリングや棄却法など乱数を用いた期待値計算の技法を用いることでq(Y)のモーメントを計算することができる。因子行列Aの更新式の右辺に注目すると、(I) 常に0 以上、かつ(II)
Figure 0007014069000034

のとき右辺と左辺が一致し更新がとまることがわかる。式(11)-(15) に従いパラメタを更新することで目的関数の(局所) 最適解に到達することができる。
まず、本発明の概要動作を説明する。
図２は、本発明の一実施の形態におけるデータ解析装置の概要動作のフローチャートである。
ステップ１） 区間値行列Ｘを入力する
ステップ２） パラメタΘを推定する
ステップ３） パラメタΘを出力する
＜データ解析装置１の構成＞
図３に示すように、本発明の実施の形態に係るデータ解析装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、後述するデータ解析処理ルーチンを実行するためのプログラムを記憶したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）とを備えたコンピュータで構成され、機能的には次に示すように構成されている。データ解析装置１は、区間値行列処理部１０、パラメタ推定部２０、パラメタ処理部３０、記録部４０、及び入出力部５０を備えている。
入出力部５０は、外部装置２から出力された区間値行列Ｘを受け付ける。また、入出力部５０は、パラメタ推定部２０によるパラメタΘの推定結果を、外部装置２へ出力する。
区間値行列Ｘは、第１のオブジェクトｉ（１≦ｉ≦Ｉ，Ｉは１以上の整数）と第２のオブジェクトｊ（１≦ｊ≦Ｊ，Ｊは１以上の整数）との関係を表す要素ｘijを持つＩ×Ｊの行列であって、要素ｘijがスカラー値又は区間値である行列である。例えば、第１のオブジェクトｉは、ユーザであり、第２のオブジェクトｊは、アンケートの項目であり、小売店の利用に関する項目（訪問頻度、満足度、平均利用額）であり、要素ｘijは、ｉ番目のユーザによるｊ番目のアンケートの項目に対する回答（スカラー値又は区間値）を示している（図１参照）。
記録部４０は、区間値行列記録部４１及びパラメタ記録部４２を備えている。
区間値行列記録部４１は、入力された区間値行列Ｘを記録する。
パラメタ記録部４２は、パラメタ推定部２０によるパラメタΘの推定結果を記録する。
区間値行列処理部１０は、入力された区間値行列Ｘを区間値行列記録部４１に格納する。
パラメタ推定部２０は、区間値行列記録部４１の区間値行列Ｘを入力とし、以下に示す方法によって、式(6)の目的関数の上界関数である補助関数（式（8））を最小化するように、因子行列Ａと、因子行列Ｂと、精度τとを含むパラメタΘを求めることを、予め定められた反復終了条件を満たすまで繰り返す。その後、パラメタΘをパラメタ記録部４２に格納する。
図４に、パラメタ推定部２０によるパラメタ推定時の更新フローチャートを示す。
まず、ステップＳ２１０において、パラメタ記録部４２に格納されているパラメタΘを初期化する。
ステップＳ２２０において、反復終了条件に用いる変数として、更新量の最大変化幅を示す変数δを同様に初期化し、反復終了条件の閾値ε、最大繰り返し回数を設定する。
ステップＳ２３０において、パラメタ推定部２０は、区間値行列Ｘ、因子行列Ａ、因子行列Ｂ、及び補助分布のモーメント
Figure 0007014069000035

に基づいて、因子行列Ａを式(11)に従い更新する。この時更新前と更新後の因子行列Aの差の絶対値の最大値
Figure 0007014069000036

がδより大きければ、
Figure 0007014069000037

と更新する。なお記号「←」は右辺の計算結果を左辺の変数に代入する処理を意味する。また、更新前の因子行列Ａの要素をaold ir 、 更新後の要素をanew irと記述した。
ステップＳ２４０において、区間値行列Ｘ、因子行列Ａ、因子行列Ｂ、及び補助分布のモーメント
Figure 0007014069000038

に基づいて、因子行列Ｂを式(12) に従い更新する。 この時更新前と更新後の因子行列B の差の絶対値の最大値
Figure 0007014069000039

がδより大きければ、
Figure 0007014069000040

と更新する。ただし更新前の因子行列Ｂの要素をbold jr 、更新後の要素をbnew jr と記述した。
ステップＳ２５０では、区間値行列Ｘ、因子行列Ａ、因子行列Ｂ、及び補助分布のモーメント
Figure 0007014069000041

に基づいて、補助分布のモーメント
Figure 0007014069000042

と精度τを式(13)～(15) に従い更新する。
ステップＳ２６０において、計算繰り返し回数を更新する。
ステップＳ２７０において、反復終了条件を満足するか否かを判定する。本実施の形態では、計算繰り返し回数があらかじめ定めた最大繰り返し数を超えるか、パラメタ更新による最大変化幅を表すδがあらかじめ定めた閾値εより小さければ、反復終了条件を満たすと判断し、処理ルーチンを終了する。そうでなければ、上記ステップＳ２２０へ戻り、δ←０と初期化した後、ステップＳ２３０へ進む。
＜パラメタ処理部３０＞
パラメタ処理部３０は、以下に説明するように、パラメタ記録部４２を参照し、パラメタΘを出力する。
以上説明したように、本発明の実施の形態に係るデータ解析装置によれば、スカラー値である要素ｘijの各々についての、因子行列Ａ及び因子行列Ｂから推定される要素ｘijの推定値を用いて表される、要素ｘijがそのスカラー値をとる確率と、区間値である要素ｘijの各々についての、因子行列Ａ及び因子行列Ｂから推定される要素ｘijの推定値を用いて表される、要素ｘijがその区間値をとる確率と、を含んで表わされる目的関数を最適化するように、因子行列Ａ及び因子行列Ｂを推定することにより、区間値で表現される要素を含む区間値行列を、精度よく因子行列に分解することが可能となる。
また、区間値行列として表現されるデータから因子行列を含むモデルのパラメタが推定可能になる。これにより、会員ユーザとアンケートで収集した非会員ユーザのデータ組のようにスカラー値と区間値をもつ行列として表現されるデータから潜在的なパターンを抽出したり精度のよい欠損値の補完を行うことが可能となる。
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
例えば、上記の実施の形態では、式(6)を最小化するパラメタΘの推定に補助関数法に基づくアルゴリズムを用いているが、 他のいかなる方法、例えば最急降下法を用いても良い。また、式(7) のように因子行列に非負値の制約を課さない最適化問題を解いてパラメタΘを推定してもよい。
また、上記の実施の形態で説明したデータ解析装置の各構成要素の動作をプログラムとして構築し、データ解析装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
１ データ解析装置
２ 外部装置
１０ 区間値行列処理部
２０ パラメタ推定部
３０ パラメタ処理部
４０ 記録部
４１ 区間値行列記録部
４２ パラメタ記録部
５０ 入出力部

Claims (6)

  1. 第１のオブジェクトｉ（１≦ｉ≦Ｉ，Ｉは１以上の整数）と第２のオブジェクトｊ（１≦ｊ≦Ｊ，Ｊは１以上の整数）との関係を表す要素ｘijを持つＩ×Ｊの行列であって、前記要素ｘijがスカラー値又は区間値である区間値行列Ｘを、前記第１のオブジェクトｉと、因子ｒ（１≦ｒ≦Ｒ，Ｒは１以上の整数）との関係を表す要素ａｉｒを持つＩ×Ｒの因子行列Ａと、前記第２のオブジェクトｊと、前記因子ｒとの関係を表す要素ｂjrを持つＪ×Ｒの因子行列Ｂとに分解するデータ解析装置であって、
    スカラー値である前記要素ｘijの各々についての、前記因子行列Ａ及び前記因子行列Ｂから推定される前記要素ｘijの推定値を用いて表される、前記要素ｘijがそのスカラー値をとる確率と、
    区間値である前記要素ｘijの各々についての、前記因子行列Ａ及び前記因子行列Ｂから推定される前記要素ｘijの推定値を用いて表される、前記要素ｘijがその区間値をとる確率と、
    を含んで表わされる目的関数を最適化するように、前記因子行列Ａ及び前記因子行列Ｂを推定するパラメタ推定部
    を含み、
    前記パラメタ推定部は、
    前記目的関数の上界関数である補助関数を小さくするように、前記因子行列Ａ及び前記因子行列Ｂを更新することを、予め定められた反復終了条件を満たすまで繰り返すデータ解析装置。
  2. 前記要素ｘijがその区間値をとる確率は、
    前記要素ｘijがその区間値の上限値以下の値をとる確率を示す累積密度関数と、
    前記要素ｘijがその区間値の下限値以下の値をとる確率を示す累積密度関数と、の差で表される請求項１記載のデータ解析装置。
  3. 前記要素ｘijがそのスカラー値をとる確率は、正規分布の確率密度関数で表される請求項１又は２記載のデータ解析装置。
  4. 第１のオブジェクトｉ（１≦ｉ≦Ｉ，Ｉは１以上の整数）と第２のオブジェクトｊ（１≦ｊ≦Ｊ，Ｊは１以上の整数）との関係を表す要素ｘijを持つＩ×Ｊの行列であって、前記要素ｘijがスカラー値又は区間値である区間値行列Ｘを、前記第１のオブジェクトｉと、因子ｒ（１≦ｒ≦Ｒ，Ｒは１以上の整数）との関係を表す要素ａｉｒを持つＩ×Ｒの因子行列Ａと、前記第２のオブジェクトｊと、前記因子ｒとの関係を表す要素ｂjrを持つＪ×Ｒの因子行列Ｂとに分解するデータ解析装置におけるデータ解析方法であって、
    パラメタ推定部が、スカラー値である前記要素ｘijの各々についての、前記因子行列Ａ及び前記因子行列Ｂから推定される前記要素ｘijの推定値を用いて表される、前記要素ｘijがそのスカラー値をとる確率と、
    区間値である前記要素ｘijの各々についての、前記因子行列Ａ及び前記因子行列Ｂから推定される前記要素ｘijの推定値を用いて表される、前記要素ｘijがその区間値をとる確率と、
    を含んで表わされる目的関数を最適化するように、前記因子行列Ａ及び前記因子行列Ｂを推定することを含み、
    前記パラメタ推定部が推定することでは
    前記目的関数の上界関数である補助関数を小さくするように、前記因子行列Ａ及び前記因子行列Ｂを更新することを、予め定められた反復終了条件を満たすまで繰り返す
    データ解析方法。
  5. 前記要素ｘijがその区間値をとる確率は、
    前記要素ｘijがその区間値の上限値以下の値をとる確率を示す累積密度関数と、
    前記要素ｘijがその区間値の下限値以下の値をとる確率を示す累積密度関数と、の差で表される請求項４記載のデータ解析方法。
  6. コンピュータを、請求項１～請求項３の何れか１項記載のデータ解析装置を構成する各部として機能させるためのプログラム。
JP2018131626A 2018-07-11 2018-07-11 データ解析装置、方法、及びプログラム Active JP7014069B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018131626A JP7014069B2 (ja) 2018-07-11 2018-07-11 データ解析装置、方法、及びプログラム
PCT/JP2019/027368 WO2020013236A1 (ja) 2018-07-11 2019-07-10 データ解析装置、方法、及びプログラム
US17/259,133 US20210157879A1 (en) 2018-07-11 2019-07-10 Data analysis device, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018131626A JP7014069B2 (ja) 2018-07-11 2018-07-11 データ解析装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2020009314A JP2020009314A (ja) 2020-01-16
JP7014069B2 true JP7014069B2 (ja) 2022-02-01

Family

ID=69141769

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018131626A Active JP7014069B2 (ja) 2018-07-11 2018-07-11 データ解析装置、方法、及びプログラム

Country Status (3)

Country Link
US (1) US20210157879A1 (ja)
JP (1) JP7014069B2 (ja)
WO (1) WO2020013236A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023073812A1 (ja) * 2021-10-26 2023-05-04 日本電信電話株式会社 データ解析装置、方法およびプログラム
WO2023073814A1 (ja) * 2021-10-26 2023-05-04 日本電信電話株式会社 データ解析装置、方法およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010039723A (ja) 2008-08-04 2010-02-18 Nippon Telegr & Teleph Corp <Ntt> 非負値行列分解の数値計算方法、非負値行列分解の数値計算装置、プログラムおよび記憶媒体
JP2015135574A (ja) 2014-01-16 2015-07-27 日本電信電話株式会社 時空間データ特徴量分類方法および装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6958085B2 (ja) * 2017-08-02 2021-11-02 富士通株式会社 行列分解装置、行列分解方法及び行列分解プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010039723A (ja) 2008-08-04 2010-02-18 Nippon Telegr & Teleph Corp <Ntt> 非負値行列分解の数値計算方法、非負値行列分解の数値計算装置、プログラムおよび記憶媒体
JP2015135574A (ja) 2014-01-16 2015-07-27 日本電信電話株式会社 時空間データ特徴量分類方法および装置

Also Published As

Publication number Publication date
US20210157879A1 (en) 2021-05-27
WO2020013236A1 (ja) 2020-01-16
JP2020009314A (ja) 2020-01-16

Similar Documents

Publication Publication Date Title
Colbrook et al. Rigorous data‐driven computation of spectral properties of Koopman operators for dynamical systems
JP5362823B2 (ja) 無限次元を用いた高速行列因子分解による推薦システム
Jørgensen et al. Exploiting the causal tensor network structure of quantum processes to efficiently simulate non-Markovian path integrals
Vernade et al. Linear bandits with stochastic delayed feedback
KR102496415B1 (ko) 양자 잡음 프로세스 분석 방법 및 장치, 디바이스, 및 저장 매체
Koop et al. Bayesian dynamic variable selection in high dimensions
US8140301B2 (en) Method and system for causal modeling and outlier detection
Winkelmann Econometric analysis of count data
Romero et al. Learning hybrid Bayesian networks using mixtures of truncated exponentials
Lacasa On the degree distribution of horizontal visibility graphs associated with Markov processes and dynamical systems: diagrammatic and variational approaches
JP6947108B2 (ja) データ予測装置、方法、及びプログラム
KR20220145007A (ko) 텐서 스트림 데이터에서 손실, 이상치, 패턴을 검출 및 복구하는 데이터 처리 방법
AU2020326407A1 (en) Extending finite rank deep kernel learning to forecasting over long time horizons
JP7014069B2 (ja) データ解析装置、方法、及びプログラム
Collier et al. Massively scaling heteroscedastic classifiers
Amisigo et al. Using a spatio-temporal dynamic state-space model with the EM algorithm to patch gaps in daily riverflow series
Tanaka Bayesian matrix completion approach to causal inference with panel data
Duan et al. Bayesian spanning tree: estimating the backbone of the dependence graph
Boulin et al. High-dimensional variable clustering based on maxima of a weakly dependent random process
CN113037523A (zh) 网络流量流向预测方法、装置以及存储介质
CN117495071A (zh) 一种基于预测性日志增强的流程发现方法及系统
JP2019113962A (ja) 解析装置、解析方法及びプログラム
Chaudhary et al. A community-driven graph partitioning method for constraint-based causal discovery
CN105894136A (zh) 一种品类库存量的预测方法和预测装置
Alvarez-Rodriguez et al. Inference of time-ordered multibody interactions

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220103

R150 Certificate of patent or registration of utility model

Ref document number: 7014069

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350