JP4451332B2 - 類似時系列データ計算装置、および類似時系列データ計算プログラム - Google Patents
類似時系列データ計算装置、および類似時系列データ計算プログラム Download PDFInfo
- Publication number
- JP4451332B2 JP4451332B2 JP2005062688A JP2005062688A JP4451332B2 JP 4451332 B2 JP4451332 B2 JP 4451332B2 JP 2005062688 A JP2005062688 A JP 2005062688A JP 2005062688 A JP2005062688 A JP 2005062688A JP 4451332 B2 JP4451332 B2 JP 4451332B2
- Authority
- JP
- Japan
- Prior art keywords
- series data
- time
- memory
- center point
- similar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
なお、ここで扱う時系列データには、株価のような離散値と移動軌跡のような連続値がある。離散値の場合、時系列データが類似しているか否かは、離散値を用いて時系列データ間の距離が閾値内にあるか否かを調べればよい。また連続値の場合、時系列データは処理する際にサンプリングされ離散値になるので、結局は離散値の処理手法を用いることになる。
R.Agrawl, C.Faloutsos, and A.N.Swami, "Efficient Similarity Search In Sequence Databases", In Proc. FODO, 1993 N.Bechmann, H.P.Kriegel, R.Schneider, B.Seeger, "R*-tree:An Efficient and Robust Access Method for Points and Rectangles", In Proc. SIGMOD, 1990 Y.zhu, D.Shasha, "State Stream:Statistical Monitoring of Thousands of Data Streams in Real Time", In Proc. VLDB, 2002
ここで、各関数の定義は次の通りである。
Ddigest(S'u,S'v):次元圧縮後の時系列データS'u,S'vの距離
よって、次元圧縮部32では、このlower bounding conditionが成り立つ離散フーリエ変換法、離散ウェブレット変換法、特異値分解法などの手法を用いる。なお、ここでは、次元圧縮前の時系列データ間の距離をユークリッド距離とするが、これに限られるものではない。
ここで、mは時系列データの総数、kはすべての時系列データの中からどの程度の数を用いてK-means法を行うかを決定するサンプル率(0〜1)である。kの値が小さい程、少ないデータポイントから中心点を決定するので、高速に多次元空間を分割できる一方、適切でない位置が中心点となることもある。
|ROi u−ROi v|≧c+1 (6)
類似の可能性がある時系列データについては、次元圧縮後の距離を計算し、この距離が一定の範囲内にあるか否かで類似する時系列データの候補であるか否かを判断する。なお、図7の例では、c=1.5、ROi u=2、ROi v=4またはROi v=5である。ROi v=4であれば類似する可能性がある時系列データとなり、ROi v=5であれば非類似の時系列データとなる。
ここで、各関数の定義は次の通りである。
Ddigest(S'u,S'v):次元圧縮後の時系列データS'u,S'vの距離
Dcontractive(S'u,S'v):多次元空間を分割し新たな距離空間を設定した後の時系列データS'u,S'vの距離
contractive transform lemmaは、以下のように証明できる。false negativeが発生しないことを保証するためには、Dreal(Su,Sv)≦εであればDcontractive(S'u,S'v)≦εでなければならない。ここで、contractive transform conditionより、次式が成り立つのでcontractive transform lemmaは証明できる。
ここでDcontractive(S'u,S'v)は中心点をOiとしたとき(|ROi u−ROi v|−1)・(ε/c)とする。
続いて、次式が成り立つことを示す。
[i]:S'u,S'v,Oiが同一直線上にない場合
平面S'uS'vOiは図8に示すように三角形となる。同図において、三角形S'uS'vOiの成立条件より、次式が成り立つ。
S'vOi+S'uS'v>S'uOi かつ
S'uS'v+S'uOi>S'vOi (11)
この式より、S'uS'v>|S'uOi−S'vOi|となる。また、|S'uOi−S'vOi|>(|ROi u−ROi v|−1)・(ε/c)である。ここで、S'uS'v=Ddigest(S'u,S'v)であり、(|ROi u−ROi v|−1)・(ε/c)=Dcontractive(S'u,S'v)であるので、式(10)が成り立つ。
図9に示すように、この場合は、|S'uOi−S'vOi|<S'uS'vとなる。また、|S'uOi−S'vOi|>(|ROi u−ROi v|−1)・(ε/c)である。ここで、S'uS'v=Ddigest(S'u,S'v)であり、(|ROi u−ROi v|−1)・(ε/c)=Dcontractive(S'u,S'v)であるので、式(10)が成り立つ。
図10に示すように、この場合は、|S'uOi−S'vOi|=S'uS'vとなる。また、|S'uOi−S'vOi|>(|ROi u−ROi v|−1)・(ε/c)である。ここで、S'uS'v=Ddigest(S'u,S'v)であり、(|ROi u−ROi v|−1)・(ε/c)=Dcontractive(S'u,S'v)であるので、式(10)が成り立つ。
ここで、Dexpanded(S'u,S'v)は(ROi u+ROi v)・(ε/c)とする。以下では、次式が成り立つことを示す。
[i]:S'u,S'v,Oiが同一直線上にない場合
平面S'uS'vOiは図12に示すように三角形となる。同図において、三角形S'uS'vOiの成立条件より、S'uOi+S'vOi>S'uS'vが成り立つ。また、S'uOi+S'vOi<(ROi u+ROi v)・(ε/c)である。ここで、S'uS'v=Ddigest(S'u,S'v)であり、(ROi u+ROi v)・(ε/c)=Dexpanded(S'u,S'v)であるので、式(13)が成り立つ。
図13に示すように、この場合は、S'uS'v=S'uOi+S'vOiとなる。また、S'uOi+S'vOi<(ROi u+ROi v)・(ε/c)である。ここで、S'uS'v=Ddigest(S'u,S'v)であり、(ROi u+ROi v)・(ε/c)=Dexpanded(S'u,S'v)であるので、式(13)が成り立つ。
図14に示すように、この場合は、S'uOi+S'vOi>S'uS'vとなる。また、S'uOi+S'vOi<(ROi u+ROi v)・(ε/c)である。ここで、S'uS'v=Ddigest(S'u,S'v)であり、(ROi u+ROi v)・(ε/c)=Dexpanded(S'u,S'v)であるので、式(13)が成り立つ。
2.d(x,y)=0⇔x=y (分離則)
3.d(x,y)=d(y,x) (対称則)
4.d(x,y)+d(y,z)≧d(x,z) (三角則)
また、本実施の形態については、様々な変形が考えられるので、その変形例について以下説明する。
中心点決定部33は、多次元空間における同心超球の中心点をランダムに決定して内部のメモリに記憶させる。中心点をランダムに決定するので、高速に計算できるメリットがある。一方で、中心点を不適切な位置に配置してしまう可能性があるデメリットもある。
サンプル部332を採用せず、クラスタリング部333は、多次元空間にあるすべての時系列データを対象にクラスタリングを行う。これにより、中心点計算部334で中心点をさらに適切に配置できるメリットがある。一方で、すべての時系列データを対象にクラスタリングを行うため計算に時間を要するデメリットがある。
空間分割部342は、多次元空間を中心点から閾値εの刻みで分割する。閾値ε/cを用いた場合と比較して、類似する時系列データが存在する候補領域は時系列データが属する領域とこの領域に直接的に隣接する領域だけに限定されるので、候補領域の数が少なくなるメリットがある。一方で、候補領域に存在する時系列データのすべてに対して次元圧縮後の距離を計算する必要があるデメリットがある。
2…データ受信部
3…空間インデクス部
4…類似判断部
5…計算結果送信部
31…データ受信部
32…次元圧縮部
33…中心点決定部
34…候補検索部
35…データ送信部
331…データ受信部
332…サンプル部
333…クラスタリング部
334…中心点計算部
335…データ送信部
341…データ受信部
342…空間分割部
343…候補領域決定部
344…候補決定部
345…データ送信部
Claims (2)
- n個のデータからなるn次元の時系列データを受信して第1メモリに記憶させるデータ受信手段と、
第1メモリから読み出された時系列データを次元圧縮して第2メモリに記憶させる次元圧縮手段と、
多次元空間における同心超球の中心点を決定して第3メモリに記憶させる中心点決定手段と、
第3メモリから読み出された中心点を中心とする同心超球構造に多次元空間を分割して、第2メモリから読み出された時系列データの類似の組み合わせの候補を絞り込んで第4メモリに記憶させる候補検索手段と、を有し、
前記中心点決定手段は、
次元圧縮後の時系列データの中からランダムにサンプルを選択するサンプル手段と、
前記サンプル手段によりサンプリングされた次元圧縮後の時系列データを、多次元空間を均一に分割させるクラスタリング手法によりクラスタリングして第5メモリに記憶させるクラスタリング手段と、
第5メモリから読み出されたクラスタリングの中心を多次元空間における中心点の位置として決定して第3メモリに記憶させる中心点位置計算手段と、を具備し、
前記候補検索手段は、
時系列データの類似を判断するための閾値を定数で除した値を刻み幅とし、多次元空間を前記中心点から前記刻み幅で同心超球構造に分割し、分割領域に番号を与える空間分割手段と、
前記中心点と時系列データとの距離により、第2メモリから読み出された時系列データが属する分割領域の番号を求める手段と、
第2メモリから読み出された2つの時系列データに対して、それぞれの時系列データが属する分割領域の番号の差と、前記定数との関係から次元圧縮後の時系列データの類似候補を絞り込み、その類似候補の組み合わせを第4メモリに記憶させる候補決定手段と、を具備する
ことを特徴とする類似時系列データ計算装置。 - 請求項1に記載の類似時系列データ計算装置を構成する各手段としてコンピュータを機能させるための類似時系列データ計算プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005062688A JP4451332B2 (ja) | 2005-03-07 | 2005-03-07 | 類似時系列データ計算装置、および類似時系列データ計算プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005062688A JP4451332B2 (ja) | 2005-03-07 | 2005-03-07 | 類似時系列データ計算装置、および類似時系列データ計算プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006244389A JP2006244389A (ja) | 2006-09-14 |
| JP4451332B2 true JP4451332B2 (ja) | 2010-04-14 |
Family
ID=37050720
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005062688A Expired - Fee Related JP4451332B2 (ja) | 2005-03-07 | 2005-03-07 | 類似時系列データ計算装置、および類似時系列データ計算プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4451332B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10223069B2 (en) | 2015-01-22 | 2019-03-05 | Mitsubishi Electric Corporation | Time-series data search device and computer readable medium |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5379693B2 (ja) * | 2006-11-13 | 2013-12-25 | アイ・ピー・リザブワー・エル・エル・シー | コプロセッサを使った構造化データおよび非構造化データの高性能の統合、処理および探索の方法およびシステム |
| JP6707946B2 (ja) * | 2015-06-03 | 2020-06-10 | 富士通株式会社 | データクラスタリング方法、情報処理装置およびデータクラスタリングプログラム |
| CN108021650A (zh) * | 2017-11-30 | 2018-05-11 | 冶金自动化研究设计院 | 一种时序数据的高效存储和读取系统 |
| CN113761093B (zh) * | 2021-01-27 | 2025-04-15 | 京东城市(北京)数字科技有限公司 | 空间二元组的确定方法、装置、计算机设备和存储介质 |
-
2005
- 2005-03-07 JP JP2005062688A patent/JP4451332B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10223069B2 (en) | 2015-01-22 | 2019-03-05 | Mitsubishi Electric Corporation | Time-series data search device and computer readable medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006244389A (ja) | 2006-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xia et al. | Complete random forest based class noise filtering learning for improving the generalizability of classifiers | |
| Low et al. | Probing variability in a cognitive map using manifold inference from neural dynamics | |
| Azar et al. | Fuzzy and hard clustering analysis for thyroid disease | |
| Nagpal et al. | Review based on data clustering algorithms | |
| Izakian et al. | Automated clustering of trajectory data using a particle swarm optimization | |
| CN106650297B (zh) | 一种无领域知识的卫星分系统异常检测方法 | |
| US10580114B2 (en) | Methods and systems for real time 3D-space search and point-cloud registration using a dimension-shuffle transform | |
| Zieliński et al. | Persistence codebooks for topological data analysis | |
| JP3984134B2 (ja) | 移動軌跡データ検索用インデックス生成装置及びその方法と、移動軌跡データ検索装置及びその方法と、移動軌跡データ検索用インデックス生成プログラム及びそのプログラムを記録した記録媒体と、移動軌跡データ検索プログラム及びそのプログラムを記録した記録媒体 | |
| Sanchez et al. | Fast trajectory clustering using hashing methods | |
| Kumar et al. | Isochronous temporal metric for neighbourhood analysis in classification tasks | |
| Honda et al. | Multi-aspect mining of complex sensor sequences | |
| Kirchoff et al. | Utilizing low-dimensional molecular embeddings for rapid chemical similarity search | |
| Chang et al. | Categorical data visualization and clustering using subjective factors | |
| JP4451332B2 (ja) | 類似時系列データ計算装置、および類似時系列データ計算プログラム | |
| Torres-Tramón et al. | Topic detection in Twitter using topology data analysis | |
| Mandal et al. | Unsupervised non-redundant feature selection: a graph-theoretic approach | |
| Chen | Similarity search over time series and trajectory data | |
| Pappa et al. | Exploring the diverse world of SAX-based methodologies: L. Pappa et al. | |
| Peter et al. | The geometry of orthogonal-series, square-root density estimators: applications in computer vision and model selection | |
| Mic et al. | Selecting sketches for similarity search | |
| Gallegos et al. | Probabilistic clustering via Pareto solutions and significance tests | |
| Pratt | Locating patterns in discrete time-series | |
| Sana et al. | Patient Similarity Computation for Clinical Decision Support: An Efficient Use of Data Transformation, Combining Static and Time Series Data | |
| Popkov | Randomization and entropy in machine learning and data processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070219 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091009 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091020 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091207 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100119 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100127 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130205 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |