JP6021741B2 - 時空間データベースの処理方法、プログラム及びシステム - Google Patents
時空間データベースの処理方法、プログラム及びシステム Download PDFInfo
- Publication number
- JP6021741B2 JP6021741B2 JP2013118759A JP2013118759A JP6021741B2 JP 6021741 B2 JP6021741 B2 JP 6021741B2 JP 2013118759 A JP2013118759 A JP 2013118759A JP 2013118759 A JP2013118759 A JP 2013118759A JP 6021741 B2 JP6021741 B2 JP 6021741B2
- Authority
- JP
- Japan
- Prior art keywords
- stream
- data
- time
- database
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24568—Data stream processing; Continuous queries
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2477—Temporal data queries
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
SELECT Title, ・・・ FROM Program
WHERE CH = ? and Start <= CT and End > CT
// ここで、CTは現在時刻のタイムスタンプを示す
先ず、特開2006−338432号公報は、ストリームデータの一部、もしくは全部複製し、不揮発性の記憶媒体にアーカイブし、リアルタイムデータとアーカイブデータをシーム レスに利用できる機構を提供し、複数のストリームデータ処理システムを連携させ、クエリ処理の性能を向上させる機構を提供する、ストリームデータ処理システムを開示する。
さらに、Temporal Join(時間的JOIN)とは、有効期間が重複するタプルに対してJoinすることをいう。
− 時空間データベースのレコードをレコード内の有効開始時刻順にソートし、現在時刻から一定時間分のレコードを、定期的に主記憶などにバッファする。
− バッファ内のレコードを、そのレコードの有効開始時刻以降になった時点で、時空間タプルとして出力する。
また好適には、本発明に係るシステムは、時空間データベースから時空間データストリームを生成する処理において、バッファ内のレコードの有効終了通知を、そのレコードの有効終了時刻以降になった時点で、時空間ストリームの受信側に送信する処理を実行する。
− 入力となる時空間タプルの有効期限を利用して、処理対象となる時空間タプルを選択し、ストリーム処理を行う。その結果、出力結果も時空間タプルとなる。
− 有効期限が切れた時点で、オペレータ内でバッファされた時空間タプルを削除する。
また好適には、本発明に係るシステムはさらに、時空間データストリーム処理において、有効終了時刻を受信した時刻で、オペレータ内でバッファされた時空間タプルをフラッシュする処理を実行する。
stream<Temporal_tuple> T_stream = GenTemporal() {
param
table : Program
timeS : Program.Start
timeE : Program.End
}
データストリーム生成ルーチン310の処理については、図6のフローチャートを参照して後で説明する。
コードの例は、以下のようになる。
stream<Combined_tuple> Join =
TemporalJoin(Input_stream: T_stream) {
param
match: Input_stream.CH = T_stream.CH
}
Temporal Joinオペレータ312の処理については、図7及び図8のフローチャートを参照して後で説明する。
stream<Combined_tuple> Join =
TemporalJoin(Input_stream: T_stream) {
param
match: Input_stream.CH = T_stream.CH
}
210 データベース・サーバ
302 Programテーブル
304 バッファ・テーブル作成ルーチン
306 バッファ・テーブル
310 データストリーム生成ルーチン
312
Claims (10)
- コンピュータの処理により、データベースに問い合わせを行うシステムであって、
記憶手段と、
前記記憶手段に保存された、時間フィールドを含むデータベースと、
現在時間から所定の期間の間のデータを、前記データベースから抽出して、前記時間フィールドでソートして主記憶にバッファする手段と、
時間情報を含むタプルの第1のストリームを受け付ける手段と、
前記時間フィールドに基づき現在時刻に対して有効である前記バッファしたデータを第2のストリームとして出力する手段と、
前記第1のストリームに対し、前記第2のストリームを用いてストリーム処理を行う手段を有する、
システム。 - 前記ストリーム処理は、前記2つのストリームに含まれるデータのうち、所定の一致条件を満たすデータ同士をジョインして出力する処理である、請求項1に記載のシステム。
- 前記主記憶にバッファする手段は、前記主記憶にバッファする処理を所定期間毎に実行する、請求項1に記載のシステム。
- 前記ストリーム処理は、時間情報が重複することを更なる条件として前記第1のストリームのタプルと前記第2のストリームのタプルをジョインしてストリームとして出力する、請求項1に記載のシステム。
- コンピュータの処理により、データベースに問い合わせを行う方法であって、
現在時間から所定の期間の間のデータを、記憶手段に保存された、時間フィールドを含むデータベースから抽出して、前記時間フィールドでソートして主記憶にバッファするステップと、
時間情報を含むタプルの第1のストリームを受領するステップと、
前記時間フィールドに基づき現在時刻に対して有効である前記バッファしたデータを第2のストリームとして出力するステップと、
前記第1のストリームに対し、前記第2のストリームを用いてストリーム処理を行うステップを有する、
方法。 - 前記主記憶にバッファするステップは、所定期間毎に実行する、請求項5に記載の方法。
- 前記出力されたデータを前記バッファから削除するステップをさらに有する、請求項5に記載の方法。
- コンピュータの処理により、データベースに問い合わせを行うプログラムであって、
前記コンピュータに、
現在時間から所定の期間の間のデータを、記憶手段に保存された、時間フィールドを含むデータベースから抽出して、前記時間フィールドでソートして主記憶にバッファするステップと、
時間情報を含むタプルの第1のストリームを受領するステップと、
前記時間フィールドに基づき現在時刻に対して有効である前記バッファしたデータを第2のストリームとして出力するステップと、
前記第1のストリームに対し、前記第2のストリームを用いてストリーム処理を行うステップを実行させる、
プログラム。 - 前記主記憶にバッファするステップは、所定期間毎に実行する、請求項8に記載のプログラム。
- 前記出力されたデータを前記バッファから削除するステップをさらに前記コンピュータに実行させる、請求項8に記載のプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013118759A JP6021741B2 (ja) | 2013-06-05 | 2013-06-05 | 時空間データベースの処理方法、プログラム及びシステム |
| US14/291,714 US9529844B2 (en) | 2013-06-05 | 2014-05-30 | Method, program, and system for processing space-time database |
| US15/385,391 US10614072B2 (en) | 2013-06-05 | 2016-12-20 | Method, program, and system for processing space-time database |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013118759A JP6021741B2 (ja) | 2013-06-05 | 2013-06-05 | 時空間データベースの処理方法、プログラム及びシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014235690A JP2014235690A (ja) | 2014-12-15 |
| JP6021741B2 true JP6021741B2 (ja) | 2016-11-09 |
Family
ID=52006361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013118759A Active JP6021741B2 (ja) | 2013-06-05 | 2013-06-05 | 時空間データベースの処理方法、プログラム及びシステム |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US9529844B2 (ja) |
| JP (1) | JP6021741B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10088324B2 (en) | 2016-05-02 | 2018-10-02 | International Business Machines Corporation | Trajectory data compression |
| CN106446278B (zh) * | 2016-10-24 | 2018-07-20 | 北京亚控科技发展有限公司 | 一种基于时空数据库的对数据对象的检索方法 |
| US11341006B1 (en) * | 2020-10-30 | 2022-05-24 | International Business Machines Corporation | Dynamic replacement of degrading processing elements in streaming applications |
| CN112800056B (zh) * | 2021-01-21 | 2024-03-08 | 北京博阳世通信息技术有限公司 | 基于多粒度时空数据的多层索引构建方法 |
| CN114860724B (zh) * | 2022-04-26 | 2025-06-03 | 中电科金仓(北京)科技股份有限公司 | 数据库共享内存缓冲池的处理方法、存储介质与设备 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6353820B1 (en) * | 1999-09-29 | 2002-03-05 | Bull Hn Information Systems Inc. | Method and system for using dynamically generated code to perform index record retrieval in certain circumstances in a relational database manager |
| JP4687253B2 (ja) | 2005-06-03 | 2011-05-25 | 株式会社日立製作所 | ストリームデータ処理システムのクエリ処理方法 |
| US7904444B1 (en) | 2006-04-26 | 2011-03-08 | At&T Intellectual Property Ii, L.P. | Method and system for performing queries on data streams |
| JP4804233B2 (ja) | 2006-06-09 | 2011-11-02 | 株式会社日立製作所 | ストリームデータ処理方法 |
| JP4891320B2 (ja) * | 2006-07-11 | 2012-03-07 | Kddi株式会社 | 番組表配信装置および番組表配信方法 |
| JP4990696B2 (ja) | 2007-06-27 | 2012-08-01 | 株式会社日立製作所 | ストリームデータの処理方法およびストリームデータ処理システム |
| JP5377897B2 (ja) * | 2007-10-29 | 2013-12-25 | 株式会社日立製作所 | ストリームデータのランキングクエリ処理方法およびランキングクエリ処理機構を有するストリームデータ処理システム |
| JP5465413B2 (ja) | 2008-10-29 | 2014-04-09 | 株式会社日立製作所 | ストリームデータ処理方法、及びそのシステム |
| JP4659877B2 (ja) | 2008-12-03 | 2011-03-30 | 株式会社日立製作所 | ストリームデータ処理制御方法、ストリームデータ処理装置及びストリームデータ処理制御プログラム |
| IL197961A0 (en) * | 2009-04-05 | 2009-12-24 | Guy Shaked | Methods for effective processing of time series |
| JP5071990B2 (ja) | 2009-07-28 | 2012-11-14 | 日本電信電話株式会社 | データベース装置、データベースシステム、キャッシュメンテナンス方法およびそのプログラム |
| JP5462200B2 (ja) * | 2010-02-19 | 2014-04-02 | パナソニック株式会社 | 番組表配信装置、番組配信装置、番組表受信端末、番組表送受信システム、番組表配信方法、番組表受信方法、プログラム、及び記録媒体 |
| JP5423553B2 (ja) * | 2010-04-09 | 2014-02-19 | 株式会社日立製作所 | データベース管理方法、計算機、センサネットワークシステム及びデータベース検索プログラム |
| US8478743B2 (en) * | 2010-12-23 | 2013-07-02 | Microsoft Corporation | Asynchronous transfer of state information between continuous query plans |
| SG10201600432YA (en) * | 2011-02-21 | 2016-02-26 | Univ Singapore | Apparatus, system, and method for annotation of media files with sensor data |
| US9251155B1 (en) * | 2012-05-04 | 2016-02-02 | Paraccel Llc | Maintaining sort order of data in databases |
-
2013
- 2013-06-05 JP JP2013118759A patent/JP6021741B2/ja active Active
-
2014
- 2014-05-30 US US14/291,714 patent/US9529844B2/en active Active
-
2016
- 2016-12-20 US US15/385,391 patent/US10614072B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014235690A (ja) | 2014-12-15 |
| US20140365478A1 (en) | 2014-12-11 |
| US10614072B2 (en) | 2020-04-07 |
| US9529844B2 (en) | 2016-12-27 |
| US20170103109A1 (en) | 2017-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12248484B2 (en) | Reassigning processing tasks to an external storage system | |
| JP6021741B2 (ja) | 時空間データベースの処理方法、プログラム及びシステム | |
| US11669528B2 (en) | Joining multiple events in data streaming analytics systems | |
| US20200050586A1 (en) | Query execution at a remote heterogeneous data store of a data fabric service | |
| US8386515B2 (en) | Persistent querying in a federated database system | |
| WO2020220216A1 (en) | Search time estimate in data intake and query system | |
| US7403959B2 (en) | Query processing method for stream data processing systems | |
| US20190147084A1 (en) | Distributing partial results from an external data system between worker nodes | |
| US8290939B2 (en) | Visualizing query results in stream processing systems | |
| JP2020515818A (ja) | 地理的位置における資産を管理するシステム及び方法 | |
| JP6929388B2 (ja) | クエリリソースキャッシングのためのシステムおよび方法 | |
| US20120078868A1 (en) | Stream Processing by a Query Engine | |
| US11567930B2 (en) | Adaptive data retrieval with runtime authorization | |
| CN104933136B (zh) | 基于海量车牌自动识别数据的动态拼车方法和系统 | |
| US20180357486A1 (en) | System and method for analyzing video frames in a messaging system | |
| JP2014157510A (ja) | ストリーム・データ処理システム、方法及びプログラム | |
| Sunderrajan et al. | Real time load prediction and outliers detection using storm | |
| Chen et al. | Experience in extending query engine for continuous analytics | |
| Chen et al. | Cut-and-rewind: Extending query engine for continuous stream analytics | |
| Hanning et al. | Efficient processing of continuous skyline query over smarter traffic data stream for cloud computing | |
| Zhao et al. | A real-time processing system for massive traffic sensor data | |
| US20110119384A1 (en) | Information processing apparatus, information processing program, and information processing method | |
| CN117390106B (zh) | 数据处理方法、装置、存储介质和计算设备 | |
| Alam et al. | Survey on Data Warehouse from Traditional to Realtime and Society Impact of Real Time Data | |
| CN103560921A (zh) | 一种网络流数据的归并方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151127 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20160104 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20160203 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160414 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160524 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160615 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160913 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161004 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6021741 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |