JP7119630B2 - 情報処理装置、情報交換システム、情報処理方法および情報処理プログラム - Google Patents
情報処理装置、情報交換システム、情報処理方法および情報処理プログラム Download PDFInfo
- Publication number
- JP7119630B2 JP7119630B2 JP2018116727A JP2018116727A JP7119630B2 JP 7119630 B2 JP7119630 B2 JP 7119630B2 JP 2018116727 A JP2018116727 A JP 2018116727A JP 2018116727 A JP2018116727 A JP 2018116727A JP 7119630 B2 JP7119630 B2 JP 7119630B2
- Authority
- JP
- Japan
- Prior art keywords
- metadata
- cluster
- tree
- information processing
- application
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9027—Trees
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
まず、本発明の第1の実施形態について説明する。
図1は、本発明の第1の実施形態に係る情報処理装置の機能構成の一例を示す図である。
図2は、サーバ100内の生データ格納部11に格納される生データ群のデータ構造、並びに、クラスター格納部13に格納されるクラスターツリーのデータ構造、およびメタデータ格納部14に格納されるメタデータツリーのデータ構造の例を説明するための図である。
図3は、メタデータ検索部4がメタデータツリーに対して行うメタデータ検索の例を示す図である。
次に、図4乃至図11を参照して、サーバ100の動作について説明する。また、動作の説明に際し、図12も適宜参照し、メタデータ格納部14に格納される情報の例についても併せて説明する。
最初に、図4乃至図6を参照して、データ整形・注釈時の動作の一例について説明する。
次に、図7乃至図11を参照して、メタデータ検索時の動作の一例について説明する。
次に、図13乃至図17Bを参照して、本実施形態における実施例(1)について説明する。この実施例(1)では、「風速データ」を例にとって説明する。
生データは、時系列のセンシングデータである。本例では、秒ごとに取得した風速センシングデータの1年分(約15,800,000個)を扱う。
アプリケーション1の用件:風速状況を3段階に分けることであるものとする(この場合、例えば、クラスター群をcluster1:「高」、cluster2:「中」、cluster3:「低」に分ける必要があるものとする)。
特徴抽出部1により生成された特徴ベクトル群に対し、階層化整形部2により階層化クラスタリングを行うと、その結果は図13の(a)のようにツリー状になる。なお、図13の(a)において、横軸は特徴ベクトル群(366個のエレメント)を表し、縦軸はクラスター間の距離を表す。アプリケーション1の用件に対し、図13(a)の破線の位置のようにツリーを3つのクラスター(R1, R2, R3)に分ける。
最後に、メタデータ検索部4により、メタデータをRDFの形でアプリケーション1に送信する。例えば図15のようなオントロジーを作成した上で、メタデータをアプリケーション1に送信する。なお、図15において、P0, P1, P2, P3は、それぞれ、前述したRDF(0), RDF(1), RDF(2), RDF(3)に相当する。
アプリケーション2に対しても、図16(a)の通り、アプリケーション1の場合と同じクラスタリングを利用する。但し、図16(a)の破線の位置のように、6つのクラスター群(R1~R6)に分ける。
次に、図18乃至図22Bを参照して、本実施形態における実施例(2)について説明する。この実施例(2)では、「風速データ」、「気温データ」、「日照時間データ」を混合させた例について説明する。
生データは、時系列のセンシングデータである。本例では、秒ごとに取得した風速・気温センシングデータの1年分、および毎日の日照時間データの1年分を扱う。
アプリケーション3の用件:気象状況を2部類に分けることであるものとする(この場合、クラスター群を例えば、cluster1、cluster2に分ける必要があるものとする)。
特徴抽出部1により生成された特徴ベクトル群に対し、階層化整形部2により階層化クラスタリングを行うと、その結果は図18の(a)のようにツリー状になる。なお、図18の(a)において、横軸は特徴ベクトル群(360個のエレメント)を表し、縦軸はクラスター間の距離を表す。アプリケーション3の用件に対し、図18(a)の破線の位置のようにツリーを2つのクラスター(C1, C2)に分ける。
最後に、メタデータ検索部4により、メタデータをRDFの形でアプリケーション3に送信する。例えば図20のようなオントロジーを作成した上で、メタデータをアプリケーション3に送信する。なお、図20において、Q0, Q1, Q2, Q3は、それぞれ、前述したRDF(0), RDF(1), RDF(2), RDF(3)に相当する。
アプリケーション4に対しても、図21の通り、アプリケーション3の場合と同じクラスタリングを利用する。但し、図21の破線の位置のように、12個のクラスター群(C1~C12)に分ける。
次に、本発明の第2の実施形態について説明する。以下では、第1の実施形態と共通する部分の説明を省略し、異なる部分を中心に説明する。
図23は、本発明の第2の実施形態に係る情報交換システムの機能構成の一例を示す図である。なお、図23では、図1と共通する要素に同一の符号を付している。
Claims (7)
- デバイスから供給されるデータ群から複数の特徴を抽出し、当該複数の特徴をベクトルで表現した特徴ベクトル群を生成する特徴抽出手段と、
前記特徴抽出手段により生成された特徴ベクトル群に対し、特徴ベクトル間の距離に応じたクラスタリングを行い、当該クラスタリングにより生成されるクラスター群をクラスター間の距離に応じて階層化したクラスターツリーを生成する階層化整形手段と、
メタデータをクラスター毎に備えるメタデータツリーを生成するメタデータ注釈手段であって、前記階層化整形手段により生成されたクラスターツリーに基づき、各クラスターの配下にある情報をまとめた要約に注釈を付したメタデータをクラスター毎に備えるメタデータツリーを生成するメタデータ注釈手段と、
メタデータをアプリケーションに提供するメタデータ検索手段であって、前記メタデータ注釈手段により生成されたメタデータツリーの中から、前記アプリケーションが示す用件に適合するクラスターのメタデータを検索し、当該検索により得られるメタデータを前記アプリケーションに提供するメタデータ検索手段と、
を具備する情報処理装置。 - 前記メタデータ検索手段は、
前記アプリケーションが用件としてデータ群の粒度を示す場合、前記メタデータツリーの中から、当該粒度に応じた階層に位置するクラスターのメタデータを読み出す、
請求項1に記載の情報処理装置。 - 前記メタデータ検索手段は、
前記アプリケーションが用件としてデータ群のある物理量の範囲を指定する場合、前記メタデータツリーを最上階層側から最下階層側へ向けて探索し、各クラスターのメタデータに記録されている物理量の範囲を順次絞り込んでいくことにより該当する範囲が記録されているメタデータを見つけて読み出す、
請求項1に記載の情報処理装置。 - 前記アプリケーションが示す用件に応じて、前記特徴抽出手段、前記階層化整形手段、または前記メタデータ注釈手段での処理に使用されるパラメータを調整する整形条件設定手段をさらに具備する、
請求項1乃至3のいずれか1項に記載の情報処理装置。 - デバイスから供給されるデータ群を格納する1つまたは複数の第1の情報処理装置と、アプリケーションからの要求に応じる第2の情報処理装置との間で情報を交換する情報交換システムであって、
前記1つまたは複数の第1の情報処理装置の各々は、
デバイスから供給されるデータ群から複数の特徴を抽出し、当該複数の特徴をベクトルで表現した特徴ベクトル群を生成する特徴抽出手段と、
前記特徴抽出手段により生成された特徴ベクトル群に対し、特徴ベクトル間の距離に応じたクラスタリングを行い、当該クラスタリングにより生成されるクラスター群をクラスター間の距離に応じて階層化したクラスターツリーを生成する階層化整形手段と、
メタデータをクラスター毎に備えるメタデータツリーを生成するメタデータ注釈手段であって、前記階層化整形手段により生成されたクラスターツリーに基づき、各クラスターの配下にある情報をまとめた要約に注釈を付したメタデータをクラスター毎に備えるメタデータツリーを生成するメタデータ注釈手段と、
を備え、
前記第2の情報処理装置は、
メタデータを前記アプリケーションに提供するメタデータ検索手段であって、前記1つまたは複数の第1の情報処理装置のいずれかに対し、前記メタデータ注釈手段により生成されたメタデータツリーの中から、前記アプリケーションが示す用件に適合するクラスターのメタデータを検索することを要求し、当該検索により得られるメタデータを前記アプリケーションに提供するメタデータ検索手段を備える、
情報交換システム。 - プログラムを実行するプロセッサ及び記憶媒体を備えるサーバにより、
デバイスから供給されるデータ群から複数の特徴を抽出し、当該複数の特徴をベクトルで表現した特徴ベクトル群を生成して前記記憶媒体に記憶し、
前記生成して前記記憶媒体に記憶した特徴ベクトル群を特徴ベクトル間の距離に応じて複数のクラスターに分類し、当該複数のクラスターをクラスター間の距離に応じて階層化したクラスターツリーを生成して前記記憶媒体に記憶し、
前記生成して前記記憶媒体に記憶したクラスターツリーに基づき、各クラスターの配下にある情報をまとめた要約に注釈を付したメタデータをクラスター毎に備えるメタデータツリーを生成して前記記憶媒体に記憶し、
前記生成して前記記憶媒体に記憶したメタデータツリーの中から、アプリケーションが示す用件に適合するクラスターのメタデータを検索し、当該検索により得られるメタデータを前記アプリケーションに提供する、
ことを含む情報処理方法。 - 請求項1に記載の情報処理装置の一部分として動作するコンピュータに用いられるプログラムであって、
前記コンピュータを、
前記特徴抽出手段、前記階層化整形手段、前記メタデータ注釈手段、および前記メタデータ検索手段
として機能させるための情報処理プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018116727A JP7119630B2 (ja) | 2018-06-20 | 2018-06-20 | 情報処理装置、情報交換システム、情報処理方法および情報処理プログラム |
| PCT/JP2019/022723 WO2019244671A1 (ja) | 2018-06-20 | 2019-06-07 | 情報処理装置、情報交換システム、情報処理方法および情報処理プログラム |
| US17/252,394 US20210263969A1 (en) | 2018-06-20 | 2019-06-07 | Information processing apparatus, information exchange system, information processing method, and information processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018116727A JP7119630B2 (ja) | 2018-06-20 | 2018-06-20 | 情報処理装置、情報交換システム、情報処理方法および情報処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019219906A JP2019219906A (ja) | 2019-12-26 |
| JP7119630B2 true JP7119630B2 (ja) | 2022-08-17 |
Family
ID=68983951
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018116727A Active JP7119630B2 (ja) | 2018-06-20 | 2018-06-20 | 情報処理装置、情報交換システム、情報処理方法および情報処理プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20210263969A1 (ja) |
| JP (1) | JP7119630B2 (ja) |
| WO (1) | WO2019244671A1 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11748418B2 (en) | 2018-07-31 | 2023-09-05 | Marvell Asia Pte, Ltd. | Storage aggregator controller with metadata computation control |
| CN114730324A (zh) * | 2019-12-13 | 2022-07-08 | 马维尔亚洲私人有限公司 | 具有有效率的元数据生成和导出的汽车数据处理系统 |
| US20230222713A1 (en) * | 2020-06-15 | 2023-07-13 | Nippon Telegraph And Telephone Corporation | Display control device and display control method |
| US11762956B2 (en) * | 2021-02-05 | 2023-09-19 | Oracle International Corporation | Adaptive pattern recognition for a sensor network |
| CN113127058B (zh) * | 2021-04-28 | 2024-01-16 | 北京百度网讯科技有限公司 | 数据标注方法、相关装置及计算机程序产品 |
| US12058269B2 (en) * | 2021-12-16 | 2024-08-06 | Verizon Patent And Licensing Inc. | Systems and methods for providing secure internet of things data notifications using blockchain |
| LU501875B1 (en) * | 2022-04-20 | 2023-10-20 | Microsoft Technology Licensing Llc | Managed entity configurator anomaly detection |
| CN116257657B (zh) * | 2022-12-30 | 2024-02-06 | 北京瑞莱智慧科技有限公司 | 数据处理方法、数据查询方法、相关装置及存储介质 |
| US20250182145A1 (en) * | 2023-11-30 | 2025-06-05 | Lennar Corporation | Interactive tool for machine learning-based market forecasting for home builder communities |
| US20250182149A1 (en) * | 2023-11-30 | 2025-06-05 | Lennar Corporation | Interactive tool for machine learning-based home comparison and multi-dimensional market analysis |
| CN119920367B (zh) * | 2025-04-01 | 2025-07-15 | 中煤科工集团信息技术有限公司 | 瓦斯数据异常检测方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007334402A (ja) | 2006-06-12 | 2007-12-27 | Hitachi Ltd | クラスタリングされたベクトルデータを検索するサーバ、システム及び方法 |
| JP2008250605A (ja) | 2007-03-30 | 2008-10-16 | Sony Corp | コンテンツ管理装置、画像表示装置、撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラム |
| JP2009277136A (ja) | 2008-05-16 | 2009-11-26 | Mitsubishi Electric Corp | 類似度分析評価システム |
| JP2013003597A (ja) | 2011-06-10 | 2013-01-07 | Sony Corp | 情報処理装置、情報処理方法及びプログラム |
| JP2013073256A (ja) | 2011-09-26 | 2013-04-22 | Osaka Prefecture Univ | 近似最近傍探索方法、最近傍探索プログラムおよび装置 |
| US20140229473A1 (en) | 2013-02-12 | 2014-08-14 | Microsoft Corporation | Determining documents that match a query |
| JP2015197741A (ja) | 2014-03-31 | 2015-11-09 | Kddi株式会社 | 消費電力量に基づいて生活パターンを推定する装置、プログラム及び方法 |
| WO2017094377A1 (ja) | 2015-11-30 | 2017-06-08 | 日本電信電話株式会社 | 分類方法、分類装置および分類プログラム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8560531B2 (en) * | 2011-07-01 | 2013-10-15 | International Business Machines Corporation | Search tool that utilizes scientific metadata matched against user-entered parameters |
| KR101484186B1 (ko) * | 2013-08-30 | 2015-01-21 | 한국전자통신연구원 | 보안 관제 데이터의 검색을 위한 인덱싱 장치 및 방법 |
| US9507847B2 (en) * | 2013-09-27 | 2016-11-29 | International Business Machines Corporation | Automatic log sensor tuning |
| US10635724B2 (en) * | 2015-01-30 | 2020-04-28 | International Business Machines Corporation | Analysis of data utilization |
| US11315198B2 (en) * | 2016-07-29 | 2022-04-26 | The Bureau Of National Affairs, Inc. | Data analysis engine |
-
2018
- 2018-06-20 JP JP2018116727A patent/JP7119630B2/ja active Active
-
2019
- 2019-06-07 US US17/252,394 patent/US20210263969A1/en not_active Abandoned
- 2019-06-07 WO PCT/JP2019/022723 patent/WO2019244671A1/ja not_active Ceased
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007334402A (ja) | 2006-06-12 | 2007-12-27 | Hitachi Ltd | クラスタリングされたベクトルデータを検索するサーバ、システム及び方法 |
| JP2008250605A (ja) | 2007-03-30 | 2008-10-16 | Sony Corp | コンテンツ管理装置、画像表示装置、撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラム |
| JP2009277136A (ja) | 2008-05-16 | 2009-11-26 | Mitsubishi Electric Corp | 類似度分析評価システム |
| JP2013003597A (ja) | 2011-06-10 | 2013-01-07 | Sony Corp | 情報処理装置、情報処理方法及びプログラム |
| JP2013073256A (ja) | 2011-09-26 | 2013-04-22 | Osaka Prefecture Univ | 近似最近傍探索方法、最近傍探索プログラムおよび装置 |
| US20140229473A1 (en) | 2013-02-12 | 2014-08-14 | Microsoft Corporation | Determining documents that match a query |
| JP2015197741A (ja) | 2014-03-31 | 2015-11-09 | Kddi株式会社 | 消費電力量に基づいて生活パターンを推定する装置、プログラム及び方法 |
| WO2017094377A1 (ja) | 2015-11-30 | 2017-06-08 | 日本電信電話株式会社 | 分類方法、分類装置および分類プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019219906A (ja) | 2019-12-26 |
| WO2019244671A1 (ja) | 2019-12-26 |
| US20210263969A1 (en) | 2021-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7119630B2 (ja) | 情報処理装置、情報交換システム、情報処理方法および情報処理プログラム | |
| Chee et al. | Algorithms for frequent itemset mining: a literature review | |
| US11888702B2 (en) | Intelligent analytic cloud provisioning | |
| CN103023970B (zh) | 一种物联网海量数据存储方法及系统 | |
| JP5749279B2 (ja) | アイテム関連付けのための結合埋込 | |
| CN108460121B (zh) | 智慧城市中时空数据小文件合并方法 | |
| CN118964496A (zh) | 基于法律知识服务平台的数据储存方法、系统及存储介质 | |
| CN103488673A (zh) | 用于执行调和处理的方法、控制器、程序及数据存储系统 | |
| Malensek et al. | Fast, ad hoc query evaluations over multidimensional geospatial datasets | |
| Anandhi et al. | Prediction of user’s type and navigation pattern using clustering and classification algorithms | |
| Li et al. | Parallelizing skyline queries over uncertain data streams with sliding window partitioning and grid index | |
| JP5155025B2 (ja) | 類似データ検索システム | |
| Mythily et al. | Clustering models for data stream mining | |
| US20240378653A1 (en) | Data extraction and data ingestion for executing search requests across multiple data sources | |
| CN119938791A (zh) | 一种分布式医疗大数据存储方法 | |
| CN105007314A (zh) | 面向海量读者阅读数据的大数据处理系统 | |
| CN120296041A (zh) | 基于缓存的数据查询解析结果优化方法及系统 | |
| CN103412903A (zh) | 基于兴趣对象预测的物联网实时搜索方法及系统 | |
| Zhang | The application of e-commerce recommendation system in smart cities based on big data and cloud computing | |
| US20190243914A1 (en) | Parallel query processing in a distributed analytics architecture | |
| CN109218366A (zh) | 基于k均值的监控视频热度云存储方法 | |
| CN115630170A (zh) | 一种文档推荐方法、系统、终端机及存储介质 | |
| Wen et al. | Probabilistic top-K dominating services composition with uncertain QoS | |
| CN115358729A (zh) | 一种卫星影像数据智能发布系统 | |
| CN120632198A (zh) | 一种基于时空大数据的数据推荐方法、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201002 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211207 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20220121 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220201 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220705 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220718 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7119630 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |