Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7119630B2 - 情報処理装置、情報交換システム、情報処理方法および情報処理プログラム - Google Patents
[go: Go Back, main page]

JP7119630B2 - 情報処理装置、情報交換システム、情報処理方法および情報処理プログラム - Google Patents

情報処理装置、情報交換システム、情報処理方法および情報処理プログラム Download PDF

Info

Publication number
JP7119630B2
JP7119630B2 JP2018116727A JP2018116727A JP7119630B2 JP 7119630 B2 JP7119630 B2 JP 7119630B2 JP 2018116727 A JP2018116727 A JP 2018116727A JP 2018116727 A JP2018116727 A JP 2018116727A JP 7119630 B2 JP7119630 B2 JP 7119630B2
Authority
JP
Japan
Prior art keywords
metadata
cluster
tree
information processing
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018116727A
Other languages
English (en)
Other versions
JP2019219906A (ja
Inventor
晶玉 孫
正人 神谷
亨 竹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2018116727A priority Critical patent/JP7119630B2/ja
Priority to PCT/JP2019/022723 priority patent/WO2019244671A1/ja
Priority to US17/252,394 priority patent/US20210263969A1/en
Publication of JP2019219906A publication Critical patent/JP2019219906A/ja
Application granted granted Critical
Publication of JP7119630B2 publication Critical patent/JP7119630B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/906Clustering; Classification
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • G06F16/9027Trees
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/907Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147Distances to closest patterns, e.g. nearest neighbour classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明の実施形態は、情報処理装置、情報交換システム、情報処理方法および情報処理プログラムに関する。
近年、IoT(Internet of Things)のネットワーク環境において、様々なセンサ等のデバイスから生成される大量の生データをクラウド上のサーバに収集し、当該データを様々な用件を示すクライアント側のアプリケーションのために活用する技術の開発が進められている。
クラウド上のサーバは大量かつ連続的に送信される様々な種類のIoTデータをそのまま時系列的にデータベースに収集し、一方、アプリケーションはその中から必要なデータを取得して活用するのが一般的である。
サーバ側のデータベースに蓄積されるデータの量は膨大である一方で、アプリケーションが求めるデータに対する用件はリアルタイムかつ多様である場合が多い。また、一般にデータの意味(セマンティクス)の解析はアプリケーション側で行われる。
Payam Barnaghi, Friender Ganz, Cory Henson, and Amit Sheth, "Computing Perception from Sensor Data", KNO.E.SIS PUBLICATIONS, October 2012 Atif Alamri, Wasai Shadab Ansari, Mohammad Mehedi Hassan, M. Shamim Hossain, Abdulhameed Alelaiwi, and M. Anwar Hossain, "A Survey on Sensor-Cloud: Architecture, Applications, and Approaches", Hindawi Publishing Corporation, International Journal of Distributed Sensor Networks, Volume 2013 Wu He, Gongjun Yan, and Li Da Xu, "Developing Vehicular Data Cloud Services in the IoT Environment", IEEE Transactions on Industrial Informatics, Vol. 10, No. 2, pp. 1587-1595, May 2014
各種のアプリケーションが様々なセンサ等のデバイスから生成される生データを利用するためには、大量の生データをサーバ側から取得する必要があり、大きな通信コストやネットワークリソースコストが発生する。例えば、様々なアプリケーションがサーバにアクセスし、それぞれの用件に応じて必要なデータを検索して大量のデータを取り出すと、ネットワークの通信コスト等が膨大になる。また、アプリケーション側では、受け取った生データを用件に合うように加工した後に解析を行うため、アプリケーション側の負荷が大きくなってしまう。
一方、サーバ側で、生データをアプリケーションが示す用件に合うように加工・解析してからアプリケーションに渡そうとしても、個々のアプリケーションが示す用件がそれぞれ違うため、サーバ側で事前にそのような処理を行うことは現実的に難しい。
本発明の目的は、アプリケーションが必要とするデータを効率的に生成することを可能にする情報処理装置、情報交換システム、情報処理方法および情報処理プログラムを提供することである。
上記目的を達成するために、この発明の一実施形態における情報処理装置の第1の態様は、デバイスから供給されるデータ群から複数の特徴を抽出し、当該複数の特徴をベクトルで表現した特徴ベクトル群を生成する特徴抽出手段と、前記特徴抽出手段により生成された特徴ベクトル群に対し、特徴ベクトル間の距離に応じたクラスタリングを行い、当該クラスタリングにより生成されるクラスター群をクラスター間の距離に応じて階層化したクラスターツリーを生成する階層化整形手段と、メタデータをクラスター毎に備えるメタデータツリーを生成するメタデータ注釈手段であって、前記階層化整形手段により生成されたクラスターツリーに基づき、各クラスターの配下にある情報をまとめた要約に注釈を付したメタデータをクラスター毎に備えるメタデータツリーを生成するメタデータ注釈手段と、メタデータをアプリケーションに提供するメタデータ検索手段であって、前記メタデータ注釈手段により生成されたメタデータツリーの中から、前記アプリケーションが示す用件に適合するクラスターのメタデータを検索し、当該検索により得られるメタデータを前記アプリケーションに提供するメタデータ検索手段と、を備えるようにしたものである。
この発明の情報処理装置の第2の態様は、第1の態様において、前記メタデータ検索手段は、前記アプリケーションが用件としてデータ群の粒度を示す場合、前記メタデータツリーの中から、当該粒度に応じた階層に位置するクラスターのメタデータを読み出すようにしたものである。
この発明の情報処理装置の第3の態様は、第1の態様において、前記メタデータ検索手段は、前記アプリケーションが用件としてデータ群のある物理量の範囲を指定する場合、前記メタデータツリーを最上階層側から最下階層側へ向けて探索し、各クラスターのメタデータに記録されている物理量の範囲を順次絞り込んでいくことにより該当する範囲が記録されているメタデータを見つけて読み出すようにしたものである。
この発明の情報処理装置の第4の態様は、第1乃至第3のいずれかの態様において、前記アプリケーションが示す用件に応じて、前記特徴抽出手段、前記階層化整形手段、または前記メタデータ注釈手段での処理に使用されるパラメータを調整する整形条件設定手段をさらに備えるようにしたものである。
この発明の一実施形態における情報交換システムの一つの態様は、デバイスから供給されるデータ群を格納する1つまたは複数の第1の情報処理装置と、アプリケーションからの要求に応じる第2の情報処理装置との間で情報を交換する情報交換システムであって、前記1つまたは複数の第1の情報処理装置の各々は、デバイスから供給されるデータ群から複数の特徴を抽出し、当該複数の特徴をベクトルで表現した特徴ベクトル群を生成する特徴抽出手段と、前記特徴抽出手段により生成された特徴ベクトル群に対し、特徴ベクトル間の距離に応じたクラスタリングを行い、当該クラスタリングにより生成されるクラスター群をクラスター間の距離に応じて階層化したクラスターツリーを生成する階層化整形手段と、メタデータをクラスター毎に備えるメタデータツリーを生成するメタデータ注釈手段であって、前記階層化整形手段により生成されたクラスターツリーに基づき、各クラスターの配下にある情報をまとめた要約に注釈を付したメタデータをクラスター毎に備えるメタデータツリーを生成するメタデータ注釈手段と、を備え、前記第2の情報処理装置は、メタデータを前記アプリケーションに提供するメタデータ検索手段であって、前記1つまたは複数の第1の情報処理装置のいずれかに対し、前記メタデータ注釈手段により生成されたメタデータツリーの中から、前記アプリケーションが示す用件に適合するクラスターのメタデータを検索することを要求し、当該検索により得られるメタデータを前記アプリケーションに提供するメタデータ検索手段を備えるようにしたものである。
この発明の一実施形態における情報処理方法の一つの態様は、プログラムを実行するプロセッサ及び記憶媒体を備えるサーバにより、デバイスから供給されるデータ群から複数の特徴を抽出し、当該複数の特徴をベクトルで表現した特徴ベクトル群を生成して前記記憶媒体に記憶し、前記生成して前記記憶媒体に記憶した特徴ベクトル群を特徴ベクトル間の距離に応じて複数のクラスターに分類し、当該複数のクラスターをクラスター間の距離に応じて階層化したクラスターツリーを生成して前記記憶媒体に記憶し、前記生成して前記記憶媒体に記憶したクラスターツリーに基づき、各クラスターの配下にある情報をまとめた要約に注釈を付したメタデータをクラスター毎に備えるメタデータツリーを生成して前記記憶媒体に記憶し、前記生成して前記記憶媒体に記憶したメタデータツリーの中から、アプリケーションが示す用件に適合するクラスターのメタデータを検索し、当該検索により得られるメタデータを前記アプリケーションに提供する、ことを含むようにしたものである。
この発明の一実施形態における情報処理プログラムの一つの態様は、第1の態様における情報処理装置の一部分として動作するコンピュータに用いられるプログラムであって、前記コンピュータを、前記特徴抽出手段、前記階層化整形手段、前記メタデータ注釈手段、および前記メタデータ検索手段として機能させるための情報処理プログラムとしたものである。
この発明の一実施形態における情報処理装置の第1の態様によれば、アプリケーションが必要とするデータを効率的に生成することを可能になる。
この発明の一実施形態における情報処理装置の第2の態様によれば、粒度から対応する階層にある各クラスターの情報を簡単に特定することができるため、特定したあとにその他の階層にある各クラスターの情報について検索を続ける必要がなく、目的の情報を短時間で容易に得ることができる。
この発明の一実施形態における情報処理装置の第3の態様によれば、階層構造を成すメタデータツリーに基づき、最上階層側から順に探索を行うだけで簡単に指定の範囲を見つけることができるため、見つけたあとに当該階層よりも下層階側にある各クラスターの情報について検索を続ける必要がなく、目的の情報を短時間で容易に得ることができる。
この発明の一実施形態における情報処理装置の第4の態様によれば、アプリケーションの用件に示されるパラメータの設定に対応するメタデータがメタデータ格納部に無い場合には、整形条件設定手段が特徴抽出手段、階層化整形手段、もしくはメタデータ注釈手段での処理に使用されるパラメータを調整するので、アプリケーションが示す用件に適切に対応することができる。
この発明の一実施形態における情報交換システムの一つの態様によれば、特徴抽出手段、階層化整形手段、およびメタデータ注釈手段が、第2の情報処理装置側に配置されるのではなく、第1の情報処理装置側に配置されるため、第2の情報処理装置は膨大な量の生データを受信して処理する必要がなく、メタデータの受け渡しを行う程度で済むため、第2の情報処理装置の負担を大幅に軽減することができる。
本発明の第1の実施形態に係る情報処理装置の機能構成の一例を示す図。 サーバ内の生データ格納部に格納される生データ群のデータ構造、並びに、クラスター格納部に格納されるクラスターツリーのデータ構造、およびメタデータ格納部に格納されるメタデータツリーのデータ構造の例を説明するための図。 メタデータ検索部がメタデータツリーに対して行うメタデータ検索の例を示す図。 データ整形・注釈時の動作に関わる各種要素を示す図。 データ整形・注釈時の動作に関わる各種要素の間で送受される情報の流れの一例を示す図。 特徴抽出部、階層化整形部、およびメタデータ注釈部によるデータ整形・注釈時の動作の一例を示すフローチャート。 メタデータ検索等の動作に関わる各種要素を示す図。 メタデータ検索時の動作に関わる各種要素の間で送受される情報の流れ(但し、メタデータ格納部に検索対象のメタデータツリーがある場合)の一例を示す図。 メタデータ検索時の動作に関わる各種要素の間で送受される情報の流れ(但し、メタデータ格納部に検索対象のメタデータツリーが無い場合)の一例を示す図。 メタデータ検索部等によるメタデータ検索時の動作の一例を示すフローチャート。 図10のステップS46の具体的な処理を示すフローチャート。 メタデータ格納部に格納される情報の例を示す図。 実施例(1)におけるクラスターツリーおよびメタデータの一例を示す図。 実施例(1)における各種の特徴のヒストグラムの一例を示す図。 実施例(1)におけるクラスター群を表すグラフの一例を示す図。 実施例(1)におけるメタデータを表すオントロジーの一例を示す図。 実施例(1)におけるクラスターツリーおよびメタデータの別の例を示す図。 実施例(1)における各種の特徴のヒストグラムの別の例を示す図。 実施例(1)におけるクラスター群を表すグラフの別の例を示す図。 実施例(2)におけるクラスターツリーおよびメタデータの一例を示す図。 実施例(2)における各種特徴の相関関係の一例を示す図。 実施例(2)におけるクラスター群を表すグラフの一例を示す図。 実施例(2)におけるメタデータを表すオントロジーの一例を示す図。 実施例(2)におけるクラスターツリーの一例を示す図。 実施例(2)における各種特徴の相関関係の別の例を示す図。 実施例(2)におけるクラスター群を表すグラフの別の例を示す図。 本発明の第2の実施形態に係る情報交換システムの機能構成の一例を示す図。
以下、この発明に係わる実施形態を説明する。
[第1の実施形態]
まず、本発明の第1の実施形態について説明する。
(構成)
図1は、本発明の第1の実施形態に係る情報処理装置の機能構成の一例を示す図である。
本実施形態に係る情報処理装置は、例えば他の情報処理装置(図示せず)に搭載されたアプリケーションからの要求に応じてサービスを提供するクラウド上のサーバ100として実現される。
サーバ100は、例えば、外部にある複数のセンサD1~Dm等(例えば、風速センサ、気温センサ、日照時間センサ等)のデバイス群から供給されるセンシングデータ群をデータベースに格納すると共に、外部にあるクライアント側のアプリケーション群A1~Anのいずれかから要求されるデータを要求元のアプリケーションへ送信することができる。
アプリケーション群A1~Anは、例えば、(i)粒度別のデータ分析(例えば、風速状況を示す風速データを分類する数を3、12、・・・と変化させるデータ分析)を行うもの、(ii)複合条件分析(例えば、風速、気温、日照時間を複合させた気象状況に応じた農作物への影響の分析)を行うもの、(iii)条件指定データ検索(例えば、「気温>34度」を指定するデータ検索)等を行うもの、等を含む。
上記サーバ100は、各種の機能として、特徴抽出部1、階層化整形部2、メタデータ注釈部3、メタデータ検索部4、整形条件設定部5、データ保存部10、生データ格納部11、特徴ベクトル格納部12、クラスター格納部13、およびメタデータ格納部14を備える。これらの機能は、プログラムを実行するCPU(Central Processing Unit)等のプロセッサ、およびRAM(Random Access Memory)やROM(Read Only Memory)等の記憶媒体を用いて実現される。
なお、図1に示される機能構成は、これに限定されるものではなく、適宜変形して実施してもよい。また、図1に示される各種の機能は、全部が必須の要素というわけではなく、その一部を省略することが可能である。例えば整形条件設定部5は、後述する整形条件の設定を必要としない環境においては搭載しなくてもよい。
データ保存部10は、センサD1~Dm等から供給される各種のセンシングデータ群(例えば、ある場所における風速や気温、日照時間などの物理量を示すデータ群)を一時的にバッファリングしてから生データ格納部11側へ送り出す機能を有する。
生データ格納部11は、データ保存部10から送られてくるセンシングデータ群(生データ群)を順次入力し、記録媒体に記録し、特徴抽出部1側へ出力する機能を有する。
特徴抽出部1は、センサD1~Dm等から供給されたセンシングデータ群(即ち、生データ格納部11から得られる生データ群)から複数の特徴(例えば、単位時間ごとの風速の最大値や平均値、単位時間ごとの気温の最大値や平均値、1日ごとの日照時間など)を抽出し、当該複数の特徴をベクトルで表現した特徴ベクトル群(例えば、1時間毎の風速の最大値と平均値の情報を含む特徴ベクトル群、当日の複合気象(風速、気温、日照時間)の情報を含む特徴ベクトル群、当日の平均気温の情報を含む特徴ベクトル群など)を生成する機能を有する。
特徴ベクトル格納部12は、特徴抽出部1が生成した特徴ベクトル群を入力し、記録媒体に記録し、階層化整形部2側へ出力する機能を有する。
階層化整形部2は、特徴抽出部1により生成された特徴ベクトル群(即ち、特徴ベクトル格納部12から得られる特徴ベクトル群)に対し、特徴ベクトル間の距離に応じたクラスタリングを行い、当該クラスタリングにより生成されるクラスター群をクラスター間の距離に応じて階層化したクラスターツリーを生成する機能を有する。
クラスター格納部13は、階層化整形部2により生成されたクラスターツリーを入力し、記録媒体に記録し、メタデータ注釈部3側へ出力する機能を有する。
メタデータ注釈部3は、階層化整形部2により生成されたクラスターツリー(即ち、クラスター格納部13から得られるクラスターツリー)に基づき、各クラスターの配下にある情報をまとめた要約(synopsis)に注釈(例えば、createdBefore(データの生成時間の比較), better, higher(データの値の比較)等)を付したメタデータをクラスター毎に備えるメタデータツリーを生成する機能を有する。
各クラスターの要約の中には、例えば、当該クラスターを識別する情報(クラスターの番号など)、最大値、平均値などの特徴、生成時間、データ個数、保存場所、相対セマンティクス等が含まれる。但し、要約に含まれる情報は、階層によって異なる。相対セマンティクスは、同じ階層にある他のクラスターとの相対的な関係を示す情報であり、各種の情報を用いて所定のアルゴリズムにより推論して得られる。この相対セマンティクスは、上述の注釈に相当する。
メタデータ格納部14は、メタデータ注釈部3により生成されたメタデータツリーを入力し、記録媒体に記録すると共に、メタデータ検索部4からの要求に応じて当該メタデータツリーの中のクラスターのメタデータをメタデータ検索部4側へ出力する機能を有する。
メタデータ検索部4は、メタデータ注釈部3により生成されたメタデータツリー(即ち、メタデータ格納部14に格納されているメタデータツリー)の中から、アプリケーションが示す用件に適合するクラスターのメタデータを検索し、当該検索により得られるメタデータを要求元のアプリケーションに提供する機能を有する。
例えば、メタデータ検索部4は、アプリケーションがデータ群の粒度を指定する場合、メタデータツリーの中から、当該粒度に応じた階層に位置するクラスターのメタデータを読み出す。なお、粒度は、クラスターの個数、クラスターの階層、もしくはクラスター間の距離の形で指定される場合がある。
また、メタデータ検索部4は、アプリケーションがデータ群のある物理量の範囲を指定する場合、メタデータツリーを最上階層側から最下階層側へ向けて探索し、各クラスターのメタデータに記録されている物理量の範囲を順次絞り込んでいくことにより該当する範囲が記録されているメタデータを見つけて読み出す。
整形条件設定部5は、メタデータ検索部4から示される用件(即ち、要求元のアプリケーションが示した用件)に応じて、特徴抽出部1、階層化整形部2、もしくはメタデータ注釈部3での処理に使用されるパラメータ群を調整することで、データ群の整形条件を設定変更する機能を有する。
例えば、整形条件設定部5は、特徴抽出部1におけるデータの整形条件を調整する必要がある場合に、特徴抽出部1に対し、特徴抽出パラメータ(対象となるデータの時間間隔(segment)、スパン(TimeSpan)、特徴抽出に使用するアルゴリズム等を指定するパラメータ)の設定を指示する。
また、整形条件設定部5は、階層化整形部2におけるデータの整形条件を調整する必要がある場合に、階層化整形部2に対し、階層化整形パラメータ(クラスター数、クラスターツリー階数、クラスター間距離、階層化整形に使用するアルゴリズム等を指定するパラメータ)の設定を指示する。
また、整形条件設定部5は、メタデータ注釈部3におけるデータの整形条件を調整する必要がある場合に、メタデータ注釈部3に対し、メタデータ注釈パラメータ(注釈カテゴリー(メタデータ注釈の対象となる項目)、メタデータ注釈に使用するアルゴリズム等を指定するパラメータ)の設定を指示する。
なお、生データ格納部11、特徴ベクトル格納部12、クラスター格納部13は、それぞれ、イベント通知を行う機能を有するように構成してもよい。その場合、生データ格納部11、特徴ベクトル格納部12、クラスター格納部13は、それぞれ、新たな情報が届いた(新たな情報を入力して格納した)際には、特徴抽出部1、階層化整形部2、メタデータ注釈部3に対してその旨を示すイベントを送信する。また、特徴抽出部1、階層化整形部2、メタデータ注釈部3は、それぞれ、イベントの通知を受けてから、生データ格納部11、特徴ベクトル格納部12、クラスター格納部13から情報を取りにいく。
一方、生データ格納部11、特徴ベクトル格納部12、クラスター格納部13が、イベント通知機能を有さない構成(例えば、単なるRDB(Relational Database)等の構成)の場合は、生データ格納部11、特徴ベクトル格納部12、クラスター格納部13は、それぞれ、定期的に、生データ格納部11、特徴ベクトル格納部12、クラスター格納部13から情報を取りにいく。
(データ構造)
図2は、サーバ100内の生データ格納部11に格納される生データ群のデータ構造、並びに、クラスター格納部13に格納されるクラスターツリーのデータ構造、およびメタデータ格納部14に格納されるメタデータツリーのデータ構造の例を説明するための図である。
生データ格納部11においては、所定のデータテーブル上に、生データ群が時系列の順に記録される。
例えばセンサD1~Dm等のデバイスをそれぞれ識別する項目として「Device1,…」が配置され、「Device1,…」のそれぞれの配下には、例えばデバイスに関わるサービスもしくはデータの種別を示す項目として「Service1<timeSeries>,…」が配置される。そして、上記「Service1<timeSeries>,…」のそれぞれの配下には、各時点で取得された個々の生データ「Data<timeSeriesInstance>」が取得時刻を示す時刻情報と共に記録される。これら時刻情報付きの生データは、同じ階層に記録される。
一方、クラスター格納部13もしくはメタデータ格納部14においては、整形により階層化されたクラスター群の情報がそれぞれ<container>リソースに保存される。なお、メタデータ格納部14においては、後述する各種の情報がメタデータの形態で記録される。
例えば、上記と同様の項目「Device1,…」が配置され、「Device1,…」のそれぞれの配下には、例えばデバイスに関わるサービスもしくはデータの種別を示す項目として「Service1_hierarchy<Container>,…」が配置され、「Service1_hierarchy<Container>,…」のそれぞれの配下には、クラスター群をそれぞれ識別する項目が、例えば最上階層L1、中間層L2、最下階層L3からなる階層構造の形で配置される。そして、各項目には、クラスターに関する各種の情報を保存するためのコンテナ<container>が設けられる。
最上階層L1には、例えば「Cluster0<container>,…」が配置される。中間階層L2には、例えば「Cluster0-1<container>, Cluster0-1<container>,…」や、これらの下の「Cluster0-1-1<container>,…」や「Cluster0-2-1<container>,…」等が配置される。最下階層L3には、例えば「Cluster0-2-1-1<container>, Cluster0-2-1-2<container>,…」等が配置される。
最上階層L1のクラスターのコンテナ<container>には、すべてのデータ群の統計値(最大値、最小値、平均値など)が記録される。中間階層L2のクラスターのコンテナ<container>には、当該クラスターの配下のデータ群の統計値(最大値、最小値、平均値など)が記録されると共に、所定のアルゴリズムにより推論して得られる相対セマンティクスが記録される。また、最下階層のクラスターのコンテナ<container>には、対応する生データ(例えば、生データ格納部11に格納されている「Data<timeSeriesInstance> 19:15」)のリンク先の情報などが記録される。
(検索方法)
図3は、メタデータ検索部4がメタデータツリーに対して行うメタデータ検索の例を示す図である。
図3(a)は、アプリケーションが用件においてデータの粒度もしくは時間の粒度を示す場合の検索の例を示している。
アプリケーションが例えば「統計グラフ作成」を行うために「時間の粒度」を示した場合は、当該時間粒度に相当するデータ粒度を決定した上で、このデータ粒度に対応する階層を決定する。また、アプリケーションが例えば「粒度別のデータ管理」を行うために「データの粒度」を示した場合は、その「データの粒度」に対応する階層を決定する。対応する階層が例えば3段目であれば、3段目の階層にある各クラスターのコンテナ<container>に保管されている統計値等の情報を読み取る。
図3(a)の例では、階層構造を成すメタデータツリーに基づき、粒度から対応する階層にある各クラスターの情報を簡単に特定することができるため、特定したあとにその他の階層にある各クラスターの情報について検索を続ける必要がなく、目的の情報を短時間で容易に得ることができる。
図3(b)は、アプリケーションが用件において温度範囲を示す場合の検索の一例を示している。
アプリケーションが例えば「条件指定検索」を行うために「気温の範囲」を指定した場合は、メタデータツリーを最上階層側から最下階層側へ向けて探索し、各クラスターのコンテナ<container>に記録されている物理量の範囲を順次絞り込んでいく。指定された気温の範囲が「min:34(気温>34度)」であれば、最上階層側から最下階層側へ向けて「min:34」が見つかるまで探索する。「min:34」が見つかれば、当該コンテナ<container>の情報を読み取る。
図3(b)の例では、階層構造を成すメタデータツリーに基づき、最上階層側から順に探索を行うだけで簡単に指定の範囲を見つけることができるため、見つけたあとに当該階層よりも下層階側にある各クラスターの情報について検索を続ける必要がなく、目的の情報を短時間で容易に得ることができる。
(動作)
次に、図4乃至図11を参照して、サーバ100の動作について説明する。また、動作の説明に際し、図12も適宜参照し、メタデータ格納部14に格納される情報の例についても併せて説明する。
(データ整形・注釈時の動作)
最初に、図4乃至図6を参照して、データ整形・注釈時の動作の一例について説明する。
図4は、データ整形・注釈時の動作に関わる各種要素を示す図である。
図4に示されるように、データ整形・注釈時の動作に関わる各種要素は、センサD1~Dm、生データ格納部11、特徴抽出部1、特徴ベクトル格納部12、階層化整形部2、クラスター格納部13、メタデータ注釈部3、およびメタデータ格納部14である。
図5は、データ整形・注釈時の動作に関わる各種要素の間で送受される情報の流れの一例を示す図である。
図5に示されるように、生データ格納部11には、センサD1~Dm等からセンシングデータ群(生データ群)が送信されてくる。
生データ格納部11は、送信されてきた生データ群を格納すると共に、一定時間ごとに生データ群を特徴抽出部1へ送信する。
特徴抽出部1は、送信されてきた生データ群から特徴ベクトル群を抽出し、特徴ベクトル格納部12へ送信する。特徴ベクトル格納部12は、送信されてきた特徴ベクトル群を格納すると共に、特徴ベクトル群を階層化整形部2へ送信する。階層化整形部2は、送信されてきた特徴ベクトル群に対してクラスタリング等を行い、生成されるクラスター群(クラスターツリー)をクラスター格納部13へ送信する。クラスター格納部13は、送信されてきたクラスター群を格納すると共に、当該クラスター群をメタデータ注釈部3へ送信する。メタデータ注釈部3は、送信されてきたクラスター群に基づき、クラスターごとに推論による注釈を生成し、注釈を含むクラスター群のメタデータ(メタデータツリー)をメタデータ格納部14へ送信する。メタデータ格納部14は、送信されてきたメタデータを格納する。
図6は、特徴抽出部1、階層化整形部2、およびメタデータ注釈部3によるデータ整形・注釈時の動作の一例を示すフローチャートである。
図6に示されるように、特徴抽出部1は、生データ群を取得する(S11)。
ここで、特徴抽出部1は、生データ格納部11で一定時間(T)溜まったデータ群(時系列データ)を、特定の時間間隔(Segment)でn個に分割する(S12)。
次に、特徴抽出部1は、予め設定された特徴抽出アルゴリズム(Algorithm1)により、d,…,dの特徴値を逐一抽出する(S13)。
特徴抽出アルゴリズム(Algorithm1)には、例えばPAA(Piecewise Aggregate Approximation)、Statics、SAX(Symbolic Aggregate Approximation)等を適用してもよい。また、特徴抽出対象が画像(例えばイメージセンサー等から送られてきた画像)である場合には、SURF(Speeded Up Robust Features)やSIFT(Scale-Invariant Feature Transform)等を用いるアルゴリズムを適用してもよい。
次に、特徴抽出部1は、予め設定された例えばm個のデータ種類(例えば、温度、湿度、日照時間などの各種特徴に相当)の全部に対して特徴抽出を行ったか否かを判定する(S14)。全部に対して特徴抽出を行っていなければ(S14のNO)、ステップS12からの処理を繰り返す。一方、全部に対して特徴抽出を行っていれば(S14のYES)、各時間間隔(Segment)に対応する複数のデータの特徴を組み合わせて特徴ベクトル群を生成する(S15)。なお、その際にはデータ群の計測時間、保存場所等の要約と抽出した特徴に所定の重みを付けて特徴ベクトル群を生成するようにしてもよい。特徴抽出部1は、生成した特徴ベクトル群を特徴ベクトル格納部12に格納する(S16)。
階層化整形部2は、特徴ベクトル格納部12から特徴ベクトル群を取得する(S21)。
ここで、階層化整形部2は、予め設定された整形アルゴリズム(Algorithm2)を用いて、特徴ベクトル群(FT)に対して整形を行い(S22)、クラスター群(クラスターツリー)を生成し、クラスター格納部13に格納する(S23)。
整形アルゴリズム(Algorithm2)には、例えば、最近傍法(Nearest Neighbor Chain)を適用してもよい。その際、ウォード法(Ward method)をクラスター間の距離を定義する距離関数に適用してもよい。
メタデータ注釈部3は、クラスター格納部13からクラスター群(クラスターツリー)を取得する(S31)。
ここで、メタデータ注釈部3は、整形結果であるクラスターツリーの各ノード(各階層の各クラスター)に対し、予め設定されているカテゴリー(例えば、最大値、最小値、平均値などの項目)のメタデータ「要約(synopsis)」に対して注釈を行う(S32)。
次に、メタデータ注釈部3は、予め設定されている例えばX個のカテゴリーの全部について注釈を付したか否かを判定する(S33)。全部について注釈を行っていなければ(S33のNO)、ステップS32からの処理を繰り返す。一方、全部について注釈を行っていれば(S33のYES)、注釈したメタデータ群(メタデータツリー)をメタデータ格納部14に格納する(S34)。
ここで、図12(a)に、メタデータ格納部14に格納されるメタデータ群の一例を示す。
メタデータ格納部14には、「メタデータツリー」ごとに、各クラスターの「識別情報」(Cluster1, Cluster2, Cluster11, Cluster12,…)と、各クラスターに対応する「メタデータ注釈カテゴリー」とが記録される。「メタデータ注釈カテゴリー」には、最大値、最小値、平均などの統計値や、相対Concept(「相対セマンティクス」に相当)などが含まれる。各行の情報は、それぞれ、後述する要約(synopsis, synopsis,…)となる。
(メタデータ検索時の動作)
次に、図7乃至図11を参照して、メタデータ検索時の動作の一例について説明する。
図7は、メタデータ検索等の動作に関わる各種要素を示す図である。
図7に示されるように、メタデータ検索時の動作に関わる各種要素は、アプリケーション群A1~An、メタデータ検索部4、およびメタデータ格納部14である。なお、整形条件設定を要する場合は、さらに、整形条件設定部5、特徴抽出部1、階層化整形部2、メタデータ注釈部3も当該動作に関わる。
図8は、メタデータ検索時の動作に関わる各種要素の間で送受される情報の流れ(但し、メタデータ格納部14に検索対象のメタデータツリーがある場合)の一例を示す図である。
図8に示されるように、メタデータ検索部4には、アプリケーション群A1~Anのいずれかから要求(リクエスト)が送信されてくる。
メタデータ検索部4は、送信されてきたリクエストに対して所定の変換処理を施し、パラメータを抽出する。
次に、メタデータ検索部4は、抽出したパラメータ(クラスターパラメータ)をメタデータ格納部14へ送信する。
これにより、メタデータ格納部14は、当該クラスターパラメータに対応するクラスター群の要約(推論した注釈あり)のメタデータを読み出す。
メタデータ検索部4から読み出されたクラスター群の要約(推論した注釈あり)のメタデータを取得し、要求元のアプリケーションに送信する。
図9は、メタデータ検索時の動作に関わる各種要素の間で送受される情報の流れ(但し、メタデータ格納部14に検索対象のメタデータツリーが無い場合)の一例を示す図である。
図9に示されるように、メタデータ検索部4には、アプリケーション群A1~Anのいずれかから要求(リクエスト)が送信されてくる。
メタデータ検索部4は、送信されてきたリクエストに対して所定の変換処理を施し、パラメータを抽出する。
次に、メタデータ検索部4は、抽出したパラメータをメタデータ格納部14へ送信しても、当該パラメータに対応するクラスター群の要約(推論した注釈あり)のメタデータを読み出せない場合には、当該パラメータ(前述の特徴抽出パラメータ、階層化整形パラメータ、もしくは注釈カテゴリーパラメータ)の設定要求を整形条件設定部5へ送信する。
整形条件設定部5は、特徴抽出パラメータの設定要求が送信されてきた場合、特徴抽出部1へ特徴抽出パラメータを送信する。
特徴抽出部1は、特徴抽出パラメータが送信されてきた場合、当該特徴抽出パラメータの設定を実施する。
また、整形条件設定部5は、階層化整形パラメータの設定要求が送信されてきた場合、階層化整形部2へ階層化整形パラメータを送信する。
階層化整形部2は、階層化整形パラメータが送信されてきた場合、当該階層化整形パラメータの設定を実施する。
また、整形条件設定部5は、注釈カテゴリーパラメータの設定要求が送信されてきた場合、メタデータ注釈部3へ注釈カテゴリーパラメータを送信する。
メタデータ注釈部3は、メタデータ注釈パラメータが送信されてきた場合、当該メタデータ注釈パラメータの設定を実施する。
図10は、メタデータ検索部4等によるメタデータ検索時の動作の一例を示すフローチャートである。
図10に示されるように、メタデータ検索部4は、いずれかのアプリケーションからの用件を受け取ると、所定のパラメータ群Parasへの変換を行う(S41)。これにより、特徴抽出パラメータ、階層化整形パラメータ、メタデータ注釈パラメータが得られる。
次に、メタデータ検索部4は、メタデータ格納部14に対し、特徴抽出パラメータ、階層化整形パラメータ、メタデータ注釈パラメータのそれぞれに対応するメタデータツリーがあるか否かを問い合わせる(S42)。
特徴抽出パラメータに対応するメタデータツリーが無いとの応答を得た場合(S43のNO)、メタデータ検索部4は、メタデータ格納部14に対し、対応する新たなツリーの収納部およびツリー番号の新規作成を要求し(S43A)、整形条件設定部5に対し、特徴抽出パラメータの設定を要求する。整形条件設定部5は、メタデータ検索部4から特徴抽出パラメータの設定を要求されると、特徴抽出部1に特徴抽出パラメータの設定を指示する(S51)。
一方、ステップS43において、特徴抽出パラメータに対応するメタデータツリーがあるとの応答を得ても(S43のYES)、階層化整形パラメータに対応するメタデータツリーが無いとの応答を得た場合(S44のNO)、メタデータ検索部4は、メタデータ格納部14に対し、対応する新たなツリーの収納部およびツリー番号の新規作成を要求し(S44A)、整形条件設定部5に対し、階層化整形パラメータの設定を要求する。整形条件設定部5は、メタデータ検索部4から階層化整形パラメータの設定を要求されると、階層化整形部2に階層化整形パラメータの設定を指示する(S52)。
一方、ステップS44において、階層化整形パラメータに対応するメタデータツリーがあるとの応答を得ても(S44のYES)、メタデータ注釈パラメータに対応するメタデータツリーが無いとの応答を得た場合(S45のNO)、メタデータ検索部4は、整形条件設定部5に対し、注釈カテゴリーパラメータの設定を要求する。整形条件設定部5は、メタデータ検索部4から注釈カテゴリーパラメータの設定を要求されると、メタデータ注釈部3に注釈カテゴリーパラメータの設定を指示する(S53)。
一方、ステップS45において、メタデータ注釈パラメータに対応するメタデータツリーがあるとの応答を得た場合(S45のYES)、ステップS46へ進む。
ステップS46において、メタデータ検索部4は、メタデータツリーから、要求元のアプリケーションが示す用件に適合するクラスターの要約(synopsis)を含むメタデータを取得し、設定したパラメータの情報と一緒に、RDF(Resource Description Framework)フォーマットの図式上に書き出し、それを要求元のアプリケーションへ送信する。具体的には、図11に示されるステップS91~S93の処理を行い、一連の処理を終了する。
特徴抽出部1は、整形条件設定部5から特徴抽出パラメータの設定を指示されると、前述のステップS11~S16と同じ処理を行う(S61)。整形条件設定部5は、ステップS61の処理が行われた後に、階層化整形部2に階層化整形パラメータの設定を指示する(S52)。
階層化整形部2は、整形条件設定部5から階層化整形パラメータの設定を指示されると、前述のステップS21~S23と同じ処理を行う(S71)。整形条件設定部5は、ステップS71の処理が行われた後に、メタデータ注釈部3に注釈カテゴリーパラメータの設定を指示する(S53)。
メタデータ注釈部3は、整形条件設定部5から注釈カテゴリーパラメータの設定を指示されると、前述のステップS31~S34と同じ処理を行い(S81)、最後に注釈結果をアプリケーションに渡して、一連の処理を終了する。
ここで、図12(b)に、メタデータ検索部4および整形条件設定部5を通じて各種パラメータの設定(整形条件設定)が実施された場合にメタデータ格納部14に記録される情報の一例を示す。
整形記録は、毎回新たなツリーが作成されるごとにメタデータ格納部14に保管される。この整形記録には、ツリーを識別する情報(ツリーの番号など)、特徴抽出用パラメータ(スパン(TimeSpan)時間間隔(segment)、アルゴリズム(Algorithm)の情報など)、階層化形成用パラメータ(アルゴリズム(Algorithm)の情報など)が含まれる。
次に、図11を参照して、図10のステップS46の具体的な処理について説明する。
まず、メタデータ検索部4は、パラメータ群Parasを指定し、メタデータ格納部14から、図12(a)に示されるようなクラスターノード(h個)の要約(synopsis, synopsis,…, synopsis)を取得する(S91)。ここでは、当該要約をRDF(1)と称す。
次に、メタデータ検索部4は、synopsisごとに、RDFノード(当該要約をRDF(2)と称す。)を作成し、さらに、システム初期設定した部分のRDF(当該要約をRDF(0)と称す。)と連結させる(S92)。
次に、メタデータ検索部4は、取得したクラスターの生成時に使用したパラメータとアルゴリズムのRDFノード(当該要約をRDF(3)と称す。)を例えば図12(b)に示されるような整形記録を用いて作成し、これとRDF(0)とを連結させる。最後に、メタデータ検索部4は、RDF(0), RDF(1), RDF(2), RDF(3)が連結されたメタデータを要求元のアプリケーションに送信する(S93)。
このように、アプリケーションの用件に示されるパラメータの設定に対応するメタデータがメタデータ格納部14に無い場合には、整形条件設定部5が特徴抽出部1、階層化整形部2、もしくはメタデータ注釈部3での処理に使用されるパラメータを調整するので、アプリケーションが示す用件に適切に対応することができる。
(実施例(1))
次に、図13乃至図17Bを参照して、本実施形態における実施例(1)について説明する。この実施例(1)では、「風速データ」を例にとって説明する。
・センシングデータの入力と特徴ベクトル群の生成について
生データは、時系列のセンシングデータである。本例では、秒ごとに取得した風速センシングデータの1年分(約15,800,000個)を扱う。
また、本例では、特徴抽出部1において、同質のデータの特徴「毎日の(風速データ東西方向最大(Max)|風速南北方向最大(Max2)|平均(Average)」を組み合わせて、クラスタリング用の特徴ベクトル群(366個)を生成する。これにより、データ量を大幅に低減させる。
・アプリケーションの用件について
アプリケーション1の用件:風速状況を3段階に分けることであるものとする(この場合、例えば、クラスター群をcluster1:「高」、cluster2:「中」、cluster3:「低」に分ける必要があるものとする)。
アプリケーション2の用件:クラスター間の距離を所定値に指定すること(クラスター間距離(Ward Distance)を例えば「10」にすること)であるものとする(この場合、クラスター群を例えばcluster1~cluster6に分ける必要があるものとする)。
・クラスタリングとメタデータの付与について(アプリケーション1の用件に対応)
特徴抽出部1により生成された特徴ベクトル群に対し、階層化整形部2により階層化クラスタリングを行うと、その結果は図13の(a)のようにツリー状になる。なお、図13の(a)において、横軸は特徴ベクトル群(366個のエレメント)を表し、縦軸はクラスター間の距離を表す。アプリケーション1の用件に対し、図13(a)の破線の位置のようにツリーを3つのクラスター(R1, R2, R3)に分ける。
この場合、メタデータ注釈部3により、図13(b)のようなメタデータを各クラスターの情報として付与する。なお、図13(b)において、Range1, Range2, Range3は、3つに分けられた領域を示す。各領域に対し、エレメント数(Element Count)、全距離(Total Distances)、要約ベクトル(Synopsis Vector)を記録する。このような情報により、クラスターツリーの各ノードに注釈をカテゴリーごとに作成してもよい。
アプリケーション1の用件に応じて分けられたクラスター群の分布は、図14Aおよび図14Bのように表すことができる。
図14Aは、Average、Max、Max2のそれぞれのヒストグラムである。なお、図14Aにおいて、横軸はそれぞれAverage、Max、Max2の値を表し、縦軸はそれぞれの度数を表している。R1, R2, R3は、それぞれ、Range1, Range2, Range3のクラスター群に相当する。
図14Bは、3つに分けられた領域Range1, Range2, Range3のクラスター群の分布を、Average、Max、Max2の3軸からなる3次元座標系上に表したグラフの例である。なお、図14Bにおいて、4種類のグラフは、それぞれ見る方向を変えたものである。
アプリケーション1側では、受信するメタデータの基づき、図14Aおよび図14Bのようなグラフを再現することが可能である。
・メタデータの構成について(アプリケーション1の用件に対応)
最後に、メタデータ検索部4により、メタデータをRDFの形でアプリケーション1に送信する。例えば図15のようなオントロジーを作成した上で、メタデータをアプリケーション1に送信する。なお、図15において、P0, P1, P2, P3は、それぞれ、前述したRDF(0), RDF(1), RDF(2), RDF(3)に相当する。
P0は、システム初期設定して、メタデータ格納部14に保管したものである。P1は、メタデータ格納部14から取得したものである。P2は、メタデータ注釈部3で作成したものである。P3は、メタデータ検索部4および整形条件設定部5で設定し、メタデータ格納部14に保管したものである。
・クラスタリングとメタデータの付与について(アプリケーション2の用件に対応)
アプリケーション2に対しても、図16(a)の通り、アプリケーション1の場合と同じクラスタリングを利用する。但し、図16(a)の破線の位置のように、6つのクラスター群(R1~R6)に分ける。
この場合、メタデータ注釈部3により、図16(b)のようなメタデータを各クラスターの情報として付与する。なお、図16(b)において、Range1~Range6は、6つに分けられた領域を示す。記録する項目は図13(b)と同じである。
アプリケーション2の用件に応じて分けられたクラスター群の分布は、図17Aおよび図17Bのように表すことができる。
図17Aは、Average、Max、Max2のそれぞれのヒストグラムである。R1~R6は、それぞれ、Range1~Range6のクラスター群に相当する。
図17Bは、6つに分けられた領域Range1~Range6のクラスター群の分布を、Average、Max、Max2の3軸からなる3次元座標系上に表したグラフの例である。なお、図17Bにおいて、4種類のグラフは、それぞれ見る方向を変えたものである。
アプリケーション2側では、受信するメタデータの基づき、図17Aおよび図17Bのようなグラフを再現することが可能である。
(実施例(2))
次に、図18乃至図22Bを参照して、本実施形態における実施例(2)について説明する。この実施例(2)では、「風速データ」、「気温データ」、「日照時間データ」を混合させた例について説明する。
・センシングデータの入力と特徴ベクトル群の生成について
生データは、時系列のセンシングデータである。本例では、秒ごとに取得した風速・気温センシングデータの1年分、および毎日の日照時間データの1年分を扱う。
実施例(1)と違い、本例では、上記の3種類の異質データの特徴「毎日の風速平均、気温平均、日照時間」を組み合わせて、1年の中の毎日の気象状況を表す特徴ベクトル群を生成する。これにより、データ量を大幅に低減させる。
・アプリケーションの用件について
アプリケーション3の用件:気象状況を2部類に分けることであるものとする(この場合、クラスター群を例えば、cluster1、cluster2に分ける必要があるものとする)。
アプリケーション4の用件:特定の2つの日(例えば、5月1日と6月2日)が1つの部類に入っているものとする(この場合、クラスター群を例えばcluster1~cluster12に分ける必要があるものとする)。
・クラスタリングとメタデータの付与について(アプリケーション3の用件に対応)
特徴抽出部1により生成された特徴ベクトル群に対し、階層化整形部2により階層化クラスタリングを行うと、その結果は図18の(a)のようにツリー状になる。なお、図18の(a)において、横軸は特徴ベクトル群(360個のエレメント)を表し、縦軸はクラスター間の距離を表す。アプリケーション3の用件に対し、図18(a)の破線の位置のようにツリーを2つのクラスター(C1, C2)に分ける。
この場合、メタデータ注釈部3により、図18(b)のようなメタデータを各クラスターの情報として付与する。なお、図18(b)において、Condition1, Condition2は、2つに分けられた領域を示す。各領域に対し、エレメント数(Element Count)、全距離(Total Distances)、要約ベクトル(Synopsis Vector)を記録する。このような情報により、クラスターツリーの各ノードに注釈をカテゴリーごとに作成してもよい。
アプリケーション3の用件に応じて分けられたクラスター群の分布は、図19Aおよび図19Bのように表すことができる。
図19Aは、気温(Temperature)、風速(Wind)、日照時間(Sunny)のそれぞれの相関図である。なお、図19Aにおいて、C1, C2は、それぞれ、Condition1, Condition2のクラスター群に相当する。
図19Bは、2つに分けられた領域Condition1, Condition2のクラスター群の分布を、Temperature, Wind, Sunnyの3軸からなる3次元座標系上に表したグラフの例である。
アプリケーション3側では、受信するメタデータの基づき、図19Aおよび図19Bのようなグラフを再現することが可能である。
・メタデータの構成について(アプリケーション1の用件に対応)
最後に、メタデータ検索部4により、メタデータをRDFの形でアプリケーション3に送信する。例えば図20のようなオントロジーを作成した上で、メタデータをアプリケーション3に送信する。なお、図20において、Q0, Q1, Q2, Q3は、それぞれ、前述したRDF(0), RDF(1), RDF(2), RDF(3)に相当する。
Q0は、システム初期設定して、メタデータ格納部14に保管したものである。Q1は、メタデータ格納部14から取得したものである。Q2は、メタデータ注釈部3で作成したものである。Q3は、メタデータ検索部4および整形条件設定部5で設定し、メタデータ格納部14に保管したものである。
・クラスタリングとメタデータの付与について(アプリケーション4の用件に対応)
アプリケーション4に対しても、図21の通り、アプリケーション3の場合と同じクラスタリングを利用する。但し、図21の破線の位置のように、12個のクラスター群(C1~C12)に分ける。
アプリケーション4の用件に応じて分けられたクラスター群の分布は、図22Aおよび図22Bのように表すことができる。
図22Aは、気温(Temperature)、風速(Wind)、日照時間(Sunny)のそれぞれの相関図である。なお、図22Aにおいて、C1~C12は、それぞれ、Condition1~Condition12のクラスター群に相当する。
図22Bは、12個に分けられた領域Condition1~Condition12のクラスター群の分布を、Temperature, Wind, Sunnyの3軸からなる3次元座標系上に表したグラフの例である。
アプリケーション4側では、受信するメタデータの基づき、図22Aおよび図22Bのようなグラフを再現することが可能である。
第1の実施形態によれば、サーバ側で実行される階層化データ整形により、IoTデータを利用する多様なアプリケーションの要求に対して都度計算を行うことなく、アプリケーションが必要とする情報を提供することができるようになる。したがって、アプリケーション側では全てのIoTデータを受信して処理をする必要がなくなるため、処理の軽減が期待できる。また、アプリケーションに必要なデータのみをサーバ側からアプリケーションに提供するため、通信コストやトラヒック量を大幅に抑えることができる。これにより、今後さらにIoTデータを利用するアプリケーションや大量なデバイスが存在する環境においても、効率的かつ安価にデータを提供できるようになる。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。以下では、第1の実施形態と共通する部分の説明を省略し、異なる部分を中心に説明する。
(構成)
図23は、本発明の第2の実施形態に係る情報交換システムの機能構成の一例を示す図である。なお、図23では、図1と共通する要素に同一の符号を付している。
本実施形態に係る情報交換システムは、例えば他の情報処理装置(図示せず)に搭載されたアプリケーションからの要求に応じてサービスを提供するクラウド上のクラウドサーバ100-0と、センサD1~Dm等のデバイス群から供給されるセンシングデータ群を取得可能な各所に設置される1台のエッジサーバ100-1もしくは複数のエッジサーバ100-1,…,100kとの組み合わせで成る。クラウドサーバ100-0と、エッジサーバ100-1,…,100kとは、相互に通信可能に接続され、相互に情報交換することが可能である。
図23に示されるように、特徴抽出部1、階層化整形部2、およびメタデータ注釈部3は、エッジサーバ100-1,…,100k側にそれぞれ配置される。一方、メタデータ検索部4および整形条件設定部5は、クラウドサーバ100-0側に設置される。特徴抽出部1、階層化整形部2、メタデータ注釈部3、メタデータ検索部4、および整形条件設定部5のそれぞれの機能や動作は、第1の実施形態の場合と同様である。
第2の実施形態によれば、特徴抽出部1、階層化整形部2、およびメタデータ注釈部3が、クラウド上のクラウドサーバ100-0側に配置されるのではなく、エッジサーバ100-1,…,100k側に配置されるため、クラウドサーバ100-0は膨大な量の生データを受信して処理する必要がなく、メタデータの受け渡しを行う程度で済む。そのため、クラウドサーバ100-0側の負担を大幅に軽減し、クラウド層の負荷の軽減に寄与することと、エッジとクラウド間のトラヒック量(コスト)の削減ができる。
以上詳述したように、本発明の各実施形態によれば、アプリケーションが必要とするデータを効率的に生成することを可能になる。
なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
また、各実施形態に記載した手法は、計算機(コンピュータ)に実行させることができるプログラム(ソフトウェア手段)として、例えば磁気ディスク(フロッピー(登録商標)ディスク、ハードディスク等)、光ディスク(CD-ROM、DVD、MO等)、半導体メモリ(ROM、RAM、フラッシュメモリ等)等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウェア手段(実行プログラムのみならずテーブルやデータ構造も含む)を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウェア手段を構築し、このソフトウェア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。
1…特徴抽出部、2…階層化整形部、3…メタデータ注釈部、4…メタデータ検索部、5…整形条件設定部、10…データ保存部、11…生データ格納部、12…特徴ベクトル格納部、13…クラスター格納部、14…メタデータ格納部、100…サーバ、100-0…クラウドサーバ、100-1~100-k…エッジサーバ、A1~An…アプリケーション群、D1~Dm…センサ。

Claims (7)

  1. デバイスから供給されるデータ群から複数の特徴を抽出し、当該複数の特徴をベクトルで表現した特徴ベクトル群を生成する特徴抽出手段と、
    前記特徴抽出手段により生成された特徴ベクトル群に対し、特徴ベクトル間の距離に応じたクラスタリングを行い、当該クラスタリングにより生成されるクラスター群をクラスター間の距離に応じて階層化したクラスターツリーを生成する階層化整形手段と、
    メタデータをクラスター毎に備えるメタデータツリーを生成するメタデータ注釈手段であって、前記階層化整形手段により生成されたクラスターツリーに基づき、各クラスターの配下にある情報をまとめた要約に注釈を付したメタデータをクラスター毎に備えるメタデータツリーを生成するメタデータ注釈手段と、
    メタデータをアプリケーションに提供するメタデータ検索手段であって、前記メタデータ注釈手段により生成されたメタデータツリーの中から、前記アプリケーションが示す用件に適合するクラスターのメタデータを検索し、当該検索により得られるメタデータを前記アプリケーションに提供するメタデータ検索手段と、
    を具備する情報処理装置。
  2. 前記メタデータ検索手段は、
    前記アプリケーションが用件としてデータ群の粒度を示す場合、前記メタデータツリーの中から、当該粒度に応じた階層に位置するクラスターのメタデータを読み出す、
    請求項1に記載の情報処理装置。
  3. 前記メタデータ検索手段は、
    前記アプリケーションが用件としてデータ群のある物理量の範囲を指定する場合、前記メタデータツリーを最上階層側から最下階層側へ向けて探索し、各クラスターのメタデータに記録されている物理量の範囲を順次絞り込んでいくことにより該当する範囲が記録されているメタデータを見つけて読み出す、
    請求項1に記載の情報処理装置。
  4. 前記アプリケーションが示す用件に応じて、前記特徴抽出手段、前記階層化整形手段、または前記メタデータ注釈手段での処理に使用されるパラメータを調整する整形条件設定手段をさらに具備する、
    請求項1乃至3のいずれか1項に記載の情報処理装置。
  5. デバイスから供給されるデータ群を格納する1つまたは複数の第1の情報処理装置と、アプリケーションからの要求に応じる第2の情報処理装置との間で情報を交換する情報交換システムであって、
    前記1つまたは複数の第1の情報処理装置の各々は、
    デバイスから供給されるデータ群から複数の特徴を抽出し、当該複数の特徴をベクトルで表現した特徴ベクトル群を生成する特徴抽出手段と、
    前記特徴抽出手段により生成された特徴ベクトル群に対し、特徴ベクトル間の距離に応じたクラスタリングを行い、当該クラスタリングにより生成されるクラスター群をクラスター間の距離に応じて階層化したクラスターツリーを生成する階層化整形手段と、
    メタデータをクラスター毎に備えるメタデータツリーを生成するメタデータ注釈手段であって、前記階層化整形手段により生成されたクラスターツリーに基づき、各クラスターの配下にある情報をまとめた要約に注釈を付したメタデータをクラスター毎に備えるメタデータツリーを生成するメタデータ注釈手段と、
    を備え、
    前記第2の情報処理装置は、
    メタデータを前記アプリケーションに提供するメタデータ検索手段であって、前記1つまたは複数の第1の情報処理装置のいずれかに対し、前記メタデータ注釈手段により生成されたメタデータツリーの中から、前記アプリケーションが示す用件に適合するクラスターのメタデータを検索することを要求し、当該検索により得られるメタデータを前記アプリケーションに提供するメタデータ検索手段を備える、
    情報交換システム。
  6. プログラムを実行するプロセッサ及び記憶媒体を備えるサーバにより、
    デバイスから供給されるデータ群から複数の特徴を抽出し、当該複数の特徴をベクトルで表現した特徴ベクトル群を生成して前記記憶媒体に記憶し
    前記生成して前記記憶媒体に記憶した特徴ベクトル群を特徴ベクトル間の距離に応じて複数のクラスターに分類し、当該複数のクラスターをクラスター間の距離に応じて階層化したクラスターツリーを生成して前記記憶媒体に記憶し
    前記生成して前記記憶媒体に記憶したクラスターツリーに基づき、各クラスターの配下にある情報をまとめた要約に注釈を付したメタデータをクラスター毎に備えるメタデータツリーを生成して前記記憶媒体に記憶し
    前記生成して前記記憶媒体に記憶したメタデータツリーの中から、アプリケーションが示す用件に適合するクラスターのメタデータを検索し、当該検索により得られるメタデータを前記アプリケーションに提供する、
    ことを含む情報処理方法。
  7. 請求項1に記載の情報処理装置の一部分として動作するコンピュータに用いられるプログラムであって、
    前記コンピュータを、
    前記特徴抽出手段、前記階層化整形手段、前記メタデータ注釈手段、および前記メタデータ検索手段
    として機能させるための情報処理プログラム。
JP2018116727A 2018-06-20 2018-06-20 情報処理装置、情報交換システム、情報処理方法および情報処理プログラム Active JP7119630B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018116727A JP7119630B2 (ja) 2018-06-20 2018-06-20 情報処理装置、情報交換システム、情報処理方法および情報処理プログラム
PCT/JP2019/022723 WO2019244671A1 (ja) 2018-06-20 2019-06-07 情報処理装置、情報交換システム、情報処理方法および情報処理プログラム
US17/252,394 US20210263969A1 (en) 2018-06-20 2019-06-07 Information processing apparatus, information exchange system, information processing method, and information processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018116727A JP7119630B2 (ja) 2018-06-20 2018-06-20 情報処理装置、情報交換システム、情報処理方法および情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2019219906A JP2019219906A (ja) 2019-12-26
JP7119630B2 true JP7119630B2 (ja) 2022-08-17

Family

ID=68983951

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018116727A Active JP7119630B2 (ja) 2018-06-20 2018-06-20 情報処理装置、情報交換システム、情報処理方法および情報処理プログラム

Country Status (3)

Country Link
US (1) US20210263969A1 (ja)
JP (1) JP7119630B2 (ja)
WO (1) WO2019244671A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11748418B2 (en) 2018-07-31 2023-09-05 Marvell Asia Pte, Ltd. Storage aggregator controller with metadata computation control
CN114730324A (zh) * 2019-12-13 2022-07-08 马维尔亚洲私人有限公司 具有有效率的元数据生成和导出的汽车数据处理系统
US20230222713A1 (en) * 2020-06-15 2023-07-13 Nippon Telegraph And Telephone Corporation Display control device and display control method
US11762956B2 (en) * 2021-02-05 2023-09-19 Oracle International Corporation Adaptive pattern recognition for a sensor network
CN113127058B (zh) * 2021-04-28 2024-01-16 北京百度网讯科技有限公司 数据标注方法、相关装置及计算机程序产品
US12058269B2 (en) * 2021-12-16 2024-08-06 Verizon Patent And Licensing Inc. Systems and methods for providing secure internet of things data notifications using blockchain
LU501875B1 (en) * 2022-04-20 2023-10-20 Microsoft Technology Licensing Llc Managed entity configurator anomaly detection
CN116257657B (zh) * 2022-12-30 2024-02-06 北京瑞莱智慧科技有限公司 数据处理方法、数据查询方法、相关装置及存储介质
US20250182145A1 (en) * 2023-11-30 2025-06-05 Lennar Corporation Interactive tool for machine learning-based market forecasting for home builder communities
US20250182149A1 (en) * 2023-11-30 2025-06-05 Lennar Corporation Interactive tool for machine learning-based home comparison and multi-dimensional market analysis
CN119920367B (zh) * 2025-04-01 2025-07-15 中煤科工集团信息技术有限公司 瓦斯数据异常检测方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007334402A (ja) 2006-06-12 2007-12-27 Hitachi Ltd クラスタリングされたベクトルデータを検索するサーバ、システム及び方法
JP2008250605A (ja) 2007-03-30 2008-10-16 Sony Corp コンテンツ管理装置、画像表示装置、撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラム
JP2009277136A (ja) 2008-05-16 2009-11-26 Mitsubishi Electric Corp 類似度分析評価システム
JP2013003597A (ja) 2011-06-10 2013-01-07 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP2013073256A (ja) 2011-09-26 2013-04-22 Osaka Prefecture Univ 近似最近傍探索方法、最近傍探索プログラムおよび装置
US20140229473A1 (en) 2013-02-12 2014-08-14 Microsoft Corporation Determining documents that match a query
JP2015197741A (ja) 2014-03-31 2015-11-09 Kddi株式会社 消費電力量に基づいて生活パターンを推定する装置、プログラム及び方法
WO2017094377A1 (ja) 2015-11-30 2017-06-08 日本電信電話株式会社 分類方法、分類装置および分類プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8560531B2 (en) * 2011-07-01 2013-10-15 International Business Machines Corporation Search tool that utilizes scientific metadata matched against user-entered parameters
KR101484186B1 (ko) * 2013-08-30 2015-01-21 한국전자통신연구원 보안 관제 데이터의 검색을 위한 인덱싱 장치 및 방법
US9507847B2 (en) * 2013-09-27 2016-11-29 International Business Machines Corporation Automatic log sensor tuning
US10635724B2 (en) * 2015-01-30 2020-04-28 International Business Machines Corporation Analysis of data utilization
US11315198B2 (en) * 2016-07-29 2022-04-26 The Bureau Of National Affairs, Inc. Data analysis engine

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007334402A (ja) 2006-06-12 2007-12-27 Hitachi Ltd クラスタリングされたベクトルデータを検索するサーバ、システム及び方法
JP2008250605A (ja) 2007-03-30 2008-10-16 Sony Corp コンテンツ管理装置、画像表示装置、撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラム
JP2009277136A (ja) 2008-05-16 2009-11-26 Mitsubishi Electric Corp 類似度分析評価システム
JP2013003597A (ja) 2011-06-10 2013-01-07 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP2013073256A (ja) 2011-09-26 2013-04-22 Osaka Prefecture Univ 近似最近傍探索方法、最近傍探索プログラムおよび装置
US20140229473A1 (en) 2013-02-12 2014-08-14 Microsoft Corporation Determining documents that match a query
JP2015197741A (ja) 2014-03-31 2015-11-09 Kddi株式会社 消費電力量に基づいて生活パターンを推定する装置、プログラム及び方法
WO2017094377A1 (ja) 2015-11-30 2017-06-08 日本電信電話株式会社 分類方法、分類装置および分類プログラム

Also Published As

Publication number Publication date
JP2019219906A (ja) 2019-12-26
WO2019244671A1 (ja) 2019-12-26
US20210263969A1 (en) 2021-08-26

Similar Documents

Publication Publication Date Title
JP7119630B2 (ja) 情報処理装置、情報交換システム、情報処理方法および情報処理プログラム
Chee et al. Algorithms for frequent itemset mining: a literature review
US11888702B2 (en) Intelligent analytic cloud provisioning
CN103023970B (zh) 一种物联网海量数据存储方法及系统
JP5749279B2 (ja) アイテム関連付けのための結合埋込
CN108460121B (zh) 智慧城市中时空数据小文件合并方法
CN118964496A (zh) 基于法律知识服务平台的数据储存方法、系统及存储介质
CN103488673A (zh) 用于执行调和处理的方法、控制器、程序及数据存储系统
Malensek et al. Fast, ad hoc query evaluations over multidimensional geospatial datasets
Anandhi et al. Prediction of user’s type and navigation pattern using clustering and classification algorithms
Li et al. Parallelizing skyline queries over uncertain data streams with sliding window partitioning and grid index
JP5155025B2 (ja) 類似データ検索システム
Mythily et al. Clustering models for data stream mining
US20240378653A1 (en) Data extraction and data ingestion for executing search requests across multiple data sources
CN119938791A (zh) 一种分布式医疗大数据存储方法
CN105007314A (zh) 面向海量读者阅读数据的大数据处理系统
CN120296041A (zh) 基于缓存的数据查询解析结果优化方法及系统
CN103412903A (zh) 基于兴趣对象预测的物联网实时搜索方法及系统
Zhang The application of e-commerce recommendation system in smart cities based on big data and cloud computing
US20190243914A1 (en) Parallel query processing in a distributed analytics architecture
CN109218366A (zh) 基于k均值的监控视频热度云存储方法
CN115630170A (zh) 一种文档推荐方法、系统、终端机及存储介质
Wen et al. Probabilistic top-K dominating services composition with uncertain QoS
CN115358729A (zh) 一种卫星影像数据智能发布系统
CN120632198A (zh) 一种基于时空大数据的数据推荐方法、设备及介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220718

R150 Certificate of patent or registration of utility model

Ref document number: 7119630

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350