JP6795448B2 - データ処理装置、データ処理方法およびプログラム - Google Patents
データ処理装置、データ処理方法およびプログラム Download PDFInfo
- Publication number
- JP6795448B2 JP6795448B2 JP2017094048A JP2017094048A JP6795448B2 JP 6795448 B2 JP6795448 B2 JP 6795448B2 JP 2017094048 A JP2017094048 A JP 2017094048A JP 2017094048 A JP2017094048 A JP 2017094048A JP 6795448 B2 JP6795448 B2 JP 6795448B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- range
- viewpoint
- statistic
- abnormality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Telephonic Communication Services (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
また、時系列データのサンプル数が膨大になりかつ常に次々とデータが発生するストリームデータを処理の対象とする場合も多い。
事前知識を用いて異常を検出する方法では、特定の条件を満たす時系列データが発生したときに異常の発生として当該異常を検出するが、未知の事象に対応することができない。また、事前知識を用いて異常を検出する方法では、前提条件が仮定されている場合が多いため、前提条件が変化するときには、その都度、特定の条件を修正する必要がある。また、この方法では、事前知識を学習する必要がある。このような点を補うために、機械学習を利用することも考えられるが、十分に高速な処理は確立されていない。
例えば、外れ値を検出する技術は従前から存在しているが、特にストリームデータを対象とするときに、十分に高速な処理が行われない場合があった。異常が発生するときを予測することが困難な状況では、常に異常の発生の有無を監視する必要があり、時系列データを構成するデータが次々と発生する速度と比べて十分に高速な処理を実現する必要があった。
しかしながら、t−digestだけでは、十分に高速な処理を実現することが困難な場合があった。
[データ処理システム]
図1は、本発明の一実施形態(第1実施形態)に係るデータ処理システム1の概略的な構成を示すブロック図である。
データ処理システム1は、n(nは2以上の整数とする。)個の端末装置11−1〜11−nと、統計量データ処理装置12と、データベース13と、ネットワーク21を備える。
ネットワーク21としては、有線または無線の任意のネットワークが用いられてもよく、例えば、インターネットあるいはWi−Fi(登録商標)のネットワークなどが用いられてもよい。
データベース13は、本実施形態では、統計量データ処理装置12とは別に備えられるが、他の例として、統計量データ処理装置12に一体化されていてもよい。
具体例として、所定の対象のデータとしては、任意のシステムにおけるデータが用いられてもよく、例えば、車両などの交通システムに関するデータ、人などのヘルスケアシステムに関するデータ、製品を生産などする工場システムに関するデータ、証券などの金融システムに関するデータ、有線または無線の通信システムに関するデータなどが用いられてもよい。また、任意のシステムにおいて、所定の対象のデータとしては、様々なデータが用いられてもよく、例えば、温度に関するデータ、湿度に関するデータ、速度に関するデータ、加速度に関するデータ、画像に関するデータ、酸素などの物質の濃度に関するデータ、品質に関するデータ、株価に関するデータ、通信信号に関するデータ、端末装置(本実施形態では、端末装置11−1〜11−n)の位置に関するデータ、端末装置が存在する領域に関するデータなどが用いられてもよい。
一例として、それぞれの端末装置11−1〜11−nにおいて、当該それぞれの端末装置11−1〜11−nに関する所定の対象のデータを検出する構成が用いられてもよい。この構成では、それぞれの端末装置11−1〜11−nは、所定の対象のデータを検出する検出部を備え、当該検出部により検出されたデータを、ネットワーク21を介して、統計量データ処理装置12に送信する。当該検出部は、例えば、センサー、あるいは、撮像装置(カメラ)であってもよい。ここで、撮像装置(カメラ)も、センサーの一例であると捉えられてもよい。
なお、それぞれの端末装置11−1〜11−nは、IoTの端末装置であってもよく、あるいは、他の端末装置であってもよい。
当該検出装置は、例えば、所定の領域に存在する端末装置11−1〜11−nと無線または有線で通信する通信部を備えてもよく、この通信の結果に基づいて、当該所定の領域に存在する端末装置11−1〜11−nの数のデータなどを所定の対象のデータとして検出してもよい。
当該検出装置は、例えば、端末装置11−1〜11−nから発信される信号を取得する信号取得部を備えてもよく、当該信号の状況に基づいて、当該信号の発生頻度あるいは遅延度などを表すデータなどを所定の対象のデータとして検出してもよい。
他の例として、それぞれの端末装置11−1〜11−nは、通信機能を備えなくてもよい。
また、それぞれの端末装置11−1〜11−nは、例えば、物に付加あるいは装着などされてもよく、あるいは、人により携帯あるいは装着などされてもよい。当該物としては、任意のものであってもよく、例えば、自動車などの車両、あるいは、電化製品などであってもよい。
図2は、本発明の一実施形態に係る統計量データ処理装置12の概略的な構成を示すブロック図である。
統計量データ処理装置12は、入力部111と、出力部112と、記憶部113と、通信部114と、制御部115を備える。
制御部115は、データ取得部131と、統計量データ処理部132と、データ出力制御部133を備える。
統計量データ処理部132は、観点設定部151と、スケール設定部152と、統計量データ群生成部153と、統計量データ比較部154と、異常範囲判定部155を備える。
出力部112は、情報を出力する。出力部112は、例えば、画面を有しており、情報を画面に表示(出力)する。出力部112は、例えば、外部の装置(例えば、記録媒体など)と接続されて当該外部の装置に情報を出力する。
記憶部113は、情報を記憶する。なお、本実施形態では、記憶部113とデータベース13とは、任意に使い分けられてもよい。
通信部114は、情報を通信する。本実施形態では、通信部114は、ネットワーク21を介して、他の装置(例えば、端末装置11−1〜11−nあるいは別の検出装置)と情報を通信する。
本実施形態では、記憶部113は、所定の制御プログラムおよびそのパラメーターの情報を記憶する。また、制御部115は、CPU(Central Processing Unit)を用いて構成される。そして、制御部115では、CPUが記憶部113に記憶された制御プログラムを、記憶部113に記憶されたパラメーターを使用して実行することで、各種の制御を行う。
データ取得部131は、解析対象となるデータとして、所定の対象のデータを取得する。
一例として、データ取得部131は、通信部114により他の装置(例えば、端末装置11−1〜11−nあるいは別の検出装置)から受信されたデータを、解析対象となるデータとして取得してもよい。
他の例として、データ取得部131は、過去に取得されたデータを順次データベース13に記憶しておき、当該データの処理を行うときに、当該データベース13から当該データを解析対象となるデータとして取得してもよい。
また、他の例として、所定の対象のデータが統計量データ処理装置12を経由せずにデータベース13に記憶される構成が用いられてもよく、この場合、データ取得部131は、当該データの処理を行うときに、当該データベース13から当該データを解析対象となるデータとして取得してもよい。
なお、統計量データ処理部132では、例えば、データ取得部131によりリアルタイムで次々と取得されるデータ(新たに増えていくデータのまとまり)について処理を行う場合があってもよく、また、データ取得部131により取得された過去のデータ(新たに増えないデータのまとまり)について処理を行う場合があってもよい。
また、統計量データ処理部132は、統計量データに基づいて異常の有無に関する検出(判定)を行う。
出力対象となるデータとしては、任意のデータが用いられてもよく、例えば、データ取得部131により取得されたデータ、あるいは、統計量データ処理部132による処理により得られた結果のデータなどが用いられてもよい。また、統計量データ処理部132による処理により得られた結果のデータとしては、例えば、統計量データ群生成部153による処理により得られた結果のデータ、統計量データ比較部154による処理により得られた結果のデータ、あるいは、異常範囲判定部155による処理により得られた結果のデータのうちの1以上が用いられてもよい。
観点設定部151は、解析対象のデータについて、観点(項目)を設定する。観点設定部151は、解析対象のデータについて、2個以上の観点を設定してもよい。
ここで、観点としては、任意の観点が用いられてもよく、例えば、時間(時刻)、領域(地域)、デバイス種別などが用いられてもよい。
また、観点設定部151は、例えば、あらかじめ定められた観点を設定してもよく、あるいは、ユーザなどから指示された観点を設定してもよい。観点があらかじめ定められる場合には、例えば、当該観点を特定する情報が記憶部113に記憶される。
ここで、スケールとしては、任意の大きさを有するスケールが用いられてもよい。
例えば、時間のスケールとして、1秒のスケール、1分のスケール、1時間のスケール、1日のスケール、あるいは、他の任意の大きさのスケールが用いられてもよい。
例えば、領域のスケールとして、地区のスケール、市区町村のスケール、都道府県のスケール、全国のスケール、あるいは、他の任意の大きさのスケールが用いられてもよい。
例えば、デバイス種別のスケールとして、機種のスケール、メーカーのスケール、OS(Operating System)のスケール、あるいは、他の任意の種別(属性)のスケールが用いられてもよい。
スケール設定部152は、例えば、それぞれの観点について、あらかじめ定められたスケールを設定してもよく、あるいは、ユーザなどから指示されたスケールを設定してもよい。スケールがあらかじめ定められる場合には、例えば、当該スケールを特定する情報が記憶部113に記憶される。
本実施形態では、統計量データ群生成部153は、多次元およびマルチスケールのデータ解析を行った結果のデータを、統計量データ群(本実施形態において、「多次元マルチスケール統計量データ群」ともいう。)として生成する。
ここで、本実施形態では、次元は観点を表わしており、多次元は複数の観点があることを表わしている。
また、本実施形態では、マルチスケールは、複数のスケールがあることを表わしている。
ここで、基準となる統計量データは、例えば、データ取得部131により取得されてもよく、あるいは、統計量データ群生成部153により生成された統計量データ群に含まれる統計量データが用いられてもよい。
また、解析対象となる統計量データは、例えば、データ取得部131により取得されてもよく、あるいは、データ取得部131により取得されたデータに基づいて統計量データ処理部132(例えば、統計量データ比較部154)により生成された統計量データが用いられてもよく、あるいは、統計量データ群生成部153により生成された統計量データ群に含まれる統計量データが用いられてもよい。
本実施形態では、解析対象となる統計量データについて、異常範囲判定部155により異常期間が判定されたことによって、異常が存在することを検出する。
図3は、本発明の一実施形態に係る統計量データ群201の一例のデータ構造を模式的に示す図である。
図3の例では、当該統計量データ群201は、統計量データ処理部132により時系列データが処理された結果である多次元マルチスケール統計量データ群となっている。当該統計量データ群201は、時系列データを対象として多次元およびマルチスケールに拡張された分布データ(本実施形態では、統計量データ)の構造を有する。
図3の例では、複数の観点として、時間、領域、デバイス種別が用いられている。また、それぞれの観点について、複数のスケール(マルチスケール)が用いられている。
また、領域に関する複数のスケールとして、領域スケールA1、領域スケールA2、領域スケールA3が用いられている。一例として、領域スケールA1は「東京」であり、領域スケールA2は「関東」であり、領域スケールA3は「日本(全国)」である。
また、デバイス種別に関する複数のスケールとして、デバイス種別スケールD1、デバイス種別スケールD2が用いられている。一例として、デバイス種別スケールD1は「特定の機種A1」であり、デバイス種別スケールD2は「特定のメーカーB1」である。
なお、時刻の初期値(本実施形態では、0秒)としては、任意のタイミングが用いられてもよい。
1個の時間スケールと、1個の領域スケールと、1個のデバイス種別スケールと、当該時間スケールに応じた1個の時刻範囲によって特定される単位統計量データは、当該時刻範囲の最大の時刻から当該時間スケールだけ過去に遡った時刻までの間に属し、かつ、当該領域スケールに属し、かつ、当該デバイス種別スケールに属するデータについて、統計量データ処理部132によって統計的な演算を行うことにより得られた統計量データに相当する。
順序統計に関する値としては、例えば、中央値が用いられてもよい。なお、一般に、処理対象となる複数のデータが同じである場合、平均値を取得(演算)する処理よりも、中央値を取得する処理の方が、処理時間が短くなると考えられる。
また、順序統計に関する値としては、例えば、累積分布関数(CDF:Cumulative Distribution Function)の値が用いられてもよく、あるいは、確率分布関数(PDF:Probability Density Function)の値が用いられてもよい。
なお、統計量データ群生成部153は、任意の手法を用いて、単位統計量データを取得してもよく、例えば、既存の技術であるt−digestの技術(例えば、非特許文献1など参照。)を用いて単位統計量データを演算して取得してもよい。本実施形態では、統計量データ群は、複数の単位統計量データを含んで構成される。
すべてについて互いに包含関係にある複数のスケールとしては、領域のスケールを例とすると、例えば、「東京」、「関東」、「日本」がある。
すべてについて互いに包含関係にない複数のスケールとしては、領域のスケールを例とすると、例えば、「東京」、「千葉」、「茨城」がある。
一部のみについて包含関係にある複数のスケールとしては、領域のスケールを例とすると、例えば、「東京」、「関東」(東京を含む。)、「大阪」がある。
図4は、本発明の一実施形態に係る統計量データに基づく異常検出処理の概要を示す図である。
本実施形態では、解析対象(比較対象)のデータおよび基準となるデータとして、複数の端末装置11−1〜11−nについて、レイテンシー(Latency)に関するデータが用いられている。レイテンシーとしては、それぞれの端末装置11−1〜11−nから送信された要求に対して応答が到来するまでの時間(遅延時間)が用いられている。
ここで、それぞれの端末装置11−1〜11−nはそれぞれ異なる人に所持されているとする。そして、説明の便宜上、平日には決まった時間に通勤ラッシュがあり、休日には通勤ラッシュが無いとする。また、通常、平日には朝の通勤ラッシュと夕方の通勤ラッシュがあるが、本例では、朝の通勤ラッシュのみを示し、夕方の通勤ラッシュを省略する。
また、図4の例では、基準となるデータ511として、過去の30日分のそれぞれの日について、1日分のデータに基づいて生成された統計量データ群511−1〜511−30が用いられている。ここで、基準となるデータ511が取得された30日については、異常が発生していないとし、正常な基準のデータが取得されたとする。
異常範囲判定部155は、このような比較の結果に基づいて、統計量データについて異常範囲を判定する処理(本例では、異常な分布を検出する異常検出処理524)を行う。これにより、異常範囲判定部155は、解析対象となる統計量データ群について、異常範囲525を判定する。
本実施形態では、異常範囲525が存在した場合には異常があることが検出(判定)され、異常範囲525が存在しない場合には異常が無いことが検出(判定)される。
なお、本例では、異常範囲525として、時刻(時間)の範囲である異常期間を検出(判定)する場合について説明する。
図5は、本発明の一実施形態に係る基準となる統計量データの一例を示す図である。
図5の例では、平日(Weekday)における統計量データを示してある。
図5に示されるグラフにおいて、横軸は1日分の24時間(時刻0amから時刻12pmまで)について時刻を表わしており、縦軸はそれぞれの端末装置11−1〜11−nのレイテンシー[ms]を表わしている。
このグラフには、それぞれの端末装置11−1〜11−nについて検出されたレイテンシーを示してある。
また、このグラフには、複数の端末装置11−1〜11−nのレイテンシーについて、順序統計におけるパーセンタイル特性を示してある。具体的には、10パーセンタイルの特性611、25パーセンタイルの特性612、50パーセンタイルの特性613、75パーセンタイルの特性614、90パーセンタイルの特性615を示してある。
また、本例では、平日には8am前後に通勤ラッシュがあり、傾向としてレイテンシーが1日のなかで最大になるとする。
図6の例では、休日(Weekend)における統計量データを示してある。
図6に示されるグラフにおいて、横軸は1日分の24時間(時刻0amから時刻12pmまで)について時刻を表わしており、縦軸はそれぞれの端末装置11−1〜11−nのレイテンシー[ms]を表わしている。
このグラフには、それぞれの端末装置11−1〜11−nについて検出されたレイテンシーを示してある。
また、このグラフには、複数の端末装置11−1〜11−nのレイテンシーについて、順序統計におけるパーセンタイル特性を示してある。具体的には、10パーセンタイルの特性621、25パーセンタイルの特性622、50パーセンタイルの特性623、75パーセンタイルの特性624、90パーセンタイルの特性625を示してある。
また、本例では、休日には通勤ラッシュが無く、傾向としてレイテンシーが特に大きくなる期間が観測されないとする。
図7の例では、平日(Weekday)における統計量データを示してある。
図7に示されるグラフにおいて、横軸は1日分の24時間(時刻0amから時刻12pmまで)について時刻を表わしており、縦軸はそれぞれの端末装置11−1〜11−nのレイテンシー[ms]を表わしている。
このグラフには、それぞれの端末装置11−1〜11−nについて検出されたレイテンシーを示してある。
また、このグラフには、複数の端末装置11−1〜11−nのレイテンシーについて、順序統計におけるパーセンタイル特性を示してある。具体的には、10パーセンタイルの特性631、25パーセンタイルの特性632、50パーセンタイルの特性633、75パーセンタイルの特性634、90パーセンタイルの特性635を示してある。
また、本例では、このグラフには、8am前後に通勤ラッシュがあり、傾向としてレイテンシーが1日のなかで最大になるが、基準となるデータ(ここでは、図5の例)と比べて異常なデータ分布になっているとする。具体的には、図7の例では、10パーセンタイルの特性631と25パーセンタイルの特性632とが正常時(基準時)と比べて近くなっている。
そして、本例では、統計量データ処理部132は、平日の統計量データを基準として用いるとともに、休日の統計量データを別の基準として用いる。このため、統計量データ比較部154は、解析対象となる1日分の統計量データと基準となる22日分の平日の統計量データとを比較する処理と、解析対象となる1日分の統計量データと基準となる8日分の休日の統計量データとを比較する処理とのうちの1以上を行う。
図8の例では、図5に示される基準となる平日の統計量データと、図7に示される解析対象となる統計量データとを比較する。また、基準となる平日の統計量データとしては、22日分のデータが使用され、それぞれの日ごとに1日分の統計量データが使用される。このような22日分のデータはクラスタとなっている。また、解析対象となる統計量データとしては、1日分のデータが使用され、その日の1日分の統計量データが使用される。
また、図8の例では、平面的に図示してあるが、時間以外の任意の数の観点が用いられてもよい。この場合、図8に示されるそれぞれの時刻範囲におけるデータは、時間以外のそれぞれの観点のスケールについても所定の大きさのスケールが設定されたときのデータとなる。
なお、図8の例では、時刻範囲(6:00 to 6:30)における1個の基準値711に符号を付してあり、他の基準値については符号を省略してある。また、それぞれの時刻範囲における1個の対象値721〜726に符号を付してある。
ここで、当該距離としては、任意の距離が用いられてもよく、例えば、CDF−based Jensen−Shannon距離、あるいは、PDF−based Jensen−Shannon距離が用いられてもよく、他の例として、それぞれの日のパーセンタイル値を特徴量化して、ユークリッド距離が用いられてもよい。
図8の例では、時間スケールが30分である場合の例を示した。異常範囲判定部155は、時間スケールが30分である場合と、さらに、他の任意の数の異なる期間(異なる時間の長さ)を有する時間スケールについても、統計量データ比較部154による比較処理を行わせる。本例では、異常範囲判定部155は、時間スケールが1分、10分、30分、60分(=1時間)のそれぞれである場合について、統計量データ比較部154による比較処理を行わせる。
図9の例では、時間スケール「1分」が用いられたときにおけるLOFの特性811、時間スケール「10分」が用いられたときにおけるLOFの特性812、時間スケール「30分」が用いられたときにおけるLOFの特性813、時間スケール「60分」が用いられたときにおけるLOFの特性814を示してある。なお、これら複数の異なる時間スケールの期間は、例えば、始点(図3の例では、時刻範囲t0の始点)のタイミングが合わせられている。
異常範囲判定部155は、まず、あらかじめ定められた複数の異なる時間スケールのそれぞれ(本例では、1分、10分、30分、60分)について、演算されたLOFが所定の閾値Q1を超えるか否かを判定する。この判定の結果、異常範囲判定部155は、1個以上の時間スケールにおいてLOFが所定の閾値Q1を超える期間の全体を、異常期間の候補として、取得する。図9の例では、異常期間の候補は、7時から9時までとなる。なお、当該異常期間の候補は、例えば、LOFが所定の閾値Q1を超える厳密な期間が用いられてもよく、あるいは、あらかじめ定められた区切り(例えば、1分単位の区切り、あるいは、5分単位の区切りなど)の期間が用いられて、当該厳密な期間からずれてもよい。
本例では、異常範囲判定部155は、異常期間の候補である7時から9時までの期間について、既に使用された最小の時間スケールである1分を使用して、開始時刻と終了時刻とのそれぞれを1分ずつずらした時刻範囲を設定する。具体的には、異常範囲判定部155は、開始時刻を7時から8時59分まで1分ごとにとり、終了時刻を7時1分から9時まで1分ごとにとり、当該開始時刻と当該終了時刻とのすべての組み合わせの時刻範囲を設定する。つまり、7時から7時1分まで、7時から7時2分まで、7時から7時3分まで、・・・、7時から8時59分まで、7時1分から7時2分まで、7時1分から7時3分まで、・・・、8時58分から8時59分まで、8時58分から9時まで、8時59分から9時まで、の時刻範囲が設定される。なお、開始時刻の方が終了時刻よりも早くなる組み合わせだけが使用される。本例では、(開始時刻、終了時刻)の組み合わせの数が、{120×119÷2}となる。
なお、本実施形態では、異常範囲判定部155は、常に(例えば、一定期間ごとに)、複数の時間スケールのそれぞれ(本例では、1分、10分、30分、60分)におけるLOFが所定の閾値Q1を超えるか否かを判定しており、LOFが所定の閾値Q1を超えた場合に、それ以降の処理として、複数の時刻範囲におけるLOFについて最大となる時刻範囲を判定する処理へ移行する。
なお、基準となる値(平常値)は、例えば、機械学習などを用いて学習されてもよい。
また、異常範囲判定部155は、異常期間の候補を検出するために最初に設定された時間スケールにおいて異常が無いことが判定された場合には、例えば、その異常検出処理を終了する。
また、異常期間の候補が検出された後に、検出された異常期間の候補に対して、さらに時刻範囲を設定して異常期間を判定する場合における当該時刻範囲について、その範囲、あるいは、その数としては、それぞれ、任意であってもよい。
また、本実施形態では、1個の観点(時刻(あるいは、時間)の観点)について異常範囲を判定する場合を示したが、他の例として、2個以上の異なる観点の組み合わせについて異常範囲を判定することが行われてもよい。
また、本実施形態では、複数の基準値のクラスタと対象値との距離を演算して用いたが、他の構成例として、複数の基準値のクラスタの代わりに、当該クラスタにおける1個の代表値が用いられてもよい。当該クラスタにおける1個の代表値としては、例えば、当該クラスタに含まれる値の平均値(あるいは、重心値)が用いられてもよい。
また、他の構成例として、複数種類(例えば、平日と休日)の基準となる統計量データと解析対象となる統計量データとを並列的に比較してもよい。この場合、例えば、比較処理が行われるタイミングごとに、複数種類の基準となる統計量データ(本実施形態の場合、複数種類のクラスタ)のなかで解析対象となる統計量データに最も近いもの(本実施形態の場合、距離が最小となる1個のクラスタ)を比較対象とする手法が用いられてもよい。
図10は、本発明の一実施形態に係る統計量データ処理装置12において行われる異常の有無を検出するための処理の手順の一例を示す図である。
本実施形態では、異常範囲判定部155は、統計量データ比較部154、観点設定部151、スケール設定部152にそれぞれの処理を行わせて、異常範囲を判定する処理を行う。
なお、本例は一例であり、他の任意の処理手順が用いられてもよい。
統計量データ比較部154は、異常範囲判定のための基準となるデータ(基準データ)を取得する。
(ステップS2)
統計量データ比較部154は、異常範囲判定のための対象となるデータ(対象データ)を取得する。
(ステップS3)
観点設定部151は、異常範囲判定の処理に使用する観点を設定する。
(ステップS4)
スケール設定部152は、異常範囲判定の処理に使用するスケールを設定する。
(ステップS5)
統計量データ比較部154は、設定された観点および設定されたスケールを使用して、基準データと対象データとを比較する。
(ステップS6)
異常範囲判定部155は、統計量データ比較部154による比較処理の結果に基づいて、異常範囲を判定し、これにより、異常の有無が検出される。なお、異常範囲判定部155は、比較処理の条件を複数種類に変更して、統計量データ比較部154による比較処理を行わせて、異常範囲を判定してもよい。比較処理の条件としては、例えば、観点、スケール、範囲(時刻範囲など)のうちの1以上に関する条件であってもよい。
以上のように、本実施形態に係るデータ処理システム1では、統計量データ処理装置12において、多次元およびマルチスケールのデータ解析を行うことで異常を検出することを可能とすることができる。
本実施形態に係る統計量データ群のデータ構造では、例えば、複数の観点および複数のスケールで、異常の発生などの事象を監視して検出することなどが可能であり、様々な観点および様々なスケールの事象を並列に監視して検出することなどが可能である。この場合に、本実施形態に係る統計量データ群のデータ構造では、例えば、発生した事象がいずれの観点およびいずれのスケールでの事象であるかを判定することが可能である。具体例として、広い領域のスケールで事象が発生した場合には、広い領域にわたる原因による事象であると推定することができ、また、特定の領域のスケールで事象が発生した場合には、当該特定の領域に限られた原因による事象であると推定することができる。
ここで、本実施形態では、端末装置11−1〜11−nに関する値について統計量データを処理する構成としたが、他の任意の値について統計量データを処理する構成が実施されてもよい。
[データ処理システム]
図11は、本発明の一実施形態(第2実施形態)に係るデータ処理システム1001の概略的な構成を示すブロック図である。
データ処理システム1001は、n個の端末装置11−1〜11−nと、統計量データ処理装置1011と、データベース1012と、単位統計量データ生成装置1021と、ネットワーク21を備える。ここで、端末装置11−1〜11−nと、ネットワーク21は、図1に示されるものと同様であり、説明の便宜上、同じ符号を付してある。
また、データベース1012は、図1に示されるデータベース13と同様に、データを記憶する機能を有する。
単位統計量データ生成装置1021は、t−digestの技術(例えば、非特許文献1など参照。)により実行することが可能な処理の全部または一部を行う機能を有している。本実施形態では、単位統計量データ生成装置1021は、t−digestの技術を用いて、解析対象のデータ、観点を特定する情報、および、それぞれの観点のスケールを特定する情報に基づいて、単位統計量データを生成する機能を有する。
なお、単位統計量データ生成装置1021としては、例えば、統計量データ処理装置1011を管理する者により管理されてもよく、あるいは、他の者によって提供される単位統計量データ生成装置1021を利用する構成が用いられてもよい。
本実施形態では、統計量データ群生成部153は、単位統計量データを生成する処理を要求する信号を、通信部114によりネットワーク21を介して、単位統計量データ生成装置1021に送信する。当該信号には、単位統計量データを生成するために必要な情報が含まれ、例えば、解析対象のデータ(または、それを特定する情報)、1個以上の観点を特定する情報、および、それぞれの観点のスケールを特定する情報が含まれる。
単位統計量データ生成装置1021は、このような要求の信号を受信した場合、当該要求に応じて単位統計量データを生成し、生成された単位統計量データを含む信号を、ネットワーク21を介して、統計量データ処理装置1011に送信する。
統計量データ群生成部153は、単位統計量データ生成装置1021から通信部114により受信された単位統計量データを使用(利用)して、統計量データ群を生成する。
一構成例として、少なくとも1個の観点および観点ごとの複数のスケールについて、観点とスケールとの組み合わせごとに含まれるデータに基づく統計量データである基準データと比較対象データとを比較する統計量データ比較部(図2の例では、統計量データ比較部154)と、統計量データ比較部による比較の結果に基づいて、観点の複数の範囲のなかで異常があるとみなされる範囲を判定する異常範囲判定部(図2の例では、異常範囲判定部155)と、を備える統計量データ処理装置(図1、図11の例では、統計量データ処理装置12、1011)である。
一構成例として、異常範囲判定部は、統計量データ比較部による比較の結果に基づいて、異常があるとみなされる観点の範囲候補(異常範囲の候補)を判定し、異常範囲判定部は、観点の範囲候補に含まれる複数の範囲のなかで、基準データと比較対象データとの差を表すLOFが最大となる範囲を、異常があるとみなされる範囲として、判定する。
一構成例として、統計量データ比較部は、複数の基準データと比較対象データとを比較する。
一構成例として、基準データと比較対象データとのうちの一方または両方は、複数の異なる観点および観点ごとの複数の異なるスケールについて、観点とスケールとの組み合わせごとに含まれるデータに基づく統計量データを有する統計量データ群(図3の例では、統計量データ群201)から取得される。
一構成例として、統計量データ比較部が、少なくとも1個の観点および観点ごとの複数のスケールについて、観点とスケールとの組み合わせごとに含まれるデータに基づく統計量データである基準データと比較対象データとを比較し、異常範囲判定部が、統計量データ比較部による比較の結果に基づいて、観点の複数の範囲のなかで異常があるとみなされる範囲を判定する、統計量データ処理方法(図1、図11の例では、統計量データ処理装置12、1011により行われる処理の方法)である。
一構成例として、統計量データ比較部が、少なくとも1個の観点および観点ごとの複数のスケールについて、観点とスケールとの組み合わせごとに含まれるデータに基づく統計量データである基準データと比較対象データとを比較するステップと、異常範囲判定部が、統計量データ比較部による比較の結果に基づいて、観点の複数の範囲のなかで異常があるとみなされる範囲を判定するステップと、をコンピュータに実行させるためのプログラム(図1、図11の例では、統計量データ処理装置12、1011を構成するコンピュータ)である。
なお、ここでいう「コンピュータシステム」とは、オペレーティング・システムあるいは周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM(Read Only Memory)、フラッシュメモリ等の書き込み可能な不揮発性メモリ、DVD(Digital Versatile Disc)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに、「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークあるいは電話回線等の通信回線を介してプログラムが送信された場合のサーバあるいはクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)あるいは電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
Claims (6)
- 少なくとも1個の観点および前記観点ごとの複数のスケールについて、前記観点と前記スケールとの組み合わせごとに含まれるデータに基づく統計量データである基準データと比較対象データとを比較する統計量データ比較部と、
前記統計量データ比較部による比較の結果に基づいて、前記観点の複数の範囲のなかで異常があるとみなされる範囲を判定する異常範囲判定部と、
を備え、
前記異常範囲判定部は、前記統計量データ比較部による比較の結果に基づいて、異常があるとみなされる前記観点の範囲候補を判定し、
前記異常範囲判定部は、前記観点の前記範囲候補に含まれる複数の範囲のなかで、前記基準データと前記比較対象データとの差を表すLOFが最大となる範囲を、異常があるとみなされる範囲として、判定する、
統計量データ処理装置。 - 前記異常範囲判定部は、
前記統計量データ比較部による比較の結果に基づいて、異常があるとみなされる前記観点の前記範囲候補を判定する処理として、
前記統計量データ比較部によって複数の異なる前記スケールについて前記基準データと前記比較対象データとを比較した結果に基づいて、1個以上の前記スケールにおいて異常があると判定した範囲の全体を、異常があるとみなされる前記観点の前記範囲候補であると判定する、
請求項1に記載の統計量データ処理装置。 - 前記統計量データ比較部は、複数の前記基準データと前記比較対象データとを比較する、
請求項1または請求項2のいずれか1項に記載の統計量データ処理装置。 - 前記基準データと前記比較対象データとのうちの一方または両方は、複数の異なる前記観点および前記観点ごとの複数の異なる前記スケールについて、前記観点と前記スケールとの組み合わせごとに含まれるデータに基づく統計量データを有する統計量データ群から取得される、
請求項1から請求項3のいずれか1項に記載の統計量データ処理装置。 - 統計量データ比較部が、少なくとも1個の観点および前記観点ごとの複数のスケールについて、前記観点と前記スケールとの組み合わせごとに含まれるデータに基づく統計量データである基準データと比較対象データとを比較し、
異常範囲判定部が、前記統計量データ比較部による比較の結果に基づいて、前記観点の複数の範囲のなかで異常があるとみなされる範囲を判定する、
統計量データ処理方法であって、
前記異常範囲判定部は、前記統計量データ比較部による比較の結果に基づいて、異常があるとみなされる前記観点の範囲候補を判定し、
前記異常範囲判定部は、前記観点の前記範囲候補に含まれる複数の範囲のなかで、前記基準データと前記比較対象データとの差を表すLOFが最大となる範囲を、異常があるとみなされる範囲として、判定する、
統計量データ処理方法。 - 統計量データ比較部が、少なくとも1個の観点および前記観点ごとの複数のスケールについて、前記観点と前記スケールとの組み合わせごとに含まれるデータに基づく統計量データである基準データと比較対象データとを比較するステップと、
異常範囲判定部が、前記統計量データ比較部による比較の結果に基づいて、前記観点の複数の範囲のなかで異常があるとみなされる範囲を判定するステップと、
をコンピュータに実行させるためのプログラムであって、
前記異常範囲判定部は、前記統計量データ比較部による比較の結果に基づいて、異常があるとみなされる前記観点の範囲候補を判定し、
前記異常範囲判定部は、前記観点の前記範囲候補に含まれる複数の範囲のなかで、前記基準データと前記比較対象データとの差を表すLOFが最大となる範囲を、異常があるとみなされる範囲として、判定する、
プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017094048A JP6795448B2 (ja) | 2017-05-10 | 2017-05-10 | データ処理装置、データ処理方法およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017094048A JP6795448B2 (ja) | 2017-05-10 | 2017-05-10 | データ処理装置、データ処理方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018190281A JP2018190281A (ja) | 2018-11-29 |
| JP6795448B2 true JP6795448B2 (ja) | 2020-12-02 |
Family
ID=64478589
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017094048A Active JP6795448B2 (ja) | 2017-05-10 | 2017-05-10 | データ処理装置、データ処理方法およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6795448B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111555716B (zh) | 2020-03-13 | 2023-07-28 | 远景智能国际私人投资有限公司 | 光伏阵列工作状态的确定方法、装置、设备及存储介质 |
| JP7548093B2 (ja) * | 2021-03-25 | 2024-09-10 | オムロン株式会社 | 表示器、表示器の制御方法、情報処理プログラム、および記録媒体 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020029207A1 (en) * | 2000-02-28 | 2002-03-07 | Hyperroll, Inc. | Data aggregation server for managing a multi-dimensional database and database management system having data aggregation server integrated therein |
| JP5760310B2 (ja) * | 2009-12-11 | 2015-08-05 | 株式会社リコー | 印刷物検査装置、印刷物検査方法、プログラムおよび記憶媒体 |
| JP5678620B2 (ja) * | 2010-12-03 | 2015-03-04 | 株式会社日立製作所 | データ処理方法、データ処理システム、及びデータ処理装置 |
| JP6313730B2 (ja) * | 2015-04-10 | 2018-04-18 | タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited | 異常検出システムおよび方法 |
-
2017
- 2017-05-10 JP JP2017094048A patent/JP6795448B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018190281A (ja) | 2018-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11089369B2 (en) | Methods and apparatus to categorize media impressions by age | |
| EP3655900A1 (en) | Deep convolutional neural network based anomaly detection for transactive energy systems | |
| JP7188979B2 (ja) | 異常検知装置、異常検知方法および異常検知プログラム | |
| CN114444074A (zh) | 一种异常区块链节点检测方法及装置 | |
| JP7363912B2 (ja) | 表示方法、表示プログラム及び情報処理装置 | |
| US20160255109A1 (en) | Detection method and apparatus | |
| Mali | IoT-Based Data Acquisition and Machine Learning for Process Optimization | |
| US10459730B2 (en) | Analysis system and analysis method for executing analysis process with at least portions of time series data and analysis data as input data | |
| CN113052509B (zh) | 模型评估方法、模型评估装置、电子设备和存储介质 | |
| CN112633461A (zh) | 应用辅助系统和方法以及计算机可读记录介质 | |
| JP2012186667A (ja) | ネットワーク障害検出装置、ネットワーク障害検出装置のネットワーク障害検出方法およびネットワーク障害検出プログラム | |
| JP6795448B2 (ja) | データ処理装置、データ処理方法およびプログラム | |
| CN109976986B (zh) | 异常设备的检测方法及装置 | |
| JP2019105871A (ja) | 異常候補抽出プログラム、異常候補抽出方法および異常候補抽出装置 | |
| JP7095988B2 (ja) | 異常監視システム、異常監視方法及びプログラム | |
| JP7363911B2 (ja) | 表示方法、表示プログラム及び情報処理装置 | |
| JP6213665B2 (ja) | 情報処理装置、及び、クラスタリング方法 | |
| US20200311401A1 (en) | Analyzing apparatus, control method, and program | |
| CN119850265A (zh) | 数据处理的方法、装置、电子设备和存储介质 | |
| US20250086475A1 (en) | Systems and methods for detecting anomalous data in federated learning using topological data analysis | |
| CN119025914A (zh) | 电磁特性监测方法、装置、设备、存储介质和程序产品 | |
| CN113296990B (zh) | 时序数据的异常识别方法及装置 | |
| CN117952717A (zh) | 一种基于大数据的机票订单处理方法及系统 | |
| CN116662310B (zh) | 数据异常的处理方法、存储介质及电子设备 | |
| CN116319386A (zh) | 可用性及故障预测方法、装置、电子设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170511 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190610 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200521 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200908 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201021 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201104 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201112 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6795448 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |