JP6680945B2 - ログ分析装置、ログ分析方法およびログ分析プログラム - Google Patents
ログ分析装置、ログ分析方法およびログ分析プログラム Download PDFInfo
- Publication number
- JP6680945B2 JP6680945B2 JP2019502890A JP2019502890A JP6680945B2 JP 6680945 B2 JP6680945 B2 JP 6680945B2 JP 2019502890 A JP2019502890 A JP 2019502890A JP 2019502890 A JP2019502890 A JP 2019502890A JP 6680945 B2 JP6680945 B2 JP 6680945B2
- Authority
- JP
- Japan
- Prior art keywords
- parameter
- learning
- log
- unit
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/30—Profiles
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Debugging And Monitoring (AREA)
Description
以下の実施の形態では、第一の実施の形態に係るログ分析装置10の構成、ログ分析装置10の処理の流れを順に説明し、最後に第一の実施の形態による効果を説明する。
まず、図1を用いて、ログ分析装置10の構成を説明する。図1は、第一の実施の形態に係るログ分析装置の概要を示す構成図である。図1に示すように、このログ分析装置10は、入力部11、出力部12、制御部13および記憶部14を有する。
次に、図11〜図13を用いて、ログ分析装置10における処理の流れを説明する。図11は、第一の実施の形態に係るログ分析装置における学習処理の流れを示すフローチャートである。図12は、第一の実施の形態に係るログ分析装置における分析処理の流れを示すフローチャートである。図13は、第一の実施の形態に係るログ分析装置における再学習要否判定処理の流れを示すフローチャートである。
このように、第一の実施の形態に係るログ分析装置10は、ユーザ端末からサーバへのリクエストに関するアクセスログからパラメータを抽出して、該パラメータの出現頻度を学習し、学習結果をプロファイルとしてプロファイル記憶部14aに格納する。そして、ログ分析装置10は、分析対象のアクセスログからパラメータを抽出し、該パラメータとプロファイル記憶部14aに記憶されたプロファイルにおけるパラメータとを比較して類似度を求め、該類似度が閾値未満である場合には、分析対象のアクセスログにおけるアクセスを攻撃と判定する。続いて、ログ分析装置10は、「パス:パラメータキー」がプロファイルに存在しない、または類似度が閾値未満である分析対象のアクセスログのうち、パラメータごとにリクエスト元のユーザ端末の種類数を集計し、該ユーザ端末の種類数が閾値以上のパラメータがある場合には、該パラメータの再学習を行うと判定する。このため、第一の実施の形態に係るログ分析装置10では、運用に掛かる手間を低減し、高精度で未知の攻撃検知を行うことが可能である。
上述した第一の実施の形態では、プロファイルとして、「パス:パラメータキー」に対応付けて「文字クラス列」と「出現回数」とを記憶する場合を説明したが、「パス:パラメータキー」の「パス」を抽象化するようにしてもよい。
抽象化対象正規表現:“/dynamic/path/foo[0-9]{3}”
抽象化後:“/dynamic/path/foo_NUM”
このように、第二の実施の形態に係るログ分析装置10Aは、パスの抽象化を行うので、Webアプリケーションが動的に生成されるパスを持つ場合であっても、正確に分析を行うことができる。
上述した第一の実施の形態では、分析対象のアクセスログからパラメータを抽出し、該パラメータとプロファイルにおけるパラメータとを比較して類似度を求め、該類似度が閾値未満である場合には、分析対象のアクセスログにおけるアクセスを攻撃と判定する場合を説明した。このような攻撃と判定されたアクセスのパラメータにおける共通部分を抽出し、該共通部分を基に攻撃パターンを生成するようにしてよい。例えば、分析時において攻撃と判断されたパラメータから、攻撃パターンを生成し、WAF等のシグネチャとして与えることで、類似の攻撃をブロックできるようにする。
このように、第三の実施の形態に係るログ分析装置10Bは、攻撃と判定されたアクセスのパラメータにおける共通部分を抽出し、該共通部分を基に攻撃パターンを生成するので、生成した攻撃パターンをWAF等のシグネチャとして与えることで、類似の攻撃をブロックすることが可能である。
上述した第三の実施の形態では、攻撃と判定されたアクセスのパラメータにおける共通部分を抽出し、該共通部分を基に攻撃パターンを生成する場合を説明した。これに対して、既に生成された攻撃パターンと類似の攻撃パターンが重複して生成されることを防ぐために、攻撃と判定されたアクセスのパラメータが、既に生成された攻撃パターンとマッチするか否かを判定し、マッチすると判定した場合には、攻撃と判定されたアクセスのパラメータを削除するようにしてもよい。
このように、第四の実施の形態に係るログ分析装置10Cは、攻撃と判定されたアクセスのパラメータが、既に生成された攻撃パターンとマッチするか否かを判定し、マッチすると判定した場合には、攻撃と判定されたアクセスのパラメータを削除するので、類似の攻撃パターンが重複して生成されることを防ぐことが可能である。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。例えば、学習部13aと分析部13bとを統合してもよい。
また、上記実施形態において説明したログ分析装置が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。例えば、実施形態に係るログ分析装置10が実行する処理をコンピュータが実行可能な言語で記述したログ分析プログラムを作成することもできる。この場合、コンピュータがログ分析プログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかるログ分析プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたログ分析プログラムをコンピュータに読み込ませて実行することにより上記実施形態と同様の処理を実現してもよい。
11 入力部
12 出力部
13 制御部
13a 学習部
13b 分析部
13c 再学習要否判定部
13d 攻撃パターン生成部
13e 攻撃パターンマッチテスト部
14 記憶部
14a プロファイル記憶部
14b 分析済ログ記憶部
14c 再学習要否判定情報記憶部
Claims (8)
- ユーザ端末からサーバへのリクエストに関するアクセスログからパラメータを抽出して、該パラメータの出現頻度を学習し、学習結果をプロファイルとして記憶部に格納する学習部と、
分析対象のアクセスログからパラメータを抽出し、該パラメータと前記記憶部に記憶されたプロファイルにおけるパラメータとを比較して類似度を求め、該類似度が閾値未満である場合には、前記分析対象のアクセスログにおけるアクセスを攻撃と判定する分析部と、
前記類似度が閾値未満である分析対象のアクセスログのうち、パラメータごとにリクエスト元のユーザ端末の種類数を集計し、該ユーザ端末の種類数が閾値以上のパラメータがある場合には、該パラメータの再学習を行うと判定する再学習要否判定部と
を備えたことを特徴とするログ分析装置。 - 前記分析部によって攻撃と判定されたアクセスのパラメータにおける共通部分を抽出し、該共通部分を基に攻撃パターンを生成する攻撃パターン生成部をさらに備えることを特徴とする請求項1に記載のログ分析装置。
- 前記学習部は、前記アクセスログからパラメータを抽出し、該抽出したパラメータを抽象化し、抽象化されたパラメータの出現頻度を学習することを特徴とする請求項1に記載のログ分析装置。
- 前記学習部は、各パラメータの出現頻度を学習し、各パラメータのうち、出現頻度が所定の閾値以下であるパラメータについては、前記プロファイルから削除することを特徴とする請求項1に記載のログ分析装置。
- 前記再学習要否判定部は、前記類似度が閾値未満である分析対象のアクセスログのうち、所定期間内で連続する複数のリクエストの時間間隔が閾値未満であるアクセスログについて、パラメータごとにリクエスト元のユーザ端末の種類数を集計し、該ユーザ端末の種類数が閾値以上のパラメータがある場合には、該パラメータの再学習を行うと判定することを特徴とする請求項1に記載のログ分析装置。
- 前記分析部によって攻撃と判定されたアクセスのパラメータが、既に生成された攻撃パターンとマッチするか否かを判定し、マッチすると判定した場合には、前記攻撃と判定されたアクセスのパラメータを削除する攻撃パターンマッチテスト部をさらに備えることを特徴とする請求項2に記載のログ分析装置。
- ログ分析装置によって実行されるログ分析方法であって、
ユーザ端末からサーバへのリクエストに関するアクセスログからパラメータを抽出して、該パラメータの出現頻度を学習し、学習結果をプロファイルとして記憶部に格納する学習工程と、
分析対象のアクセスログからパラメータを抽出し、該パラメータと前記記憶部に記憶されたプロファイルにおけるパラメータとを比較して類似度を求め、該類似度が閾値未満である場合には、前記分析対象のアクセスログにおけるアクセスを攻撃と判定する分析工程と、
前記類似度が閾値未満である分析対象のアクセスログのうち、パラメータごとにリクエスト元のユーザ端末の種類数を集計し、該ユーザ端末の種類数が閾値以上のパラメータがある場合には、該パラメータの再学習を行うと判定する再学習要否判定工程と
を含んだことを特徴とするログ分析方法。 - ユーザ端末からサーバへのリクエストに関するアクセスログからパラメータを抽出して、該パラメータの出現頻度を学習し、学習結果をプロファイルとして記憶部に格納する学習ステップと、
分析対象のアクセスログからパラメータを抽出し、該パラメータと前記記憶部に記憶されたプロファイルにおけるパラメータとを比較して類似度を求め、該類似度が閾値未満である場合には、前記分析対象のアクセスログにおけるアクセスを攻撃と判定する分析ステップと、
前記類似度が閾値未満である分析対象のアクセスログのうち、パラメータごとにリクエスト元のユーザ端末の種類数を集計し、該ユーザ端末の種類数が閾値以上のパラメータがある場合には、該パラメータの再学習を行うと判定する再学習要否判定ステップと
をコンピュータに実行させるためのログ分析プログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017041125 | 2017-03-03 | ||
| JP2017041125 | 2017-03-03 | ||
| PCT/JP2018/005773 WO2018159362A1 (ja) | 2017-03-03 | 2018-02-19 | ログ分析装置、ログ分析方法およびログ分析プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2018159362A1 JPWO2018159362A1 (ja) | 2019-08-08 |
| JP6680945B2 true JP6680945B2 (ja) | 2020-04-15 |
Family
ID=63371049
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019502890A Active JP6680945B2 (ja) | 2017-03-03 | 2018-02-19 | ログ分析装置、ログ分析方法およびログ分析プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US12160432B2 (ja) |
| JP (1) | JP6680945B2 (ja) |
| WO (1) | WO2018159362A1 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10915587B2 (en) | 2018-05-18 | 2021-02-09 | Google Llc | Data processing system for generating entries in data structures from network requests |
| JP6563578B1 (ja) * | 2018-09-26 | 2019-08-21 | 株式会社ラック | 端末装置、ファイル分析装置、ファイル分析システム、ファイル分析方法およびプログラム |
| JP7166969B2 (ja) * | 2019-03-20 | 2022-11-08 | 三菱電機インフォメーションネットワーク株式会社 | ルータ攻撃検出装置、ルータ攻撃検出プログラム及びルータ攻撃検出方法 |
| US11010287B1 (en) * | 2019-07-01 | 2021-05-18 | Intuit Inc. | Field property extraction and field value validation using a validated dataset |
| JP6751960B1 (ja) * | 2020-03-09 | 2020-09-09 | 株式会社シンカー | 情報処理システムおよび情報処理方法 |
| CN111565192A (zh) * | 2020-05-08 | 2020-08-21 | 南开大学 | 基于可信度的内网安全威胁多模型协同防御方法 |
| JP7413924B2 (ja) * | 2020-05-25 | 2024-01-16 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及び情報処理プログラム |
| CN113259324B (zh) * | 2021-04-21 | 2022-09-02 | 深圳供电局有限公司 | 数据攻击检测方法、装置、计算机设备和可读存储介质 |
| JP7509318B2 (ja) * | 2021-05-12 | 2024-07-02 | 日本電信電話株式会社 | 抽出装置、抽出方法、および、抽出プログラム |
| WO2023228399A1 (ja) * | 2022-05-27 | 2023-11-30 | 三菱電機株式会社 | セキュリティ分析装置、セキュリティ分析方法及びセキュリティ分析プログラム |
| JP2024034362A (ja) | 2022-08-31 | 2024-03-13 | 日本電気株式会社 | 不審検知装置、不審検知方法および不審検知プログラム |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020099813A1 (en) * | 2000-12-04 | 2002-07-25 | Jason Winshell | Method for collecting statistics about Web site usage |
| US20060294588A1 (en) * | 2005-06-24 | 2006-12-28 | International Business Machines Corporation | System, method and program for identifying and preventing malicious intrusions |
| US7716340B2 (en) * | 2005-09-30 | 2010-05-11 | Lycos, Inc. | Restricting access to a shared resource |
| US20070186282A1 (en) * | 2006-02-06 | 2007-08-09 | Microsoft Corporation | Techniques for identifying and managing potentially harmful web traffic |
| US7613150B2 (en) * | 2006-07-20 | 2009-11-03 | Symbol Technologies, Inc. | Hitless restart mechanism for non-stop data-forwarding in the event of L3-mobility control-plane failure in a wireless switch |
| US7441429B1 (en) * | 2006-09-28 | 2008-10-28 | Narus, Inc. | SIP-based VoIP traffic behavior profiling |
| US8463253B2 (en) * | 2007-06-21 | 2013-06-11 | Verizon Patent And Licensing Inc. | Flexible lifestyle portable communications device |
| JP4962782B2 (ja) * | 2007-08-13 | 2012-06-27 | 富士通株式会社 | 利用者状態推定システム、利用者状態推定方法および利用者状態推定プログラム |
| JP5219783B2 (ja) * | 2008-12-24 | 2013-06-26 | 三菱電機株式会社 | 不正アクセス検知装置及び不正アクセス検知プログラム及び記録媒体及び不正アクセス検知方法 |
| US20100177752A1 (en) * | 2009-01-12 | 2010-07-15 | Juniper Networks, Inc. | Network-based micro mobility in cellular networks using extended virtual private lan service |
| CN102137059B (zh) * | 2010-01-21 | 2014-12-10 | 阿里巴巴集团控股有限公司 | 一种恶意访问的拦截方法和系统 |
| US9008084B2 (en) * | 2012-02-22 | 2015-04-14 | Cisco Technology, Inc. | Method of IPv6 at data center network with VM mobility using graceful address migration |
| JP5832951B2 (ja) | 2012-04-27 | 2015-12-16 | 日本電信電話株式会社 | 攻撃判定装置、攻撃判定方法及び攻撃判定プログラム |
| US9531736B1 (en) * | 2012-12-24 | 2016-12-27 | Narus, Inc. | Detecting malicious HTTP redirections using user browsing activity trees |
| US9686023B2 (en) | 2013-01-02 | 2017-06-20 | Qualcomm Incorporated | Methods and systems of dynamically generating and using device-specific and device-state-specific classifier models for the efficient classification of mobile device behaviors |
| CN106415507B (zh) | 2014-06-06 | 2019-05-21 | 日本电信电话株式会社 | 日志分析装置、攻击检测装置、攻击检测方法以及程序 |
| US9639453B2 (en) * | 2015-03-04 | 2017-05-02 | Vmware, Inc. | Method and system for determining functional tests to execute based on code coverage |
| US11528214B2 (en) * | 2020-04-06 | 2022-12-13 | Vmware, Inc. | Logical router implementation across multiple datacenters |
-
2018
- 2018-02-19 WO PCT/JP2018/005773 patent/WO2018159362A1/ja not_active Ceased
- 2018-02-19 JP JP2019502890A patent/JP6680945B2/ja active Active
- 2018-02-19 US US16/489,354 patent/US12160432B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20190387012A1 (en) | 2019-12-19 |
| WO2018159362A1 (ja) | 2018-09-07 |
| US12160432B2 (en) | 2024-12-03 |
| JPWO2018159362A1 (ja) | 2019-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6680945B2 (ja) | ログ分析装置、ログ分析方法およびログ分析プログラム | |
| CN109802953B (zh) | 一种工控资产的识别方法及装置 | |
| US11528189B1 (en) | Network device identification and categorization using behavioral fingerprints | |
| JP6252254B2 (ja) | 監視プログラム、監視方法および監視装置 | |
| US10303873B2 (en) | Device for detecting malware infected terminal, system for detecting malware infected terminal, method for detecting malware infected terminal, and program for detecting malware infected terminal | |
| JP5832951B2 (ja) | 攻撃判定装置、攻撃判定方法及び攻撃判定プログラム | |
| CN107209834B (zh) | 恶意通信模式提取装置及其系统和方法、记录介质 | |
| CN113691491A (zh) | 域名系统中恶意域名的检测方法与检测装置 | |
| US20190297092A1 (en) | Access classification device, access classification method, and recording medium | |
| US8381290B2 (en) | Intrusion detection systems and methods | |
| Kumar et al. | Machine learning based malware detection in cloud environment using clustering approach | |
| JP7019533B2 (ja) | 攻撃検知装置、攻撃検知システム、攻撃検知方法および攻撃検知プログラム | |
| JPWO2017094377A1 (ja) | 分類方法、分類装置および分類プログラム | |
| CN107077563A (zh) | 信息处理装置、信息处理方法以及程序 | |
| TW202249459A (zh) | 資料外洩偵測方法與裝置 | |
| CN112352402B (zh) | 生成装置、生成方法和记录介质 | |
| US10911481B2 (en) | Malware-infected device identifications | |
| Coull et al. | On Measuring the Similarity of Network Hosts: Pitfalls, New Metrics, and Empirical Analyses. | |
| CN115022050A (zh) | 一种流量处理方法、系统、终端设备以及存储介质 | |
| JP2019175334A (ja) | 情報処理装置、制御方法、及びプログラム | |
| CN112583827A (zh) | 一种数据泄露检测方法及装置 | |
| WO2019235074A1 (ja) | 生成方法、生成装置および生成プログラム | |
| JP7180765B2 (ja) | 学習装置、判定装置、学習方法、判定方法、学習プログラムおよび判定プログラム | |
| Chu et al. | Data stream mining architecture for network intrusion detection | |
| JP7799111B1 (ja) | 情報処理装置、プログラム及び情報処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190220 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200317 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200319 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6680945 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |