JP7320866B2 - マルチドメインからデータを収集する方法、装置及びコンピュータプログラム - Google Patents

Description

本発明は、データの収集及び処理方法に関する。さらに詳しくは、本発明は、一般のサーフェスウェブ（ｓｕｒｆａｃｅ ｗｅｂ）はもちろん、アクセス権が必要なインビジブルウェブ（ｉｎｖｉｓｉｂｌｅ ｗｅｂ）を含むマルチドメインにおいて、任意のオブジェクトに対する膨大なデータを収集して処理するシステムに関する。

近年では、インターネット技術の発達により、仮想世界に基づく情報が溢れている。しかしながら、通常のブラウザで、検索エンジンからアクセス可能なウェブサイトは、全体ウェブ環境の中では氷山の一角に過ぎない。インターネットに接続されてはいるものの、アクセス権が必要なディープウェブ（Ｄｅｅｐ ｗｅｂ）はもちろん、通常のブラウザではアクセスすることができず、特定のソフトウェアを利用しないとアクセスすることができない、匿名化されたダークウェブ（Ｄａｒｋ ｗｅｂ）がまさにそれである。

ダークウェブは、暗号化されたネットワークに存在し、通常のブラウザを用いてはアクセスすることができない特定の部類のウェブサイトを意味する。ダークウェブに存在する多くのサイトは、トーア（ＴＯＲ；Ｔｈｅ Ｏｎｉｏｎ Ｎｅｔｗｏｒｋ）ネットワークをベースにする。２０１０年以降から急激に成長したトーアネットワークは、ユーザの匿名性のための技術が適用されたネットワークであり、暗号通貨と結合して武器の取引、麻薬の取引、臓器の取引、ハッキングツールの販売、ハッキング技術の共有、個人情報の取引、ポルノ販売など、様々な違法取引の温床になっている。

トーアネットワークは、ネットワークのノードがネットワークルータとして動作し、特定のノードのアドレス情報は分散され、ネットワークの他のノードに保存される。トーアブラウザでは、複数のノードをランダムに経由して目的地に接続させるため、トーアネットワークは、サービスプロバイダとユーザの接続経路の追跡が不可能であるといった特徴がある。

本発明は、一般のサーフェスウェブ（ｓｕｒｆａｃｅ ｗｅｂ）はもちろん、アクセス権が必要なインビジブルウェブ（ｉｎｖｉｓｉｂｌｅ ｗｅｂ）において、任意のオブジェクトに対する膨大なデータを収集して処理する方法を提供することを目的とする。

本発明の実施形態に係るデータ収集装置がマルチドメインからデータを収集する方法は、検索エンジンからアクセス可能な一般のウェブからデータを収集するステップＡと、一般のウェブブラウザではアクセスすることができず、予め設定された特定のソフトウェアを用いてアクセス可能なダークウェブサイトからデータを収集するステップＢと、収集されたデータを予め設定されたフォーマットに定型化し、収集されたデータに対するメタデータを生成するステップＣと、を含むことを特徴とする。

本発明によると、インターネット環境下で一般のウェブブラウザを介してアクセス可能である一般的データはもちろん、特殊なブラウザを介してアクセス可能である特殊データを収集することができる。さらに、本発明によると、マルチドメインに基づいて収集された大量のデータを処理して情報関連性を分析することができるといった効果がある。

本発明の実施形態に従い、マルチドメインから大量のデータを収集し、収集されたデータの関連性を分析するシステムの動作に関する説明図である。 本発明の実施形態に従い、トーアネットワークからデータを収集するためのシステムの構成に関する説明図である。 本発明の他の実施形態に従い、トーアネットワークからデータを収集するためのシステムの構成に関する説明図である。 本発明の実施形態に従い、トーアネットワークのデータを収集するための過程に関する説明図である。

本発明は、以下の実施形態の内容に限定されるものではなく、本発明の技術的要旨を逸脱しない範囲で様々な変形が加えられることは言うまでもない。また、実施形態について説明するにあたり、本発明の属する技術分野で広く知られており、本発明の技術的要旨と直接関連がない技術内容については説明を省略する。

一方、添付図面において、同一構成要素には同一符号が付与される。また、添付図面において、一部の構成要素を誇張したり、省略したり、概略的に示すこともある。これは、本発明の要旨に関連のない不要な説明を省略することにより、本発明の要旨を明確に説明するためである。

図１は、本発明の実施形態に従い、マルチドメインから大量のデータを収集し、収集されたデータの関連性を分析するシステムの動作に関する説明図である。

本発明の実施形態に係るシステムは、図１に示すように、一般的データ収集モジュール１１０、特殊データ収集モジュール１２０、データベース１２５、データ処理モジュール１３０、及び知識グラフ作成モジュール１４０を含んでいてもよい。

一般的データ収集モジュール１１０は、一般のウェブ環境に公開されたデータを収集する機能を果たす。本発明の好ましい実施形態によると、一般的データ収集モジュールは、犯罪または脅威に関する情報のソースに加重値をかけてデータを収集する。

例えば、悪意のあるコード、ポルノ、個人情報の取引などの違法な取引に関するデータを収集する場合には、一般的データ収集モジュール１１０は、違法な取引に関する一般のウェブサイトに記録された電子メールアカウント、当該電子メールアカウントに関連付けられたＳＮＳアカウント、当該ＳＮＳアカウントの投稿文に記録された他の電子メールアカウントまたは前記ウェブページ、前記投稿文に記録されたビットコイン取引アドレスなどを収集する方法で、違法な取引に関する情報１１９を収集する。収集された情報は、後述のデータ処理モジュール１３０及び知識グラフ作成モジュール１４０で精製され、意味または関係が推論される。

一方、悪意のあるコードのバイナリデータを収集する場合も考慮することができる。従来のセキュリティソリューションによると、クライアントデバイスにセキュリティプログラムがエージェントとしてインストールされ、デバイスに悪意のあるコードが流入されると、セキュリティプログラムが悪意のあるコードを収集する方法を取っていた。

ところが、近年の悪意のあるコードは、少数の特定のユーザを攻撃対象とする場合が多いので、従来のような方法では、セキュリティプログラムがすべての悪意のあるコードを収集することが困難であるといった問題がある。さらに、従来の方法によると、ユーザデバイスが感染してから、悪意のあるコードのバイナリデータが収集されるといった問題がある。

従って、本発明は、前記課題を解決するために、クライアントが悪意のあるコードに感染する前に悪意のあるソフトウェアを検出及び収集する方法を提供することを目的とする。そのため、本発明の実施形態によると、一般的データ収集モジュール１１０及び／または特殊データ収集モジュール１２０からデータソース１１３及びシードデータ１１６を収集し、それを用いて、悪意のあるコードの配布及び／または制御サーバから直接悪意のあるコードのバイナリデータ１１９を収集してもよい。

さらに詳しくは、一般的データ収集モジュールは、まず、一般のウェブ環境下でアクセス可能な信頼性の高いデータソースのリスト１１３を作成する。前記データソースの例としては、国内外のセキュリティ企業、セキュリティ団体が運用するウェブサイト、ブログ、レポート、及びＳＮＳアカウントが挙げられる。

それから、一般的データ収集モジュール１１０は、前記データソースのリストに該当するウェブページに存在するすべてのＵＲＬリンクをクロールし、悪意のあるコードに対するシードデータ１１６を収集する。

悪意のあるコードに対するシードデータは、大きく二つに分類することができる。

第１のシードデータは、侵害指標（Ｉｎｄｉｃａｔｏｒ Ｏｆ Ｃｏｍｐｒｏｍｉｓｅ）であり、ネットワークやデバイスのオペレーティングシステムで発見されたサイバー侵害事故における指標または証拠として活用されるデータを意味する。本発明の実施形態によると、前記第１のシードデータによって、任意のデバイスに対する悪意のあるコードの感染を確認することができる。

第２のシードデータは、Ｃｏｍｍａｎｄ＆Ｃｏｎｔｒｏｌ（Ｃ＆Ｃ）インフラストラクチャを有する悪意のあるコードを制御する制御サーバのＤＮＳに関連するデータであってもよい。Ｃ＆Ｃ構造の悪意のあるコードは、バイナリ内部に制御サーバのドメインアドレスを保存したり、ドメインアドレス生成ルーチンを含むことで、ドメインにマッピングされたＩＰアドレスを継続して変更する方法で動作する。このような方法で、悪意のあるコード制御サーバは、悪意のあるコードのバイナリファイルの再配布をすることなくＣ＆Ｃを変更できるように動作する。

本発明の実施形態に係る第１のシードデータは、悪意のあるソフトウェアの名前、悪意のあるソフトウェアのハッシュ値（ｍｄ５、ｓｈａ１、ｓｈａ２５６など）、悪意のあるコードを制御するＣｏｍｍａｎｄ＆Ｃｏｎｔｒｏｌ（Ｃ＆Ｃ）のＩＰアドレス、ドメインアドレス及びドメインアドレスの生成ルーチン、悪意のあるソフトウェアから生成されるファイルの名前と種類、悪意のあるソフトウェアのソースコード、行為及び悪意のあるコードの通信メッセージで発見されるシグネチャ、例えば、特有のメッセージ構造、開発者ＩＤ、及びコードスニペット（ｓｎｉｐｐｅｔ）の再利用ログなどが例として挙げられる。本発明の実施形態に係る第１のシードデータは、前記例示以外にも、任意の悪意のあるソフトウェアを特定することができるすべてのデータを含んでいてもよい。

第１のシードデータの収集のために、本発明の実施形態に係る一般的データ収集モジュール１１０は、データソースのリスト１１３に記録されたウェブページに存在するすべてのＵＲＬリンクをクロールしながら正規表現で検索し、ネットワークやデバイスのオペレーティングシステムで発見されたサイバー侵害事故の指標または証拠として活用することができるデータを抽出し、その情報が公開された日付とデータソースを併せて記録することで、第１のシードデータ１１６を作成する。

例えば、悪意のあるコードＲａｎｓｃａｍの場合、データソースの例としてＣｉｓｃｏ Ｔａｌｏｓブログ（ｈｔｔｐｓ：／／ｂｌｏｇ．ｔａｌｏｓｉｎｔｅｌｌｉｇｅｎｃｅ．ｃｏｍ／２０１６／０７／ｒａｎｓｃａｍ．ｈｔｍｌ）が挙げられる。一般的データ収集モジュールは、前記ブログからＲａｎｓｃａｍに対する第１のシードデータを抽出する。

例えば、クローラは、Ｃｉｓｃｏ Ｔａｌｏｓブログ（ｈｔｔｐｓ：／／ｂｌｏｇ．ｔａｌｏｓｉｎｔｅｌｌｉｇｅｎｃｅ．ｃｏｍ／２０１６／０７／ｒａｎｓｃａｍ．ｈｔｍｌ）から、Ｒａｎｓｃａｍソースコードのハッシュ値であるＳＨＡ２５６ハッシュ関数、悪意のあるソフトウェアが通信を試みたサーバのドメインアドレス及びＩＰアドレス、悪意のあるソフトウェアが生成したファイル名、及びドメイン登録者の電子メールアドレスをＲａｎｓｃａｍの侵害指標である第１のシードデータとして抽出する。

また、悪意のあるコード制御サーバのＤＮＳ情報に対する第２のシードデータは、データソースから収集したドメインにマッピングされるＩＰアドレスをモニターしながら、攻撃者が使用するＩＰアドレスのリストを取得する方法で抽出してもよい。それは、同じ攻撃者が新しい悪意のあるソフトウェアを配布する際に、同一または類似のＩＰアドレスのリストを使用する可能性が高いからである。

さらに詳しくは、前記第２のシードデータは、データソースから手動（Ｐａｓｓｉｖｅ）収集ＤＮＳレプリケーション（Ｒｅｐｌｉｃａｔｉｏｎ）情報を収集し、第１のシードデータに含まれているＣ＆ＣのＩＰアドレス及びドメインアドレスを検索し、検索結果に基づいてドメイン情報を抽出して、ＩＰアドレス、ドメインアドレス、ドメイン登録者情報、及び登録満了日などを解析（ｐａｒｓｉｎｇ）し、ドメイン情報と一緒に保存する方法で作成する。

それから、一般的データ収集モジュール１１０は、悪意のあるコードに対する第１のシードデータ及び第２のシードデータから取得した新しいＩＰアドレスとドメインアドレスを用いて、悪意のあるコード及び悪意のあるコードにアクセスするためのＵＲＬパス、悪意のあるコードのファイル、悪意のあるコードの開発者及びトレーダーに関するデータ１１９を収集する。

例えば、悪意のあるコードに対するデータソース、即ちネットワークセキュリティ企業またはセキュリティ団体が運用するＤＮＳ情報検索サービスからＤＮＳリフレクション情報を収集し、シードデータのＣ＆Ｃ ＩＰアドレス及びドメインアドレスを検索して、前記ＤＮＳリフレクション情報及びＣ＆Ｃ ＩＰアドレス、ドメインアドレスに記録された他のＩＰリンクを確認し、トラバースすべきリンクがなくなるまでトラッキングする方法で悪意のあるコードまでのＵＲＬパスを生成し、ＵＲＬパスに基づいて悪意のあるコードのバイナリファイルに対するＲａｗデータ１１９を取得する。

そのとき、悪意のあるコードの販売サイトは、隠された一般のウェブであるか、あるいは通常のブラウザではアクセスすることができないダークウェブをベースにすることがある。ダークウェブ上で悪意のあるコードが取引される場合には、特殊データ収集モジュール１２０で、その販売サイトのアドレス及び悪意のあるコードのファイルを取得してもよく、それに対する具体的な内容は、特殊データ収集モジュール１２０の説明において後述する。

さらに、データ処理モジュール１３０は、収集されたＲａｗデータから無効であるか、あるいは不要な情報をフィルタリングするために前処理を行い、収集されたデータが実際に悪意のあるコードに対応するか否かをラベリングする。データ処理モジュール１３０の動作については、後述する。

また、一般的データ収集モジュールは、当該悪意のあるコードに対する分析によって別の販売サイトのＵＲＬ情報を獲得し、販売サイトに記録された電子メールアカウント、前記電子メールアカウントと連動したＳＮＳアカウントを用いて、悪意のあるコードの開発者、トレーダーを追跡することのできるデータ１１９を取得する。

そのとき、悪意のあるコードに対する取引ビットコインを用いて行われた場合には、特殊データ収集モジュール１２０でビットコード取引データを取得してもよく、それに対する具体的な内容は、特殊データ収集モジュール１２０の説明において後述する。

また、特殊データ収集モジュール１２０は、別途のアクセス権が必要なディープウェブ、特定のブラウザでなければアクセスすることができないダークウェブ及び／または近年において違法な取引の取引手段となっている暗号通貨ネットワークからデータを収集する機能を果たしてもよい。

さらに詳しくは、特殊データ収集モジュール１２０は、アクセス権を要求するディープウェブの場合、陰性的なコミュニティ、ハッキングフォーラムなど、ウォッチリストに対するデータソース１１３を事前に作成し、データソースへのアクセス権を取得して、データソースから検索の基となるシードデータ１１６を収集し、シードデータに記録されたＩＰから、接続された他のＩＰリンクを確認し、トラバースするリンクがなくなるまでトラッキングする方法で、犯罪及び脅威に関連するセキュリティキーワードを含むディープウェブサーバに掲示されたデータ１１９を収集する。

ところが、ダークウェブの場合、一般的な方法による検索やクローラをネットワークで防御しているので、一般的な検索エンジンを利用することができないといった問題がある。さらに、違法な取引の手段である暗号通貨の場合、暗号化アルゴリズムとＰ２Ｐ（Ｐｅｅｒ ｔｏ Ｐｅｅｒ）ネットワークを用いて取引元帳が分散されて管理されるため、ダークウェブデータと同様に、一般的な検索エンジンを用いては取引元帳に対するデータを収集することができず、取引元帳データを収集するための別の装置が必要である。

従って、本発明の実施形態に係るデータ収集システム１２０は、ダークウェブのデータを収集するためのシステム２００及び取引元帳データを収集するためのシステムを構築してもよい。

図２は、本発明の実施形態に係るダークウェブデータを収集するためのシステムの構成に関する説明図である。

図２Ａの例において、本発明の実施形態に係るダークウェブデータを収集するためのシステム２００は、ダークウェブドメイン処理装置２２０、ダークウェブ情報処理装置２１０、及びダークウェブページデータベース２３０を含んでもよく、ドメイン処理装置２２０においてダークウェブの情報収集の対象となるドメインが決定されると、ダークウェブ情報収集装置２１０は、当該ドメインから取得したウェブサイトのあらゆる情報をデータベース２３０に保存する機能を果たしてもよい。

さらに詳しくは、本発明の実施形態に係るダークウェブドメイン処理装置２２０には、ドメイン収集器２２２、ドメイン状態追跡器２２３、ドメインデータベース２２４、及びドメイン分配器２２５を含んでいてもよい。

本発明の実施形態に係るドメイン情報収集器２２２は、ＦｒｅｓｈＯｎｉｏｎｓのようなトーア検索エンジンを用いてドメインアドレスを収集するか、あるいはダークウェブドメイン索引サイトに記録された情報を参考にしてドメインアドレスを収集し、ドメインアドレスデータベース２２４に保存する。

なお、トーアネットワークは、ネットワーク迂回と匿名化のために用いられるツールであり、オンラインブラックマーケットの多くがトーアネットワークのドメインに常駐している。このようなブラックマーケットは、追跡の可能性を下げるために頻繁にドメインアドレスを変更し、ウェブサイトを閉鎖したり、閉鎖されたウェブサイトを再度運営する特徴がある。

従って、本発明の実施形態に係るドメイン収集装置２２０は、図２Ｂに示すように、ドメイン状態追跡器２２３を含み、前記ドメイン状態追跡器２２３は、収集されたドメインアドレスの状態を予め設定された周期で確認する機能を果たす。

例えば、ドメイン状態追跡器２２3は、トーアのＳＴＥＭ ＡＰＩを用いて予め設定された周期で収集されたドメインの登録有無を確認する方法で、ドメインアドレスデータベースに存在するドメインの状態変更情報を確認する。即ち、収集されたドメインアドレスの閉鎖、運営、変更有無に対する情報を収集し、ドメインデータベース２２４は、ドメインの状態変更データをドメインアドレスデータに対するメタデータとして併せて保存する。

また、本発明の実施形態に係る分配器２２５は、ドメインの登録状況を参考にして、一番最近の登録が確認されたドメインから優先して分散クローラ２１５に分配するように動作する。これは、ドメインが頻繁に変更されるダークウェブの特性を考慮して、データ収集にかかる時間とリソースの無駄を最低限に抑えるためである。

さらに詳しくは、本発明の実施形態に係るドメイン分配器２２５は、ドメイン状態追跡器２２３で事前に把握したドメインの登録状況を参考にして、一番最近の登録が確認されたドメインから優先して分散クローラ２１５に分配する。

また、本発明の実施形態に係るドメイン分配器２２５は、分散クローラ２１５の各クローラインスタンスの状態を把握し、次にクロールするドメインを、クロールを完了したクローラインスタンスに直ちに割り当てる機能を果たしてもよい。これは、ドメインに接続されたウェブサイトの規模がそれぞれ異なることから、トーアネットワークの状態によってクロールにかかる時間が異なるためである。従って、本発明の実施形態に従い、ドメイン分配器２２５から動的にクローラインスタンスにドメインを割り当てると、分散クローラ２１５の利用効率（ｕｔｉｌｉｚａｔｉｏｎ）が極大化され、最も短い時間で多くのデータを収集することができるといった効果がある。

また、ほとんどのダークウェブのベースとなるトーアネットワークは、目的地まで一度に通信せずに、途中でトーアルータを実行している複数のクライアントノードを経てチャンネルを形成する構造を成している。よって、通常のブラウザに比べて通信速度が非常に遅い。さらに、匿名性を確保するために、ノードを経る度にパケットが暗号化されるため、パケットの経路を探し出すためには、ほとんどのノードを掌握しなければならない特徴がある。

これを解決するために、本発明の実施形態に係るダークウェブデータを収集するためのシステム２００は、ダークウェブ情報処理装置２１０を複数のトーアノードを運用するトーアプロキシミドルボックスの形で運用する特徴がある。これは、ダークウェブの構造上一般的なクローラは動作しないので、ダークウェブアーキテクチャを構成するトーアノードを直接運用してデータを収集するためである。

さらに、本発明の実施形態に係るトーアプロキシミドルボックス形のダークウェブ情報処理装置２１０は、少なくとも１つのトーアノードコンテナ２１２を構成し、コンテナ２１２に複数のトーアクライアントノード２１３を運用して、それぞれのノードにネットワークカード、ＮＩＣ２１４及びウェブプロキシ２１６のネットワーク機能を提供する。

また、複数の分散クローラ２１５を並列的に運用して動作し、分散クローラ２１５の動作に応じて発生する大量のダークウェブトラフィックを、ロードバランサ２１７及びウェブプロキシ２１６を介して直接運用しているトーアクライアントノード２１３に割り当てる。

トーアネットワークの構造及び遅い速度を考慮すると、トーアネットワークのドメインにアクセスして大量の情報を収集する処理を行うと、深刻なボトルネックが発生するといった問題がある。本発明の前記アーキテクチャは、ボトルネックになることなく分散クローラ２１５で発生するすべての要求をダークウェブに伝達し、ダークウェブから返ってくる応答を分散クローラ２１５に伝達するために考案されたものである。

さらに詳しくは、ダークウェブデータ収集における障害となる第１のボトルネックは、データ処理装置、即ち、ミドルボックス２１０が配置されたネットワーク環境によって発生する。例えば、ミドルボックス２１０にネットワークを提供するネットワーク機器の性能が十分でないか、あるいはＩＰベースの帯域幅制限など、ネットワークポリシーによって帯域幅が制限される場合、ボトルネックが発生する。

これを解決するために、本発明の実施形態に係るトーアプロキシミドルボックス２１０は、１つの物理サーバに複数のネットワークカード（ＮＩＣ；２１４）を配置し、複数のパブリックＩＰを割り当てることで、ダークウェブへのトラフィックを物理的に分散処理することができる。トラフィックを分散処理するために、ミドルボックスは、複数のトーアクライアント２１３を含む複数の仮想コンテナ２１２を運用する。

それから、ミドルボックスは、入ってくるダークウェブトラフィックをロードバランシング（ｌｏａｄ ｂａｌａｎｃｉｎｇ；２１７）して各コンテナに伝達し、各コンテナは、各ＮＩＣを介してダークウェブに要求を伝達するように設定され、物理的なボトルネックを解決する。

ダークウェブデータ収集における障害となる第２のボトルネックは、トーアクライアントが複数の要求を並列処理する際に発生する。１つのトーアクライアントによってダークウェブに対する分散クローラの複数の要求を処理すると、負荷が発生するためである。

これを解決するために、本発明の実施形態に係るトーアプロキシミドルボックス２１０は、複数の仮想コンテナを運用し、それぞれのコンテナは、複数のトーアクライアントを運用する構造で実現することができる。これによると、各コンテナは、受け渡された要求を運用している複数のトーアクライアントに分散伝達することで、トーアクライアントで発生するボトルネックを解決することができるといった効果がある。

図３は、本発明の実施形態に従い、ダークウェブデータを収集するためのシステム２００においてトーアネットワークのデータを収集する過程に関する説明図である。

本発明の実施形態に係るダークウェブデータ収集システム２００は、まず、トーアネットワークのドメインリストを収集する（ステップ３３０）。

そのために、本発明の実施形態に係るダークウェブデータ収集システム２００のデータ収集装置２００は、Ａｈｍｉａ及びＦｒｅｓｈＯｎｉｏｎｓのようなトーア検索エンジンまたはダークウェブインデックスサイトを用いて、ドメインアドレスを収集する。

さらに、収集したドメインアドレスをシードとして、当該アドレスからテキストコンテンツをクロールし、ダークウェブページに埋め込まれたリンクを辿ってトラバースするリンクがなくなるまでトラッキングする方法で、トーアネットワークのドメインアドレスを収集する。

ステップ３５０において、ダークウェブデータ収集システム２００は、収集されたドメインアドレスの状態を予め設定された周期で確認する。例えば、トーアのＳＴＥＭ ＡＰＩを用いて当該ドメインが運営されているか、それとも閉鎖されているかを確認したり、あるいは当該ドメインで運営するウェブページの内容が追加・削除・変更されたか否かを確認し、当該ドメインに対するメタデータに状態変更情報を記録する。

それから、ダークウェブデータ収集システム２００は、分散クローラ及び複数のトーアノードを運用する複数のコンテナを実現し、収集されたドメインを分散クローラに割り当てる（ステップ３７０）。

さらに詳しくは、本発明の実施形態に係るダークウェブデータ収集システム２００は、事前に把握したドメインの登録状況を参考にして、一番最近の登録が確認されたドメインから優先して分散クローラに割り当てるか、あるいは分散クローラを構成する各クローラインスタンスの状態を把握し、次にクロールするドメインを、クロールを完了したクローラインスタンスに動的に割り当てる。

それ以降クローラの動作に応じて発生するトラフィックは、ロードバランサを介して各コンテナに伝達され、各コンテナは接続されたＮＩＣを介してダークウェブに要求を伝達して、クローラは、当該ドメインで運営するダークウェブページ全体を収集し、それをデータベースに記録する（ステップ３９０）。

図１の説明に再び戻ると、特殊データ収集モジュール１２０には、暗号通貨取引データ収集モジュールが含まれてもよい。

暗号通貨取引データ収集モジュールは、任意の暗号通貨に対応するブロックチェーンの分散元帳情報を収集し、前記分散元帳情報から抽出したブロックチェーンデータを定型化する機能を果たす。

さらに詳しくは、暗号通貨取引データ収集モジュールは、少なくとも１つの暗号通貨クライアントを運用し、それを実行してブロックチェーンの分散元帳情報を収集する。暗号通貨クライアントを実行するか否かは、ユーザの要求によって行われる。

暗号通貨取引データ収集モジュールは、暗号通貨クライアントがＡＰＩを提供する場合、暗号通貨クライアントのＡＰＩに取引情報を要求し、要求に対応する分散元帳情報を収集してもよい。仮に暗号通貨クライアントが外部ＡＰＩを提供しない場合には、暗号通貨取引データ収集モジュールは、暗号通貨クライアントが管理するブロックデータを解析（ｐａｒｓｉｎｇ）して、分散元帳情報を収集してもよい。

収集された分散元帳情報は、データ処理モジュール１３０で分析されてもよい。例えば、データ処理モジュール１３０は、分散元帳情報に含まれる暗号通貨アドレスの所有者推定のために、前記暗号通貨アドレスをグループ化する。

暗号通貨アドレスのグループ化には、１つの取引に含まれる複数の入力アドレスをグループ化するマルチ入力ヒューリスティックアルゴリズムと、取引に用いられている秘密鍵（ｐｒｉｖａｔｅ ｋｅｙ）を用いて、同じアドレスを含む複数のグループを１つのグループにグループ化するグループ統合アルゴリズムと、送金後の残高が返金されるアドレスを用いて、同じ所有者であると推定される複数のアドレスをグループ化するアドレス変更ヒューリスティックアルゴリズムとのうち少なくとも１つを用いてもよく、その他にも、ユーザが定義したヒューリスティックアルゴリズムが用いられてもよく、ユーザコマンドによってアドレスのフィルタリング及び／またはアドレスグループ化が行われてもよい。

また、図１の例では、一般的データ収集モジュール１１０及び特殊データ収集モジュール１２０の動作により収集されたデータベース１２５は、マルチドメインから収集されたデータであるため非定型の状態である可能性がある。従って、大量の非精製データを前処理する過程が必要であり、その機能は、データ処理モジュール１３０で果たされる。

さらに詳しくは、本発明の実施形態に係るデータ処理モジュール１３０は、収集された大量のデータを類型別に他の技術を適用して情報を抽出且つ加工する機能を果たし、データ分析モジュール１３３、データ加工モジュール１３６、及びメタデータ生成モジュール１３８を含んでいてもよい。

例えば、収集したデータが整形または非定型文書である場合、データ分析モジュール１３３は、収集された文書に自然言語処理技術を適用して意味を把握し、データ加工モジュール１３6は、非定型文書の形を予め設定されたフォーマットに基づいて定型化する。別の例として、収集したデータが画像である場合、データ分析モジュール１３３は、当該ファイルの画像を抽出し、画像処理（ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ）によって画像の内容を把握することができる。同時にデータ加工モジュール１３６は、抽出された画像からＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）技術を活用してテキストを抽出し、これを予め設定されたフォーマットに基づいて定型化する。さらに、メタデータ生成モジュール１３８は、分析対象画像の作成者、作成時刻、ソースドメイン情報などに対するメタデータを生成する。

また、収集したデータが実行可能ファイルである場合、データ分析モジュール１３３は、実行可能ファイルの内容を分析して悪意のあるコードであるか否かを判断し、データ加工モジュール１３６は、当該実行可能ファイルが収集されたドメイン情報に基づいて、悪意のあるコードにアクセスするための複数のＵＲＬパスを生成する。さらに、メタデータ生成モジュール１３８は、悪意のあるコードのハッシュ、ファイルの種類、それぞれのＵＲＬパスの悪意のあるコードアクセスカウンタ情報に対するメタデータを生成する。

このようなデータ処理は、知識グラフ作成モジュール１４０の要求に応じて行われる。即ち、データ加工モジュール１３６は、知識グラフのフォーマットに基づいて、マルチドメインで収集された情報を知識グラフに記録することのできる形に定型化し、データ分析モジュール１３３は、知識グラフに基づいて収集された情報からオブジェクトを抽出する。

例えば、収集したデータが暗号通貨取引の記録、即ち分散元帳情報である場合、データ分析モジュール１３３は、分散元帳に含まれていない追加情報を取得するために、分散元帳情報を分析する。例えば、収集された分散元帳情報に含まれる暗号通貨アドレスの所有者推定のために、前記暗号通貨アドレスをグループ化する。

暗号通貨アドレスのグループ化には、１つの取引に含まれる複数の入力アドレスをグループ化するマルチ入力ヒューリスティックアルゴリズムと、取引に用いられている秘密鍵（ｐｒｉｖａｔｅ ｋｅｙ）を用いて、同じアドレスを含む複数のグループを１つのグループにグループ化するグループ統合アルゴリズムと、送金後の残高が返金されるアドレスを用いて、同じ所有者であると推定される複数のアドレスをグループ化するアドレス変更ヒューリスティックアルゴリズムとのうち少なくとも１つを用いてもよく、その他にも、ユーザが定義したヒューリスティックアルゴリズムが用いられてもよく、ユーザコマンドによってアドレスのフィルタリング及び／またはアドレスグループ化が行われてもよい。

マルチ入力ヒューリスティックアルゴリズムは、１つの取引に複数の入力アドレスと複数の出力アドレス（または対象アドレス）が用いられ得る暗号通貨取引の属性を利用したものである。１つの取引に入力アドレス（ｐｕｂｌｉｃ ａｄｄｒｅｓｓ）ａ、ｂ、ｃが含まれている場合、ａ、ｂ、ｃは、同じ所有者の口座である可能性が高い。従って、ブロックチェーンデータ分析モジュール１１５は、ａ、ｂ、ｃを所有者Ｘのアドレスとしてグループ化（ｇｒｏｕｐｉｎｇ）する。

グループ統合アルゴリズムは、所有者が秘密鍵を所有しなければ取引の入力を生成することができないという点を利用したもので、入力アドレスａ、ｂ、ｃが含まれている取引１と、入力アドレスｃ、ｄ、ｅが含まれている取引２が存在する場合、ａ、ｂ、ｃ、ｄ、ｅの所有者が同じであると推定することができる。従って、この場合には、データ分析モジュール１３３は、アドレスａ、ｂ、ｃ、ｄ、ｅを所有者Ｘのアドレスとしてグループ化する。

アドレス変更ヒューリスティックアルゴリズムは、暗号通貨取引が行われるたびに残高返金のためのアドレスが新たに生成される特徴を利用したものである。例えば、アドレスａに１０ ＵＴＸＯ（ｕｎｓｐｅｎｔ ｔｒａｎｓａｃｔｉｏｎ ｏｕｔｐｕｔ）を所有したＸがＹに８ ＵＴＸＯを送金するとき、Ｘには新しいアドレスａ´が生成され、ａ´に残高の２ ＵＴＸＯが入金される。従って、ブロックチェーンデータ分析モジュール１１５は、ａとａ´を同じ所有者のものと判断することができ、ａとａ´は、所有者Ｘのアドレスとしてグループ化される。

データ加工モジュール１３６は、分散元帳情報及び前記データ分析モジュールから分析した暗号通貨アドレスのグループ情報が含まれるブロックチェーンデータを予め設定された基準に基づいて定型化してもよい。分散元帳情報には、ブロックの生成時間、入力／出力金額、取引手数料、前のブロック、次のブロックなどの暗号通貨ブロックデータ、取引量、手数料、入力／出力暗号通貨アドレスなどのブロック内の取引情報が含まれてもよく、それは、メタデータ１３８として管理されてもよい。故に、定型化されたブロックチェーンデータには、様々な暗号通貨の分散元帳情報に含まれた暗号通貨ブロックデータと、ブロック内の取引情報とが含まれてもよく、暗号通貨の種類とデータ分析モジュール１３３で分析した暗号通貨アドレスのグループ情報が含まれてもよい。

また、図１の例において、知識ベースのグラフモジュール１４０は、精製されたデータを知識グラフの形で構築し、オブジェクト間の関係、関連性を把握する機能を果たしてもよい。知識ベースのグラフは、ノードとエッジで構成される。

さらに詳しくは、ＫＢグラフモジュール１４０は、知識グラフにおいてノードとして動作するオブジェクトに対するモデルを事前に作成し、本発明の実施形態に係るノードモデルは、コンセプトとインスタンスに区分されてツリー形式で作成され、例えば、前述のシードデータ、ＤＮＳ、悪意のあるコード、ビットコイン取引アドレスなどに対するデータのそれぞれを意味する。ラベルを用いて、当該ノードの詳細情報をインデックスする。

前記ノードモデルは、人、職業、場所、国、会社などのグローバルドメインに対して作成されるか、あるいは脆弱点、プロダクト、サイバー攻撃などの特定のドメインに対して作成される。そのとき、グラフ作成モジュール１４０は、互いに異なる種類のデータを区別するために、ノードのラベルを設定する。前記ラベルには、ノードの属性情報が含まれる。

さらに、ＫＢグラフモジュール１４０は、知識グラフのノード間の関係を説明するエッジの内容を記録してもよい。エッジは、ノードとオブジェクトとの間の関連性を示す。そのとき、すべてのエッジは、方向性を含んでおり、関連性の種類によってエッジにラベルを設定する。

さらに、ＫＢグラフモジュール１４０は、知識グラフを拡大するために、マルチドメインから収集されたデータベース１２５を活用してもよい。例えば、グラフ作成モジュール１４０は、データ処理モジュール１３０に要求して、データベースに記録された情報を、自然言語処理技術を適用して文章の構造を把握し、文章に含まれているオブジェクト同士の関係を確認する。

ＫＢグラフモジュール１４０は、それを踏まえてデータ処理モジュール１３０に要求して収集されたデータからオブジェクト及び／またはオブジェクト間の関係に対する情報を抽出し、それを知識グラフにノードまたはエッジの形で追加することで、タクソノミーグラフ（Ｔａｘｏｎｏｍｙ Ｇｒａｐｈ）を拡張するか、あるいは事前に作成された知識グラフにマッピングされるエンティティグラフ（Ｅｎｔｉｔｙ Ｇｒａｐｈ）を作成する。

さらに、ＫＢグラフモジュール１４０は、ＫＢグラフに基づいて、オブジェクト同士の関連性を分析するか、あるいは任意のイベントを予測する。

例えば、ＫＢグラフモジュール１４０は、ＫＢグラフを多層（ｍｕｌｔｉ－ｌａｙｅｒ）で構成する。例えば、暗号通貨取引記録の場合には、グラフ作成モジュール１４０は、データ処理モジュール１３０で処理（ｐｒｏｃｅｓｓｉｎｇ）した定型化されたブロックチェーンデータを用いて暗号通貨取引に対する第１の知識グラフを構築し、定型化されたマルチドメインデータを用いて、例えば、悪意のあるコード取引に対する第２の知識グラフを構築し、前記第１の知識グラフと第２の知識グラフをマッピングして多層ベースの取引分析知識グラフを生成する。

そのとき、第１の知識グラフである暗号通貨ネットワークグラフは、定型化されたブロックチェーンデータから抽出した第１のオブジェクトまたは第１の属性で第１のノードを生成し、各ノード間の関係（ｅｄｇｅ）を用いて暗号通貨ネットワークグラフを構築してもよい。例えば、暗号通貨入力アドレス（オブジェクトノード）－送付金額（エッジ）－暗号通貨出力アドレス（オブジェクトノード）のようなネットワークグラフや、グループ情報が反映された所有者Ｘ（オブジェクトノード）－送付金額（エッジ）－ランサムウェア（属性ノード）のようなネットワークグラフが生成される。

さらに、知識グラフ生成モジュール１５３は、定型化されたマルチドメインデータから抽出した第２のオブジェクトまたは第２の属性で第２のノードを生成し、各ノード間の関係（ｅｄｇｅ）を用いて第２の知識グラフを構築してもよい。例えば、知識グラフ生成モジュール１５３は、ウェブページから抽出したプロフィールデータを用いてユーザＩＤ（オブジェクトノード）－所有（エッジ）－暗号通貨アドレス（オブジェクトノード）のようなノード及びエッジを生成し、ウェブページから抽出した販売データを用いて暗号通貨アドレス（オブジェクトノード）－入金（エッジ）－製品（オブジェクトノード）のようなノードとエッジを生成することで、第２の知識グラフを構築する。第２の知識グラフもまた、暗号通貨取引記録に対する第１の知識グラフのように少なくとも１つの層に表示され、多層構造を有してもよい。各層の知識グラフは、互いに異なるカテゴリに属してもよい。

知識グラフ作成モジュール１４０は、互いに対応する第１のノードと第２のノードをマッピングして取引分析知識グラフを生成してもよい。例えば、暗号通貨ネットワークグラフの第１の層に含まれているノード（Ａ）がアドレスａに対応し、ノード（Ｂ）がアドレスｂに対応し、２つのアドレスは、同じグループに属する関係であり、知識グラフの層＃１に含まれているノード（Ｃ）が、暗号通貨アドレスｂである場合を考慮する。

ノード（Ｂ）とノード（Ｃ）は、同じ情報を含むため、相互マッピングされる。即ち、知識グラフは、暗号通貨取引記録に対する第１の知識グラフと第２の知識グラフのノードが相互マッピングされた多層構造を有するので、取引分析知識グラフを用いると、第２の知識グラフの構成要素を介して、暗号通貨ネットワークに対する第１の知識グラフの構成要素を解析する作業が可能である。例えば、ノード（Ｃ）が、ユーザＩＤを表すノード（Ｄ）と所有者エッジに接続されている場合、アドレスａとｂの所有者は、ノード（Ｄ）に対応するユーザＩＤを有する人であると推論する。

本明細書と図面に示す本発明の実施形態は、本発明の技術内容を分かりやすく説明して本発明の理解を助けるために特定の例を提示したものにすぎず、本発明を限定するものではない。ここに示した実施形態以外にも、本発明の技術的思想に基づいた他の変形例が実施可能であることは、本発明の属する技術分野における通常の知識を有する者にとって明らかであろう。

Claims (6)

1. データ収集装置がデータを収集する方法であって、
   一般のウェブブラウザではアクセスすることができず、予め設定された特定のソフトウェアを用いてアクセスすることができ、ネットワークのルーティング機能を果たすネットワークノードを少なくとも１つランダムに接続することでチャンネルが形成されるネットワークに属するダークウェブサイトから分散クローラを用いてデータを収集するステップＡと、
   収集されたデータを予め設定されたフォーマットに定型化し、収集されたデータに対するメタデータを生成するステップＢと、を含み、
   前記ステップＡが、
   前記ネットワークのドメイン情報を収集するステップと、
   収集されたドメインの変更有無を確認し、一番最近の登録が確認されたドメインから優先して前記分散クローラに割り当てるステップと、
   前記ルーティング機能を果たすネットワークノードを複数運用し、前記分散クローラの要求を複数の前記ネットワークノードで処理し、任意のドメインに該当するダークウェブからデータを収集するステップと、を含むことを特徴とする、データ収集方法。
2. データ収集装置がデータを収集する方法であって、
   一般のウェブブラウザではアクセスすることができず、予め設定された特定のソフトウェアを用いてアクセスすることができ、ネットワークのルーティング機能を果たすネットワークノードを少なくとも１つランダムに接続することでチャンネルが形成されるネットワークに属するダークウェブサイトから分散クローラを用いてデータを収集するステップＡと、
   収集されたデータを予め設定されたフォーマットに定型化し、収集されたデータに対するメタデータを生成するステップＢと、を含み、
   前記ステップＡが、
   前記ネットワークのドメイン情報を収集するステップと、
   収集されたドメインの変更有無を確認し、一番最近の登録が確認されたドメインから優先して前記分散クローラに割り当てるステップと、
   前記ルーティング機能を果たすネットワークノードを複数運用し、前記分散クローラの要求を複数の前記ネットワークノードで処理し、任意のドメインに該当するダークウェブからデータを収集するステップと、を含み、
   知識ベースのグラフを作成し、定型化されたデータ及び前記メタデータに基づいて、前記知識ベースのグラフを更新し、知識ベースのグラフに基づいて犯罪を追跡するステップＣを含むことを特徴とする、データ収集方法。
3. データ収集装置がデータを収集する方法であって、
   一般のウェブブラウザではアクセスすることができず、予め設定された特定のソフトウェアを用いてアクセスすることができ、ネットワークのルーティング機能を果たすネットワークノードを少なくとも１つランダムに接続することでチャンネルが形成されるネットワークに属するダークウェブサイトから分散クローラを用いてデータを収集するステップＡと、
   収集されたデータを予め設定されたフォーマットに定型化し、収集されたデータに対するメタデータを生成するステップＢと、を含み、
   前記ステップＡが、
   前記ネットワークのドメイン情報を収集するステップと、
   収集されたドメインの変更有無を確認し、一番最近の登録が確認されたドメインから優先して前記分散クローラに割り当てるステップと、
   前記ルーティング機能を果たすネットワークノードを複数運用し、前記分散クローラの要求を複数の前記ネットワークノードで処理し、任意のドメインに該当するダークウェブからデータを収集するステップと、を含み、
   前記ステップＡの前に、
   悪意のあるコードに対する信頼性の高い情報が記録された、一般のウェブ環境下でアクセス可能なデータソースのリストを作成するステップと、
   前記データソースのリストに該当するウェブページに存在するＵＲＬリンクをクロールし、ネットワークまたはデバイスのオペレーティングシステムにおいて悪意のあるコード攻撃の指標として活用される第１のシードデータを収集するステップと、
   前記データソースから収集したドメインにマッピングされるＩＰアドレスをモニターするか、あるいは前記第１のシードデータに含まれているドメイン情報またはＩＰアドレス情報をモニターし、Ｃｏｍｍａｎｄ＆Ｃｏｎｔｒｏｌ（Ｃ＆Ｃ）インフラストラクチャを有する悪意のあるコードを制御するサーバのＤＮＳ情報に対する第２のシードデータを収集するステップと、
   前記第１のシードデータ及び前記第２のシードデータから取得したドメイン情報または新しいＩＰアドレス情報を結合して特定の悪意のあるコードにアクセスするためのＵＲＬパスを少なくとも１つ作成し、悪意のあるコードのバイナリデータを収集するステップと、を含むことを特徴とする、データ収集方法。
4. 前記分散クローラに割り当てるステップが、
   予め設定された周期で収集されたドメインアドレスの閉鎖、運営、及び／または変更有無に対する状態情報を収集し、前記状態情報を、前記収集されたドメインアドレスに対するメタデータとして生成するステップと、
   前記状態情報から一番最近の登録が確認されたドメインから優先して前記分散クローラに割り当てるステップと、を含むことを特徴とする、請求項３に記載のデータ収集方法。
5. 前記分散クローラに割り当てるステップが、
   前記分散クローラを構成するクローラインスタンスのうち、クロールを完了したクローラインスタンスに、次にクロールするドメインを割り当てるステップを含むことを特徴とする、請求項４に記載のデータ収集方法。
6. 前記分散クローラに割り当てるステップが、
   少なくとも１つのトーアノードコンテナを構成し、前記コンテナに複数のネットワークカードを設定するステップと、
   前記コンテナのそれぞれに複数のトーアノードクライアントを実行し、前記トーアノードクライアントにウェブプロキシ機能及びロードバランシング機能を提供するステップと、
   前記ロードバランシング機能及びウェブプロキシ機能を介して、前記分散クローラの動作に応じて発生する大量のダークウェブトラフィックを前記トーアノードクライアントに割り当てるステップと、を含むことを特徴とする、請求項５に記載のデータ収集方法。