JP5876144B2 - デジタル情報分析システム、デジタル情報分析方法、及びデジタル情報分析プログラム - Google Patents
デジタル情報分析システム、デジタル情報分析方法、及びデジタル情報分析プログラム Download PDFInfo
- Publication number
- JP5876144B2 JP5876144B2 JP2014511634A JP2014511634A JP5876144B2 JP 5876144 B2 JP5876144 B2 JP 5876144B2 JP 2014511634 A JP2014511634 A JP 2014511634A JP 2014511634 A JP2014511634 A JP 2014511634A JP 5876144 B2 JP5876144 B2 JP 5876144B2
- Authority
- JP
- Japan
- Prior art keywords
- digital information
- information
- keywords
- sample
- weighting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
- G06F16/313—Selection or weighting of terms for indexing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
(デジタル情報分析システム1の概要)
本実施の形態に係るデジタル情報分析システム1は、ユーザー端末若しくはサーバー等の情報処理装置2に格納されている複数のデジタル情報のうち、予め定められた特定事項に関連性のあるデジタル情報に対して自動的にスコア付けをし、特定事項に関連性のあるデジタル情報を高精度で全自動的に抽出するシステムである。ここで、予め定められた特定事項は、例えば、訴訟やカルテル等に関連することを示す情報である。そして、本実施の形態に係るデジタル情報分析システム1は、一例として、不正アクセスや機密情報漏洩等のコンピュータに関する犯罪や法的紛争が生じた場合に、犯罪や紛争の原因究明や捜査に要する電子的記録であるデジタル情報を収集及び分析し、その法的な証拠性を明らかにする技術であるフォレンジックに適用できる。なお、デジタル情報とは、例えば、文章情報を含む文書ファイル、テキストファイル、又は電子メール等である。
図1は、本実施の形態に係るデジタル情報分析システムの機能構成ブロックの一例を示す。
キーワードデータベース100は、予め定められた特定事項と関連性を有する複数のキーワードと、複数のキーワードそれぞれに対応づけられる重み付け情報とを格納する。本実施の形態においてキーワードは、単語、複数の形態素、若しくは複数の共起表現等のいずれか若しくは複数を含む。すなわち、キーワードデータベース100は、予め定められた特定事項に関連する複数のキーワードのそれぞれ、及び/又は複数のキーワードの組合せに、予め定められた特定事項との関連性の高低を示す重み付け情報を対応づけて格納する。キーワードデータベース100は、スコア付け部120からの働きかけに応じ、格納している情報をスコア付け部120に供給する。また、キーワードデータベース100は、情報更新部140に制御され、格納している重み付け情報を新たな重み付け情報に置き換える。
抽出部110は、情報処理装置2に格納されているデジタル情報を情報処理装置2から抽出する。抽出部110は抽出したデジタル情報をスコア付け部120及び標本デジタル情報抽出部130に供給する。
スコア付け部120は、キーワードデータベース100に格納されている複数のキーワードのそれぞれと、複数のキーワードのそれぞれに対応づけられている重み付け情報とに基づいて、テキストデータを含む複数のデジタル情報それぞれにスコアを対応づける。具体的に、スコア付け部120は、情報処理装置2に格納されているデジタル情報が抽出された場合に、形態素解析により当該デジタル情報内のテキストデータを解析し、キーワードデータベース100に格納されている複数のキーワードの組合せが抽出されたファイルに含まれているか否かを判断する。
標本デジタル情報抽出部130は、スコア付け部120が対応づけたスコアに基づいて、複数のデジタル情報から標本となる標本デジタル情報を抽出する。具体的に、標本デジタル情報抽出部130は、抽出部110に働きかけて、予め定められた条件を満たすデジタル情報であって抽出部110が情報処理装置2から抽出するデジタル情報を標本デジタル情報として抽出する。標本デジタル情報抽出部130は、1以上のデジタル情報を標本デジタル情報として抽出できる。例えば、標本デジタル情報抽出部130は、予め定められたスコア以上のスコアが対応づけられているデジタル情報や、スコアの上位から予め定められた数の複数のデジタル情報を標本デジタル情報として抽出する。標本デジタル情報抽出部130は、抽出した標本デジタル情報を情報更新部140及び/又は出力部150に供給する。
情報更新部140は、標本デジタル情報抽出部130において抽出された標本デジタル情報を解析することで、キーワードデータベース100に格納されている重み付け情報を更新する。情報更新部140は、例えば、抽出された標本デジタル情報の内容(すなわち、テキストデータ)を形態素解析する。そして、情報更新部140は、形態素解析の結果に基づいて、予め定められた特定事項と関連性を有する形態素若しくは共起表現の情報を抽出する。次に、情報更新部140は、抽出された形態素若しくは共起表現の使用回数、使用頻度等、及び/又はこれらの形態素若しくは共起表現を含む標本デジタル情報のスコア等に基づいて、抽出された形態素若しくは共起表現の重み付け情報を再計算する。そして、情報更新部140は、再計算して算出された重み付け情報を用いて、キーワードデータベース100に格納されている重み付け情報を更新する。情報更新部140は、更新した重み付け情報を新たな重み付け情報としてキーワードデータベース100に格納する。
出力部150は、抽出部110の抽出結果、標本デジタル情報抽出部130の抽出結果、及び/又は情報更新部140の更新結果に関連する情報等を出力する。例えば、出力部150は、外部からの指示に応じ、これらの情報をユーザーに知覚可能に出力する。出力部150は、デジタル情報等の情報を表示可能なディスプレイ等の表示装置、及び/又はデジタル情報等の情報を所定の媒体に出力するプリンター等の出力装置である。更に、出力部150は、出力する情報を磁気記録媒体、光学記録媒体等の記録媒体に記録することで出力することもできる。
図2は、情報処理装置の機能構成ブロックの一例を示す。
図3は、本発明の実施の形態に係るデジタル情報分析システムの処理の流れの一例を示す。
本実施の形態に係るデジタル情報分析システム1は、予め定められた特定事項に関連性を有する各種キーワードと各種キーワードの重み付け情報とをキーワードデータベース100に予め格納することができる。そして、デジタル情報分析システム1は、キーワードデータベース100に格納されている情報を用いてデジタル情報を抽出した上で、抽出したデジタル情報から標本デジタル情報を抽出し、抽出した標本デジタル情報を用いて重み付け情報を更新することができる。これにより、デジタル情報分析システム1は、外部からの指示を要さずに、予め定められた特定事項と所定の関係性を有するデジタル情報を全自動で抽出、特定することができる。
2 情報処理装置
100 キーワードデータベース
110 抽出部
120 スコア付け部
130 標本デジタル情報抽出部
140 情報更新部
150 出力部
200 デジタル情報格納部
210 情報出力部
1500 CPU
1510 チップセット
1520 グラフィックコントローラ
1530 メモリ
1540 記憶装置
1545 読込/書込み装置
1550 通信インターフェース
1560 入力装置
Claims (5)
- 予め定められた特定事項と関連性を有するものであって、単語、複数の形態素、若しくは複数の共起表現のいずれか若しくは複数を含む複数のキーワードと、前記複数のキーワードそれぞれに対応づけられているキーワードに関する特定事項との関連性が高いほど大きな重み付けになる重み付け情報とを格納するキーワードデータベースと、
前記複数のキーワードそれぞれと、前記複数のキーワードのそれぞれに対応づけられている前記重み付け情報とに基づいて、テキストデータを含む複数のデジタル情報それぞれに、前記複数のキーワードの組合せが予め定められた特定事項との関連性の高低を示す数値であるスコアを対応づけるスコア付け部と、
前記スコア付け部によって前記数値が大きいほど関連性が高くなるようにスコア付けをした複数のデジタル情報から、予め定められた条件をクリアする仮のデジタル情報として、形態素若しくは共起表現を含む標本となる標本デジタル情報を抽出する標本デジタル情報抽出部と、
抽出された前記標本デジタル情報の内容を形態素解析することで、前記キーワードデータベースに格納されている前記重み付け情報に対する重み付けの大きさを更新する情報更新部と、を備え、
前記スコア付け部は、前記情報更新部により更新された新たな重み付け情報を用いて複数のデジタル情報それぞれに新たなスコアを対応づけ、
前記標本デジタル情報抽出部は、前記情報更新部により更新された新たなスコアに基づいて、新たな標本デジタル情報を抽出し、
前記情報更新部は、前記標本デジタル情報抽出部が抽出した前記新たな標本デジタル情報を用いて前記キーワードデータベースに格納されている前記重み付け情報に対する重み付けの大きさを再び更新するものであって、更に、予め定められた終了条件として、前記更新後の重み付け情報と更新前の重み付け情報との差分が予め定められた範囲内におさまる条件をもって前記更新を終了するデジタル情報分析システム。 - 前記標本デジタル情報抽出部が、予め定められた条件を満たすデジタル情報を前記標本デジタル情報として抽出する請求項1記載のデジタル情報分析システム。
- 前記予め定められた特定事項が、訴訟又はカルテルに関係することを示す情報である請求項1又は請求項2に記載のデジタル情報分析システム。
- 予め定められた特定事項と関連性を有するものであって、単語、複数の形態素、若しくは複数の共起表現のいずれか若しくは複数を含む複数のキーワードと、前記複数のキーワードそれぞれに対応づけられているキーワードに関する特定事項との関連性が高いほど大きな重み付けになる重み付け情報とを格納するキーワードデータベースを備えるデジタル情報分析システムにおけるデジタル情報分析方法であって、
前記複数のキーワードそれぞれと、前記複数のキーワードのそれぞれに対応づけられている前記重み付け情報とに基づいて、テキストデータを含む複数のデジタル情報それぞれに、前記複数のキーワードの組合せが予め定められた特定事項との関連性の高低を示す数値であるスコアを対応づけるスコア付け段階と、
前記スコア付け段階によって前記数値が大きいほど関連性が高くなるようにスコア付けをした複数のデジタル情報から、予め定められた条件をクリアする仮のデジタル情報として、形態素若しくは共起表現を含む標本となる標本デジタル情報を抽出する標本デジタル情報抽出段階と、
抽出された前記標本デジタル情報の内容を形態素解析することで、前記キーワードデータベースに格納されている前記重み付け情報に対する重み付けの大きさを更新する情報更新段階と、を有し、
前記スコア付け段階は、前記情報更新段階により更新された新たな重み付け情報を用いて複数のデジタル情報それぞれに新たなスコアを対応づけ、
前記標本デジタル情報抽出段階は、前記情報更新部により更新された新たなスコアに基づいて、新たな標本デジタル情報を抽出し、
前記情報更新段階は、前記標本デジタル情報抽出段階が抽出した前記新たな標本デジタル情報を用いて前記キーワードデータベースに格納されている前記重み付け情報に対する重み付けの大きさを再び更新し、更に、予め定められた終了条件として、前記更新後の重み付け情報と更新前の重み付け情報との差分が予め定められた範囲内におさまる条件をもって前記更新を終了するデジタル情報分析方法。 - 予め定められた特定事項と関連性を有するものであって、単語、複数の形態素、若しくは複数の共起表現のいずれか若しくは複数を含む複数のキーワードと、前記複数のキーワードそれぞれに対応づけられているキーワードに関する特定事項との関連性が高いほど大きな重み付けになる重み付け情報とを格納するキーワードデータベースを備えるデジタル情報分析システム用のデジタル情報分析プログラムであって、
コンピュータに、
前記複数のキーワードそれぞれと、前記複数のキーワードのそれぞれに対応づけられている前記重み付け情報とに基づいて、テキストデータを含む複数のデジタル情報それぞれに、前記複数のキーワードの組合せが予め定められた特定事項との関連性の高低を示す数値であるスコアを対応づけるスコア付け機能と、
前記スコア付け機能によって前記数値が大きいほど関連性が高くなるようにスコア付けをした複数のデジタル情報から、予め定められた条件をクリアする仮のデジタル情報として、形態素若しくは共起表現を含む標本となる標本デジタル情報を抽出する標本デジタル情報抽出機能と、
抽出された抽出された前記標本デジタル情報の内容を形態素解析することで、前記キーワードデータベースに格納されている前記重み付け情報に対する重み付けの大きさを更新する情報更新機能と、を実現させ、
前記スコア付け機能は、前記情報更新機能により更新された新たな重み付け情報を用いて複数のデジタル情報それぞれに新たなスコアを対応づけ、
前記標本デジタル情報抽出機能は、前記情報更新部により更新された新たなスコアに基づいて、新たな標本デジタル情報を抽出し、
前記情報更新機能は、前記標本デジタル情報抽出機能が抽出した前記新たな標本デジタル情報を用いて前記キーワードデータベースに格納されている前記重み付け情報に対する重み付けの大きさを再び更新するものであって、更に、予め定められた終了条件として、前記更新後の重み付け情報と更新前の重み付け情報との差分が予め定められた範囲内におさまる条件をもって前記更新を終了するデジタル情報分析プログラム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2014/052576 WO2015118615A1 (ja) | 2014-02-04 | 2014-02-04 | デジタル情報分析システム、デジタル情報分析方法、及びデジタル情報分析プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP5876144B2 true JP5876144B2 (ja) | 2016-03-02 |
| JPWO2015118615A1 JPWO2015118615A1 (ja) | 2017-03-23 |
Family
ID=53777452
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014511634A Expired - Fee Related JP5876144B2 (ja) | 2014-02-04 | 2014-02-04 | デジタル情報分析システム、デジタル情報分析方法、及びデジタル情報分析プログラム |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP5876144B2 (ja) |
| TW (1) | TW201546635A (ja) |
| WO (1) | WO2015118615A1 (ja) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003228581A (ja) * | 2002-02-05 | 2003-08-15 | Hitachi Ltd | 適合性フィードバックによる類似検索方法 |
| JP2004178421A (ja) * | 2002-11-28 | 2004-06-24 | Ricoh Co Ltd | 文書検索装置、文書検索方法、プログラムおよび記録媒体 |
| JP2005182218A (ja) * | 2003-12-17 | 2005-07-07 | Ishikawa Pref Gov | 辞書編集装置、文書分類装置及びそのプログラム |
| JP2013182338A (ja) * | 2012-02-29 | 2013-09-12 | Ubic:Kk | 文書分別システム及び文書分別方法並びに文書分別プログラム |
-
2014
- 2014-02-04 JP JP2014511634A patent/JP5876144B2/ja not_active Expired - Fee Related
- 2014-02-04 WO PCT/JP2014/052576 patent/WO2015118615A1/ja not_active Ceased
-
2015
- 2015-02-04 TW TW104103848A patent/TW201546635A/zh unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003228581A (ja) * | 2002-02-05 | 2003-08-15 | Hitachi Ltd | 適合性フィードバックによる類似検索方法 |
| JP2004178421A (ja) * | 2002-11-28 | 2004-06-24 | Ricoh Co Ltd | 文書検索装置、文書検索方法、プログラムおよび記録媒体 |
| JP2005182218A (ja) * | 2003-12-17 | 2005-07-07 | Ishikawa Pref Gov | 辞書編集装置、文書分類装置及びそのプログラム |
| JP2013182338A (ja) * | 2012-02-29 | 2013-09-12 | Ubic:Kk | 文書分別システム及び文書分別方法並びに文書分別プログラム |
Non-Patent Citations (2)
| Title |
|---|
| CSNG201200614001; 原島 純: 'テキストの表層情報と潜在情報を利用した適合性フィードバック' 自然言語処理 第19巻 第3号, 20120930, p.121-142, 言語処理学会 * |
| JPN6014011053; 原島 純: 'テキストの表層情報と潜在情報を利用した適合性フィードバック' 自然言語処理 第19巻 第3号, 20120930, p.121-142, 言語処理学会 * |
Also Published As
| Publication number | Publication date |
|---|---|
| TW201546635A (zh) | 2015-12-16 |
| JPWO2015118615A1 (ja) | 2017-03-23 |
| WO2015118615A1 (ja) | 2015-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11762926B2 (en) | Recommending web API's and associated endpoints | |
| CN108628971B (zh) | 不均衡数据集的文本分类方法、文本分类器及存储介质 | |
| CN108089974B (zh) | 利用定义的输入格式来测试应用 | |
| US11676231B1 (en) | Aggregating procedures for automatic document analysis | |
| MXPA04011788A (es) | Aprendizaje y uso de patrones de cadena generalizados para extraccion de informacion. | |
| US9542474B2 (en) | Forensic system, forensic method, and forensic program | |
| US10528609B2 (en) | Aggregating procedures for automatic document analysis | |
| JP5723067B1 (ja) | データ分析システム、データ分析方法、および、データ分析プログラム | |
| JP2018088101A (ja) | 同義表現抽出装置、同義表現抽出方法、及び同義表現抽出プログラム | |
| CN109670183B (zh) | 一种文本重要性的计算方法、装置、设备和存储介质 | |
| JP5687312B2 (ja) | デジタル情報分析システム、デジタル情報分析方法、及びデジタル情報分析プログラム | |
| JP5430312B2 (ja) | データ処理装置、データ名生成方法及びコンピュータプログラム | |
| CN113821601A (zh) | 文本对比方法、装置、设备和介质 | |
| US9594757B2 (en) | Document management system, document management method, and document management program | |
| KR101566153B1 (ko) | 포렌식 시스템 및 포렌식 방법 및 포렌식 프로그램 | |
| KR20220054753A (ko) | 음성 검색 방법 및 장치, 전자 기기, 컴퓨터 판독 가능 한 저장 매체 및 컴퓨터 프로그램 | |
| CN110008807A (zh) | 一种合同内容识别模型的训练方法、装置及设备 | |
| CN104462552A (zh) | 问答页面核心词提取方法和装置 | |
| JP6124936B2 (ja) | データ分析システム、データ分析方法、および、データ分析プログラム | |
| JP5876144B2 (ja) | デジタル情報分析システム、デジタル情報分析方法、及びデジタル情報分析プログラム | |
| CN114625922A (zh) | 一种构建词库的方法、装置、电子设备及存储介质 | |
| CN114201607B (zh) | 一种信息处理的方法和装置 | |
| CN115687979A (zh) | 威胁情报中指定技术的识别方法及装置、电子设备、存储介质 | |
| JP2025037159A (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
| JP6154072B2 (ja) | 情報分析システム、情報分析方法及び情報分析プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140812 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160120 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5876144 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D03 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D04 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D04 |
|
| LAPS | Cancellation because of no payment of annual fees |