Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5876144B2 - デジタル情報分析システム、デジタル情報分析方法、及びデジタル情報分析プログラム - Google Patents
[go: Go Back, main page]

JP5876144B2 - デジタル情報分析システム、デジタル情報分析方法、及びデジタル情報分析プログラム - Google Patents

デジタル情報分析システム、デジタル情報分析方法、及びデジタル情報分析プログラム Download PDF

Info

Publication number
JP5876144B2
JP5876144B2 JP2014511634A JP2014511634A JP5876144B2 JP 5876144 B2 JP5876144 B2 JP 5876144B2 JP 2014511634 A JP2014511634 A JP 2014511634A JP 2014511634 A JP2014511634 A JP 2014511634A JP 5876144 B2 JP5876144 B2 JP 5876144B2
Authority
JP
Japan
Prior art keywords
digital information
information
keywords
sample
weighting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014511634A
Other languages
English (en)
Other versions
JPWO2015118615A1 (ja
Inventor
守本 正宏
正宏 守本
秀樹 武田
秀樹 武田
和巳 蓮子
和巳 蓮子
彰晃 花谷
彰晃 花谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fronteo Inc
Original Assignee
Ubic Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ubic Inc filed Critical Ubic Inc
Application granted granted Critical
Publication of JP5876144B2 publication Critical patent/JP5876144B2/ja
Publication of JPWO2015118615A1 publication Critical patent/JPWO2015118615A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31Indexing; Data structures therefor; Storage structures
    • G06F16/313Selection or weighting of terms for indexing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、デジタル情報分析システム、デジタル情報分析方法、及びデジタル情報分析プログラムに関する。特に、本発明は、デジタル情報に自動でスコア付けするデジタル情報分析システム、デジタル情報分析方法、及びデジタル情報分析プログラムに関する。
従来、収集された文書情報から所定数の文書を抽出する抽出部と、抽出された文書群を画面上に表示する文書表示部と表示された文書群に対して、ユーザーが訴訟との関連性に基づいて付与した分別符号を受け付ける分別符号受付部と、分別符号に基づいて、抽出された文書群を分別符号ごとに分別し、当該分別された文書群において、共通して出現するキーワードを解析し選定する選定部と、選定したキーワードを記録するデータベースと、データベースに記録されたキーワードを文書情報から探索する探索部と、探索部の探索結果と選定部の解析結果を用いて、分別符号と文書との関連性を示すスコアを算出するスコア算出部と、スコアの結果に基づいて自動で分別符号を付与する自動分別部を備える文書分別システムが知られている(例えば、特許文献1参照。)。特許文献1に記載の文書分別システムによれば、訴訟において証拠として提出するために収集されたデジタル化された文書情報を分析し、訴訟への利用が容易になるように分別できる。
特開2013−182338号公報
特許文献1に記載されているような文書分別システムにおいては、分別対象となる文書情報からランダムに文書をサンプリングし、分別符号を付与する対象となる文書群をレビュワーが手動で抽出する場合がある。このようなデジタル情報を分別する場合において、分別処理を自動化することにより、デジタル情報の分別スピードや分別の精度を向上させることが望まれる。
したがって、本発明の目的は、自動的にデジタル情報に精度のよいスコア付けをするデジタル情報分析システム、デジタル情報分析方法、及びデジタル情報分析プログラムを提供することにある。
本発明は、上記目的を達成するため、予め定められた特定事項と関連性を有する複数のキーワードと、複数のキーワードそれぞれに対応づけられる重み付け情報とを格納するキーワードデータベースと、複数のキーワードそれぞれと、複数のキーワードのそれぞれに対応づけられている重み付け情報とに基づいて、テキストデータを含む複数のデジタル情報それぞれにスコアを対応づけるスコア付け部と、スコア付け部が対応づけたスコアに基づいて、複数のデジタル情報から標本となる標本デジタル情報を抽出する標本デジタル情報抽出部と、抽出された標本デジタル情報を解析することで、キーワードデータベースに格納されている重み付け情報を更新する情報更新部とを備えるデジタル情報分析システムが提供される。
また、上記デジタル情報分析システムにおいて、標本デジタル情報抽出部が、予め定められた条件を満たすデジタル情報を標本デジタル情報として抽出することもできる。
また、上記デジタル情報分析システムは、複数のキーワードが、複数の形態素、若しくは複数の共起表現を含むこともできる。
また、上記デジタル情報分析システムは、標本デジタル情報抽出部が、情報更新部により更新された重み付け情報が対応づけられた複数のデジタル情報から、新たな標本デジタル情報を抽出し、情報更新部が、標本デジタル情報抽出部が抽出した新たな標本デジタル情報を用い、重み付けを再び更新することもできる。
また、上記デジタル情報分析システムは、情報更新部が、予め定められた終了条件で更新を終了することもできる。
また、上記デジタル情報分析システムは、予め定められた特定事項が、訴訟又はカルテルに関係することを示す情報であってもよい。
また、本発明は、上記目的を達成するため、予め定められた特定事項と関連性を有する複数のキーワードと、複数のキーワードそれぞれに対応づけられる重み付け情報とを格納するキーワードデータベースを備えるデジタル情報分析システムにおけるデジタル情報分析方法であって、複数のキーワードそれぞれと、複数のキーワードのそれぞれに対応づけられている重み付け情報とに基づいて、テキストデータを含む複数のデジタル情報それぞれにスコアを対応づけるスコア付け段階と、スコア付け段階において対応づけられたスコアに基づいて、複数のデジタル情報から標本となる標本デジタル情報を抽出する標本デジタル情報抽出段階と、抽出された標本デジタル情報を解析することで、キーワードデータベースに格納されている重み付け情報を更新する情報更新段階とを備えるデジタル情報分析方法が提供される。
また、本発明は、上記目的を達成するため、予め定められた特定事項と関連性を有する複数のキーワードと、複数のキーワードそれぞれに対応づけられる重み付け情報とを格納するキーワードデータベースを備えるデジタル情報分析システム用のデジタル情報分析プログラムであって、コンピュータに、複数のキーワードそれぞれと、複数のキーワードのそれぞれに対応づけられている重み付け情報とに基づいて、テキストデータを含む複数のデジタル情報それぞれにスコアを対応づけるスコア付け機能と、スコア付け機能において対応づけられたスコアに基づいて、複数のデジタル情報から標本となる標本デジタル情報を抽出する標本デジタル情報抽出機能と、抽出された標本デジタル情報を解析することで、キーワードデータベースに格納されている重み付け情報を更新する情報更新機能とを実現させるデジタル情報分析プログラムが提供される。
本発明に係るデジタル情報分析システム、デジタル情報分析方法、及びデジタル情報分析プログラムによれば、自動的にデジタル情報に精度のよいスコア付けをするデジタル情報分析システム、デジタル情報分析方法、及びデジタル情報分析プログラムを提供できる。
本実施の形態に係るデジタル情報分析システムの機能構成ブロック図である。 情報処理装置の機能構成ブロック図である。 本実施の形態に係るデジタル情報分析システムの処理のフロー図である。 本実施の形態に係るデジタル情報分析システムのハードウェア構成図である。
[実施の形態]
(デジタル情報分析システム1の概要)
本実施の形態に係るデジタル情報分析システム1は、ユーザー端末若しくはサーバー等の情報処理装置2に格納されている複数のデジタル情報のうち、予め定められた特定事項に関連性のあるデジタル情報に対して自動的にスコア付けをし、特定事項に関連性のあるデジタル情報を高精度で全自動的に抽出するシステムである。ここで、予め定められた特定事項は、例えば、訴訟やカルテル等に関連することを示す情報である。そして、本実施の形態に係るデジタル情報分析システム1は、一例として、不正アクセスや機密情報漏洩等のコンピュータに関する犯罪や法的紛争が生じた場合に、犯罪や紛争の原因究明や捜査に要する電子的記録であるデジタル情報を収集及び分析し、その法的な証拠性を明らかにする技術であるフォレンジックに適用できる。なお、デジタル情報とは、例えば、文章情報を含む文書ファイル、テキストファイル、又は電子メール等である。
具体的に、デジタル情報分析システム1は、まず、特定事項と関連性を有するキーワードを用い、複数のデジタル情報のそれぞれにスコア付けする。デジタル情報分析システム1は、例えば、特定事項と関連性が高いほど、高いスコアをデジタル情報に対応づける。ここで、デジタル情報分析システム1は、特定事項と関連する複数のキーワードと、複数のキーワードのそれぞれに対応づけられた重み付け情報とを格納するキーワードデータベースを予め備える。重み付け情報は、対応づけられているキーワードの特定事項との関連性が高いほど、大きな重み付けになる情報である。デジタル情報分析システム1は、この重み付け情報を用いて複数のデジタル情報のそれぞれにスコア付けする。
そして、デジタル情報分析システム1は、スコア付けをした複数のデジタル情報から、予め定められた条件をクリアする仮のデジタル情報としての標本デジタル情報を抽出する。デジタル情報分析システム1は、抽出した標本デジタル情報を解析し、複数のキーワードのそれぞれに対応づけられた重み付け情報を新たな重み付け情報に更新する。そして、デジタル情報分析システム1は、新たな重み付け情報を用いて上記プロセスを繰り返す。すなわち、デジタル情報分析システム1は、デジタル情報へのスコア付け、標本デジタル情報の抽出、及び重み付け情報の更新を一つのサイクルとし、このサイクルを繰り返すことで、特定事項と関連性を有するデジタル情報の複数のデジタル情報からの抽出精度を向上させる。
なお、本実施の形態においてサーバーは、1つ以上のサーバーであって、複数のサーバーを含んで構成することもできる。例えば、サーバーは、メールサーバー、ファイルサーバー、又は文書管理サーバー等のデジタル情報を格納可能なサーバーを含む。また、ユーザー端末は、1つ以上のユーザー端末であって、複数のユーザー端末を含んで構成することもできる。例えば、ユーザー端末は、パーソナルコンピュータ、ノートパソコン、タブレットPC、又は携帯電話等の携帯通信端末等を含む。
(デジタル情報分析システム1の詳細)
図1は、本実施の形態に係るデジタル情報分析システムの機能構成ブロックの一例を示す。
デジタル情報分析システム1は、情報処理装置2に格納されているデジタル情報を抽出する抽出部110と、予め定められた特定事項と関連性を有する複数のキーワード及び各キーワードの重み付け情報を格納するキーワードデータベース100と、抽出されたデジタル情報にスコアを対応づけるスコア付け部120と、標本デジタル情報を抽出する標本デジタル情報抽出部130と、重み付け情報を更新する情報更新部140と、抽出されたデジタル情報、標本デジタル情報、及び/又はこれらに関する情報を出力する出力部150とを備える。
(キーワードデータベース100)
キーワードデータベース100は、予め定められた特定事項と関連性を有する複数のキーワードと、複数のキーワードそれぞれに対応づけられる重み付け情報とを格納する。本実施の形態においてキーワードは、単語、複数の形態素、若しくは複数の共起表現等のいずれか若しくは複数を含む。すなわち、キーワードデータベース100は、予め定められた特定事項に関連する複数のキーワードのそれぞれ、及び/又は複数のキーワードの組合せに、予め定められた特定事項との関連性の高低を示す重み付け情報を対応づけて格納する。キーワードデータベース100は、スコア付け部120からの働きかけに応じ、格納している情報をスコア付け部120に供給する。また、キーワードデータベース100は、情報更新部140に制御され、格納している重み付け情報を新たな重み付け情報に置き換える。
なお、単語とは、文法上、特定の意味及び機能を有する最小の言語単位である。また、複数のキーワードは、2つ以上のキーワードを含んで構成される。なお、デジタル情報のスコアとは、例えば、複数のキーワードの組合せが予め定められた特定事項との関連性において、関連性の高低を示す数値である。数値が大きいほど、関連性が高いことを示す。
例えば、キーワードデータベース100は、キーワードが共起表現である場合、第1の単語と第2の単語との組合せに対応づけて重み付け情報を格納する。一例として、予め定められた特定事項が「侵害」に関連する情報である例を説明する。この場合、キーワードデータベース100に、第1の単語としての「デジタルカメラ」と第2の単語としての「侵害」との組合せに対応づけて重み付け情報「X」が格納されているとする。また、キーワードデータベース100に、第1の単語としての「急ピッチ」と第2の単語としての「予定」との組合せに対応づけて重み付け情報「Y」が格納されているとする(ただし、X>Yであって、X及びYは数値である。)。この場合、「デジタルカメラ」と「侵害」との単語の組合せの方が、「急ピッチ」と「予定」との単語の組合せよりも侵害に対する関連性が高いことを示す。
(抽出部110)
抽出部110は、情報処理装置2に格納されているデジタル情報を情報処理装置2から抽出する。抽出部110は抽出したデジタル情報をスコア付け部120及び標本デジタル情報抽出部130に供給する。
(スコア付け部120)
スコア付け部120は、キーワードデータベース100に格納されている複数のキーワードのそれぞれと、複数のキーワードのそれぞれに対応づけられている重み付け情報とに基づいて、テキストデータを含む複数のデジタル情報それぞれにスコアを対応づける。具体的に、スコア付け部120は、情報処理装置2に格納されているデジタル情報が抽出された場合に、形態素解析により当該デジタル情報内のテキストデータを解析し、キーワードデータベース100に格納されている複数のキーワードの組合せが抽出されたファイルに含まれているか否かを判断する。
一例として、スコア付け部120は、キーワードが共起表現である場合であって、キーワードデータベース100に格納されているキーワードの組合せが抽出されたデジタル情報に含まれていると判断した場合、複数のキーワードそれぞれの間の距離、複数のキーワードの語順、複数のキーワードの出現回数や出現頻度、及び/又は複数のキーワードが同一文章に含まれているか否か等に基づいて、予め定められた特定事項に対する当該デジタル情報の関連性の高低を判断する。そして、スコア付け部120は、判断結果を示す情報(すなわち、予め定められた特定事項に対する関連性の高低を示す情報)に基づいて、抽出されたデジタル情報にスコアを対応づける。
なお、スコア付け部120は、キーワードが共起表現である場合には、抽出部110により抽出されたデジタル情報内に、キーワードデータベース100に格納されている複数のキーワード、若しくは複数のキーワードの組合せが含まれているか否かを検索する検索部と、キーワードデータベース100に格納している複数のキーワード、若しくは複数のキーワードの組合せの少なくとも1つがデジタル情報内に含まれている場合、形態素解析の結果に基づいて予め定められた特定事項とデジタル情報との関連性を判断する関連性判断部と、関連性判断部の判断結果をデジタル情報に対応づける判断結果設定部とを有することもできる。
(標本デジタル情報抽出部130)
標本デジタル情報抽出部130は、スコア付け部120が対応づけたスコアに基づいて、複数のデジタル情報から標本となる標本デジタル情報を抽出する。具体的に、標本デジタル情報抽出部130は、抽出部110に働きかけて、予め定められた条件を満たすデジタル情報であって抽出部110が情報処理装置2から抽出するデジタル情報を標本デジタル情報として抽出する。標本デジタル情報抽出部130は、1以上のデジタル情報を標本デジタル情報として抽出できる。例えば、標本デジタル情報抽出部130は、予め定められたスコア以上のスコアが対応づけられているデジタル情報や、スコアの上位から予め定められた数の複数のデジタル情報を標本デジタル情報として抽出する。標本デジタル情報抽出部130は、抽出した標本デジタル情報を情報更新部140及び/又は出力部150に供給する。
(情報更新部140)
情報更新部140は、標本デジタル情報抽出部130において抽出された標本デジタル情報を解析することで、キーワードデータベース100に格納されている重み付け情報を更新する。情報更新部140は、例えば、抽出された標本デジタル情報の内容(すなわち、テキストデータ)を形態素解析する。そして、情報更新部140は、形態素解析の結果に基づいて、予め定められた特定事項と関連性を有する形態素若しくは共起表現の情報を抽出する。次に、情報更新部140は、抽出された形態素若しくは共起表現の使用回数、使用頻度等、及び/又はこれらの形態素若しくは共起表現を含む標本デジタル情報のスコア等に基づいて、抽出された形態素若しくは共起表現の重み付け情報を再計算する。そして、情報更新部140は、再計算して算出された重み付け情報を用いて、キーワードデータベース100に格納されている重み付け情報を更新する。情報更新部140は、更新した重み付け情報を新たな重み付け情報としてキーワードデータベース100に格納する。
そして、スコア付け部120は、情報更新部140により更新された新たな重み付け情報を用いて複数のデジタル情報それぞれに新たなスコアを対応づける。そして、標本デジタル情報抽出部130は、新たなスコアに基づいて、新たな標本デジタル情報を抽出する。更に、情報更新部140は、標本デジタル情報抽出部130が抽出した新たな標本デジタル情報を用い、キーワードデータベース100に格納されている重み付け情報を更に更新することができる。そして、情報更新部140は、予め定められた終了条件で更新を終了することができる。予め定められた終了条件は、例えば、更新後の重み付け情報と更新前の重み付け情報との差分が予め定められた範囲内におさまる条件や、更新前後の重みが実質的に変わっていない条件等を挙げることができる。
(出力部150)
出力部150は、抽出部110の抽出結果、標本デジタル情報抽出部130の抽出結果、及び/又は情報更新部140の更新結果に関連する情報等を出力する。例えば、出力部150は、外部からの指示に応じ、これらの情報をユーザーに知覚可能に出力する。出力部150は、デジタル情報等の情報を表示可能なディスプレイ等の表示装置、及び/又はデジタル情報等の情報を所定の媒体に出力するプリンター等の出力装置である。更に、出力部150は、出力する情報を磁気記録媒体、光学記録媒体等の記録媒体に記録することで出力することもできる。
(情報処理装置2)
図2は、情報処理装置の機能構成ブロックの一例を示す。
情報処理装置2は、複数のデジタル情報を格納するデジタル情報格納部200と、デジタル情報を外部に出力する情報出力部210とを有する。デジタル情報格納部200は、文章情報を含む文書ファイル、テキストファイル、又は電子メール等の複数のデジタル情報を格納する。デジタル情報格納部200は、抽出部110又は標本デジタル情報抽出部130からの働きかけに応じ、所定のデジタル情報を情報出力部210に供給する。情報出力部210は、デジタル情報格納部200が格納しているデジタル情報を抽出部110又は標本デジタル情報抽出部130に供給する。なお、デジタル情報分析システム1と情報処理装置2とは、インターネット等の通信ネットワーク、又はLAN等の有線若しくは無線のネットワーク等により相互に通信可能に接続される。また、デジタル情報分析システム1は、情報処理装置2が有する機能及び構成の一部又は全部を備えることもできる。
(デジタル情報分析方法の概要)
図3は、本発明の実施の形態に係るデジタル情報分析システムの処理の流れの一例を示す。
まず、デジタル情報分析システム1が、キーワードデータベース100を備えていることを前提とする。そして、デジタル情報分析システム1の抽出部110は、情報処理装置2からデジタル情報を抽出する(ステップ10。以下、ステップを「S」と表す。)。抽出部110は、抽出したデジタル情報をスコア付け部120に供給する。次に、スコア付け部120は、キーワードデータベース100に格納されている情報を用いて、抽出されたデジタル情報にスコア付けする(S15)。
そして、標本デジタル情報抽出部130は、予め定められた条件(例えば、スコアが予め定められたスコア以上である条件、若しくはスコアの上位X件(ただし、Xは1以上の整数)を抽出する条件等)に基づいて、複数のデジタル情報から標本デジタル情報を抽出する(S20)。標本デジタル情報抽出部130は、抽出した標本デジタル情報を情報更新部140に供給する。情報更新部140は、標本デジタル情報の内容を解析し、キーワードデータベース100に格納されている複数のキーワードのそれぞれに対応づけられた重み付け情報を更新する(S25)。
続いて、デジタル情報分析システム1は、スコア付け部120におけるデジタル情報へのスコア付け、及び標本デジタル情報抽出部130における標本デジタル情報の抽出、及び情報更新部140における重み付け情報の更新を繰り返すことで(S30)、複数のデジタル情報から予め定められた特定事項に関連するデジタル情報の抽出精度を向上させる。デジタル情報分析システム1は、デジタル情報へのスコア付け、標本デジタル情報の抽出、及び重み付け情報の更新を繰り返すことで、予め定められた特定事項と関連性を有するデジタル文書の抽出の再現性を向上させることができる。
図4は、本発明の実施の形態に係るデジタル情報分析システムのハードウェア構成の一例を示す。
本実施の形態に係るデジタル情報分析システム1は、CPU1500と、グラフィックコントローラ1520と、RandomAccessMemory(RAM)、Read−OnlyMemory(ROM)及び/又はフラッシュROM等のメモリ1530と、データを記憶する記憶装置1540と、記録媒体からデータを読み込み及び/又は記録媒体にデータを書き込む読込/書込み装置1545と、データを入力する入力装置1560と、外部の通信機器とデータを送受信する通信インターフェース1550と、CPU1500とグラフィックコントローラ1520とメモリ1530と記憶装置1540と読込/書込み装置1545と入力装置1560と通信インターフェース1550とを互いに通信可能に接続するチップセット1510とを備える。
チップセット1510は、メモリ1530と、メモリ1530にアクセスして所定の処理を実行するCPU1500と、外部の表示装置の表示を制御するグラフィックコントローラ1520とを相互に接続することにより、各構成要素間のデータの受渡しを実行する。CPU1500は、メモリ1530に格納されたプログラムに基づいて動作して、各構成要素を制御する。グラフィックコントローラ1520は、メモリ1530内に設けられたバッファ上に一時的に蓄えられた画像データに基づいて、画像を所定の表示装置に表示させる。
また、チップセット1510は、記憶装置1540と、読込/書込み装置1545と、通信インターフェース1550とを接続する。記憶装置1540は、デジタル情報分析システム1のCPU1500が使用するプログラムとデータとを格納する。記憶装置1540は、例えば、フラッシュメモリである。読込/書込み装置1545は、プログラム及び/又はデータを記憶している記憶媒体からプログラム及び/又はデータを読み取って、読み取ったプログラム及び/又はデータを記憶装置1540に格納する。読込/書込み装置1545は、例えば、通信インターフェース1550を介し、インターネット上のサーバーから所定のプログラムを取得して、取得したプログラムを記憶装置1540に格納する。
通信インターフェース1550は、通信ネットワークを介して外部の装置とデータの送受信を実行する。また、通信インターフェース1550は、通信ネットワークが不通の場合、通信ネットワークを介さずに外部の装置とデータの送受信を実行することもできる。そして、キーボード、タブレット、マウス等の入力装置1560は、所定のインターフェースを介してチップセット1510と接続する。
記憶装置1540に格納されるデジタル情報分析システム1用のデジタル情報分析プログラムは、インターネット等の通信ネットワーク、又は磁気記録媒体、光学記録媒体等の記録媒体を介して記憶装置1540に提供される。そして、記憶装置1540に格納されたデジタル情報分析システム1用のプログラムは、CPU1500により実行される。
本実施の形態に係るデジタル情報分析システム1により実行されるデジタル情報分析プログラムは、CPU1500に働きかけて、デジタル情報分析システム1を、図1から図3にかけて説明したキーワードデータベース100、抽出部110、スコア付け部120、標本デジタル情報抽出部130、情報更新部140、及び出力部150として機能させる。
(実施の形態の効果)
本実施の形態に係るデジタル情報分析システム1は、予め定められた特定事項に関連性を有する各種キーワードと各種キーワードの重み付け情報とをキーワードデータベース100に予め格納することができる。そして、デジタル情報分析システム1は、キーワードデータベース100に格納されている情報を用いてデジタル情報を抽出した上で、抽出したデジタル情報から標本デジタル情報を抽出し、抽出した標本デジタル情報を用いて重み付け情報を更新することができる。これにより、デジタル情報分析システム1は、外部からの指示を要さずに、予め定められた特定事項と所定の関係性を有するデジタル情報を全自動で抽出、特定することができる。
そして、デジタル情報分析システム1は、デジタル情報へのスコア付け、標本デジタル情報の抽出、及び重み付け情報の更新を繰り返すことができるので、特定事項と関連性を有するデジタル情報の複数のデジタル情報からの抽出精度を向上させた上で、予め定められた特定事項と関連性を有する適切なデジタル情報を抽出できる。
以上、本発明の実施の形態を説明したが、上記に記載した実施の形態は特許請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明した特徴の組合せのすべてが発明の課題を解決するための手段に必須であるとは限らない点に留意すべきである。更に、上記した実施形態の技術的要素は、単独で適用されてもよいし、プログラム部品とハードウェア部品とのような複数の部分に分割されて適用されるようにすることもできる。
1 デジタル情報分析システム
2 情報処理装置
100 キーワードデータベース
110 抽出部
120 スコア付け部
130 標本デジタル情報抽出部
140 情報更新部
150 出力部
200 デジタル情報格納部
210 情報出力部
1500 CPU
1510 チップセット
1520 グラフィックコントローラ
1530 メモリ
1540 記憶装置
1545 読込/書込み装置
1550 通信インターフェース
1560 入力装置

Claims (5)

  1. 予め定められた特定事項と関連性を有するものであって、単語、複数の形態素、若しくは複数の共起表現のいずれか若しくは複数を含む複数のキーワードと、前記複数のキーワードそれぞれに対応づけられているキーワードに関する特定事項との関連性が高いほど大きな重み付けになる重み付け情報とを格納するキーワードデータベースと、
    前記複数のキーワードそれぞれと、前記複数のキーワードのそれぞれに対応づけられている前記重み付け情報とに基づいて、テキストデータを含む複数のデジタル情報それぞれに、前記複数のキーワードの組合せが予め定められた特定事項との関連性の高低を示す数値であるスコアを対応づけるスコア付け部と、
    前記スコア付け部によって前記数値が大きいほど関連性が高くなるようにスコア付けをした複数のデジタル情報から、予め定められた条件をクリアする仮のデジタル情報として、形態素若しくは共起表現を含む標本となる標本デジタル情報を抽出する標本デジタル情報抽出部と、
    抽出された前記標本デジタル情報の内容を形態素解析することで、前記キーワードデータベースに格納されている前記重み付け情報に対する重み付けの大きさを更新する情報更新部とを備え、
    前記スコア付け部は、前記情報更新部により更新された新たな重み付け情報を用いて複数のデジタル情報それぞれに新たなスコアを対応づけ、
    前記標本デジタル情報抽出部は、前記情報更新部により更新された新たなスコアに基づいて、新たな標本デジタル情報を抽出し、
    前記情報更新部は、前記標本デジタル情報抽出部が抽出した前記新たな標本デジタル情報を用いて前記キーワードデータベースに格納されている前記重み付け情報に対する重み付けの大きさを再び更新するものであって、更に、予め定められた終了条件として、前記更新後の重み付け情報と更新前の重み付け情報との差分が予め定められた範囲内におさまる条件をもって前記更新を終了するデジタル情報分析システム。
  2. 前記標本デジタル情報抽出部が、予め定められた条件を満たすデジタル情報を前記標本デジタル情報として抽出する請求項1記載のデジタル情報分析システム。
  3. 前記予め定められた特定事項が、訴訟又はカルテルに関係することを示す情報である請求項1又は請求項2に記載のデジタル情報分析システム。
  4. 予め定められた特定事項と関連性を有するものであって、単語、複数の形態素、若しくは複数の共起表現のいずれか若しくは複数を含む複数のキーワードと、前記複数のキーワードそれぞれに対応づけられているキーワードに関する特定事項との関連性が高いほど大きな重み付けになる重み付け情報とを格納するキーワードデータベースを備えるデジタル情報分析システムにおけるデジタル情報分析方法であって、
    前記複数のキーワードそれぞれと、前記複数のキーワードのそれぞれに対応づけられている前記重み付け情報とに基づいて、テキストデータを含む複数のデジタル情報それぞれに、前記複数のキーワードの組合せが予め定められた特定事項との関連性の高低を示す数値であるスコアを対応づけるスコア付け段階と、
    前記スコア付け段階によって前記数値が大きいほど関連性が高くなるようにスコア付けをした複数のデジタル情報から、予め定められた条件をクリアする仮のデジタル情報として、形態素若しくは共起表現を含む標本となる標本デジタル情報を抽出する標本デジタル情報抽出段階と、
    抽出された前記標本デジタル情報の内容を形態素解析することで、前記キーワードデータベースに格納されている前記重み付け情報に対する重み付けの大きさを更新する情報更新段階とを有し、
    前記スコア付け段階は、前記情報更新段階により更新された新たな重み付け情報を用いて複数のデジタル情報それぞれに新たなスコアを対応づけ、
    前記標本デジタル情報抽出段階、前記情報更新部により更新された新たなスコアに基づいて、新たな標本デジタル情報を抽出し、
    前記情報更新段階、前記標本デジタル情報抽出段階が抽出した前記新たな標本デジタル情報を用いて前記キーワードデータベースに格納されている前記重み付け情報に対する重み付けの大きさを再び更新し、更に、予め定められた終了条件として、前記更新後の重み付け情報と更新前の重み付け情報との差分が予め定められた範囲内におさまる条件をもって前記更新を終了するデジタル情報分析方法。
  5. 予め定められた特定事項と関連性を有するものであって、単語、複数の形態素、若しくは複数の共起表現のいずれか若しくは複数を含む複数のキーワードと、前記複数のキーワードそれぞれに対応づけられているキーワードに関する特定事項との関連性が高いほど大きな重み付けになる重み付け情報とを格納するキーワードデータベースを備えるデジタル情報分析システム用のデジタル情報分析プログラムであって、
    コンピュータに、
    前記複数のキーワードそれぞれと、前記複数のキーワードのそれぞれに対応づけられている前記重み付け情報とに基づいて、テキストデータを含む複数のデジタル情報それぞれに、前記複数のキーワードの組合せが予め定められた特定事項との関連性の高低を示す数値であるスコアを対応づけるスコア付け機能と、
    前記スコア付け機能によって前記数値が大きいほど関連性が高くなるようにスコア付けをした複数のデジタル情報から、予め定められた条件をクリアする仮のデジタル情報として、形態素若しくは共起表現を含む標本となる標本デジタル情報を抽出する標本デジタル情報抽出機能と、
    抽出された抽出された前記標本デジタル情報の内容を形態素解析することで、前記キーワードデータベースに格納されている前記重み付け情報に対する重み付けの大きさを更新する情報更新機能とを実現させ、
    前記スコア付け機能は、前記情報更新機能により更新された新たな重み付け情報を用いて複数のデジタル情報それぞれに新たなスコアを対応づけ、
    前記標本デジタル情報抽出機能、前記情報更新部により更新された新たなスコアに基づいて、新たな標本デジタル情報を抽出し、
    前記情報更新機能、前記標本デジタル情報抽出機能が抽出した前記新たな標本デジタル情報を用いて前記キーワードデータベースに格納されている前記重み付け情報に対する重み付けの大きさを再び更新するものであって、更に、予め定められた終了条件として、前記更新後の重み付け情報と更新前の重み付け情報との差分が予め定められた範囲内におさまる条件をもって前記更新を終了するデジタル情報分析プログラム。
JP2014511634A 2014-02-04 2014-02-04 デジタル情報分析システム、デジタル情報分析方法、及びデジタル情報分析プログラム Expired - Fee Related JP5876144B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/052576 WO2015118615A1 (ja) 2014-02-04 2014-02-04 デジタル情報分析システム、デジタル情報分析方法、及びデジタル情報分析プログラム

Publications (2)

Publication Number Publication Date
JP5876144B2 true JP5876144B2 (ja) 2016-03-02
JPWO2015118615A1 JPWO2015118615A1 (ja) 2017-03-23

Family

ID=53777452

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014511634A Expired - Fee Related JP5876144B2 (ja) 2014-02-04 2014-02-04 デジタル情報分析システム、デジタル情報分析方法、及びデジタル情報分析プログラム

Country Status (3)

Country Link
JP (1) JP5876144B2 (ja)
TW (1) TW201546635A (ja)
WO (1) WO2015118615A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003228581A (ja) * 2002-02-05 2003-08-15 Hitachi Ltd 適合性フィードバックによる類似検索方法
JP2004178421A (ja) * 2002-11-28 2004-06-24 Ricoh Co Ltd 文書検索装置、文書検索方法、プログラムおよび記録媒体
JP2005182218A (ja) * 2003-12-17 2005-07-07 Ishikawa Pref Gov 辞書編集装置、文書分類装置及びそのプログラム
JP2013182338A (ja) * 2012-02-29 2013-09-12 Ubic:Kk 文書分別システム及び文書分別方法並びに文書分別プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003228581A (ja) * 2002-02-05 2003-08-15 Hitachi Ltd 適合性フィードバックによる類似検索方法
JP2004178421A (ja) * 2002-11-28 2004-06-24 Ricoh Co Ltd 文書検索装置、文書検索方法、プログラムおよび記録媒体
JP2005182218A (ja) * 2003-12-17 2005-07-07 Ishikawa Pref Gov 辞書編集装置、文書分類装置及びそのプログラム
JP2013182338A (ja) * 2012-02-29 2013-09-12 Ubic:Kk 文書分別システム及び文書分別方法並びに文書分別プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNG201200614001; 原島 純: 'テキストの表層情報と潜在情報を利用した適合性フィードバック' 自然言語処理 第19巻 第3号, 20120930, p.121-142, 言語処理学会 *
JPN6014011053; 原島 純: 'テキストの表層情報と潜在情報を利用した適合性フィードバック' 自然言語処理 第19巻 第3号, 20120930, p.121-142, 言語処理学会 *

Also Published As

Publication number Publication date
TW201546635A (zh) 2015-12-16
JPWO2015118615A1 (ja) 2017-03-23
WO2015118615A1 (ja) 2015-08-13

Similar Documents

Publication Publication Date Title
US11762926B2 (en) Recommending web API's and associated endpoints
CN108628971B (zh) 不均衡数据集的文本分类方法、文本分类器及存储介质
CN108089974B (zh) 利用定义的输入格式来测试应用
US11676231B1 (en) Aggregating procedures for automatic document analysis
MXPA04011788A (es) Aprendizaje y uso de patrones de cadena generalizados para extraccion de informacion.
US9542474B2 (en) Forensic system, forensic method, and forensic program
US10528609B2 (en) Aggregating procedures for automatic document analysis
JP5723067B1 (ja) データ分析システム、データ分析方法、および、データ分析プログラム
JP2018088101A (ja) 同義表現抽出装置、同義表現抽出方法、及び同義表現抽出プログラム
CN109670183B (zh) 一种文本重要性的计算方法、装置、设备和存储介质
JP5687312B2 (ja) デジタル情報分析システム、デジタル情報分析方法、及びデジタル情報分析プログラム
JP5430312B2 (ja) データ処理装置、データ名生成方法及びコンピュータプログラム
CN113821601A (zh) 文本对比方法、装置、设备和介质
US9594757B2 (en) Document management system, document management method, and document management program
KR101566153B1 (ko) 포렌식 시스템 및 포렌식 방법 및 포렌식 프로그램
KR20220054753A (ko) 음성 검색 방법 및 장치, 전자 기기, 컴퓨터 판독 가능 한 저장 매체 및 컴퓨터 프로그램
CN110008807A (zh) 一种合同内容识别模型的训练方法、装置及设备
CN104462552A (zh) 问答页面核心词提取方法和装置
JP6124936B2 (ja) データ分析システム、データ分析方法、および、データ分析プログラム
JP5876144B2 (ja) デジタル情報分析システム、デジタル情報分析方法、及びデジタル情報分析プログラム
CN114625922A (zh) 一种构建词库的方法、装置、电子设备及存储介质
CN114201607B (zh) 一种信息处理的方法和装置
CN115687979A (zh) 威胁情报中指定技术的识别方法及装置、电子设备、存储介质
JP2025037159A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP6154072B2 (ja) 情報分析システム、情報分析方法及び情報分析プログラム

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140812

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160120

R150 Certificate of patent or registration of utility model

Ref document number: 5876144

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D03

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D04

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D04

LAPS Cancellation because of no payment of annual fees