JP6781123B2

JP6781123B2 - データ処理装置、データ処理方法及びデータ処理プログラム

Info

Publication number: JP6781123B2
Application number: JP2017172062A
Authority: JP
Inventors: 須永　聡; 聡須永; 鎮成齋藤; 山人原田; 宮尾　浩; 浩宮尾
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: NTT Inc; NTT Inc USA
Priority date: 2017-09-07
Filing date: 2017-09-07
Publication date: 2020-11-04
Anticipated expiration: 2037-09-07
Also published as: JP2019046414A

Description

本発明は、データ処理装置、データ処理方法及びデータ処理プログラムに関する。

従来、対象語に関連する関連語の抽出は専門家の人手によらねばならず、時間がかかるため、関連語辞書を最新の情報に更新し続けることが困難であるという問題がある。このため、このような関連語用語の抽出を自動化することが期待されている。

そこで、自然言語処理分野において、対象語に関連する関連用語を文書データから自動抽出する技術が提案されている。例えば、従来の方法として、文書中のある言葉と同一文内またはその前後周辺に出現する言葉を、ある言葉と共起したとして、ある言葉と結びつきがあり、関連性のある言葉である場合に、この語を関連語として抽出とする方法がある。また、必ずしも関連語が一つの文書内に共起していない場合であっても対象分野と一致する分野の文書から関連語を抽出する方法（例えば、特許文献１参照）や、重要度の高い言葉を選別して重要語同士の関連度を判定し、関連の深い関連語を抽出する方法（例えば、特許文献２参照）が提案されている。

特開2004-361992号公報特開2003-167894号公報

しかしながら、従来の方法では、共起した全ての言葉を関連語候補としている。このため、従来の方法では、出現回数と出現頻度によって関連語を限定した場合であっても、抽象度の高い概念語を含んでしまい、関連性が低い語、或いは、関連性がない語が関連語の中に多く混じり、関連語抽出の精度が低いという問題があった。

本発明は、上記に鑑みてなされたものであって、文書データから高精度に関連語を抽出することができるデータ処理装置、データ処理方法及びデータ処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係るデータ処理装置は、文書データから、言葉の共起によって対象語に関連する関連語候補を抽出し、対象語それぞれの関連語候補群を取得する取得部と、複数の関連語候補群に含まれる関連語候補ごとに、複数の関連語候補群の中での出現数をカウントするカウント部と、カウント部によってカウントされた出現数が所定の閾値以上である関連語候補を複数の関連語候補群から除外し、残った関連語候補を、対象語の関連語であると判定する関連語判定部と、を有することを特徴とする。

本発明によれば、文書データから高精度に関連語を抽出することができる。

図１は、実施の形態に係るデータ処理装置の構成の一例を模式的に示す図である。図２は、図１に示すデータ処理装置の処理の流れを説明する図である。図３は、図１に示すデータ処理装置の処理の流れを説明する図である。図４は、実施の形態に係るデータ処理方法の処理手順を示すフローチャートである。図５は、図４に示す関連語候補出現数カウント処理の処理手順を示すフローチャートである。図６は、プログラムが実行されることにより、データ処理装置が実現されるコンピュータの一例を示す図である。

以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

［実施の形態］
本発明の実施の形態について説明する。本発明の実施の形態では、電子化されたテキスト文書データが対象であることを前提とする。そして、本実施の形態では、文書データから、言葉の共起によって抽出した各対象語の関連語候補群における関連語候補のうち、複数の関連語候補群の中での出現数が閾値以上である関連語候補を除外し、残った関連語候補を対象語の関連語とする。なお、対象語は、関連語抽出処理の対象となる語であり、関連語は、対象語と関連する語であるとして文書データから言葉の共起によって抽出された語である。

［データ処理装置の構成］
まず、実施の形態におけるデータ処理装置の構成について説明する。図１は、実施の形態に係るデータ処理装置の構成の一例を模式的に示す図である。図１に示すように、データ処理装置１は、入力部１１、出力部１２、通信部１３、制御部１４及び記憶部１５を有する。

入力部１１は、データ処理装置１の操作者からの各種操作を受け付ける入力インタフェースである。例えば、入力部１１は、タッチパネル、音声入力デバイス、キーボードやマウス等の入力デバイスによって構成される。

通信部１３は、ネットワーク等を介して接続された他の装置との間で、各種情報を送受信する通信インタフェースである。通信部１３は、ＮＩＣ（Network Interface Card）等で実現され、ＬＡＮ（Local Area Network）やインターネットなどの電気通信回線を介した他の装置と制御部１４（後述）との間の通信を行う。例えば、通信部１３は、ネットワークを介して、電子文書ファイルのデータを受け取り、制御部１４に出力する。また、通信部１３は、制御部１４によって生成された専門用語を示す情報を、ネットワークを介して、外部の装置へ出力する。

出力部１２は、例えば、液晶ディスプレイなどの表示装置、プリンタ等の印刷装置、情報通信装置等によって実現され、制御部１４によって生成された対象語の関連語を示す情報等を出力する。

制御部１４は、データ処理装置１全体を制御する。制御部１４は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等の電子回路や、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路である。また、制御部１４は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。また、制御部１４は、各種のプログラムが動作することにより各種の処理部として機能する。制御部１４は、関連語候補群取得部１４１（取得部）、関連語候補出現数カウント部１４２（カウント部）及び関連語判定部１４３を有する。

関連語候補群取得部１４１は、文書データから、言葉の共起によって対象語に関連する関連語候補を抽出し、対象語それぞれの関連語候補群を取得する。関連語候補群取得部１４１は、文書データから、形態素解析を用いて抽出した名詞及び複合名詞を対象語とし、各対象語について、文書データのうち前記対象語を含む部分から形態素解析を用いて抽出した名詞及び複合名詞を関連語候補として、対象語ごとに関連語候補をまとめた関連語候補群を取得する。具体的には、関連語候補群取得部１４１は、処理対象の文書データから、形態素解析を用いて名詞及び複合名詞を抽出し、これらの抽出した各語を対象語とする対象語リストを作成する。そして、関連語候補群取得部１４１は、対象語リストの各語について、この語を含む部分を文書データから抽出する。関連語候補群取得部１４１は、抽出した部分から、形態素解析を用いて名詞及び複合名詞を抽出し、抽出した語を関連語候補として対象語ごとに関連語候補をまとめた関連語候補群を取得する。

関連語候補出現数カウント部１４２は、関連語候補群取得部１４１が取得した複数の関連語候補群に含まれる関連語候補ごとに、複数の関連語候補群の中での出現数をカウントする。

関連語判定部１４３は、カウントした出現数が所定の閾値以上である関連語候補を複数の関連語候補群から除外し、残った関連語候補を、対象語の関連語であると判定する。関連語判定部１４３は、関連語候補抽出部１４４、関連語候補除外部１４５及び関連語データ格納部１４６を有する。

関連語候補抽出部１４４は、関連語候補出現数カウント部１４２によってカウントされた出現数が所定の閾値以上である関連語候補を複数の関連語候補群から抽出する。この際、関連語候補抽出部１４４は、処理対象の文書データに応じて設定された閾値を用いて、抽出処理を行う。

ここで、この閾値は、処理対象の文書データに応じて変更される。例えば、閾値は、文書データのデータ量、文書データのデータ内容、文書データの作成期間等に応じて適宜設定される。また、閾値は、データ処理装置１による過去の文書データ処理において蓄積された処理内容や、処理対象である文書データの分野、データ量、作成期間等を基に、シミュレーションで設定されてもよい。例えば、閾値は、全対象語数の２分の１である。もちろん、閾値は、全対象語数の３分の１としてもよいし、全対象語数の４分の１としてもよい。また、閾値は、全対象語数に限らず、全関連語候補群数や、関連語候補群に含まれる各関連語候補の数に応じて設定してもよい。なお、例えば、入力部１１が、閾値の設定或いは変更を指示する指示情報を受け付けることによって、制御部１４が閾値を変更する。或いは、関連語候補抽出部１４４が、所定のルールにしたがって閾値を変更してもよい。

関連語候補除外部１４５は、関連語候補抽出部１４４によって抽出された関連語候補を、複数の関連語候補群から除外する。関連語データ格納部１４６は、関連語候補除外部１４５の除外後に残った関連語候補を、対象語の関連語であると判定し、関連語データ１５４（後述）として記憶部１５に格納する。

記憶部１５は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、光ディスク等の記憶装置である。なお、記憶部１５は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non Volatile Static Random Access Memory）等のデータを書き換え可能な半導体メモリであってもよい。記憶部１５は、データ処理装置１で実行されるＯＳ（Operating System）や各種プログラムを記憶する。さらに、記憶部１５は、プログラムの実行で用いられる各種情報を記憶する。記憶部１５は、文書データ１５１、カウントデータ１５２、閾値データ１５３及び関連語データ１５４を記憶する。

文書データ１５１は、電子化されたテキスト文書データであり、本データ処理装置１の処理対象となる文書ファイルを含む。カウントデータ１５２は、関連語候補出現数カウント部１４２がカウントした各カウント数が、関連語候補ごとに対応付けられたデータである。閾値データ１５３は、処理対象の文書ファイルに応じて変更可能に設定された閾値を示すデータである。また、関連語データ１５４は、対象語ごとに各関連語が対応付けられたデータである。

［データ処理の流れ］
次に、データ処理装置１における処理の流れについて詳細に説明する。図２及び図３は、図１に示すデータ処理装置の処理の流れを説明する図である。

まず、図２を参照して、対象語の関連語候補群を取得するまでの処理について説明する。図２に示すように、関連語候補群取得部１４１は、処理対象の電子ファイル文書１５１−１から、形態素解析により名詞及び複合名詞を抽出し、これらの抽出した各語を対象語とする対象語リストＬ_１を作成する（図２の（１）参照）。例えば、対象語リストＬ_１は、対象語として、「所分割」、「緊急通報」、「送信」の順で示す。また、対象語リストＬ_１には、Ｎ個の対象語が含まれるとして以降説明を行う。

そして、関連語候補群取得部１４１は、電子ファイル文書１５１−１のテキスト文章を、一行に一文示した形式の一文一行ファイルＦ_１、一行に一段落を示した形式の一段落一行ファイルＦ_２、または、一行に一小節を示した形式の一小節一行ファイルに変形する（図２の（２）参照）。

そして、対象語リストＬ_１の対象語のうち一番目の「所分割」の関連語候補群を取得する場合について説明する。この場合、関連語候補群取得部１４１は、「所分割」を含む行を、一文一行ファイルＦ_１、一段落一行ファイルＦ_２、及び、一小節一行ファイルから抽出する（図２の（３）参照）。例えば、関連語候補群取得部１４１は、一文一行ファイルＦ_１から「所分割にて緊急通報の送信を失敗するバグが発生した。」とする一文を抽出する。このように、関連語候補群取得部１４１は、データＰ_１に示すように「所分割」を含む行を複数抽出する。

そして、関連語候補群取得部１４１は、抽出した「所分割」を含む行を、形態素解析により名詞及び複合名詞を抽出し、重複を除いたものを、「所分割」の関連語候補とする（図２の（４）参照）。すなわち、関連語候補群取得部１４１は、「緊急通報」、「送信」、「失敗」、「バグ」、「発生」を含む関連語候補の集まりを、対象語「所分割」の関連語候補群Ｇ_１として取得する。

そして、関連語候補群取得部１４１は、対象語リストＬ_１の対象語のうち二番目の「緊急通報」に対する処理に進み、同様に、「緊急通報」について図２の（３），（４）で説明した処理を繰り返す（図２の（５）参照）。これによって、関連語候補群取得部１４１は、対象語「緊急通報」の関連語候補群を取得する。このように、対象語リストＬ_１の各対象語について、図２の（３），（４）で説明した処理を繰り返すことによって、対象語ごとに関連語候補群を取得する。関連語候補群取得部１４１は、１〜Ｎ個の対象語それぞれについて関連語候補群Ｇ_１〜Ｇ_Ｎを取得する。

次に、図３を参照して、関連語候補出現数カウント部１４２及び関連語判定部１４３の処理について説明する。図３に示すように、関連語候補群取得部１４１がＮ個の対象語それぞれの関連語候補群Ｇ_１〜Ｇ_Ｎを取得すると（図３の（６）参照）、関連語候補出現数カウント部１４２は、対象語ごとに、各関連語候補の全関連語候補群Ｇ_１〜Ｇ_Ｎにおける出現数をカウントする（図３の（７）参照）。

そして、関連語候補抽出部１４４は、全関連語候補群Ｇ_１〜Ｇ_Ｎのうち一定数（例えば、全対象語数の半数）以上に共通して出現した関連語候補を抽出する（図３の（８）参照）。ここで、図３の上部枠内では、全関連語候補群Ｇ_１〜Ｇ_Ｎのうち一定数（例えば、全対象語数の半数）以上に出現した語（関連語候補）には、右側に星印を付している。

例えば、関連語候補抽出部１４４は、「所分割」の関連語候補群Ｇ_１からは、全対象語数の半数以上、全関連語候補群Ｇ_１〜Ｇ_Ｎにおいて、共通して出現した関連語候補として「送信」、「失敗」、「バグ」、「発生」を抽出する（図３の中央の枠内の語群Ｇ_１´参照）。また、関連語候補抽出部１４４は、「緊急通報」の関連語候補群Ｇ_２からは、全対象語数の半数以上、全関連語候補群Ｇ_１〜Ｇ_Ｎにおいて、共通して出現した関連語候補として「機能」、「送信」、「発生」を抽出する（図３の中央の枠内の語群Ｇ_２´参照）。そして、関連語候補抽出部１４４は、「送信」の関連語候補群Ｇ_３からは、全対象語数の半数以上、全関連語候補群Ｇ_１〜Ｇ_Ｎにおいて、共通して出現した関連語候補として「バグ」、「失敗」、「機能」を抽出する（図３の中央の枠内の語群Ｇ_３´参照）。

続いて、関連語候補除外部１４５は、関連語候補抽出部１４４が抽出した、一定数以上、全関連語候補群Ｇ_１〜Ｇ_Ｎにおいて、共通して出現した語を除外し、関連語データ格納部１４６は、残る関連語候補を各対象語の関連語とする（図３の（９）参照）。そして、関連語データ格納部１４６は、関連語を対象語に対応付けて、記憶部１５に格納する。

例えば、関連語データ格納部１４６は、「所分割」の関連語候補群Ｇ_１のうち残った関連語候補である「緊急通報」を、「所分割」の関連語Ｋ_１（図３の下部枠内参照）として記憶部１５に格納する。関連語データ格納部１４６は、「緊急通報」の関連語候補群Ｇ_２のうち残った関連語候補である「所分割」、「番号通知」を、「緊急通報」の関連語Ｋ_２（図３の下部枠内参照）として記憶部１５に格納する。また、関連語データ格納部１４６は、「送信」の関連語候補群Ｇ_３のうち残った関連語候補である「受信」、「データ」を、「送信」の関連語Ｋ_３（図３の下部枠内参照）として記憶部１５に格納する。この結果、記憶部１５には、図３の下部枠内の関連語が、各対象語に対応付けられた状態で、関連語データとして格納される。

［データ処理方法の処理手順］
次に、図４を参照して、図１に示すデータ処理装置１によるデータ処理方法の処理手順について説明する。図４は、実施の形態に係るデータ処理方法の処理手順を示すフローチャートである。

まず、図４に示すように、制御部１４は、処理対象となる文書データを読み込むと、関連語候補群取得部１４１は、文書データから、言葉の共起によって対象語の関連語候補を抽出し、対象語ごとに関連語候補群を取得する（ステップＳ１）。関連語候補出現数カウント部１４２は、複数の関連語候補群に含まれる関連語候補ごとに、複数の関連語候補群の中での出現数をカウントする関連語候補出現数カウント処理を行う（ステップＳ２）。

続いて、関連語判定部１４３では、関連語候補抽出部１４４が、本文書データに応じた閾値を参照し（ステップＳ３）、関連語候補出現数カウント部１４２によってカウントされた出現数が、参照した閾値以上である関連語候補を複数の関連語候補群から抽出する（ステップＳ４）。続いて、関連語候補除外部１４５は、関連語候補抽出部１４４によって抽出された関連語候補を、複数の関連語候補群から除外する（ステップＳ５）。

そして、関連語データ格納部１４６は、関連語候補除外部１４５の除外後に残った関連語候補を、対象語の関連語であると判定し、関連語データ１５４として記憶部１５に格納する（ステップＳ６）。

［関連語候補出現数カウント処理の処理手順］
次に、図５を参照して、関連語候補出現数カウント処理の処理手順について説明する。図５は、図４に示す関連語候補出現数カウント処理の処理手順を示すフローチャートである。

図５に示すように、関連語候補出現数カウント部１４２は、対象語の識別番号であるｎを初期化し、ｎ＝１とする（ステップＳ１１）。そして、関連語候補出現数カウント部１４２は、対象語ｎの関連語候補群Ｇ_ｎの関連語候補のうち最初のカウント対象の関連語候補を設定する（ステップＳ１２）。ｎ＝１の場合、関連語候補出現数カウント部１４２は、まず、対象語リストの１番目の対象語（以下、対象語１とする。）についての関連語候補群Ｇ_１の１番目の関連語候補を、カウント対象として設定する。

そして、関連語候補出現数カウント部１４２は、カウント対象の関連語候補について各関連語候補群Ｇ_１〜Ｇ_Ｎ中の出現数をカウントする（ステップＳ１３）。関連語候補出現数カウント部１４２は、関連語候補群Ｇｎの全関連語候補について、各関連語候補群Ｇ_１〜Ｇ_Ｎ中の出現数をカウントしたか否かを判定する（ステップＳ１４）。

関連語候補出現数カウント部１４２は、関連語候補群Ｇｎの全関連語候補について、各関連語候補群Ｇ_１〜Ｇ_Ｎ中の出現数をカウントしていないと判定した場合（ステップＳ１４：Ｎｏ）、対象語リストのｎ番目の対象語についての関連語候補群Ｇ_ｎのうち次のカウント対象の関連語候補を設定する（ステップＳ１５）。例えば、関連語候補出現数カウント部１４２は、対象語１についてのカウントが終了した場合には、関連語候補群Ｇ_１の２番目の関連語候補を、カウント対象として設定する。このように、関連語候補出現数カウント部１４２は、対象語１の関連語候補群Ｇ_１の関連語候補の全てについて、ステップＳ１３〜ステップＳ１５を繰り返す。

一方、関連語候補出現数カウント部１４２は、関連語候補群Ｇｎの全関連語候補について、各関連語候補群Ｇ_１〜Ｇ_Ｎ中の出現数をカウントしたと判定した場合（ステップＳ１４：Ｙｅｓ）、対象語１〜Ｎまでカウントしたか否かを判定する（ステップＳ１６）。関連語候補出現数カウント部１４２は、対象語１〜Ｎまでカウントしていないと判定した場合（ステップＳ１６：Ｎｏ）、対象語の識別番号ｎに対し、ｎ＝ｎ＋１とする（ステップＳ１７）。具体的には、関連語候補出現数カウント部１４２は、対象語１の関連語候補群Ｇ_１の関連語候補の全てについてカウントを終了した場合には、対象語リストＬ_１の２番目の対象語（以降、対象語２とする。）に進む。そして、関連語候補出現数カウント部１４２は、この対象語２の関連語候補群Ｇ_２の関連語候補について、順次、各関連語候補群Ｇ_１〜Ｇ_Ｎ中の出現数をカウントする。

関連語候補出現数カウント部１４２は、対象語１〜Ｎまでカウントしたと判定した場合には（ステップＳ１６：Ｙｅｓ）、全対象語１〜Ｎの全関連語候補について、各関連語候補群Ｇ_１〜Ｇ_Ｎ中の出現数をカウントしたため、関連語候補出現数カウント処理を終了する。

［実施の形態の効果］
このように、本実施の形態に係るデータ処理装置１は、文書データから、言葉の共起によって対象語の関連語候補を抽出し、対象語それぞれの関連語候補群を取得する。そして、データ処理装置１は、この複数の関連語候補群に含まれる関連語候補ごとに、複数の関連語候補群の中での出現数をカウントし、カウントした出現数が所定の閾値以上である関連語候補を複数の関連語候補群から除外して、残った関連語候補を対象語の関連語としている。

ここで、従来の技術では、対象語に関連する関連語を、文書データから、言葉の共起によって自動抽出しているものの、共起した全ての言葉を関連語候補としているため、関連性が低い語、或いは、関連性がない語が関連語に含まれ、関連語群の抽出の精度は低かった。

これらの関連性が低い語、或いは、関連性がない語は、数多く出現し抽象度の比較的高い語と考えられるため、別々の対象語に共通して共起することが多い。そこで、本実施の形態では、対象語それぞれについて取得した関連語候補群に共通して出現する語は、どの対象語にも関連性のある語であるものの、対象語との結びつきが弱い語である場合が多いこと、すなわち、対象語との関連性が低い語である場合が多いことに着目した。

そして、本実施の形態では、これらの関連語候補群に共通して出現する語を取り除くことにより、対象語と関連性の強い語のみを絞り込んでいる。言い換えると、本実施の形態では、対象語それぞれの関連語候補群のうち一定数以上に共通して出現する語を抽出し、これらの語を除外し、対象語と関連性の高い語のみを絞りこむことによって、関連語を抽出している。このため、本実施の形態によれば、従来のデータ処理方法と比較して、関連性が低い語、或いは、関連性がない語を適切に除外することができるため、関連語を高精度に抽出できる。

［システム構成等］
図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的におこなうこともでき、あるいは、手動的に行なわれるものとして説明した処理の全部又は一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

［プログラム］
図６は、プログラムが実行されることにより、データ処理装置１が実現されるコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。

ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、データ処理装置１の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、データ処理装置１における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤにより代替されてもよい。

また、上述した実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して実行する。

なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例及び運用技術等は全て本発明の範疇に含まれる。

１データ処理装置
１１入力部
１２出力部
１３通信部
１４制御部
１５記憶部
１４１関連語候補群取得部
１４２関連語候補出現数カウント部
１４３関連語判定部
１４４関連語候補抽出部
１４５関連語候補除外部
１４６関連語データ格納部
１５１文書データ
１５２カウントデータ
１５３閾値データ
１５４関連語データ

Claims

文書データから、言葉の共起によって対象語に関連する関連語候補を抽出し、前記対象語それぞれの関連語候補群を取得する取得部と、
複数の関連語候補群に含まれる関連語候補ごとに、前記複数の関連語候補群の中での出現数をカウントするカウント部と、
前記カウント部によってカウントされた出現数が所定の閾値以上である関連語候補を前記複数の関連語候補群から除外し、残った関連語候補を、前記対象語の関連語であると判定する関連語判定部と、
を有することを特徴とするデータ処理装置。
前記取得部は、前記文書データから、形態素解析を用いて抽出した名詞及び複合名詞を対象語とし、各対象語について、前記文書データのうち前記対象語を含む部分から形態素解析を用いて抽出した名詞及び複合名詞を関連語候補として、前記対象語ごとに関連語候補をまとめた関連語候補群を取得することを特徴とする請求項１に記載のデータ処理装置。
前記所定の閾値は、文書データに応じて変更されることを特徴とする請求項１または２に記載のデータ処理装置。
データ処理装置によって実行されるデータ処理方法であって、
文書データから、言葉の共起によって対象語の関連語候補を抽出し、前記対象語それぞれの関連語候補群を取得する工程と、
複数の関連語候補群に含まれる関連語候補ごとに、前記複数の関連語候補群の中での出現数をカウントする工程と、
前記カウントした出現数が所定の閾値以上である関連語候補を前記複数の関連語候補群から除外し、前記関連語候補群において残った関連語候補を、該関連語候補群に対応する前記対象語の関連語であると判定する工程と、
を含んだことを特徴とするデータ処理方法。
文書データから、言葉の共起によって対象語に関連する関連語候補を抽出し、前記対象語それぞれの関連語候補群を取得するステップと、
複数の関連語候補群に含まれる関連語候補ごとに、前記複数の関連語候補群の中での出現数をカウントするステップと、
前記カウントした出現数が所定の閾値以上である関連語候補を前記複数の関連語候補群から除外し、前記関連語候補群において残った関連語候補を、該関連語候補群に対応する前記対象語の関連語であると判定するステップと、
をコンピュータに実行させるためのデータ処理プログラム。