JP6777601B2 - データ処理装置、データ処理方法及びデータ処理プログラム - Google Patents

Description

本発明は、データ処理装置、データ処理方法及びデータ処理プログラムに関する。

従来、専門用語の抽出は専門家の人手によらねばならず、時間がかかるため、用語辞書を最新の情報に更新し続けることが困難であるという問題があるため、このような専門用語の抽出を自動化することが期待されている。

そこで、自然言語処理分野において、文書の特色を表す、キーワード・専門用語を自動抽出する技術が提案されている。例えば、テキストデータを分割したセグメントデータから行為用語に一致するテキスト情報を抽出し、抽出したテキスト情報と全セグメントを統合した統合行為用語との比較結果を基に要部となるセグメントを判別する技術が提案されている（例えば、特許文献１参照）。

また、文書の形態素解析を行い、形態素解析結果中の特定の単語の並びを抽出し、同一対象文書あるいは同一対象文書集合中で同じ単語の並びが特定数以上出現したものを専門用語として抽出する技術が提案されている（例えば、特許文献２参照）。他にも、用語の長さに依存した評価を行う技術であって、長さ重視の用語候補抽出処理を実行し、文書検索によって抽出した用語候補と同じ用語の出現回数に応じて生成した用語テキストうち、抽出した用語候補の出現頻度の高い用語候補を専門用語として抽出する技術もある。

このように、従来の技術では、形態素解析ツールを用いて単語に分解して名詞を取り出し、名詞が連接する際につなげた複合語を専門用語の候補として生成する。そして、従来の技術では、これらの専門用語候補が文書中に使われているか語句か、すなわち、文書中で成立している語句か否かを検証した上で、専門用語を抽出している。

特開2010-122823号公報 特開2002-342321号公報

しかしながら、従来の技術では、文書全体の文章及び文から、専門用語候補を生成した上で、その専門用語候補が成立する専門用語であるか否かを検証するために文書全体を調べる必要があり、専門用語を出力するまでに長く時間がかかるという問題があった。

本発明は、上記に鑑みてなされたものであって、文書データから高速に専門用語を抽出することができるデータ処理装置、データ処理方法及びデータ処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係るデータ処理装置は、自然言語処理を含むデータ処理を行うデータ処理装置であって、文書データから目次及び索引の部分を抽出する抽出部と、目次及び索引の部分のうち連接する名詞をつなげた複合語を、専門用語として生成する専門用語生成部と、を有することを特徴とする。

本発明によれば、文書データから高速に専門用語を抽出することができる。

図１は、実施の形態に係るデータ処理装置の構成の一例を模式的に示す図である。 図２は、図１に示すデータ処理装置の処理の流れを説明する図である。 図３は、実施の形態に係るデータ処理方法の処理手順を示すフローチャートである。 図４は、図３に示す目次索引抽出処理の処理手順を示すフローチャートである。 図５は、従来技術に係るデータ処理方法の流れを示す図である。 図６は、実施の形態に係るデータ処理方法の流れを示す図である。 図７は、プログラムが実行されることにより、データ処理装置が実現されるコンピュータの一例を示す図である。

以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

［実施の形態］
本発明の実施の形態について説明する。本発明の実施の形態では、電子化されたテキスト文書データであり、目次または索引を持つデータが対象であることを前提とする。そして、本発明の実施の形態では、テキスト文書データから、目次及び索引である行を抽出し、その抽出した行毎に、連接する名詞をつなげた複合語を、専門用語として生成する。

［データ処理装置の構成］
まず、実施の形態におけるデータ処理装置の構成について説明する。図１は、実施の形態に係るデータ処理装置の構成の一例を模式的に示す図である。図１に示すように、データ処理装置１は、入力部１１、通信部１２、出力部１３、制御部１４及び記憶部１５を有する。

入力部１１は、データ処理装置１の操作者からの各種操作を受け付ける入力インタフェースである。例えば、入力部１１は、タッチパネル、音声入力デバイス、キーボードやマウス等の入力デバイスによって構成される。

通信部１２は、ネットワーク等を介して接続された他の装置との間で、各種情報を送受信する通信インタフェースである。通信部１２は、ＮＩＣ（Network Interface Card）等で実現され、ＬＡＮ（Local Area Network）やインターネットなどの電気通信回線を介した他の装置と制御部１４（後述）との間の通信を行う。例えば、通信部１２は、ネットワークを介して、電子ファイル文書のデータを受け取り、制御部１４に出力する。また、通信部１２は、制御部１４によって生成された専門用語を示す情報を、ネットワークを介して、外部の装置へ出力する。

出力部１３は、例えば、液晶ディスプレイなどの表示装置、プリンタ等の印刷装置、情報通信装置等によって実現され、制御部１４によって生成された専門用語を示す情報等を出力する。

制御部１４は、データ処理装置１全体を制御する。制御部１４は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等の電子回路や、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路である。また、制御部１４は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。また、制御部１４は、各種のプログラムが動作することにより各種の処理部として機能する。制御部１４は、目次索引抽出部１４１（抽出部）、テキストファイル作成部１４２、単語分解部１４３、名詞抽出部１４４及び専門用語生成部１４５を有する。

目次索引抽出部１４１は、処理対象となる電子ファイル文書データから目次及び索引の部分を抽出する。具体的には、目次索引抽出部１４１は、中点が連続する行を、目次の部分或いは索引の部分として抽出する。また、目次索引抽出部１４１は、空白文字（スペース）またはタブが連続し、行末が数字である行を、目次の部分或いは索引の部分として抽出する。

テキストファイル作成部１４２は、目次索引抽出部１４１が目次及び索引の部分として抽出した行を足し合わせた、集まりのテキストファイルを生成する。

単語分解部１４３は、テキストファイル作成部１４２が生成した、行の集まりであるテキストファイルに対して、形態素解析を行い、行ごとに単語に分解し、単語の集まりを抽出する。名詞抽出部１４４は、単語分解部１４３が抽出した行ごとの単語の集まりから、形態素解析を行って名詞の単語を抽出する。

専門用語生成部１４５は、目次及び索引の部分のうち連接する名詞をつなげた複合語を、専門用語として生成する。専門用語生成部１４５は、名詞抽出部１４４が抽出した名詞の単語のうち、行毎に名詞が連接する際に名詞をつなげて複合語を生成し、専門用語とする方法である。この際、専門用語生成部１４５は、連接する名詞を最大限つなげる。

記憶部１５は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、光ディスク等の記憶装置である。なお、記憶部１５は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non Volatile Static Random Access Memory）等のデータを書き換え可能な半導体メモリであってもよい。記憶部１５は、データ処理装置１で実行されるＯＳ（Operating System）や各種プログラムを記憶する。さらに、記憶部１５は、プログラムの実行で用いられる各種情報を記憶する。記憶部１５は、処理対象となる電子ファイル文書のデータ１５１や、制御部１４が生成した専門用語を示す専門用語データ１５２を記憶する。

［データ処理装置の処理の流れ］
次に、図２を参照して、図１に示すデータ処理装置１の処理の流れについて説明する。図２は、図１に示すデータ処理装置の処理の流れを説明する図である。

図２に示すように、データ処理装置１では、処理対象となる電子ファイル文書データの全体を読み込み、目次索引抽出部１４１が、電子ファイル文書から、目次及び索引の部分を抽出する。例えば、目次索引抽出部１４１は、UNIX（登録商標） Linux（登録商標） OSのパターンマッチ検出コマンド「grep」を用いて、目次及び索引の部分を抽出する（図２の（Ａ）参照）。

具体的には、目次索引抽出部１４１は、電子ファイル文書のファイル名が例えば「server-spec.txt」である場合、行Ｒ１（図２の（Ａ）参照）のに示すように、中黒（中点）「・」が連続する行を「grep」を用いて取り出す（図２の（Ａ）の（ａ）参照）。例えば、目次索引抽出部１４１は、中黒（中点）「・」が四つ以上の連続する行を抽出する。具体的には、目次索引抽出部１４１は、行「1.1 加入者データ ・・・・・・ 3」を抽出する。

また、目次索引抽出部１４１は、行Ｒ２に示すように、空白文字の連続があり数字で終わる行を「grep」を用いて取り出す（図２の（Ａ）の（ｂ）参照）。例えば、目次索引抽出部１４１は、空白文字が四つ以上の連続する行を抽出する。具体的には、目次索引抽出部１４１は、行「サーバー構成 15」を抽出する。同様に、目次索引抽出部１４１は、行Ｒ３に示すように、タブの連続があり数字で終わる行を「grep」を用いて取り出す（図２の（Ａ）の（ｃ）参照）。例えば、目次索引抽出部１４１は、タブが四つ以上の連続する行を抽出する。

そして、テキストファイル作成部１４２は、目次索引抽出部１４１による前処理にて出力した行を、足し合わせたテキストファイルに生成する（図２の（Ｂ）参照）。枠Ｗ１には、テキストファイル作成部１４２が生成したテキストファイルの一例を示す。このように、テキストファイル作成部１４２は、目次索引抽出部１４１が出力した行を、行ごとに並べたテキストファイルを作成する。

続いて、単語分解部１４３は、生成した、行の集まりであるテキストファイルを形態素解析ツール、例えば、「MeCab」を用いて、行毎に、形態素に分解した、単語の集まりを抽出する（図２の（Ｃ）参照）。名詞抽出部１４４は、単語分解部１４３が抽出した、行毎の単語の集まりから、形態素解析ツール、例えば、「MeCab」を用いて、名詞の単語に絞り込む（図２の（Ｃ）参照）。図２の例では、名詞抽出部１４４は、名詞の単語として、「加入」、「者」、「データ」の三つを絞り込む。

そして、専門用語生成部１４５は、名詞抽出部１４４が絞り込んだ、名詞が連接する際に名詞と名詞とをつなぎあわせて、一つの複合語を生成し、その複合語を専門用語とする（図２の（Ｄ）参照）。ここで、名詞が三つ連接する場合は、これらの三つの名詞をつなぎあわせる。例えば、図２の例では、専門用語生成部１４５は、連接する「加入」、「者」、「データ」の名詞をつなぎあわせて、「加入者データ」を生成する。なお、名詞が四つ以上連接する場合も同様にして、四つ以上の名詞を全てつなぎあわせる。

そして、テキストファイルの次の行に対する処理が残っている場合には、次の行に進み、単語分解部１４３、名詞抽出部１４４及び専門用語生成部１４５による各処理を行う。したがって、単語分解部１４３、名詞抽出部１４４及び専門用語生成部１４５による各処理は、行毎に、最初の行から最終行まで繰り返し実行される（図２の（Ｅ）参照）。

［データ処理方法の処理手順］
次に、図３を参照して、図１に示すデータ処理装置１によるデータ処理方法の処理手順について説明する。図３は、実施の形態に係るデータ処理方法の処理手順を示すフローチャートである。

まず、図３に示すように、制御部１４は、処理対象となる電子ファイル文書のデータを読み込むと（ステップＳ１）、目次索引抽出部１４１は、電子ファイル文書から目次及び索引の部分を抽出する目次索引抽出処理を行う（ステップＳ２）。

そして、テキストファイル作成部１４２は、目次索引抽出部１４１が目次及び索引の部分として抽出した行を足し合わせた、集まりのテキストファイルを作成するテキストファイル作成処理を行う（ステップＳ３）。

続いて、単語分解部１４３は、テキストファイル作成部１４２が生成したテキストファイルに対して形態素解析を行い、処理対象の行について単語に分解し、この行の単語の集まりを抽出する単語分解処理を行う（ステップＳ４）。そして、名詞抽出部１４４は、単語分解部１４３が抽出した単語の集まりから、形態素解析を行って、この行における名詞の単語を抽出する名詞抽出処理を行う（ステップＳ５）。

そして、専門用語生成部１４５は、名詞抽出部１４４が抽出した名詞の単語のうち、連接する名詞をつなげた複合語を専門用語として生成する専門用語生成処理を行う（ステップＳ６）。制御部１４は、処理対象となる次の行があるか否かを判定する（ステップＳ７）。

制御部１４は、テキストファイルの中に、処理対象となる次の行があると判定した場合（ステップＳ７：Ｙｅｓ）、テキストファイルの次の行へ進み（ステップＳ８）、ステップＳ４に戻る。これに対し、制御部１４は、テキストファイルの中に、処理対象となる次の行がないと判定した場合（ステップＳ７：Ｎｏ）、テキストファイルの全ての行に対してステップＳ４〜ステップＳ６の処理を行ったと判定し、データ処理を終了する。

［目次索引抽出処理の処理手順］
次に、図３に示す目次索引抽出処理（ステップＳ２）の処理について説明する。図４は、図３に示す目次索引抽出処理の処理手順を示すフローチャートである。

目次索引抽出部１４１は、中点が連続する行を、目次の部分或いは索引の部分として抽出する（ステップＳ１１）。目次索引抽出部１４１は、中点が、例えば、四つ以上連続する行を抽出する。

続いて、目次索引抽出部１４１は、空白文字またはタブが連続し、行末が数字である行を、目次の部分或いは索引の部分として抽出する（ステップＳ１２）。目次索引抽出部１４１は、空白文字またはタブが、例えば、四つ以上連続し、行末が数字である行を抽出する。なお、ステップＳ１１及びステップＳ１２は、逆の順序で実行されてもよい。また、ステップＳ１１及びステップＳ１２は、並列に実行されてもよい。

［実施の形態の効果］
このように、本実施の形態では、目次及び索引の部分に相当する行を抽出し、その抽出した行ごとに、名詞が連接する際には、名詞をつなげて複合語を生成し、専門用語としている。

ここで、従来のデータ処理方法方について説明する。図５は、従来技術に係るデータ処理方法の流れを示す図である。図５に示すように、従来では、処理対象の電子ファイル文書に対し、形態素解析ツールを用いて単語に分解して（図５の（１）参照）、名詞を抽出する（図５の（２）参照）。続いて、従来では、名詞が連接する際につなげた複合語を専門用語の候補として生成する（図５の（３）参照）。

その後、従来では、これらの専門用語の候補が文書中に使われている語句、すなわち、文書中で成立している語句であるかを、電子文書ファイル全体の文章或いは文を調べることによって検証する（図５の（４）参照）。そして、従来では、電子文書ファイル全体において各専門用語候補が出現する回数をカウントし、１回以上出現した専門用語があった場合には、この１回以上電子ファイル文書に出現する専門用語を専門用語として抽出する
（図５の（５）参照）。

このように、従来のデータ処理方法では、処理対象の電子ファイル文書全体の文章及び文から、専門用語候補を生成した上で、その専門用語候補の電子ファイル文書における出現回数をカウントし、電子ファイル文書において成立する専門用語であるか否かを検証していた。したがって、従来のデータ処理方法では、この検証のために電子ファイル文書全体の文章及び文を調べる必要があるため、処理を完了するまでに時間がかかるという問題があった。

これに対し、本実施の形態では、目次及び索引の部分に相当する行を抽出し、その抽出した行ごとに、名詞が連接する際には、名詞をつなげて複合語を生成し、専門用語としている。

図６は、実施の形態に係るデータ処理方法の流れを示す図である。具体的には、図６に示すように、本実施の形態では、電子ファイル文書のデータＦｇから、目次或いは索引のみを行ごとに抽出し（図６の（１）参照）、目次及び索引の抽出行を集めたテキストファイル（枠Ｗ１参照）を、形態素解析により単語に分解し（図６の（２）参照）、行単位に名詞を抽出する（図６の（３）参照）。そして、本実施の形態では、行単位に名詞連接を最大限につなげることにより複合語を生成し、専門用語としている（図６の（４）参照）。

専門用語を含む、その文書の特色を示すキーワードと重要な言葉は、節や小節のタイトルに使用される語句、及び、索引に掲載される語句に多い傾向がある。そこで、本実施の形態では、上記のように、この目次及び索引の行を電子ファイル文書から抽出し、この目次と索引のみから連接する名詞をつなげて専門用語としている。

したがって、本実施の形態によれば、従来のように、処理対象の電子ファイル文書全体を検証する必要がない。また、本実施の形態によれば、従来のように、専門用語の候補の電子ファイル文書における出現回数をカウントする必要がない。

この結果、本実施の形態によれば、従来のデータ処理方法と比較して、電子ファイル文書から、高速に専門用語を抽出することが可能になる。

また、本実施の形態では、中点が連続する行、或いは、空白文字またはタブが連続し、行末が数字である行を抽出するため、目次の部分或いは索引の部分を正確に抽出でき、専門用語の抽出の精度を高めることも可能になる。

［システム構成等］
図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部又は一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

［プログラム］
図７は、プログラムが実行されることにより、データ処理装置１が実現されるコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。

ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、データ処理装置１の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、データ処理装置１における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤにより代替されてもよい。

また、上述した実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して実行する。

なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例及び運用技術等は全て本発明の範疇に含まれる。

１ データ処理装置
１１ 入力部
１２ 通信部
１３ 出力部
１４ 制御部
１５ 記憶部
１４１ 目次索引抽出部
１４２ テキストファイル作成部
１４３ 単語分解部
１４４ 名詞抽出部
１４５ 専門用語生成部
１５１ 電子ファイル文書データ
１５２ 専門用語データ

Claims (6)

1. 自然言語処理を含むデータ処理を行うデータ処理装置であって、
   文書データから目次及び索引の部分を抽出する抽出部と、
   前記目次及び索引の部分のうち連接する名詞をつなげた複合語を、専門用語として生成する専門用語生成部と、
   を有し、
   前記抽出部は、中点が連続する行を、目次の部分或いは索引の部分として抽出することを特徴とするデータ処理装置。
2. 自然言語処理を含むデータ処理を行うデータ処理装置であって、
   文書データから目次及び索引の部分を抽出する抽出部と、
   前記目次及び索引の部分のうち連接する名詞をつなげた複合語を、専門用語として生成する専門用語生成部と、
   を有し、
   前記抽出部は、空白文字またはタブが連続し、行末が数字である行を、目次の部分或いは索引の部分として抽出することを特徴とするデータ処理装置。
3. 自然言語処理を含むデータ処理を行うデータ処理装置によって実行されるデータ処理方法であって、
   文書データから目次及び索引の部分を抽出する抽出工程と、
   前記目次及び索引の部分のうち連接する名詞をつなげた複合語を、専門用語として生成する専門用語生成工程と、
   を含み、
   前記抽出工程は、中点が連続する行を、目次の部分或いは索引の部分として抽出することを特徴とするデータ処理方法。
4. 自然言語処理を含むデータ処理を行うデータ処理装置によって実行されるデータ処理方法であって、
   文書データから目次及び索引の部分を抽出する抽出工程と、
   前記目次及び索引の部分のうち連接する名詞をつなげた複合語を、専門用語として生成する専門用語生成工程と、
   を含み、
   前記抽出工程は、空白文字またはタブが連続し、行末が数字である行を、目次の部分或いは索引の部分として抽出することを特徴とするデータ処理方法。
5. 文書データから、中点が連続する行を、目次及び索引の部分として抽出するステップと、
   前記目次及び索引の部分のうち連接する名詞をつなげた複合語を、専門用語として生成するステップと、
   をコンピュータに実行させるためのデータ処理プログラム。
6. 文書データから、空白文字またはタブが連続し、行末が数字である行を、目次及び索引の部分として抽出するステップと、
   前記目次及び索引の部分のうち連接する名詞をつなげた複合語を、専門用語として生成するステップと、
   をコンピュータに実行させるためのデータ処理プログラム。

Images