JP3553543B2

JP3553543B2 - Related word automatic extraction device, multiple important word extraction program, and upper and lower hierarchy relation extraction program for important words

Info

Publication number: JP3553543B2
Application number: JP2001367472A
Authority: JP
Inventors: 源一郎末木; 宏明藤木; 直子吉野; 和子足立
Original assignee: Mitsubishi Space Software Co Ltd
Current assignee: Mitsubishi Space Software Co Ltd
Priority date: 2001-11-30
Filing date: 2001-11-30
Publication date: 2004-08-11
Anticipated expiration: 2021-11-30
Also published as: JP2003167894A; WO2003046765A1

Description

【０００１】
【発明の属する技術分野】
この発明は、データベース中に含まれる言葉の統計情報に基づいて、ユーザーが指定した言葉に関連の深い言葉を自動的に抽出する関連語自動抽出方法において、一般的な既存のシソーラス辞書には記載されていない、ユーザーが指定した特定分野に出現する専門用語や、新語および流行語を抽出可能にした関連語自動抽出方法と関連語自動抽出装置に関するものである。
【０００２】
【従来の技術】
従来の関連語自動抽出装置は、その内部構成品として既存のシソーラス辞書を持っており、ユーザーが指定した言葉を該シソーラス辞書から単に検索してその結果を関連語抽出結果として表示させるのみであるのが一般的である。
【０００３】
【発明が解決しようとする課題】
しかし、従来の関連語自動抽出装置では、既存のシソーラス辞書には記載されていない専門用語や新語および流行語はその重要度にかかわらず抽出することができないという欠点があった。
【０００４】
また、複数の分野についての関連語が必要な場合、各分野個別にシソーラス辞書を用意する必要があったため、コスト面でも無駄が多かった。
【０００５】
更に、既存のシソーラス辞書を用いず、データベースの統計情報から関連語を自動抽出する方法においても、従来の関連語自動抽出方法では例えば単独に出現する言葉の出現頻度のみを使用したものが一般的である。
【０００６】
したがって、たとえ専門用語や新語および流行語を含んだ文書データベースを用いたとしても、関連語抽出方法の抽出精度に欠点がありユーザーの所望する的確な関連語を抽出することが困難であった。
【０００７】
この発明は上記した従来技術の問題点を解決するためになされたもので、その目的とするところは、一般的な既存のシソーラス辞書には記載されていない、ユーザーが指定した特定分野に出現する専門用語や、新語および流行語を自動抽出することが可能で、さらにユーザーが指定した言葉に関連の深い重要語を高精度で的確に抽出することが可能な関連語自動抽出方法および関連語自動抽出装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、請求項１に記載の発明は、文書群を格納するデータベースを有するデータベース部と、前記データベース中に含まれる文書の内容を特徴付けると考えられる名詞からなる重要語を抽出する重要語解析部と、該重要語解析部で抽出した重要語の前記データベース中の全出現回数と重要語が前記データベース中に含まれる文書数とを含む統計情報を取得し、前記重要語解析部で抽出した特定の重要語が含まれる文書における特定の重要語から一定の範囲内に存在する別の重要語の出現数を取得するカウント部と、前記統計情報と前記特定の重要語が一定の範囲内に存在する別の重要語の出現数とから演算される特定の重要語と別の重要語とが一定範囲内に出現する出現確率に基づいて特定の重要語と別の重要語との関連度を判定する関連語抽出部と、を有することを特徴としている。
【０００９】
請求項２に記載の発明は、文書群を格納するデータベースを有するベータベース部と、前記データベース中に含まれる文書の内容を特徴付けると考えられる名詞からなる重要語を抽出する重要語解析部と、該重要語解析部で抽出した重要語の前記データベース中の全出現回数と重要語が前記データベース中に含まれる文書数とを含む統計情報を取得し、前記重要語解析部で抽出した特定の重要語と別の重要語との重要語ペアの上位語と下位語との関係を表す上下階層関係情報を取得するカウント部と、前記統計情報と前記重要語ペアの一方が上位語で他方が下位語である確率に基づいて特定の重要語と別の重要語との上下関係を判定する関連語抽出部と、を有することを特徴としている。
【００１０】
請求項３に記載の発明は、請求項１または２に記載の構成に加えて、前記データベース部は、前記データベースに入力される文書群から文書のヘッダー情報を利用して同一文書か否かを判定し、複数の同一文書が含まれていた場合に一つの文書を残して他の同一文書を除去する同一文書判定機能部を有し、該同一文書判定機能部で同一文書を除去した後の文書を前記データベースに格納するものであることを特徴としている。
【００１１】
請求項４に記載の発明は、請求項１または２に記載の構成に加えて、前記重要語解析部は、文書を形態素解析により品詞単位に分割し品詞情報を取得する形態素解析部と、該形態素解析部で品詞単位に分割した形態素のうち連続する名詞を結合して複合語を作成し、該複合語を重要語として品詞情報および前記統計情報と共に重要語リストに保存する重要語の抽出部とを有していることを特徴としている。
【００１２】
請求項５に記載の発明は、データベース中の文書を一文書ずつ読み込み、該データベース中の文書の内容を特徴付けると考えられる名詞からなる特定の重要語を探索し、探索された特定の重要語を含む文書において、特定の重要語から予め定義した一定範囲内に別の重要語があるか否かを探索し、特定の重要語から一定範囲内に存在する別の重要語が探索された場合に、特定の重要語と別の重要語とのペアを逐次、前記カウント部に含まれている一定範囲内の複数重要語の抽出部のカウントリストに保存し、特定の重要語と別の重要語とのペアを既に作成したカウントリストから探索し、既に同一の重要語のペアがカウントリストに存在した場合、出現回数のカウントに１加えてカウントリストを更新し、カウントリストに存在しなかった場合、前記重要語のペアのカウントを１にしてカウントリストに新たに保存する処理をデータベース中の予め指定した複数文書について行うことにより作成されたカウントリストを元に、重要語のペアの関連度を判定するように、コンピュータを機能させることを特徴としている。
【００１３】
請求項６に記載の発明は、データベース中の文書を一文書ずつ読み込み、前記データベース中の文書の内容を特徴付けると考えられる名詞からなる重要語の上位語と下位語との関係を表現している表層表現を抽出し、抽出された表層表現中の上位語部分および下位語部分に特定の重要語が含まれるか否かを探索し、上位語部分および下位語部分の双方ともに特定の重要語が探索された場合、探索された上下重要語のペアを逐次、前記カウント部に含まれている重要語の上下階層関係の抽出部のカウントリストに保存し、既に同一の重要語のペアがカウントリストに存在した場合、出現回数のカウントに１加えてカウントリストを更新し、カウントリストに存在しなかった場合、前記上下重要語のペアのカウントを１にしてカウントリストに新たに保存する処理を前記データベース中の予め指定した複数文書について行うことにより作成されたカウントリストを元に、重要語の上下階層関係を構築するように、コンピュータを機能させることを特徴としている。
【００２３】
【発明の実施の形態】
以下、この発明を図示の実施の形態に基づいて詳細に説明する。
【００２４】
図１は、この発明の実施の形態に係る関連語自動抽出装置のブロック図である。
【００２５】
すなわち、この関連語自動抽出装置は、ユーザーが指定した分野の文書群を格納するデータベース部１と、このデータベース部１に含まれる重要語を抽出・選別する重要語解析部２と、重要語解析部２で選別した重要語に対する統計情報および重要語の上下階層関係情報を取得するカウント部３と、カウント部３で生成したカウントリストを用いて重要語同士の関連度を計算する関連語抽出部４とを備えた構成となっており、データベース部１中の文書から重要度の高い言葉である重要語を選別し、重要語または重要語のペアに対する統計情報を用いて重要語同士の関連度を計算する処理を行う。
【００２６】
データベース部１は、入力される文書群から同一文書を判定し、複数の同一文書が含まれていた場合に一つの文書を残して他の同一文書を除去する同一文書判定機能部１１および同一文書判定機能部１１で同一文書を除去した後の文書を格納するデータベース１２から構成される。
【００２７】
以下、同一文書判定機能部１１について詳しく説明する。
【００２８】
例えば、データベース１２中の文書が特許文書であると仮定した場合、特許文書のヘッダー部から「出願人の氏名または名称」、「発明の名称」および「発明者の氏名」を抽出し、（１）「出願人の氏名または名称」が同一であること（２）「発明の名称」が同一であること（３）発明者の人数が一致している、かつ各々の「発明者の氏名」がすべて一致している（記載順は不問）ことを判定する。
前記（１）乃至（３）の条件に合致した文書群はすべて同一文書とみなす。
【００２９】
重要語解析部２は、形態素解析部２１および重要語の抽出部２２から構成される。
【００３０】
形態素解析部２１では、前記データベース中の文書を形態素解析により品詞単位に分割し、品詞情報を取得する。
【００３１】
重要語の抽出部２２では、前記形態素解析部２１で品詞単位に分割した形態素を、例えば連続する名詞は結合させる等の複合語処理をすることにより複合語を作成し、該複合語を重要語として品詞情報および統計情報と共に重要語リストに保存する。複合語作成により、分割による言葉の抽象化を回避することができ、最終的に抽出する関連語の精度を向上させることができる。
【００３２】
重要語とは、前記方法により作成した複合語に限られるものではなく、例えば複合語以外の普通名詞、固有名詞、未定義語等、データベース１２中の文書のジャンル毎にその文書の内容を特徴付けると考えられる言葉の品詞を指定する。
【００３３】
また、重要語の抽出後、場合によっては必ず除外する言葉等を除外リストとして保有しておき、除外リスト中の言葉は重要語から除外する機能を追加してもよい。具体的には、データベースの文書のジャンル毎に、例えば、特許文書であれば「発明者」、「比較例」等その文書の内容を特徴付けることができない言葉を除外リストに登録することが考えられる。
【００３４】
この除外リストには、形態素毎に完全一致することを除外条件とする言葉の他に、部分的に一致していれば除外対象とする言葉を含んでいてもよい。
【００３５】
更に、同一の意味を持つ重要語を同一語リストとして保有しておき、重要語抽出の際に、この重要語リスト中の言葉の統計情報をまとめて保存することにより、重要語の抽出精度を向上させることができる。
【００３６】
図２は、重要語リストの概念図である。
【００３７】
ここで、前記重要語リストに保存されるべき「統計情報」とは、重要語２３のデータベース中の全出現回数２５、およびデータベース中に重要語が含まれる文書数２４の割合を用いる。これらは、後のカウント部３および関連語の抽出部４１で使用する各種統計量の元になる情報である。
【００３８】
データベース１２中に重要語が含まれる文書数の取得には、各々の重要語に対応する複数の異なる検索条件式を作成し、該複数の異なる検索条件式を複数の異なるプロセッサを有する超並列計算機の前記複数の異なるプロセッサ上に別個に設定し、データベース１２中に蓄積されている文書群を前記複数の異なる検索条件式で同時並行的に全文検索し、前記検索条件式に合致した結果を用いることができる。ここで、各々の検索条件式に合致した結果数が、データベース１２中に各々の重要語が含まれる文書数となる。重要語解析部２の処理の都度、前記全文検索を行うことで統計情報の正確さを保持することできる。
【００３９】
前記超並列計算機は、数千乃至数万のプロセッサ（以下、これらをまとめてパイプラインという）を内蔵することにより、このパイプラインに複数の異なった検索条件式を同時に設定可能としている。そして、これら大量のプロセッサを同時に動作させることによって、複数の異なった検索条件式とデータベースのマッチングを行う全文検索を実行する。マッチングの結果、検索条件式に合致する文書が見つかったら、その文書がヒットしたとみなす機能を有する。
【００４０】
超並列計算機は、全文検索エンジン（例えば、Ｐａｒａｃｅｌ社製、ＦＤＦ（登録商標）４ＴＴｅｘｔＦｉｎｄｅｒ）のような機器が望ましいが、これと同等の機能および性能を有するワークステーション等の機器でもよい。
【００４１】
カウント部３は、一定範囲内の複数重要語の抽出部３１および重要語の上下階層関係の抽出部３２から構成される。
【００４２】
関連語自動抽出方法において、一定範囲内の複数重要語の抽出部３１または重要語の上下階層関係の抽出部３２のいずれか一方の処理を予めユーザーが選択しておき、ユーザーが選択した処理のみを行う。
【００４３】
一定範囲内の複数重要語の抽出部３１では、重要語解析部２で抽出した重要語を基準にして、基準から予め定義した一定の範囲内に別の重要語が存在する場合を複数重要語と定義し、該複数重要語の出現数をカウントしたものをカウントリストとして保存する。複数重要語の抽出手順を図５のフローチャートに示しているが、その詳細は後述する。
【００４４】
重要語の上下階層関係の抽出部３２では、上位語と下位語の関係が明確に表現されている表層表現を予め定義しておき、前記重要語解析部２で抽出した重要語が含まれる該表層表現を抽出する。抽出した表層表現中の重要語を上位重要語および下位重要語とし、それらの出現数をカウントしたものをカウントリストとして保存する。重要語の上下階層関係の抽出手順を図６のフローチャートに示しているが、その詳細は後述する。
【００４５】
図１において、関連語抽出部４は、関連語の抽出部４１からなる。該関連語の抽出部４１において、前記カウント部３で作成したカウントリストを元に関連語判定を行う。
【００４６】
関連語判定には、例えば２つの言葉の非類似度を判定するＩｎｆｏｒｍａｔｉｏｎＲａｄｉｕｓ（ＣｈｒｉｓｔｏｐｈｅｒＤ．ＭａｎｎｉｎｇａｎｄＨｉｎｒｉｃｈＳｃｈｕｔｚｅ，ＦｏｕｎｄａｔｉｏｎｓＯｆＳｔａｔｉｓｔｉｃａｌＮａｔｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ，ＴｈｅＭＩＴＰｒｅｓｓ（ＭＡＮＦＨ０−２６２−１３３６０−１））等の判定指標を用いることができるが、これに限らず、例えば前記一定範囲内の複数重要語の抽出部３１を選択した場合は一定範囲内に存在する重要語が共通している重要語のペア、または前記重要語の上下階層関係の抽出部３２を選択した場合は下位重要語が共通している重要語のペアを、関連語と判定することもできる。
【００４７】
図３は、カウントリストの概念図であり、重要語１のＩＤ３３、重要語２のＩＤ３４、重要語１と重要語２のペアの出現回数３５がリスト項目としてカウント
リストが作成されている。
【００４８】
図４は、図３のカウントリストおよび図２の重要語リストを元にして作成した関連度判定リストの概念図である。
【００４９】
図４の各列に配置されている言葉Ａ、Ｂ、Ｃ、Ｄ、・・・が関連語判定の対象になる関連語判定対象語（重要語）４２の集合で、各行に配置されている言葉ａ、ｂ、ｃ、ｄ、・・・が関連語判定の用いる関連語判定使用語（重要語）４３である。基本的に、各列、各行とも重要語解析部２で抽出した重要語であり、カウント部３で抽出した重要語ペアの片方が列に、もう片方が行に配置される。例えば、図５の一定範囲内に存在する重要語ペアでは重要語Ａを列に、重要語Ｂを行に配置する。図６の上下重要語ペアでは上位重要語を列に、下位重要語を行に配置する。図４の関連度判定リストにおいて、各セルの数字は、出現確率を表している。例えばｃ列Ａ行では、「重要語Ａと重要語ｃが一定範囲内に出現する確率」、または「重要語Ａが上位語で重要語ｃが下位語である確率」を表す。
【００５０】
以下、関連語判定の一例として、２つの言葉の非類似度を判定するのにＩｎｆｏｒｍａｔｉｏｎＲａｄｉｕｓの判定指標を用いた場合の判定例について説明する。
【００５１】
統計量は、この出現確率を用いて計算される「２つの言葉の非類似度」で、各列に配置された大文字アルファベットのすべてのペアについて計算する（ＡとＢ、ＡとＣ、ＡとＤ、・・・、ＢとＣ、ＢとＤ・・・、ＣとＤ、・・・）。重要語Ａと重要語Ｄの関連度判定を例にとり説明すると、Ａに対するａ、ｂ、ｃ、ｄ、・・・出現確率と、Ｄに対するａ、ｂ、ｃ、ｄ、・・・の出現確率の違いが、非類似度として算出される。仮にすべての行において出現確率が同じ値（ａ行Ａ列＝ａ行Ｄ列、ｂ行Ａ列＝ｂ行Ｄ列、ｃ行Ａ列＝ｃ行Ｄ列、ｄ行Ａ列＝ｄ行Ｄ列、・・・）であれば、非類似度は０、つまりＡとＤの類似度は最大となり、したがって重要語Ａと重要語Ｄの関連度は最大となる。逆に、出現確率が共に０でない言葉ａ、ｂ、ｃ、ｄ、・・・が一つもなければ非類似度は最大、つまり関連度は最小となる。以上のように、すべての大文字アルファベットのペアについて、統計量を計算し、ある閾値以下のペアのみ互いに関連のある言葉（関連語）と判定する。
【００５２】
図５は、この発明の実施の形態に係る関連語自動抽出方法における、一定範囲内に存在する複数個の重要語の同時出現回数をカウントする手順を示すフローチャートである。
【００５３】
まず、データベース中の文書を一文書ずつ読み込み（ステップＳ１）、該文書中から前記重要語解析部２で抽出した重要語を探索する（ステップＳ２）。
【００５４】
ここで探索すべき重要語とは、前記重要語解析部２で抽出したものに限らず、場合によっては予めユーザーが定義したユーザー定義重要語リストに含まれる言葉でもよい。ユーザー定義重要語リストには、完全一致することを探索条件とする言葉の他に、部分的に一致していれば探索対象とする言葉を含んでいてもよい。
【００５５】
さらに、探索すべき言葉の重要度の判定尺度として、データベース中の全出現回数、データベース中にその重要語が含まれる文書数の割合や文字数を必要に応じて探索対象重要語のフィルターに適用してもよい。これらの各種フィルターを適用することにより、重要語を更に絞り込むことができ、その結果最終的に抽出される関連語の精度を向上させることができる。
【００５６】
重要語が探索された場合（ステップＳ３でＹＥＳと判定された場合）、探索された重要語（これを重要語Aとよぶ）から予め定義した一定範囲内に別の重要語（これを重要語Bとよぶ）があるか否かを探索する（ステップＳ４）。
【００５７】
一定範囲内とは、例えば一文内（一文の先頭から句点「。」までの範囲）で、前後２つまで近接したものを一定範囲内と定義するが、これに限らずデータベース中の文書毎に特徴を表すと予測される範囲を指定する。
【００５８】
重要語Aから一定範囲内に存在する重要語Bが探索された場合（ステップＳ５でＹＥＳと判定された場合）、重要語Aおよび重要語Bのペアを逐次カウントリストに保存する。
【００５９】
重要語Aおよび重要語Bのペアを既に作成したカウントリストから探索し（ステップＳ６）、既に同一のペアがカウントリストに存在した場合（ステップＳ７でＹＥＳと判定された場合）、出現回数のカウントに１加えてカウントリストを更新する（ステップＳ８）。
【００６０】
カウントリストに存在しなかった場合（ステップＳ７でＮＯと判定された場合）、前記重要語Aおよび重要語Bのペアのカウントを１にしてカウントリストに新たに保存する（ステップＳ９）。
【００６１】
以上、ステップＳ１乃至ステップＳ９の処理をデータベース中の予め指定した複数文書について行う（ステップＳ１０）。
【００６２】
その後、前記ステップＳ１乃至Ｓ１０で作成したカウントリストおよび重要語リスト中の統計情報を元に、重要語Ａおよび重要語Ｂのペアの重要度を判定する（ステップＳ１１）。ステップＳ１１には、例えばＤｉｃｅ係数や相互情報量等を用いることができる。
【００６３】
図６は、この発明の実施の形態に係る関連語自動抽出方法における、重要語の上下階層関係を抽出する手順を示すフローチャートである。
【００６４】
まず、データベース中の文書を一文書ずつ読み込み（ステップＳ２１）、該文書中から予め作成しておいた表層表現リストに書かれている表層表現を抽出する（ステップＳ２２）。
【００６５】
ここで前記表層表現リストに書かれるべき表層表現とは、上位語と下位語の関係が明確に表現されているものであり、例えば「Ａ、Ｂ、Ｃ等のＤ」（Ａ乃至Ｄは各々重要語とする）という表現においては、上位語がＤ、下位語がＡ、Ｂ、Ｃである。
【００６６】
次に、前記ステップＳ２２で抽出された（ステップＳ２３でＹＥＳと判定された場合）表層表現中の上位語部分および下位語部分に前記重要語解析部２で抽出した重要語が含まれるか否かを探索する（ステップＳ２４）。
【００６７】
ここで探索すべき重要語とは、前記重要語解析部２で抽出したものに限らず、場合によっては予めユーザーが定義したユーザー定義重要語リストに含まれる言葉でもよい。また、ユーザー定義重要語リストには、完全一致することを探索条件とする言葉の他に、部分的に一致していれば探索対象とする言葉を含んでいてもよい。
【００６８】
この探索により、上位語部分および下位語部分の双方ともに重要語が探索された場合（ステップＳ２５でＹＥＳと判定された場合）、探索された上下重要語ペアを逐次カウントリストに保存する。この時、上下重要語ペアの重要度の判定尺度として、データベース１２中に上位重要語および下位重要語が含まれる文書数の割合の比較、上位重要語および下位重要語の形態素の比較、および必ず除外する上下重要語ペアを上下重要語ペア除外リストとして保有しておき、上下重要語ペア除外リスト中の上下重要語ペアは除外する機能等を必要に応じて適用してもよい。
【００６９】
上下重要語ペアを既に作成したカウントリストから探索し（ステップＳ２６）、既に同一のペアがカウントリストに存在した場合（ステップＳ２７でＹＥＳと判定された場合）、出現回数のカウントに１加えてカウントリストを更新する（ステップＳ２８）。
【００７０】
カウントリストに存在しなかった場合（ステップＳ２７でＮＯと判定された場合）、前記上下重要語ペアのカウントを１にしてカウントリストに新たに保存する（ステップＳ２９）。
【００７１】
以上、ステップＳ２１乃至ステップＳ２９の処理をデータベース中の予め指定した複数文書について行う（ステップＳ３０）。
【００７２】
その後、前記ステップＳ２１乃至Ｓ３０で作成したカウントリストおよび重要語リスト中の統計情報を元に重要語の上下階層関係を構築する（ステップＳ３１）。
【００７３】
具体的には、例えば共通の下位重要語Ｃを持つ上位重要語ＡおよびＢが抽出されていると同時に上位重要語Ａおよび下位重要語Ｂが抽出されている場合、全体的にみれば直接の上下関係になっているペアはＡ（上位）−Ｂ（下位）ペアおよびＢ（上位）−Ｃ（下位）ペアのみであり、Ａ（上位）−Ｃ（下位）ペアは冗長分に過ぎない。したがって、重要語の上下階層関係を構築する際に前記Ａ−Ｃの冗長ペアを除外する。
【００７４】
また、上下階層関係の構築の際、前記上下重要語ペアのデータベース中での全出現回数に閾値を設け、閾値未満の該上下重要語ペアを必要に応じて除外してもよい。
【００７５】
【発明の効果】
以上説明したように、請求項１に記載の発明によれば、文書群を格納するデータベースを有するデータベース部と、データベース中に含まれる文書の内容を特徴付けると考えられる名詞からなる重要語を抽出する重要語解析部と、該重要語解析部で抽出した重要語のデータベース中の全出現回数と重要語がデータベース中に含まれる文書数とを含む統計情報を取得し、重要語解析部で抽出した特定の重要語が含まれる文書における特定の重要語から一定の範囲内に存在する別の重要語の出現数を取得するカウント部と、統計情報と特定の重要語が一定の範囲内に存在する別の重要語の出現数とから演算される特定の重要語と別の重要語とが一定範囲内に出現する出現確率に基づいて特定の重要語と別の重要語との関連度を判定する関連語抽出部と、を有するので、複数個の重要語のペアによる意味付けを合理的にでき、その結果、関連語抽出精度を向上させることが可能となる。
【００７７】
請求項２に記載の発明によれば、文書群を格納するデータベースを有するデータベース部と、データベース中に含まれる文書の内容を特徴付けると考えられる名詞からなる重要語を抽出する重要語解析部と、該重要語解析部で抽出した重要語のデータベース中の全出現回数と重要語がデータベース中に含まれる文書数とを含む統計情報を取得し、重要語解析部で抽出した特定の重要語と別の重要語との重要語ペアの上位語と下位語との関係を表す上下階層関係情報を取得するカウント部と、統計情報と重要語ペアの一方が上位語で他方が下位語である確率に基づいて特定の重要語と別の重要語との上下関係を判定する関連語抽出部とを有するので、互いに無関係な複数の重要語が偶発的に出現したことによるノイズを合理的に除去することができる。
【００７８】
請求項３に記載の発明によれば、データベース部は、データベースに入力される文書群から文書のヘッダー情報を利用して同一文書か否かを判定し、複数の同一文書が含まれていた場合に一つの文書を残して他の同一文書を除去する同一文書判定機能部および該同一文書判定機能部で同一文書を除去した後の文書を格納するものであるので、請求項１または２の効果に加えて、特定の文書が多くの同一文書を持った場合に生じる統計情報の不要な偏りを除去することができ、その結果、関連語抽出精度を向上させることが可能となる。
【００７９】
請求項４に記載の発明によれば、重要語解析部は、文書を形態素解析により品詞単位に分割し品詞情報を取得する形態素解析部と、該形態素解析部で品詞単位に分割した形態素のうち連続する名詞を結合して複合語を作成し、該複合語を重要語として品詞情報および統計情報と共に重要語リストに保存する重要語の抽出部とを有しているので、請求項１または２の効果に加えて、形態素解析部の分割による言葉の抽象化を回避することができ、最終的に抽出する関連語の精度を向上させることができる。
【００８０】
請求項５に記載の発明によれば、データベース中の文書を一文書ずつ読み込み、該データベース中の文書の内容を特徴付けると考えられる名詞からなる特定の重要語を探索し、探索された特定の重要語を含む文書において、特定の重要語から予め定義した一定範囲内に別の重要語があるか否かを探索し、特定の重要語から一定範囲内に存在する別の重要語が探索された場合に、特定の重要語と別の重要語とのペアを逐次、カウント部に含まれている一定範囲内の複数重要語の抽出部のカウントリストに保存し、特定の重要語と別の重要語とのペアを既に作成したカウントリストから探索し、既に同一の重要語のペアがカウントリストに存在した場合、出現回数のカウントに１加えてカウントリストを更新し、カウントリストに存在しなかった場合、重要語のペアのカウントを１にしてカウントリストに新たに保存する処理をデータベース中の予め指定した複数文書について行うことにより作成されたカウントリストを元に、重要語のペアの関連度を判定するように、コンピュータを機能させるので、複数個の重要語のペアによる意味付けを合理的にでき、その結果、関連語抽出精度を向上させることが可能となる。
【００８１】
請求項６に記載の発明によれば、データベース中の文書を一文書ずつ読み込み、データベース中の文書の内容を特徴付けると考えられる名詞からなる重要語の上位語と下位語との関係を表現している表層表現を抽出し、抽出された表層表現中の上位語部分および下位語部分に特定の重要語が含まれるか否かを探索し、上位語部分および下位語部分の双方ともに特定の重要語が探索された場合、探索された上下重要語のペアを逐次、カウント部に含まれている重要語の上下階層関係の抽出部のカウントリストに保存し、既に同一の重要語のペアがカウントリストに存在した場合、出現回数のカウントに１加えてカウントリストを更新し、カウントリストに存在しなかった場合、上下重要語のペアのカウントを１にしてカウントリストに新たに保存する処理を前記データベース中の予め指定した複数文書について行うことにより作成されたカウントリストを元に、重要語の上下階層関係を構築するように、コンピュータを機能させるので、互いに無関係な複数の重要語が偶発的に出現したことによるノイズを合理的に除去することができる。
【図面の簡単な説明】
【図１】この発明の実施の形態に係る関連語自動抽出装置のブロック図である。
【図２】同実施の形態に係る関連語自動抽出装置に使用する重要語リストの概念図である。
【図３】同実施の形態に係る関連語自動抽出装置に使用するカウントリストの概念図である。
【図４】図３のカウントリストおよび図２の重要語リストを元にして作成した関連度判定リストの概念図である。
【図５】同実施の形態に係る関連語自動抽出方法における、一定範囲内の複数重要語の抽出手順を示すフローチャートである。
【図６】同実施の形態に係る関連語自動抽出方法における、重要語の上下階層関係の抽出手順を示すフローチャートである。
【符号の説明】
１データベース部
２重要語解析部
３カウント部
４関連語抽出部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an automatic related word extraction method for automatically extracting words closely related to a word specified by a user based on statistical information of words included in a database. The present invention relates to a related word automatic extraction method and a related word automatic extraction device that enable extraction of technical terms appearing in a specific field specified by a user, new words and buzzwords, which are not performed.
[0002]
[Prior art]
Conventional related word automatic extraction devices have an existing thesaurus dictionary as an internal component thereof, and simply search for a word specified by the user from the thesaurus dictionary and display the result as a related word extraction result. It is common.
[0003]
[Problems to be solved by the invention]
However, the conventional related word automatic extraction device has a disadvantage that technical terms, new words, and buzzwords not described in the existing thesaurus dictionary cannot be extracted regardless of their importance.
[0004]
Further, when related words in a plurality of fields are required, it is necessary to prepare a thesaurus for each field individually, so that there is much waste in cost.
[0005]
Furthermore, in a method of automatically extracting related words from statistical information in a database without using an existing thesaurus dictionary, a conventional related word automatic extraction method generally uses, for example, only the appearance frequency of words that appear alone. It is.
[0006]
Therefore, even if a document database containing technical terms, new words, and buzzwords is used, there is a drawback in the extraction accuracy of the related word extraction method, and it has been difficult to extract appropriate related words desired by the user.
[0007]
The present invention has been made to solve the above-mentioned problems of the prior art, and its purpose is to appear in a specific field specified by a user, which is not described in a general existing thesaurus dictionary. Automatic extraction of technical terms, new words and buzzwords, and a related word automatic extraction method and related word automatic extraction method that can accurately and accurately extract important words closely related to the words specified by the user An extraction device is provided.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, the invention described in claim 1 is:A database unit having a database for storing a group of documents, an important word analyzing unit for extracting an important word consisting of a noun considered to characterize the content of the document included in the database, and an important word extracted by the important word analyzing unit Obtaining statistical information including the total number of occurrences in the database and the number of documents in which the important words are included in the database, and specifying a specific important word in the document including the specific important word extracted by the important word analysis unit A counting unit that obtains the number of occurrences of another important word existing within a certain range from the statistical information and the number of occurrences of another important word whose specific important word exists within a certain range. Based on the probability that a particular keyword and another keyword appear within a certain range. A related word extracting unit that determines the degree of relevance between a certain important word and another important word.
[0009]
The invention described in claim 2 isA beta base unit having a database for storing a group of documents, an important word analysis unit for extracting an important word consisting of a noun considered to characterize the content of the document included in the database, and an important word extracted by the important word analysis unit The statistical information including the total number of occurrences of the word in the database and the number of documents in which the important word is included in the database is obtained, and the importance of the specific important word extracted by the important word analysis unit and another important word is determined. A counting unit that obtains upper and lower hierarchical relation information representing a relationship between a higher word and a lower word of a word pair, and a specific unit based on the probability that one of the statistical information and the important word pair is a higher word and the other is a lower word. A related word extracting unit that determines a hierarchical relationship between an important word and another important word.
[0010]
The invention according to claim 3 is:In addition to the configuration according to claim 1 or 2, the database unit determines whether or not the document is the same document from a group of documents input to the database using header information of the document, and includes a plurality of the same documents. The same document determination function unit that removes another same document while leaving one document when the same document is removed by the same document determination function unit and stores the document in the database. It is characterized by having.
[0011]
The invention described in claim 4 isIn addition to the configuration according to claim 1 or 2, the important word analysis unit divides the document into POS units by morphological analysis and acquires POS information, and the morphological analysis unit divides the document into POS units. A key word extracting unit that forms a compound word by combining consecutive nouns in a morpheme, and stores the compound word as an important word in a key word list together with the part of speech information and the statistical information. And
[0012]
The invention according to claim 5 isThe documents in the database are read one by one, a specific important word consisting of a noun considered to characterize the content of the document in the database is searched, and in the document including the searched specific important word, a specific important word is searched. A search is performed to determine whether another important word exists within a predetermined range.If another important word existing within a certain range from the specific important word is searched, the specific important word and another important word are searched. Count list in which the pairs with the words are sequentially stored in the count list of the extraction unit of a plurality of important words within a certain range included in the counting unit, and a pair of a specific important word and another important word has already been created. If the same important word pair already exists in the count list, the count list is updated by adding 1 to the count of the number of occurrences. If the same important word pair does not exist in the count list, the key word pair The computer is configured to determine the relevance of a pair of important words based on a count list created by performing a process of newly saving a count list to a count list for a plurality of documents specified in advance in the database. It is characterized by functioning.
[0013]
The invention according to claim 6 isThe documents in the database are read one by one, and a surface expression expressing the relationship between the upper and lower terms of the important words consisting of nouns considered to characterize the contents of the documents in the database is extracted and extracted. A search is performed to determine whether a specific important word is included in the upper word portion and the lower word portion in the surface expression. If a specific important word is searched for in both the upper word portion and the lower word portion, the searched upper and lower words are searched. The key word pairs are sequentially stored in the count list of the extraction unit of the hierarchical relationship of the key words included in the count unit, and if the same key word pair already exists in the count list, the number of appearances is counted. The count list is updated by adding 1 to the count list. If the count is not present in the count list, the count of the pair of upper and lower important words is set to 1 and the process of newly storing the count in the count list is performed. Based on the count list created by performing a plurality document specified in advance in the database, to build the upper and lower hierarchical relationship of key words, it is characterized by causing a computer to function.
[0023]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, the present invention will be described in detail based on the illustrated embodiment.
[0024]
FIG. 1 is a block diagram of an automatic related word extracting apparatus according to an embodiment of the present invention.
[0025]
That is, the automatic related word extraction apparatus includes a database unit 1 for storing a group of documents in a field designated by a user, an important word analysis unit 2 for extracting and selecting important words included in the database unit 1, and an important word analysis unit. A counting unit 3 for obtaining statistical information on the important words selected by the unit 2 and hierarchical relationship information of the important words, and a related word extracting unit for calculating the degree of relevance between the important words using the count list generated by the counting unit 3 4 and selects important words that are words of high importance from the documents in the database unit 1 and uses the statistical information on the important words or pairs of important words to determine the degree of association between the important words. Is performed.
[0026]
The database unit 1 determines the same document from a group of input documents, and, when a plurality of the same documents are included, the same document determination function unit 11 that removes another same document while leaving one document, and the same document. The determination function unit 11 includes a database 12 that stores the documents from which the same document has been removed.
[0027]
Hereinafter, the same document determination function unit 11 will be described in detail.
[0028]
For example, assuming that the document in the database 12 is a patent document, “name of the applicant”, “name of the invention”, and “name of the inventor” are extracted from the header of the patent document, and (1) ) "Applicant's name or name" is the same (2) "Invention name" is the same (3) The number of inventors is the same, and each "inventor's name" is It is determined that they all match (the order of description does not matter).
All documents that meet the conditions (1) to (3) are regarded as the same document.
[0029]
The important word analysis unit 2 includes a morphological analysis unit 21 and an important word extraction unit 22.
[0030]
The morphological analysis unit 21 divides the document in the database into POS units by morphological analysis, and acquires POS information.
[0031]
The important word extraction unit 22 creates a compound word by performing compound word processing such as combining continuous nouns on the morphemes divided by the morphological analysis unit 21 for each part of speech, and converts the compound word into an important word. Is stored in the keyword list together with the part of speech information and the statistical information. By compound word creation, word abstraction due to division can be avoided, and the accuracy of related words finally extracted can be improved.
[0032]
The important words are not limited to compound words created by the above method, but characterize the contents of the document in each database genre in the database 12, such as common nouns, proper nouns, and undefined words other than compound words. Specify the part of speech of the word considered to be.
[0033]
In addition, after extracting important words, in some cases, words to be excluded may be held as an exclusion list, and a function of excluding words in the exclusion list from important words may be added. Specifically, for each genre of the document in the database, for example, in the case of a patent document, words that cannot characterize the content of the document, such as “inventor” and “comparative example”, may be registered in the exclusion list. .
[0034]
The exclusion list may include, in addition to words whose morphemes are completely matched for each morpheme, exclusion conditions, words to be excluded if they partially match.
[0035]
Furthermore, by storing important words having the same meaning as the same word list and collecting statistical information of the words in the important word list at the time of extracting the important words, the extraction accuracy of the important words can be improved. Can be improved.
[0036]
FIG. 2 is a conceptual diagram of the important word list.
[0037]
Here, the “statistical information” to be stored in the important word list includes the total number of occurrences 25 of the important word 23 in the database and the database.During ~Is used, the ratio of the number of documents 24 including an important word is used. These are information that is the basis of various statistics used by the counting unit 3 and the related word extracting unit 41 later.
[0038]
Database 12During ~In order to obtain the number of documents that include an important word, a plurality of different search condition expressions corresponding to each important word are created, and the plurality of different search condition expressions are converted to the plurality of massively parallel computers having a plurality of different processors. Can be separately set on different processors, and a group of documents stored in the database 12 can be simultaneously and simultaneously subjected to the full-text search by the plurality of different search condition expressions, and a result matching the search condition expression can be used. . Here, the number of results that match each search condition expression is the number of documents that include each important word in the database 12. The accuracy of the statistical information can be maintained by performing the full-text search each time the important word analysis unit 2 performs the processing.
[0039]
The massively parallel computer incorporates thousands to tens of thousands of processors (hereinafter collectively referred to as a pipeline) so that a plurality of different search condition expressions can be simultaneously set in the pipeline. Then, by operating these large numbers of processors simultaneously, a full-text search for matching a plurality of different search condition expressions with a database is executed. If a document that matches the search condition expression is found as a result of the matching, the document has a function of regarding that document as a hit.
[0040]
The massively parallel computer is preferably a device such as a full-text search engine (for example, FDF (registered trademark) 4T TextFinder) manufactured by Paracel, but may be a device such as a workstation having the same function and performance as this.
[0041]
The counting unit 3 includes an extraction unit 31 for a plurality of important words within a certain range and an extraction unit 32 for hierarchical relationship between important words.
[0042]
In the related word automatic extraction method, the user selects in advance one of the processes of the extraction unit 31 for a plurality of important words within a certain range or the extraction unit 32 for the hierarchical relationship between important words, and only the process selected by the user. I do.
[0043]
The extraction unit 31 for a plurality of important words within a certain range uses the important words extracted by the important word analysis unit 2 as a reference to determine the presence of another important word within a certain range defined in advance from the reference. And the number of occurrences of the plurality of important words is stored as a count list. The extraction procedure of a plurality of important words is shown in the flowchart of FIG. 5, and the details will be described later.
[0044]
The extraction unit 32 of the upper and lower hierarchical relations of the important words defines in advance a surface expression in which the relation between the upper words and the lower words is clearly expressed, and includes the important words extracted by the important word analyzing unit 2. Extract the surface representation. The important words in the extracted surface expression are set as upper-order important words and lower-order important words, and the number of occurrences thereof is counted and stored as a count list. FIG. 6 is a flowchart showing the procedure for extracting the upper and lower hierarchical relationships of important words, which will be described later in detail.
[0045]
In FIG. 1, the related word extracting unit 4 includes a related word extracting unit 41. The related word extraction unit 41 performs related word determination based on the count list created by the counting unit 3.
[0046]
For example, Information Radius (Christopher D. Manning and Hinrich Schutze, Foundations of Statistical Natural Language Processing, The Second MIT33P0-3, etc.) for determining related words is for determining information dissimilarity between two words. Although the determination index can be used, the present invention is not limited to this. For example, when the extraction unit 31 of a plurality of important words within the certain range is selected, a pair of important words having a common important word existing within the certain range, Alternatively, when the extraction unit 32 of the upper and lower hierarchical relation of the important word is selected, a pair of important words having a common lower important word can be determined as a related word.
[0047]
FIG. 3 is a conceptual diagram of the count list, in which ID 33 of the important word 1, ID 34 of the important word 2, and the number of appearances 35 of the pair of the important word 1 and the important word 2 are counted as list items.
A list has been created.
[0048]
FIG. 4 is a conceptual diagram of a relevance determination list created based on the count list of FIG. 3 and the important word list of FIG.
[0049]
The words A, B, C, D,... Arranged in each column of FIG. 4 are a set of related word determination target words (important words) 42 to be subjected to related word determination, and are arranged in each row. The words a, b, c, d,... Are related word judgment use words (important words) 43 used in the related word judgment. Basically, each column and each row is an important word extracted by the important word analysis unit 2, and one of the important word pairs extracted by the counting unit 3 is arranged in a column and the other is arranged in a row. For example, in an important word pair existing within a certain range in FIG. 5, the important word A is arranged in a column and the important word B is arranged in a row. In the upper and lower important word pairs in FIG. 6, upper important words are arranged in columns, and lower important words are arranged in rows. In the association degree determination list of FIG. 4, the number of each cell indicates the appearance probability. For example, row c column A represents “probability that important word A and important word c appear within a certain range” or “probability that important word A is a high-order word and key word c is a low-order word”.
[0050]
Hereinafter, as an example of the related word determination, a description will be given of a determination example in a case where a determination index of Information Radius is used to determine the dissimilarity between two words.
[0051]
The statistic is calculated with respect to all pairs of uppercase alphabets arranged in each column by “dissimilarity between two words” calculated using the occurrence probability (A and B, A and C, A and D, ..., B and C, B and D ..., C and D, ...). Taking as an example the determination of the degree of association between the important words A and D, the appearance probabilities of a, b, c, d,... For A and the appearance probabilities of a, b, c, d,. Is calculated as the dissimilarity. Suppose that the appearance probabilities are the same in all rows (a row A column = a row D column, b row A column = b row D column, c row A column = c row D column, d row A column = d row D column ,...), The dissimilarity is 0, that is, the similarity between A and D is maximum, and thus the relevance between the important words A and D is maximum. Conversely, if there is no word a, b, c, d,..., Whose appearance probabilities are not 0, the degree of dissimilarity is maximum, that is, the degree of association is minimum. As described above, statistics are calculated for all pairs of uppercase alphabets, and only pairs below a certain threshold are determined to be related words (related words).
[0052]
FIG. 5 is a flowchart showing a procedure for counting the number of simultaneous appearances of a plurality of important words existing within a certain range in the related word automatic extraction method according to the embodiment of the present invention.
[0053]
First, the databaseDuring ~Are read one by one (step S1), and the important words extracted by the important word analysis unit 2 are searched from the documents (step S2).
[0054]
The important words to be searched here are not limited to those extracted by the important word analysis unit 2, but may be words included in a user-defined important word list defined by the user in some cases. The user-defined important word list may include words that are to be searched if they partially match, in addition to words that have a completely matching search condition.
[0055]
In addition, the number of occurrences in the database, the databaseDuring ~If necessary, the ratio of the number of documents and the number of characters in which the important word is included may be applied to the filter of the important word to be searched. By applying these various filters, important words can be further narrowed down, and as a result, the accuracy of related words finally extracted can be improved.
[0056]
When an important word is searched for (when it is determined as YES in step S3), another important word (this is called an important word) within a predetermined range defined from the searched important word (this is called an important word A). B) (step S4).
[0057]
The term "within a certain range" means, for example, within one sentence (the range from the beginning of a sentence to a period "."), Which is defined as being within two ranges of two adjacent words. Specifies the range that is expected to represent the feature.
[0058]
When an important word B existing within a certain range from the important word A is searched (when determined to be YES in step S5), pairs of the important words A and B are sequentially stored in a count list.
[0059]
The pair of the important words A and B is searched from the already created count list (step S6), and if the same pair already exists in the count list (if YES is determined in step S7), the number of appearances is counted. And the count list is updated (step S8).
[0060]
If it does not exist in the count list (NO in step S7), the count of the pair of the important word A and the important word B is set to 1 and is newly stored in the count list (step S9).
[0061]
As described above, the processing of steps S1 to S9 is performed in the databaseDuring ~(Step S10).
[0062]
Then, based on the statistical information in the count list and the important word list created in steps S1 to S10, the importance of the pair of the important words A and B is determined (step S11). In step S11, for example, a Dice coefficient or a mutual information amount can be used.
[0063]
FIG. 6 is a flowchart showing a procedure for extracting the upper and lower hierarchical relationships of important words in the related word automatic extraction method according to the embodiment of the present invention.
[0064]
First, the databaseDuring ~Are read one by one (step S21), and a surface expression described in a surface expression list created in advance is extracted from the document (step S22).
[0065]
Here, the surface expression to be written in the surface expression list is one in which the relation between the high-order word and the low-order word is clearly expressed. For example, “D such as A, B, C” (where A to D are each In the expression “important word”, the upper word is D and the lower words are A, B, and C.
[0066]
Next, whether or not the significant word extracted by the significant word analysis unit 2 is included in the high-order word part and the low-order word part in the surface expression extracted in the above step S22 (when determined YES in step S23) Is searched for (step S24).
[0067]
The important words to be searched here are not limited to those extracted by the important word analysis unit 2, but may be words included in a user-defined important word list defined by the user in some cases. In addition, the user-defined important word list may include, besides words whose search condition is to completely match, words to be searched if they partially match.
[0068]
When an important word is found in both the upper word part and the lower word part by this search (YES in step S25), the searched upper and lower important word pairs are sequentially stored in the count list. At this time, the database 12During ~Comparison of the number of documents that contain upper and lower important words, comparison of morphemes of upper and lower important words, and the upper and lower important word pairs that must be excluded are kept as upper and lower important word pair exclusion lists The function of excluding upper and lower important word pairs in the upper and lower important word pair exclusion list may be applied as necessary.
[0069]
The upper and lower key word pairs are searched from the already created count list (step S26), and if the same pair already exists in the count list (if determined to be YES in step S27), the count of the number of appearances is incremented by one. The list is updated (step S28).
[0070]
If it does not exist in the count list (NO in step S27), the count of the upper and lower important word pairs is set to 1 and newly stored in the count list (step S29).
[0071]
The processing of steps S21 to S29 is described above in the databaseDuring ~(Step S30).
[0072]
Thereafter, an upper and lower hierarchical relationship of the important words is constructed based on the statistical information in the count list and the important word list created in steps S21 to S30 (step S31).
[0073]
Specifically, for example, when upper keywords A and B having a common lower keyword C are extracted and at the same time upper keywords A and lower keywords B are extracted, a direct The pairs that are in an up-down relationship are only the A (upper) -B (lower) pair and the B (upper) -C (lower) pair, and the A (upper) -C (lower) pair is merely redundant. Therefore, the redundant pair of AC is excluded when constructing the hierarchical relationship of the important words.
[0074]
In constructing the upper / lower hierarchical relationship, a threshold value may be set for all occurrences of the upper / lower keyword pair in the database, and the upper / lower keyword pair less than the threshold value may be excluded as necessary.
[0075]
【The invention's effect】
As described above, according to the first aspect of the present invention,A database unit having a database for storing a group of documents, an important word analyzing unit for extracting an important word consisting of a noun considered to characterize the content of the document included in the database, and a keyword analyzing unit Acquisition of statistical information including the total number of occurrences in the database and the number of documents in which the important word is included in the database, and a certain range from the specific important word in the document including the specific important word extracted by the important word analysis unit A count unit that obtains the number of occurrences of another important word present in the specified keyword, and a specific important word calculated from the statistical information and the number of occurrences of another important word that is present within a certain range. A related word extraction unit that determines the degree of relevance between a particular important word and another important word based on the probability of occurrence of another important word within a certain range. Meaning by Only it is a reasonable, as a result, it is possible to improve the related word extraction accuracy.
[0077]
According to the invention described in claim 2,A database having a database for storing documents Part, an important word analysis part for extracting an important word consisting of a noun considered to characterize the content of the document included in the database, and a total number of occurrences and important words of the important word extracted by the important word analysis part in the database Obtains statistical information including the number of documents contained in the database, and shows the relationship between the upper and lower terms of an important word pair of a particular important word and another important word extracted by the important word analysis unit. A counting unit that obtains hierarchical relationship information, and related words that determine the hierarchical relationship between a particular important word and another important word based on the probability that one of the statistical information and the important word pair is a high-order word and the other is a low-order word With the extraction unit, noise caused by a plurality of unrelated important words accidentally appearing can be rationally removed.
[0078]
According to the invention described in claim 3,The database unit determines whether or not the document is the same using the header information of the document from a group of documents input to the database. If a plurality of the same documents are included, one document is left and another document is left. In order to store the same document after removing the same document by the same document determination function unit and the same document determination function unit for removing the same document, in addition to the effect of claim 1 or 2, the specific document is Unnecessary bias of statistical information generated when a document is held can be removed, and as a result, the related word extraction accuracy can be improved.
[0079]
According to the invention described in claim 4,The key word analysis unit creates a compound word by combining a morphological analysis unit that divides a document into parts of speech by morphological analysis and obtains part of speech information, and a continuous noun of morphemes that are divided into parts of speech by the morphological analysis unit And an important word extracting unit that saves the compound word as an important word together with the part of speech information and the statistical information in an important word list, so that the morphological analysis unit is divided in addition to the effect of claim 1 or 2. Can be avoided, and the accuracy of related words finally extracted can be improved.
[0080]
According to the invention described in claim 5,The documents in the database are read one by one, a specific important word consisting of a noun considered to characterize the content of the document in the database is searched, and in the document including the searched specific important word, a specific important word is searched. A search is performed to determine whether another important word exists within a predetermined range.If another important word existing within a certain range from the specific important word is searched, the specific important word and another important word are searched. Word pairs are sequentially stored in the count list of the extraction unit for multiple important words within a certain range included in the count unit, and a pair of a specific important word and another important word is created from the count list that has already been created. Search, if the same key word pair already exists in the count list, add one to the count of occurrences and update the count list. If it does not exist in the count list, count the key word pair count. Based on the count list created by performing the process of newly storing the count list in a plurality of documents specified in advance in the database, the computer is operated so as to determine the degree of relevance of the pair of important words. In addition, it is possible to rationalize the meaning by a plurality of pairs of important words, and as a result, it is possible to improve the related word extraction accuracy.
[0081]
According to the invention described in claim 6,The documents in the database are read one by one, and the surface expression that expresses the relationship between the upper and lower terms of important words consisting of nouns considered to characterize the contents of the documents in the database is extracted, and the extracted surface layer is extracted. A search is performed to determine whether a particular important word is included in the upper word part and the lower word part in the expression. If a particular important word is found in both the upper word part and the lower word part, the searched upper and lower important words are searched. The word pairs are sequentially stored in the count list of the extraction unit of the hierarchical order of the important words included in the count unit. If the same important word pair already exists in the count list, 1 is added to the count of the number of appearances. In addition, when the count list is updated and the count is not present in the count list, a process of setting the count of the pair of upper and lower important words to 1 and newly storing the count in the count list is performed in the database. Based on the count list created by performing on a plurality of documents specified in advance, the computer functions so as to construct the hierarchical relationship of the important words, so that unrelated multiple important words appeared by accident. Noise can be rationally removed.
[Brief description of the drawings]
FIG. 1 is a block diagram of a related word automatic extraction device according to an embodiment of the present invention.
FIG. 2 is a conceptual diagram of an important word list used in the related word automatic extraction device according to the embodiment.
FIG. 3 is a conceptual diagram of a count list used in the automatic related word extracting apparatus according to the embodiment.
FIG. 4 is a conceptual diagram of a relevance determination list created based on the count list of FIG. 3 and the important word list of FIG. 2;
FIG. 5 is a flowchart showing a procedure for extracting a plurality of important words within a certain range in the related word automatic extraction method according to the embodiment.
FIG. 6 is a flowchart showing a procedure for extracting upper and lower hierarchical relationships of important words in the related word automatic extraction method according to the embodiment.
[Explanation of symbols]
1 Database section
2 Key Word Analysis Department
3 Count section
4 Related word extraction unit

Claims

A database unit having a database for storing a group of documents, an important word analyzing unit for extracting an important word consisting of a noun considered to characterize the content of the document included in the database, and an important word extracted by the important word analyzing unit Obtaining statistical information including the total number of occurrences in the database and the number of documents in which the important words are included in the database, and specifying a specific important word in the document including the specific important word extracted by the important word analysis unit A counting unit that obtains the number of occurrences of another important word existing within a certain range from the statistical information and the number of occurrences of another important word whose specific important word exists within a certain range. And a related word extracting unit that determines a degree of relevance between the particular important word and another important word based on an appearance probability that the particular important word and another important word appear within a certain range. When That related words automatic extraction apparatus.

A database unit having a database for storing a group of documents, an important word analyzing unit for extracting an important word consisting of a noun considered to characterize the content of the document included in the database, and an important word extracted by the important word analyzing unit The statistical information including the total number of occurrences of the word in the database and the number of documents in which the important word is included in the database is obtained, and the importance of the specific important word extracted by the important word analysis unit and another important word is determined. A counting unit that obtains upper and lower hierarchical relation information representing a relationship between a higher word and a lower word of a word pair, and a specific unit based on the probability that one of the statistical information and the important word pair is a higher word and the other is a lower word. A related word extracting unit that determines a hierarchical relationship between an important word and another important word.

The database unit includes a same document determination function unit that determines the same document from a group of documents input to the database and, when a plurality of the same documents are included, leaves one document and removes another same document. The related word automatic extraction apparatus according to claim 1, wherein the document having the same document removed by the same document determination function unit is stored in the database.

The key word analysis unit is a morphological analysis unit that divides the document into POS units by morphological analysis and obtains POS information, and a compound word that combines continuous nouns of the morphemes divided into POS units by the morphological analysis unit. 3. An important word extraction unit for creating and storing the compound word as an important word in a key word list together with the part of speech information and the statistical information. Extraction device.

The documents in the database are read one by one, a specific important word consisting of a noun considered to characterize the content of the document in the database is searched, and in the document including the searched specific important word, a specific important word is searched. A search is performed to determine whether another important word exists within a predetermined range.If another important word existing within a certain range from the specific important word is searched, the specific important word and another important word are searched. Count list in which the pairs with the words are sequentially stored in the count list of the extraction unit of a plurality of important words within a certain range included in the counting unit, and a pair of a specific important word and another important word has already been created. If the same important word pair already exists in the count list, the count list is updated by adding 1 to the count of the number of occurrences. If the same important word pair does not exist in the count list, the key word pair The computer is configured to determine the relevance of a pair of important words based on a count list created by performing a process of newly saving a count list to a count list for a plurality of documents specified in advance in the database. A multiple key word extraction program characterized by functioning.

The documents in the database are read one by one, and a surface expression expressing the relationship between the upper and lower terms of the important words consisting of nouns considered to characterize the contents of the documents in the database is extracted and extracted. A search is performed to determine whether a specific important word is included in the upper word portion and the lower word portion in the surface expression. If a specific important word is searched for in both the upper word portion and the lower word portion, the searched upper and lower words are searched. The key word pairs are sequentially stored in the count list of the extraction unit of the hierarchical relationship of the key words included in the count unit, and if the same key word pair already exists in the count list, the number of appearances is counted. And update the count list Newly, if it does not exist in the count list, the count created by performing the process of setting the count of the pair of upper and lower important words to 1 and newly storing it in the count list for a plurality of documents specified in advance in the database. A program for extracting an upper / lower hierarchical relationship of important words, wherein the computer is made to function so as to construct an upper / lower hierarchical relationship of important words based on the list.