JP3553543B2 - 関連語自動抽出装置、複数重要語抽出プログラムおよび重要語の上下階層関係抽出プログラム - Google Patents
関連語自動抽出装置、複数重要語抽出プログラムおよび重要語の上下階層関係抽出プログラム Download PDFInfo
- Publication number
- JP3553543B2 JP3553543B2 JP2001367472A JP2001367472A JP3553543B2 JP 3553543 B2 JP3553543 B2 JP 3553543B2 JP 2001367472 A JP2001367472 A JP 2001367472A JP 2001367472 A JP2001367472 A JP 2001367472A JP 3553543 B2 JP3553543 B2 JP 3553543B2
- Authority
- JP
- Japan
- Prior art keywords
- word
- important
- important word
- database
- words
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
- G06F16/313—Selection or weighting of terms for indexing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、データベース中に含まれる言葉の統計情報に基づいて、ユーザーが指定した言葉に関連の深い言葉を自動的に抽出する関連語自動抽出方法において、一般的な既存のシソーラス辞書には記載されていない、ユーザーが指定した特定分野に出現する専門用語や、新語および流行語を抽出可能にした関連語自動抽出方法と関連語自動抽出装置に関するものである。
【０００２】
【従来の技術】
従来の関連語自動抽出装置は、その内部構成品として既存のシソーラス辞書を持っており、ユーザーが指定した言葉を該シソーラス辞書から単に検索してその結果を関連語抽出結果として表示させるのみであるのが一般的である。
【０００３】
【発明が解決しようとする課題】
しかし、従来の関連語自動抽出装置では、既存のシソーラス辞書には記載されていない専門用語や新語および流行語はその重要度にかかわらず抽出することができないという欠点があった。
【０００４】
また、複数の分野についての関連語が必要な場合、各分野個別にシソーラス辞書を用意する必要があったため、コスト面でも無駄が多かった。
【０００５】
更に、既存のシソーラス辞書を用いず、データベースの統計情報から関連語を自動抽出する方法においても、従来の関連語自動抽出方法では例えば単独に出現する言葉の出現頻度のみを使用したものが一般的である。
【０００６】
したがって、たとえ専門用語や新語および流行語を含んだ文書データベースを用いたとしても、関連語抽出方法の抽出精度に欠点がありユーザーの所望する的確な関連語を抽出することが困難であった。
【０００７】
この発明は上記した従来技術の問題点を解決するためになされたもので、その目的とするところは、一般的な既存のシソーラス辞書には記載されていない、ユーザーが指定した特定分野に出現する専門用語や、新語および流行語を自動抽出することが可能で、さらにユーザーが指定した言葉に関連の深い重要語を高精度で的確に抽出することが可能な関連語自動抽出方法および関連語自動抽出装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、請求項１に記載の発明は、文書群を格納するデータベースを有するデータベース部と、前記データベース中に含まれる文書の内容を特徴付けると考えられる名詞からなる重要語を抽出する重要語解析部と、該重要語解析部で抽出した重要語の前記データベース中の全出現回数と重要語が前記データベース中に含まれる文書数とを含む統計情報を取得し、前記重要語解析部で抽出した特定の重要語が含まれる文書における特定の重要語から一定の範囲内に存在する別の重要語の出現数を取得するカウント部と、前記統計情報と前記特定の重要語が一定の範囲内に存在する別の重要語の出現数とから演算される特定の重要語と別の重要語とが一定範囲内に出現する出現確率に基づいて特 定の重要語と別の重要語との関連度を判定する関連語抽出部と、を有することを特徴としている。
【０００９】
請求項２に記載の発明は、文書群を格納するデータベースを有するベータベース部と、前記データベース中に含まれる文書の内容を特徴付けると考えられる名詞からなる重要語を抽出する重要語解析部と、該重要語解析部で抽出した重要語の前記データベース中の全出現回数と重要語が前記データベース中に含まれる文書数とを含む統計情報を取得し、前記重要語解析部で抽出した特定の重要語と別の重要語との重要語ペアの上位語と下位語との関係を表す上下階層関係情報を取得するカウント部と、前記統計情報と前記重要語ペアの一方が上位語で他方が下位語である確率に基づいて特定の重要語と別の重要語との上下関係を判定する関連語抽出部と、を有することを特徴としている。
【００１０】
請求項３に記載の発明は、請求項１または２に記載の構成に加えて、前記データベース部は、前記データベースに入力される文書群から文書のヘッダー情報を利用して同一文書か否かを判定し、複数の同一文書が含まれていた場合に一つの文書を残して他の同一文書を除去する同一文書判定機能部を有し、該同一文書判定機能部で同一文書を除去した後の文書を前記データベースに格納するものであることを特徴としている。
【００１１】
請求項４に記載の発明は、請求項１または２に記載の構成に加えて、前記重要語解析部は、文書を形態素解析により品詞単位に分割し品詞情報を取得する形態素解析部と、該形態素解析部で品詞単位に分割した形態素のうち連続する名詞を結合して複合語を作成し、該複合語を重要語として品詞情報および前記統計情報と共に重要語リストに保存する重要語の抽出部とを有していることを特徴としている。
【００１２】
請求項５に記載の発明は、データベース中の文書を一文書ずつ読み込み、該データベース中の文書の内容を特徴付けると考えられる名詞からなる特定の重要語を探索し、探索された特定の重要語を含む文書において、特定の重要語から予め定義した一定範囲内に別の重要語があるか否かを探索し、特定の重要語から一定範囲内に存在する別の重要語が探索された場合に、特定の重要語と別の重要語とのペアを逐次、前記カウント部に含まれている一定範囲内の複数重要語の抽出部のカウントリストに保存し、特定の重要語と別の重要語とのペアを既に作成したカウントリストから探索し、既に同一の重要語のペアがカウントリストに存在した場合、出現回数のカウントに１加えてカウントリストを更新し、カウントリストに存在しなかった場合、前記重要語のペアのカウントを１にしてカウントリストに新たに保存する処理をデータベース中の予め指定した複数文書について行うことにより作成されたカウントリストを元に、重要語のペアの関連度を判定するように、コンピュータを機能させることを特徴としている。
【００１３】
請求項６に記載の発明は、データベース中の文書を一文書ずつ読み込み、前記データベース中の文書の内容を特徴付けると考えられる名詞からなる重要語の上位語と下位語との関係を表現している表層表現を抽出し、抽出された表層表現中の上位語部分および下位語部分に特定の重要語が含まれるか否かを探索し、上位語部分および下位語部分の双方ともに特定の重要語が探索された場合、探索された上下重要語のペアを逐次、前記カウント部に含まれている重要語の上下階層関係の抽出部のカウントリストに保存し、既に同一の重要語のペアがカウントリストに存在した場合、出現回数のカウントに１加えてカウントリストを更新し、カウントリストに存在しなかった場合、前記上下重要語のペアのカウントを１にしてカウントリストに新たに保存する処理を前記データベース中の予め指定した複数文書について行うことにより作成されたカウントリストを元に、重要語の上下階層関係を構築するように、コンピュータを機能させることを特徴としている。
【００２３】
【発明の実施の形態】
以下、この発明を図示の実施の形態に基づいて詳細に説明する。
【００２４】
図１は、この発明の実施の形態に係る関連語自動抽出装置のブロック図である。
【００２５】
すなわち、この関連語自動抽出装置は、ユーザーが指定した分野の文書群を格納するデータベース部１と、このデータベース部１に含まれる重要語を抽出・選別する重要語解析部２と、重要語解析部２で選別した重要語に対する統計情報および重要語の上下階層関係情報を取得するカウント部３と、カウント部３で生成したカウントリストを用いて重要語同士の関連度を計算する関連語抽出部４とを備えた構成となっており、データベース部１中の文書から重要度の高い言葉である重要語を選別し、重要語または重要語のペアに対する統計情報を用いて重要語同士の関連度を計算する処理を行う。
【００２６】
データベース部１は、入力される文書群から同一文書を判定し、複数の同一文書が含まれていた場合に一つの文書を残して他の同一文書を除去する同一文書判定機能部１１および同一文書判定機能部１１で同一文書を除去した後の文書を格納するデータベース１２から構成される。
【００２７】
以下、同一文書判定機能部１１について詳しく説明する。
【００２８】
例えば、データベース１２中の文書が特許文書であると仮定した場合、特許文書のヘッダー部から「出願人の氏名または名称」、「発明の名称」および「発明者の氏名」を抽出し、（１）「出願人の氏名または名称」が同一であること（２）「発明の名称」が同一であること（３）発明者の人数が一致している、かつ各々の「発明者の氏名」がすべて一致している（記載順は不問）ことを判定する。
前記（１）乃至（３）の条件に合致した文書群はすべて同一文書とみなす。
【００２９】
重要語解析部２は、形態素解析部２１および重要語の抽出部２２から構成される。
【００３０】
形態素解析部２１では、前記データベース中の文書を形態素解析により品詞単位に分割し、品詞情報を取得する。
【００３１】
重要語の抽出部２２では、前記形態素解析部２１で品詞単位に分割した形態素を、例えば連続する名詞は結合させる等の複合語処理をすることにより複合語を作成し、該複合語を重要語として品詞情報および統計情報と共に重要語リストに保存する。複合語作成により、分割による言葉の抽象化を回避することができ、最終的に抽出する関連語の精度を向上させることができる。
【００３２】
重要語とは、前記方法により作成した複合語に限られるものではなく、例えば複合語以外の普通名詞、固有名詞、未定義語等、データベース１２中の文書のジャンル毎にその文書の内容を特徴付けると考えられる言葉の品詞を指定する。
【００３３】
また、重要語の抽出後、場合によっては必ず除外する言葉等を除外リストとして保有しておき、除外リスト中の言葉は重要語から除外する機能を追加してもよい。具体的には、データベースの文書のジャンル毎に、例えば、特許文書であれば「発明者」、「比較例」等その文書の内容を特徴付けることができない言葉を除外リストに登録することが考えられる。
【００３４】
この除外リストには、形態素毎に完全一致することを除外条件とする言葉の他に、部分的に一致していれば除外対象とする言葉を含んでいてもよい。
【００３５】
更に、同一の意味を持つ重要語を同一語リストとして保有しておき、重要語抽出の際に、この重要語リスト中の言葉の統計情報をまとめて保存することにより、重要語の抽出精度を向上させることができる。
【００３６】
図２は、重要語リストの概念図である。
【００３７】
ここで、前記重要語リストに保存されるべき「統計情報」とは、重要語２３のデータベース中の全出現回数２５、およびデータベース中に重要語が含まれる文書数２４の割合を用いる。これらは、後のカウント部３および関連語の抽出部４１で使用する各種統計量の元になる情報である。
【００３８】
データベース１２中に重要語が含まれる文書数の取得には、各々の重要語に対応する複数の異なる検索条件式を作成し、該複数の異なる検索条件式を複数の異なるプロセッサを有する超並列計算機の前記複数の異なるプロセッサ上に別個に設定し、データベース１２中に蓄積されている文書群を前記複数の異なる検索条件式で同時並行的に全文検索し、前記検索条件式に合致した結果を用いることができる。ここで、各々の検索条件式に合致した結果数が、データベース１２中に各々の重要語が含まれる文書数となる。重要語解析部２の処理の都度、前記全文検索を行うことで統計情報の正確さを保持することできる。
【００３９】
前記超並列計算機は、数千乃至数万のプロセッサ（以下、これらをまとめてパイプラインという）を内蔵することにより、このパイプラインに複数の異なった検索条件式を同時に設定可能としている。そして、これら大量のプロセッサを同時に動作させることによって、複数の異なった検索条件式とデータベースのマッチングを行う全文検索を実行する。マッチングの結果、検索条件式に合致する文書が見つかったら、その文書がヒットしたとみなす機能を有する。
【００４０】
超並列計算機は、全文検索エンジン（例えば、Ｐａｒａｃｅｌ社製、ＦＤＦ（登録商標）４Ｔ ＴｅｘｔＦｉｎｄｅｒ）のような機器が望ましいが、これと同等の機能および性能を有するワークステーション等の機器でもよい。
【００４１】
カウント部３は、一定範囲内の複数重要語の抽出部３１および重要語の上下階層関係の抽出部３２から構成される。
【００４２】
関連語自動抽出方法において、一定範囲内の複数重要語の抽出部３１または重要語の上下階層関係の抽出部３２のいずれか一方の処理を予めユーザーが選択しておき、ユーザーが選択した処理のみを行う。
【００４３】
一定範囲内の複数重要語の抽出部３１では、重要語解析部２で抽出した重要語を基準にして、基準から予め定義した一定の範囲内に別の重要語が存在する場合を複数重要語と定義し、該複数重要語の出現数をカウントしたものをカウントリストとして保存する。複数重要語の抽出手順を図５のフローチャートに示しているが、その詳細は後述する。
【００４４】
重要語の上下階層関係の抽出部３２では、上位語と下位語の関係が明確に表現されている表層表現を予め定義しておき、前記重要語解析部２で抽出した重要語が含まれる該表層表現を抽出する。抽出した表層表現中の重要語を上位重要語および下位重要語とし、それらの出現数をカウントしたものをカウントリストとして保存する。重要語の上下階層関係の抽出手順を図６のフローチャートに示しているが、その詳細は後述する。
【００４５】
図１において、関連語抽出部４は、関連語の抽出部４１からなる。該関連語の抽出部４１において、前記カウント部３で作成したカウントリストを元に関連語判定を行う。
【００４６】
関連語判定には、例えば２つの言葉の非類似度を判定するＩｎｆｏｒｍａｔｉｏｎ Ｒａｄｉｕｓ（Ｃｈｒｉｓｔｏｐｈｅｒ Ｄ．Ｍａｎｎｉｎｇ ａｎｄ Ｈｉｎｒｉｃｈ Ｓｃｈｕｔｚｅ，Ｆｏｕｎｄａｔｉｏｎｓ Ｏｆ Ｓｔａｔｉｓｔｉｃａｌ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，Ｔｈｅ ＭＩＴ Ｐｒｅｓｓ （ＭＡＮＦＨ０−２６２−１３３６０−１））等の判定指標を用いることができるが、これに限らず、例えば前記一定範囲内の複数重要語の抽出部３１を選択した場合は一定範囲内に存在する重要語が共通している重要語のペア、または前記重要語の上下階層関係の抽出部３２を選択した場合は下位重要語が共通している重要語のペアを、関連語と判定することもできる。
【００４７】
図３は、カウントリストの概念図であり、重要語１のＩＤ３３、重要語２のＩＤ３４、重要語１と重要語２のペアの出現回数３５がリスト項目としてカウント
リストが作成されている。
【００４８】
図４は、図３のカウントリストおよび図２の重要語リストを元にして作成した関連度判定リストの概念図である。
【００４９】
図４の各列に配置されている言葉Ａ、Ｂ、Ｃ、Ｄ、・・・が関連語判定の対象になる関連語判定対象語（重要語）４２の集合で、各行に配置されている言葉ａ、ｂ、ｃ、ｄ、・・・が関連語判定の用いる関連語判定使用語（重要語）４３である。基本的に、各列、各行とも重要語解析部２で抽出した重要語であり、カウント部３で抽出した重要語ペアの片方が列に、もう片方が行に配置される。例えば、図５の一定範囲内に存在する重要語ペアでは重要語Ａを列に、重要語Ｂを行に配置する。図６の上下重要語ペアでは上位重要語を列に、下位重要語を行に配置する。図４の関連度判定リストにおいて、各セルの数字は、出現確率を表している。例えばｃ列Ａ行では、「重要語Ａと重要語ｃが一定範囲内に出現する確率」、または「重要語Ａが上位語で重要語ｃが下位語である確率」を表す。
【００５０】
以下、関連語判定の一例として、２つの言葉の非類似度を判定するのにＩｎｆｏｒｍａｔｉｏｎ Ｒａｄｉｕｓの判定指標を用いた場合の判定例について説明する。
【００５１】
統計量は、この出現確率を用いて計算される「２つの言葉の非類似度」で、各列に配置された大文字アルファベットのすべてのペアについて計算する（ＡとＢ、ＡとＣ、ＡとＤ、・・・、ＢとＣ、ＢとＤ・・・、ＣとＤ、・・・）。重要語Ａと重要語Ｄの関連度判定を例にとり説明すると、Ａに対するａ、ｂ、ｃ、ｄ、・・・出現確率と、Ｄに対するａ、ｂ、ｃ、ｄ、・・・の出現確率の違いが、非類似度として算出される。仮にすべての行において出現確率が同じ値（ａ行Ａ列＝ａ行Ｄ列、ｂ行Ａ列＝ｂ行Ｄ列、ｃ行Ａ列＝ｃ行Ｄ列、ｄ行Ａ列＝ｄ行Ｄ列、・・・）であれば、非類似度は０、つまりＡとＤの類似度は最大となり、したがって重要語Ａと重要語Ｄの関連度は最大となる。逆に、出現確率が共に０でない言葉ａ、ｂ、ｃ、ｄ、・・・が一つもなければ非類似度は最大、つまり関連度は最小となる。以上のように、すべての大文字アルファベットのペアについて、統計量を計算し、ある閾値以下のペアのみ互いに関連のある言葉（関連語）と判定する。
【００５２】
図５は、この発明の実施の形態に係る関連語自動抽出方法における、一定範囲内に存在する複数個の重要語の同時出現回数をカウントする手順を示すフローチャートである。
【００５３】
まず、データベース中の文書を一文書ずつ読み込み（ステップＳ１）、該文書中から前記重要語解析部２で抽出した重要語を探索する（ステップＳ２）。
【００５４】
ここで探索すべき重要語とは、前記重要語解析部２で抽出したものに限らず、場合によっては予めユーザーが定義したユーザー定義重要語リストに含まれる言葉でもよい。ユーザー定義重要語リストには、完全一致することを探索条件とする言葉の他に、部分的に一致していれば探索対象とする言葉を含んでいてもよい。
【００５５】
さらに、探索すべき言葉の重要度の判定尺度として、データベース中の全出現回数、データベース中にその重要語が含まれる文書数の割合や文字数を必要に応じて探索対象重要語のフィルターに適用してもよい。これらの各種フィルターを適用することにより、重要語を更に絞り込むことができ、その結果最終的に抽出される関連語の精度を向上させることができる。
【００５６】
重要語が探索された場合（ステップＳ３でＹＥＳと判定された場合）、探索された重要語（これを重要語Aとよぶ）から予め定義した一定範囲内に別の重要語（これを重要語Bとよぶ）があるか否かを探索する（ステップＳ４）。
【００５７】
一定範囲内とは、例えば一文内（一文の先頭から句点「。」までの範囲）で、前後２つまで近接したものを一定範囲内と定義するが、これに限らずデータベース中の文書毎に特徴を表すと予測される範囲を指定する。
【００５８】
重要語Aから一定範囲内に存在する重要語Bが探索された場合（ステップＳ５でＹＥＳと判定された場合）、重要語Aおよび重要語Bのペアを逐次カウントリストに保存する。
【００５９】
重要語Aおよび重要語Bのペアを既に作成したカウントリストから探索し（ステップＳ６）、既に同一のペアがカウントリストに存在した場合（ステップＳ７でＹＥＳと判定された場合）、出現回数のカウントに１加えてカウントリストを更新する（ステップＳ８）。
【００６０】
カウントリストに存在しなかった場合（ステップＳ７でＮＯと判定された場合）、前記重要語Aおよび重要語Bのペアのカウントを１にしてカウントリストに新たに保存する（ステップＳ９）。
【００６１】
以上、ステップＳ１乃至ステップＳ９の処理をデータベース中の予め指定した複数文書について行う（ステップＳ１０）。
【００６２】
その後、前記ステップＳ１乃至Ｓ１０で作成したカウントリストおよび重要語リスト中の統計情報を元に、重要語Ａおよび重要語Ｂのペアの重要度を判定する（ステップＳ１１）。ステップＳ１１には、例えばＤｉｃｅ係数や相互情報量等を用いることができる。
【００６３】
図６は、この発明の実施の形態に係る関連語自動抽出方法における、重要語の上下階層関係を抽出する手順を示すフローチャートである。
【００６４】
まず、データベース中の文書を一文書ずつ読み込み（ステップＳ２１）、該文書中から予め作成しておいた表層表現リストに書かれている表層表現を抽出する（ステップＳ２２）。
【００６５】
ここで前記表層表現リストに書かれるべき表層表現とは、上位語と下位語の関係が明確に表現されているものであり、例えば「Ａ、Ｂ、Ｃ等のＤ」（Ａ乃至Ｄは各々重要語とする）という表現においては、上位語がＤ、下位語がＡ、Ｂ、Ｃである。
【００６６】
次に、前記ステップＳ２２で抽出された（ステップＳ２３でＹＥＳと判定された場合）表層表現中の上位語部分および下位語部分に前記重要語解析部２で抽出した重要語が含まれるか否かを探索する（ステップＳ２４）。
【００６７】
ここで探索すべき重要語とは、前記重要語解析部２で抽出したものに限らず、場合によっては予めユーザーが定義したユーザー定義重要語リストに含まれる言葉でもよい。また、ユーザー定義重要語リストには、完全一致することを探索条件とする言葉の他に、部分的に一致していれば探索対象とする言葉を含んでいてもよい。
【００６８】
この探索により、上位語部分および下位語部分の双方ともに重要語が探索された場合（ステップＳ２５でＹＥＳと判定された場合）、探索された上下重要語ペアを逐次カウントリストに保存する。この時、上下重要語ペアの重要度の判定尺度として、データベース１２中に上位重要語および下位重要語が含まれる文書数の割合の比較、上位重要語および下位重要語の形態素の比較、および必ず除外する上下重要語ペアを上下重要語ペア除外リストとして保有しておき、上下重要語ペア除外リスト中の上下重要語ペアは除外する機能等を必要に応じて適用してもよい。
【００６９】
上下重要語ペアを既に作成したカウントリストから探索し（ステップＳ２６）、既に同一のペアがカウントリストに存在した場合（ステップＳ２７でＹＥＳと判定された場合）、出現回数のカウントに１加えてカウントリストを更新する（ステップＳ２８）。
【００７０】
カウントリストに存在しなかった場合（ステップＳ２７でＮＯと判定された場合）、前記上下重要語ペアのカウントを１にしてカウントリストに新たに保存する（ステップＳ２９）。
【００７１】
以上、ステップＳ２１乃至ステップＳ２９の処理をデータベース中の予め指定した複数文書について行う（ステップＳ３０）。
【００７２】
その後、前記ステップＳ２１乃至Ｓ３０で作成したカウントリストおよび重要語リスト中の統計情報を元に重要語の上下階層関係を構築する（ステップＳ３１）。
【００７３】
具体的には、例えば共通の下位重要語Ｃを持つ上位重要語ＡおよびＢが抽出されていると同時に上位重要語Ａおよび下位重要語Ｂが抽出されている場合、全体的にみれば直接の上下関係になっているペアはＡ（上位）−Ｂ（下位）ペアおよびＢ（上位）−Ｃ（下位）ペアのみであり、Ａ（上位）−Ｃ（下位）ペアは冗長分に過ぎない。したがって、重要語の上下階層関係を構築する際に前記Ａ−Ｃの冗長ペアを除外する。
【００７４】
また、上下階層関係の構築の際、前記上下重要語ペアのデータベース中での全出現回数に閾値を設け、閾値未満の該上下重要語ペアを必要に応じて除外してもよい。
【００７５】
【発明の効果】
以上説明したように、請求項１に記載の発明によれば、文書群を格納するデータベースを有するデータベース部と、データベース中に含まれる文書の内容を特徴付けると考えられる名詞からなる重要語を抽出する重要語解析部と、該重要語解析部で抽出した重要語のデータベース中の全出現回数と重要語がデータベース中に含まれる文書数とを含む統計情報を取得し、重要語解析部で抽出した特定の重要語が含まれる文書における特定の重要語から一定の範囲内に存在する別の重要語の出現数を取得するカウント部と、統計情報と特定の重要語が一定の範囲内に存在する別の重要語の出現数とから演算される特定の重要語と別の重要語とが一定範囲内に出現する出現確率に基づいて特定の重要語と別の重要語との関連度を判定する関連語抽出部と、を有するので、複数個の重要語のペアによる意味付けを合理的にでき、その結果、関連語抽出精度を向上させることが可能となる。
【００７７】
請求項２に記載の発明によれば、文書群を格納するデータベースを有するデータベース 部と、データベース中に含まれる文書の内容を特徴付けると考えられる名詞からなる重要語を抽出する重要語解析部と、該重要語解析部で抽出した重要語のデータベース中の全出現回数と重要語がデータベース中に含まれる文書数とを含む統計情報を取得し、重要語解析部で抽出した特定の重要語と別の重要語との重要語ペアの上位語と下位語との関係を表す上下階層関係情報を取得するカウント部と、統計情報と重要語ペアの一方が上位語で他方が下位語である確率に基づいて特定の重要語と別の重要語との上下関係を判定する関連語抽出部とを有するので、互いに無関係な複数の重要語が偶発的に出現したことによるノイズを合理的に除去することができる。
【００７８】
請求項３に記載の発明によれば、データベース部は、データベースに入力される文書群から文書のヘッダー情報を利用して同一文書か否かを判定し、複数の同一文書が含まれていた場合に一つの文書を残して他の同一文書を除去する同一文書判定機能部および該同一文書判定機能部で同一文書を除去した後の文書を格納するものであるので、請求項１または２の効果に加えて、特定の文書が多くの同一文書を持った場合に生じる統計情報の不要な偏りを除去することができ、その結果、関連語抽出精度を向上させることが可能となる。
【００７９】
請求項４に記載の発明によれば、重要語解析部は、文書を形態素解析により品詞単位に分割し品詞情報を取得する形態素解析部と、該形態素解析部で品詞単位に分割した形態素のうち連続する名詞を結合して複合語を作成し、該複合語を重要語として品詞情報および統計情報と共に重要語リストに保存する重要語の抽出部とを有しているので、請求項１または２の効果に加えて、形態素解析部の分割による言葉の抽象化を回避することができ、最終的に抽出する関連語の精度を向上させることができる。
【００８０】
請求項５に記載の発明によれば、データベース中の文書を一文書ずつ読み込み、該データベース中の文書の内容を特徴付けると考えられる名詞からなる特定の重要語を探索し、探索された特定の重要語を含む文書において、特定の重要語から予め定義した一定範囲内に別の重要語があるか否かを探索し、特定の重要語から一定範囲内に存在する別の重要語が探索された場合に、特定の重要語と別の重要語とのペアを逐次、カウント部に含まれている一定範囲内の複数重要語の抽出部のカウントリストに保存し、特定の重要語と別の重要語とのペアを既に作成したカウントリストから探索し、既に同一の重要語のペアがカウントリストに存在した場合、出現回数のカウントに１加えてカウントリストを更新し、カウントリストに存在しなかった場合、重要語のペアのカウントを１にしてカウントリストに新たに保存する処理をデータベース中の予め指定した複数文書について行うことにより作成されたカウントリストを元に、重要語のペアの関連度を判定するように、コンピュータを機能させるので、複数個の重要語のペアによる意味付けを合理的にでき、その結果、関連語抽出精度を向上させることが可能となる。
【００８１】
請求項６に記載の発明によれば、データベース中の文書を一文書ずつ読み込み、データベース中の文書の内容を特徴付けると考えられる名詞からなる重要語の上位語と下位語との関係を表現している表層表現を抽出し、抽出された表層表現中の上位語部分および下位語部分に特定の重要語が含まれるか否かを探索し、上位語部分および下位語部分の双方ともに特定の重要語が探索された場合、探索された上下重要語のペアを逐次、カウント部に含まれている重要語の上下階層関係の抽出部のカウントリストに保存し、既に同一の重要語のペアがカウントリストに存在した場合、出現回数のカウントに１加えてカウントリストを更新し、カウントリストに存在しなかった場合、上下重要語のペアのカウントを１にしてカウントリストに新たに保存する処理を前記データベース中の予め指定した複数文書について行うことにより作成されたカウントリストを元に、重要語の上下階層関係を構築するように、コンピュータを機能させるので、互いに無関係な複数の重要語が偶発的に出現したことによるノイズを合理的に除去することができる。
【図面の簡単な説明】
【図１】この発明の実施の形態に係る関連語自動抽出装置のブロック図である。
【図２】同実施の形態に係る関連語自動抽出装置に使用する重要語リストの概念図である。
【図３】同実施の形態に係る関連語自動抽出装置に使用するカウントリストの概念図である。
【図４】図３のカウントリストおよび図２の重要語リストを元にして作成した関連度判定リストの概念図である。
【図５】同実施の形態に係る関連語自動抽出方法における、一定範囲内の複数重要語の抽出手順を示すフローチャートである。
【図６】同実施の形態に係る関連語自動抽出方法における、重要語の上下階層関係の抽出手順を示すフローチャートである。
【符号の説明】
１ データベース部
２ 重要語解析部
３ カウント部
４ 関連語抽出部
【発明の属する技術分野】
この発明は、データベース中に含まれる言葉の統計情報に基づいて、ユーザーが指定した言葉に関連の深い言葉を自動的に抽出する関連語自動抽出方法において、一般的な既存のシソーラス辞書には記載されていない、ユーザーが指定した特定分野に出現する専門用語や、新語および流行語を抽出可能にした関連語自動抽出方法と関連語自動抽出装置に関するものである。
【０００２】
【従来の技術】
従来の関連語自動抽出装置は、その内部構成品として既存のシソーラス辞書を持っており、ユーザーが指定した言葉を該シソーラス辞書から単に検索してその結果を関連語抽出結果として表示させるのみであるのが一般的である。
【０００３】
【発明が解決しようとする課題】
しかし、従来の関連語自動抽出装置では、既存のシソーラス辞書には記載されていない専門用語や新語および流行語はその重要度にかかわらず抽出することができないという欠点があった。
【０００４】
また、複数の分野についての関連語が必要な場合、各分野個別にシソーラス辞書を用意する必要があったため、コスト面でも無駄が多かった。
【０００５】
更に、既存のシソーラス辞書を用いず、データベースの統計情報から関連語を自動抽出する方法においても、従来の関連語自動抽出方法では例えば単独に出現する言葉の出現頻度のみを使用したものが一般的である。
【０００６】
したがって、たとえ専門用語や新語および流行語を含んだ文書データベースを用いたとしても、関連語抽出方法の抽出精度に欠点がありユーザーの所望する的確な関連語を抽出することが困難であった。
【０００７】
この発明は上記した従来技術の問題点を解決するためになされたもので、その目的とするところは、一般的な既存のシソーラス辞書には記載されていない、ユーザーが指定した特定分野に出現する専門用語や、新語および流行語を自動抽出することが可能で、さらにユーザーが指定した言葉に関連の深い重要語を高精度で的確に抽出することが可能な関連語自動抽出方法および関連語自動抽出装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、請求項１に記載の発明は、文書群を格納するデータベースを有するデータベース部と、前記データベース中に含まれる文書の内容を特徴付けると考えられる名詞からなる重要語を抽出する重要語解析部と、該重要語解析部で抽出した重要語の前記データベース中の全出現回数と重要語が前記データベース中に含まれる文書数とを含む統計情報を取得し、前記重要語解析部で抽出した特定の重要語が含まれる文書における特定の重要語から一定の範囲内に存在する別の重要語の出現数を取得するカウント部と、前記統計情報と前記特定の重要語が一定の範囲内に存在する別の重要語の出現数とから演算される特定の重要語と別の重要語とが一定範囲内に出現する出現確率に基づいて特 定の重要語と別の重要語との関連度を判定する関連語抽出部と、を有することを特徴としている。
【０００９】
請求項２に記載の発明は、文書群を格納するデータベースを有するベータベース部と、前記データベース中に含まれる文書の内容を特徴付けると考えられる名詞からなる重要語を抽出する重要語解析部と、該重要語解析部で抽出した重要語の前記データベース中の全出現回数と重要語が前記データベース中に含まれる文書数とを含む統計情報を取得し、前記重要語解析部で抽出した特定の重要語と別の重要語との重要語ペアの上位語と下位語との関係を表す上下階層関係情報を取得するカウント部と、前記統計情報と前記重要語ペアの一方が上位語で他方が下位語である確率に基づいて特定の重要語と別の重要語との上下関係を判定する関連語抽出部と、を有することを特徴としている。
【００１０】
請求項３に記載の発明は、請求項１または２に記載の構成に加えて、前記データベース部は、前記データベースに入力される文書群から文書のヘッダー情報を利用して同一文書か否かを判定し、複数の同一文書が含まれていた場合に一つの文書を残して他の同一文書を除去する同一文書判定機能部を有し、該同一文書判定機能部で同一文書を除去した後の文書を前記データベースに格納するものであることを特徴としている。
【００１１】
請求項４に記載の発明は、請求項１または２に記載の構成に加えて、前記重要語解析部は、文書を形態素解析により品詞単位に分割し品詞情報を取得する形態素解析部と、該形態素解析部で品詞単位に分割した形態素のうち連続する名詞を結合して複合語を作成し、該複合語を重要語として品詞情報および前記統計情報と共に重要語リストに保存する重要語の抽出部とを有していることを特徴としている。
【００１２】
請求項５に記載の発明は、データベース中の文書を一文書ずつ読み込み、該データベース中の文書の内容を特徴付けると考えられる名詞からなる特定の重要語を探索し、探索された特定の重要語を含む文書において、特定の重要語から予め定義した一定範囲内に別の重要語があるか否かを探索し、特定の重要語から一定範囲内に存在する別の重要語が探索された場合に、特定の重要語と別の重要語とのペアを逐次、前記カウント部に含まれている一定範囲内の複数重要語の抽出部のカウントリストに保存し、特定の重要語と別の重要語とのペアを既に作成したカウントリストから探索し、既に同一の重要語のペアがカウントリストに存在した場合、出現回数のカウントに１加えてカウントリストを更新し、カウントリストに存在しなかった場合、前記重要語のペアのカウントを１にしてカウントリストに新たに保存する処理をデータベース中の予め指定した複数文書について行うことにより作成されたカウントリストを元に、重要語のペアの関連度を判定するように、コンピュータを機能させることを特徴としている。
【００１３】
請求項６に記載の発明は、データベース中の文書を一文書ずつ読み込み、前記データベース中の文書の内容を特徴付けると考えられる名詞からなる重要語の上位語と下位語との関係を表現している表層表現を抽出し、抽出された表層表現中の上位語部分および下位語部分に特定の重要語が含まれるか否かを探索し、上位語部分および下位語部分の双方ともに特定の重要語が探索された場合、探索された上下重要語のペアを逐次、前記カウント部に含まれている重要語の上下階層関係の抽出部のカウントリストに保存し、既に同一の重要語のペアがカウントリストに存在した場合、出現回数のカウントに１加えてカウントリストを更新し、カウントリストに存在しなかった場合、前記上下重要語のペアのカウントを１にしてカウントリストに新たに保存する処理を前記データベース中の予め指定した複数文書について行うことにより作成されたカウントリストを元に、重要語の上下階層関係を構築するように、コンピュータを機能させることを特徴としている。
【００２３】
【発明の実施の形態】
以下、この発明を図示の実施の形態に基づいて詳細に説明する。
【００２４】
図１は、この発明の実施の形態に係る関連語自動抽出装置のブロック図である。
【００２５】
すなわち、この関連語自動抽出装置は、ユーザーが指定した分野の文書群を格納するデータベース部１と、このデータベース部１に含まれる重要語を抽出・選別する重要語解析部２と、重要語解析部２で選別した重要語に対する統計情報および重要語の上下階層関係情報を取得するカウント部３と、カウント部３で生成したカウントリストを用いて重要語同士の関連度を計算する関連語抽出部４とを備えた構成となっており、データベース部１中の文書から重要度の高い言葉である重要語を選別し、重要語または重要語のペアに対する統計情報を用いて重要語同士の関連度を計算する処理を行う。
【００２６】
データベース部１は、入力される文書群から同一文書を判定し、複数の同一文書が含まれていた場合に一つの文書を残して他の同一文書を除去する同一文書判定機能部１１および同一文書判定機能部１１で同一文書を除去した後の文書を格納するデータベース１２から構成される。
【００２７】
以下、同一文書判定機能部１１について詳しく説明する。
【００２８】
例えば、データベース１２中の文書が特許文書であると仮定した場合、特許文書のヘッダー部から「出願人の氏名または名称」、「発明の名称」および「発明者の氏名」を抽出し、（１）「出願人の氏名または名称」が同一であること（２）「発明の名称」が同一であること（３）発明者の人数が一致している、かつ各々の「発明者の氏名」がすべて一致している（記載順は不問）ことを判定する。
前記（１）乃至（３）の条件に合致した文書群はすべて同一文書とみなす。
【００２９】
重要語解析部２は、形態素解析部２１および重要語の抽出部２２から構成される。
【００３０】
形態素解析部２１では、前記データベース中の文書を形態素解析により品詞単位に分割し、品詞情報を取得する。
【００３１】
重要語の抽出部２２では、前記形態素解析部２１で品詞単位に分割した形態素を、例えば連続する名詞は結合させる等の複合語処理をすることにより複合語を作成し、該複合語を重要語として品詞情報および統計情報と共に重要語リストに保存する。複合語作成により、分割による言葉の抽象化を回避することができ、最終的に抽出する関連語の精度を向上させることができる。
【００３２】
重要語とは、前記方法により作成した複合語に限られるものではなく、例えば複合語以外の普通名詞、固有名詞、未定義語等、データベース１２中の文書のジャンル毎にその文書の内容を特徴付けると考えられる言葉の品詞を指定する。
【００３３】
また、重要語の抽出後、場合によっては必ず除外する言葉等を除外リストとして保有しておき、除外リスト中の言葉は重要語から除外する機能を追加してもよい。具体的には、データベースの文書のジャンル毎に、例えば、特許文書であれば「発明者」、「比較例」等その文書の内容を特徴付けることができない言葉を除外リストに登録することが考えられる。
【００３４】
この除外リストには、形態素毎に完全一致することを除外条件とする言葉の他に、部分的に一致していれば除外対象とする言葉を含んでいてもよい。
【００３５】
更に、同一の意味を持つ重要語を同一語リストとして保有しておき、重要語抽出の際に、この重要語リスト中の言葉の統計情報をまとめて保存することにより、重要語の抽出精度を向上させることができる。
【００３６】
図２は、重要語リストの概念図である。
【００３７】
ここで、前記重要語リストに保存されるべき「統計情報」とは、重要語２３のデータベース中の全出現回数２５、およびデータベース中に重要語が含まれる文書数２４の割合を用いる。これらは、後のカウント部３および関連語の抽出部４１で使用する各種統計量の元になる情報である。
【００３８】
データベース１２中に重要語が含まれる文書数の取得には、各々の重要語に対応する複数の異なる検索条件式を作成し、該複数の異なる検索条件式を複数の異なるプロセッサを有する超並列計算機の前記複数の異なるプロセッサ上に別個に設定し、データベース１２中に蓄積されている文書群を前記複数の異なる検索条件式で同時並行的に全文検索し、前記検索条件式に合致した結果を用いることができる。ここで、各々の検索条件式に合致した結果数が、データベース１２中に各々の重要語が含まれる文書数となる。重要語解析部２の処理の都度、前記全文検索を行うことで統計情報の正確さを保持することできる。
【００３９】
前記超並列計算機は、数千乃至数万のプロセッサ（以下、これらをまとめてパイプラインという）を内蔵することにより、このパイプラインに複数の異なった検索条件式を同時に設定可能としている。そして、これら大量のプロセッサを同時に動作させることによって、複数の異なった検索条件式とデータベースのマッチングを行う全文検索を実行する。マッチングの結果、検索条件式に合致する文書が見つかったら、その文書がヒットしたとみなす機能を有する。
【００４０】
超並列計算機は、全文検索エンジン（例えば、Ｐａｒａｃｅｌ社製、ＦＤＦ（登録商標）４Ｔ ＴｅｘｔＦｉｎｄｅｒ）のような機器が望ましいが、これと同等の機能および性能を有するワークステーション等の機器でもよい。
【００４１】
カウント部３は、一定範囲内の複数重要語の抽出部３１および重要語の上下階層関係の抽出部３２から構成される。
【００４２】
関連語自動抽出方法において、一定範囲内の複数重要語の抽出部３１または重要語の上下階層関係の抽出部３２のいずれか一方の処理を予めユーザーが選択しておき、ユーザーが選択した処理のみを行う。
【００４３】
一定範囲内の複数重要語の抽出部３１では、重要語解析部２で抽出した重要語を基準にして、基準から予め定義した一定の範囲内に別の重要語が存在する場合を複数重要語と定義し、該複数重要語の出現数をカウントしたものをカウントリストとして保存する。複数重要語の抽出手順を図５のフローチャートに示しているが、その詳細は後述する。
【００４４】
重要語の上下階層関係の抽出部３２では、上位語と下位語の関係が明確に表現されている表層表現を予め定義しておき、前記重要語解析部２で抽出した重要語が含まれる該表層表現を抽出する。抽出した表層表現中の重要語を上位重要語および下位重要語とし、それらの出現数をカウントしたものをカウントリストとして保存する。重要語の上下階層関係の抽出手順を図６のフローチャートに示しているが、その詳細は後述する。
【００４５】
図１において、関連語抽出部４は、関連語の抽出部４１からなる。該関連語の抽出部４１において、前記カウント部３で作成したカウントリストを元に関連語判定を行う。
【００４６】
関連語判定には、例えば２つの言葉の非類似度を判定するＩｎｆｏｒｍａｔｉｏｎ Ｒａｄｉｕｓ（Ｃｈｒｉｓｔｏｐｈｅｒ Ｄ．Ｍａｎｎｉｎｇ ａｎｄ Ｈｉｎｒｉｃｈ Ｓｃｈｕｔｚｅ，Ｆｏｕｎｄａｔｉｏｎｓ Ｏｆ Ｓｔａｔｉｓｔｉｃａｌ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，Ｔｈｅ ＭＩＴ Ｐｒｅｓｓ （ＭＡＮＦＨ０−２６２−１３３６０−１））等の判定指標を用いることができるが、これに限らず、例えば前記一定範囲内の複数重要語の抽出部３１を選択した場合は一定範囲内に存在する重要語が共通している重要語のペア、または前記重要語の上下階層関係の抽出部３２を選択した場合は下位重要語が共通している重要語のペアを、関連語と判定することもできる。
【００４７】
図３は、カウントリストの概念図であり、重要語１のＩＤ３３、重要語２のＩＤ３４、重要語１と重要語２のペアの出現回数３５がリスト項目としてカウント
リストが作成されている。
【００４８】
図４は、図３のカウントリストおよび図２の重要語リストを元にして作成した関連度判定リストの概念図である。
【００４９】
図４の各列に配置されている言葉Ａ、Ｂ、Ｃ、Ｄ、・・・が関連語判定の対象になる関連語判定対象語（重要語）４２の集合で、各行に配置されている言葉ａ、ｂ、ｃ、ｄ、・・・が関連語判定の用いる関連語判定使用語（重要語）４３である。基本的に、各列、各行とも重要語解析部２で抽出した重要語であり、カウント部３で抽出した重要語ペアの片方が列に、もう片方が行に配置される。例えば、図５の一定範囲内に存在する重要語ペアでは重要語Ａを列に、重要語Ｂを行に配置する。図６の上下重要語ペアでは上位重要語を列に、下位重要語を行に配置する。図４の関連度判定リストにおいて、各セルの数字は、出現確率を表している。例えばｃ列Ａ行では、「重要語Ａと重要語ｃが一定範囲内に出現する確率」、または「重要語Ａが上位語で重要語ｃが下位語である確率」を表す。
【００５０】
以下、関連語判定の一例として、２つの言葉の非類似度を判定するのにＩｎｆｏｒｍａｔｉｏｎ Ｒａｄｉｕｓの判定指標を用いた場合の判定例について説明する。
【００５１】
統計量は、この出現確率を用いて計算される「２つの言葉の非類似度」で、各列に配置された大文字アルファベットのすべてのペアについて計算する（ＡとＢ、ＡとＣ、ＡとＤ、・・・、ＢとＣ、ＢとＤ・・・、ＣとＤ、・・・）。重要語Ａと重要語Ｄの関連度判定を例にとり説明すると、Ａに対するａ、ｂ、ｃ、ｄ、・・・出現確率と、Ｄに対するａ、ｂ、ｃ、ｄ、・・・の出現確率の違いが、非類似度として算出される。仮にすべての行において出現確率が同じ値（ａ行Ａ列＝ａ行Ｄ列、ｂ行Ａ列＝ｂ行Ｄ列、ｃ行Ａ列＝ｃ行Ｄ列、ｄ行Ａ列＝ｄ行Ｄ列、・・・）であれば、非類似度は０、つまりＡとＤの類似度は最大となり、したがって重要語Ａと重要語Ｄの関連度は最大となる。逆に、出現確率が共に０でない言葉ａ、ｂ、ｃ、ｄ、・・・が一つもなければ非類似度は最大、つまり関連度は最小となる。以上のように、すべての大文字アルファベットのペアについて、統計量を計算し、ある閾値以下のペアのみ互いに関連のある言葉（関連語）と判定する。
【００５２】
図５は、この発明の実施の形態に係る関連語自動抽出方法における、一定範囲内に存在する複数個の重要語の同時出現回数をカウントする手順を示すフローチャートである。
【００５３】
まず、データベース中の文書を一文書ずつ読み込み（ステップＳ１）、該文書中から前記重要語解析部２で抽出した重要語を探索する（ステップＳ２）。
【００５４】
ここで探索すべき重要語とは、前記重要語解析部２で抽出したものに限らず、場合によっては予めユーザーが定義したユーザー定義重要語リストに含まれる言葉でもよい。ユーザー定義重要語リストには、完全一致することを探索条件とする言葉の他に、部分的に一致していれば探索対象とする言葉を含んでいてもよい。
【００５５】
さらに、探索すべき言葉の重要度の判定尺度として、データベース中の全出現回数、データベース中にその重要語が含まれる文書数の割合や文字数を必要に応じて探索対象重要語のフィルターに適用してもよい。これらの各種フィルターを適用することにより、重要語を更に絞り込むことができ、その結果最終的に抽出される関連語の精度を向上させることができる。
【００５６】
重要語が探索された場合（ステップＳ３でＹＥＳと判定された場合）、探索された重要語（これを重要語Aとよぶ）から予め定義した一定範囲内に別の重要語（これを重要語Bとよぶ）があるか否かを探索する（ステップＳ４）。
【００５７】
一定範囲内とは、例えば一文内（一文の先頭から句点「。」までの範囲）で、前後２つまで近接したものを一定範囲内と定義するが、これに限らずデータベース中の文書毎に特徴を表すと予測される範囲を指定する。
【００５８】
重要語Aから一定範囲内に存在する重要語Bが探索された場合（ステップＳ５でＹＥＳと判定された場合）、重要語Aおよび重要語Bのペアを逐次カウントリストに保存する。
【００５９】
重要語Aおよび重要語Bのペアを既に作成したカウントリストから探索し（ステップＳ６）、既に同一のペアがカウントリストに存在した場合（ステップＳ７でＹＥＳと判定された場合）、出現回数のカウントに１加えてカウントリストを更新する（ステップＳ８）。
【００６０】
カウントリストに存在しなかった場合（ステップＳ７でＮＯと判定された場合）、前記重要語Aおよび重要語Bのペアのカウントを１にしてカウントリストに新たに保存する（ステップＳ９）。
【００６１】
以上、ステップＳ１乃至ステップＳ９の処理をデータベース中の予め指定した複数文書について行う（ステップＳ１０）。
【００６２】
その後、前記ステップＳ１乃至Ｓ１０で作成したカウントリストおよび重要語リスト中の統計情報を元に、重要語Ａおよび重要語Ｂのペアの重要度を判定する（ステップＳ１１）。ステップＳ１１には、例えばＤｉｃｅ係数や相互情報量等を用いることができる。
【００６３】
図６は、この発明の実施の形態に係る関連語自動抽出方法における、重要語の上下階層関係を抽出する手順を示すフローチャートである。
【００６４】
まず、データベース中の文書を一文書ずつ読み込み（ステップＳ２１）、該文書中から予め作成しておいた表層表現リストに書かれている表層表現を抽出する（ステップＳ２２）。
【００６５】
ここで前記表層表現リストに書かれるべき表層表現とは、上位語と下位語の関係が明確に表現されているものであり、例えば「Ａ、Ｂ、Ｃ等のＤ」（Ａ乃至Ｄは各々重要語とする）という表現においては、上位語がＤ、下位語がＡ、Ｂ、Ｃである。
【００６６】
次に、前記ステップＳ２２で抽出された（ステップＳ２３でＹＥＳと判定された場合）表層表現中の上位語部分および下位語部分に前記重要語解析部２で抽出した重要語が含まれるか否かを探索する（ステップＳ２４）。
【００６７】
ここで探索すべき重要語とは、前記重要語解析部２で抽出したものに限らず、場合によっては予めユーザーが定義したユーザー定義重要語リストに含まれる言葉でもよい。また、ユーザー定義重要語リストには、完全一致することを探索条件とする言葉の他に、部分的に一致していれば探索対象とする言葉を含んでいてもよい。
【００６８】
この探索により、上位語部分および下位語部分の双方ともに重要語が探索された場合（ステップＳ２５でＹＥＳと判定された場合）、探索された上下重要語ペアを逐次カウントリストに保存する。この時、上下重要語ペアの重要度の判定尺度として、データベース１２中に上位重要語および下位重要語が含まれる文書数の割合の比較、上位重要語および下位重要語の形態素の比較、および必ず除外する上下重要語ペアを上下重要語ペア除外リストとして保有しておき、上下重要語ペア除外リスト中の上下重要語ペアは除外する機能等を必要に応じて適用してもよい。
【００６９】
上下重要語ペアを既に作成したカウントリストから探索し（ステップＳ２６）、既に同一のペアがカウントリストに存在した場合（ステップＳ２７でＹＥＳと判定された場合）、出現回数のカウントに１加えてカウントリストを更新する（ステップＳ２８）。
【００７０】
カウントリストに存在しなかった場合（ステップＳ２７でＮＯと判定された場合）、前記上下重要語ペアのカウントを１にしてカウントリストに新たに保存する（ステップＳ２９）。
【００７１】
以上、ステップＳ２１乃至ステップＳ２９の処理をデータベース中の予め指定した複数文書について行う（ステップＳ３０）。
【００７２】
その後、前記ステップＳ２１乃至Ｓ３０で作成したカウントリストおよび重要語リスト中の統計情報を元に重要語の上下階層関係を構築する（ステップＳ３１）。
【００７３】
具体的には、例えば共通の下位重要語Ｃを持つ上位重要語ＡおよびＢが抽出されていると同時に上位重要語Ａおよび下位重要語Ｂが抽出されている場合、全体的にみれば直接の上下関係になっているペアはＡ（上位）−Ｂ（下位）ペアおよびＢ（上位）−Ｃ（下位）ペアのみであり、Ａ（上位）−Ｃ（下位）ペアは冗長分に過ぎない。したがって、重要語の上下階層関係を構築する際に前記Ａ−Ｃの冗長ペアを除外する。
【００７４】
また、上下階層関係の構築の際、前記上下重要語ペアのデータベース中での全出現回数に閾値を設け、閾値未満の該上下重要語ペアを必要に応じて除外してもよい。
【００７５】
【発明の効果】
以上説明したように、請求項１に記載の発明によれば、文書群を格納するデータベースを有するデータベース部と、データベース中に含まれる文書の内容を特徴付けると考えられる名詞からなる重要語を抽出する重要語解析部と、該重要語解析部で抽出した重要語のデータベース中の全出現回数と重要語がデータベース中に含まれる文書数とを含む統計情報を取得し、重要語解析部で抽出した特定の重要語が含まれる文書における特定の重要語から一定の範囲内に存在する別の重要語の出現数を取得するカウント部と、統計情報と特定の重要語が一定の範囲内に存在する別の重要語の出現数とから演算される特定の重要語と別の重要語とが一定範囲内に出現する出現確率に基づいて特定の重要語と別の重要語との関連度を判定する関連語抽出部と、を有するので、複数個の重要語のペアによる意味付けを合理的にでき、その結果、関連語抽出精度を向上させることが可能となる。
【００７７】
請求項２に記載の発明によれば、文書群を格納するデータベースを有するデータベース 部と、データベース中に含まれる文書の内容を特徴付けると考えられる名詞からなる重要語を抽出する重要語解析部と、該重要語解析部で抽出した重要語のデータベース中の全出現回数と重要語がデータベース中に含まれる文書数とを含む統計情報を取得し、重要語解析部で抽出した特定の重要語と別の重要語との重要語ペアの上位語と下位語との関係を表す上下階層関係情報を取得するカウント部と、統計情報と重要語ペアの一方が上位語で他方が下位語である確率に基づいて特定の重要語と別の重要語との上下関係を判定する関連語抽出部とを有するので、互いに無関係な複数の重要語が偶発的に出現したことによるノイズを合理的に除去することができる。
【００７８】
請求項３に記載の発明によれば、データベース部は、データベースに入力される文書群から文書のヘッダー情報を利用して同一文書か否かを判定し、複数の同一文書が含まれていた場合に一つの文書を残して他の同一文書を除去する同一文書判定機能部および該同一文書判定機能部で同一文書を除去した後の文書を格納するものであるので、請求項１または２の効果に加えて、特定の文書が多くの同一文書を持った場合に生じる統計情報の不要な偏りを除去することができ、その結果、関連語抽出精度を向上させることが可能となる。
【００７９】
請求項４に記載の発明によれば、重要語解析部は、文書を形態素解析により品詞単位に分割し品詞情報を取得する形態素解析部と、該形態素解析部で品詞単位に分割した形態素のうち連続する名詞を結合して複合語を作成し、該複合語を重要語として品詞情報および統計情報と共に重要語リストに保存する重要語の抽出部とを有しているので、請求項１または２の効果に加えて、形態素解析部の分割による言葉の抽象化を回避することができ、最終的に抽出する関連語の精度を向上させることができる。
【００８０】
請求項５に記載の発明によれば、データベース中の文書を一文書ずつ読み込み、該データベース中の文書の内容を特徴付けると考えられる名詞からなる特定の重要語を探索し、探索された特定の重要語を含む文書において、特定の重要語から予め定義した一定範囲内に別の重要語があるか否かを探索し、特定の重要語から一定範囲内に存在する別の重要語が探索された場合に、特定の重要語と別の重要語とのペアを逐次、カウント部に含まれている一定範囲内の複数重要語の抽出部のカウントリストに保存し、特定の重要語と別の重要語とのペアを既に作成したカウントリストから探索し、既に同一の重要語のペアがカウントリストに存在した場合、出現回数のカウントに１加えてカウントリストを更新し、カウントリストに存在しなかった場合、重要語のペアのカウントを１にしてカウントリストに新たに保存する処理をデータベース中の予め指定した複数文書について行うことにより作成されたカウントリストを元に、重要語のペアの関連度を判定するように、コンピュータを機能させるので、複数個の重要語のペアによる意味付けを合理的にでき、その結果、関連語抽出精度を向上させることが可能となる。
【００８１】
請求項６に記載の発明によれば、データベース中の文書を一文書ずつ読み込み、データベース中の文書の内容を特徴付けると考えられる名詞からなる重要語の上位語と下位語との関係を表現している表層表現を抽出し、抽出された表層表現中の上位語部分および下位語部分に特定の重要語が含まれるか否かを探索し、上位語部分および下位語部分の双方ともに特定の重要語が探索された場合、探索された上下重要語のペアを逐次、カウント部に含まれている重要語の上下階層関係の抽出部のカウントリストに保存し、既に同一の重要語のペアがカウントリストに存在した場合、出現回数のカウントに１加えてカウントリストを更新し、カウントリストに存在しなかった場合、上下重要語のペアのカウントを１にしてカウントリストに新たに保存する処理を前記データベース中の予め指定した複数文書について行うことにより作成されたカウントリストを元に、重要語の上下階層関係を構築するように、コンピュータを機能させるので、互いに無関係な複数の重要語が偶発的に出現したことによるノイズを合理的に除去することができる。
【図面の簡単な説明】
【図１】この発明の実施の形態に係る関連語自動抽出装置のブロック図である。
【図２】同実施の形態に係る関連語自動抽出装置に使用する重要語リストの概念図である。
【図３】同実施の形態に係る関連語自動抽出装置に使用するカウントリストの概念図である。
【図４】図３のカウントリストおよび図２の重要語リストを元にして作成した関連度判定リストの概念図である。
【図５】同実施の形態に係る関連語自動抽出方法における、一定範囲内の複数重要語の抽出手順を示すフローチャートである。
【図６】同実施の形態に係る関連語自動抽出方法における、重要語の上下階層関係の抽出手順を示すフローチャートである。
【符号の説明】
１ データベース部
２ 重要語解析部
３ カウント部
４ 関連語抽出部
Claims (6)
- 文書群を格納するデータベースを有するデータベース部と、前記データベース中に含まれる文書の内容を特徴付けると考えられる名詞からなる重要語を抽出する重要語解析部と、該重要語解析部で抽出した重要語の前記データベース中の全出現回数と重要語が前記データベース中に含まれる文書数とを含む統計情報を取得し、前記重要語解析部で抽出した特定の重要語が含まれる文書における特定の重要語から一定の範囲内に存在する別の重要語の出現数を取得するカウント部と、前記統計情報と前記特定の重要語が一定の範囲内に存在する別の重要語の出現数とから演算される特定の重要語と別の重要語とが一定範囲内に出現する出現確率に基づいて特定の重要語と別の重要語との関連度を判定する関連語抽出部と、を有することを特徴とする関連語自動抽出装置。
- 文書群を格納するデーターベースを有するデータベース部と、該データベース中に含まれる文書の内容を特徴付けると考えられる名詞からなる重要語を抽出する重要語解析部と、該重要語解析部で抽出した重要語の前記データベース中の全出現回数と重要語が前記データベース中に含まれる文書数とを含む統計情報を取得し、前記重要語解析部で抽出した特定の重要語と別の重要語との重要語ペアの上位語と下位語との関係を表す上下階層関係情報を取得するカウント部と、前記統計情報と前記重要語ペアの一方が上位語で他方が下位語である確率に基づいて特定の重要語と別の重要語との上下関係を判定する関連語抽出部と、を有することを特徴とする関連語自動抽出装置。
- 前記データベース部は、前記データベースに入力される文書群から同一文書を判定し、複数の同一文書が含まれていた場合に一つの文書を残して他の同一文書を除去する同一文書判定機能部を有し、該同一文書判定機能部で同一文書を除去した後の文書を前記データベースに格納するものであることを特徴とする請求項１または２に記載の関連語自動抽出装置。
- 前記重要語解析部は、文書を形態素解析により品詞単位に分割し品詞情報を取得する形態素解析部と、該形態素解析部で品詞単位に分割した形態素のうち連続する名詞を結合して複合語を作成し、該複合語を重要語として品詞情報および前記統計情報と共に重要語リストに保存する重要語の抽出部とを有していることを特徴とする請求項１または２に記載の関連語自動抽出装置。
- データベース中の文書を一文書ずつ読み込み、該データベース中の文書の内容を特徴付けると考えられる名詞からなる特定の重要語を探索し、探索された特定の重要語を含む文書において、特定の重要語から予め定義した一定範囲内に別の重要語があるか否かを探索し、特定の重要語から一定範囲内に存在する別の重要語が探索された場合に、特定の重要語と別の重要語とのペアを逐次、前記カウント部に含まれている一定範囲内の複数重要語の抽出部のカウントリストに保存し、特定の重要語と別の重要語とのペアを既に作成したカウントリストから探索し、既に同一の重要語のペアがカウントリストに存在した場合、出現回数のカウントに１加えてカウントリストを更新し、カウントリストに存在しなかった場合、前記重要語のペアのカウントを１にしてカウントリストに新たに保存する処理をデータベース中の予め指定した複数文書について行うことにより作成されたカウントリストを元に、重要語のペアの関連度を判定するように、コンピュータを機能させることを特徴とする複数重要語抽出プログラム。
- データベース中の文書を一文書ずつ読み込み、前記データベース中の文書の内容を特徴付けると考えられる名詞からなる重要語の上位語と下位語との関係を表現している表層表現を抽出し、抽出された表層表現中の上位語部分および下位語部分に特定の重要語が含まれるか否かを探索し、上位語部分および下位語部分の双方ともに特定の重要語が探索された場合、探索された上下重要語のペアを逐次、前記カウント部に含まれている重要語の上下階層関係の抽出部のカウントリストに保存し、既に同一の重要語のペアがカウントリストに存在した場合、出現回数のカウントに１加えてカウントリストを更 新し、カウントリストに存在しなかった場合、前記上下重要語のペアのカウントを１にしてカウントリストに新たに保存する処理を前記データベース中の予め指定した複数文書について行うことにより作成されたカウントリストを元に、重要語の上下階層関係を構築するように、コンピュータを機能させることを特徴とする重要語の上下階層関係抽出プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001367472A JP3553543B2 (ja) | 2001-11-30 | 2001-11-30 | 関連語自動抽出装置、複数重要語抽出プログラムおよび重要語の上下階層関係抽出プログラム |
| PCT/JP2002/012504 WO2003046765A1 (fr) | 2001-11-30 | 2002-11-29 | Procede d'extraction automatique de mot associe |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001367472A JP3553543B2 (ja) | 2001-11-30 | 2001-11-30 | 関連語自動抽出装置、複数重要語抽出プログラムおよび重要語の上下階層関係抽出プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003167894A JP2003167894A (ja) | 2003-06-13 |
| JP3553543B2 true JP3553543B2 (ja) | 2004-08-11 |
Family
ID=19177212
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001367472A Expired - Fee Related JP3553543B2 (ja) | 2001-11-30 | 2001-11-30 | 関連語自動抽出装置、複数重要語抽出プログラムおよび重要語の上下階層関係抽出プログラム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP3553543B2 (ja) |
| WO (1) | WO2003046765A1 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120191746A1 (en) * | 2007-12-26 | 2012-07-26 | Tomoko Tashiro | Dictionary system |
| KR101071700B1 (ko) | 2009-11-04 | 2011-10-11 | 동국대학교 산학협력단 | 온톨로지를 이용한 문서의 주제어 및 관련어 측정 방법 및 장치 |
| JP5208193B2 (ja) * | 2010-12-28 | 2013-06-12 | ヤフー株式会社 | 関連語グラフ作成装置、関連語グラフ作成方法、関連語提供装置、関連語提供方法及びプログラム |
| JP5117590B2 (ja) * | 2011-03-23 | 2013-01-16 | 株式会社東芝 | 文書処理装置およびプログラム |
| US9183600B2 (en) | 2013-01-10 | 2015-11-10 | International Business Machines Corporation | Technology prediction |
| JP6079361B2 (ja) * | 2013-03-27 | 2017-02-15 | 富士通株式会社 | 文書管理装置、文書管理方法および文書管理プログラム |
| JP6280859B2 (ja) * | 2014-11-20 | 2018-02-14 | 日本電信電話株式会社 | 行動ネットワーク情報抽出装置、行動ネットワーク情報抽出方法及び行動ネットワーク情報抽出プログラム |
| CN105786991B (zh) * | 2016-02-18 | 2019-03-15 | 中国科学院自动化研究所 | 结合用户情感表达方式的中文情感新词识别方法和系统 |
| US12430496B2 (en) | 2021-11-24 | 2025-09-30 | International Business Machines Corporation | Iteratively updating a document structure to resolve disconnected text in element blocks |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2943447B2 (ja) * | 1991-01-30 | 1999-08-30 | 三菱電機株式会社 | テキスト情報抽出装置とテキスト類似照合装置とテキスト検索システムとテキスト情報抽出方法とテキスト類似照合方法、及び、質問解析装置 |
| JP3598211B2 (ja) * | 1998-01-13 | 2004-12-08 | 富士通株式会社 | 関連語抽出装置および関連語抽出方法および関連語抽出プログラムが記録されたコンピュータ読取可能な記録媒体 |
| JP3788864B2 (ja) * | 1998-05-20 | 2006-06-21 | 株式会社リコー | 関連語自動抽出装置及び方法並びに情報記憶媒体 |
| JP2000222427A (ja) * | 1999-02-02 | 2000-08-11 | Mitsubishi Electric Corp | 関連語抽出装置、関連語抽出方法及び関連語抽出プログラムが記録された記録媒体 |
-
2001
- 2001-11-30 JP JP2001367472A patent/JP3553543B2/ja not_active Expired - Fee Related
-
2002
- 2002-11-29 WO PCT/JP2002/012504 patent/WO2003046765A1/ja not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003167894A (ja) | 2003-06-13 |
| WO2003046765A1 (fr) | 2003-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | An empirical study of TextRank for keyword extraction | |
| US6470307B1 (en) | Method and apparatus for automatically identifying keywords within a document | |
| CN106383836B (zh) | 将可操作属性归于描述个人身份的数据 | |
| Mao et al. | Automatic keywords extraction based on co-occurrence and semantic relationships between words | |
| KR100396826B1 (ko) | 정보검색에서 질의어 처리를 위한 단어 클러스터 관리장치 및 그 방법 | |
| CN102567409A (zh) | 一种提供检索关联词的方法及装置 | |
| Ismailov et al. | A comparative study of stemming algorithms for use with the Uzbek language | |
| CN106708929A (zh) | 视频节目的搜索方法和装置 | |
| CN106104524A (zh) | 复杂谓语模板收集装置以及用于其的计算机程序 | |
| JP3553543B2 (ja) | 関連語自動抽出装置、複数重要語抽出プログラムおよび重要語の上下階層関係抽出プログラム | |
| Béchet et al. | Sequence mining under multiple constraints | |
| JP2010287020A (ja) | 同義語展開システム及び同義語展開方法 | |
| CN112486919A (zh) | 文档管理方法、系统及存储介质 | |
| JP5010885B2 (ja) | 文書検索装置、文書検索方法および文書検索プログラム | |
| Miah et al. | Keyphrases concentrated area identification from academic articles as feature of keyphrase extraction: A new unsupervised approach | |
| CN120744089A (zh) | 高效文档搜索方法、装置、设备及存储介质 | |
| KR20070007001A (ko) | 질의어 자동 추출을 이용한 검색 방법 및 장치 | |
| JP4015661B2 (ja) | 固有表現抽出装置、方法、プログラム及びそれを記録した記録媒体 | |
| JP4389102B2 (ja) | 技術文献検索システム | |
| JP2008117351A (ja) | 検索システム | |
| JP2009217406A (ja) | 文書検索装置及び方法、並びに、プログラム | |
| CN120470095B (zh) | 基于人工智能的合同内容查询方法及系统 | |
| CN119741717B (zh) | 一种利用微型电脑主机的文生图方法、装置及计算机程序 | |
| CN116126893B (zh) | 一种数据关联检索方法、装置及相关设备 | |
| Sung et al. | Efficient concept clustering for ontology learning using an event life cycle on the web |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040113 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040301 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040413 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040428 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090514 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100514 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110514 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120514 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120514 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |