JPH0528871B2 - - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は日本語文書中から、その文書でのみ
使用されている製品名、会社名、人名などの固有
名詞や単語の組み合わせであつても新語やその文
書においてのみ使用されていると考えられる語
（対象文固有用語）を自動的に抽出する日本語対
象文固有用語抽出装置に関するものである。

〔従来の技術〕

日本語文書中から、その文書でのみ使用されて
いる製品名、会社名、人名などの固有名詞や単語
の組み合わせであつても新語やその文書において
のみ使用されていると考えられる語（対象文固有
用語）を抽出する従来の方式では、入力日本文を
あらかじめ用意した解析辞書を用いて分かち書き
を行い、その結果、うまく分かち書きできなかつ
た部分を対象文固有用語として抽出する。また字
種の変化点に着目する方式では、ある字種から別
の字種へ変化する点までを対象文固有用語の候補
として抽出し、その候補の中から、あらかじめ用
意した解析用の日本語辞書に登録されていない候
補を対象文固有用語として抽出する。

〔発明が解決しようとする問題点〕

しかし前者の方式では次の問題があつた。

入力日本文を解析辞書を用いて分かち書きを
行うため、抽出に時間がかかる。

日本語の分かち書き処理は、解析辞書中に単
語が登録されていることを前提としているた
め、対象文固有用語についても解析を試み、部
分的に解析に成功するとその部分を対象文固有
用語の対象外となる（例：「○×会社」は全体
で社名を表わす対象文固有用語であるにもかか
わらず、「会社」は一般的な語であつて解析に
成功するため、「○×」のみが対象文固有用語
であると認定されてしまう）など、正確に対象
文固有用語を抽出することができない。

対象文固有用語が一般的な語によつて構成さ
れている場合、その用語は対象文固有用語とし
て認定されない。例を以下に示す。「日本電力
電話株式会社」は固有名詞であり、対象文固有
用語であるが、一般的な語のみによつて構成さ
れているために「日本／電力／電話／株式／会
社」のように分かち書きに成功する。このため
対象文固有用語として抽出されるべき「日本電
力電話株式会社」が抽出されない。

また後者の方式では、辞書引きの回数が少ない
ために高速ではあるが、 複数の字種にわたる対象文固有用語が抽出し
ずらい、 「〜向け」などの送りがな付きの接辞を含む
対象文固有用語が抽出できない、 といつた問題点が存在した。

この発明の目的は、前記の問題点を解決した日
本語文書中から対象文固有用語を高速かつ正確に
自動抽出する日本語対象文固有用語抽出方式を提
供することにある。

〔問題点を解決するための手段〕

この発明は日本語文書中の文字列を９種類の字
種に分類したコード列に展開する手段と、 前記コード列における字種の変化点のみから、
対象文固有用語の候補を抽出する抽出手段と、 その抽出手段で抽出された候補の中から、日本
語の性質から日本語対象文固有用語とならない文
字列の条件及び日本語対象文固有用語となりやす
い文字列の条件を記憶した言語情報テーブルを用
いて、日本語対象文固有用語となりやすい文字列
の条件を満たす候補のみを残すことによつて、よ
り精度の高い日本語対象文固有用語の候補を抽出
する処理手段と、 その処理手段で抽出された候補の中から、日本
語解析辞書に収録されていない語のみを日本語対
象文固有用語として出力する選択手段とを有する
ことを最も主要な特徴とする。

従来の技術とは 抽出手段において、日本語対象文固有用語の
候補を抽出する際に、分かち書きなどの解析辞
書による解析を行わず、字種の変化点に着目し
て候補を抽出するために高速である、 抽出手段において、字種の変化点に着目して
候補を抽出するので一般的な語のみから成る語
や一部に一般的な語を含む語も日本語対象文固
有用語の候補として抽出できる、 処理手段において、「漢字５文字以上の列は
日本語対象文固有用語となりやすい」などのヒ
ユーリステイツクルールや「その候補中に接辞
が含まれている場合には、接辞に対する処理を
施こす」などの処理情報から成る言語情報を用
いて、日本語対象文固有用語の候補を絞るの
で、正確な候補抽出が行える、 選択手段においては、解析辞書中の単語と完
全一致しない語はすべて日本語対象文固有用語
として出力するため、一般的な語のみからなる
日本語対象文固有用語や、一部に一般的な語を
含む日本語対象文固有用語も、日本語対象文固
有用語として抽出できる、 の各点が異なる。

〔実施例〕

第１図はこの発明方式をハードウエアによつて
構成した際の基本構成図であつて、コード列展開
部１は入力された日本語文書を９種類の字種（漢
字コード、漢数字コード、ひらがなコード、カタ
カナコード、アラビア数字コード、アルフアベツ
トコード、句読点コード、区切りコード、その他
のコード）に分類したコード列に展開する。日本
語対象文固有用語候補抽出部２はコード列展開部
１において得られたコード列の中から、字種の変
化点に着目して日本語対象文固有用語の候補を抽
出する。日本語対象文固有用語言語処理部３は日
本語対象文固有用語候補抽出部２において得られ
た候補の中の各候補に対して言語情報テーブル８
を検索し、その情報に従つてその候補を処理した
後、より精度の高い候補のみから成る候補群を抽
出する。日本語対象文固有用語選択部４は日本語
対象文固有用語言語処理部３において得られた候
補群の中の各候補の字面をキーとして日本語解析
辞書９を検索し、日本語解析辞書９に登録されて
いない語のみを日本語対象文固有用語として選択
する。日本語対象文固有用語登録部５は日本語対
象文固有用語選択部４で選択された日本語対象文
固有用語を日本語対象文固有用語フアイル６に登
録する。日本語対象文固有用語フアイル６は最終
的に抽出された日本語対象文固有用語を登録して
おくフアイルである。分類テーブル７は日本語対
象文固有用語候補抽出部２において抽出する字種
列をどのように分類するかを規定したテーブルで
あり、言語情報テーブル８は日本語対象文固有用
語言語処理部３において、より精度の高い候補を
抽出する際に用いる言語情報や処理方法を記述し
たテーブルであり、日本語解析辞書９は一般的な
日本語単語の字面や品詞などが登録されている。
コード列展開部１、日本語対象文固有用語候補抽
出部２、日本語対象文固有用語言語処理部３、日
本語対象文固有用語選択部４及び日本語対象文固
有用語登録部５は演算装置およびメモリから成る
日本語対象文固有用語抽出装置１０を構成してい
る。

第２図は日本語対象文固有用語抽出装置１０の
動作の概略流れ図である。次に第２図の概略流れ
図に従つて動作の説明を行う。先ずｎを１とし
（ステツプS₁）日本語対象文固有用語抽出装置１
０の入力である日本語文書の第ｎ文について処理
し（ステツプS₂）コード列展開部１ではその第ｎ
文の日本語文書の１文字１文字を９種類の字種
（漢字コード、漢数字コード、ひらがなコード、
カタカナコード、アラビア数字コード、アルフア
ベツトコード、句読点コード、区切りコード、そ
の他のコード）のコードに変換し、その日本語文
書に対するコード列を生成する（ステツプS₃）。
このとき各コードには、そのコードがその日本語
文書のどの文字から生成されたのかを示す情報が
付与される。コード列展開部１によつて生成され
たコード列は日本語対象文固有用語候補抽出部２
に送られる。

日本語対象文固有用語候補抽出部２では、区切
りコード、ひらがなコード、句読点コードのいず
れかから他の６種類のいずれかのコードへ変わる
変化点で始まり、次に区切りコード、ひらがなコ
ード、句読点コードのいずれかへと変わる変化点
で終わるコード列に対応する元の文字列を日本語
対象文固有用語の候補としてすべて抽出し、分類
テーブル７に記述されている条件によつてその候
補を分類する（ステツプS₄）。第３図に分類テー
ブル７の内容の例を示す。ここで「漢字」には
「漢数字」も含まれる。

分類された日本語対象文固有用語の候補は、日
本語対象文固有用語言語処理部３に送られる。日
本語対象文固有用語言語処理部３ではｉ＝１とし
（ステツプS₅）、第ｉ番目の候補について処理する
（ステツプS₆）、つまりまず言語情報テーブル８を
検索して情報を得る（ステツプS₇）。次に得られ
た情報に従つて日本語対象文固有用語の各候補に
ついて処理する（ステツプS₈）ことによつてより
精度の高い日本語対象文固有用語の候補を抽出し
（ステツプS₉）、日本語対象文固有用語選択部４に
該候補を送る。

日本語対象文固有用語選択部４では、日本語対
象文固有用語言語処理部３より送られてきた日本
語対象文固有用語の候補の字面をキーとして、日
本語解析辞書９を検索する。検索の結果、その候
補が日本語解析辞書９に登録されているときは、
その候補は日本語対象文固有用語ではないとして
候補から落とす（ステツプS₁₀）。逆にその候補が
日本語解析辞書９に登録されていないときは、そ
の候補は日本語対象文固有用語であるとしてその
候補を日本語対象文固有用語登録部５に送る（ス
テツプS₁₀）。

日本語対象文固有用語登録部５では、日本語対
象文固有用語選択部４より送られてきた日本語対
象文固有用語を日本語対象文固有用語フアイル６
に書き込み登録する（ステツプS₁₁）。ステツプS₉
でその候補を日本語対象文固有用語の候補として
残さない場合、またはステツプS₁₁の次にｉ＋１
をｉとし（ステツプS₁₂）、その後、候補がまだあ
るかを調べ、候補がまだある場合はステツプS₆に
戻り、候補がない場合はｎを＋１して（ステツプ
S₁₄）、文がまだあるかを調べ（ステツプS₁₅）、文
がまだある場合はステツプS₂に戻り、文がない場
合は終りとする。

次に例を用いて動作の概略を説明する。第４図
に示す例文を対象文固有用語抽出装置１０の入力
となる日本語文書として説明する。まずコード列
展開部１では、第４図に示す例文の１文字１文字
を対応するコード（９種類の何れかのコード）に
変換し、コード列を生成する（第５図）。第５図
のコード列では漢字コード（漢数字を除く全漢
字）を、漢数字コード（〇、一、二、三、四、
五、六、七、八、九）を、ひらがなコード（ひ
らがなすべて）を、カタカナコード（カタカナ
すべて）を、アラビア数字コード（０，１，
２，３，４，５，６，７，８，９）を、アルフ
アベツトコード（Ａ〜Ｚ，ａ〜ｚの大文字、小文
字）を、句読点コード（読点「、」、句点「。」、
カンマ「，」、ピリオド「．」、クエスチヨンマーク
「？」、イクスクラメーシヨンマーク「！」）を、
区切りコード（カギカツコ「」、丸カツコ（）、大
カツコ〔〕、中カツコ｛｝などのカツコ類、コー
テーシヨンマーク「’」、ダブルコーテーシヨン
マーク「”」）を、その他のコード（前記のどの
コードにも入らない文字や記号）をと略記して
いる。

このとき各コードにはそのコードがどの文字か
ら生成されたかを示す情報（例えば第５図の一番
最初のは第４図の文字“基”から、次のは文
字“盤”から生成されたことを示す情報）を付与
する。この付与の方法には、元の文字列に番号を
付け、その番号をコード列に付与する方法や、元
の文字とコードをペアで持つ方法などがあるが、
ここではこの方法については問わない。コード列
展開部１によつて生成されたコード列（第５図）
は日本語対象文固有用誤候補抽出部２に送られ
る。

次に日本語対象文固有用語候補抽出部２では、
第５図に示したコード列から区切りコード、ひら
がなコード、句読点コードのいずれかから、他の
６種類のいずれかのコードで変わる変化点で始ま
り、次に区切りコード、ひらがなコード、句読点
コードのいずれかへと変わる変化点で終わるコー
ド列を取り出し（第６図）、そのコード列に対応
する元の文字列を日本語対象文固有用語の候補と
してすべて抽出する。第４図に示す例文からは、
第７図に示すように21個の候補が抽出される。な
お文頭には変化点があるものとして次に区切りコ
ード、ひらがなコード、句読点コードのいずれか
へと変わる変化点までを候補として抽出する。さ
らに日本語対象文固有用語候補抽出部２では、字
種の変化点の情報により抽出した候補を分類テー
ブル７に従つて分類する。この結果を第８図に示
す。その分類結果は日本語対象文固有用語言語処
理部３に送られる。

日本語対象文固有用語言語処理部３では言語情
報テーブル８を検索し、得られた情報に従つて候
補を絞り込む。言語情報テーブル８の内容の例を
第９図に示す。日本語対象文固有用語言語処理部
３では第８図に示す候補の分類をキーとして、言
語情報テーブル８を検索する。第８図の分類２に
属する語のうち「昨年」は第９図分類２の項の
「副詞的に使われる名詞は候補から落とす」に一
致するため、候補から落とされ、同様に「三台」
は「漢数字とそれに続く助数詞を持つものは候補
から落とす」に一致するために、「発売」は「サ
変名詞は候補から落とす」に一致するためにそれ
ぞれ候補から落とされる。ゆえに分類２に属する
語のうち「西電」、「南芝」、「会社」の３語が候補
として残る。分類３，４，６，７，19に属する語
についてはすべて候補として残る。分類21に属す
る「七〇％」、「三・九九％」、「三％」、「各一・六
九％出資」の４語は共に「漢数字とそれに続く助
数詞を持つものは候補から落とす」（第９図分類
21の項）に一致するため候補から落とされる。以
上の結果、「西電」、「南芝」、「会社」「新機種」、
「日際電気」、「凸版電話」、「日際岩井」、「住際銀
行」、「国際電力電話」、「松際通信工業」、「日本毎
朝新聞社」、「基盤技術開発推進センター」、「マズ
キル」、「キヤダン」の計14個の文字列が日本語対
象文固有用語の候補として日本語対象文固有用語
選択部４に送られる。

日本語対象文固有用語選択部４では、日本語解
析辞書９を日本語対象文固有用語の候補の字面で
検索し、日本語解析辞書９に登録されていない語
のみを日本語対象文固有用語として選択する。例
文に対しては、上記14個の候補の各々についてそ
の字面をキーとして日本語解析辞書９を検索す
る。検索の結果、日本語解析辞書９には「会社」
のみが一般的な語として登録されているため「会
社」が候補から落とされる。よつて上記14個の文
字列から「会社」を除いた計13個の文字列が日本
語対象文固有用語として日本語対象文固有用語登
録部５に送られる。

日本語対象文固有用語登録部５では、送られて
きた13個の日本語対象文固有用語を日本語対象文
固有用語フアイル６に書き込み登録する。日本語
対象文固有用語フアイル６に書き込まれた日本語
対象文固有用語を第１０図に示す。

このような構造および作用となつていることか
ら、従来の方法に比べて、 日本語対象文固有用語の候補を抽出する際
に、分かち書きなどの解析辞書による解析を行
わず、字種の変化点に着目して候補を抽出する
ために高速である、 字種の変化点に着目して候補を抽出するの
で、一般的な語のみから成る語や一部に一般的
な語を含む語も日本語対象文固有用語の候補と
して抽出できる、 字種の変化点に着目して抽出した候補に対し
て、言語情報テーブル中の情報（「漢字５文字
以上の列は日本語対象文固有用語となりやす
い」といつたヒユーリステイツクルールや、
「接辞を含む場合には接辞に対する処理を施こ
す」などの処理情報）を用いて、候補を絞り込
むので正確な日本語対象文固有用語の候補抽出
が行える、 日本語解析辞書中の単語と完全一致しない語
はすべて日本語対象文固有用語として抽出する
ため、一般的な語のみから成る日本語対象文固
有用語や、一部に一般的な語を含む日本語対象
文固有用語も、日本語対象文固有用語として抽
出できる、 の各点で改善があつた。

〔発明の効果〕

以上説明したようにこの発明装置によれば、当
該文書でのみ使用されている製品名、会社名、人
名などの固有名詞や単語の組み合わせであつても
新語やその文書においてのみ使用されていると考
えられる語（以上の語をまとめて日本語対象文固
有用語と呼ぶ）の候補をその文書中から、字種の
変化点の情報によつて抽出し、その候補の持つ言
語情報を用いて候補を絞つた後に、解析辞書を検
索することによつて一般的な語を取り除いたもの
を日本語対象文固有用語として出力するのである
から、日本語文書中に存在する日本語対象文固有
用語を高速かつ正確に抽出できるという利点があ
る。

【図面の簡単な説明】

第１図はこの発明装置をハードウエアによつて
構成した基本構成図、第２図はこの発明装置の動
作の概略流れ図、第３図は分類テーブルの内容の
例を示す図、第４図は動作の説明に用いた例文を
示す図、第５図は例文（第４図）に対するコード
列を示す図、第６図は第５図のコード列から抽出
される日本語対象文固有用語の候補のコード列を
示す図、第７図は第６図のコード列に対する元の
文字列を示す図、第８図は分類テーブルによる日
本語対象文固有用語の候補の分類を示す図、第９
図は言語情報テーブル８の内容の例を示す図、第
１０図は抽出された日本語対象文固有用語を示す
図である。

Claims (1)

1. 【特許請求の範囲】 １ 日本語の性質から日本語対象文固有用語とな
   らない文字列の条件及び日本語対象文固有用語と
   なりやすい文字列の条件を記憶した言語情報テー
   ブルと、 日本語単語の字面や品詞などが登録されている
   日本語解析辞書と、 入力された日本語の文書の中の文字列を漢字コ
   ード、漢数字コード、ひらがなコード、カタカナ
   コード、アラビア数字コード、アルフアベツトコ
   ード、句読点コード、区切りコード、その他のコ
   ードの９種類の字種に分類したコード列に展開す
   るコード列展開手段と、 前記展開されたコード列における字種の変化点
   のみから、その文書でのみ使用されている製品
   名、会社名、人名などの固有名詞や単語の組み合
   わせであつても新語やその文書においてのみ使用
   されていると考えられる語（以上の語をまとめて
   日本語対象文固有用語と呼ぶ）を候補として抽出
   する日本語対象文固有用語候補抽出手段と、 その抽出手段で抽出された候補の中から、前記
   言語情報テーブルを用いて日本語対象文固有語と
   なりやすい文字列の条件を満たす候補のみを残す
   ことによつて、より精度の高い日本語対象文固有
   用語の候補を抽出する日本語対象文固有用語言語
   処理手段と、 その処理手段で抽出された候補の中から、前記
   日本語解析辞書に収録されていない語のみを日本
   語対象文固有用語として出力する日本語対象文固
   有用語選択手段とを有する日本語対象文固有用語
   抽出装置。