Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5125083B2 - 言語解析システム、および言語解析方法、並びにコンピュータ・プログラム - Google Patents
[go: Go Back, main page]

JP5125083B2 - 言語解析システム、および言語解析方法、並びにコンピュータ・プログラム - Google Patents

言語解析システム、および言語解析方法、並びにコンピュータ・プログラム Download PDF

Info

Publication number
JP5125083B2
JP5125083B2 JP2006330637A JP2006330637A JP5125083B2 JP 5125083 B2 JP5125083 B2 JP 5125083B2 JP 2006330637 A JP2006330637 A JP 2006330637A JP 2006330637 A JP2006330637 A JP 2006330637A JP 5125083 B2 JP5125083 B2 JP 5125083B2
Authority
JP
Japan
Prior art keywords
word
bilingual
dictionary
analysis
japanese
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006330637A
Other languages
English (en)
Other versions
JP2008146218A (ja
Inventor
博 増市
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2006330637A priority Critical patent/JP5125083B2/ja
Publication of JP2008146218A publication Critical patent/JP2008146218A/ja
Application granted granted Critical
Publication of JP5125083B2 publication Critical patent/JP5125083B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Machine Translation (AREA)

Description

本発明は、言語解析システム、および言語解析方法、並びにコンピュータ・プログラムに関する。さらに詳細には、例えば医療分野などの専門性の高い分野において用いられる用語をデータ検索などに適用するための言語単位としての区分語(形態素)に区切る処理を的確に行なう言語解析システム、および言語解析方法、並びにコンピュータ・プログラムに関する。
例えばデータベース検索などにおいて適用する検索キーや、用語辞書の索引としてのインデックスの設定など、データ処理において適用する用語を自然言語の文書から抽出する処理は、様々なデータ処理分野において必要となる技術である。検索処理における検索キーなど、データ処理に適用する言語単位は形態素と呼ばれる。
自然言語の文書から形態素を抽出する研究は従来から行われている。例えば、[車が道路を走る]といったありふれた文書であれば、一般的な形態素解析システムを適用することで、[車]、[道路]、[走る]といった形態素を抽出することが可能である。形態素解析システムは、予め定めた形態素解析ルールを適用して、文を意味的最小単位である形態素(morpheme)に分節して品詞の認定処理を行なうシステムとして知られている。
しかしながら、医療分野のように専門性の高い分野の専門用語を適切な形態素に区切ることは難しい。例えば、特定の病名である、
「潜在自己免疫性甲状腺炎」
この病名を含む文書に対して、一般的な形態素解析システムを適用して形態素に分割すると以下のような形態素が抽出される。以下は、「潜在自己免疫性甲状腺炎」から抽出されるデータを[形態素,品詞]の構成で示している。
(1)[潜在,名詞]
(2)[自己,名詞]
(3)[免疫,名詞]
(4)[性,接尾辞]
(5)[甲状腺,名詞]
(6)[炎,接尾辞]
上記(1)〜(6)の最小単位の形態素が得られると、(1)〜(6)を個別の検索キーとする形態素の設定の他、(1)+(2)、(1)〜(4)、(2)〜(5)などの複数の連続する形態素の組を1つの検索キーやインデックスとするなど適切な形態素区切りを設定して、データ処理に適用する形態素の設定を行う。なお、上記(1)〜(6)は形態素解析システムを適用して得られる最小単位の形態素であり、さらに、これらの最小単位の形態素を複数組み合わせたデータも、検索キーやインデックスデータとして適用可能であり、これらのデータも形態素と呼ばれる。
しかし、実際には、
(2)〜(6)「自己免疫性甲状腺炎」や
(5)〜(6)「甲状腺炎」
は、医療テキスト中で単独でも用いられる語であり、例えば検索キーとして利用する価値がある形態素であるが、例えば、
(3)〜(6)「免疫性甲状腺炎」
は単独では存在し得ない。また、
(2)〜(4)「自己免疫性」
は医療テキスト中に単独ではほとんど存在し得ない形態素であるが、この(2)〜(4)「自己免疫性」は、例えば、
(2)〜(6)「自己免疫性甲状腺炎」
以外にも、
「自己免疫性肝炎」
「自己免疫性溶血性貧血」
「自己免疫性慢性甲状腺炎」
など複合名詞の一部としては広範かつ頻繁に用いられ、独立した形態素と認めることができる。
従って、「潜在自己免疫性甲状腺炎」は、
(1)「潜在」
(2)〜(4)「自己免疫性」
(5)〜(6)「甲状腺炎」
これらの3つの形態素に分割することが適切であると考えられる。例えば、これら3つの形態素を検索キーとして利用したデータベース検索処理を行なうことで、ノイズの少ない有効な情報をデータベースから効率的に取得することが可能となるなど、データ処理において適用する用語として最適であると言える。
しかしながら、医学分野の専門的な知識なしに、上記の形態素解析結果から、このような適切な形態素区切りを得ることは困難である。
上記の問題点を解決する方法として、形態素解析用の辞書(形態素リスト)に医学分野の専門用語辞書(専門用語リスト)を追加する方法が一般的に用いられる。特に「甲状腺炎」等の頻出する疾患名や部位名は医学分野の専門用語辞書に含まれている可能性が高いため、この手法によって「甲状腺炎」を一つの形態素に正しく区切ることができる。一方で、「自己免疫性」のように医療テキスト中に単独で出現することが少ない形態素は専門用語辞書に含まれていないことが多く、「自己」と「免疫性」に分割されてしまうことになる。(「免疫」と「性」は、「性」が接尾辞であるため一つの形態素に纏め上げる処理が行われる。)
「自己免疫性甲状腺炎」が専門用語辞書に含まれていれば「自己免疫性甲状腺炎」を一つの形態素として設定することが可能となるが、「自己免疫性慢性甲状腺炎」のように疾患名として用いられることはあるがその出現頻度が極めて少ないものは専門用語辞書に含まれておらず、上記同様、「自己」と「免疫性」を一つの形態素に正しく纏め上げることはできない。
「自己免疫性」のように専門用語辞書に含まれていない形態素を同定する手法の従来技術として、特許文献1(特開平6−19968号公報)は、専門用語自動抽出手法を開示している。この手法は、通常の形態素解析結果の各形態素に品詞、文字種、出現頻度等から計算した得点を与え、その得点を基に、複数の形態素を纏め上げて専門用語とするか否かを決定する手法である。しかしながら、専門用語であるか否かは品詞、文字種、出現頻度といった要素だけで決定できるものではなく、この手法による専門用語抽出の抽出精度は実用上十分とは言い難いレベルにある。
特開平6−19968号公報
本発明は、上述の問題点に鑑みてなされたものであり、医療分野など専門性の高い分野の専門用語を解析して、検索処理における検索キーなどに適用する適切な言語単位に区切る処理を実現する言語解析システム、および言語解析方法、並びにコンピュータ・プログラムを提供することを目的とする。
本発明の第1の側面は、
日本語と日本語以外の外国語との対訳辞書を格納した対訳辞書格納手段と、
前記対訳辞書の登録データから、日本語と外国語の対訳ペアが一単語対一単語と異なる一単語対多単語の対訳ペアを抽出し、抽出した対訳ペアに含まれる日本語の形態素解析に基づく分割処理によって複数の区分語を生成し、生成した区分語または区分語列に対応する前記外国語の単語を、前記対訳辞書の登録データに基づいて解析する一対多単語抽出手段と、
前記一対多単語抽出手段において前記外国語の単語に対応すると判定された前記区分語または区分語列に相当する日本語を形態素として形態素解析用辞書に登録する処理を実行する形態素解析用辞書生成手段と、
を有することを特徴とする言語解析システムにある。
さらに、本発明の言語解析システムの一実施態様において、前記言語解析システムは、さらに、前記形態素解析用辞書生成手段において生成された形態素解析用辞書を適用した形態素解析を実行する形態素解析手段を有することを特徴とする。
さらに、本発明の言語解析システムの一実施態様において、前記一対多単語抽出手段は、前記対訳辞書の登録データに含まれる日本語と外国語の対訳ペアが一単語対一単語の対訳ペアについては、該対訳ペアに含まれる日本語の単語を前記形態素解析用辞書生成手段に出力し、前記形態素解析用辞書生成手段は、前記一対多単語抽出手段から入力する前記日本語の単語を形態素解析用辞書に登録する処理を実行する構成であることを特徴とする。
さらに、本発明の言語解析システムの一実施態様において、前記対訳辞書格納手段は、一般用語についての日本語と外国語との対訳辞書を格納した一般用語対訳辞書と、専門用語についての日本語と外国語との対訳辞書を格納した専門用語対訳辞書とを格納した構成であり、前記一対多単語抽出手段は、前記専門用語対訳辞書に登録されたデータから、日本語と外国語の対訳ペアが一単語対一単語と異なる一単語対多単語の対訳ペアを抽出し、抽出した対訳ペアに含まれる日本語の形態素解析により日本語を分割した複数の区分語を生成し、生成した個々の区分語または区分語列に対応する前記外国語の単語を、前記専門用語対訳辞書および前記一般用語対訳辞書の双方の登録データに基づいて解析する処理を実行する構成であることを特徴とする。
さらに、本発明の言語解析システムの一実施態様において、前記専門用語対訳辞書は、医療分野の専門用語を格納した対訳辞書であり、前記一対多単語抽出手段は、医療分野の専門用語である日本語の形態素解析により複数の区分語を生成し、生成した区分語または区分語列に対応する前記外国語の単語を、前記専門用語対訳辞書および前記一般用語対訳辞書の双方の登録データに基づいて解析する処理を実行する構成であることを特徴とする。
さらに、本発明の言語解析システムの一実施態様において、前記対訳辞書格納手段は、日本語と、英語との対訳辞書を格納した構成であり、一対多単語抽出手段は、前記対訳辞書に登録されたデータから、日本語と英語の対訳ペアが一単語対一単語と異なる一単語対多単語の対訳ペアを抽出し、抽出した対訳ペアに含まれる日本語の形態素解析により日本語を分割した複数の区分語を生成し、生成した区分語または区分語列に対応する英単語を、前記対訳辞書の登録データに基づいて解析する処理を実行する構成であることを特徴とする。
さらに、本発明の言語解析システムの一実施態様において、前記一対多単語抽出手段は、日本語の形態素解析により日本語を分割した複数の区分語を生成し、生成した区分語について、形態素解析において解析された区分語の品詞情報を適用して区分語の纏め処理を実行して区分語列を生成し、該区分語列に対応する外国語の単語を解析する処理を実行する構成であることを特徴とする。
さらに、本発明の言語解析システムの一実施態様において、前記一対多単語抽出手段は、日本語の形態素解析により日本語を分割した複数の区分語を生成し、生成した区分語に基づく区分語列の生成に際して、該区分語列の前記対訳辞書または他データベースにおける出現頻度を解析し、出現頻度の高い区分語列について、対応する外国語の単語を解析する処理を実行する構成であることを特徴とする。
さらに、本発明の言語解析システムの一実施態様において、前記言語解析システムは、さらに、前記外国語のテキストデータを格納した外国語コーパス格納手段を有し、前記一対多単語抽出手段は、日本語の形態素解析によって生成した区分語または区分語列に対応する前記外国語の単語解析処理において、前記コーパス格納手段中の外国語テキストを参照し、該外国語テキスト中に頻出する単語列を特定し、該単語列を一つの外国語の単語とみなした解析処理を実行する構成であることを特徴とする。
さらに、本発明の第2の側面は、
言語解析システムにおいて言語解析処理を実行する言語解析方法であり、
一対多単語抽出手段が、日本語と日本語以外の外国語との対訳辞書を格納した対訳辞書を参照し、該対訳辞書の登録データから日本語と外国語の対訳ペアが一単語対一単語と異なる一単語対多単語の対訳ペアを抽出し、抽出した対訳ペアに含まれる日本語の形態素解析に基づく分割処理によって複数の区分語を生成し、生成した区分語または区分語列に対応する前記外国語の単語を前記対訳辞書の登録データに基づいて解析する一対多単語抽出ステップと、
形態素解析用辞書生成手段が、前記一対多単語抽出ステップにおいて前記外国語の単語に対応すると判定された前記区分語または区分語列に相当する日本語を形態素として形態素解析用辞書に登録する処理を実行する形態素解析用辞書生成ステップと、
を有することを特徴とする言語解析方法にある。
さらに、本発明の言語解析方法の一実施態様において、前記言語解析方法は、さらに、形態素解析手段が、前記形態素解析用辞書生成ステップで生成した形態素解析用辞書を適用した形態素解析を実行する形態素解析ステップを有することを特徴とする。
さらに、本発明の言語解析方法の一実施態様において、前記一対多単語抽出ステップは、前記対訳辞書の登録データに含まれる日本語と外国語の対訳ペアが一単語対一単語の対訳ペアについては、該対訳ペアに含まれる日本語の単語を前記形態素解析用辞書生成手段に出力するステップを含み、前記形態素解析用辞書生成ステップは、前記一対多単語抽出ステップにおいて入力する前記日本語の単語を形態素解析用辞書に登録する処理を実行することを特徴とする。
さらに、本発明の言語解析方法の一実施態様において、前記対訳辞書は、一般用語についての日本語と外国語との対訳辞書を格納した一般用語対訳辞書と、専門用語についての日本語と外国語との対訳辞書を格納した専門用語対訳辞書とを含み、前記一対多単語抽出ステップは、前記専門用語対訳辞書に登録されたデータから、日本語と外国語の対訳ペアが一単語対一単語と異なる一単語対多単語の対訳ペアを抽出し、抽出した対訳ペアに含まれる日本語の形態素解析により日本語を分割した複数の区分語を生成し、生成した個々の区分語または区分語列に対応する前記外国語の単語を、前記専門用語対訳辞書および前記一般用語対訳辞書の双方の登録データに基づいて解析する処理を実行するステップであることを特徴とする。
さらに、本発明の言語解析方法の一実施態様において、前記専門用語対訳辞書は、医療分野の専門用語を格納した対訳辞書であり、前記一対多単語抽出ステップは、医療分野の専門用語である日本語の形態素解析により複数の区分語を生成し、生成した区分語または区分語列に対応する前記外国語の単語を、前記専門用語対訳辞書および前記一般用語対訳辞書の双方の登録データに基づいて解析する処理を実行するステップであることを特徴とする。
さらに、本発明の言語解析方法の一実施態様において、前記対訳辞書は日本語と英語との対訳辞書であり、一対多単語抽出ステップは、前記対訳辞書に登録されたデータから、日本語と英語の対訳ペアが一単語対一単語と異なる一単語対多単語の対訳ペアを抽出し、抽出した対訳ペアに含まれる日本語の形態素解析により日本語を分割した複数の区分語を生成し、生成した区分語または区分語列に対応する英単語を、前記対訳辞書の登録データに基づいて解析する処理を実行するステップであることを特徴とする。
さらに、本発明の言語解析方法の一実施態様において、前記一対多単語抽出ステップは、日本語の形態素解析により日本語を分割した複数の区分語を生成し、生成した区分語について、形態素解析において解析された区分語の品詞情報を適用して区分語の纏め処理を実行して区分語列を生成し、該区分語列に対応する外国語の単語を解析する処理を実行するステップであることを特徴とする。
さらに、本発明の言語解析方法の一実施態様において、前記一対多単語抽出ステップは、日本語の形態素解析により日本語を分割した複数の区分語を生成し、生成した区分語に基づく区分語列の生成に際して、該区分語列の前記対訳辞書または他データベースにおける出現頻度を解析し、出現頻度の高い区分語列について、対応する外国語の単語を解析する処理を実行するステップであることを特徴とする。
さらに、本発明の言語解析方法の一実施態様において、前記一対多単語抽出ステップは、日本語の形態素解析によって生成した区分語または区分語列に対応する前記外国語の単語解析処理において、外国語のテキストデータを格納した外国語コーパス格納手段に格納された外国語テキストを参照し、該外国語テキスト中に頻出する単語列を特定し、該単語列を一つの外国語の単語とみなした解析処理を実行することを特徴とする。
さらに、本発明の第3の側面は、
言語解析システムにおいて言語解析処理を実行させるコンピュータ・プログラムであり、
一対多単語抽出手段に、日本語と日本語以外の外国語との対訳辞書を格納した対訳辞書を参照させ、該対訳辞書の登録データから日本語と外国語の対訳ペアが一単語対一単語と異なる一単語対多単語の対訳ペアを抽出させて、抽出した対訳ペアに含まれる日本語の形態素解析に基づく分割処理によって複数の区分語を生成させ、生成した区分語または区分語列に対応する前記外国語の単語を前記対訳辞書の登録データに基づいて解析させる一対多単語抽出ステップと、
形態素解析用辞書生成手段に、前記一対多単語抽出ステップにおいて前記外国語の単語に対応すると判定された前記区分語または区分語列に相当する日本語を形態素として形態素解析用辞書に登録する処理を実行させる形態素解析用辞書生成ステップと、
を有することを特徴とするコンピュータ・プログラムにある。
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能なコンピュータシステムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、CDやFD、MOなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータシステム上でプログラムに応じた処理が実現される。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本発明の構成によれば、日本語と外国語との対訳辞書の登録データから日本語と外国語の対訳ペアが一単語対一単語と異なる一単語対多単語の登録データを持つ対訳ペアを抽出し、抽出した対訳ペアに含まれる日本語の形態素解析を行って複数の区分語を生成し、生成した区分語または区分語列に対応する外国語の単語を対訳辞書の登録データに基づいて取得し、取得した外国語の単語に対応する区分語または区分語列を形態素として形態素解析用辞書に登録し、登録した形態素情報に基づく形態素解析を行なうことを可能とした。本構成によれば、例えば医療分野などの専門分野の用語であっても、正しい区分に基づく形態素登録情報の生成、利用が可能となり、正確な形態素解析処理が実現される。
以下、図面を参照しながら本発明の実施形態に係る言語解析システム、および言語解析方法、並びにコンピュータ・プログラムの詳細について説明する。
[1.基本実施例]
図1を参照して、本発明の一実施形態に係る言語解析システムの構成および処理について説明する。図1に示すように本発明の一実施形態に係る言語解析システム100は、一般用語対訳辞書格納手段101、専門用語対訳辞書格納手段102、一対多単語抽出手段103、形態素解析用辞書生成手段104、形態素解析手段105を有する。なお、一対多単語抽出手段103は形態素解析手段111を有する。形態素解析用辞書生成手段104は形態素解析用辞書112を生成、更新する。
以下、各手段の構成および処理について、具体的な例を示しながら説明を行なう。なお、本発明の言語解析システムは、専門分野の専門用語を含む文書の解析を行なうシステムであり、以下の実施例では、専門分野の一例として医療分野を取り上げて説明するが、本発明は医療分野に限らず、その他の専門分野、例えば経済、建築、技術などの様々な専門分野の専門用語の解析に適用可能である。
図1に示す言語解析システム100を構成する各手段について説明する。
[一般用語対訳辞書格納手段]
一般用語対訳辞書格納手段101は、一般的な単語の日英対訳ペアを複数格納する手段であり、[日本語−英語]の対訳ペアを格納した辞書データベースである。具体的な格納データの例としては、例えば、
「潜在−latent」
「実験的−experimental」
といった一般的な単語の日英の単語ペアを複数格納した辞書データベースとして構成されている。
[専門用語対訳辞書格納手段]
専門用語対訳辞書格納手段102は、医学分野の専門用語の日英対訳ペアを複数格納した辞書データベースである。具体的な格納データの例としては、例えば、
「甲状腺炎−thyroiditis」
「脳脊髄炎− encephalomyelitis」
「自己免疫性甲状腺炎−autoimmune thyroiditis」
「実験的自己免疫性脳脊髄炎−experimental autoimmune encephalomyelitis」
といった医学分野の専門用語の日英の専門用語対訳ペアを複数格納した辞書データベースとして構成されている。
[一対多単語抽出手段]
一対多単語抽出手段103は、形態素解析手段111を有し、専門用語対訳辞書格納手段102中の日英対訳ペアから抽出される日本語専門用語に形態素解析処理を施して、形態素解析に基づく日本語の分割処理によって複数の区分語(形態素)を生成し、生成した区分語(形態素)または区分語列(形態素列)に対応する外国語の単語を一般用語対訳辞書格納手段101および専門用語対訳辞書格納手段102に格納された対訳辞書の登録データから検索し、外国語の単語に対応すると判定された区分語(形態素)または区分語列(形態素列)に対応する日本語を1つの形態素として形態素解析用辞書に登録するデータとして形態素解析用辞書生成手段104に渡す処理を実行する。
ただし、専門用語対訳辞書格納手段102中の日英対訳ペアから抽出される英語専門用語が、[日本語−英語]の一単語同士の対訳ペア、例えば、
「甲状腺炎−thyroiditis」
「脳脊髄炎− encephalomyelitis」等
このような[日本語−英語]の一単語同士の対訳ペアとして設定されている日本語専門用語に対しては、形態素解析処理を行なわず、専門用語対訳辞書格納手段102中の日英対訳ペアから抽出される日本語専門用語を、そのまま形態素解析用辞書生成手段104にそのまま出力する。形態素解析用辞書生成手段104は、一対多単語抽出手段103から入力するこのような日本語の単語を形態素解析用辞書112に登録する。
一方、一対多単語抽出手段103は、例えば、専門用語対訳辞書格納手段102中の日英対訳ペアから抽出される[日本語−英語]の対訳ペアにおいて日本語と外国語の対訳ペアが一単語対一単語と異なる一単語対多単語の対訳ペアを抽出し、抽出した対訳ペアに含まれる日本語の形態素解析に基づく分割処理によって複数の区分語を生成し、生成した区分語または区分語列に対応する前記外国語の単語を、対訳辞書の登録データに基づいて解析する。例えば、日本語の一単語に対して、英語が複数の単語によって構成されている対訳ペアの日本語専門用語については、形態素解析手段111において形態素解析を実行する。この形態素解析は、既存の形態素解析用辞書を適用した形態素解析処理として行われる。
具体的な例について説明する。例えば、専門用語対訳辞書格納手段102中の日英対訳ペアから抽出される[日本語−英語]の対訳ペアにおいて、日本語の一単語に対して、英語が複数の単語によって構成されている対訳ペアとしては、以下の対訳ペアがある。
[自己免疫性甲状腺炎−autoimmune thyroiditis]
この対訳ペアの日本語専門用語である、
「自己免疫性甲状腺炎」
上記の日本語の処理例について説明する。
一対多単語抽出手段103は、形態素解析手段111において、
「自己免疫性甲状腺炎」
に対する形態素解析処理を施す。前述したように形態素解析は、予め定めた形態素解析ルールを適用して、文を意味的最小単位である区分語(形態素:morpheme)に分節して品詞の認定処理を行なう処理である。形態素解析により、以下の解析結果が得られる。以下のデータは、[形態素(区分語),品詞]の構成で示している
(1)[自己,名詞]
(2)[免疫,名詞]
(3)[性,接尾辞]
(4)[甲状腺,名詞]
(5)[炎,接尾辞]
形態素解析手段111は、上記の最小単位の形態素抽出結果から、さらに、データ処理において有効なデータ単位としての区分語(形態素)を設定する。例えば、名詞に接尾辞が後接する場合は纏めて一つの形態素とみなす処理により、(2)+(3)、および(4)+(5)の纏め処理が実行されて、「自己免疫性甲状腺炎」は、
(a)「自己」
(b)「免疫性」
(c)「甲状腺炎」
の3つの区分語(形態素)に分割される。
なお、上述の形態素の纏め処理は、品詞解析による纏め処理例であるが、例えば専門分野の文書データベースの格納文書の解析により、複数の最小形態素(例えば上記(1)〜(5)の形態素)の列が出現する回数をカウントして、予め設定した閾値以上の出現回数がある形態素列を1つの形態素として決定する処理を行なう構成としてもよい。
次に、一対多単語抽出手段103は、一般用語対訳辞書格納手段101および専門用語対訳辞書格納手段102中のそれぞれの対訳辞書を用いて、上記(a)〜(c)の3つの区分語(形態素)に対応する英単語の特定を行なう。
(a)「自己」
(b)「免疫性」
(c)「甲状腺炎」
専門用語対訳辞書格納手段102には、前述したように、[日本語−英語]の対訳ペアとして、
[自己免疫性甲状腺炎−autoimmune thyroiditis」
上記の対訳ペアが登録されている。
一対多単語抽出手段103は、まず、上記の対訳ペアに含まれる各英単語について、一般用語対訳辞書格納手段101および専門用語対訳辞書格納手段102に記録された日英対訳ペアに、単独の英単語として登録されているか否かを検索する。すなわち、上記の例では、「autoimmune」、「thyroiditis」の各々について、単独の英単語が対訳ペアとして登録されているか否かを判定する。
例えば、「autoimmune」、「thyroiditis」のうち、「thyroiditis」のみが、専門用語対訳辞書格納手段102に、
「甲状腺炎−thyroiditis」
として登録されていることが検出されると、一対多単語抽出手段103は、
[自己免疫性甲状腺炎−autoimmune thyroiditis」
上記対訳ペアに含まれる2つの英単語中の「thyroiditis」が、「甲状腺炎」に対応することを特定することができる。
さらに、一対多単語抽出手段103は、上記の対応、すなわち、
「甲状腺炎−thyroiditis」
この対応の判別結果と、専門用語対訳辞書格納手段102に登録されている対訳ペア、
[自己免疫性甲状腺炎−autoimmune thyroiditis」
これらの2つの登録された対訳ペアデータに基づいて、日本語中の形態素「自己」と「免疫性」の2形態素は、1つの英単語、すなわち、
「autoimmune」
に対応すると判定する。
結果として、一対多単語抽出手段103は、1つの日本語に対する複数の英単語が対応付けられて、専門用語対訳辞書格納手段102に登録されている対訳ペア、
[自己免疫性甲状腺炎−autoimmune thyroiditis」
について、
「甲状腺炎−thyroiditis」
「自己免疫性−autoimmune」
これらの各英単語に対応する日本語を判別する。一対多単語抽出手段103は、このように、1つの英単語に対応する区分語(形態素)または区分語列(形態素の組)を1つの形態素として、形態素解析用辞書生成手段104に出力する。形態素解析用辞書生成手段104は、「甲状腺炎」と「自己免疫性」を形態素として形態素解析用辞書112に登録する。
一対多単語抽出手段103におけるもう1つの処理例について説明する。専門用語対訳辞書格納手段102中の日英対訳ペアから抽出される[日本語−英語]の対訳ペアにおいて、日本語の一単語に対して、英語が複数の単語によって構成されている対訳ペアの例として、
[実験的自己免疫性脳脊髄炎−experimental autoimmune encephalomyelitis]
上記対訳ペアに対する処理例について説明する。
一対多単語抽出手段103は、形態素解析手段111において、
「実験的自己免疫性脳脊髄炎」
に対する形態素解析処理を実行する。形態素解析結果として、以下の解析結果が得られる。以下のデータは、[形態素,品詞]の構成で示している
(1)[実験,名詞]
(2)[的,接尾辞]
(3)[自己,名詞]
(4)[免疫,名詞]
(5)[性,接尾辞]
(6)[脳,名詞]
(7)[脊髄,名詞]
(8)[炎,接尾辞]
形態素解析手段111は、上記の最小単位の形態素抽出結果から、さらに、データ処理において有効なデータ単位としての形態素を設定する。例えば、名詞に接尾辞が後接する場合は纏めて一つの形態素とみなす処理により、(1)+(2)、(4),+(5)、(7)+(8)の丸め処理が実行されて、「実験的自己免疫性脳脊髄炎」は、
(a)「実験的」
(b)「自己」
(c)「免疫性」
(d)「脳」
(e)「脊髄炎」
これらの5つの形態素に分割される。
次に、一対多単語抽出手段103は、一般用語対訳辞書格納手段101および専門用語対訳辞書格納手段102中のそれぞれの対訳辞書を用いて、上記(a)〜(e)の5つの形態素に対応する英単語の特定を行なう。
専門用語対訳辞書格納手段102には、前述したように、[日本語−英語]の対訳ペアとして、
[実験的自己免疫性脳脊髄炎−experimental autoimmune encephalomyelitis]
上記の対訳ペアが登録されている。
一対多単語抽出手段103は、まず、上記の対訳ペアに含まれる各英単語について、一般用語対訳辞書格納手段101および専門用語対訳辞書格納手段102に記録された日英対訳ペアに、単独の英単語として登録されているか否かを検索する。すなわち、上記の例では、
「experimental」
「autoimmune」
「encephalomyelitis」
これらの単語の登録があるか否かを判定する。
判定結果として、
「encephalomyelitis」が、専門用語対訳辞書格納手段102の登録対訳ペアとして検出されたとする。すなわち、
「脳脊髄炎− encephalomyelitis」
上記対訳ペアが専門用語対訳辞書格納手段102の登録データとして抽出されたとする。
一対多単語抽出手段103は、上記対訳ペアの検出に基づいて、上記(a)〜(e)の5つの形態素解析結果中から、
(d)「脳」
(e)「脊髄炎」
によって構成される語[脳脊髄炎]を1つの英単語に対応する1つの形態素と判定する。
さらに、「experimental」が、一般用語対訳辞書格納手段101の登録対訳ペアとして検出されたとする。すなわち、
「実験的−experimental」
上記対訳ペアが一般用語対訳辞書格納手段101の登録データとして抽出されたとする。
一対多単語抽出手段103は、上記対訳ペアの検出に基づいて、上記(a)〜(e)の5つの形態素解析結果中から、
(a)「実験的」
を1つの英単語に対応する1つの形態素と判定する。
さらに、一対多単語抽出手段103は、
「脳脊髄炎− encephalomyelitis」
「実験的−experimental」
これらの各英単語の対応関係に基づいて、残りの1つの英単語「autoimmune」は、上記(a)〜(e)の5つの形態素解析結果中の残りの2つの形態素、すなわち、
(b)「自己」
(c)「免疫性」
に対応すると判定する。すなわち、
「自己免疫性−autoimmune」
の対応関係にあると判定する。
結果として、一対多単語抽出手段103は、1つの日本語に対する複数の英単語が対応付けられて、専門用語対訳辞書格納手段102に登録されている対訳ペア、
[実験的自己免疫性脳脊髄炎−experimental autoimmune encephalomyelitis]
について、
「実験的−experimental」
「自己免疫性−autoimmune」
「脳脊髄炎−encephalomyelitis」
これらの各英単語に対応する日本語を判別する。一対多単語抽出手段103は、このように、1つの英単語に対応する形態素または形態素の組を1つの形態素として、形態素解析用辞書生成手段104に出力する。形態素解析用辞書生成手段104は、「実験的」と「自己免疫性」と「脳脊髄炎」を形態素として形態素解析用辞書112に登録する。
一対多単語抽出手段103は、このように、一つの英単語に対応する2つ以上の日本語形態素列であり、かつ、一般用語対訳辞書格納手段101および専門用語対訳辞書格納手段102中に含まれていない日本語形態素列を抽出し、これを形態素解析用辞書生成手段104に出力する。形態素解析用辞書生成手段104は、これら、一対多単語抽出手段103から入力するデータを1つの形態素データとして形態素解析用辞書112に登録する。
英語において一つの単語で表されている医学分野の概念は、一つの単語で表現されている以上、当然ながら固定的な1つの概念を示している。日本語の医学専門用語の多くは英語の医学専門用語の翻訳である。従って、一つの英語単語に対応する複数の日本語形態素列は、一つの概念を表している可能性が極めて高く、それらの形態素列を一つの形態素とみなすことが適切であると考えられる。
従来の形態素解析システムにおいて複数の日本語の形態素に分割されてしまう様々な日本語専門用語、例えば、「後頭側頭」、「イヌネコ回虫症」、「回結腸炎」、「腫瘍性タンパク質」これらの専門用語についても、上述した一対多単語抽出手段103の処理を行なうことで、これらの専門用語が1つの英単語に対応付けられることが解析される。すなわち、
「後頭側頭(occipitotemporal)」
「イヌネコ回虫症(toxocariasis)」
「回結腸炎(ileocolitis)」
「腫瘍性タンパク質(oncoprotein)」等、
上記のように、「後頭側頭」、「イヌネコ回虫症」、「回結腸炎」、「腫瘍性タンパク質」これらの専門用語が1つの英単語に対応することが解析され、これらの専門用語、すなわち、「後頭側頭」、「イヌネコ回虫症」、「回結腸炎」、「腫瘍性タンパク質」を形態素として形態素解析用辞書に登録することができる。
[形態素解析用辞書生成手段]
形態素解析用辞書生成手段104は、従来型の形態素解析システムの適用する一般的な形態素解析用辞書をベースとして、上述した一対多単語抽出手段103から入力する形態素データを追加登録した形態素解析用辞書112の生成、更新処理を実行する。
すなわち、一般用語対訳辞書格納手段101中の日本語単語、専門用語対訳辞書格納手段102中の「英語専門用語が単一の英単語であるペア中の日本語専門用語」、および、一対多単語抽出手段103で抽出した「英語専門用語中の一単語に複数の日本語形態素が対応している日本語形態素列」(例えば「自己免疫性」)を、形態素データとして追加した形態素解析用辞書112を生成、更新する。
[形態素解析手段]
形態素解析手段105は、形態素解析用辞書生成手段104の生成または更新した形態素解析用辞書112を用いて形態素解析処理を実行する手段である。例えば、医学テキストを入力として受け取り、形態素解析用辞書生成手段104が生成した形態素解析用辞書112を用いることによって形態素解析を実行し、その解析結果を出力する。
形態素解析用辞書生成手段104の生成した形態素解析用辞書112を用いることにより、例えば「潜在自己免疫性甲状腺炎」や「自己免疫性慢性甲状腺炎」を、それぞれ「潜在」「自己免疫性」「甲状腺炎」と「自己免疫性」「慢性」「甲状腺炎」に正しく分割することが可能となる。
以上の構成により、医学分野の専門用語辞書に含まれない「自己免疫性」のような形態素を含む専門用語であっても、高い精度で正しい形態素に分割することが可能となる。
次に、図2に示すフローチャートを参照して、本発明の言語解析システムにおいて実行する処理のシーケンスについて説明する。図2に示す処理フローはステップS101〜S105の5つのステップによって構成されている。これらのステップ中、ステップS101〜S103の処理は、図1に示す一対多単語抽出手段103の処理であり、ステップS104の処理が形態素解析用辞書生成手段104の処理、ステップS104の処理が形態素解析手段105の処理に相当する。
まず、ステップS101において、一対多単語抽出手段103は、専門用語対訳辞書格納手段102中の日英対訳ペアから抽出される日本語専門用語に形態素解析処理を施す。具体的には、前述したように、専門用語対訳辞書格納手段102中の日英対訳ペアとして登録されたデータから、英語専門用語中の一つの単語に複数の日本語形態素が対応している対訳ペアを抽出して、抽出した対訳ペアに含まれる日本語を抽出して一対多単語抽出手段103の形態素解析手段111において形態素解析を実行する。
このステップS101の処理は、例えば前述した処理例では、専門用語対訳辞書格納手段102中の日英対訳ペア、
[自己免疫性甲状腺炎−autoimmune thyroiditis]
この対訳ペアの日本語専門用語である「自己免疫性甲状腺炎」について、形態素解析処理を施す処理に相当する。まず、以下の解析結果を得る。
(1)[自己,名詞]
(2)[免疫,名詞]
(3)[性,接尾辞]
(4)[甲状腺,名詞]
(5)[炎,接尾辞]
さらに、形態素解析手段111は、上記の最小単位の形態素抽出結果から、データ処理において有効なデータ単位としての形態素を決定する。例えば、名詞に接尾辞が後接する場合は纏めて一つの形態素とみなす処理により、(2)+(3)、および(4)+(5)の纏め処理が実行されて、「自己免疫性甲状腺炎」は、
(a)「自己」
(b)「免疫性」
(c)「甲状腺炎」
の3つの形態素に分割される。
ステップS102では、一対多単語抽出手段103は、一般用語対訳辞書格納手段101および専門用語対訳辞書格納手段102中のそれぞれの対訳辞書を用いて対応する英単語の特定を行なう。上記処理例では、上記(a)〜(c)の3つの形態素に対応する英単語の特定を行なう。すなわち、専門用語対訳辞書格納手段102に登録されている[日本語−英語]の対訳ペア、
[自己免疫性甲状腺炎−autoimmune thyroiditis」
において、「autoimmune」、「thyroiditis」の各々について、単独の英単語が対訳ペアとして登録されているか否かを判定し、専門用語対訳辞書格納手段102に、
「甲状腺炎−thyroiditis」
上記の対訳ペアが登録されていることを検出する。
ステップS103では、ステップS102における単語特定結果に基づいて、一般用語対訳辞書格納手段101および専門用語対訳辞書格納手段102に登録された対訳ペアからは直接対応付けのできない残りの英単語と日本語の形態素列との対応を判定する。
上記処理例では、一対多単語抽出手段103は、専門用語対訳辞書格納手段102または一般用語対訳辞書格納手段101に登録された対訳ペアとしての、
[自己免疫性甲状腺炎−autoimmune thyroiditis」
「甲状腺炎−thyroiditis」
これらの対訳ペアに基づいて、「thyroiditis」が、「甲状腺炎」に対応することを特定する。
一対多単語抽出手段103は、このステップS101〜S103の処理結果を、形態素解析用辞書生成手段104に出力する。
ステップS104は、形態素解析用辞書生成手段104の処理であり、一対多単語抽出手段103から入力する形態素列および対訳辞書中の単一の英単語に対応する日本語表現を形態素解析用辞書に追加する処理を実行する。具体的には、一般用語対訳辞書格納手段101中の日本語単語、専門用語対訳辞書格納手段102中の「英語専門用語が単一の英単語であるペア中の日本語専門用語」、および、一対多単語抽出手段103で抽出した「英語専門用語中の一単語に複数の日本語形態素が対応している日本語形態素列」(例えば「自己免疫性」)を、形態素データとして追加した形態素解析用辞書112を生成、更新する。
ステップS105の処理は、形態素解析手段105の処理であり、ステップs104において、形態素解析用辞書生成手段104の生成または更新した形態素解析用辞書112を用いて形態素解析処理を実行する手段である。例えば、医学テキストを入力として受け取り、形態素解析用辞書生成手段104が生成した形態素解析用辞書112を用いることによって形態素解析を実行し、その解析結果を出力する。
以上の構成により、医学分野の専門用語辞書に含まれない「自己免疫性」のような形態素を含む専門用語であっても、高い精度で正しい形態素に分割することが可能となる。
なお、上述した実施例では、専門分野を医療分野とした例を説明したが、前述したように、本発明は医療分野に限らず、その他の専門分野、例えば経済、建築、技術などの様々な専門分野の専門用語の解析に適用可能である。各専門分野に対応する処理を行なう場合は、それぞれの専門分野に対応する専門用語対訳辞書を適用した処理を実行すればよい。
なお、図1に示す言語解析システムの構成例では、一般用語対訳辞書格納手段101と、専門用語対訳辞書格納手段102とをそれぞれ独立した手段として構成した例を示しているが、一般用語対訳辞書格納手段101と、専門用語対訳辞書格納手段102とを融合した1つの辞書格納手段として構成してもよい。
また、上述した実施例では、日本語と英語の対訳辞書を適用した処理例を説明したが、英語以外の言語と日本語との対訳辞書を適用する構成としてもよい。例えば日本語とドイツ語、日本語とフランス語などの対訳辞書を適用しても上記の実施例と同様の処理が実現できる。すなわち、単語がスペース記号によって区分されていることが明確な言語と日本語との対訳辞書を利用することで、上記の日英対訳辞書を適用した処理と同様の処理を行なうことができる。
[2.その他の実施例]
以下、上述した基本実施例と異なる複数の変形実施例について説明する。
(2−1)変形実施例1
図1、図2を参照して説明した言語解析システムの処理例は、一対多単語抽出手段103が、専門用語対訳辞書格納手段102に登録された対訳ペアから抽出された日本語と英語のペアが、1つの日本語と複数の英単語のペアとして設定されているデータを抽出し、形態素解析手段111において日本語の形態素解析を実行する構成であり、この形態素解析は、既存の形態素解析用辞書を適用した形態素解析処理として実行する例として説明した。
この変形実施例1の言語解析システム200は、図3に示すように、一対多単語抽出手段103の形態素解析手段111が実行する形態素解析に、形態素解析用生成手段が生成、更新した形態素解析用辞書112を適用する。すなわち、以前の解析処理において、対応関係の判明した日英用語ペアに基づいて形態素として登録されたデータを適用して、一対多単語抽出手段103の形態素解析手段111において新たな形態素解析を実行する。
例えば、先に実行した解析処理において、「autoimmune」が「自己」「免疫性」と対応することが特定でき、「自己免疫性」が形態素解析用辞書112に追加登録されている場合、その後の一対多単語抽出手段103の形態素解析手段111が実行する形態素解析では、「自己免疫性」を1つの形態素として即座に判定することが可能となり、処理の効率化が実現される。また、このように、再帰的に形態素列を纏め上げることによって、より漏れの少ない専門用語解析用形態素の抽出を実現することができる。
(2−2)変形実施例2
上述した基本実施例においては、一対多単語抽出手段103の形態素解析手段111の形態素解析処理の実行に際して形態素の纏め処理を行なう場合、形態素解析によって得られた品詞情報に基づく纏め処理を実行していた。具体的には、名詞に接尾辞が後接する場合は纏めて一つの形態素とみなす処理を行い、
(1)[自己,名詞]
(2)[免疫,名詞]
(3)[性,接尾辞]
(4)[甲状腺,名詞]
(5)[炎,接尾辞]
これらの形態素を、
(a)「自己」
(b)「免疫性」
(c)「甲状腺炎」
の3つの形態素として纏める処理を実行する例を説明した。
この形態素の纏め処理は、品詞解析による纏め処理例であるが、専門用語対訳辞書格納手段に登録された対訳ペアを解析して、複数の最小形態素(例えば上記(1)〜(5)の形態素)の複数の組み合わせ列(例えば(1)〜(3)の「自己免疫性」)が出現する回数をカウントして、予め設定した閾値以上の出現回数がある形態素列を1つの形態素として決定する処理を行なう構成としてもよい。すなわち、閾値を「2」とした場合、上述の例のように「自己免疫性」が2回纏め上げられている例が検出された場合、「自己免疫性」を形態素解析用辞書に追加する形態素データとして設定する。1回しか纏め上げられなかった形態素列は追加しない。
なお、専門用語対訳辞書格納手段に登録された対訳ペアの解析ではなく、例えば専門分野の文書データベースの格納文書の解析によって同様に出現回数のカウントを行なって、閾値との比較に基づいて纏め処理を実行してもよい。このような纏め処理を行なうことで、より精度の高い専門用語解析用形態素の抽出を実現することができる。
(2−3)変形実施例3
変形実施例3に係る言語解析システム300の構成例を図4に示す。図4に示すように、変形実施例3に係る言語解析システム300は、英語コーバス格納手段301を有する。英語コーバス格納手段301は、英語の医学分野のテキスト集合を格納している。
本構成例においては、一対多単語抽出手段103が、専門用語対訳辞書格納手段102中の英語専門用語中の連続する2つ(あるいはそれ以上)の英単語のうち、英語コーパス格納手段301中の英語テキスト集合において頻出する英単語列を特定し、該英単語列を一つの英語の単語とみなして対応する日本語形態素列を抽出する。
すなわち、前述の基本実施例では、1つの英単語に対応する形態素列を1つの形態素として設定する処理を行っていたが、本構成例では、複数の英単語であっても、英語コーパス格納手段301中の英語テキスト集合において頻出する英単語列である場合は、この英単語列を一つの英語の単語とみなして、この英単語列に対応する日本語形態素列を抽出し、これを1つの形態素として判断し、形態素解析用辞書生成手段104に出力して形態素解析用辞書112に登録する。
本構成例によれば、より漏れの少ない専門用語解析用形態素の抽出を実現することができる。なお、図には英語コーバス格納手段301として示しているが、前述したように英語以外の言語を適用することも可能であり、他の日本語以外の言語、例えばドイツ語、フランス語などのスペースによって単語の区切りが明確な言語に対応するコーパス格納手段を設定し、各対訳辞書格納手段にも同じ言語の対訳辞書を設定した構成としてもよい。
最後に、上述した処理を実行する言語解析システムを構成する情報処理装置のハードウェア構成例について、図5を参照して説明する。CPU(Central Processing Unit)501は、OS(Operating System)に対応する処理や、上述の実施例において説明した一対多単語抽出処理、形態素解析処理、形態素解析用辞書生成処理などを実行する。これらの処理は、各情報処理装置のROM、ハードディスクなどのデータ記憶部に格納されたコンピュータ・プログラムに従って実行される。
ROM(Read Only Memory)502は、CPU501が使用するプログラムや演算パラメータ等を格納する。RAM(Random Access Memory)503は、CPU501の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはCPUバスなどから構成されるホストバス504により相互に接続されている。
ホストバス504は、ブリッジ505を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス506に接続されている。
キーボード508、ポインティングデバイス509は、ユーザにより操作される入力デバイスである。ディスプレイ510は、液晶表示装置またはCRT(Cathode Ray Tube)などから成り、各種情報をテキストやイメージで表示する。
HDD(Hard Disk Drive)511は、ハードディスクを内蔵し、ハードディスクを駆動し、CPU501によって実行するプログラムや情報を記録または再生させる。ハードディスクは、例えば各種辞書、すなわち、前述した実施例において説明した一般用語対訳辞書、専門用語対訳辞書、形態素解析用辞書の格納手段に利用され、さらに、データ処理プログラム等、各種コンピュータ・プログラムが格納される。
ドライブ512は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体521に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース507、外部バス506、ブリッジ505、およびホストバス504を介して接続されているRAM503に供給する。
接続ポート514は、外部接続機器522を接続するポートであり、USB,IEEE1394等の接続部を持つ。接続ポート514は、インタフェース507、および外部バス506、ブリッジ505、ホストバス504等を介してCPU501等に接続されている。通信部515は、ネットワークに接続され、各種データベースや他の情報処理装置との通信を実行する。
なお、図5に示す言語解析システムとしての情報処理装置のハードウェア構成例は、PCを適用して構成した装置の一例であり、本発明の言語解析システムは、図5に示す構成に限らず、上述した実施例において説明した処理を実行可能な構成であればよい。
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやROM(Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本発明の構成によれば、日本語と外国語との対訳辞書の登録データから日本語と外国語の対訳ペアが一単語対一単語と異なる一単語対多単語の登録データを持つ対訳ペアを抽出し、抽出した対訳ペアに含まれる日本語の形態素解析を行って複数の区分語を生成し、生成した区分語または区分語列に対応する外国語の単語を対訳辞書の登録データに基づいて取得し、取得した外国語の単語に対応する区分語または区分語列を形態素として形態素解析用辞書に登録し、登録した形態素情報に基づく形態素解析を行なうことを可能とした。本構成によれば、例えば医療分野などの専門分野の用語であっても、正しい区分に基づく形態素登録情報の生成、利用が可能となり、正確な形態素解析処理が実現される。
本発明の言語解析システムの基本構成例を示す図である。 本発明の言語解析システムの実行する処理シーケンスを説明するフローチャートを示す図である。 本発明の言語解析システムの一実施例の構成を示す図である。 本発明の言語解析システムの一実施例の構成を示す図である。 本発明の一実施形態に係る言語解析システムのハードウェア構成例について説明する図である。
符号の説明
100 言語解析システム
101 一般用語対訳辞書格納手段
102 専門用語対訳辞書格納手段
103 一対多単語抽出手段
104 形態素解析用辞書生成手段
105 形態素解析手段
111 形態素解析手段
112 形態素解析手段
301 英語コーパス格納手段
501 CPU(Central Processing Unit)
502 ROM(Read-Only-Memory)
503 RAM(Random Access Memory)
504 ホストバス
505 ブリッジ
506 外部バス
507 インタフェース
508 キーボード
509 ポインティングデバイス
510 ディスプレイ
511 HDD(Hard Disk Drive)
512 ドライブ
514 接続ポート
515 通信部
521 リムーバブル記録媒体
522 外部接続機器

Claims (15)

  1. 日本語と日本語以外の外国語との対訳辞書を格納した対訳辞書格納手段と、
    前記対訳辞書の登録データから、日本語の一単語と外国語の多単語とが対応する対訳ペアを抽出し、抽出した対訳ペアに含まれる外国語の多単語のうちの1つの単語が前記対訳辞書に登録されておらず当該1つの単語を除く前記多単語のいずれも前記対訳辞書に登録されている場合に、当該1つの単語を除く前記多単語の各々に対応する日本語の単語を前記対訳辞書から読み出して、当該1つの単語に対応する日本語の文字列を前記日本語の一単語から抽出するように解析する一対多単語抽出解析手段と、
    前記一対多単語抽出解析手段において外国語の当該1つの単語に対応すると判定された前記日本語の文字列を形態素として形態素解析用辞書に登録する処理を実行する形態素解析用辞書生成手段と、
    を有することを特徴とする言語解析システム。
  2. 前記言語解析システムは、さらに、
    前記形態素解析用辞書生成手段において生成された形態素解析用辞書を適用した形態素解析を実行する形態素解析手段を有することを特徴とする請求項1に記載の言語解析システム。
  3. 前記一対多単語抽出解析手段は、
    前記対訳辞書の登録データに含まれる日本語と外国語の対訳ペアが一単語対一単語の対訳ペアについては、該対訳ペアに含まれる日本語の単語を前記形態素解析用辞書生成手段に出力し、
    前記形態素解析用辞書生成手段は、
    前記一対多単語抽出解析手段から入力する前記日本語の単語を形態素解析用辞書に登録する処理を実行する構成であることを特徴とする請求項1に記載の言語解析システム。
  4. 前記対訳辞書格納手段は、
    一般用語についての日本語と外国語との対訳辞書を格納した一般用語対訳辞書と、専門用語についての日本語と外国語との対訳辞書を格納した専門用語対訳辞書とを格納した構成であり、
    前記一対多単語抽出解析手段は、
    前記専門用語対訳辞書に登録されたデータから、日本語と外国語の対訳ペアが一単語対一単語と異なる一単語対多単語の対訳ペアを抽出し、抽出した対訳ペアに含まれる外国語の多単語のうちの1つの単語が前記一般用語対訳辞書にも前記専門用語対訳辞書にも登録されておらず当該1つの単語を除く前記多単語のいずれも前記前記一般用語対訳辞書または前記専門用語対訳辞書の少なくとも一方に登録されている場合に、当該1つの単語を除く前記多単語の各々に対応する日本語の単語を前記前記一般用語対訳辞書または前記専門用語対訳辞書対訳辞書から読み出して、当該1つの単語に対応する日本語の文字列を前記日本語の一単語から抽出するように解析する処理を実行する構成であることを特徴とする請求項1に記載の言語解析システム。
  5. 前記専門用語対訳辞書は、医療分野の専門用語を格納した対訳辞書であることを特徴とする請求項4に記載の言語解析システム。
  6. 前記対訳辞書格納手段は、日本語と、英語との対訳辞書を格納した構成であり、
    前記一対多単語抽出解析手段は、
    前記対訳辞書に登録されたデータから、日本語の一単語と英語の多単語とが対応する対訳ペアを抽出し、抽出した対訳ペアに含まれる英語の多単語のうちの1つの単語が前記対訳辞書に登録されておらず当該1つの単語を除く前記多単語のいずれも前記対訳辞書に登録されている場合に、当該1つの単語を除く前記多単語の各々に対応する日本語の単語を前記対訳辞書から読み出して、当該1つの単語に対応する日本語の文字列を前記日本語の一単語から抽出するように解析する処理を実行する構成であることを特徴とする請求項1に記載の言語解析システム。
  7. 前記言語解析システムは、さらに、
    前記外国語のテキストデータを格納した外国語コーパス格納手段を有し、
    前記一対多単語抽出解析手段は、
    日本語の形態素解析によって生成した区分語または区分語列に対応する前記外国語の単語解析処理において、前記コーパス格納手段中の外国語テキストを参照し、該外国語テキスト中に頻出する単語列を特定し、該単語列を一つの外国語の単語とみなした解析処理を実行する構成であることを特徴とする請求項1に記載の言語解析システム。
  8. 言語解析システムにおいて言語解析処理を実行する言語解析方法であり、
    一対多単語抽出解析手段が、日本語と日本語以外の外国語との対訳辞書を格納した対訳辞書を参照し、該対訳辞書の登録データから日本語の一単語と外国語の多単語とが対応する対訳ペアを抽出し、抽出した対訳ペアに含まれる外国語の多単語のうちの1つの単語が前記対訳辞書に登録されておらず当該1つの単語を除く前記多単語のいずれも前記対訳辞書に登録されている場合に、当該1つの単語を除く前記多単語の各々に対応する日本語の単語を前記対訳辞書から読み出して、当該1つの単語に対応する日本語の文字列を前記日本語の一単語から抽出するように解析する一対多単語抽出解析ステップと、
    形態素解析用辞書生成手段が、前記一対多単語抽出解析ステップにおいて外国語の当該1つの単語に対応すると判定された前記日本語の文字列を形態素として形態素解析用辞書に登録する処理を実行する形態素解析用辞書生成ステップと、
    を有することを特徴とする言語解析方法。
  9. 前記言語解析方法は、さらに、
    形態素解析手段が、前記形態素解析用辞書生成ステップで生成した形態素解析用辞書を適用した形態素解析を実行する形態素解析ステップ、
    を有することを特徴とする請求項に記載の言語解析方法。
  10. 前記一対多単語抽出解析ステップは、
    前記対訳辞書の登録データに含まれる日本語と外国語の対訳ペアが一単語対一単語の対訳ペアについては、該対訳ペアに含まれる日本語の単語を前記形態素解析用辞書生成手段に出力するステップを含み、
    前記形態素解析用辞書生成ステップは、
    前記一対多単語抽出解析ステップにおいて入力する前記日本語の単語を形態素解析用辞書に登録する処理を実行することを特徴とする請求項に記載の言語解析方法。
  11. 前記対訳辞書は、一般用語についての日本語と外国語との対訳辞書を格納した一般用語対訳辞書と、専門用語についての日本語と外国語との対訳辞書を格納した専門用語対訳辞書とを含み、
    前記一対多単語抽出解析ステップは、
    前記専門用語対訳辞書に登録されたデータから、日本語と外国語の対訳ペアが一単語対一単語と異なる一単語対多単語の対訳ペアを抽出し、抽出した対訳ペアに含まれる外国語の多単語のうちの1つの単語が前記一般用語対訳辞書にも前記専門用語対訳辞書にも登録されておらず当該1つの単語を除く前記多単語のいずれも前記前記一般用語対訳辞書または前記専門用語対訳辞書の少なくとも一方に登録されている場合に、当該1つの単語を除く前記多単語の各々に対応する日本語の単語を前記前記一般用語対訳辞書または前記専門用語対訳辞書対訳辞書から読み出して、当該1つの単語に対応する日本語の文字列を前記日本語の一単語から抽出するように解析する処理を実行するステップであることを特徴とする請求項に記載の言語解析方法。
  12. 前記専門用語対訳辞書は、医療分野の専門用語を格納した対訳辞書であり、
    前記一対多単語抽出解析ステップは、
    医療分野の専門用語である日本語の形態素解析により複数の区分語を生成し、生成した区分語または区分語列に対応する前記外国語の単語を、前記専門用語対訳辞書および前記一般用語対訳辞書の双方の登録データに基づいて解析する処理を実行するステップであることを特徴とする請求項11に記載の言語解析方法。
  13. 前記対訳辞書は日本語と英語との対訳辞書であることを特徴とする請求項8に記載の言語解析方法。
  14. 前記一対多単語抽出解析ステップは、
    日本語の形態素解析によって生成した区分語または区分語列に対応する前記外国語の単語解析処理において、外国語のテキストデータを格納した外国語コーパス格納手段に格納された外国語テキストを参照し、該外国語テキスト中に頻出する単語列を特定し、該単語列を一つの外国語の単語とみなした解析処理を実行することを特徴とする請求項に記載の言語解析方法。
  15. 言語解析システムにおいて言語解析処理を実行させるコンピュータ・プログラムであり、
    一対多単語抽出解析手段に、日本語と日本語以外の外国語との対訳辞書を格納した対訳辞書を参照させ、該対訳辞書の登録データから日本語の一単語と外国語の多単語とが対応する対訳ペアを抽出させて、抽出した対訳ペアに含まれる外国語の多単語のうちの1つの単語が前記対訳辞書に登録されておらず当該1つの単語を除く前記多単語のいずれも前記対訳辞書に登録されている場合に、当該1つの単語を除く前記多単語の各々に対応する日本語の単語を前記対訳辞書から読み出して、当該1つの単語に対応する日本語の文字列を前記日本語の一単語から抽出するように解析させる一対多単語抽出解析ステップと、
    形態素解析用辞書生成手段に、前記一対多単語抽出解析ステップにおいて外国語の当該1つの単語に対応すると判定された前記日本語の文字列を形態素として形態素解析用辞書に登録する処理を実行させる形態素解析用辞書生成ステップと、
    を有することを特徴とするコンピュータ・プログラム。
JP2006330637A 2006-12-07 2006-12-07 言語解析システム、および言語解析方法、並びにコンピュータ・プログラム Expired - Fee Related JP5125083B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006330637A JP5125083B2 (ja) 2006-12-07 2006-12-07 言語解析システム、および言語解析方法、並びにコンピュータ・プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006330637A JP5125083B2 (ja) 2006-12-07 2006-12-07 言語解析システム、および言語解析方法、並びにコンピュータ・プログラム

Publications (2)

Publication Number Publication Date
JP2008146218A JP2008146218A (ja) 2008-06-26
JP5125083B2 true JP5125083B2 (ja) 2013-01-23

Family

ID=39606354

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006330637A Expired - Fee Related JP5125083B2 (ja) 2006-12-07 2006-12-07 言語解析システム、および言語解析方法、並びにコンピュータ・プログラム

Country Status (1)

Country Link
JP (1) JP5125083B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5697202B2 (ja) * 2011-03-08 2015-04-08 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 用語の対応を見出す方法、プログラム及びシステム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2590141B2 (ja) * 1987-10-15 1997-03-12 富士通株式会社 連語抽出処理方法
JP2914988B2 (ja) * 1989-02-06 1999-07-05 日本電信電話株式会社 日本語自動翻訳システムにおける日本語名詞複合語翻訳方式
JP3982726B2 (ja) * 1998-07-09 2007-09-26 沖電気工業株式会社 翻訳知識学習装置及び機械翻訳装置
JP2001249921A (ja) * 2000-03-03 2001-09-14 Nippon Telegr & Teleph Corp <Ntt> 複合語解析方法、装置、および複合語解析プログラムを記録した記録媒体
JP2003085169A (ja) * 2001-09-07 2003-03-20 Patolis Corp 対訳複合語辞書更新方法

Also Published As

Publication number Publication date
JP2008146218A (ja) 2008-06-26

Similar Documents

Publication Publication Date Title
Shardlow A Comparison of Techniques to Automatically Identify Complex Words.
CN107209759B (zh) 注解辅助装置及记录介质
US8024175B2 (en) Computer program, apparatus, and method for searching translation memory and displaying search result
US20200285808A1 (en) Synonym dictionary creation apparatus, non-transitory computer-readable recording medium storing synonym dictionary creation program, and synonym dictionary creation method
Lobo et al. Identifying human phenotype terms by combining machine learning and validation rules
KR100999488B1 (ko) 문서 표절 탐색 방법 및 장치
WO2005059771A1 (ja) 対訳判断装置、方法及びプログラム
US9684647B2 (en) Domain-specific computational lexicon formation
JPH07282063A (ja) 機械翻訳装置
Barrett et al. Cross-lingual transfer of correlations between parts of speech and gaze features
JP5125083B2 (ja) 言語解析システム、および言語解析方法、並びにコンピュータ・プログラム
JP4401269B2 (ja) 対訳判断装置及びプログラム
JP5151449B2 (ja) 文書解析装置、および文書解析方法、並びにコンピュータ・プログラム
JP6056489B2 (ja) 翻訳支援プログラム、方法、および装置
Çetinoğlu et al. Towards joint morphological analysis and dependency parsing of turkish
JPWO2009113289A1 (ja) 新規事例生成装置、新規事例生成方法及び新規事例生成用プログラム
WO2015177861A1 (ja) 教師データ作成装置及び方法
KR20240070874A (ko) 텍스트 데이터에 대한 띄어쓰기 교정 수행 방법 및 텍스트 데이터에 대한 띄어쓰기 교정 수행 장치
JP5239161B2 (ja) 言語解析システム、および言語解析方法、並びにコンピュータ・プログラム
Meurant et al. Using sign language corpora as bilingual corpora for data mining: Contrastive linguistics and computer-assisted annotation
JP2009140113A (ja) 辞書編集装置、および辞書編集方法、並びにコンピュータ・プログラム
JP5245291B2 (ja) 文書解析装置、および文書解析方法、並びにコンピュータ・プログラム
KR100617317B1 (ko) 복합 명사 전문용어 사전 엔트리의 재분석 방법 및 그 장치
Zitouni et al. Cross-language information propagation for arabic mention detection
JP2006031143A (ja) 文書解析装置、および文書解析方法、並びにコンピュータ・プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120626

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121002

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121015

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151109

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees