JP6042264B2 - 文法規則学習装置、方法、及びプログラム - Google Patents
文法規則学習装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP6042264B2 JP6042264B2 JP2013103557A JP2013103557A JP6042264B2 JP 6042264 B2 JP6042264 B2 JP 6042264B2 JP 2013103557 A JP2013103557 A JP 2013103557A JP 2013103557 A JP2013103557 A JP 2013103557A JP 6042264 B2 JP6042264 B2 JP 6042264B2
- Authority
- JP
- Japan
- Prior art keywords
- subtree
- subtrees
- unit
- predetermined
- predetermined parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Machine Translation (AREA)
Description
ただし、kは{t}に含まれる構文木を指すインデックスであり、Kは{t}に含まれる構文木の総数である。また、P(e’,tk|θ)は、(1)式下段に示す、パラメータをθとする確率的文法モデルにおける部分木e’と構文木tとの同時確率である。
このとき、部分木e’の候補として、対象部分木eを分割して構成される全ての部分木の組み合わせを考慮する。図2に示すような部分木eが対象部分木の場合、対象部分木eを分割して構成できる全ての部分木の組み合わせ(図2中のe’(1)〜e’(4))を部分木e’の候補とする。ただし、部分木eと部分木e’とが同じ部分木になる場合もある。図2の例では、部分木e’(4)が対象部分木eと同じ部分木である。置換更新部13は、各部分木の候補e’の確率P(e’,{t}|θ)に応じて、1つの候補を選択し、構文木コーパス{t}に含まれる全ての部分木eを、選択した部分木e’へ置換する。
11 初期設定部
12 ギブスサンプリング部
13 置換更新部
14 終了判定部
Claims (3)
- 複数種類の複数の部分木と所定のパラメータとで複数の構文木を表した確率的文法モデルにおける前記複数の部分木及び前記所定のパラメータの初期値を設定する初期設定部と、
構文木を構成する部分木の割り当てを確率的に更新する手法により、前記初期設定部により設定された前記複数の部分木及び前記所定のパラメータ、または前回更新された複数の部分木及び所定のパラメータを更新する更新部と、
前記更新部により更新された前記複数の部分木に含まれる第1の種類の部分木を分割して構成される部分木候補の各々から、前記所定のパラメータで表された前記確率的文法モデルにおける各部分木候補と該部分木候補を含む構文木集合との同時確率に応じて選択される部分木候補を第2の種類の部分木とし、前記複数の構文木に含まれる全ての前記第1の種類の部分木を、前記第2の種類の部分木に置換して、前記所定のパラメータを更新する置換更新部と、
予め定めた終了条件を満たすまで、前記更新部による前記複数の部分木及び前記所定のパラメータの更新、並びに前記置換更新部による部分木の置換及び前記所定のパラメータの更新を繰り返し、前記終了条件を満たした際の前記複数の部分木の各々を文法規則として、前記終了条件を満たした際の所定のパラメータと共に出力する終了判定部と、
を含む文法規則学習装置。 - 初期設定部が、複数種類の複数の部分木と所定のパラメータとで複数の構文木を表した確率的文法モデルにおける前記複数の部分木及び前記所定のパラメータの初期値を設定するステップと、
更新部が、構文木を構成する部分木の割り当てを確率的に更新する手法により、前記初期設定部により設定された前記複数の部分木及び前記所定のパラメータ、または前回更新された複数の部分木及び所定のパラメータを更新するステップと、
置換更新部が、前記更新部により更新された前記複数の部分木に含まれる第1の種類の部分木を分割して構成される部分木候補の各々から、前記所定のパラメータで表された前記確率的文法モデルにおける各部分木候補と該部分木候補を含む構文木集合との同時確率に応じて選択される部分木候補を第2の種類の部分木とし、前記複数の構文木に含まれる全ての前記第1の種類の部分木を、前記第2の種類の部分木に置換して、前記所定のパラメータを更新するステップと、
終了判定部が、予め定めた終了条件を満たすまで、前記更新部による前記複数の部分木及び前記所定のパラメータの更新、並びに前記置換更新部による部分木の置換及び前記所定のパラメータの更新を繰り返し、前記終了条件を満たした際の前記複数の部分木の各々を文法規則として、前記終了条件を満たした際の所定のパラメータと共に出力するステップと、
を含む文法規則学習方法。 - コンピュータを、請求項1の文法規則学習装置を構成する各部として機能させるための文法規則学習プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013103557A JP6042264B2 (ja) | 2013-05-15 | 2013-05-15 | 文法規則学習装置、方法、及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013103557A JP6042264B2 (ja) | 2013-05-15 | 2013-05-15 | 文法規則学習装置、方法、及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014225104A JP2014225104A (ja) | 2014-12-04 |
| JP6042264B2 true JP6042264B2 (ja) | 2016-12-14 |
Family
ID=52123748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013103557A Active JP6042264B2 (ja) | 2013-05-15 | 2013-05-15 | 文法規則学習装置、方法、及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6042264B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6482084B2 (ja) * | 2016-02-18 | 2019-03-13 | 日本電信電話株式会社 | 文法規則フィルターモデル学習装置、文法規則フィルター装置、構文解析装置、及びプログラム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5462819B2 (ja) * | 2011-03-01 | 2014-04-02 | 日本電信電話株式会社 | 基本木獲得装置、構文解析装置、方法、及びプログラム |
| JP5646523B2 (ja) * | 2012-02-23 | 2014-12-24 | 日本電信電話株式会社 | 基本木学習装置、構文解析装置、方法、及びプログラム |
-
2013
- 2013-05-15 JP JP2013103557A patent/JP6042264B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014225104A (ja) | 2014-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110781684B (zh) | 验证和校正用于文本分类的训练数据 | |
| CN114218932B (zh) | 基于故障因果图谱的航空故障文本摘要生成方法及其装置 | |
| US20200364299A1 (en) | Systems and methods for unsupervised autoregressive text compression | |
| CN110750993A (zh) | 分词方法及分词器、命名实体识别方法及系统 | |
| US8239349B2 (en) | Extracting data | |
| CN115237760B (zh) | 一种基于自然语言处理的JavaScript引擎定向模糊测试方法及系统 | |
| RU2586577C2 (ru) | Фильтрация дуг в синтаксическом графе | |
| AU2014315619B2 (en) | Methods and systems of four-valued simulation | |
| CN106445915B (zh) | 一种新词发现方法及装置 | |
| CN114065741B (zh) | 用于验证表述的真实性的方法、设备、装置和介质 | |
| US11244156B1 (en) | Locality-sensitive hashing to clean and normalize text logs | |
| CN115244539A (zh) | 单词或词段词元化的推断方法 | |
| CN108664512A (zh) | 文本对象分类方法及装置 | |
| CN112232057A (zh) | 基于文本扩展的对抗样本生成方法、装置、介质和设备 | |
| JP2015169951A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP6042264B2 (ja) | 文法規則学習装置、方法、及びプログラム | |
| JP2014146312A (ja) | 強化言語モデル表現を使用するフレーズベース機械翻訳におけるサンプリングおよび最適化 | |
| JP5462819B2 (ja) | 基本木獲得装置、構文解析装置、方法、及びプログラム | |
| JP6261669B2 (ja) | クエリ校正システムおよび方法 | |
| JP2013054607A (ja) | 並べ替え規則学習装置、方法、及びプログラム、並びに翻訳装置、方法、及びプログラム | |
| CN114818687A (zh) | 一种基于句子复述模型的英文词语替换方法 | |
| CN112800747A (zh) | 文本处理方法、装置及计算机设备 | |
| JP5646523B2 (ja) | 基本木学習装置、構文解析装置、方法、及びプログラム | |
| JP6232390B2 (ja) | テキスト要約装置、方法、及びプログラム | |
| CN114896990A (zh) | 一种语言翻译方法、电子设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150626 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160412 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160510 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160627 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161025 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161109 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6042264 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |