JP5520732B2

JP5520732B2 - Text extraction method, text extraction device, text extraction program

Info

Publication number: JP5520732B2
Application number: JP2010168546A
Authority: JP
Inventors: 尚樹藤田; 宜仁安田; 伸章廣嶋; 良治片岡
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: NTT Inc; NTT Inc USA
Priority date: 2010-07-27
Filing date: 2010-07-27
Publication date: 2014-06-11
Anticipated expiration: 2030-07-27
Also published as: JP2012027852A

Description

本発明は、ＨＴＭＬやＸＭＬなどのマークアップ言語で記述され、構造化された文書から本文部分を抽出する技術に関する。 The present invention relates to a technique for extracting a body part from a structured document described in a markup language such as HTML or XML.

現在、インターネット上には多数のＷｅｂページが存在している。このＷｅｂページ、即ちＨＴＭＬやＸＭＬなどのタグにより構造化された文書は、ツリー構造（木構造）で表すことができる。このツリー構造は、ノード（節点、頂点）とノード間を結ぶエッジ（枝、辺）あるいはリンクで表現され、下位のノードは上位のノードの範囲の中に含まれるという性質を有している。 Currently, there are many web pages on the Internet. This Web page, that is, a document structured by tags such as HTML and XML can be represented by a tree structure (tree structure). This tree structure is expressed by nodes (nodes, vertices) and edges (branches, sides) or links connecting the nodes, and lower nodes are included in the range of upper nodes.

このノードは、ツリー構造に含まれる要素やテキストを示す一つの単位を意味している。ＨＴＭＬ文書を一例に説明すれば、「＜ｈｔｍｌ＞＜ｂｏｄｙ＞＜ｐ＞これは特許です。＜／ｐ＞＜ｉ＞ｐａｔｅｎｔ＜／ｉ＞＜／ｂｏｄｙ＞＜／ｈｔｍｌ＞」というＨＴＭＬ文書には，要素ノード「ｈｔｍｌ」・「ｂｏｄｙ」・「ｐ」・「ｉ」と、テキストノード「これは特許です。」・「ｐａｔｅｎｔ」が含まれている。 This node means one unit indicating an element or text included in the tree structure. Taking an HTML document as an example, the HTML document “<html> <body> This is a patent. patent </ body> </ html>” , Element nodes “html”, “body”, “p”, “i”, and text nodes “this is a patent” and “patent”.

ここでは要素ノード「ｂｏｄｙ」にとって下位の要素ノード「ｐ」・「ｉ」は子ノード（ｃｈｉｌｄｎｏｄｅ）、要素ノード「ｐ」「ｉ」にとって上位の要素ノード「ｂｏｄｙ」は親ノード（ｐａｒｅｎｔｎｏｄｅ）、要素ノード「ｐ」「ｉ」は同じ親ノードの兄弟ノードである。 Here, the lower element nodes “p” and “i” for the element node “body” are child nodes, and the upper element node “body” for the element nodes “p” and “i” is the parent node. , Element nodes “p” and “i” are sibling nodes of the same parent node.

各要素ノードは、最上位のノード（ルートノード）から当該要素ノードまでに経由した各ノードを列挙した文字列で表され、これを便宜上タグパスと呼ぶ。これは「ＸＰａｔｈ」と呼ばれる表記法を用いてもよく、例えば「／ｈｔｍｌ／ｂｏｄｙ／ｐ」のように表される。 Each element node is represented by a character string that enumerates each node passed from the highest node (root node) to the element node, and this is called a tag path for convenience. This may use a notation called “XPath”, for example, “/ html / body / p”.

このようなツリー構造を利用すれば、文書内のある部分を抽出する場合にツリー構造における特定の要素ノードの配下の全ノードを抽出することで、段落や表など文書内の構造的な区切りに沿った範囲を抽出することができる。 By using such a tree structure, when extracting a certain part in the document, all nodes under a specific element node in the tree structure are extracted, so that a structural delimiter in the document such as a paragraph or table can be obtained. The range along can be extracted.

構造化された文書から本文部分を抽出する公知技術としては、タグ情報を除去してテキスト情報のみとして、テキスト情報を行単位で解析し、特徴付けを行い、その特徴から本文部分を抽出する手法が非特許文献１に提案されている。ここでは特徴から本文部分を抽出する際には一般的に機械学習が用いられる。この機械学習では判定対象の特徴をベクトル化し、正例か不例かの判定ラベルを付与した訓練データを複数用意し、訓練データから正例と不例の判定基準を作成することで、判定ラベルの付与されていないベクトルを入力した際に本文か否かを判定する２値分類器として利用できる。これらの手法はサポートベクターマシンや単純ベイズなどの手法がある。本文抽出に用いる場合には、判定対象となる部分が本文か否かという２値分類器を作成すればよい。 A well-known technique for extracting a body part from a structured document is to remove the tag information and use only text information, analyze the text information in line units, characterize it, and extract the body part from the features Is proposed in Non-Patent Document 1. In this case, machine learning is generally used when extracting a text part from a feature. In this machine learning, the features of the judgment target are vectorized, multiple training data with a positive or unexplained judgment label are prepared, and the judgment label of the positive case and the unexplained case is created from the training data. Can be used as a binary classifier that determines whether or not the text is input when a vector not assigned is input. These methods include methods such as support vector machines and naive Bayes. When used for text extraction, a binary classifier that determines whether or not the part to be determined is a text should be created.

また、同一サイトのＷｅｂページはヘッダーやフッター及びメニュー部分などに類似性があるという性質からテキスト情報のみとした上で、類似部分を除外することで本文部分を抽出する手法が特許文献１に提案されている。 Also, Patent Document 1 proposes a method for extracting the text part by excluding the similar part after considering only the text information from the property that the Web page of the same site has a similar header, footer, menu part, etc. Has been.

特開２００６−３３８３６４JP 2006-338364 A

新納浩幸，佐々木稔”Ｗｅｂページ内の目的部分の自動抽出” 情報処理学会自然言語処理研究会２００４−ＮＬ・１６２（６）ｐｐ．３３−４０Hiroyuki Shinno, Satoshi Sasaki “Automatic Extraction of Target Part in a Web Page” Information Processing Society of Japan Natural Language Processing Study Group 2004-NL ・ 162 (6) pp. 33-40

しかしながら、従来の手法は、ツリー構造を利用して本文部分を抽出しているものの、文書から本部文分を十分に抽出できないおそれがある。すなわち、非特許文献１のようにテキスト情報のみでは、一般的に機械学習を用いても本文か否かを完全に判定することは難しく、すべての本文部分を抽出しえないおそれがある。 However, although the conventional method extracts the body part using the tree structure, there is a possibility that the headquarter sentence cannot be sufficiently extracted from the document. That is, as in Non-Patent Document 1, it is difficult to completely determine whether or not the text is textually even if machine learning is used, and there is a possibility that all text parts cannot be extracted.

また、特許文献１のように、同一サイト内のＷｅｂ文書の類似性を利用する手法では、同一サイトのページを多数取得した上で比較する必要があるため、新しいサイトの少数ページのみを解析する場合には対応できないおそれがある。 Also, as disclosed in Patent Document 1, in the method using the similarity of Web documents in the same site, it is necessary to obtain a large number of pages on the same site and compare them. Therefore, only a small number of pages in the new site are analyzed. It may not be possible to deal with cases.

本発明は、上述のような従来技術の問題点を解決するためになされたものであり、ツリー構造で表現される文書から本文部分を高い精度で抽出可能な技術の提供を解決課題としている。 The present invention has been made to solve the above-described problems of the prior art, and an object of the present invention is to provide a technique capable of extracting a body part with high accuracy from a document expressed in a tree structure.

そこで、本発明は、まず、機械学習の判定基準を用いた２値分類によるツリー構造で表現される文書のノード毎に本文か否かを判定する。つぎに本文判定範囲を下位ノード（例えば末端のリーフノード）から上位に遡って本文部分の境界を求め、該境界の下位を本文部分とする。 Therefore, according to the present invention, first, it is determined whether or not the document is a body for each node of a document expressed by a tree structure based on binary classification using a criterion for machine learning. Next, the boundary of the text part is obtained by going back from the lower node (for example, the terminal leaf node) to the upper part of the text determination range, and the lower part of the boundary is set as the text part.

本発明の一態様は、学習用文書のツリー構造における各ノードの特徴情報と、該各特徴情報が本文部分として正例か否かを分類したラベルとを用いて機械学習した学習結果に基づきツリー構造で構造化された文書から本文部分を抽出する文書抽出方法であって、本文部分判定手段が、入力文書のノード毎に抽出された特徴情報を前記学習結果に基づき分類して各ノードが本文部分か否かを判定する本文部分判定ステップと、境界取得手段が、入力文書のツリー構造中、下位ノードに対する本文部分判定ステップの判定結果に応じて該下位ノードから上位ノードに遡って本文部分の境界を順次に探索し、該境界を取得する境界取得ステップと、本文抽出手段が、境界取得ステップで取得した境界配下の文字列を本文部分として抽出する本文抽出ステップと、を有する。 One aspect of the present invention is a tree based on a learning result obtained by machine learning using feature information of each node in a tree structure of a learning document and a label that classifies whether each feature information is a positive example as a body part. A document extraction method for extracting a body part from a document structured by a structure, wherein a body part determination unit classifies feature information extracted for each node of an input document based on the learning result, and each node is a body text. A body part determination step for determining whether or not a part is included, and a boundary acquisition means, in the tree structure of the input document, from the lower node to the upper node according to the determination result of the body part determination step for the lower node, A boundary acquisition step for sequentially searching for a boundary and acquiring the boundary, and a text extraction unit for extracting a character string under the boundary acquired in the boundary acquisition step as a body part. Has a step, a.

本発明の他の態様は、ツリー構造に構造化された文書から本文領域を抽出する文書抽出装置であって、学習用文書のツリー構造における各ノードの特徴情報と、該各特徴情報が本文部分として正例か否かを分類したラベルとを用いて機械学習した結果を保持するデータベースと、入力文書のノード毎に抽出された特徴情報を、データベースの保持情報に基づき分類して各ノードが本文部分か否かを判定する本文部分判定手段と、入力文書のツリー構造中、下位ノードに対する本文部分判定手段の判定結果に応じて該下位ノードから上位ノードに遡って本文部分の境界を順次に探索し、該境界を取得する境界取得手段と、境界取得手段で取得した境界配下の文字列を本文部分として抽出する本文抽出手段と、を備える。 Another aspect of the present invention is a document extraction device that extracts a text region from a document structured in a tree structure, wherein the feature information of each node in the tree structure of the learning document, and each feature information is a text part A database that holds the results of machine learning using labels classified as positive or negative as a feature, and feature information extracted for each node of the input document is classified based on the information held in the database, and each node is a text A body part determination unit that determines whether or not a part is included, and in the tree structure of the input document, the body part boundary is sequentially searched from the lower node to the upper node according to the determination result of the body part determination unit for the lower node. And a boundary acquisition unit that acquires the boundary and a text extraction unit that extracts a character string under the boundary acquired by the boundary acquisition unit as a text part.

なお、本発明は、前記装置としてコンピュータを機能させるための本文抽出プログラムの態様としてもよい。このプログラムは、ネットワークや記録媒体を通じて提供することができる。 In addition, this invention is good also as an aspect of the text extraction program for functioning a computer as said apparatus. This program can be provided through a network or a recording medium.

本発明によれば、ツリー構造で表現される文書から本文部分を高い精度で抽出することができる。 According to the present invention, a body part can be extracted with high accuracy from a document expressed in a tree structure.

本発明の実施形態に係る本文抽出装置の構成図。The lineblock diagram of the text extraction device concerning the embodiment of the present invention. 同データ処理図。The data processing diagram. 同境界取得機能部の処理を示すフローチャート。The flowchart which shows the process of the same boundary acquisition function part. 同境界探索機能部の境界探索処理を示すフローチャート。The flowchart which shows the boundary search process of the boundary search function part. 同境界探索処理の実施例１のフローチャート。10 is a flowchart of Example 1 of the boundary search process. 同境界探索処理の実施例２のフローチャート。10 is a flowchart of Example 2 of the boundary search process. 同境界探索機能処理の具体例を示すツリー構造図。The tree structure figure which shows the specific example of the same boundary search function process. 同対象ノード補正処理のフローチャート。The flowchart of the same object node correction process.

以下、本発明の実施形態に係る本文抽出装置を説明する。この抽出装置は、ＨＴＭＬ文書やＸＭＬ文書などのマークアップ言語で記述された文書、即ちツリー構造で表現される文書から本文部分（本文領域）を抽出する。 Hereinafter, a text extracting apparatus according to an embodiment of the present invention will be described. This extraction device extracts a body part (body area) from a document described in a markup language such as an HTML document or an XML document, that is, a document expressed in a tree structure.

具体的には、機械学習による判定基準を用いた２値分類の判定に加え、ツリー構造における末端（最底辺）のリーフノード（葉ノード）から周辺情報（親ノードおよび兄弟ノードの２値分類結果）を考慮して親ノードが本文かを確認し、順次上位ノードに遡って本文と他の部分の境界ノードを探索し、探索の結果として得られた境界ノードの配下のテキストをすべて抽出する。ここではツリー構造では上位ノードが本文であれば、下位ノードはすべて本文である性質を応用し、下位ノードのすべてではなく、最適な閾値以上であればよいとする。 Specifically, in addition to the determination of binary classification using a criterion based on machine learning, the peripheral information (parent node and sibling node binary classification results) from the leaf node (leaf node) at the end (bottom side) in the tree structure ) In consideration of whether or not the parent node is the body text, and sequentially search the boundary nodes of the body text and other parts by going back to the upper node, and extract all the text under the boundary node obtained as a result of the search. Here, in the tree structure, if the upper node is a body, the property that all lower nodes are the body is applied.

したがって、前記２値分類の判定結果に対して、多数決のような形式で上位ノードが真に本文に該当する否かが再度確認され、前記２値分類の判定結果が間違っていた場合には該判定結果を補正し、本文部分の抽出精度が向上する。 Therefore, it is reconfirmed whether or not the upper node truly corresponds to the text in the form of majority decision with respect to the determination result of the binary classification, and if the determination result of the binary classification is wrong, The determination result is corrected, and the extraction accuracy of the body part is improved.

≪装置構成例≫
図１に基づき前記抽出装置の構成例を説明する。この抽出装置１は、様々なタスクに応じてＷｅｂページに記述された特定の情報を収集し、再構築してユーザに提示するシステムなどに利用される。例えば、Ｗｅｂページのニュース記事から該ニュース記事のタイトルと本文とを抽出するタスクなどが挙げられる。 ≪Example of device configuration≫
A configuration example of the extraction device will be described with reference to FIG. The extraction device 1 is used in a system that collects specific information described on a Web page according to various tasks, reconstructs it, and presents it to a user. For example, a task for extracting the title and body of a news article from a news article on a Web page can be cited.

前記抽出装置１は、コンピュータにより構成され、通常のコンピュータのハードウェアリソース、例えばＣＰＵ，メモリ（ＲＡＭ）、ハードディスクドライブ装置などのハードウェアリソースを備えている。このハードウェアリソースとソフトウェアリソース（ＯＳ，アプリケーションなど）の協働の結果、前記抽出装置１は、図１に示すように、機械学習用データ記憶部２，機械学習機能部３，本文部分判定モデルＤＢ４，解析対象文書記憶部５，解析対象データ作成機能部６，解析対象データ記憶部７，本文部分判定機能部８，本文部分判定データ記憶部９，境界取得機能部１０，境界判定データ記憶部１１，本文抽出機能部１２を実装する。 The extraction device 1 is configured by a computer and includes hardware resources of a normal computer, for example, hardware resources such as a CPU, a memory (RAM), and a hard disk drive device. As a result of the cooperation of the hardware resource and the software resource (OS, application, etc.), the extraction device 1 has a machine learning data storage unit 2, a machine learning function unit 3, a body part determination model as shown in FIG. DB4, analysis target document storage unit 5, analysis target data creation function unit 6, analysis target data storage unit 7, body part determination function unit 8, body part determination data storage unit 9, boundary acquisition function unit 10, boundary determination data storage unit 11. Implement the text extraction function unit 12.

この各記憶部２．５．７．９．１１および前記判定モデルＤＢ４は、それぞれメモリ（ＲＡＭ）あるいはハードディスクドライブ装置などの記憶・保存手段に構築されているものとする。この各部２〜１２により文書のツリー構造およびタグ情報を利用した本文抽出が実行される。 Each of the storage units 2.5.7.9.11 and the determination model DB 4 are constructed in storage / storing means such as a memory (RAM) or a hard disk drive device. The text extraction using the tree structure and tag information of the document is executed by these units 2 to 12.

すなわち、機械学習用文書に基づき機械学習の結果を収集する事前処理と、入力された未知の文書から本文部分を抽出する抽出処理とが行われる。この事前処理は前記各部２〜４を通じて行われる一方、抽出処理は前記各部５〜１２を通じて行われる。なお、事前処理は未知の入力文書の抽出処理に先立ってあらかじめ実施しておくものとする。以下、図２に基づき事前処理と抽出処理のデータ処理内容を説明する。 That is, pre-processing for collecting machine learning results based on the machine learning document and extraction processing for extracting a body part from the input unknown document are performed. The pre-processing is performed through the units 2 to 4, while the extraction process is performed through the units 5 to 12. Note that the pre-processing is performed in advance prior to the unknown input document extraction processing. Hereinafter, the data processing contents of the pre-processing and the extraction processing will be described with reference to FIG.

≪事前処理内容≫
まず、事前処理を説明すれば、図示省略の入力部を通じて幅広いジャンルの機械学習用文書、即ちＨＴＭＬ文書やＸＭＬ文書などのツリー構造で表現される文書を入力する。この機械学習用文書の各要素ノードから抽出された特徴情報と、該各特徴情報に事前に付与した判定レベルとを機械学習用データとして前記データ記憶部２に記憶しておく。 ≪Pre-processing contents≫
First, pre-processing will be described. Through a not-shown input unit, a wide variety of machine learning documents, that is, documents expressed in a tree structure such as an HTML document or an XML document are input. Feature information extracted from each element node of the machine learning document and a determination level given in advance to each feature information are stored in the data storage unit 2 as machine learning data.

この特徴情報には、テキスト内容に関する素性とタグ情報に関する素性とを利用する。このテキスト内容に関する素性には、要素の配下に含まれるテキスト量や上位及び下位の要素ノードの内容などが用いられ、非特許文献１（２．２．２素性の設定）に記載された１３種類の素性を用いてもよい。また、タグ情報に関する素性は、ＨＴＭＬのタグ情報など機械学習の手法でどのタグが本文かを学習する際に一般的に用いられるものでよい。例えば下位の要素ノードの中での特定タグの割合などが用いられる。この素性に対するマッチング結果を「１ｏｒ０」で示し、例えば特徴情報を「２：１」のように素性Ｎｏとマッチング結果を対に表すものとする。 The feature information uses a feature related to text content and a feature related to tag information. For the feature related to the text content, the amount of text included under the element and the contents of the upper and lower element nodes are used. The 13 types described in Non-Patent Document 1 (2.2.2 Feature Setting) The features of may be used. The feature related to the tag information may be generally used when learning which tag is the text by a machine learning method such as HTML tag information. For example, the ratio of a specific tag among the lower element nodes is used. The matching result for this feature is indicated by “1 or 0”. For example, the feature information and the matching result are represented as a pair such as “2: 1” in the feature information.

判定ラベルは、各特徴情報が本文部分として正例であれば「＋１」を付与し、不例であれば「−１」を付与する。この判定ラベルと特徴情報の前記マッチング結果とを併せて機械学習用データを出力する。図２中のＤ１は、前記データ記憶部２に記憶された機械学習用データの一例を示している。ここでは「２：１，３：１，１７：１，３０：１・・・」と「１：１，３：１，１２：１，６０：１・・・」とは特徴情報を示し、「＋１」と「−１」は該特徴情報の判定ラベルを示し、それぞれをペアにデータ格納されている。 The determination label is assigned “+1” if each feature information is a positive example as a body part, and “−1” if it is not. The determination label and the matching result of the feature information are combined to output machine learning data. D1 in FIG. 2 indicates an example of machine learning data stored in the data storage unit 2. Here, “2: 1, 3: 1, 17: 1, 30: 1...” And “1: 1, 3: 1, 12: 1, 60: 1. “+1” and “−1” indicate determination labels of the feature information, and data is stored in pairs.

機械学習機能部３は、前記データ記憶部２に記憶された機械学習用データを用いて２値分類の機械学習を行い、本文部分判定モデルを作成する（本文部分判定モデル作成ステップ）。例えば機械学習用データを「ｘ＝特徴情報」、「ｙ＝判定ラベル（１ｏｒ −１）」とし、正解クラスに最も適合する関数関係「ｙ＝ｆ（ｘ）」を求める。これにより抽出処理時に未知の文書の特徴情報に関係関数を適用し、正解クラスを得ることが可能となる。ここで作成された本文部分判定モデルは、前記判定モデルＤＢ４に格納される。なお、機械学習には、例えばサポートベクターマシン（ＳＶＭ）や単純ベイズなどの手法を用いることができる。 The machine learning function unit 3 performs machine learning of binary classification using the machine learning data stored in the data storage unit 2 and creates a body part determination model (body part determination model creation step). For example, the machine learning data is “x = feature information” and “y = determination label (1 or −1)”, and a function relationship “y = f (x)” that best matches the correct class is obtained. As a result, the correct function class can be obtained by applying the relational function to the feature information of the unknown document during the extraction process. The text part determination model created here is stored in the determination model DB 4. For machine learning, a method such as support vector machine (SVM) or naive Bayes can be used.

≪抽出処理内容≫
つぎに抽出処理は、前記入力部に解析対象の文書、即ちＨＴＭＬ文書やＸＭＬ文書などのツリー構造で表現される文書を入力することで開始される。例えばインターネット経由で収集したＷｅｂページを解析対象の文書として入力することができる。ここで入力されたれた解析対象の文書は、前記文書記憶部５に記憶される。 ≪Extraction process contents≫
Next, the extraction process is started by inputting a document to be analyzed into the input unit, that is, a document expressed in a tree structure such as an HTML document or an XML document. For example, Web pages collected via the Internet can be input as documents to be analyzed. The document to be analyzed input here is stored in the document storage unit 5.

その後に前記データ作成機能部６は、前記文書記憶部５を参照して解析対象文書を取得する。この解析対象文書の要素ノード毎に特徴情報を抽出し、該特徴情報を当該要素ノードのタグパスと併せて解析対象データを作成する（解析対象データ作成ステップ）。この特徴情報は事前処理と同様なものとし、作成された解析対象データは出力され、前記データ記憶部７に記憶される。 Thereafter, the data creation function unit 6 refers to the document storage unit 5 and acquires the analysis target document. Feature information is extracted for each element node of the analysis target document, and analysis target data is created by combining the feature information with the tag path of the element node (analysis target data creation step). The feature information is the same as that in the pre-processing, and the created analysis target data is output and stored in the data storage unit 7.

図２中のＤ２は、前記データ記憶部７に記憶された解析対象データの一例を示している。ここでは「／ｈｔｍｌ／ｂｏｄｙ」と「／ｈｔｍｌ／ｂｏｄｙ／ｄｉｖ」とはタグパスを示し、「１：１，２：１，１１：１，３５：１」と「１：１，３：１，１４：１，４５：１」とは特徴情報を示し、それぞれをペアにデータ格納されている。 D 2 in FIG. 2 indicates an example of analysis target data stored in the data storage unit 7. Here, “/ html / body” and “/ html / body / div” indicate tag paths, “1: 1, 2: 1, 11: 1, 35: 1” and “1: 1, 3: 1, “14: 1, 45: 1” indicates feature information, and data is stored in pairs.

前記判定機能部８は、前記データ記憶部７および前記判定モデルＤＢ４を参照して解析対象データと本文部分判定モデルとを取得する。この取得後に解析対象データを素性ベクトルとして、サポートベクターマシンなどにより本文部分判定モデルを用いた２値分類を行い、特徴情報が本文部分か否かの判定結果を「−１」から「＋１」の数値で表し（「＋」＝本文部分、「−」＝非本文部分）、該特徴情報に対応するタグパスと併せて本文部分判定データを作成する（本文部分判定ステップ）。このとき２値分類は、サポートベクターマシンに限らず、機械学習機能部３の学習のときに利用した手法と同様であればよく、単純ベイズなどの手法を用いることもできる。作成された本文部分判定データは出力され、前記データ記憶部９に記憶される。 The determination function unit 8 refers to the data storage unit 7 and the determination model DB 4 to acquire analysis target data and a body part determination model. After this acquisition, the analysis target data is used as a feature vector and binary classification using a body part determination model is performed by a support vector machine or the like, and the determination result of whether the feature information is a body part is changed from “−1” to “+1”. It is expressed by a numerical value (“+” = text part, “−” = non-text part), and text part determination data is created together with the tag path corresponding to the feature information (text part determination step). At this time, the binary classification is not limited to the support vector machine, and may be the same as the technique used when learning by the machine learning function unit 3, and a technique such as naive Bayes can also be used. The created text part determination data is output and stored in the data storage unit 9.

図２中のＤ３は、前記データ記憶部９に記憶された本文部分判定データの一例を示している。ここでは「／ｈｔｍｌ／ｂｏｄｙ」と「／ｈｔｍｌ／ｂｏｄｙ／ｄｉｖ」とはタグパスを示し、「−０．４２」と「＋０．８６」とは判定結果とを示し、それぞれペアにしてデータ格納されている。 D3 in FIG. 2 shows an example of the text part determination data stored in the data storage unit 9. Here, “/ html / body” and “/ html / body / div” indicate tag paths, “−0.42” and “+0.86” indicate determination results, and data is stored in pairs. ing.

境界取得機能部１０は、前記抽出装置１の主要処理、即ち本文部分判定データを用いて入力文書の本文部分と他の部分との境界となる要素ノード（境界ノード）のタグパスを境界判定データとして取得する（境界取得ステップ）。 The boundary acquisition function unit 10 uses the tag path of the element node (boundary node) as a boundary between the main part of the input document and the other part using the main process of the extraction device 1, that is, the body part determination data as boundary determination data. Acquire (boundary acquisition step).

ここでは境界取得機能部１０は、まず前記データ記憶部９を参照して本文部分判定データを取得する。この本文部分判定データから入力文書のツリー構造中、末端（最底辺）の要素ノードであって、判定結果が本文部分（判定結果＝「＋」）の各リーフノードを取得する。 Here, the boundary acquisition function unit 10 first acquires the text part determination data with reference to the data storage unit 9. From this body part determination data, each leaf node of the end (bottom side) element node in the tree structure of the input document whose determination result is the body part (determination result = “+”) is acquired.

そして、取得したリーフノードの情報（タグパス）に対して境界探索処理を実行する。すなわち、リーフノードの親ノードと兄弟ノードの判定結果を考慮し、上位ノードのどこまでが本文部分かを探索する。このとき「親ノードが本分部分と判定されているか否か（親ノード＝「＋」）」と「兄弟ノードの何割が本文部分と判定されているか（兄弟ノードの何割が「＋」と判定されているか否か）」を探索の判断基準とする。この本文部分と判定された兄弟ノードの割合は任意とし、あらかじめ閾値として設定されるものとする。 Then, boundary search processing is executed on the acquired leaf node information (tag path). That is, considering the determination result of the parent node and the sibling node of the leaf node, the search is made for how far the upper node is the body part. At this time, “whether or not the parent node is determined to be the main part (parent node =“ + ”)” and “percentage of the sibling node is determined to be the body part (percentage of the sibling node is“ + ”) Is determined as a criterion for search. The ratio of sibling nodes determined to be the body part is arbitrary and is set as a threshold value in advance.

ここでは各リーフノードから順次に上位の要素ノードに遡って境界探索処理を実施し、最上位の要素ノードを当該リーフノードから得られた本文部分の境界とする。このとき全てのリーフノードから抽出された境界の中で重複している要素ノードや他の要素ノードの下位に含まれている要素ノードを除去し、境界判定データを作成する。作成された境界判定データ（境界ノードのタグパス）は出力され、前記データ記憶部１１に記憶される。 Here, the boundary search process is performed sequentially from each leaf node to the upper element node, and the highest element node is set as the boundary of the body part obtained from the leaf node. At this time, the element nodes that are duplicated in the boundaries extracted from all the leaf nodes and the element nodes included in the lower order of other element nodes are removed, and boundary determination data is created. The created boundary determination data (boundary node tag path) is output and stored in the data storage unit 11.

図２中のＤ４は、前記データ記憶部１１に記憶された境界判定データの一例を示している。ここでは境界ノードのタグパスを「／ｈｔｍｌ／ｂｏｄｙ／ｄｉｖ／ｄｉｖ」と「／ｈｔｍｌ／ｂｏｄｙ／ｄｉｖ／ｔｄ」と示している。 D4 in FIG. 2 shows an example of boundary determination data stored in the data storage unit 11. Here, the tag paths of the boundary nodes are shown as “/ html / body / div / div” and “/ html / body / div / td”.

前記抽出機能部１２は、前記文書記憶部５．１１を参照して解析対象の文書と境界判定データとを取得し、解析対象の文書から境界判定データのすべての境界ノードの配下のテキスト、即ち境界ノードの成長方向（下方向）における要素ノードのテキストを本文部分として抽出する（本文部分抽出ステップ）。抽出されたテキストは、ロボット型検索エンジンのインデックス作成に利用することもできる。 The extraction function unit 12 refers to the document storage unit 5.11 to acquire the analysis target document and boundary determination data, and from the analysis target document, text under all boundary nodes of the boundary determination data, that is, The text of the element node in the growth direction (downward) of the boundary node is extracted as a body part (body part extraction step). The extracted text can also be used to create an index for a robot type search engine.

≪境界取得手段１０の具体的処理内容≫
以下、図３に基づき前記抽出装置１の主要処理、即ち境界取得機能部１０の具体的内容を詳細に説明する。ここでは境界取得機能部１０は、図３に示すように、境界ノードのタグパスを探索する境界探索機能部１０ａを有しているものとする。 << Specific Processing Contents of Boundary Acquisition Unit 10 >>
In the following, the main processing of the extraction apparatus 1, that is, the specific contents of the boundary acquisition function unit 10 will be described in detail with reference to FIG. Here, it is assumed that the boundary acquisition function unit 10 includes a boundary search function unit 10a that searches for a tag path of a boundary node as illustrated in FIG.

Ｓ０１．Ｓ０２：境界取得機能部１０は、前記データ記憶部９の本文部分判定データを参照して本文部分と判定されているリーフノードの情報（タグパス）を取得する（Ｓ０１）。ここで取得したすべてのリーフノードの情報（タグパス）に対して境界探索が実行される（Ｓ０２）。 S01. S02: The boundary acquisition function unit 10 acquires the information (tag path) of the leaf node determined as the body part by referring to the body part determination data in the data storage unit 9 (S01). A boundary search is performed on the information (tag path) of all the leaf nodes acquired here (S02).

Ｓ０３：境界取得機能部１０は、Ｓ０１で取得したリーフノードを探索対象ノードとし、そのタグパスを境界探索機能部１０ａに送って、境界探索機能部１０ａに境界ノードのタグパスを探索させる。境界探索機能部１０ａにて探索された境界ノードのタグパスは境界取得機能部１０に送られる。 S03: The boundary acquisition function unit 10 sets the leaf node acquired in S01 as a search target node, sends the tag path to the boundary search function unit 10a, and causes the boundary search function unit 10a to search for the tag path of the boundary node. The tag path of the boundary node searched by the boundary search function unit 10a is sent to the boundary acquisition function unit 10.

図４に基づき境界探索機能部１０ａの境界探索処理を説明する。ここでは入力タグパス、即ち境界探索機能部１０ａに送られたリーフノード（探索対象ノード）のタグパスは「ＣＵＲ＿ＰＡＴＨ」とする。まず、境界探索機能部１０ａは、タグパス「ＣＵＲ＿ＰＡＴＨ」の周辺ノードの判定結果の値を取得する（Ｓ１１）。 The boundary search process of the boundary search function unit 10a will be described with reference to FIG. Here, the input tag path, that is, the tag path of the leaf node (search target node) sent to the boundary search function unit 10a is “CUR_PATH”. First, the boundary search function unit 10a acquires values of determination results of neighboring nodes of the tag path “CUR_PATH” (S11).

すなわち、境界探索機能部１０ａは、前記データ記憶部９を参照して、本文部分判定データＤ３からタグパス「ＣＵＲ＿ＰＡＴＨ」の親ノードおよび兄弟ノードの判定結果を取得する。ここで図４中の「ＰＡＲＥＮＴ＿ＰＡＴＨ」は親ノードのタグパスを示し、「ＢＲＯＴＨＥＲ＿ＰＡＴＨ＿ｘｘ」は「ｘｘ番目」の兄弟ノードのタグパスを示している。 That is, the boundary search function unit 10a refers to the data storage unit 9 and acquires the determination result of the parent node and the sibling node of the tag path “CUR_PATH” from the body part determination data D3. Here, “PARENT_PATH” in FIG. 4 indicates the tag path of the parent node, and “BROOTHER_PATH_xx” indicates the tag path of the “xx-th” sibling node.

つぎにＳ１１で取得した親ノードに対する判定結果が正例か否か、即ち判定結果の値が「０」以上か否かを確認する（Ｓ１２）。確認の結果、親ノードに対する判定結果の値が「０」以上であればＳ１３に進む一方、該値が「０」未満であればＳ１４に進む。 Next, it is confirmed whether or not the determination result for the parent node acquired in S11 is a positive example, that is, whether or not the value of the determination result is “0” or more (S12). As a result of the confirmation, if the value of the determination result for the parent node is “0” or more, the process proceeds to S13, whereas if the value is less than “0”, the process proceeds to S14.

Ｓ１３〜Ｓ１６では、ツリーの構造の性質、即ち親ノードが本文部分であれば子ノードは必ず本文部分であることを利用し、兄弟ノードの本文部分の割合を勘案し、（Ａ）親ノードが本文部分にも拘らず不例と判定されている場合、（Ｂ）親ノードが非本文部分にも拘らず正例と判定されている場合を改善する。 In S13 to S16, the nature of the tree structure, that is, if the parent node is a body part, the child node is always the body part, and the ratio of the body part of sibling nodes is taken into account. When it is determined that the text is a non-example regardless of the body part, (B) the case where the parent node is determined as a normal example regardless of the non-text part is improved.

具体的には、Ｓ１３．Ｓ１４では、Ｓ１１で取得した兄弟ノードに対する判定結果が正例か否か、即ち兄弟ノードに対する判定結果の値「０」以上の割合が事前に設定された閾値以上か否かを確認する。このとき兄弟ノードの数量は、自ノード、即ちタグパス「ＣＵＲ＿ＰＡＴＨ」のノード自体も含めるものとする。 Specifically, S13. In S14, it is confirmed whether or not the determination result for the sibling node acquired in S11 is a positive example, that is, whether or not the ratio of the determination result value “0” or more for the sibling node is equal to or greater than a preset threshold value. At this time, the number of sibling nodes includes its own node, that is, the node itself of the tag path “CUR_PATH”.

Ｓ１３の確認の結果、前記割合が閾値未満であれば、親ノードに対する本文部分判定データの値「０」以上は誤りと最終判定し、タグパス「ＣＵＲ＿ＰＡＴＨ」を境界ノードのタグパスとして境界取得機能部１０に送る（Ｓ１５）。一方、前記割合が閾値以上であれば、親ノードに対する判定結果の値「０」以上は正しと最終判定し、タグパス「ＣＵＲ＿ＰＡＴＨ」を親ノードのタグパス「ＰＡＲＥＮＴ＿ＰＡＴＨ」に置き換え、該タグパス「ＰＡＲＥＮＴ＿ＰＡＴＨ」に対してＳ１１以降の処理を行う（Ｓ１６）。 As a result of the confirmation in S13, if the ratio is less than the threshold, the body part determination data value “0” or more for the parent node is finally determined as an error, and the boundary acquisition function unit 10 uses the tag path “CUR_PATH” as the tag path of the boundary node. (S15). On the other hand, if the ratio is equal to or greater than the threshold, the determination result value “0” or higher for the parent node is finally determined to be correct, the tag path “CUR_PATH” is replaced with the parent node tag path “PARENT_PATH”, and the tag path “PARENT_PATH”. Then, the processing after S11 is performed (S16).

Ｓ１４の確認の結果、前記割合が閾値未満であれば、親ノードに対する判定結果の値「０」未満は正しいと最終判定し、タグパス「ＣＵＲ＿ＰＡＴＨ」を境界ノードのタグパスとして境界取得機能部１０に送る（Ｓ１５）。一方、前記割合が閾値以上であれば、親ノードに対する判定結果の値「０」未満は誤りと最終判定し、タグパス「ＣＵＲ＿ＰＡＴＨ」を親ノードのタグパス「ＰＡＲＥＮＴ＿ＰＡＴＨ」に置き換え、該タグパス「ＰＡＲＥＮＴ＿ＰＡＴＨ」に対してＳ１１以降の処理を行う（Ｓ１６）。 If the ratio is less than the threshold value as a result of the confirmation in S14, it is finally determined that the determination result value “0” for the parent node is correct, and the tag path “CUR_PATH” is sent to the boundary acquisition function unit 10 as the tag path of the boundary node. (S15). On the other hand, if the ratio is equal to or greater than the threshold, the determination result for the parent node less than “0” is finally determined to be an error, the tag path “CUR_PATH” is replaced with the parent node tag path “PARENT_PATH”, and the tag path “PARENT_PATH”. On the other hand, the process after S11 is performed (S16).

このようなＳ１３．Ｓ１４中、兄弟ノードが自ノード、即ちタグパス「ＣＵＲ＿ＰＡＴＨ」のノードのみの場合には前記割合が１００％なため、Ｓ１３．Ｓ１４のいずれの場合でも必ずＳ１６にて親ノードのタグパスに置換され、Ｓ１１以降の処理が行われる。なお、Ｓ１１〜Ｓ１６の境界探索の結果、最上位（／ｈｔｍｌ／ｂｏｄｙなど）まで境界探索が終了すれば該最上位のタグパスを、Ｓ１５で境界ノードのタグパスとして出力する。 Such S13. In S14, when the sibling node is only its own node, that is, the node of the tag path “CUR_PATH”, the ratio is 100%, so S13. In any case of S14, it is always replaced with the tag path of the parent node in S16, and the processing after S11 is performed. As a result of the boundary search in S11 to S16, when the boundary search is completed up to the highest level (/ html / body etc.), the highest tag path is output as the tag path of the boundary node in S15.

ここでＳ１３．Ｓ１４の閾値は、親ノードの判定結果に対する検証精度、即ち本文抽出の精度が高くなるように調整されているものとする。この本文抽出の精度を（１）正解率（ｐｒｅｃｉｓｉｏｎ）：本文部分として抽出された文が真に本文部分である割合、（２）再現率（ｒｅｃａｌｌ）：抽出された本文部分が本来抽出される本文部分に対する割合で表して説明すれば、Ｓ１３．Ｓ１４共に閾値を高く設定すると親ノードが満たすべき子ノードの正解割合が高くなり、確実に本文部分のノードのみ上位に遡って探索される。 Here, S13. It is assumed that the threshold value of S14 is adjusted so that the verification accuracy with respect to the determination result of the parent node, that is, the accuracy of text extraction is increased. The accuracy of the text extraction is as follows: (1) accuracy rate (precise): the rate at which the sentence extracted as the text part is truly the text part, (2) recall: (recall): the extracted text part is originally extracted If expressed in terms of the ratio to the body part, S13. If the threshold value is set high in both S14, the correct answer ratio of the child nodes that the parent node should satisfy increases, and only the node in the body part is reliably searched backward.

しかしながら、本来ならば本文部分の親ノードが本文部分と推定されないこともあり、正解率は向上するが再現率が低下するおそれがある。例えば兄弟ノードの前記割合が「７割」であっても、閾値が「８割」に設定されていれば、上位ノードに遡らないため、再現率は低下する。一方、閾値を低く設定すると親ノードは比較的容易に本文部分とみなされるため、再現率は向上するものの、非本文部分の親ノードも本文部分とされ、正解率が低下するおそれがある。 However, the parent node of the body part may not be estimated as the body part, so that the correct answer rate may be improved but the recall rate may be lowered. For example, even if the ratio of sibling nodes is “70%”, if the threshold is set to “80%”, the recall is not traced back to the upper node, so the recall rate is lowered. On the other hand, if the threshold value is set low, the parent node is regarded as a text part relatively easily, so the recall rate is improved, but the parent node of the non-text part is also considered as the text part, and the correct answer rate may decrease.

そこで、正解率と再現率のいずれを重視するかは本文抽出の利用目的（タスク）に応じて調整し、Ｓ１３．Ｓ１４の閾値を設定するものとする。例えば非本文部分が若干含まれても問題の無い利用目的であれば閾値を低めに調整すればよく、非本文部分が含まれていると問題の生ずる利用目的であれば閾値を高めに調整すればよい。このときＳ１３．Ｓ１４の閾値は、同じ値に設定してもよいが、異なる値の組合せの評価実験で高精度の本文抽出結果を得られたため、異なる値の組合せを用いることが好ましい。 Therefore, whether to focus on the correct answer rate or the recall rate is adjusted according to the purpose (task) of text extraction, and S13. Assume that the threshold value of S14 is set. For example, if there is no problem even if a non-text part is included, the threshold may be adjusted to a lower value. If a non-text part contains a problem, the threshold may be adjusted higher. That's fine. At this time, S13. Although the threshold value of S14 may be set to the same value, it is preferable to use a combination of different values because a highly accurate text extraction result was obtained in an evaluation experiment of a combination of different values.

Ｓ０４．Ｓ０５：境界取得機能部１０は、Ｓ０３で境界探索機能部１０ａから送られた境界ノードのタグパスが既に境界判定データに存在するか否かを確認する（Ｓ０４）。確認の結果、境界判定データに存在しなければ該タグパスを境界判定データとして前記データ記憶部１１に記憶させる。一方、既に境界判定データに存在すれば該タグパスを除去し、処理を終了する（Ｓ０５）。 S04. S05: The boundary acquisition function unit 10 checks whether the tag path of the boundary node sent from the boundary search function unit 10a in S03 already exists in the boundary determination data (S04). As a result of the confirmation, if it does not exist in the boundary determination data, the tag path is stored in the data storage unit 11 as boundary determination data. On the other hand, if it already exists in the boundary determination data, the tag path is removed and the process is terminated (S05).

≪実施例１≫
図５に基づき境界探索処理の実施例を説明する。ここでは各要素ノードには探索フラグ「０ｏｒ１」が立てられているものとする。この探索フラグ「１」はリーフノードおよび境界探索時に最終判定が終了済の要素ノードを示し、探索フラグ「０」は、境界探索時の最終判定が未終了の要素ノードを示している。 Example 1
An example of boundary search processing will be described with reference to FIG. Here, it is assumed that a search flag “0 or 1” is set in each element node. The search flag “1” indicates a leaf node and an element node whose final determination has been completed at the boundary search, and a search flag “0” indicates an element node whose final determination has not been completed at the boundary search.

また、図５中のＳ２１はＳ１１に相当し、Ｓ２３はＳ１２に相当し、Ｓ２５はＳ１３に相当し、Ｓ２６はＳ１４に相当し、Ｓ２９はＳ１５に相当し、Ｓ３０はＳ１６に相当し、Ｓ２２．Ｓ２４．Ｓ２７．Ｓ２８が追加されている点で図４と相違している。また、Ｓ２９．Ｓ３０で探索フラグの切り替えが追加されている点でも図４と相違している。 5 corresponds to S11, S23 corresponds to S12, S25 corresponds to S13, S26 corresponds to S14, S29 corresponds to S15, S30 corresponds to S16, S22. S24. S27. 4 is different from FIG. 4 in that S28 is added. In addition, S29. It is also different from FIG. 4 in that search flag switching is added in S30.

この実施例の詳細を説明すれば、リーフノードのタグパス「ＣＵＲ＿ＰＡＴＨ」が入力されると、境界探索機能部１０ａは本文部分判定データＤ３からタグパス「ＣＵＲ＿ＰＡＴＨ」の親ノード「ＰＡＲＥＮＴ＿ＰＡＴＨ」および各兄弟ノード「ＢＲＯＴＨＥＲ＿ＰＡＴＨ＿ｘｘ」の判定結果の値を取得する（Ｓ２１）。この取得後に兄弟ノードの探索フラグ「０ｏｒ１」を確認する（Ｓ２２）。 Describing the details of this embodiment, when the tag path “CUR_PATH” of the leaf node is input, the boundary search function unit 10a reads the parent node “PARENT_PATH” of the tag path “CUR_PATH” and each sibling node “ The value of the determination result of “BROTHER_PATH_xx” is acquired (S21). After this acquisition, the search flag “0 or 1” of the sibling node is confirmed (S22).

このＳ２２の確認の結果、すべての兄弟ノードの探索フラグが「１」であれば、Ｓ２３〜Ｓ２６の処理を実施する。このときＳ２５の確認時に兄弟ノードの正例の割合（前記判定結果の値「０」以上の割合）が前記閾値未満であれば、親ノードの判定結果の値「０」以上は誤りと最終判定し、該値を「０」未満に補正して（Ｓ２７）、Ｓ２９に進む。また、Ｓ２５で前記割合が前記閾値以上であれば、親ノードの判定結果の値「０」以上は正しいと最終判定し、Ｓ３０に進む。 If the search flag of all sibling nodes is “1” as a result of the confirmation in S22, the processes in S23 to S26 are performed. At this time, if the ratio of positive examples of sibling nodes (the ratio of the determination result value “0” or higher) is less than the threshold value at the time of confirmation in S25, the determination result value “0” or higher of the parent node is final as an error. Then, the value is corrected to be less than “0” (S27), and the process proceeds to S29. If the ratio is equal to or greater than the threshold value in S25, it is finally determined that the value “0” or higher of the determination result of the parent node is correct, and the process proceeds to S30.

Ｓ２６で前記割合が前記閾値以上であれば、親ノードの判定結果の値「０」未満は誤りと最終判定し、該値を「０」以上に補正して（Ｓ２７）、Ｓ３０に進む。また、Ｓ２６で前記割合が前記閾値未満であれば、親ノードの判定結果の値「０」以上は正しいと最終判定し、Ｓ２９に進む。 If the ratio is equal to or greater than the threshold value in S26, it is finally determined that an error is less than “0” of the determination result of the parent node, and the value is corrected to “0” or more (S27), and the process proceeds to S30. If the ratio is less than the threshold value in S26, it is finally determined that the value “0” or more of the determination result of the parent node is correct, and the process proceeds to S29.

Ｓ２９では、親ノードの探索フラグを「１」に切り替え、Ｓ１５と同様に「ＣＵＲ＿ＰＡＴＨ」を境界ノードのタグパスとして境界取得機能部１０に送る。また、Ｓ３０でも、親ノードの探索フラグを「１」に切り替え、Ｓ１６と同様にタグパス「ＣＵＲ＿ＰＡＴＨ」を「ＰＡＲＥＮＴ＿ＰＡＴＨ」に置き換えて、該タグパスに対するＳ２１以降の処理を開始する。 In S29, the search flag of the parent node is switched to “1”, and “CUR_PATH” is sent to the boundary acquisition function unit 10 as a tag path of the boundary node as in S15. Also in S30, the search flag of the parent node is switched to “1”, the tag path “CUR_PATH” is replaced with “PARENT_PATH” in the same manner as in S16, and the processes after S21 for the tag path are started.

一方、Ｓ２２でいずれかの兄弟ノードの探索フラグが「０」であれば、該兄弟ノードのリーフノードの一つを境界探索機能部１０ａに入力する（Ｓ２４）。この場合には「ＣＵＲ＿ＰＡＴＨ」を入力とする境界探索を待機させ、該兄弟ノードのリーフノードのタグパス入力に基づくＳ２３〜Ｓ３０の境界探索を優先し、Ｓ２９．Ｓ３０で該兄弟ノードの探索フラグを「１」に切り替える。 On the other hand, if the search flag of any sibling node is “0” in S22, one of the leaf nodes of the sibling node is input to the boundary search function unit 10a (S24). In this case, the boundary search with “CUR_PATH” as input is waited, and the boundary search in S23 to S30 based on the tag path input of the leaf node of the sibling node is prioritized, and S29. In S30, the search flag of the sibling node is switched to “1”.

このとき該兄弟ノードが正例なときにその下位のリーフノードの前記割合が前記閾値未満であれば、Ｓ２７で該兄弟ノードの判定結果が補正される。また、該兄弟ノードが不例なときにその下位のリーフノードの前記割合が前記閾値以上であれば、Ｓ２８で該兄弟ノードの判定結果が補正される。 At this time, if the sibling node is a normal example and the ratio of the leaf nodes below it is less than the threshold, the determination result of the sibling node is corrected in S27. If the sibling node is unprecedented and the ratio of the leaf nodes below it is equal to or greater than the threshold, the determination result of the sibling node is corrected in S28.

このような優先探索処理の終了後、即ち探索フラグ「１」への切り替え後に「ＣＵＲ＿ＰＡＴＨ」を入力とする境界探索処理を再開する。このとき優先探索処理時に兄弟ノードの判定結果の値がＳ２７．Ｓ２８で補正されていれば、再開された境界探索処理時におけるＳ２５．Ｓ２６の前記割合は、該補正後の最終判定結果に基づき算出する。これによりＳ２５．Ｓ２６の前記割合の正確性が増し、Ｓ２９の境界として出力されるタグパスの精度を向上させることができる。なお、優先探索処理のＳ２９で出力されたタグパスは、兄弟ノードの部分ツリー（部分木）に関するものであるため、「ＣＵＲ＿ＰＡＴＨ」を入力とする境界探索では無視するものとする。 After such priority search processing is completed, that is, after switching to the search flag “1”, the boundary search processing using “CUR_PATH” as input is resumed. At this time, the value of the determination result of the sibling node is S27. If corrected in S28, S25. The ratio of S26 is calculated based on the final determination result after the correction. As a result, S25. The accuracy of the ratio of S26 increases, and the accuracy of the tag path output as the boundary of S29 can be improved. Note that the tag path output in S29 of the priority search process is related to a partial tree (partial tree) of the sibling node, and is therefore ignored in the boundary search with “CUR_PATH” as an input.

≪実施例２≫
図６に基づき境界探索処理の他の実施例を説明する。図６中のＳ３１は、Ｓ２１に相当し、Ｓ３４はＳ２２に相当し、Ｓ３５はＳ２３に相当し、Ｓ３６はＳ２４に相当し、Ｓ３７はＳ２５に相当し、Ｓ３８はＳ２６に相当し、Ｓ３９はＳ２７に相当し、Ｓ４０はＳ２８に相当し、Ｓ４１はＳ２９に相当し、Ｓ４２はＳ３０に相当し、Ｓ３２．Ｓ３３．Ｓ３６ａが追加されている点で図５と相違している。 << Example 2 >>
Another embodiment of the boundary search process will be described with reference to FIG. S31 in FIG. 6 corresponds to S21, S34 corresponds to S22, S35 corresponds to S23, S36 corresponds to S24, S37 corresponds to S25, S38 corresponds to S26, and S39 corresponds to S27. , S40 corresponds to S28, S41 corresponds to S29, S42 corresponds to S30, S32. S33. This is different from FIG. 5 in that S36a is added.

この実施例によれば、リーフノードのタグパス「ＣＵＲ＿ＰＡＴＨ」が入力されると、境界探索機能部１０ａは本文部分判定データＤ３からタグパス「ＣＵＲ＿ＰＡＴＨ」の親ノード「ＰＡＲＥＮＴ＿ＰＡＴＨ」および各兄弟ノード「ＢＲＯＴＨＥＲ＿ＰＡＴＨ＿ｘｘ」の判定結果の値を取得する（Ｓ３１）。この取得後に親ノードの探索フラグが「０ｏｒ１」を確認する（Ｓ３２）。 According to this embodiment, when the tag path “CUR_PATH” of the leaf node is input, the boundary search function unit 10a receives the parent node “PARENT_PATH” of the tag path “CUR_PATH” and the sibling nodes “BROOTHER_PATH_xx” from the text portion determination data D3. The value of the determination result is acquired (S31). After this acquisition, the parent node search flag is confirmed to be “0 or 1” (S32).

Ｓ３２の確認の結果、親ノードの探索フラグが「０」であれば、「ＣＵＲ＿ＰＡＴＨ」のリーフノードは兄弟ノード中、最初の入力であるから、図５の境界探索処理と同様にＳ３４〜Ｓ４２の処理を実施する。 As a result of the confirmation in S32, if the search flag of the parent node is “0”, the leaf node of “CUR_PATH” is the first input in the sibling nodes, so that the processing in S34 to S42 is similar to the boundary search process of FIG. Implement the process.

一方、Ｓ３２の確認の結果、親ノードの探索フラグが「１」であれば、該親ノードの判定結果の値が「０」以上か否かを確認する（Ｓ３３）。ここで親ノードの探索フラグは「１」のときには該親ノードは「ＣＵＲ＿ＰＡＴＨ」と兄弟のリーフノードのタグパス入力時に最終判定が既に行われている。したがって、例えば親ノードの判定結果がＳ３９．Ｓ４０で補正されていれば、該補正後の判定結果の値が「０」以上か否か確認される。 On the other hand, if the search flag of the parent node is “1” as a result of the confirmation in S32, it is confirmed whether or not the value of the determination result of the parent node is “0” or more (S33). Here, when the parent node search flag is “1”, the parent node has already been subjected to final determination when “CUR_PATH” and the tag path of the sibling leaf node are input. Therefore, for example, the determination result of the parent node is S39. If it is corrected in S40, it is confirmed whether or not the value of the corrected determination result is “0” or more.

このＳ３２の確認の結果、親ノードの探索フラグが「１」であれば、該親ノードの判定結果の値が「０」以上か否かを確認する（Ｓ３３）。ここで親ノードの探索フラグは「１」のときには該親ノードは「ＣＵＲ＿ＰＡＴＨ」と兄弟のリーフノードのタグパス入力時に最終判定が既に行われている。したがって、例えば親ノードの判定結果がＳ３９．Ｓ４０で補正されていれば、該補正後の判定結果の値が「０」以上か否か確認される。 If the search flag of the parent node is “1” as a result of the confirmation in S32, it is confirmed whether or not the value of the determination result of the parent node is “0” or more (S33). Here, when the parent node search flag is “1”, the parent node has already been subjected to final determination when “CUR_PATH” and the tag path of the sibling leaf node are input. Therefore, for example, the determination result of the parent node is S39. If it is corrected in S40, it is confirmed whether or not the value of the corrected determination result is “0” or more.

このＳ３３の確認の結果、判定結果の値が「０」以上であれば、タグパス「ＣＵＲ＿ＰＡＴＨ」を「ＰＡＲＥＮＴ＿ＰＡＴＨ」に置き換えて、該タグパスを入力とするＳ３１以降の処理を実施する。一方、Ｓ３３の確認の結果、判定結果の値「０」未満であれば、「ＣＵＲ＿ＰＡＴＨ」を境界ノードのタグパスとして出力する（Ｓ４１）。このとき親ノードの探索フラグは「１」のままとし、「ＣＵＲ＿ＰＡＴＨ」と兄弟のリーフノード入力時にもＳ３２．Ｓ３３の確認を行う。このように兄弟ノードの入力時における親ノードの最終判定結果（補正結果など）を利用することで、重複処理を回避し、境界探索の処理効率を向上させることができる。 As a result of the confirmation in S33, if the value of the determination result is “0” or more, the tag path “CUR_PATH” is replaced with “PARENT_PATH”, and the processes after S31 with the tag path as an input are performed. On the other hand, if the determination result is less than “0” as a result of the confirmation in S33, “CUR_PATH” is output as the tag path of the boundary node (S41). At this time, the search flag of the parent node remains “1”, and even when “CUR_PATH” and a sibling leaf node are input, S 32. Confirmation of S33 is performed. In this way, by using the final determination result (correction result or the like) of the parent node when the sibling node is input, it is possible to avoid duplication processing and improve the processing efficiency of boundary search.

なお、Ｓ３６の兄弟ノードのリーフノード入力による境界探索処理時に該兄弟ノードの親ノードの探索フラグが「１」に切り替えられている場合がある。そこで、Ｓ３６ａでは、該親ノードの探索フラグを再確認し、探索フラグが「１」であればＳ３３に進む一方、「０」であればＳ３５以降の処理を実施させている。 Note that the search flag of the parent node of the sibling node may be switched to “1” during the boundary search processing by the leaf node input of the sibling node in S36. Therefore, in S36a, the search flag of the parent node is reconfirmed. If the search flag is “1”, the process proceeds to S33, while if it is “0”, the process from S35 is performed.

≪具体的な処理例≫
以下、図７に基づき境界探索機能部１０ａの具体的な処理例を説明する。ここでは図６の実施例２に基づきツリー構造Ｔ中から本文部分の境界ノードを探索するものとする。このとき最初にサブツリーＳＴ１のリーフノード「Ｐ」のタグパスが境界探索機能部１０ａに入力されるものとする。また、境界探索機能部１０ａは、不例のリーフノードを入力可能に設定されているものとする。 ≪Specific processing example≫
Hereinafter, a specific processing example of the boundary search function unit 10a will be described with reference to FIG. Here, the boundary node of the body part is searched from the tree structure T based on the second embodiment of FIG. At this time, the tag path of the leaf node “P” of the subtree ST1 is first input to the boundary search function unit 10a. Further, it is assumed that the boundary search function unit 10a is set to be able to input an unprecedented leaf node.

この図７中、（Ａ）はツリー構造Ｔの各ノードに対する本文部分判定データの判定結果を示し、（Ｂ）はツリー構造Ｔの各ノードに対する最終判定の結果を示している。このツリー構造Ｔ中、サブツリーＳＴ１．ＳＴ２は本来の本文部分とし、サブツリーＳＴ３．ＳＴ４は本来の非本文部分とする。なお、Ｓ２５．Ｓ２６の閾値は、共に７０％に設定されているものとする。 In FIG. 7, (A) shows the determination result of the body part determination data for each node of the tree structure T, and (B) shows the final determination result for each node of the tree structure T. In this tree structure T, subtrees ST1. ST2 is the original body part, and subtree ST3. ST4 is the original non-text part. In addition, S25. It is assumed that both thresholds of S26 are set to 70%.

ここでサブツリーＳＴ１のリーフノード「Ｐ」のタグパスは、最初に境界探索機能部１０ａに入力されるため、Ｓ３２では探索フラグ「０」と確認される。また、兄弟ノード「Ｐ」はすべてリーフノードであるから、Ｓ３４では各兄弟ノードの探索フラグ「１」と確認される。 Here, since the tag path of the leaf node “P” of the subtree ST1 is first input to the boundary search function unit 10a, the search flag is confirmed to be “0” in S32. Further, since all the sibling nodes “P” are leaf nodes, the search flag “1” of each sibling node is confirmed in S34.

そして、サブツリーＳＴ１は、図７中の（Ａ）に示すように、親ノード「ＤＩＶ」および兄弟ノード「Ｐ」の判定結果がすべて正例と判定されていることから、親ノード「ＤＩＶ」の正例は、図７中の（Ｂ）に示すように、Ｓ３５．Ｓ３７を通じて正しいものと最終判定される。したがって、Ｓ４２で親ノード「ＤＩＶ」の探索フラグを「１」に切り替え、タグパスを該親ノードに置き換えて、該親ノードのタグパスがＳ３１に入力される。 Then, as shown in FIG. 7A, the sub-tree ST1 determines that the determination results of the parent node “DIV” and the sibling node “P” are all positive examples. As shown in FIG. 7B, the positive example is S35. Through S37, it is finally determined as correct. Therefore, the search flag of the parent node “DIV” is switched to “1” in S42, the tag path is replaced with the parent node, and the tag path of the parent node is input to S31.

このときＳ３２で「ＤＩＶ」の親ノード「ＢＯＤＹ」の探索フラグ「０」と確認され、Ｓ３４でサブツリーＳＴ２〜ＳＴ４の「ＤＩＶ」の案索フラグ「０」と確認される。したがって、Ｓ３６でサブツリーＳＴ２〜ＳＴ４のリーフノードが順に境界探索機能部１０ａに入力され、サブツリーＳＴ１の「ＤＩＶ」入力の境界探索を待機させ、サブツリーＳＴ２〜ＳＴ４の境界探索を優先させる。 At this time, the search flag “0” of the parent node “BODY” of “DIV” is confirmed in S32, and the search flag “0” of “DIV” in the subtrees ST2 to ST4 is confirmed in S34. Accordingly, the leaf nodes of the subtrees ST2 to ST4 are sequentially input to the boundary search function unit 10a in S36, and the boundary search of the “DIV” input of the subtree ST1 is waited, and the boundary search of the subtrees ST2 to ST4 is prioritized.

サブツリーＳＴ２は、図７中の（Ａ）に示すように、親ノード「ＤＩＶ」が不例と判定され、兄弟ノード「Ｐ」がすべて正例と判定されている。したがって、親ノード「ＤＩＶ」の不例は、図７中の（Ｂ）に示すように、Ｓ３５．Ｓ３８を通じて誤りと最終判定され、親ノード「ＤＩＶ」をＳ４０で正例に補正し、Ｓ４２で親ノード「ＤＩＶ」の探索フラグを「１」に切り替え、タグパスを親ノード「ＤＩＶ」に置き換える。 In the subtree ST2, as shown in (A) of FIG. 7, the parent node “DIV” is determined to be an unprecedented example, and all of the sibling nodes “P” are determined to be positive examples. Therefore, the non-example of the parent node “DIV” is shown in FIG. An error is finally determined through S38, the parent node "DIV" is corrected to a positive example in S40, the search flag of the parent node "DIV" is switched to "1" in S42, and the tag path is replaced with the parent node "DIV".

ここで置き換えた「ＤＩＶ」のタグパスがＳ３１に入力されるものの、Ｓ３２で親ノード「ＢＯＤＹ」の探索フラグ「０」と確認され、Ｓ３４でサブツリーＳＴ３．ＳＴ４の「ＤＩＶ」の探索フラグ「０」と確認されることから、該「ＤＩＶ」入力の境界探索を待機させ、サブツリーＳＴ３．ＳＴ４の境界探索を優先させる。 Although the tag path of “DIV” replaced here is input to S31, the search flag “0” of the parent node “BODY” is confirmed in S32, and subtree ST3. Since the search flag “0” of “DIV” in ST4 is confirmed, the boundary search of the “DIV” input is made to wait, and the subtree ST3. Prioritize the ST4 boundary search.

サブツリーＳＴ３は、図７中の（Ａ）に示すように、親ノード「ＤＩＶ」が正例と判定され、一つの子ノード「Ｐ」が正例と判定され、他の子ノード「Ｐ」がすべて不例と判定されている。この場合には、親ノード「ＤＩＶ」の判定結果は、図７中の（Ｂ）に示すように、正例の子ノード「Ｐ」を入力とする境界探索時にＳ３９で補正される。 In the subtree ST3, as shown in FIG. 7A, the parent node “DIV” is determined as a positive example, one child node “P” is determined as a positive example, and the other child node “P” is determined as a positive example. All are determined to be unprecedented. In this case, as shown in FIG. 7B, the determination result of the parent node “DIV” is corrected in S39 during the boundary search using the positive child node “P” as an input.

すなわち、該子ノード「Ｐ」は、親ノードの判定結果が「正例」なため（Ｓ３５）、Ｓ３７の確認に移行する。このとき他のすべての兄弟ノードが不例と判定されているため、兄弟ノードの正例の割合は「２５％」にすぎず、Ｓ３７の閾値未満と確認される。そうすると、親ノード「ＤＩＶ」の正例は誤りと最終判定され、該親ノードをＳ３９で不例に補正する。この場合は、Ｓ４１で親ノードの探索フラグが「１」に切り替えられ、入力ノード「Ｐ」のタグパスが境界ノードのタグパスとして出力される。 That is, the child node “P” shifts to the confirmation of S37 because the determination result of the parent node is “correct example” (S35). At this time, since all other sibling nodes are determined to be unprecedented, the proportion of the sibling nodes is only “25%”, which is confirmed to be less than the threshold of S37. Then, the positive example of the parent node “DIV” is finally determined to be an error, and the parent node is corrected to an exceptional case in S39. In this case, the search flag of the parent node is switched to “1” in S41, and the tag path of the input node “P” is output as the tag path of the boundary node.

サブツリーＳＴ４は、親ノード「ＤＩＶ」および各子ノード「Ｐ」の判定結果が不例なため、Ｓ３５．Ｓ３８を通じて親ノード「ＤＩＶ」の判定結果は正しいと判定され、該親ノードの探索フラグが「１」に切り替えられる。このときＳ４１で出力されるタグパスは境界ノードではなく、本文部分判定データに従って不例と扱われる。 Since the determination result of the parent node “DIV” and each child node “P” is unprecedented, the subtree ST4 is S35. Through S38, the determination result of the parent node “DIV” is determined to be correct, and the search flag of the parent node is switched to “1”. At this time, the tag path output in S41 is not a boundary node, but is treated as an example according to the text part determination data.

サブツリーＳＴ３．ＳＴ４に対する探索フラグ「１」への切り替え後に、親ノード「ＢＯＤＹ」の探索フラグが確認され（Ｓ３６ａ）、サブツリーＳＴ２の「ＤＩＶ」入力による境界探索が再開される。このとき親ノード「ＢＯＤＹ」の探索フラグは「０」であるから、Ｓ３５で該親ノード「ＢＯＤＹ」が正例か否か確認される。ここでは親ノード「ＢＯＤＹ」は、図７中の（Ａ）に示すように、不例と判定されているため、Ｓ３８でサブツリーＳＴ２〜ＳＴ４の「ＤＩＶ」に対する正例の割合が閾値以上か否か確認される。このときサブツリーＳＴ１．ＳＴ２の「ＤＩＶ」は正例と最終判定されているものの、サブツリーＳＴ３の「ＤＩＶ」は不例に補正され、サブツリーＳＴ４の「ＤＩＶ」は不例と判定されている。 Subtree ST3. After switching to the search flag “1” for ST4, the search flag of the parent node “BODY” is confirmed (S36a), and the boundary search by the “DIV” input of the subtree ST2 is resumed. At this time, since the search flag of the parent node “BODY” is “0”, whether or not the parent node “BODY” is a normal example is confirmed in S35. Here, since the parent node “BODY” is determined to be unprecedented as shown in (A) of FIG. 7, whether or not the ratio of positive examples to “DIV” of the subtrees ST2 to ST4 is greater than or equal to the threshold value in S38. Is confirmed. At this time, the subtree ST1. Although “DIV” in ST2 is finally determined to be a positive example, “DIV” in subtree ST3 is corrected to an unprecedented example, and “DIV” in subtree ST4 is determined to be an unexplained example.

そうすると、兄弟ノードの正例の割合は５０％にすぎず、Ｓ３８の閾値未満と確認されるから、図７中の（Ｂ）に示すように、親ノード「ＢＯＤＹ」の不例は正しいものと最終判定され、Ｓ４１で親ノード「ＢＯＤＹ」の探索フラグが「１」に切り替えられる。また、サブツリーＳＴ１の「ＤＩＶ」のタグパスが境界ノードのタグパスとして出力される。 Then, since the proportion of positive examples of sibling nodes is only 50% and is confirmed to be less than the threshold value of S38, as shown in (B) of FIG. 7, the non-example of the parent node “BODY” is correct. The final determination is made, and the search flag of the parent node “BODY” is switched to “1” in S41. Further, the tag path “DIV” of the subtree ST1 is output as the tag path of the boundary node.

その後にサブツリーＳＴ１の「ＤＩＶ」入力の境界探索が再開されるものの、既に親ノード「ＢＯＤＹ」の探索フラグが「１」に切り替えられているので（Ｓ３６ａ）、Ｓ３３に進む。このとき親ノード「ＢＯＤＹ」は不例と判定されているため、Ｓ４１でサブツリーＳＴ２の「ＤＩＶ」のタグパスが境界ノードのタグパスとして出力される。 Thereafter, although the boundary search of the “DIV” input of the subtree ST1 is resumed, the search flag of the parent node “BODY” has already been switched to “1” (S36a), and the process proceeds to S33. At this time, since it is determined that the parent node “BODY” is unprecedented, the tag path “DIV” of the subtree ST2 is output as the tag path of the boundary node in S41.

このように前記抽出装置１によれば、本文部分判定データの判定結果、即ち２値分類の判定に加えて、兄弟ノードの多数決のような形式で上位ノードの判定結果を再確認し、該本文部分判定データの判定結果に誤りがあれば補正されることから、精度の高い本文抽出が可能となる。特に、本文部分判定データに基づき機械学習データＤ１に含まれないＷｅｂサイト、例えば新しいサイトの少数ページでも高精度に本文抽出することもできる。 As described above, according to the extraction device 1, in addition to the determination result of the body part determination data, that is, the determination of the binary classification, the determination result of the upper node is reconfirmed in a form like a majority decision of sibling nodes, If there is an error in the determination result of the partial determination data, it is corrected, so that the text can be extracted with high accuracy. In particular, the text can be extracted with high accuracy even on a Web site that is not included in the machine learning data D1, for example, a small number of pages of a new site, based on the text part determination data.

≪境界探索処理の他例≫
本発明は、上記実施形態に限定されるものではなく、境界探索処理に探索フラグを補正（切り替え）する対象ノード補正機能部１０ｂを境界取得機能部１０に追加することもできる。 ≪Other examples of boundary search processing≫
The present invention is not limited to the above embodiment, and a target node correction function unit 10b that corrects (switches) a search flag in the boundary search process may be added to the boundary acquisition function unit 10.

図８に基づき対象ノード補正機能部１０ｂの処理を説明する。ここでは図６中のＳ３６の兄弟ノードを入力タグパス「ＰＡＲＥＮＴ＿ＰＡＴＨ」とし、該兄弟ノードのリーフノードの境界探索機能部１０ａに対する入力は行われないものとする。 The processing of the target node correction function unit 10b will be described based on FIG. Here, it is assumed that the sibling node of S36 in FIG. 6 is the input tag path “PARENT_PATH”, and no input is made to the boundary search function unit 10a of the leaf node of the sibling node.

まず、対象ノード補正機能部１０ｂは、入力タグパスの各子ノード「ＣＨＩＬＤ＿ＰＡＴＨ＿ｘｘ」に対する探索フラグと、本文部分判定データＤ３の判定結果とを取得する（Ｓ５１．Ｓ５２）。この取得後に各子ノードの探索フラグ「０ｏｒ１」を確認する（Ｓ５３）。 First, the target node correction function unit 10b acquires a search flag for each child node “CHILD_PATH_xx” of the input tag path and a determination result of the body part determination data D3 (S51 and S52). After this acquisition, the search flag “0 or 1” of each child node is confirmed (S53).

この確認の結果、各子ノードがリーフノード等であって探索フラグ「１」であれば（Ｓ５４）、入力タグパス「ＰＡＲＥＮＴ＿ＰＡＴＨ」に対する判定結果が正例か否かを確認する（Ｓ５６）。この確認の判定結果が正例であればＳ５７に進む一方、不例であればＳ５８に進む。 As a result of the confirmation, if each child node is a leaf node or the like and the search flag is “1” (S54), it is confirmed whether or not the determination result for the input tag path “PARENT_PATH” is a normal example (S56). If this determination result is positive, the process proceeds to S57, and if not, the process proceeds to S58.

Ｓ５７．Ｓ５８では、各子ノード「ＣＨＩＬＤ＿ＰＡＴＨ＿ｘｘ」の判定結果が正例の割合が閾値以上か否かを確認する。Ｓ５７の確認の結果、前記割合が前記閾値以上であれば、入力タグパス「ＰＡＲＥＮＴ＿ＰＡＴＨ」の探索フラグを「１」に切り替え、図６中のＳ３６に出力し、Ｓ３６ａに進む。一方、前記割合が前記閾値未満であれば、判定結果を不例に補正（Ｓ５９）した後に、同様に入力タグパス「ＰＡＲＥＮＴ＿ＰＡＴＨ」の探索フラグを「１」に切り替え、図６中のＳ３６に出力し、Ｓ３６ａに進む。 S57. In S58, it is confirmed whether or not the determination result of each child node “CHILD_PATH_xx” is greater than or equal to the threshold value. As a result of the confirmation in S57, if the ratio is equal to or greater than the threshold value, the search flag of the input tag path “PARENT_PATH” is switched to “1”, output to S36 in FIG. 6, and the process proceeds to S36a. On the other hand, if the ratio is less than the threshold value, the search result of the input tag path “PARENT_PATH” is similarly switched to “1” after the determination result is corrected (S59) as an example, and output to S36 in FIG. The process proceeds to S36a.

Ｓ５８の確認の結果、前記割合が前記閾値未満であれば、入力タグパス「ＰＡＲＥＮＴ＿ＰＡＴＨ」の探索フラグを「１」に切り替え、図６中のＳ３６に出力し、Ｓ３６ａに進む。一方、前記割合が前記閾値以上であれば、判定結果を正例に補正（Ｓ５９）した後に、同様に入力タグパス「ＰＡＲＥＮＴ＿ＰＡＴＨ」の探索フラグを「１」に切り替え、図６中のＳ３６に出力し、Ｓ３６ａに進む。 As a result of the confirmation in S58, if the ratio is less than the threshold, the search flag of the input tag path “PARENT_PATH” is switched to “1”, output to S36 in FIG. 6, and the process proceeds to S36a. On the other hand, if the ratio is equal to or greater than the threshold, the search result of the input tag path “PARENT_PATH” is similarly switched to “1” after the determination result is corrected to a positive example (S59), and output to S36 in FIG. The process proceeds to S36a.

このようにＳ５９で入力タグパスの判定結果が補正されるため、兄弟ノードの判定結果の補正結果に基づき３７．Ｓ３８の割合を算出でき、境界探索の精度を向上させることができる。 As described above, since the determination result of the input tag path is corrected in S59, 37. The ratio of S38 can be calculated, and the accuracy of the boundary search can be improved.

一方、Ｓ５３の確認の結果、探索フラグ「０」の子ノードがあれば、入力タグパス「ＰＡＲＥＮＴ＿ＰＡＴＨ」の対象ノード補正処理を待機させ、該子ノードのタグパスを対象ノード補正機能部１０ｂに入力し（Ｓ５５）、該タグパスを入力とするＳ５１〜Ｓ５９の補正処理を優先させる。この入力タグパスの待機は、すべての子ノードの探索フラグが「１」の親ノード、例えばリーフノードの親ノードの入力まで繰り返される。そして、探索フラグ「１」の親ノードから順次上位ノードまで遡って処理を再開し、待機中の最上位ノードの探索フラグが「１」になれば、Ｓ５６に進む。 On the other hand, if there is a child node with the search flag “0” as a result of the confirmation in S53, the target node correction processing of the input tag path “PARENT_PATH” is made to wait, and the tag path of the child node is input to the target node correction function unit 10b ( S55), priority is given to the correction processing of S51 to S59 using the tag path as an input. This standby of the input tag path is repeated until the input of the parent node whose search flag of all the child nodes is “1”, for example, the parent node of the leaf node. Then, the processing is resumed sequentially from the parent node of the search flag “1” to the upper node, and if the search flag of the uppermost node in the standby state becomes “1”, the process proceeds to S56.

≪プログラムなど≫
本発明は、前記各部２〜１２の一部若しくは全部としてコンピュータを機能させる本文抽出プログラムとして構成することもできる。この場合には前記各ステップ（Ｓ０１〜Ｓ０５．Ｓ１１〜Ｓ１６．Ｓ２１〜Ｓ３０．Ｓ３１〜Ｓ４１．Ｓ５１〜Ｓ５９を含む）の全ステップあるいは一部のステップをコンピュータに実行させる。 ≪Programs≫
The present invention can also be configured as a text extraction program that causes a computer to function as a part or all of each of the units 2 to 12. In this case, the computer is caused to execute all or some of the steps (including S01 to S05.S11 to S16.S21 to S30.S31 to S41.S51 to S59).

このプログラムは、Ｗｅｂサイトや電子メールなどネットワークを通じて提供することができる。また、前記プログラムは、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ，ＤＶＤ−Ｒ，ＤＶＤ−ＲＷ，ＭＯ，ＨＤＤ，ＢＤ−ＲＯＭ，ＢＲ−Ｒ，ＢＤ−ＲＥなどの記録媒体に記録して、保存・配布することも可能である。この記録媒体は、記録媒体駆動装置を利用して読み出され、そのプログラムコード自体が前記実施形態の処理を実現するので、該記録媒体も本発明を構成する。 This program can be provided through a network such as a website or e-mail. The program is stored in a recording medium such as a CD-ROM, DVD-ROM, CD-R, CD-RW, DVD-R, DVD-RW, MO, HDD, BD-ROM, BR-R, BD-RE. It is also possible to record, save and distribute. This recording medium is read using a recording medium driving device, and the program code itself realizes the processing of the above embodiment, so that the recording medium also constitutes the present invention.

１…本文抽出装置
２…機械学習用データ記憶部
３…機械学習機能部
４…本文部分判定モデルＤＢ（データベース）
５…解析対象文書記憶部
６…解析対象データ作成機能部
７…解析対象データ記憶部
８…本文部分判定機能部（本文部分判定手段）
９…本文部分判定データ記憶部
１０…境界取得機能部（境界取得手段）
１０ａ…境界探索機能部
１０ｂ…対象ノード補正機能部
１１…境界判定データ記憶部
１２…本文抽出機能部（本文抽出手段）
Ｄ１…機械学習用データ
Ｄ２…解析対象データ
Ｄ３…本文部分判定データ
Ｄ４…境界判定データ DESCRIPTION OF SYMBOLS 1 ... Text extracting device 2 ... Data storage part for machine learning 3 ... Machine learning function part 4 ... Text part determination model DB (database)
5 ... Analysis target document storage unit 6 ... Analysis target data creation function unit 7 ... Analysis target data storage unit 8 ... Text part determination function part (text part determination means)
9 ... Text part determination data storage unit 10 ... Boundary acquisition function unit (boundary acquisition means)
DESCRIPTION OF SYMBOLS 10a ... Boundary search function part 10b ... Target node correction | amendment function part 11 ... Boundary determination data storage part 12 ... Text extraction function part (text extraction means)
D1 ... Machine learning data D2 ... Analysis target data D3 ... Text part judgment data D4 ... Boundary judgment data

Claims

A document structured in a tree structure based on learning results of machine learning using feature information of each node in the tree structure of the learning document and a label that classifies whether each feature information is a positive example as a body part A document extraction method for extracting a body part from
A text part determination step for classifying the feature information extracted for each node of the input document based on the learning result to determine whether each node is a text part,
Border acquisition means, a tree structure of the input document, body part determination step of the determination result acquires a leaf node is a body part, a leaf node as a lower node, from the lower level node in response to the determination result of lower nodes A boundary acquisition step of sequentially searching the boundary of the text part going back to the upper node and acquiring the boundary;
A text extraction means for extracting a text string under the boundary acquired in the boundary acquisition step as a text part;
In the boundary acquisition step, when the determination result of the search target node for searching for the boundary is a body part,
In the determination result, if the ratio of the body part to the sibling node of the search target node is not equal to or greater than the threshold, the search target node is set as the boundary,
If the ratio is equal to or greater than the threshold value, the search target node is replaced with a parent node, and the boundary is searched.

The boundary acquisition step corrects the determination result of the parent node to a non-text part if the ratio is not equal to or greater than the threshold when the determination result for the parent node to be searched is a text part.
2. The document according to claim 1, wherein when the determination result with respect to a parent node to be searched is a non-text part, the determination result of the parent node is corrected to a text part if the ratio is equal to or greater than the threshold. Extraction method.

In the boundary acquisition step, if the sibling node has a child node, priority is given to the search for the boundary using the child node as a search target node,
The method according to claim 2, wherein if the determination result of the sibling node is corrected as a result of prioritizing the search, the ratio is obtained based on the corrected determination result.

A document extraction device that extracts a body area from a document structured in a tree structure,
A database that holds the result of machine learning using feature information of each node in the tree structure of the learning document and a label that classifies whether each feature information is a positive example as a body part;
Body part determination means for classifying the feature information extracted for each node of the input document based on the information held in the database and determining whether each node is a body part;
Tree structure of the input document, the determination result of the body part determining means obtains a leaf node is a body part, a leaf node as a lower node, back from the lower level node to the upper node according to the determination result of lower nodes Boundary acquisition means for sequentially searching the boundary of the body part and acquiring the boundary;
Text extraction means for extracting a character string under the boundary acquired by the boundary acquisition means as a text part, and
The boundary acquisition means, when the determination result of the search target node for searching the boundary is a body part,
In the determination result, if the ratio of the body part to the sibling node of the search target node is not equal to or greater than the threshold, the search target node is set as the boundary,
If the ratio is equal to or greater than the threshold, the search target node is replaced with a parent node to search for the boundary.

The boundary acquisition unit corrects the determination result of the parent node to a non-text part if the ratio is not equal to or greater than the threshold when the determination result for the parent node to be searched is a text part.
5. The document according to claim 4, wherein when the determination result for the parent node to be searched is a non-text part, the determination result of the parent node is corrected to the text part if the ratio is equal to or greater than the threshold value. Extraction device.

If the sibling node has a child node, the boundary acquisition means prioritizes the search for the boundary with the child node as a search target node,
6. The document extracting apparatus according to claim 5, wherein if the determination result of the sibling node is corrected as a result of prioritizing the search, the ratio is obtained based on the corrected determination result.

A text extracting program for causing a computer to function as each means of the text extracting device according to any one of claims 4 to 6.