JP7252818B2 - デジタル文書からのデータ抽出システム - Google Patents

Description

本発明は、デジタル文書からグラフや表などのデータを抽出する手法に関する。

人工知能（AI：Artificial Intelligence）などによるデータ分析で、デジタル文書として発行されている新聞記事、論文、企業の決算報告などのデータを分析し、ユーザにとって価値ある情報を提供するサービスが一般的になっている。データ分析を行うための準備として、Webなどから収集した大量のデジタル文書を、利活用がしやすい形式に変換する処理が必要となる。デジタル文書は、Hyper Text Markup Language（HTML）やExtensible Markup Language（XML）といった、様々なファイルフォーマットで提供されるが、これらのフォーマットのデジタル文書には、データそのものの他に、データの構造を示すメタ情報が含まれている。このようなデジタル文書の構造を解析し、デジタル文書のタイトルや、本文、著者、発行日、表、グラフといった、分析対象とするデータのみを抽出し、Data Base（DB）などのストレージ装置に格納する変換処理を、データ分析のデータ準備として行う必要がある。

現在、数多くのデジタル文書がPortable Document Format（PDF）のファイルとして頒布されており、PDFファイルの分析が、データ分析において求められている。データ分析を行う際、データ準備として、PDFファイルの構造を解析し、分析対象のデータを抽出する処理を行う必要がある。表やグラフといったデータは、重要な情報が格納されている可能性が高く、表やグラフデータの抽出が強く求められる。

PDFファイルは、テキストとバイナリが混在するなど、複雑なフォーマットとなっており、そのままでは、データ構造の解析が難しい。また、PDFファイルは、文書ページ中のオブジェクト（テキスト、画像など）と、当該オブジェクトがページ中のどこに存在するかを示す座標情報によって構成されており、各オブジェクトが、どのようなデータかを示す情報は、埋め込まれていない。例えば、文書ページ中のテキストが、文書の本文なのか、それとも、表データなのかといった情報は、PDFファイルには埋め込まれておらず、これに複雑なフォーマットであることも加わり、PDFファイルでは、文書中のデータの識別と抽出が難しい。

従来技術として、PDFファイルのテキストデータを、データ構造の解析が容易なフォーマットに変換したうえで、表データの抽出処理を行う方式がある。PDFファイルからの表データの抽出は、表の検出、レイアウト認識、および表中テキストの抽出によって行われる。表の検出は、PDFファイルの文書ページから表を検出すること、レイアウト認識は、表の各セルが、どの行、列に属するかを認識する処理である。表中テキストの抽出は、検出した表内のテキストを抽出する処理である。抽出したテキストは、元の表の構造（レイアウト）を再現したHTMLのテーブル表現や、DBのテーブルなどの形式で、ストレージ装置に保存する。

従来技術の一つは、PDFファイルを画像ファイルに変換し、データ構造の解析を行う方式である。表の罫線などの画像情報（表の罫線など）を解析し、表の検出および表レイアウトの認識を行う。表中テキストの抽出は、OCR（Optical Character Recognition/Reader）によって行う。特許文献１では、表を画像データとして抽出し、画像解析によって表データを抽出する技術が示されている。

もう一つは、PDFファイルを座標情報付きのテキストファイルに変換し、データ構造の解析を行う方式である。PDFMiner（https://github.com/euske/pdfminer/）等のテキスト抽出ツールを用いると、PDF文書中のテキストに対して、ページ内での座標を付与したテキストファイルを得ることができる。座標は、ある程度まとまった単位（単位ごと、文章ごと、など）で付与される。座標情報付きのテキストを解析し、テキスト間の位置関係を解析することで、表データの検出とレイアウト認識を行う。例として、非特許文献１などが挙げられる。

US20150093021A1

Martha et.al., "TAO: System for Table Detection and Extraction from PDF Documents", FLAIRS Conference, 2016

特許文献１の画像解析によって表データ抽出を行う方式では、ページ中の表ではないオブジェクトを表と誤検出してしまう問題がある。また、表のレイアウト認識において、横方向の罫線しか含まない表など、画像情報が不足している表では、表のレイアウトを正確に認識出来ない問題がある。また、表中テキストの抽出において、OCRのテキスト誤認識が発生する問題がある。

一方、非特許文献１の座標情報付きテキストを解析し、表データ抽出を行う方式では、表の罫線などの画像情報を用いることができないため、表の検出において、表の範囲を正しく認識することが、難しい問題がある。

そこで本願発明の課題は、デジタル文書を対象とした、データ分析の質を向上することにある。

本発明の好ましい一側面は、文書ページ中のオブジェクトと当該オブジェクトの座標情報を含むデジタル文書を、画像データと座標情報付きのテキストデータに変換する変換処理部と、テキストデータから、抽出したいオブジェクトに関連するキャプションを抽出するテキストデータ解析部と、画像データから、抽出したキャプションの情報に基づいて、抽出したいオブジェクトの検出を実行する画像解析部と、を備えるデジタル文書からのデータ抽出システムである。

本発明の好ましい他の一側面は、デジタル文書から所望のオブジェクトを抽出する、デジタル文書からのデータ抽出方法であって、デジタル文書から座標情報付きのテキストデータを生成する、テキストデータ生成処理、キーワード検索により、テキストデータから所望のオブジェクトのキャプションを検出する、キャプション検出処理、キャプションが検出されたデジタル文書の頁の画像データから、所望のオブジェクトを抽出する、オブジェクト抽出処理、を備える、デジタル文書からのデータ抽出方法である。

デジタル文書を対象とした、データ分析の質が向上する。上記した以外のさらに具体的な課題、構成、及び効果は、以下の実施形態の説明により明らかにされる。

実施例に係るデータ抽出装置のハードウェア構成を示すブロック図。 実施例に係るデータ抽出プログラムの論理構成を示す論理ブロック図。 表のキャプションを検出する際の処理を示す流れ図。 PDFファイルを座標情報付きのテキストファイルに変換した際の、座標情報付きテキストファイルの例を示す表図。 表のキャプションを検出する際、表のキャプションと本文を区別するために用いる文章パターンの例を示す表図。 画像解析部に送られる表のキャプションの検出結果の例を示す表図。 表の検出および、レイアウト認識を実行する際の処理を示すフロー図。 表の検出を実行する際、どのように画像解析を行う範囲を限定するかを示す説明図。 罫線によってセルが格子状に表現されている表のレイアウト認識を実行する際の処理を示すフロー図。 罫線情報が不足している表のレイアウト認識を実行する際の処理を示すフロー図。 結合セルを含み、かつ、罫線情報が不足している表の行・列の認識を実行する際の処理を示すフロー図。 ヒストグラム解析を行なう表の例を示す表図。 ヒストグラム解析により、セルの認識を行った結果の例を示す表図。 表のレイアウト認識において、正しくレイアウトを認識した場合の例を示す説明図。 表のレイアウト認識において、誤ってレイアウトを認識した場合の例を示す説明図。 座標情報テキストファイル内に存在するPDF文書の本文を解析し、表のレイアウト認識を行う方法を示す説明図。 データ抽出プログラムが抽出する表の座標情報の構造を示す表図。 データ抽出プログラムが、表中のテキストを抽出し、出力する処理を示すフロー図。 データ抽出プログラムが、表データを出力する形式の例を示す説明図。 データ抽出プログラムが、抽出した表データの性質を示す情報を、座標情報付きのテキストファイルから抽出する処理を示すフロー図。 抽出した表データの性質を示す情報を、座標情報付きのテキストファイルから抽出ために用いる、文章パターンの例を示す表図。 抽出したグラフデータの性質を示す情報を、座標情報付きのテキストファイルから抽出するために用いる、文章パターンの例を示す表図。 データ抽出プログラムが、グラフの検出と出力を実行する際の処理を示すフロー図。

以下では、本発明の実施例を、図面を参照して説明する。なお、以下に説明する実施例は特許請求の範囲にかかる発明を限定するものではなく、また実施例で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。

以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、重複する説明は省略することがある。

同一あるいは同様な機能を有する要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、複数の要素を区別する必要がない場合には、添字を省略して説明する場合がある。

本明細書等における「第１」、「第２」、「第３」などの表記は、構成要素を識別するために付するものであり、必ずしも、数、順序、もしくはその内容を限定するものではない。また、構成要素の識別のための番号は文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。

図面等において示す各構成の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。

本明細書において単数形で表される構成要素は、特段文脈で明らかに示されない限り、複数形を含むものとする。

なお、以下の説明では、「プログラム」を主語として処理を説明する場合があるが、プログラムは、プロセッサ（例えばCentral Processing Unit（CPU））によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）及び／又は通信インターフェースデバイス（例えばポート）を用いながら行うため、処理の主語がプログラムとされても良い。プログラムを主語として説明された処理は、プロセッサ或いはそのプロセッサを有する計算機が行う処理としても良い。

以下で詳細に説明される実施例は、デジタル文書から表やグラフ等の所望のオブジェクトを抽出するものであり、その概要を以下に述べる。一つの実施例のシステムでは、PDFファイルを座標情報付きのテキストファイルに変換し、座標情報付きのテキストファイルから表のキャプションを検出する。そして、キャプションを検出したPDFファイルの文書ページを、画像ファイルに変換する。次に、画像ファイルに変換したページに対して、画像解析を行い、表を検出する。この際、表キャプションの座標をもとに、画像解析を実施する画像の範囲を限定する。表のキャプションの座標は、座標情報付きのテキストファイルから取得する。

なお、実施例ではPDFを例に説明しているが、文書ページ中のオブジェクト（テキスト、画像など）と、当該オブジェクトの座標情報を含んでいるデジタル文書であれば、これに限るものではない。このようなデジタル文書からは、座標情報付きのテキストファイルや画像ファイルを容易に生成することができる。

表キャプションを含むページにのみ画像解析を行うことで、表を含まないページから、表でないものを表として検出してしまう表の誤検出を回避することができる。また、表のキャプションの位置から画像解析の範囲を限定することで、画像解析においてノイズとなる情報を減らし、表でないものを表として認識してしまう表の誤検出が発生する可能性を低減することができる。また、表の検出を画像解析によって行う事で、表の検出において罫線等の情報も利用することができ、表の範囲を正確に認識することができる。なお、表とは一般には、文字や数字などのデータを、縦横の罫線で格子状に区切ったセルに記述して表したものであるが、罫線の一部または全部が省略される場合もある。また、セルが部分的に結合したり分離したりすることもある。

画像解析により検出した表に対して、レイアウト認識を実施する。この際、横方向の罫線しか含まない表など、画像情報が不足している表では、座標情報付きのテキストファイルから、表の構造を説明する本文を抽出し、表のレイアウトの推測に利用できる。これにより、表のレイアウトを正確に認識することが可能となる。

画像解析によって検出・レイアウト認識を実行した表の各セルの座標情報を抽出する。この座標情報と、座標情報付きテキストファイルの内容を照合し、各セルのテキストを座標情報付きテキストファイルから抽出する。これにより、OCRによるテキストの誤認識を回避することができる。また、座標情報付きテキストファイルと予め定義した文章パターンを照合し、表の内容を説明する本文を、表データの性質を示す情報として抽出することができる。

他の実施例では、PDFファイルを座標情報付きのテキストファイルに変換し、座標情報付きのテキストファイルからグラフのキャプションを検出する。そして、キャプションを検出したPDFファイルの文書ページを、画像ファイルに変換する。次に、画像ファイルに変換したページに対して、画像解析を行い、グラフを検出する。この際、グラフキャプションの座標をもとに、画像解析を実施する画像の範囲を限定する。グラフキャプションの座標は、座標情報付きのテキストファイルから取得する。グラフキャプションを含むページにのみ画像解析を行うことで、グラフを含まないページから、グラフでないものをグラフとして検出してしまうグラフの誤検出を回避することができる。また、グラフのキャプションの位置から画像解析の範囲を限定することで、画像解析においてノイズとなる情報を減らし、グラフでないものをグラフと検出してしまうなど、グラフの誤検出が発生する可能性を低減することができる。なお、グラフとは一般に、互いに関係のある二つ以上の数量の関係を図として示したものである。

また、座標情報付きテキストファイルと予め定義した文章パターンを照合し、座標情報付きテキストファイルから、グラフの内容を説明する本文を、グラフデータの情報を示す情報として抽出することができる。

図１を用いて、実施例１に係るデータ抽出装置の計算機システムの概要を説明する。図１は、実施例に係る計算機システムのハードウェア構成を示す。データ抽出装置１００はデータ抽出プログラムを実行し、PDFファイルから、表データを抽出する。CPU１０２は、バス１０１を介して主記憶装置であるメモリ１０３と接続しており、メモリ１０３上のデータ抽出プログラムを実行する。

CPU１０２およびメモリ１０３は、バス１０１を介して、二次記憶装置であるディスク装置１０４と接続している。CPU１０２上で実行されるデータ抽出プログラムは、ディスク装置１０４に格納されているPDFファイルをメモリ１０３上に読みこんだり、ディスク装置１０４に格納されているPDFファイルにデータを書き込んだりすることができる。

以上のハードウェア構成は、一般的なサーバで構成することができる。図示はしていないが、一般的なサーバが備える各種の入力装置や出力装置を備えていても良い。以上のハードウェア構成は、単体のサーバで構成してもよいし、あるいは、入力装置、出力装置、CPU、ディスク装置の任意の部分が、ネットワークで接続された他のサーバで構成されてもよい。また、本実施例中、ソフトウエアで構成した機能と同等の機能は、FPGA（Field Programmable Gate Array）、ASIC（Application Specific Integrated Circuit）などのハードウェアでも実現できる。

なお、本実施例では、対象のファイルとしてPDFファイルを例とするが、文書ページ中のオブジェクト（テキスト、画像など）と、当該オブジェクトがページ中のどこに存在するかを示す座標情報を含んでいれば、他の形式のデジタル文書であってもよい。

図２は、実施例１に係るデータ抽出プログラム２００の機能ブロック構成を示す。変換処理部２０１は、ディスク装置１０４に格納されているPDFファイルを読み込み、座標情報付きのテキストファイルに変換する。また、ディスク装置１０４に格納されているPDFファイルを読み込み、画像ファイルに変換する。

テキストデータ解析部２０２は、座標情報付きのテキストファイルを解析し、表キャプションを抽出する。また、座標情報付きのテキストファイルを解析して、表の構造を説明する本文と、表の性質を示す本文を抽出する。ここで、キャプションとは写真・図版・表・グラフなどに付される表題やタイトルをいい、実施例１では表に付されるキャプション（例えば「表１：○○○のデータ」）を抽出する。

画像解析部２０３は、テキストデータ解析部２０２から受け取った表キャプションの情報をもとに画像ファイルを解析し、表の検出を行う。また、テキストデータ解析部２０２が座標情報付きテキストファイルを解析して得た表の構造を説明する本文をもとに、表のレイアウト認識を実行する。そして、表の座標情報を抽出する。

データ格納部２０４は、画像解析部２０３が抽出した表の座標情報と、座標情報付きテキストファイルを照合し、表中テキストの抽出をおこなう。そして、抽出したテキストを、ファイルやDBのテーブルとして出力する。

図３は実施例１に係るデータ抽出プログラム２００が、表データの抽出を行う一連の処理において、表キャプションを抽出する処理３００を示す。まず、変換処理部２０１が、表データを抽出するPDFファイルを座標情報付きのテキストファイルに変換する（処理３１０）。

図４のファイル４００は、座標情報付きのテキストファイルの例を示している。図４に示すように、変換したPDFファイルの文書ページごとにタグを付与し、メタ情報として、ページの横方向・縦方向の大きさ（ページサイズ）と、ページ番号を付与する。また、文書ページ中の各テキストに対し、タグを付与し、メタ情報として、テキストの座標情報を付与する。図４の例では、テキストの左上部の横座標・縦座標と、テキストの幅と高さを、座標情報として付与している。例では、ページごとにPAGEタグを、テキストごとにTOKENタグを付与しているが、タグ名は別のものでも良い。座標情報付きテキストファイルへの変換は、PDFMiner等の、既存のテキスト抽出ツールを用いることで、実行する事ができるし、独自の変換処理を開発して組み込んでもよい。

次に、テキストデータ解析部２０２が、座標情報付きのテキストファイルから、表のキャプションの抽出を行う。まず、座標情報付きのテキストファイルに対し、「表」、「Table」といった、表のキャプションに含まれそうなキーワードを含むテキストを検索する処理を行う（処理３１１）。検索は、TOKENタグを付与されたテキストに対して行う。キーワードを含むテキストを検出したら、それを抽出する。

次に、座標情報付きテキストファイルの座標情報をもとに、キーワードを含むテキストの周囲のテキストも抽出する（処理３１２）。テキストを抽出する範囲は、予め設定しておく。そして、抽出したテキスト全体を、予め設定した文章パターンと照合する（処理３１３）。

図５Ａは、抽出したテキストと照合するために、予め設定した文章パターンを格納したテーブルの例である。これらの文章は、本文中で表などを引用したり参照したりする際に用いられる表現であり、これらの文章が表のキャプションとして用いられる可能性は小さい。テーブル５００に示すような文章パターンは事前に定義しておき、ディスク装置１０４等に格納しておく。

もし、テキスト全体が、「表○○は××を示す」（○○、××は任意の単語・文字）などといった、テーブル５００に含まれる文章パターンのいずれかと一致する一連の文章になっていたら、キーワードを含むテキストを、表キャプションではないと判断する（処理３１４：No）。

もし、一連の文章になっていなければ、キーワードを含むテキストが、表キャプションであると判断し（処理３１４：Yes）、当該テキストを含むページのページ番号とページサイズ、当該テキスト、当該テキストの座標情報を、表キャプションの情報として抽出し、画像解析部２０３に送る（処理３１５）。処理３１２から処理３１５までの一連の処理は、キーワード検索によって得られたテキスト数だけ繰り返す（処理３１６）。

図５Ｂのテーブル５１０は、画像解析部２０３に送られる表キャプションの情報の例を示す。ページごとにページ番号とページサイズを記録し、各ページについて、検出したキャプションと、その座標（座標情報付きテキストファイル上での座標）を記録する。

図６は、データ抽出プログラム２００が、表データの抽出を行う一連の処理において、表の検出・レイアウト認識を行う処理６００を示す。表の検出・レイアウト認識処理６００は、処理３００において表キャプションが検出されたページそれぞれに対して、実行される。

まず、画像解析部２０３が、テキストデータ解析部２０２が、処理３００において作成したテーブル５１０を参照し、表キャプションを含むページのページ番号を確認する（処理６１０）。そして、PDFファイルの当該文書ページを、画像ファイルに変換する（処理６１１）。画像ファイルへの変換は、pdftoppm（https://www.xpdfreader.com/pdftoppm-man.html）等の、既存の画像変換ツールを用いることで、実行することができるし、独自の変換処理を開発して組み込んでもよい。

次に、処理３００においてテキストデータ解析部が抽出した表キャプションの座標情報（図５Ｂのテーブル５１０参照）を、画像ファイルの座標スケールに合わせる処理を行う（処理６１２）。画像ファイル上での当該文書ページのサイズをもとに、表キャプションの座標情報を、座標情報付きテキストファイル上での座標情報から、画像ファイル上での座標情報に変換する。変換は、以下の式で実行することができる。

表キャプションの横座標（画像ファイル）＝
表キャプションの横座標（テキストファイル）×（文書ページの横方向サイズ（画像ファイル）÷文書ページの横方向サイズ（テキストファイル））

表キャプションの縦座標（画像ファイル）＝
表キャプションの縦座標（テキストファイル）×（文書ページの縦方向サイズ（画像ファイル）÷文書ページの縦方向サイズ（テキストファイル））

画像ファイル上での文書ページのサイズは、OpenCV（https://opencv.org）等の画像処理ライブラリによって取得することが出来る。

次に、画像解析部２０３は、表検出を実行する画像範囲を限定する処理を行う（処理６１３）。画像範囲の限定は、表キャプションの座標をもとに行う。なお、図６のフローでは、キャプションが抽出された頁のみを画像変換しているが、予め全ての頁を画像変換しておいてもよい。

図７は、画像解析部２０３が、表検出を実行する画像範囲を限定する際の例を示している。画像７００では、表キャプションが、表の左上に配置されていることを前提として、表検出を実行する範囲を領域７０１に限定している。画像７１０では、表キャプションが、表の左上に配置されていることを前提として領域７１１と領域７１２に限定している。

画像７１０に示すように、同一ページ中に複数の表キャプションが含まれる場合では、表キャプション同士の位置関係から、表検出を実行する画像範囲に、複数の表が含まれないように、画像範囲を限定する。

例では、表キャプションが表の左上に存在することを前提としているが、表キャプションの位置は、文書ごとに異なっている。表検出を実行する画像範囲を限定する際は、表キャプションと表の位置関係を考慮して、画像範囲を限定する際の処理を変更する必要がある。

この場合、例えばユーザが処理６００の開始前に、表キャプションと表検出を実行する画像範囲の位置関係を指定するように構成してもよい。あるいは、処理６１３を省略して、表キャプションを含む頁全体を表検出を実行する画像範囲としてもよい。ただし、表キャプションと表検出を実行する画像範囲の位置関係を利用するほうが、処理量の低下と精度の向上が期待できる。

次に、画像解析部２０３は、処理６１３で限定した画像範囲から、表検出を実行する（処理６１４）。表検出はどのような方法を用いても良い。例えば、画像処理ライブラリ等を用いて矩形検出を行い、検出した矩形を表として検出する方法がある。また、画像処理ライブラリ等を用いて直線検出を行い、縦方向の座標上で最も上位にある直線と、最も下位にある直線を、表の上辺と下辺として、上辺、下辺に囲まれている範囲を、表として検出してもよい。

次に、画像解析部２０３は、処理６１４で検出した表のレイアウト認識を実行する（処理６１５）。この処理は、処理６１４で認識した表それぞれに実行される。表のレイアウト認識は、どのような方法を用いてもよい。

図８Ａは表レイアウト認識処理の一例の流れ図である。例えば、図８Ａの処理６１５Ａは、表の各セルの範囲が、縦方向・横方向の罫線で表現されている表の、レイアウト認識の例を示している。

この例では、まず画像処理ライブラリ等を用いて、処理６１４で検出した表の範囲に対して、矩形検出処理を実行する（処理８１１０）。そして、検出した各矩形を、表の各セルとして認識する。そして、各セルの座標情報、例えば、表の左上の点の横座標・縦座標、セルの幅、高さを、画像処理ライブラリ等を用いて抽出する（処理８１１１）。そして、この座標情報をもとに、セルごとに、縦方向・横方向で、それぞれ隣接するセルを判定し、同一列、同一行に属するセルを認識する（処理８１１２）。以上の処理は、画像解析部２０３が画像解析により実行する。

図８Ｂの処理６１５Ｂは、横方向の罫線のみを含む表のレイアウト認識の例を示している。
図８Ｃは、処理６１５Ｂのうちの処理８２１２の詳細を示す流れ図である。
処理６１５Ｂの例では、画像解析部２０３は、まず画像処理ライブラリ等を用いて、処理６１４で検出した表の範囲に対してヒストグラム解析を行う（処理８２１０）。表画像の縦方向、横方向において、色を持つピクセルの数をカウントしていき、ヒストグラムを作成する。そして、ヒストグラムの谷の部分をセルのバウンダリとして、表の各セルを認識する。

図９Ａと図９Ｂは、横方向の罫線のみを含む表において、ヒストグラム解析によってセルを認識する際の例を示している。図９Ａの表９１１０は、ヒストグラム解析を行う表の例を示し、図９Ｂの表９１２０は、表９１１０に対して、ヒストグラム解析を行った結果を示している。表９１２０において、点線で囲まれている領域を、セルと認識し、各セルの座標情報、例えば、表の左上の点の横座標・縦座標、セルの幅、高さを、画像処理ライブラリ等を用いて抽出する（処理８２１１）。

次に、同一列・同一行に属するセルの認識を行う（処理８２１２）。図８Ｃは、横方向の罫線のみを含む表において、同一列・同一行に属するセルを認識する処理８２１２の詳細を示す。まず、各セルについて、他のセルとの座標距離を計算する（処理８３１０）。そして、縦方向にもっと近い距離のセル同士を同一列、横方向に最も近い距離のセル同士を同一行とする（処理８３１１）。しかし、これでは、行・列の認識を誤る可能性がある。

図９Ｃの表９２１０は、表９１１０の列を正しく認識した場合を示している。列９２１３と列９２１４が結合セル９２１７に接続し、同一列９２１１として認識される。同様に、列９２１５と列９２１６が、結合セル９２１８に接続し、同一列９２１２として認識される。

図９Ｄの表９２２０は、表９１１０の列を誤って認識した場合を示している。本来は、列９２２４が、結合セル９２２７に接続し、列９２２３と同様に、列９２２１に属するべきである。しかし、列９２２４が、列９２２５、列９２２６と結合セル９２２８によって接続し、同一列９２２２として認識されてしまっている。これは、セル９２２９に最も座標距離が近いセルが、結合セル９２２８と判定されてしまったことによる。

このような列・行の誤認識を修正するため、本実施例では、データ格納部２０４により、PDF文書の本文から、セルのレイアウトを推測する処理を行う。まず、各セル中のテキストを座標情報付きのテキストファイルから抽出する処理を行う（処理８３１２）。画像解析部２０３は、各セル中のテキストを座標情報付きのテキストファイルから抽出するため、各セルの座標情報を、画像ファイル上の座標情報から、座標情報付きのテキストファイル上での座標情報に変換する。変換は以下の式で行う。

セルの横座標（テキストファイル）＝
セルの横座標（画像ファイル）×（文書ページの横方向サイズ（テキストファイル）÷文書ページの横方向サイズ（画像ファイル））

セルの縦座標（テキストファイル）＝
セルの縦座標（画像ファイル）×（文書ページの縦方向サイズ（テキストファイル）÷文書ページの縦方向サイズ（画像ファイル））

セルの幅（テキストファイル）＝
セルの幅（画像ファイル）×（文書ページの横方向サイズ（テキストファイル）÷文書ページの横方向サイズ（画像ファイル））

セルの高さ（テキストファイル）＝
セルの高さ（画像ファイル）×（文書ページの横方向サイズ（テキストファイル）÷文書ページの横方向サイズ（画像ファイル））

データ格納部２０４では、この座標情報と、座標情報付きテキストファイル内の座標情報を照合し、座標上でセルの範囲内に存在するテキストを、セル中のテキストとして抽出する。ファイル４００を例とすると、TOKENタグが付与されている各テキストの座標情報を参照し、当該テキストの中心座標を以下の式で求める。

中心座標（X, Y）＝（横座標＋(幅/２), 縦座標＋（高さ/２））

この中心座標が、セルの座標範囲内に収まっていれば、当該テキストが当該セル中のテキストであると判定する。

次に、テキストデータ解析部２０２で、座標情報付きのテキストファイルから表の説明文を抽出、参照し（処理８３１３）、行・列の修正を行う（処理８３１４）。まず、座標情報付きのテキストファイルにおいてTOKENタグが付与されている全テキストを抽出し、各テキストの座標情報をもとに文章を形成する。これは、座標上で連続しているテキストを一連の文章として認識することで行う。そうして形成した文章に、表の構造を説明する文章パターンが含まれるかどうかを調べ、もし含まれていれば、その文章パターンが含まれている一文を、表の説明文と判定し、抽出する。

図９Ｅに、表の構造を説明する文章パターン９３００の例を示す。文章パターン９３００は、ディスク装置１０４等に予め記憶しておく。図の例では、文章パターンが1つだが、複数の文章パターンをあらかじめ用意しておき、いずれかの文章パターンが含まれれば、その一文を、表の説明文と判定しても良い。

次に、表の説明文の解析を行う。図９Ｅの説明文９３１０は、表９１１０の説明文が、文章パターン９３００によって抽出された例を示す。文章パターン９３００では、「××」をセル中テキストに含むセルと、「△△」をセル中テキストに含むセルが、「○○」をセル中テキストに含む結合セルによって接続し、同一の列を形成することを示す。よって、説明文９３１０を参照することで、「Step」をセル中テキストに含む結合セルに、「Compound」をセル中テキストに含むセルと、「Yield」をセル中テキストに含むセルがそれぞれ接続することがわかる。

処理８３１２で各セルに対応するテキストが抽出されているので、抽出した各セルのセル中テキストを参照すれば、説明文９３１０に基づいてセルの接続関係を推定することができる。たとえば、画像解析部によるセル間の座標距離をもとにした行・列の認識で、図９Ｄの表９２２０に示すように、結合セル９２２８とセル９２２９が同一列９２２２に属するというような誤認識が起きても、説明文９３１０とセル内テキストを照合することにより、説明文９３１０に基づくセルの接続関係と矛盾することが分かる。よって、図９Ｃの表９２１０に示すように、結合セル９２１７とセル９１１９が同一列９２１１を形成する、正しい列認識に修正することができる。

表レイアウトの認識処理が終了したら、次に、表の座標情報の出力を行う（処理６１６）。

図１０の座標情報１０００は、表レイアウト認識処理５１５によってレイアウト認識した表の座標情報の出力例を示している。表を構成する各セルにユニークなIDを付与し、各セルの座標情報（座標情報１０００の例では、セルの左上部の横座標、縦座標、セル幅、セルの高さ）を出力する。この座標情報は、画像ファイル上での座標情報である。また、各セルについて、表レイアウト認識処理によって認識した隣接セルのIDを出力する。隣接セルは、同一行と認識されたセル群において、最も横方向での座標距離が近いものと、同一列と認識されたセル群において、最も横方向での座標距離が近いものである。同一行の隣接セルは、左右それぞれ存在し、同一列の隣接セルは、上下それぞれ存在する。当該セルが結合セルの場合は、左右、上下、それぞれで、複数のセルと隣接する場合がある。また、抽出した表の座標情報１０００には、テーブル５１０に記載された表のキャプションにおいて対応するものを付与する。座標情報１０００は、画像解析部２０３から、データ格納部２０４に送られる。

処理６１４で検出された全ての表に対し、処理６１５と処理６１６を実行したら、表レイアウト認識処理を終了する（処理６１７：Yes）。そうで無ければ、引き続き、処理６１５と処理６１６を行う（処理６１７：No）。

表キャプションが検出された全てのページに対し、処理６１０から処理６１７までを実行したら、表検出・レイアウト認識処理を終了する（処理６１８：Yes）。そうで無ければ、引き続き、処理６１０から処理６１７を行う（処理６１８：No）。

図１１は実施例１に係るデータ抽出プログラム２００が、表データの抽出を行う一連の処理において、表中テキストを抽出し、出力する処理を示す。この処理は、処理６１４で検出された表の数だけ行う。

データ格納部２０４は、画像解析部２０３から受け取った表の座標情報１０００をもとに、各セルについて、座標情報付きのテキストファイルから、セル中テキストの抽出を行う（処理１１１０）。テキストの抽出方法は、処理８３１２で示した方法と同様である。

次に、抽出したテキストを、もとの表の構造を再現するデータに整形し、出力する（処理１１１１）。画像解析部２０３から受け取った表の座標情報から１０００、各セルの隣接セルを認識して、もとの表の構造を再現して、データを出力する。出力形式は、HTMLのテーブル表現やDBのテーブル構造が考えられる。

図１２のHTMLファイル１２１０は、表１２００をHTMLのテーブル表現で表したものである。HTMLファイル１２１０に示すように、各セルに、thタグ、またはtdタグを付与する。そして、同一行のセルを、trタグで囲み、全体をtableタグで囲むで、表の構造を表現する。水平方向の結合セルを表現する場合は、HTMLファイル１２１０に示すように、colspan属性を付与し、列方向の結合セルを表現する場合は、rowspan属性を付与する。

処理１１１０で抽出した各セルのテキストにthまたはtdタグを付与し、表の座標情報１０００内に記録されている各セルの隣接セルを参照して、同一行のセルをtrタグで囲むことで、HTMLのテーブル表現で、抽出した表データを出力することができる。列方向に複数の隣接セルを持つ結合セルの場合は、colspan属性を付与し、行方向に複数の隣接セルを持つ結合セルの場合は、rowspan属性を付与する。

出力形式は、必ずしもHTMLのテーブル表現である必要は無く、既に述べたように、DBのテーブル構造などでもよい。出力の際、表のキャプションをメタデータとして付与する。HTMLのテーブル表現として出力する場合は、tableタグの属性情報として表のキャプションを付与する方法などが考えられる。DBのテーブルの場合は、表のキャプションをテーブル名にしてしまう方法などが考えられる。出力したデータは、ファイルやDB等のかたちで、ディスク装置１０４上に保存する。

図１３は実施例１に係るデータ抽出プログラム２００が、表データの抽出を行う一連の処理において、表データの性質を示す情報を抽出し、出力する処理を示す。

まず、テキストデータ解析部２０２が、座標情報付きのテキストファイルにおいてTOKENタグが付与されている全テキストを抽出し、各テキストの座標情報をもとに文章を形成する。これは、座標上で連続しているテキストを一連の文章として認識することで行う。そうして形成した文章に、表の性質を説明する文章パターンが含まれるかどうかを調べる（処理１３１０）。

もし含まれていれば、その文章パターンが含まれている一文を、表の性質を示す情報として、抽出し、データ格納部に渡す。データ格納部は、渡された情報（テキスト）を、図１１で出力した表データと関連付けて、ファイルやDB等のかたちでディスク装置１０４上に保存する（処理１３１１）。

図１４は、表の性質を説明する本文を抽出する文章パターンの一例である、文章パターン１４００を示す表図である。

処理１１１１で出力した表データのメタデータである表キャプションを、処理１３１１で抽出した情報と照合することで、処理１１１１で出力した表データの性質を、データ分析時に、データ分析を実行するアプリケーションが、知ることができる。

実施例１では、デジタル文書中の表を抽出する例を示した。抽出するオブジェクトとしては表に限らず、グラフや図面等でもよい。実施例２では、デジタル文書中のグラフを抽出する例を説明する。

実施例２に係るデータ抽出装置の計算機システムの概要を説明する。実施例２に係る計算機システムのハードウェア構成は、図１と同様でよい。実施例２は、PDFファイルから、グラフデータを抽出する例であるため、データ抽出装置１００はグラフ抽出のためのデータ抽出プログラムを実行し、PDFファイルからグラフデータを抽出する。

グラフ抽出のためにメモリ１０３に格納されるデータ抽出プログラム２００の機能ブロック構成は、図２と同様でよい。ただし、各機能ブロック２０１～２０４が実行する具体的処理が実施例１と一部異なる。図２を参照して以下で説明する。

変換処理部２０１は、ディスク装置１０４に格納されているPDFファイルを読み込み、座標情報付きのテキストファイルに変換する。また、ディスク装置１０４に格納されているPDFファイルを読み込み、画像ファイルに変換する。この処理は実施例1と同様でよい。

テキストデータ解析部２０２は、座標情報付きのテキストファイルを解析し、グラフキャプションを抽出する。また、座標情報付きのテキストファイルを解析して、グラフの性質を示す本文を抽出する。

グラフキャプションを抽出する処理は、実施例１の図３に示すフローと同様であるが、キーワード検索処理３１１では、座標情報付きのテキストファイルに対し、「グラフ」、「Graph」といった、グラフのキャプションに含まれそうなキーワードを含むテキストを検索する処理を行う。また、文章パターンと照合する処理３１３では、図５Ａに示す表を抽出するための文章パターンの代わりに、グラフを抽出するための文章パターンを用いる。具体例としては、「グラフ」や「Graph」の内容を説明する文章パターンである。

抽出されたキーワード周辺のテキストが、文章パターンの文章になっていなければ、キーワードを含むテキストが、グラフキャプションであると判断し、図５Ｂと同様の情報（ただし表に関するデータは、グラフに関するデータに置き換わる）を画像解析部２０３に送る（処理３１５）。処理３１２から処理３１５までの一連の処理は、キーワード検索によって得られたテキスト数だけ繰り返す（処理３１６）。

また、グラフの性質を示す本文を抽出する処理も、図１３と同様であるが、図１４に示す表の性質を示す本文を抽出するための文章パターンの代わりに、グラフの性質を示す本文を抽出するための文章パターンを用いる。

図１５は、グラフの性質を示す本文を抽出するための文章パターンの一例である、文章パターン２３００を示す表図である。

画像解析部２０３は、テキストデータ解析部２０２から受け取ったグラフキャプションの情報をもとに画像ファイルを解析し、グラフの検出を行う。

データ格納部は２０４は、画像解析部２０３が抽出したグラフを、ファイルなどのかたちで出力する。

図１６は、データ抽出プログラム２００が、グラフデータの抽出を行う一連の処理において、グラフの検出・出力を行う処理２０００を示す。グラフの検出・出力処理２０００は、処理３００においてグラフのキャプションが検出されたページそれぞれに対して、実行される。

まず、画像解析部２０３が、テキストデータ解析部２０２が、処理３００において作成したテーブル５１０（ただし表キャプションはグラフキャプションに置き換わる）を参照し、グラフキャプションを含むページのページ番号を確認する（処理２０１０）。そして、PDFファイルの当該文書ページを、画像ファイルに変換する（処理２０１１）。画像ファイルへの変換は、実施例１と同様である。

次に、処理３００においてテキストデータ解析部２０２が抽出したグラフキャプションの座標情報を、画像ファイルの座標スケールに合わせる処理を行う（処理２０１２）。画像ファイル上での当該文書ページのサイズをもとに、グラフキャプションの座標情報を、座標情報付きテキストファイル上での座標情報から、画像ファイル上での座標情報に変換する。サイズ変換は、実施例１の変換式において、「表キャプション」を「グラフキャプション」に置き換えることで、表キャプションの場合と同様に実行することができる。

次に、画像解析部２０３は、グラフ検出を実行する画像範囲を限定する処理を行う（処理２０１３）。画像範囲の限定は、グラフキャプションの座標をもとに行う。画像解析部２０３が、グラフ検出を実行する画像範囲を限定する手法は、実施例１と同様である。

次に、画像解析部２０３は、処理２０１３で限定した画像範囲から、グラフ検出を実行する（処理２０１４）。グラフ検出はどのような方法を用いても良い。例えば、画像処理ライブラリ等を用いて矩形検出を行い、検出した矩形をグラフとして検出する方法がある。また、画像処理ライブラリ等を用いて直線検出を行い、直交する２つの直線をグラフの縦軸と横軸として認識し、両直線で囲まれる範囲を、グラフとして検出してもよい。グラフを検出したら、画像解析部２０３は、検出したグラフの画像を、データ格納部２０４に送る。

グラフの画像を受け取ったデータ格納部２０４は、ファイルなどのかたちで、ディスク装置１０４に保存する。出力の際、グラフのキャプションをメタデータとして付与する。メタデータの付与の方法は、どのような方法でも良いが、グラフのキャプションをファイル名にしてしまう方法などが考えられる。

実施例２においても、実施例１の図１３と同様にデータ抽出プログラム２００が、グラフデータの抽出を行う一連の処理において、グラフデータの性質を示す情報を抽出し、出力する処理を行なうことができる。

まず、テキストデータ解析部２０２が、座標情報付きのテキストファイルにおいてTOKENタグが付与されている全テキストを抽出し、各テキストの座標情報をもとに文章を形成する。これは、座標上で連続しているテキストを一連の文章として認識することで行う。そうして形成した文章に、グラフの性質を説明する文章パターン（図１５参照）が含まれるかどうかを調べ（処理１３１０）、もし含まれていれば、その文章パターンが含まれている一文を、グラフの性質を示す情報として、抽出し、データ格納部２０４に渡す。データ格納部２０４は、渡された情報（テキスト）を、ファイルやDB等のかたちでディスク装置１０４上に保存する（処理１３１１）。

処理２０１５で出力したグラフデータのメタデータであるグラフキャプションを、処理２２１１で抽出した情報と照合することで、処理２０１５で出力したグラフデータの性質を、データ分析時に、データ分析を実行するアプリケーションが、知ることができる。

以上詳細に説明した実施例によれば、画像情報と座標情報付きテキストの双方を利用することで、例えばPDFファイルから、表データやグラフデータを正確に抽出することが可能となる。また、表データ、グラフデータとともに、表、グラフの性質を示すような情報を抽出することが可能になる。これらにより、データ分析の質が向上する。

本明細書で示すデータ抽出方法は、PDFファイルだけでなく、文書ページ中のオブジェクトと、当該オブジェクトの座標情報によって構成されているデジタル文書全般に適用することができる。実施例記載の技術により、これらのデジタル文書を対象とした、データ分析の質が向上する。

データ抽出装置１００、バス１０１、CPU１０２、メモリ１０３、ディスク装置１０４、データ抽出プログラム２００、変換処理部２０１、テキストデータ解析部２０２、画像解析部２０３、データ格納部２０４

Claims (8)

1. 文書ページ中のオブジェクトと当該オブジェクトの座標情報を含むデジタル文書を、画像データと座標情報付きのテキストデータに変換する変換処理部と、
   前記テキストデータから、前記オブジェクトに関連するキャプションを抽出するテキストデータ解析部と、
   前記画像データから、抽出した前記キャプションの情報に基づいて、前記オブジェクトの検出を実行する画像解析部を備え、
   前記変換処理部は、
   前記デジタル文書のうち、前記キャプションが抽出されたページを画像データに変換し、
   前記画像解析部は、
   前記キャプションが抽出されたページの画像データに対し、前記オブジェクトの検出を実行する、
   デジタル文書からのデータ抽出システム。
2. 文書ページ中のオブジェクトと当該オブジェクトの座標情報を含むデジタル文書を、画像データと座標情報付きのテキストデータに変換する変換処理部と、
   前記テキストデータから、前記オブジェクトに関連するキャプションを抽出するテキストデータ解析部と、
   前記画像データから、抽出した前記キャプションの情報に基づいて、前記オブジェクトの検出を実行する画像解析部を備え、
   前記変換処理部は、
   前記デジタル文書のうち、前記キャプションが抽出されたページを画像データに変換し、
   前記画像解析部は、
   前記キャプションが抽出されたページの画像データに対し、前記キャプションの座標情報に基づいて画像解析を実施する画像範囲を限定し、前記オブジェクトの検出を実行する、
   デジタル文書からのデータ抽出システム。
3. 文書ページ中のオブジェクトと当該オブジェクトの座標情報を含むデジタル文書を、画像データと座標情報付きのテキストデータに変換する変換処理部と、
   前記テキストデータから、前記オブジェクトに関連するキャプションを抽出するテキストデータ解析部と、
   前記画像データから、抽出した前記キャプションの情報に基づいて、前記オブジェクトの検出を実行する画像解析部を備え、
   前記オブジェクトは表であって、
   検出した表の座標情報と、前記座標情報付きのテキストデータを照合し、表中のテキストを抽出する、データ格納部を備え、
   前記画像解析部は、
   検出した表の各セルを抽出し、
   前記データ格納部は、
   前記各セルの座標情報と、前記座標情報付きのテキストデータを照合し、各セル中のテキストを抽出する、
   デジタル文書からのデータ抽出システム。
4. 前記テキストデータ解析部は、
   前記テキストデータと予め設定した文章パターンとの照合により、表の構造を説明するテキストを抽出し、
   前記データ格納部は、
   前記セル中のテキストと前記表の構造を説明するテキストに基づいて、表のレイアウトを認識する、
   請求項３記載のデジタル文書からのデータ抽出システム。
5. 前記テキストデータ解析部は、
   前記テキストデータとキーワードとの照合によりキャプションの候補となるテキストを検索し、前記キャプションの候補と予め設定した文章パターンとの照合により、前記キャプションの候補がキャプションか本文の一部かを識別する、
   請求項１～３のいずれかに記載のデジタル文書からのデータ抽出システム。
6. 前記オブジェクトは、表データあるいはグラフデータである、
   請求項１～３のいずれかに記載のデジタル文書からのデータ抽出システム。
7. 前記テキストデータ解析部は、
   予め定義しておいた文章パターンをもとに、前記オブジェクトの性質を示す情報を、前記座標情報付きのテキストデータから抽出する、
   請求項１～３のいずれかに記載のデジタル文書からのデータ抽出システム。
8. 前記キャプションの情報は、当該キャプションが検出された頁および当該キャプションが検出された座標の少なくとも一つである、
   請求項１～３のいずれかに記載のデジタル文書からのデータ抽出システム。

Images