JP7664329B2 - Document recognition system and document recognition method - Google Patents
Document recognition system and document recognition method Download PDFInfo
- Publication number
- JP7664329B2 JP7664329B2 JP2023130364A JP2023130364A JP7664329B2 JP 7664329 B2 JP7664329 B2 JP 7664329B2 JP 2023130364 A JP2023130364 A JP 2023130364A JP 2023130364 A JP2023130364 A JP 2023130364A JP 7664329 B2 JP7664329 B2 JP 7664329B2
- Authority
- JP
- Japan
- Prior art keywords
- template
- character recognition
- recognition
- storage unit
- engine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Character Input (AREA)
- Character Discrimination (AREA)
Description
本発明は、帳票認識システム及び帳票認識方法に関する。 The present invention relates to a document recognition system and a document recognition method.
帳票認識エンジンとして定型帳票認識エンジン（以下、定型エンジン）と非定型帳票認識エンジン（以下、非定型エンジン）がある。定型エンジンによる認識では、帳票内のどの範囲を読み取るかを定義したテンプレートを予め用意し、テンプレートに基づいて文字を読み取る。定型エンジンは、帳票を読み取る際に、帳票にテンプレートを重ね合わせ、テンプレートに定義された範囲の文字のみを読み取る。読み取る文字が存在する範囲を予め定義するため、認識精度が高い。しかし、帳票の読み取り項目のレイアウトパターン分（例えば、請求書を読み取る場合には請求元ごと）のテンプレートを作成する必要がある。したがって、多くの取引先の請求書を読み取るなど帳票のレイアウトパターンが多い場合、全ての帳票を定型エンジンで読み取るためには、膨大な運用（テンプレート作成）コストが必要になる。 There are two types of form recognition engines: standard form recognition engines (hereafter, standard engines) and non-standard form recognition engines (hereafter, non-standard engines). When using a standard engine, a template is prepared in advance that defines which range of the form to read, and characters are read based on the template. When reading a form, the standard engine overlays the template on the form and reads only the characters in the range defined in the template. Since the range in which the characters to be read exist is defined in advance, recognition accuracy is high. However, it is necessary to create templates for the layout patterns of the items to be read on the form (for example, for each billing source when reading invoices). Therefore, when there are many layout patterns of forms, such as reading invoices from many business partners, reading all forms with the standard engine requires huge operational (template creation) costs.
一方、非定型エンジンによる認識では、帳票のレイアウト（文字や画像の配置、大きさ等）を解析し、キー情報を探して、キー情報に紐づく文字を読み取る。事前のテンプレート作成の作業が不要である。しかし、非定型エンジンは、定型エンジンに比べて認識精度が低い。また、非定型エンジン認識は、認識精度向上のためには多くの帳票のサンプルデータを集めて学習を行わせる必要があり、認識精度向上のコストが大きい。さらに、キー情報を探すためにレイアウト解析を行い帳票上の文字全てを読み取るため、認識コストが高い。 On the other hand, recognition using a non-standard engine involves analyzing the layout of the form (the arrangement and size of characters and images, etc.), searching for key information, and reading the characters linked to that key information. There is no need to create a template in advance. However, non-standard engines have lower recognition accuracy than standard engines. Also, in order to improve recognition accuracy with non-standard engine recognition, it is necessary to collect sample data from many forms and have the engine learn, which means the cost of improving recognition accuracy is high. Furthermore, recognition costs are high because layout analysis is performed to search for key information and all characters on the form are read.
さらに、定型エンジンと非定型エンジンの両方で読み取りを行う方法もある。定型エンジンで正しく読み取れない（テンプレート未作成の）帳票も、非定型エンジンで正しく読める場合がある。定型エンジンと非定型エンジンの認識結果が一致しない場合、どちらの認識結果を採用するかを人手で判定する必要がある。特許文献１には、読み取り精度向上のために、複数の認識エンジンで読み取りを実施し、それぞれの読み取り結果を比較して、一致しない場合には読み取り結果を人手による判断等で補正する技術が記載されている。
There is also a method of reading using both a template engine and a non-template engine. Forms that cannot be read correctly by the template engine (for which no template has been created) may be read correctly by the non-template engine. If the recognition results of the template engine and the non-template engine do not match, it is necessary to manually decide which recognition result to use.
定型エンジンと非定型エンジンの両方で読み取りを行う方法では、常に一度の認識処理において定型エンジン／非定型エンジンの両方で読み取りを行うため、常に両方のコストがかかる。特許文献１に記載の技術では、定型エンジンと非定型エンジンの両方で読み取りを実施することで、認識精度は向上するが、コスト低減については考慮されていない。
In a method in which reading is performed using both a fixed engine and an atypical engine, reading is always performed using both the fixed engine and the atypical engine in a single recognition process, so the costs of both are always incurred. In the technology described in
一方で、多様なレイアウトの帳票を認識する必要がある業務においては、任意のレイアウトの帳票を認識可能な非定型エンジンを使って認識させるアプローチが一般的となっている。ただし、非定型エンジンは、認識コストが大きく、定型エンジンよりも認識精度が低い。そのため、非定型エンジンのみで帳票認識を運用すると、認識コストや読み取り結果の修正コストが非常にかかるという問題がある。 On the other hand, in business where it is necessary to recognize forms with a variety of layouts, the general approach is to use a non-standard engine that can recognize forms with any layout. However, non-standard engines have high recognition costs and lower recognition accuracy than standard engines. Therefore, there is a problem in that using only non-standard engines for form recognition results in very high recognition costs and costs for correcting the read results.
上記の状況から、帳票認識エンジンとして定型エンジンと非定型エンジンの両方に連携する帳票認識システムを用いて多様なレイアウトの帳票を処理する業務において、帳票認識にかかるコストを抑えながら認識精度を向上させる手法が要望されていた。 Given the above situation, there was a demand for a method to improve recognition accuracy while reducing the cost of form recognition in tasks that process forms with a variety of layouts using a form recognition system that works with both fixed and non-fixed engines as the form recognition engine.
上記課題を解決するために、本発明の一態様の帳票認識システムは、帳票に記載されている文字の認識に用いられる定型帳票認識エンジンと非定型帳票認識エンジンの両方に連携する。上記帳票認識システムは、帳票認識処理部と、テンプレート選択処理部と、を備える。
上記帳票認識処理部は、定型帳票認識エンジン及び非定型帳票認識エンジンを用いて、帳票の読み取り画像である帳票画像に対する文字認識処理を実行し、非定型帳票認識エンジンによる帳票画像の文字認識結果を記憶部に蓄積する。
上記テンプレート選択処理部は、帳票の帳票画像から定型帳票認識エンジンでの文字認識に用いるテンプレートを、テンプレートデータベースから選択する処理を実行し、テンプレート選択結果を帳票認識処理部へ出力する。
そして、上記帳票認識処理部は、テンプレート選択結果に基づいて、帳票に対するテンプレートが存在しない場合には、非定型帳票認識エンジンにより帳票画像に対する文字認識処理を実行し、帳票に対するテンプレートが存在する場合には選択されたテンプレートを用いて、定型帳票認識エンジンにより帳票画像に対する文字認識処理を実行する。
In order to solve the above problems, a form recognition system according to one aspect of the present invention cooperates with both a fixed form recognition engine and an unfixed form recognition engine used for recognizing characters written on a form. The form recognition system includes a form recognition processing unit and a template selection processing unit.
The document recognition processing unit uses a standard document recognition engine and an unstandardized document recognition engine to perform character recognition processing on a document image, which is a scanned image of a document, and stores the character recognition results of the document image by the unstandardized document recognition engine in a memory unit.
The template selection processing section executes a process of selecting, from a template database, a template to be used for character recognition in a fixed form recognition engine from a form image of the form, and outputs the template selection result to the form recognition processing section.
Then, based on the template selection result, if a template for the form does not exist, the form recognition processing unit performs character recognition processing on the form image using a non-standard form recognition engine, and if a template for the form exists, performs character recognition processing on the form image using the standard form recognition engine using the selected template.
本発明の少なくとも一態様によれば、定型帳票認識エンジンと非定型帳票認識エンジンの両方に連携する帳票認識システムを用いて多様なレイアウトの帳票を処理する業務において、帳票認識にかかるコストを抑えながら認識精度を向上させることができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
According to at least one aspect of the present invention, in a task of processing forms of various layouts using a form recognition system that works with both a standard form recognition engine and an unstandard form recognition engine, it is possible to improve recognition accuracy while reducing the cost of form recognition.
Problems, configurations and effects other than those described above will become apparent from the following description of the embodiments.
以下、本発明を実施するための形態の例について、添付図面を参照して説明する。本明細書及び添付図面において、同一の構成要素又は実質的に同一の機能を有する構成要素には同一の符号を付して重複する説明を省略する。 Below, examples of embodiments of the present invention will be described with reference to the accompanying drawings. In this specification and the accompanying drawings, identical components or components having substantially the same functions are designated by the same reference numerals, and duplicate descriptions will be omitted.
［帳票認識システムの機能構成］
まず、本発明の一実施の形態に係る帳票認識システムの機能構成について、図１を参照して説明する。
[Functional configuration of the document recognition system]
First, the functional configuration of a document recognition system according to an embodiment of the present invention will be described with reference to FIG.
図１は、本発明の一実施の形態に係る帳票認識システムの機能構成例を示す図である。図１に示す帳票認識システム１００は、帳票認識エンジンとして、定型帳票認識エンジン（定型エンジン）及び非定型帳票認識エンジン（非定型エンジン）の両方と連携する帳票認識システムである。帳票認識システム１００は、インターネット１８０等の通信ネットワークを介して、ユーザ端末１７０と通信を行う。
Fig. 1 is a diagram showing an example of the functional configuration of a document recognition system according to an embodiment of the present invention. The
ユーザ端末１７０は、帳票認識システム１００によるサービスの提供を受けるユーザにより使用される端末である。ユーザ端末１７０には、デスクトップ型ＰＣ（Personal Computer）やノート型ＰＣなどが用いられる。
The
帳票認識システム１００は、ウェブサーバ１１０、サービス制御部１２０、テンプレート選択処理部１３０、帳票認識処理部１４０、及びテンプレート作成推薦処理部１５０を備える。
The
ウェブサーバ１１０は、ウェブシステム上で、ユーザ端末１７０に対しインターネット１８０を通じて情報や機能を提供するサーバである。ウェブサーバ１１０は、通信機能を有するコンピューター、又はコンピューター上で動作するサーバソフトウェアである。ウェブサーバ１１０は、帳票認識システム１００の外部に設けられていてもよい。帳票認識システム１００とユーザ端末１７０との通信は、ウェブサーバ１１０を介して行われるが、以降の説明では、通信時におけるウェブサーバ１１０の記載を省略する。
The
サービス制御部１２０は、帳票認識システム１００の全体を制御する制御部である。一例として、サービス制御部１２０は、ユーザ端末１７０から受信した要求の内容に基づいて、各処理部に指令を出す制御や、各処理部から上記要求に応じたデータを取得してユーザ端末１７０に応答するように制御したりする。
The
テンプレート選択処理部１３０は、予め登録された複数のテンプレート画像（単に「テンプレート」とも称する）の中から、入力画像に対応するテンプレート画像を選択する処理を実行する処理部である。入力画像は、例えば、イメージスキャナ等で読み込まれた帳票のデジタル画像データである。テンプレート画像は、ＯＣＲ（Optical Character Recognition）ソフトウェアなどを使った文字認識処理において、入力画像（帳票画像）内のどの範囲を読み取るかを定義したデータである。一般に、テンプレート画像では、帳票内での読み取り位置と大きさ（範囲）が定義されている。文字認識処理は、イメージスキャナ等による原稿の読み込み時に実行されることも多い。テンプレート画像は、テンプレートデータベース１３１に格納されている。
The template
帳票認識処理部１４０は、定型エンジン１６１及び非定型エンジン１６２に入力画像の文字認識処理を要求する処理部である。また、帳票認識処理部１４０は、定型エンジン１６１及び非定型エンジン１６２から文字認識結果を受信し、文字認識結果を蓄積する処理部である。文字認識結果は、帳票認識結果として帳票認識結果テーブル１４１に格納される。
The form
定型エンジン１６１及び非定型エンジン１６２は、帳票認識システム１００からの要求に従って、帳票画像に記載された文字を認識する文字認識処理を実行し、その処理結果を文字認識結果として帳票認識システム１００に送信する帳票認識エンジンである。
The
テンプレート作成推薦処理部１５０は、蓄積された帳票認識結果を基に、作成を推薦するテンプレート候補を集計する処理部である。また、テンプレート作成推薦処理部１５０は、ユーザに作成を推薦するテンプレートの一覧を、ユーザ端末１７０に送信したりする処理部である。テンプレート候補は、テンプレート候補テーブル１５１に格納される。
The template creation
［帳票認識システムのハードウェア構成］
ここで、帳票認識システム１００のハードウェア構成について、図２を参照して説明する。
図２は、帳票認識システム１００のハードウェア構成例を示す図である。図２に示す計算機２００は、コンピューターとして用いられるハードウェアの一例である。本実施の形態に係る帳票認識システム１０は、計算機２００（コンピューター）がプログラムを実行することにより、図１に示した各機能ブロックが連携して行う帳票認識を実現する。
[Hardware configuration of the document recognition system]
Here, the hardware configuration of the
Fig. 2 is a diagram showing an example of a hardware configuration of the
計算機２００は、システムバスに接続されたＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、及びＲＡＭ（Random Access Memory）２０３を備える。さらに、計算機２００は、不揮発性ストレージ２０４、及び通信インターフェース２０５を備える。
The
ＣＰＵ２０１は、本実施の形態に係る各機能を実現するソフトウェアのプログラムコードをＲＯＭ２０２から読み出してＲＡＭ２０３にロードし、実行する。ＲＡＭ２０３には、ＣＰＵ２０１の演算処理の途中で発生した変数やパラメーター等が一時的に書き込まれ、これらの変数やパラメーター等がＣＰＵ２０１によって適宜読み出される。ＣＰＵ２０１がＲＯＭ２０２から読み出したプログラムコードを実行することで、帳票認識システム１００のサービス制御部１２０、テンプレート選択処理部１３０、帳票認識処理部１４０、及びテンプレート作成推薦処理部１５０の各機能が実現される。ただし、ＣＰＵ２０１に代えてＭＰＵ（Micro Processing Unit）等の他のプロセッサを用いてもよい。
The
不揮発性ストレージ２０４は、プログラムが使用するデータやプログラムを実行して得られたデータなどを保存することが可能である。帳票認識システム１００のテンプレートデータベース１３１、帳票認識結果テーブル１４１、及びテンプレート候補テーブル１５１は、不揮発性ストレージ２０４を用いて構成される。また、不揮発性ストレージ２０４に、ＯＳ（Operating System）や、ＣＰＵ２０１が実行するプログラムを記録してもよい。不揮発性ストレージ２０４としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、光や磁気を利用するディスク媒体、又は半導体メモリカード等が用いられる。なお、テンプレートデータベース１３１、帳票認識結果テーブル１４１、及びテンプレート候補テーブル１５１の情報の保存に、クラウド環境を活用することもできる。
The
通信インターフェース２０５には、例えばＮＩＣ（Network Interface Card）等の通信デバイスが用いられる。通信インターフェース２０５は、端子が接続されたＬＡＮやインターネット等の通信ネットワーク又は専用線等を介して、外部装置との間で各種のデータを送受信することが可能に構成されている。帳票認識システム１００のウェブサーバ１１０の機能は、通信インターフェース２０５を用いて実現される。
For example, a communication device such as a NIC (Network Interface Card) is used as the
ユーザ端末１７０のハードウェアも、計算機２００を用いて構成することができる。ユーザ端末１７０の計算機２００には、図示しない表示装置と入力装置が接続されている。表示装置は、液晶ディスプレイなどのモニタであり、ＧＵＩ画面やＣＰＵ２０１で行われた演算処理の結果等を表示する。入力装置は、ユーザの操作に応じた入力信号を生成してＣＰＵ２０１へ出力する。入力装置には、例えば、マウス、キーボード、又はタッチセンサなどが用いられ、ユーザは入力装置を操作して情報や指示を入力することができる。表示装置と入力装置は、タッチパネルとして一体に構成されてもよい。なお、帳票認識システム１００の計算機２００に、表示装置と入力装置が接続されていてもよい。
The hardware of the
［文字認識処理］
次に、帳票認識システム１００による文字認識処理について、図３及び図４を参照して説明する。
[Character recognition processing]
Next, the character recognition process performed by the
（該当するテンプレートがない場合）
まず、該当するテンプレートがない場合の文字認識処理について、図３を参照して説明する。
図３は、帳票認識システム１００による文字認識処理（テンプレート該当なし）の例を示すシーケンスチャートである。帳票認識システム１００は、運用初期段階３２０（ステップＳ８～Ｓ１２）ではテンプレートが存在しないため、全ての帳票を非定型エンジン１６２で認識しながらテンプレート候補を蓄積する。ステップＳ１～Ｓ３の処理後、ステップＳ８～Ｓ１２の処理が実行される。
(If there is no corresponding template)
First, the character recognition process when there is no corresponding template will be described with reference to FIG.
3 is a sequence chart showing an example of character recognition processing (no template match) by the
始めに、ユーザ端末１７０が、帳票認識システム１００（サービス制御部１２０）に認識対象の帳票の読み取り画像（帳票画像）を送信して文字認識の実行を要求する（Ｓ１）。
First, the
次いで、帳票認識システム１００のサービス制御部１２０は、テンプレート選択処理部１３０に帳票画像を送信する（Ｓ２）。
Next, the
次いで、テンプレート選択処理部１３０は、帳票画像の特徴量を検出して、テンプレートデータベース１３１に登録されたテンプレートの中から、帳票画像のレイアウトに類似するテンプレートを検索する。例えば、テンプレート選択処理部１３０は、類似する複数のテンプレートを検索した場合、最も類似性の高いテンプレートを選択する。テンプレート選択処理部１３０は、テンプレート選択結果（該当あり／該当なし）をサービス制御部１２０へ送信する。具体的には、テンプレート選択処理部１３０は、該当するテンプレートが存在した場合はそのテンプレートの情報と、帳票画像の特徴量を、該当するテンプレートが存在しなかった場合は該当なしの情報と、帳票画像の特徴量を、サービス制御部１２０に送信する（Ｓ３）。
The template
特徴量は、文字、枠、罫線などのエッジ部（端、ふち、角など）の座標を示す情報であり、特徴点と読み替えることもできる。枠や罫線などにおける線分に関しては、端と端の中間の座標情報を特徴量として取得することができる。 Feature amounts are information that indicates the coordinates of the edges (edges, edges, corners, etc.) of characters, frames, lines, etc., and can also be interpreted as feature points. For line segments in frames and lines, the coordinate information of the midpoint between the ends can be obtained as feature amounts.
（特徴量の例）
ここで、帳票画像から抽出される特徴量の例について、図５を参照して説明する。
図５は、帳票画像から抽出される特徴量の例を示す図である。図５には、帳票画像から抽出した特徴量の例として、横長の枠と、枠内の文字列のそれぞれの特徴量を抽出した例が示されている。例えば、枠内に“おなまえ”という文字列が配置されている場合、この文字列は利用者の「名前」を記載する項目であると推定される。特徴量（特徴点）であるエッジ部には○印がつけられている。図５では、○印が、枠の角に４か所、枠の辺の中央（角と角の間）に２か所、及び各文字の端に２６か所つけられている。テンプレートを用いた場合、帳票画像から図５に示すような項目を含む画像、すなわち項目画像が容易に検出される。
(Example of features)
An example of the feature amount extracted from the form image will now be described with reference to FIG.
FIG. 5 is a diagram showing an example of feature amounts extracted from a form image. FIG. 5 shows an example of feature amounts extracted from a form image, in which feature amounts of a horizontally long frame and a character string within the frame are extracted. For example, if the character string "name" is placed within the frame, this character string is presumed to be an item for writing the "name" of a user. An O mark is placed on the edge portion, which is a feature amount (feature point). In FIG. 5, an O mark is placed at four corners of the frame, two in the center of the side of the frame (between the corners), and 26 at the ends of each character. When a template is used, an image including items such as those shown in FIG. 5, i.e., an item image, can be easily detected from the form image.
図３のシーケンスチャートの説明に戻る。ステップＳ３の処理後、サービス制御部１２０は、テンプレート選択処理部１３０からテンプレート選択結果（運用初期段階３２０ではテンプレート該当なし）を受信すると、帳票認識処理部１４０に帳票画像と特徴量を送信する（Ｓ８）。
Returning to the explanation of the sequence chart in FIG. 3, after processing in step S3, when the
次いで、帳票認識処理部１４０は、非定型エンジン１６２に帳票画像を送信して文字認識を要求する（Ｓ９）。
Next, the form
次いで、非定型エンジン１６２は、帳票認識処理部１４０に帳票画像についての文字認識結果を送信する（Ｓ１０）。文字認識結果には、項目名と、各項目の値が含まれる。項目は、帳票を用いた業務で利用する情報の区分を表すための情報（例えば、氏名、振込口座など）である。例えば、項目の値の例としては、氏名であれば、帳票の利用者の手書き又は印刷された文字列（名前）、振込口座であれば、手書き又は印刷された数字列である。
Next, the
次いで、帳票認識処理部１４０は、文字認識結果に含まれる項目名の一覧、及びサービス制御部１２０から受信した帳票画像の特徴量を帳票認識結果テーブル１４１に記録する（Ｓ１１）。
Next, the form
（帳票認識結果テーブル）
ここで、帳票認識結果テーブル１４１の構成について、図６を参照して説明する。
図６は、帳票認識結果テーブル１４１の構成例を示す図である。帳票認識結果テーブル１４１は、ＩＤ、項目名、及び特徴量の各フィールドを有する。
(Form recognition result table)
Here, the configuration of the document recognition result table 141 will be described with reference to FIG.
6 is a diagram showing an example of the configuration of the form recognition result table 141. The form recognition result table 141 has fields for ID, item name, and feature amount.
ＩＤフィールドには、非定型エンジン１６２で認識された帳票を、帳票認識結果テーブル１４１内で一意に区別するための識別子（番号、符号、文字列など）の情報が格納される。
項目名フィールドには、一つの帳票に含まれる項目の名称の情報が格納される。非定型エンジン１６２で認識する異なる帳票においてユーザに要求する情報が同じ場合、又は、帳票の内容が類似する場合には、項目名が重複することがある。
特徴量フィールドには、非定型エンジン１６２で認識された帳票の特徴量の座標情報が格納される。
The ID field stores information about an identifier (such as a number, a code, or a character string) for uniquely identifying a form recognized by the
The item name field stores information about the names of items included in one form. When the information required of the user is the same in different forms recognized by the
The feature amount field stores coordinate information of the feature amount of the form recognized by the
一例として図６では、ＩＤ“１”のデータは、項目名が“宛名、請求金額、発行元”、及び特徴量が“（ｘ１１，ｙ１１）、（ｘ１２，ｙ１２）、（ｘ１３，ｙ１３）、・・・”である。また、ＩＤ“２”のデータは、項目名が“宛名、請求金額、発行元、振込口座”、特徴量が“（ｘ２１，ｙ２１）、（ｘ２２，ｙ２２）、（ｘ２３，ｙ２３）、・・・”である。 6, as an example, the data with ID "1" has item names "recipient, billing amount, issuer" and feature amounts "( x11 , y11 ), ( x12 , y12), ( x13 , y13 ), ...". Also, the data with ID "2" has item names "recipient, billing amount, issuer, transfer account" and feature amounts "( x21 , y21 ), ( x22 , y22 ), ( x23 , y23 ), ...".
図３のシーケンスチャートの説明に戻る。ステップＳ１１の処理後、帳票認識処理部１４０は、サービス制御部１２０に帳票画像の文字認識結果を送信する（Ｓ１２）。ステップＳ１２の処理はステップＳ１１の処理と並行して行われてもよいし、順番が逆でもよい。
Returning to the explanation of the sequence chart in FIG. 3, after the processing of step S11, the form
次いで、サービス制御部１２０は、ユーザ端末１７０に帳票画像に対する文字認識結果を送信する（Ｓ１３）。ユーザ端末１７０は、帳票認識システム１００から非定型エンジン１６２による帳票画像の文字認識結果を受信して、表示装置に表示する。
Next, the
（該当するテンプレートがある場合）
次に、該当するテンプレートがある場合の文字認識処理について、図４を参照して説明する。
図４は、帳票認識システム１００による文字認識処理（テンプレート該当あり）の例を示すシーケンスチャートである。運用改善段階３１０（ステップＳ４～Ｓ７）においては、テンプレートを作成された帳票が定型エンジン１６１で認識されるようになり、より高精度、低コスト化されていく。ステップＳ１～Ｓ３の処理後、ステップＳ４～Ｓ７の処理が実行される。
(If there is a template available)
Next, the character recognition process when a corresponding template is available will be described with reference to FIG.
4 is a sequence chart showing an example of character recognition processing (template match found) by the
始めに、ユーザ端末１７０、サービス制御部１２０、及びテンプレート選択処理部１３０により、ステップＳ１～Ｓ３の処理を実行する。
First, the
次いで、サービス制御部１２０は、テンプレート選択処理部１３０からテンプレート選択結果（運用改善段階３１０ではテンプレート該当あり）を受信すると、帳票認識処理部１４０に帳票画像及びテンプレート選択結果に基づくテンプレートを送信する（Ｓ４）。
Next, when the
次いで、帳票認識処理部１４０は、受信したテンプレートを利用して帳票画像から項目画像を切り出し、定型エンジン１６１に項目画像を送信して文字認識を要求する（Ｓ５）。項目画像とは、帳票画像の一部であって、手書き又は印刷によって情報が入力される空欄等の領域が用意された項目についての画像である。帳票画像から複数の異なる項目画像が抽出されると考えてよい。
Next, the form
次いで、定型エンジン１６１は、帳票認識処理部１４０に項目画像についての文字認識結果を送信する（Ｓ６）。
Next, the
次いで、帳票認識処理部１４０は、項目画像についての文字認識結果を帳票画像の文字認識結果としてサービス制御部１２０に送信する（Ｓ７）。
Next, the form
次いで、サービス制御部１２０は、ユーザ端末１７０に帳票画像に対する文字認識結果を送信する（Ｓ１３）。ユーザ端末１７０は、帳票認識システム１００から定型エンジン１６１による帳票画像（項目画像）の文字認識結果を受信して、表示装置に表示する。
Next, the
運用初期段階３２０では、帳票認識システム１００は、ユーザから認識実行要求を受けると、非定型エンジン１６２で文字認識するとともに、認識した項目一覧、及び帳票画像の特徴量を計算して蓄積する。帳票認識システム１００は、文字認識した帳票画像及び文字認識結果を記録する。そして、帳票認識システム１００は、一定期間ごとに、蓄積された帳票画像とその項目一覧及び特徴量からテンプレート候補の集計を行い、蓄積されたテンプレート候補（図８参照）から、作成することにより認識コストを下げることができるテンプレートがあるかどうかを判定して、判定結果をユーザに送信する。ユーザは、受信した判定結果を基にテンプレートを作成する。
In the
運用改善段階３１０では、帳票認識システム１００は、ユーザから認識実行要求を受けると、送信された帳票画像の特徴量を計算して、特徴量が類似するテンプレートを探索して、該当するテンプレートが存在した場合は、テンプレートを使用して定型エンジン１６１で帳票画像を認識する。該当するテンプレートが存在しなかった場合は、非定型エンジン１６２で帳票画像を認識して、認識した項目一覧、及び帳票画像の特徴量を計算して蓄積する。
In the
上述したように運用改善段階３１０では、テンプレートが蓄積されているが、運用初期段階３２０では、テンプレートが存在しない。図７に示すように、運用初期段階３２０から運用改善段階３１０にかけて、帳票認識結果を基にテンプレート候補を蓄積していく。そして、テンプレート作成推薦処理部１５０は、後述するように、テンプレート候補（帳票）の集計結果、定型エンジン１６１の認識コスト、非定型エンジン１６２の認識コスト、及びテンプレートの作成コストから、作成推薦テンプレート一覧を作成して、ユーザにテンプレートの作成を促す。
As described above, templates are accumulated in the
［テンプレート候補集計処理］
次に、帳票認識システム１００のテンプレート作成推薦処理部１５０によるテンプレート候補集計処理について、図７を参照して説明する。
図７は、帳票認識システム１００のテンプレート作成推薦処理部１５０によるテンプレート候補集計処理の例を示すフローチャートである。テンプレート作成推薦処理部１５０は、ステップＳ２１～Ｓ３０の処理（処理Ａ）を、帳票認識結果の数の分だけ繰り返し実行する。
[Template candidate aggregation process]
Next, the template candidate counting process performed by the template creation
7 is a flowchart showing an example of a template candidate counting process by the template creation
初めに、テンプレート作成推薦処理部１５０は、帳票認識結果［ｉ］の“項目名”をｉｔｅｍｓ［ｉ］、帳票認識結果［ｉ］の“特徴量”をｆｅａｔｕｒｅ［ｉ］とする（Ｓ２１）。帳票認識結果［ｉ］は、図６に示した帳票認識結果テーブル１４１のＩＤフィールドの情報（ｉ＝１，・・・，Ｎ）に紐づけられたデータである。“Ｎ”は、図３及び図４の文字認識処理シーケンスにおいて、非定型エンジン１６２により認識された帳票の件数に相当する。
First, the template creation
ここで、テンプレート作成推薦処理部１５０は、ステップＳ２２～Ｓ２６の処理（処理Ｂ）を、テンプレート候補の数の分だけ繰り返し実行する。
Here, the template creation
まず、テンプレート作成推薦処理部１５０は、テンプレート候補［ｊ］の“項目名”をｉｔｅｍｓ［ｊ］、テンプレート候補［ｊ］の“特徴量”をｆｅａｔｕｒｅ［ｊ］とする（Ｓ２２）。テンプレート候補［ｊ］は、図８に示すテンプレート候補テーブル１５１のＩＤフィールドの情報（ｊ＝１，・・・，Ｍ）に紐づけられたデータである。
First, the template creation
（テンプレート候補テーブル）
ここで、テンプレート候補テーブル１５１の構成について、図８を参照して説明する。
図８は、テンプレート候補テーブル１５１の構成例を示す図である。テンプレート候補テーブル１５１は、ＩＤ、項目名、特徴量、及び件数の各フィールドを有する。
(Template candidate table)
Here, the configuration of the template candidate table 151 will be described with reference to FIG.
8 is a diagram showing an example of the configuration of the template candidate table 151. The template candidate table 151 has fields for ID, item name, feature amount, and number of cases.
ＩＤフィールドには、テンプレート候補テーブル１５１内のレコードを一意に区別するための識別子（番号、符号、文字列など）の情報が格納される。テンプレート候補テーブル１５１内のレコードは、類似性が高い帳票（帳票認識結果）のグループごとに作成される。類似性が高い帳票では、ＩＤフィールドの情報と紐づけられたレコードの情報（項目名、特徴量）が同じである。 The ID field stores identifier information (such as a number, code, or character string) for uniquely distinguishing records in the template candidate table 151. Records in the template candidate table 151 are created for each group of highly similar forms (form recognition results). For highly similar forms, the information in the ID field and the information in the linked records (item name, feature amount) are the same.
項目名フィールドには、類似性が高い帳票のグループごとに、図６で示した項目名フィールドと同じ情報が格納される。
特徴量フィールドには、類似性が高い帳票のグループごとに、図６で示した特徴量フィールドと同じ情報が格納される。なお、ステップＳ２４の一致する座標情報の数（対応点数）に、上述した座標情報が同じ場合の数に加えて、座標情報が所定の距離内である場合の数も含まれるとき、特徴量フィールドに格納する座標情報は、一番多い座標（例えば一致する座標）、又は、同じとみなせる座標（一致する及び所定距離内の座標）を平均化した座標としてもよい。
件数フィールドには、類似性が高い帳票の件数の情報が格納される。
The item name field stores the same information as that in the item name field shown in FIG. 6 for each group of highly similar forms.
The feature field stores, for each group of highly similar forms, the same information as the feature field shown in Fig. 6. When the number of matching coordinate information (number of corresponding points) in step S24 includes the number of cases where the coordinate information is the same as described above and also the number of cases where the coordinate information is within a predetermined distance, the coordinate information stored in the feature field may be the most common coordinate (for example, the matching coordinate) or the average of coordinates that can be considered to be the same (the matching coordinates and the coordinates within the predetermined distance).
The number of items field stores information on the number of highly similar forms.
一例として図８では、ＩＤ“１”のデータは、項目名が“宛名、請求金額、発行元”、特徴量が“（ｘ１１，ｙ１１）、（ｘ１２，ｙ１２）、（ｘ１３，ｙ１３）、・・・”、及び、件数が“１０００”である。また、ＩＤ“２”のデータは、項目名が“宛名、請求金額、発行元、振込口座”、特徴量が“（ｘ２１，ｙ２１）、（ｘ２２，ｙ２２）、（ｘ２３，ｙ２３）、・・・”、及び、件数が“１００”である。また、ＩＤ“３”のデータは、項目名が“住所、氏名、支払金額、・・・”、特徴量が“（ｘ３１，ｙ３１）、（ｘ３２，ｙ３２）、（ｘ３３，ｙ３３）、・・・”、及び、件数が“３”である。 As an example, in FIG. 8, the data with ID "1" has an item name of "recipient, billing amount, issuer", a feature amount of "( x11 , y11 ), ( x12 , y12 ), ( x13 , y13 ), ...", and the number of cases is "1000". The data with ID "2" has an item name of "recipient, billing amount, issuer, transfer account", a feature amount of "( x21 , y21 ), ( x22 , y22 ), ( x23 , y23 ), ...", and the number of cases is "100". The data with ID "3" has an item name of "address, name, payment amount, ...", a feature amount of "( x31 , y31 ), ( x32 , y32 ), ( x33 , y33 ), ...", and the number of cases is "3".
図７のフローチャートの説明に戻る。ステップＳ２２の処理後、テンプレート作成推薦処理部１５０は、帳票認識結果［ｉ］の項目名“ｉｔｅｍｓ［ｉ］”と、テンプレート候補［ｊ］の項目名“ｉｔｅｍｓ［ｊ］”が、同じかどうかを判定する（Ｓ２３）。帳票認識結果［ｉ］の項目名“ｉｔｅｍｓ［ｉ］”と、テンプレート候補［ｊ］の項目名“ｉｔｅｍｓ［ｊ］”とが一致するとは、帳票認識結果［ｉ］の「項目名」に含まれた項目と、テンプレート候補［ｊ］の「項目名」に含まれた項目とが、一致するということである。
Returning to the explanation of the flowchart in Figure 7, after the processing of step S22, the template creation
ｉｔｅｍｓ［ｉ］とｉｔｅｍｓ［ｊ］が一致する場合（Ｓ２３のＹＥＳ判定）、テンプレート作成推薦処理部１５０は、帳票認識結果［ｉ］の特徴量“ｆｅａｔｕｒｅ［ｉ］”と、テンプレート候補［ｊ］の特徴量“ｆｅａｔｕｒｅ［ｊ］”の対応点数“ｐｏｉｎｔ”を算出する（Ｓ２４）。すなわち、テンプレート作成推薦処理部１５０は、帳票認識結果［ｉ］の特徴量に含まれる座標情報と、テンプレート候補［ｊ］の特徴量に含まれる座標情報とを比較して、一致する座標情報の数を計算する。なお、座標情報の一致には、比較した座標情報が同じ場合に限らず、比較した座標情報が所定の距離内である場合が含まれる構成としてもよい。
When items[i] and items[j] match (YES judgment in S23), the template creation
次いで、テンプレート作成推薦処理部１５０は、「ｐｏｉｎｔｊ≧θ、かつ、ｐｏｉｎｔｊ＞ｐｏｉｎｔｍａｘ」の条件が成立するかどうかを判定する（Ｓ２５）。この判定処理は、テンプレート候補（ｊ＝１，・・・，Ｍ）の中から帳票認識結果［ｉ］と特徴量の対応点数が一番多い（一番類似している）ものを探す処理である。ｐｏｉｎｔｊ、θ、及びｐｏｉｎｔｍａｘの定義は次のとおりである。
Next, the template creation
ｐｏｉｎｔｊ：テンプレート候補［ｊ］の特徴量と、帳票認識結果［ｉ］の特徴量との対応点数
θ：業務要件を基に決める対応点数の閾値。対応点数ｐｏｉｎｔｊが閾値θ以上であると、テンプレート候補［ｊ］と帳票認識結果［ｉ］の特徴量が類似するとみなすことができる。
ｐｏｉｎｔｍａｘ：処理Ｂを開始してから現在までの間で一番対応点数が多いときの対応点数の値（最多対応点数）。対応点数ｐｏｉｎｔｊが最多対応点数ｐｏｉｎｔｍａｘを更新したかどうかを確認する。
point j : the number of corresponding points between the feature amount of the template candidate [j] and the feature amount of the form recognition result [i] θ: the threshold value of the number of corresponding points determined based on the business requirements. If the number of corresponding points point j is equal to or greater than the threshold value θ, it can be considered that the feature amounts of the template candidate [j] and the form recognition result [i] are similar.
point max : the value of the number of corresponding points when the number of corresponding points is the largest from the start of process B to the present (the most frequent number of corresponding points). It is confirmed whether the number of corresponding points point j has updated the most frequent number of corresponding points point max .
ここで、帳票認識結果［ｉ］の特徴量とテンプレート候補［ｊ］の特徴量との対応点数を計算したが、帳票認識結果［ｉ］の特徴量とテンプレート候補［ｊ］の特徴量との対応点数から、これらの特徴量全体の類似度を計算して類似度に基づいてテンプレート候補の集計処理に利用するようにしてもよい。さらに、ステップ２３における帳票認識結果［ｉ］の項目名とテンプレート候補［ｊ］の項目名との間で、これらの項目名全体の類似度を計算して、テンプレート候補の集計処理に利用するようにしてもよい。 Here, the correspondence score between the feature amounts of the form recognition result [i] and the feature amounts of the template candidate [j] is calculated, but it is also possible to calculate the overall similarity of these feature amounts from the correspondence scores between the feature amounts of the form recognition result [i] and the feature amounts of the template candidate [j] and use this similarity for the tabulation process of the template candidates. Furthermore, it is also possible to calculate the overall similarity of the item names between the item names of the form recognition result [i] and the item names of the template candidate [j] in step 23 and use this for the tabulation process of the template candidates.
次いで、テンプレート作成推薦処理部１５０は、ステップＳ２５において判定条件が成立する場合（Ｓ２５のＹＥＳ判定）、最多対応点数ｐｏｉｎｔｍａｘをこのときの対応点数ｐｏｉｎｔｊで更新し、かつ、このときのテンプレート候補テーブル１５１のＩＤフィールドの値ｊを、ｉｎｄｅｘｍａｘとする（Ｓ２６）。
Next, if the determination condition is met in step S25 (YES determination in S25), the template creation
ステップＳ２３においてＮＯ判定、ステップＳ２５においてＮＯ判定、又はステップＳ２６の処理後、テンプレート作成推薦処理部１５０は、次のテンプレート候補［ｊ＋１］に対する処理Ｂ（Ｓ２２～Ｓ２６）を実行する。そして、テンプレート作成推薦処理部１５０は、全てのテンプレート候補について処理Ｂが終了した場合にはステップＳ２７へ進む。
After a NO judgment in step S23, a NO judgment in step S25, or the processing of step S26, the template creation
処理Ｂの終了後、テンプレート作成推薦処理部１５０は、帳票認識結果［ｉ］と類似するテンプレート候補があるかどうか（ｉｎｄｅｘｍａｘ≠ｎｕｌｌ？）を判定する（Ｓ２７）。帳票認識結果［ｉ］と類似するテンプレート候補がある場合には（Ｓ２７のＹＥＳ判定）、テンプレート作成推薦処理部１５０は、テンプレート候補テーブル１５１内の該当するテンプレート候補［ｉｎｄｅｘｍａｘ］の「件数」を１増加させる（Ｓ２８）。この件数が多いほど、一つのテンプレート候補で多くの帳票に対応可能であることを示しているため、テンプレート作成が推奨される。
After the process B is completed, the template creation
次いで、テンプレート作成推薦処理部１５０は、次の帳票認識結果［ｉ＋１］に対する処理に備えて、ｉｎｄｅｘｍａｘと最多対応点数ｐｏｉｎｔｍａｘをリセットする。すなわち、テンプレート作成推薦処理部１５０は、ｉｎｄｅｘｍａｘと“ｎｕｌｌ”に設定するとともに、最多対応点数ｐｏｉｎｔｍａｘを“０”に設定する（Ｓ２９）。
Next, the template creation
ステップＳ２７において帳票認識結果［ｉ］と類似するテンプレート候補が一つもなかった場合には（Ｓ２７のＮＯ判定）、テンプレート作成推薦処理部１５０は、帳票認識結果［ｉ］をテンプレート候補テーブル１５１に新規登録して新規テンプレート候補とする（Ｓ３０）。
If there is no template candidate similar to the form recognition result [i] in step S27 (NO judgment in S27), the template creation
ステップＳ２９の処理後、又はステップＳ３０の処理後、テンプレート作成推薦処理部１５０は、次の帳票認識結果［ｉ＋１］に対する処理Ａ（Ｓ２１～Ｓ３０）を実行する。そして、テンプレート作成推薦処理部１５０は、全ての帳票認識結果について処理Ａが終了すると、本テンプレート候補集計処理を終了する。
After the processing of step S29 or step S30, the template creation
図７の例では、ステップＳ２３及びＳ２５において、テンプレート作成推薦処理部１５０が、記憶部（帳票認識結果テーブル１４１）及びテンプレート候補記憶部（テンプレート候補テーブル１５１）に蓄積された、帳票画像の文字認識結果に含まれる帳票の項目名を比較し（Ｓ２３）、項目名が一致する場合には双方の帳票画像の文字認識結果に含まれる特徴量を比較して、帳票（文字認識結果）の類似性を判定する（Ｓ２４，Ｓ２５）構成を説明したが、この例に限られない。例えば、双方の帳票画像の文字認識結果に含まれる帳票の項目名を比較して、帳票（文字認識結果）の類似性を判定する構成としてもよい。また、双方の帳票画像の文字認識結果に含まれる帳票の特徴量を比較して、帳票（文字認識結果）の類似性を判定するようにしてもよい。
In the example of FIG. 7, in steps S23 and S25, the template creation
文字認識結果に含まれる帳票の項目名を比較して帳票の類似性を判定する場合、特徴量を用いた場合よりも処理負荷が小さいため、帳票の類似性判定を低コストで実施できる。また、文字認識結果に含まれる帳票の特徴量を比較して帳票の類似性を判定する場合、帳票の類似性判定を高精度で実施できる。 When determining the similarity of forms by comparing the form item names contained in the character recognition results, the processing load is smaller than when feature amounts are used, so form similarity determination can be performed at low cost. Also, when determining the similarity of forms by comparing the form feature amounts contained in the character recognition results, form similarity determination can be performed with high accuracy.
［テンプレート作成推薦処理］
次に、帳票認識システム１００のテンプレート作成推薦処理部１５０によるテンプレート作成推薦処理について、図９を参照して説明する。本実施の形態では、新たにテンプレートを作成する場合としない場合の帳票認識にかかるコスト（費用）に基づいて、テンプレート作成の推薦の是非を判断する。
[Template creation recommendation process]
Next, the template creation recommendation process by the template creation
図９は、帳票認識システム１００のテンプレート作成推薦処理部１５０によるテンプレート作成推薦処理の例を示すシーケンスチャートである。
Figure 9 is a sequence chart showing an example of template creation recommendation processing by the template creation
まず、ユーザ端末１７０は、帳票認識システム１００（サービス制御部１２０）にテンプレート作成推薦の実行を要求する（Ｓ４１）。ユーザは、一定周期などの所定の条件に従って、テンプレート作成推薦の実行を要求することが望ましい。例えば、所定の条件の一例としては、所定期間（例えば、１か月）ごと、あるいは、帳票認識システム１００から帳票認識結果が設定件数以上蓄積されたことが通知されたときが挙げられる。なお、所定期間は１か月に限らず、数か月や１週間など、種々の期間を設定できる。
First, the
次いで、サービス制御部１２０は、テンプレート作成推薦処理部１５０に作成推薦テンプレート一覧を要求する（Ｓ４２）。
Next, the
次いで、テンプレート作成推薦処理部１５０は、テンプレート候補テーブル１５１からテンプレート候補一覧を取得する処理を実行する（Ｓ４３）。
Next, the template creation
次いで、テンプレート作成推薦処理部１５０は、テンプレート候補一覧から費用削減の条件を満たすテンプレート候補を抽出して、ユーザにテンプレート作成を推薦する作成推薦テンプレート一覧を作成する（Ｓ４４）。以下に、費用削減の条件の一例として式（１）を示す。作成推薦テンプレート一覧には、例えば、１又は複数のテンプレート候補の識別子、項目名、及び特徴量の情報が含まれる。
Next, the template creation
Costfixed × N ＋ Costtemplate < Costunfixed × N ・・・・（１）
Costfixed：テンプレート候補の帳票を定型エンジンで認識するコスト（一枚当たりの費用）
Costunfixed：テンプレート候補の帳票を非定型エンジンで認識するコスト（一枚当たりの費用）
Costtemplate：テンプレート作成コスト（費用）
N：テンプレート候補の件数（１か月間に蓄積された帳票認識結果の件数）
Cost fixed × N + Cost template < Cost unfixed × N ... (1)
Cost fixed : The cost of recognizing template candidate forms using the template engine (cost per sheet)
Cost unfixed : The cost of recognizing template candidate forms using a non-fixed engine (cost per sheet)
Cost template : Template creation cost (cost)
N: Number of template candidates (number of form recognition results accumulated in one month)
ここで、テンプレート作成推薦処理部１５０による、テンプレート候補一覧から式（１）を満たすテンプレート候補を抽出する際の判断について具体例を挙げて説明する。一例として、Costfixed、Costunfixed、Costtemplate、及びNについて、以下の条件を設定する。
Here, a specific example will be given to explain the determination made by the template creation
Costfixed：定型エンジンによる認識コスト＝１円／枚
Costunfixed：非定型エンジンによる認識コスト＝５０円／枚
Costtemplate：テンプレート作成コスト＝５０，０００円
N：テンプレート候補の件数（１か月に蓄積された帳票認識結果の件数）＝１０，０００枚、１０枚
Cost fixed : Recognition cost by template engine = 1 yen/sheet
Cost unfixed : Recognition cost by unfixed engine = 50 yen/sheet
Cost template : Template creation cost = 50,000 yen
N: Number of template candidates (number of form recognition results accumulated in one month) = 10,000 sheets, 10 sheets
（１か月に蓄積された件数が１０，０００枚の場合）
１円／枚×１０，０００枚＋５０，０００円＜５０円／枚×１０，０００枚
→６０，０００円 ＜ ５００，０００円
(When the number of items accumulated in one month is 10,000)
1 yen/sheet x 10,000 sheets + 50,000 yen < 50 yen/sheet x 10,000 sheets → 60,000 yen < 500,000 yen
このように、１か月間に蓄積された件数が１０，０００枚の場合、テンプレート作成を含むコスト（左辺）が、非定型エンジンによる認識コスト（右辺）よりも小さいため、帳票認識システム１００はユーザにテンプレート作成を推薦する。以降、帳票認識システム１００は、該当する帳票について、推薦後に作成されたテンプレートを用いて定型エンジンにより文字認識を実施する。
In this way, when the number of documents accumulated in one month is 10,000, the cost including template creation (left side) is smaller than the recognition cost using the non-standard engine (right side), so the
（１か月に蓄積された件数が１０枚の場合）
１円／枚×１０枚＋５０，０００円＞５０円／枚×１０枚
→５０，０１０円 ＞ ５００円
(When 10 items are accumulated in one month)
1 yen/sheet x 10 sheets + 50,000 yen > 50 yen/sheet x 10 sheets → 50,010 yen > 500 yen
このように、１か月間に蓄積された件数が１０枚の場合、テンプレート作成を含むコスト（左辺）が、非定型エンジンによる認識コスト（右辺）を上回るため、帳票認識システム１００はテンプレート作成を推薦しない。帳票認識システム１００は、該当する帳票について、引き続き非定型エンジンにより文字認識を実施する。
In this way, when the number of documents accumulated in one month is 10, the cost including template creation (left side) exceeds the recognition cost using the non-standard engine (right side), so the
本実施の形態では、テンプレート作成推薦処理部１５０は、テンプレート候補の所定期間に蓄積された類似する文字認識結果の件数（図８）と、定型エンジン１６１による帳票一枚当たりの文字認識コストと、非定型エンジン１６２による帳票一枚当たりの文字認識コストと、定型エンジン１６１での文字認識に用いるテンプレートの作成コストとから、テンプレートの作成を推薦する帳票（テンプレート候補）を特定する。このようにコスト面を考慮してテンプレートを作成することにより、認識精度が高く低コストの定型エンジンでの文字認識の機会が増加させることができ、運用が進むにつれて帳票認識コストを抑えることができる。
In this embodiment, the template creation
次いで、テンプレート作成推薦処理部１５０は、サービス制御部１２０に作成推薦テンプレート一覧を送信する（Ｓ４５）。
Next, the template creation
次いで、サービス制御部１２０は、ユーザ端末１７０に作成推薦テンプレート一覧を送信する（Ｓ４６）。ステップＳ４６の処理後、本テンプレート作成推薦処理を終了する。
Next, the
ユーザは、ユーザ端末１７０により受信した作成推薦テンプレート一覧の情報（テンプレート候補の識別子、項目名、及び特徴量）に基づいて、図示しないテンプレート作成ツールを利用して、作成を推薦された１又は複数の帳票に対するテンプレートを作成する。 Based on the information on the list of recommended templates received by the user terminal 170 (template candidate identifiers, item names, and features), the user uses a template creation tool (not shown) to create templates for one or more forms that have been recommended for creation.
以上のとおり、本実施の形態に係る帳票認識システムは、帳票に記載されている文字の認識に用いられる定型帳票認識エンジンと非定型帳票認識エンジンの両方に連携する。上記帳票認識システムは、帳票認識処理部（帳票認識処理部１４０）と、テンプレート選択処理部（テンプレート選択処理部１３０）と、を備える。
上記帳票認識処理部は、定型帳票認識エンジン及び非定型帳票認識エンジンを用いて、帳票の読み取り画像である帳票画像に対する文字認識処理を実行し、非定型帳票認識エンジンによる帳票画像の文字認識結果を記憶部（帳票認識結果テーブル１４１）に蓄積する。
上記テンプレート選択処理部は、帳票の帳票画像から定型帳票認識エンジンでの文字認識に用いるテンプレートを、テンプレートデータベース（テンプレートデータベース１３１）から選択する処理を実行して、テンプレート選択結果を帳票認識処理部へ出力する。
そして、上記帳票認識処理部は、テンプレート選択結果に基づいて、帳票に対するテンプレートが存在しない場合には、非定型帳票認識エンジンにより帳票画像に対する文字認識処理を実行し、帳票に対するテンプレートが存在する場合には選択されたテンプレートを用いて、定型帳票認識エンジンにより帳票画像に対する文字認識処理を実行する。
As described above, the form recognition system according to the present embodiment cooperates with both a fixed form recognition engine and an unfixed form recognition engine used for recognizing characters written on a form. The form recognition system includes a form recognition processing unit (form recognition processing unit 140) and a template selection processing unit (template selection processing unit 130).
The document recognition processing unit uses a standard document recognition engine and an unstandardized document recognition engine to perform character recognition processing on a document image, which is a scanned image of a document, and stores the character recognition results of the document image by the unstandardized document recognition engine in a memory unit (document recognition result table 141).
The template selection processing unit executes a process of selecting a template to be used for character recognition in the fixed form recognition engine from a form image of the form from a template database (template database 131), and outputs the template selection result to the form recognition processing unit.
Then, based on the template selection result, if a template for the form does not exist, the form recognition processing unit performs character recognition processing on the form image using a non-standard form recognition engine, and if a template for the form exists, performs character recognition processing on the form image using the standard form recognition engine using the selected template.
さらに、本実施の形態に係る帳票認識システムは、テンプレート候補記憶部（テンプレート候補テーブル１５１）と、テンプレート作成推薦処理部（テンプレート作成推薦処理部１５０）と、を備える。
上記テンプレート候補記憶部は、帳票画像の文字認識結果を、類似する文字認識結果ごとにテンプレート候補として記憶する。
上記テンプレート作成推薦処理部は、記憶部（帳票認識結果テーブル１４１）から読み出した帳票画像の文字認識結果を、テンプレート候補記憶部に記憶された文字認識結果と比較し、テンプレート候補記憶部の文字認識結果に類似する文字認識結果が記憶部に存在する場合には、該当するテンプレート候補の文字認識結果の件数に１を加算し、記憶部に類似する文字認識結果が存在しない場合には、文字認識結果を新しいテンプレート候補としてテンプレート候補記憶部に登録し、テンプレート候補記憶部から費用削減の条件を満たすテンプレート候補を抽出してユーザ端末に送信する。
Furthermore, the form recognition system according to this embodiment includes a template candidate storage unit (template candidate table 151) and a template creation recommendation processing unit (template creation recommendation processing unit 150).
The template candidate storage unit stores the character recognition results of the form image as template candidates for each similar character recognition result.
The template creation recommendation processing unit compares the character recognition result of the form image read out from the storage unit (form recognition result table 141) with the character recognition result stored in the template candidate storage unit, and if a character recognition result similar to the character recognition result in the template candidate storage unit is present in the storage unit, it adds 1 to the number of character recognition results of the corresponding template candidate, and if no similar character recognition result is present in the storage unit, it registers the character recognition result in the template candidate storage unit as a new template candidate, extracts template candidates that satisfy the conditions for cost reduction from the template candidate storage unit, and transmits them to the user terminal.
上記テンプレート作成推薦処理部は、定型帳票認識エンジンによる文字認識にかかる費用と、非定型帳票認識エンジンによる文字認識にかかる費用と、テンプレートの作成にかかる費用とから、テンプレートを作成した場合にテンプレートを作成する前よりも帳票認識にかかる費用が下がるテンプレート候補を抽出して、作成を推薦するテンプレートとして抽出したテンプレート候補の情報（例えば、項目名、特徴量など）をユーザ端末に送信する。 The template creation recommendation processing unit extracts template candidates that will reduce the cost of form recognition when the template is created compared to before the template is created, based on the cost of character recognition using the fixed form recognition engine, the cost of character recognition using the non-fixed form recognition engine, and the cost of creating the template, and transmits information (e.g., item names, feature values, etc.) of the extracted template candidates as templates recommended for creation to the user terminal.
上述した本実施の形態では、テンプレート選択処理部のテンプレート選択結果に基づいて、帳票に対するテンプレートが存在しない場合には、非定型帳票認識エンジンによる文字認識処理を実行し、帳票に対するテンプレートが存在する場合には選択されたテンプレートを用いて、定型帳票認識エンジンによる文字認識処理を実行する。 In the above-described embodiment, if a template does not exist for the form based on the template selection result of the template selection processing unit, character recognition processing is performed using a non-standard form recognition engine, and if a template exists for the form, character recognition processing is performed using a standard form recognition engine using the selected template.
このように、目的の帳票に対するテンプレートの有無に応じて定型帳票認識エンジンと非定型帳票認識エンジンを択一的に選択し、テンプレートがある場合には定型帳票認識エンジンで文字認識処理を実行することで、帳票認識にかかるコストを抑えることができる。また、テンプレートを用いて定型帳票認識エンジンによる文字認識を行うので認識精度を向上させることができる。 In this way, the cost of form recognition can be reduced by alternatively selecting between a fixed form recognition engine and a non-fixed form recognition engine depending on whether or not a template for the target form is available, and by executing character recognition processing with the fixed form recognition engine when a template is available. In addition, because character recognition is performed by the fixed form recognition engine using a template, recognition accuracy can be improved.
また、上述した本実施の形態では、帳票の認識結果から同じテンプレートで読み取り可能な帳票を特定して、該テンプレートの作成をユーザに推薦する。より具体的には、非定型帳票認識エンジンでの認識結果の蓄積と、帳票認識にかかるコスト（各エンジンによる認識コスト、テンプレート作成コスト、処理件数により変化）とに基づいて、テンプレート作成の要否を判断してテンプレートの作成を推奨する。言い換えると、本実施の形態では、非定型帳票認識エンジンで認識していた帳票のうち、帳票認識にかかるコストを考慮して定型帳票認識エンジンでの認識に切り替えるべき帳票を特定する。このような仕組みにより、定型帳票認識エンジンと非定型帳票認識エンジンの両方に連携する帳票認識システムを用いて多様なレイアウトの帳票を処理する業務において、帳票認識コストを抑えながら認識精度を向上させることができる。 In the above-described embodiment, forms that can be read with the same template are identified from the form recognition results, and the user is recommended to create the template. More specifically, the necessity of creating a template is determined based on the accumulation of recognition results from the non-standard form recognition engine and the cost of form recognition (which varies depending on the recognition cost of each engine, the template creation cost, and the number of processes), and the creation of the template is recommended. In other words, in this embodiment, of the forms that have been recognized by the non-standard form recognition engine, forms that should be switched to recognition by the standard form recognition engine are identified taking into account the cost of form recognition. With this mechanism, in a business that processes forms of various layouts using a form recognition system that works with both the standard form recognition engine and the non-standard form recognition engine, it is possible to improve recognition accuracy while suppressing form recognition costs.
また、本実施の形態では、作成することにより帳票認識コストを下げられるテンプレート候補（帳票）の情報をユーザに提示するので、ユーザは、人手によらずに、帳票認識コストを抑える方法を知ることができる。 In addition, in this embodiment, the user is presented with information on template candidates (forms) that can be created to reduce form recognition costs, so the user can learn how to reduce form recognition costs without manual intervention.
なお、本発明は上述した実施形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、その他種々の応用例、変形例を取り得ることは勿論である。例えば、上述した実施形態は本発明を分かりやすく説明するためにその構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成要素を備えるものに限定されない。また、上述した実施形態の構成の一部について、他の構成要素の追加又は置換、削除をすることも可能である。 The present invention is not limited to the above-described embodiment, and various other applications and modifications are possible without departing from the gist of the present invention as described in the claims. For example, the above-described embodiment describes the configuration in detail and specifically in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to having all of the components described. In addition, it is also possible to add, replace, or delete other components to part of the configuration of the above-described embodiment.
また、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。ハードウェアとして、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などの広義のプロセッサデバイスを用いてもよい。 Furthermore, the above-mentioned configurations, functions, processing units, etc. may be realized in part or in whole in hardware, for example by designing them as integrated circuits. As the hardware, a broad processor device such as an FPGA (Field Programmable Gate Array) or an ASIC (Application Specific Integrated Circuit) may be used.
また、上述した実施形態に係る帳票認識システム１００の各構成要素は、それぞれのハードウェアがネットワークを介して互いに情報を送受信できるならば、いずれのハードウェアに実装されてもよい。また、ある処理部により実施される処理が、１つのハードウェアにより実現されてもよいし、複数のハードウェアによる分散処理により実現されてもよい。
Furthermore, each component of the
１００…帳票認識システム、 １１０…ウェブサーバ、 １２０…サービス制御部
１３０…テンプレート選択処理部、 １３１…テンプレートデータベース、 １４０…帳票認識処理部、 １４１…帳票認識結果テーブル、 １５０…テンプレート作成推薦処理部、 １５１…テンプレート候補テーブル、 １６１…定型エンジン、 １６２…非定型エンジン、 １７０…ユーザ端末、 １８０…インターネット、 ２００…計算機、 ２０１…ＣＰＵ、 ２０２…ＲＯＭ、 ２０３…ＲＡＭ、 ２０４…不揮発性ストレージ、 ２０５…通信インターフェース、 ３１０…運用改善段階、 ３２０…運用初期段階
LIST OF
Claims (7)
前記定型帳票認識エンジン及び前記非定型帳票認識エンジンを用いて、帳票の読み取り画像である帳票画像に対する文字認識処理を実行し、前記非定型帳票認識エンジンによる前記帳票画像の文字認識結果を記憶部に蓄積する帳票認識処理部と、
前記帳票の帳票画像から前記定型帳票認識エンジンでの文字認識に用いるテンプレートを、テンプレートデータベースから選択する処理を実行して、テンプレート選択結果を前記帳票認識処理部へ出力するテンプレート選択処理部と、
前記帳票画像の文字認識結果を、類似する文字認識結果ごとにテンプレート候補として記憶するテンプレート候補記憶部と、
テンプレート作成推薦処理部と、を備え、
前記帳票認識処理部は、前記テンプレート選択結果に基づいて、前記帳票に対するテンプレートが存在しない場合には、前記非定型帳票認識エンジンにより前記帳票画像に対する文字認識処理を実行し、前記帳票に対するテンプレートが存在する場合には選択されたテンプレートを用いて、前記定型帳票認識エンジンにより前記帳票画像に対する文字認識処理を実行し、
前記テンプレート作成推薦処理部は、前記記憶部から読み出した前記帳票画像の文字認識結果を、前記テンプレート候補記憶部に記憶された前記文字認識結果と比較し、前記テンプレート候補記憶部の前記文字認識結果に類似する文字認識結果が前記記憶部に存在する場合には、該当するテンプレート候補の文字認識結果の件数に１を加算し、前記記憶部に類似する文字認識結果が存在しない場合には、前記文字認識結果を新しいテンプレート候補として前記テンプレート候補記憶部に登録し、前記テンプレート候補記憶部から費用削減の条件を満たすテンプレート候補を抽出してユーザ端末に送信する
帳票認識システム。 A form recognition system that cooperates with both a fixed form recognition engine and a non-fixed form recognition engine used to recognize characters written on forms,
a form recognition processing unit that executes character recognition processing on a form image, which is a scanned image of a form, using the standard form recognition engine and the non-standard form recognition engine, and stores the character recognition result of the form image by the non-standard form recognition engine in a storage unit;
a template selection processing unit that executes a process of selecting a template to be used for character recognition by the standard form recognition engine from a template database based on a form image of the form, and outputs a template selection result to the form recognition processing unit;
a template candidate storage unit that stores the character recognition results of the form image as template candidates for each similar character recognition result;
A template creation recommendation processing unit ,
the form recognition processing unit, based on the template selection result, executes character recognition processing on the form image by the non-standard form recognition engine when a template for the form does not exist, and executes character recognition processing on the form image by the standard form recognition engine using the selected template when a template for the form exists;
The template creation recommendation processing unit compares the character recognition result of the form image read from the storage unit with the character recognition result stored in the template candidate storage unit, and if a character recognition result similar to the character recognition result of the template candidate storage unit exists in the storage unit, adds 1 to the number of character recognition results of the corresponding template candidate, and if no similar character recognition result exists in the storage unit, registers the character recognition result in the template candidate storage unit as a new template candidate, and extracts template candidates that satisfy a cost reduction condition from the template candidate storage unit and transmits the extracted template candidates to a user terminal.
Document recognition system.
請求項１に記載の帳票認識システム。 2. The form recognition system according to claim 1, wherein the template creation recommendation processing unit extracts template candidates that will reduce the cost of form recognition when the template is created compared to before the template is created, based on a cost required for character recognition by the fixed form recognition engine, a cost required for character recognition by the unfixed form recognition engine, and a cost required for creating the template, and transmits information on the extracted template candidates to the user terminal as templates recommended for creation.
請求項２に記載の帳票認識システム。 3. The form recognition system according to claim 2, wherein the template creation recommendation processing unit identifies the template candidate for which creation of the template is to be recommended based on a number of similar character recognition results accumulated for the template candidate during a predetermined period, a cost required for character recognition per form by the fixed form recognition engine, a cost required for character recognition per form by the unfixed form recognition engine, and a cost required for creating the template.
請求項１に記載の帳票認識システム。 2. The form recognition system according to claim 1, wherein the template creation recommendation processing unit compares item names included in the character recognition results of the form images stored in the storage unit and the template candidate storage unit, and when the item names match, compares feature amounts included in the character recognition results of both the form images to determine a similarity between the character recognition results.
請求項１に記載の帳票認識システム。 2. The form recognition system according to claim 1, wherein the template creation recommendation processing unit compares item names included in the character recognition results of the form image stored in the storage unit and the template candidate storage unit to determine a similarity between the character recognition results.
請求項１に記載の帳票認識システム。 2. The form recognition system according to claim 1, wherein the template creation recommendation processing unit compares feature amounts included in the character recognition results of the form image stored in the storage unit and the template candidate storage unit to determine a similarity between the character recognition results.
前記帳票の読み取り画像である帳票画像から前記定型帳票認識エンジンでの文字認識に用いるテンプレートを、テンプレートデータベースから選択する処理を実行して、テンプレート選択結果を出力する処理と、
前記テンプレート選択結果に基づいて、前記帳票に対するテンプレートが存在しない場合には、前記非定型帳票認識エンジンにより前記帳票画像に対する文字認識処理を実行し、前記帳票に対するテンプレートが存在する場合には選択されたテンプレートを用いて、前記定型帳票認識エンジンにより前記帳票画像に対する文字認識処理を実行する処理と、
前記非定型帳票認識エンジンによる前記帳票画像の文字認識結果を記憶部に蓄積する処理と、
前記帳票画像の文字認識結果を、類似する文字認識結果ごとにテンプレート候補としてテンプレート候補記憶部に記憶する処理と、
前記記憶部から読み出した前記帳票画像の文字認識結果を、前記テンプレート候補記憶部に記憶された前記文字認識結果と比較し、前記テンプレート候補記憶部の前記文字認識結果に類似する文字認識結果が前記記憶部に存在する場合には、該当するテンプレート候補の文字認識結果の件数に１を加算し、前記記憶部に類似する文字認識結果が存在しない場合には、前記文字認識結果を新しいテンプレート候補として前記テンプレート候補記憶部に登録し、前記テンプレート候補記憶部から費用削減の条件を満たすテンプレート候補を抽出してユーザ端末に送信する処理と、を含む
帳票認識方法。 A method for recognizing a form using a form recognition system that cooperates with both a fixed form recognition engine and a non-fixed form recognition engine used for recognizing characters written on a form, comprising:
A process of selecting a template to be used for character recognition by the standard form recognition engine from a template database based on a form image, which is a scanned image of the form, and outputting a template selection result;
a process of executing character recognition processing on the form image by the non-standard form recognition engine when a template for the form does not exist based on the template selection result, and executing character recognition processing on the form image by the standard form recognition engine using the selected template when a template for the form exists;
A process of storing a character recognition result of the form image by the non-standard form recognition engine in a storage unit;
storing the character recognition results of the form image in a template candidate storage unit as template candidates for each similar character recognition result;
comparing a character recognition result of the form image read from the storage unit with the character recognition result stored in the template candidate storage unit, and if a character recognition result similar to the character recognition result of the template candidate storage unit exists in the storage unit, adding 1 to the number of character recognition results of the corresponding template candidate, and if no similar character recognition result exists in the storage unit, registering the character recognition result in the template candidate storage unit as a new template candidate, and extracting template candidates that satisfy a cost reduction condition from the template candidate storage unit and transmitting the extracted template candidates to a user terminal .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023130364A JP7664329B2 (en) | 2023-08-09 | 2023-08-09 | Document recognition system and document recognition method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023130364A JP7664329B2 (en) | 2023-08-09 | 2023-08-09 | Document recognition system and document recognition method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2025025527A JP2025025527A (en) | 2025-02-21 |
| JP7664329B2 true JP7664329B2 (en) | 2025-04-17 |
Family
ID=94645090
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023130364A Active JP7664329B2 (en) | 2023-08-09 | 2023-08-09 | Document recognition system and document recognition method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7664329B2 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021047688A (en) | 2019-09-19 | 2021-03-25 | 株式会社日立情報通信エンジニアリング | Form recognition method and program |
-
2023
- 2023-08-09 JP JP2023130364A patent/JP7664329B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021047688A (en) | 2019-09-19 | 2021-03-25 | 株式会社日立情報通信エンジニアリング | Form recognition method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2025025527A (en) | 2025-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6938228B2 (en) | Calculator, document identification method, and system | |
| US8838657B1 (en) | Document fingerprints using block encoding of text | |
| US11836442B2 (en) | Information processing apparatus, method, and storage medium for associating metadata with image data | |
| CN112036145A (en) | Financial statement identification method and device, computer equipment and readable storage medium | |
| JP2009043242A (en) | Method and system for generating a graphical user interface | |
| US9305245B2 (en) | Methods and systems for evaluating handwritten documents | |
| US8456688B2 (en) | Data generating device, scanner and non-transitory computer readable medium | |
| JP2016048444A (en) | Document identification program, document identification device, document identification system, and document identification method | |
| CN112487859A (en) | Information processing apparatus, information processing method, and computer readable medium | |
| US10803233B2 (en) | Method and system of extracting structured data from a document | |
| JP6253354B2 (en) | Form reading device, program, and form reading system | |
| JP2021033325A (en) | Image processing device, control method thereof and program | |
| JP2018042067A (en) | Image processing system, image processing method, and information processing apparatus | |
| US20260064765A1 (en) | Drawing search device, drawing database construction device, drawing search system, drawing search method, and recording medium | |
| JP7664329B2 (en) | Document recognition system and document recognition method | |
| JP6325604B2 (en) | Personal information registration and management system | |
| JP7414449B2 (en) | Data processing system, data processing method, and program | |
| JP2021064122A (en) | Image processing device, image processing method, and program | |
| US11972208B2 (en) | Information processing device and information processing method | |
| JP6870159B1 (en) | Data processing equipment, data processing methods and programs | |
| JPWO2020044537A1 (en) | Image matching device, image matching method, and program | |
| JP2024136122A (en) | Information reading device, information reading method, and program | |
| JP4466241B2 (en) | Document processing method and document processing apparatus | |
| JP7847257B1 (en) | Information processing system, information processing method, and information processing program | |
| US11763582B2 (en) | Information processing apparatus, control method of information processing apparatus, and non-transitory storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20241022 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20241212 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250318 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250407 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7664329 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |