JP4651407B2

JP4651407B2 - 画像処理装置およびコンピュータプログラムおよび記憶媒体

Info

Publication number: JP4651407B2
Application number: JP2005043980A
Authority: JP
Inventors: 敏文山合; 直宏石丸
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2005-02-21
Filing date: 2005-02-21
Publication date: 2011-03-16
Anticipated expiration: 2025-02-21
Also published as: JP2006228106A

Description

本発明は、文書画像において指定された指定領域をテンプレートとして保持するとともに、前記テンプレートを作るための画像について指定領域の内部及び周辺の特徴情報を取得してその特徴を保持し、入力画像に対して前記指定領域と同じ位置を抽出する画像処理装置、および、コンピュータプログラム、および、記憶媒体に関する。

既存の帳票処理というのは、帳票フォームが完全な定型で、どのフォームにも固定の文字や罫線、枠やタイミングマークなどが存在することがほとんどである。そういった帳票フォームの記入部分を処理するようなシステムは公知なものが既にたくさんある。

例えば、罫線の交差する十字点を利用して位置合わせする手法（特許文献１参照）、画像中の所定のマークを形状認識手法により抽出することによって、画像のずれを検出して補正する方法（特許文献２参照）

しかし、これらの方法は、先に書いたように、位置合わせをする基準となるなんらかの固定のマーク、罫線、枠、文字が必要となる。そのために、例えば論文のタイトルのように、同じレイアウトで書かれているが、帳票フォームのようなものではないものを大量に、高速に入力したいというような場合には使うことができない。

そういったレイアウト情報を利用して書誌的事項を的確に抽出する技術には、例えば、特許文献３に開示されているように、入力画像に対して領域分割を行い、レイアウト構造に関する特徴抽出を行ってモデルを作成し、あらかじめ作成されているモデルと一致したものに関して望む書誌事項を抽出するという使い方が可能である。この方法は、論文誌の書誌事項を取ってくるような場合には非常に有効であるが、レイアウトで分類する必要のない場合には無駄な処理が多い、領域識別の性能に非常に依存するが、安定した領域識別結果を得るのは難しい、取得する位置以外のレイアウトが微妙に違っていると、別モデルを作成する必要がある、という課題がある。

さらに、本出願人による、特許文献４の「帳票データ読取方法、記録媒体、及び、帳票データ読取装置」では表の構造認識と文字認識結果を利用して、項目の左（または下）に何を認識すべき領域があるかを記述しておくことで、帳票フォーマットの自由度を高めたものでも認識可能なシステムを提案している。

しかし、この方法で効果がみられるほど自由度が高くない文書では、文字認識までかけるこの方法は処理時間もリソースも消費し、ＯＣＲ結果に依存することで安定性も欠く。さらに、複数の表がある文書では、この方法の上位概念としてどの表の認識を行うべきかという判断処理が必要であり、提案手法でのみ解決できるものではない。
特開平１０−０９１７８３号公報特開平４−２６１２５９号公報特開平１１−３２８３０６号公報特開２０００−２９９８６号公報

本発明は、かかる実情に鑑みてなされたものであり、記入項目などの順番、表内部の相対位置などは制限されるが、記入されている項目や、構造が比較的同じ（準定型）とされる文書、例えば、プリンタの違いによる微妙なフォントや枠の大きさ、用紙サイズの若干の違い、スキャンする解像度の違い、あるいは、プリンタで印刷したものに何らかの記入が行われ、それをスキャンして処理する通常の流れの次に、スキャンしたデータを後過程で再び印刷して追加記入し、それを再スキャンした場合など、スキャン時、プリント時のマージンなどで、微妙に大きさが変わるといった、サイズの違いに耐えられ、かつ、処理時間や必要なメモリ量を抑制することができる画像処理装置およびコンピュータプログラムおよび記憶媒体を提供することを目的とする。

本発明は、文書画像において指定された指定領域をテンプレートとして保持するとともに、前記テンプレートを作るための画像について指定領域の内部及び周辺の特徴情報を取得してその特徴を保持し、入力画像に対して前記指定領域と同じ位置を抽出する画像処理装置において、前記テンプレート作成画像上で、指定領域が表枠の一部であるかどうかを判定し、表であった場合には、前記指定領域を囲む枠を含む表の内部を解析して、表の構造上でどの位置が指定されたのかを認識し、保持するようにし、前記指定領域が表枠の一部であるかどうかを判定する際、ユーザに対して指定領域についての情報を入力要求し、それによって取得した情報を参照するようにしたものである。

また、コンピュータを上記画像処理装置として機能させるためのコンピュータプログラムである。

また、上記記載のコンピュータプログラムを格納した記憶媒体である。

したがって、本発明によれば、定型に近い文書の位置合わせを行うもので、完全に定型ではない文書の特定の位置を、あらかじめ定められた処理を行うように作成されたシステムで効果的に使うことができる。例えば、位置合わせして、ある表構造をもった文書の表の一部を取ってきたいなどといったことを実現することができるという効果を得る。

以下、添付図面を参照しながら、本発明の実施の形態を詳細に説明する。

図１は、本発明の一実施例にかかる画像処理装置の構成例を示している。

同図において、ＣＰＵ（中央処理装置）１は、この画像処理装置の動作制御を行うものであり、ＲＯＭ（リード・オンリ・メモリ）２は、ＣＰＵ１が起動時に実行するプログラムや必要なデータ等を記憶するためのものであり、ＲＡＭ（ランダム・アクセス・メモリ）３は、ＣＰＵ１のワークエリア等を構成するためのものである。

キャラクタジェネレータ４は、図形文字の表示データを発生するためのものであり、時計回路５は、現在日時情報を出力するためのものであり、ローカルエリアネットワークインターフェース回路６は、この画像処理装置をローカルエリアネットワーク（図示略）に接続するためのものであり、ローカルエリアネットワーク伝送制御部７は、ローカルエリアネットワークを介して、他のデータ端末装置との間で種々のデータをやりとりするための各種所定の通信制御処理を実行するためのものである。

磁気ディスク装置８は、種々のアプリケーションプログラム、ワークデータ、ファイルデータ、画情報データなどの種々のデータを記憶するためのものであり、ＣＤ−ＲＯＭ装置９は、交換可能な記録媒体であるＣＤ−ＲＯＭ１０のデータを読み込むためのものであり、ＣＲＴ画面表示装置１１は、この画像処理装置を操作するための画面を表示するためのものであり、表示制御部１２は、ＣＲＴ画面表示装置１１の表示内容を制御するためのものである。

キーボード装置１３は、この画像処理装置に種々のキー操作を行うためのものであり、画面指示装置１４は、ＣＲＴ画面表示装置１１の任意の点を指示する等の操作作業を行うためのものであり、入力制御部１５は、キーボード装置１３および画面指示装置１４の入力情報を取り込む等するためのものである。

スキャナ１６は、原稿画像を所定の解像度で読取入力するためのものである。

これらのＣＰＵ１、ＲＯＭ２、ＲＡＭ３、キャラクタジェネレータ４、時計回路５、ローカルエリアネット伝送制御部７、磁気ディスク装置８、ＣＤ−ＲＯＭ装置９、表示制御部１２、入力制御部１５、および、スキャナ１６は、内部バス１７に接続されており、これらの各要素間のデータのやりとりは、主としてこの内部バス１７を介して行われる。

本発明では、例えば、帳票原稿を読み取って得た画像データについて、表組みの特定項目、例えば、発行日の記載内容や、表題の記載内容等を抽出する画像処理を行う。その際、抽出項目については、例えば、ユーザが読み込ませた原稿画像（テンプレート作成画像）を表示して、ユーザ操作により、所望の抽出項目を含む領域を指定させる。そして、指定領域をあらわすテンプレート情報を作成し、この作成したテンプレート情報に基づいて、抽出項目を抽出する。

図２は、本発明の一実施例にかかるテンプレート作成処理の一例の要部を示している。

まず、テンプレート作成画像を入力し（処理１０１）、入力画像を表示して（処理１０２）、ユーザに指定領域の選択作業を行わせる（処理１０３）。また、ユーザが指定した指定領域について、表に囲まれているか否かの問い合わせを行う。

表に囲まれている場合で、判断１０４の結果がＹＥＳになるときには、指定領域を含む表内部の構造を解析する（処理１０５）。次いで、指定領域が表の構造のどの位置にあるかを認識し（処理１０６）、テンプレートを保存するテンプレート辞書（図示略）に、当該指定領域について、「表中にあること」、「表構造のどの位置にあるか」、および、「表構造解析結果」を登録して（処理１０７）、この処理を終了する。

また、判断１０４の結果がＮＯになるときには、通常のテンプレート辞書に登録して（処理１０８）、この処理を終了する。

図３は、本発明の他の実施例にかかるテンプレート作成処理の一例の要部を示している。この場合は、あらかじめ画像全体で表抽出を行った後に、指定領域についての判定を行っている。

まず、テンプレート作成画像を入力し（処理２０１）、入力画像を表示して（処理２０２）、ユーザに指定領域の選択作業を行わせる（処理２０３）。

次に、入力画像全体について、含まれている表を抽出し（処理２０４）、見つかった全ての表内部の構造を解析する（処理２０５）。

そして、指定領域が表に囲まれているかどうかを調べる（判断２０６）。このとき、ユーザに対し、指定した指定領域について、表に囲まれているか否かの問い合わせを行うことができる。

指定領域が表に囲まれている場合で、判断２０６の結果がＹＥＳになるときには、テンプレートを保存するテンプレート辞書（図示略）に、当該指定領域について、「表中にあること」、「表構造のどの位置にあるか」、および、「表構造解析結果」を登録して（処理２０７）、この処理を終了する。

また、判断２０６の結果がＮＯになるときには、通常のテンプレート辞書に登録して（処理２０８）、この処理を終了する。

このようにして、この場合は、先に画像に含まれる全ての表について構造解析を行うので、複数の領域が設定される場合などに、処理効率が上がる。

図４は、本発明のさらに他の実施例にかかるテンプレート作成処理の一例の要部を示している。

まず、テンプレート作成画像を入力し（処理３０１）、入力画像を表示して（処理３０２）、ユーザに指定領域の選択作業を行わせる（処理３０３）。

次に、入力画像全体について、含まれている表を抽出し（処理３０４）、指定領域が表に囲まれているかどうかを調べる（判断３０５）。このとき、ユーザに対し、指定した指定領域について、表に囲まれているか否かの問い合わせを行うことができる。

表に囲まれている場合で、判断３０５の結果がＹＥＳになるときには、指定領域が囲まれている表内部の構造を解析する（処理３０６）。次いで、テンプレートを保存するテンプレート辞書（図示略）に、当該指定領域について、「表中にあること」、「表構造のどの位置にあるか」、および、「表構造解析結果」を登録して（処理３０７）、この処理を終了する。

また、判断３０５の結果がＮＯになるときには、通常のテンプレート辞書に登録して（処理３０８）、この処理を終了する。

ここで、指定領域が表に囲まれているかどうの判断は、入力画像に基づいて自動的に処理することもできる。例えば、指定領域の大きさを幅Ｗ、高さＨとすると、指定領域の上下にＷの一定閾値以上の割合、例えば、１００％以上の長さの黒ランがあるかどうかを探索すればよい。指定領域は、通常の場合、文字が記入される部分より大きめに設定される（特にすでに文字が書いてある帳票をテンプレートとして使用する場合）ため、このような手法でもよい。なお、閾値を小さくしすぎると、縦の場合は、「１」などの文字で、横の場合はアンダーラインで反応してしまう可能性があるため、設定には気をつける必要がある。

また、表の構造上の位置とは、テンプレート上の表の座標値、表の重心の位置、指定領域の座標値、指定領域の重心の位置、指定領域を囲む罫線の位置、および、その重心の位置、および、各表の開始点を原点と考えたときの相対座標値での指定領域の位置および重心の位置、および、表のセルＩＤの情報のうち少なくとも１つ以上である。

なお、セルＩＤについては、特開２００３−２２３６１１号公報を参照のこと。このセルＩＤを使用することで、座標の相対位置の自由度が高まり、構造（罫線の数、セルの数）が同じであれば、枠の大きさが変わっても、セルＩＤの値が同じ値であるため、適切に指定領域を判断することができる。

このようにして作成したテンプレート辞書を用いて、入力画像に含まれる指定領域を判定する際の処理の一例を図５に示す。

まず、テンプレート辞書を読み込み（処理５０１）、認識対象となる画像を入力し（処理５０２）、入力画像の全面について、含まれる表を抽出する（処理５０３）。そして、抽出した全ての表の構造を解析し（処理５０５）、テンプレートの表構造位置と照合して（処理５０５）、ユーザが指定した領域を抽出する（処理５０６）。

そして、抽出した領域について、指定された処理を適用する（処理５０７）。

ここで、認識対象の入力画像に表があるかどうかを判定するには、例えば、特許第２９４０９３６号に記載されているように、外接矩形を抽出し、その内部の一定以上の長さのランで構成される矩形を罫線として抽出して、抽出した罫線の数で表を判定できるという方法など既知の方法があり、ここでも利用可能である。

また、表構造解析方法には、例えば、特開平４−１６７１９４号公報に記載されているように、主走査方向の罫線抽出、副走査方向の罫線抽出を行い、罫線と枠の情報を解析する方法がある。あるいは、罫線が外側にない表でも、特許第２８１２９８２号に記載されている方法のように、仮想的に罫線を作成する方法で解析が行えるし、また、点線についても、特許第３１４００７９号に記載された方法を適用することで、黒ランと白ランの長さのヒストグラムを利用して抽出が可能である。このような既存の方法を組み合わせて、表判定機能、表処理機能は構成される。また、ここに書いてない既知の方法を利用することも可能である。

また、表構造照合方法では、テンプレート辞書に格納されている表構造位置と、入力画像から抽出された表構造を照らし合わせる。これには、例えば、テンプレート上の表の座標値、表の重心の位置、指定領域の座標値、指定領域の重心の位置、指定領域を囲む罫線の位置、および、その重心の位置、および、各表の開始点を原点と考えたときの相対座標値での指定領域の位置および重心の位置、および、表のセルＩＤの情報のうち少なくとも１つ以上を採用することができる。

また、表枠に囲まれているという情報が重要なのと共に、付近に表枠がないという情報も位置合わせの再には非常に重要な情報となる。例えば、探索範囲に唯一の枠しかない場合、多少位置がずれていようとも、その枠の位置が所望の位置と一致する可能性は非常に高い。

逆に、付近にたくさんの表枠がある場合は、微妙なずれが隣の枠と所望の枠を間違える原因になりうる。

そこで、指定領域が表枠内部だったとして、その付近に他の表枠がない場合は探索マージンを広くとるという制御や、その逆に指定領域が表枠かつ付近にも表枠がいくつかある場合は探索マージンを小さくとるという制御をすることで、より、高精度に表構造の照合を行うことができる。

本発明の一実施例にかかる画像処理装置の構成例を示したブロック図。本発明の一実施例にかかるテンプレート作成処理の一例の要部を示したフローチャート。本発明の他の実施例にかかるテンプレート作成処理の一例の要部を示したフローチャート。本発明のさらに他の実施例にかかるテンプレート作成処理の一例の要部を示したフローチャート。テンプレート辞書を用いて、入力画像に含まれる指定領域を判定する際の処理の一例を示したフローチャート。

符号の説明

１ＣＰＵ（中央処理装置）
２ＲＯＭ（リード・オンリ・メモリ）
３ＲＡＭ（ランダム・アクセス・メモリ）
１１ＣＲＴ画面表示装置
１３キーボード装置
１４画面指示装置
１６スキャナ

Claims

文書画像において指定された指定領域をテンプレートとして保持するとともに、前記テンプレートを作るための画像について指定領域の内部及び周辺の特徴情報を取得してその特徴を保持し、入力画像に対して前記指定領域と同じ位置を抽出する画像処理装置において、
前記テンプレート作成画像上で、指定領域が表枠の一部であるかどうかを判定し、表であった場合には、前記指定領域を囲む枠を含む表の内部を解析して、表の構造上でどの位置が指定されたのかを認識し、保持するようにし、
前記指定領域が表枠の一部であるかどうかを判定する際、ユーザに対して指定領域についての情報を入力要求し、それによって取得した情報を参照することを特徴とする画像処理装置。
コンピュータを請求項１記載の画像処理装置として機能させるためのコンピュータプログラム。
請求項２記載のコンピュータプログラムを格納した記憶媒体。