JP3668026B2 - 出版物電子化処理装置 - Google Patents
出版物電子化処理装置 Download PDFInfo
- Publication number
- JP3668026B2 JP3668026B2 JP36009698A JP36009698A JP3668026B2 JP 3668026 B2 JP3668026 B2 JP 3668026B2 JP 36009698 A JP36009698 A JP 36009698A JP 36009698 A JP36009698 A JP 36009698A JP 3668026 B2 JP3668026 B2 JP 3668026B2
- Authority
- JP
- Japan
- Prior art keywords
- page
- layout information
- line
- image
- character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Character Input (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複数枚の画像中より画像一枚一枚のレイアウト情報を自動的に抽出する装置に関するもので、例えば出版物の電子化処理を行うために利用される。
【０００２】
【従来の技術】
文書を画像として読み取り、自動的にレイアウト構造の抽出を行なう際に、文書の種類によってレイアウト構造が大きく異なることもあるため、抽出アルゴリズムを種類に応じて変更することで、抽出結果を向上させることができる。例えば、特許番号第２７４８９７４号公報のように定型書式のモデルを複数用意することで、モデルとの照合結果によって処理の制御を切り替えることが可能になる。
【０００３】
また、特開平８−１２９５５０号公報に示されるように、文書を画像として読み込み、入力された文書データを解析して文書データと画像データ領域に分離し、分離された文書データ領域から文字画像を切り出して文字認識する技術は公知である。
【０００４】
さらに、例えば、橋本新一郎編著「文字認識概論」Ｐ５７〜Ｐ９５、オーム社、１９８２に示されるように文字認識に係わる技術が公知である。
【０００５】
【発明が解決しようとする課題】
例えば書籍の場合、連続するページでは、同じレイアウト構造を持つページが連続している場合が多い。従来技術においては、ページ一枚ごとにレイアウト情報抽出アルゴリズムを選択して切り替えることを想定しているため、定形書式モデルを蓄えておくメモリが増大するという問題が生じる。また、モデルとの照合を各ページで行うため処理時間が長くなるという問題がある。また、モデルとの照合において、モデルの各項目の空間情報と、入力文書のイメージから切り出した文字列ブロックの空間情報との照合を取るため、モデル照合に間違いを発生しやすいという問題がある。
【０００６】
本発明は、レイアウト構造の変化を検出した時点で抽出アルゴリズムを切り替え、レイアウト構造に対する抽出精度の向上と処理速度の向上を図ることにより上記課題を解決することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は、出版物の頁画像のレイアウト情報を認識する出版物電子化処理装置であって、複数の頁画像を連続して入力することが可能な画像入力手段と、画像入力手段により入力された頁画像を、白領域と黒領域の領域を含む頁画像として格納する入力画像記憶手段と、入力画像記憶手段に格納されている頁画像の黒画素に対して、黒画像に外接する矩形を求め、同じ高さの黒画素の矩形が横に並んでいる場合、また同じ幅の黒画素の矩形が縦に並んでいる場合に、矩形間の距離にかかわらず近接する二つの外接矩形を一つの外接矩形に統合することを繰り返すことにより、複数の矩形領域を抽出する第１レイアウト情報抽出手段と、入力画像記憶手段に格納されている画像の黒画素に対して、黒画像に外接する矩形を求め、同じ高さの黒画素の矩形が横に並んでいる場合、また同じ幅の黒画素の矩形が縦に並んでいる場合に、矩形間の距離が所定範囲内に近接する二つの外接矩形を一つの外接矩形に統合することを繰り返すことにより、複数の矩形領域を抽出する第２レイアウト情報抽出手段と、第１のレイアウト情報抽出手段により抽出された矩形領域に対して、文字行を抽出し、文字行の最後が数字かを調査する行末数字調査手段と、行末数字調査手段による調査の結果、頁内の全文字行の数に対する文字行の最後が数字である文字行の数の割合が所定値以上かを判定する行末数字多判定手段と、を有し、行末数字多判定手段により、頁内の全文字行の数に対する文字行の最後が数字である文字行の数の割合が所定値以上であると判定された場合には、該頁について第２レイアウト情報抽出手段を使用せず、該判定された頁の次の頁において、第１レイアウト情報抽出手段を使用し、その後に、頁内の全文字行の数に対する文字行の最後が数字である文字行の数の割合が所定値未満であると判定された場合には、該頁について第２レイアウト情報抽出手段を使用し、該判定された頁以降の頁において、第１レイアウト情報抽出手段、行末数字調査手段および行末数字多判定手段を使用せず、第２レイアウト情報抽出手段を使用するものである。
【０００８】
また、本発明は、出版物の頁画像のレイアウト情報を認識する出版物電子化処理装置であって、複数の頁画像を連続して入力することが可能な画像入力手段と、画像入力手段により入力された頁画像を、白領域と黒領域の領域を含む頁画像として格納する入力画像記憶手段と、入力画像記憶手段に格納されている頁画像の黒画素に対して、黒画像に外接する矩形を求め、同じ高さの黒画素の矩形が横に並んでいる場合、また同じ幅の黒画素の矩形が縦に並んでいる場合に、矩形間の距離にかかわらず近接する二つの外接矩形を一つの外接矩形に統合することを繰り返すことにより、複数の矩形領域を抽出する第１レイアウト情報抽出手段と、入力画像記憶手段に格納されている画像の黒画素に対して、黒画像に外接する矩形を求め、同じ高さの黒画素の矩形が横に並んでいる場合、また同じ幅の黒画素の矩形が縦に並んでいる場合に、矩形間の距離が所定範囲内に近接する二つの外接矩形を一つの外接矩形に統合することを繰り返すことにより、複数の矩形領域を抽出する第２レイアウト情報抽出手段と、第１のレイアウト情報抽出手段により抽出された矩形領域に対して、文字行を抽出し、文字行の最後が数字である場合に、該文字行の行頭が連続した数字で、かつ該連続した数字の前に特定のデリミッタがあるかを調査する行末数字調査手段と、行末数字調査手段による調査の結果、頁内の全文字行の数に対する、文字行の最後が数字であり、文字行の行頭が連続した数字で、かつ連続した数字の前に特定のデリミッタがある文字行の数の割合が所定値以上かを判定する行末数字多判定手段と、を有し、行末数字多判定手段により、頁内の全文字行の数に対する、文字行の最後が数字であり、文字行の行頭が連続した数字で、かつ連続した数字の前に特定のデリミッタがある文字行の数の割合が所定値以上と判定された場合には、該頁について第２レイアウト情報抽出手段を使用せず、該判定された頁の次の頁において、第１レイアウト情報抽出手段を使用し、その後に、頁内の全文字行の数に対して、文字行の最後が数字であり、該文字行の行頭が連続した数字で、かつ連続した数字の前に特定のデリミッタがある文字行の数の割合が所定値未満と判定された場合には、該頁について第２レイアウト情報抽出手段を使用し、該判定された頁以降の頁において、第１レイアウト情報抽出手段、行末数字調査手段および行末数字多判定手段を使用せず、第２レイアウト情報抽出手段を使用するものである。
【０００９】
さらに、本発明は、画像入力手段により入力された複数の頁画像について、最終頁からあらかじめ定められた頁以内の頁であるかを判定する最終所定頁判定手段を、さらに備え、最終所定頁判定手段により、最終頁からあらかじめ定められた頁以内の頁であると判定された場合は、その判定された頁以降の頁について、第１レイアウト情報抽出手段を使用するものである。
【００１２】
【発明の実施の形態】
以下に、本発明による画像処理装置の一実施例について、図１〜図５に基づき説明する。
【００１３】
図１は、本発明を適用した一実施例のシステムの構成を示す機能ブロック図である。１は画像を取り込む画像入力手段であり、スキャナ、ビデオカメラ、他のＰＣや画像メディアからの画像入力などが含まれる。本発明では説明を簡単にするため以降入力手段をスキャナーとして説明を加える。２は入力画像用メモリであり、ハードディスク、ＭＤ、ＭＯなどの磁気メモリ、ＲＯＭ、ＲＡＭ、スマートカードなどの半導体メモリで構成される。３はレイアウト情報格納用メモリであり、２と同様に磁気メモリ、半導体メモリによって構成される。４は文字認識用辞書であり、磁気メモリあるいは半導体メモリに格納されている。５は本発明の画像処理を実行するプログラムの格納されたプログラム用ＲＯＭであり、６はプログラム用ＲＯＭ５内のプログラムに従って処理の流れを制御するＣＰＵあるいは専用ハードなどにより構成される制御手段である。７はレイアウト情報を抽出するためのレイアウト情報抽出手段であり、レイアウト情報抽出手段７には少なくとも第１のレイアウト情報抽出手段と第２のレイアウト情報抽出手段が存在する。８はレイアウト情報抽出手段で抽出された情報を基にどのレイアウト情報を参照ページ以降に適用するかを判断する判定処理手段である。レイアウト情報抽出手段、判定手段については後で詳しく述べる。９はデータバスであり、本発明はバスの幅、速度等に関してなんらの制限を加えるものではない。
【００１４】
図２〜図４は、実施例の処理の流れを示すフローチャートである。初めに、図２のフローチャートの部分から説明を加える。
【００１５】
まず、画像処理装置の制御手段の初期化を行う。初期化にはｆｌａｇ、ｆｌａｇ＿ｂ、ｆｌａｇ＿ｃ、３種類の変数に初期データ０を書き込む処理が含まれる（Ｓ１）。また、ｐはページを管理する変数であり、初期値は１が設定される。ｆｌａｇは第１レイアウト情報抽出手段によりレイアウト情報の抽出を行うか第２レイアウト情報抽出手段によりレイアウト情報抽出を行うか判定するためのフラグであり、その値が０であれば第１レイアウト情報抽出手段で抽出を行い、１であれば第２レイアウト情報抽出手段でレイアウト情報抽出を行う。ｆｌａｇ＿ｂは処理当該ページの前ページがどのレイアウト情報抽出手段を用いたかを蓄えておくフラグであり、第１レイアウト情報抽出手段を用いる場合０、第２レイアウト情報抽出手段を用いる場合は１が格納されている。ｆｌａｇ＿ｃは数字行末が多くないページに対しカウントアップされるカウンターである。
【００１６】
次に画像入力手段１で読み取った画像を、入力画像用メモリ２に転送する（Ｓ２）。この時、入力画像は白領域を０、黒領域を１として格納する（０と１の役割は逆でもかまわない）。
【００１７】
続いて、制御手段６は、ｆｌａｇの値を参照する。ｆｌａｇの値が０であればＳ４へ移り、ｆｌａｇの値が１であれば１２へ移る（Ｓ３）。今の場合、初期化によりｆｌａｇは０に設定されているので、Ｓ４へ移ることになる。
【００１８】
次に、制御手段６は、入力画像用メモリ２に格納された画像に対し、プログラム用ＲＯＭ５の内容を元に第１レイアウト情報抽出手段を用いて、レイアウト情報を抽出する（Ｓ４）。ここで、レイアウト情報の抽出アルゴリズムは従来より様々な方法が提案されており（特開平８−１２９５５０号公報など）、限定する必要はないが、ここでは一例として、画像内の黒画素に対して黒画素連結領域に外接する矩形を求め（図５（ａ））、近接する二つの外接矩形を一つの外接矩形に統合していくことを繰り返して、複数の矩形領域を求める（図５（ｂ））方法を用いることにする。また、外接矩形を統合する際には、対象が横書き文書の場合は、同じ高さの矩形が横に並んでいるならば横方向の矩形間距離が大きくても統合し、対象が縦書き文書の場合は、同じ幅の矩形が縦に並んでいるならば縦方向の矩形間距離が大きくても統合する。なお、外接矩形の統合に際して別の条件を追加することも可能である。
【００１９】
また、制御手段６は、例えば特開平８−１２９５５０号公報に開示される方法で、入力画像用メモリ２に格納された画像のうちＳ４の処理で得られた矩形領域で囲まれた部分について、文字行を抽出し、文字認識用辞書４を使用して文字行ごとに文字認識処理（例えば、橋本新一郎編著「文字認識概論」Ｐ５７〜Ｐ９５、オーム社、１９８２に記載されている方法を用いる）を行ない、文字認識結果の中で文字行の最後にあるのが数字かどうかを調べる（Ｓ５）。
【００２０】
Ｓ５で調査した結果、文字行の行末が数字である行が多いか否かを調べ、多い場合は１３へ、多くない場合は１４へ処理を分岐する（Ｓ６）。ここで、行末が数字である文字行が多いか否かは、当該ページの文字行の数をｎ、その内行末が数字である行をｍとするとき、ｍ／ｎが一定値以上、例えば、０．５以上であれば多いとし、ｍ／ｎが０．５以下の場合でも、行末が数字である行が一定行以上、例えば、２行以上連続していれば多いと判断するようにする。
【００２１】
また、上記Ｓ６では文字行の行末が数字である文字行が多いか否かで判断を分岐するようにしたが、例えば、行末が数字であれば行頭の方へ文字認識を進め、数字が１個以上連続しており、かつ、数字の前に特定のデリミッタがある場合を判定基準とすることもできる。ここで、デリミッタには例えばスペース、…などが含まれる。
【００２２】
図３は、Ｓ６を受けた処理から始まる。文字行の行末が数字である文字行が多い場合は、第２レイアウト情報抽出手段を使用しないと判定して、Ｓ４の処理で得られた矩形領域の座標データをレイアウト情報格納用メモリ３に格納する（Ｓ７）。続いてｆｌａｇ＿ｂに１を設定し、ｆｌａｇ＿ｃに０を設定する（Ｓ８）。これらの設定により、当該ページの次のページは第２レイアウト情報抽出手段を用いず、第１レイアウト抽出手段を用いることになる。Ｓ８の後はＳ１５へ移る。
【００２３】
なお、ステップＳ６で行末が数字である行が多くない場合は、Ｓ９へ移る。Ｓ９では、まず、ｆｌａｇ＿ｂを参照し、その値が０か１かで処理を分岐する。ｆｌａｇ＿ｂが０の場合は、第２レイアウト情報抽出手段を用いるルーチンを通るので、ｆｌａｇ＿ｃの値を１つカウントアップする（Ｓ１０）。
【００２４】
Ｓ９でｆｌａｇ＿ｂが１である場合は、ｆｌａｇに１を設定し、当該ページの次のページ以降については第１レイアウト情報抽出手段を用いず、第２レイアウト情報抽出手段を用いてレイアウト情報を抽出するようにフラグを設定しておく（Ｓ１１）。Ｓ１０、Ｓ１１に続いてｆｌａｇ＿ｂに値０を設定し、当該ページは第２レイアウト情報抽出手段を用いることを記録しておく。
【００２５】
Ｓ１２に続いて、制御手段６は入力画像用メモリ２に格納された画像に対し、プログラム用ＲＯＭ５の内容を基に第２レイアウト情報抽出手段を用いてレイアウト情報を抽出（Ｓ１３）する。抽出アルゴリズムは限定する必要はないが、例えば、外接矩形を統合する際に矩形間距離が大きい（例えば画像内の黒画素連結領域外接矩形サイズの平均値の定数倍を越える）場合は統合しない点を除いて、Ｓ４と同様の処理を行う。その結果得られた矩形領域データをレイアウト情報格納用メモリに格納する（Ｓ１４）。
【００２６】
Ｓ８またはＳ１４に続いてＳ１５へ移る。Ｓ１５では、カウンタｆｌａｇ＿ｃを参照し、予め設定した値ｋ以上であるか否かにより処理を分岐する。ここでｋは、ユーザーが指定した値や、全ページ数を定数で割った値などを割り当てる。
【００２７】
Ｓ１５において、ｆｌａｇ＿ｃがｋ以上であれば、ｆｌａｇを１に設定し（Ｓ１６）、次のページからは第２レイアウト情報抽出手段を用いてレイアウト情報を抽出する準備を行い、Ｓ１７の処理へ移る。また、Ｓ１５でｆｌａｇ＿ｃがｋ未満である場合は何もせずにＳ１７の処理へ移る。
【００２８】
Ｓ１７は現在処理しているページｐを参照し、入力画像最終ページｐ＿ｌａｓｔから一定数のページｊ以内であるか否かを照合する処理ルーチンである。ｊは例えば、ドキュメントの索引ページ相当のものを予め設定しておく。今、ｐ＿ｌａｓｔ−ｐ＝ｊであれば、ｆｌａｇに０を設定し、ｐ以降のページに対し、第１レイアウト情報抽出手段を用いるように準備する（Ｓ１８）。なお、本実施例では、ｐ＿ｌａｓｔ−ｐ＝ｊを満足する場合、以降のページで第１レイアウト情報抽出手段を用いるようにしているが、第１レイアウト情報抽出手段の代わりに、別のレイアウト情報抽出手段、例えば第３レイアウト情報抽出手段を用意しておいて使用してもよい。
【００２９】
Ｓ１９は次ページが存在するか否かを照合する処理モジュールであり、次ページが存在する場合はｐをインクリメントしてからＳ２に戻り、最終ページになるまでこの処理を繰り返す。
【００３０】
以上により、簡便で精度のよいレイアウト抽出が可能になる。なお、上記実施例ではレイアウト情報抽出手段として第１、第２を有するものを基本として述べているが、これらの手段が２個以上になっても本発明の動作に支障はない。また、上記ｋ、ｊなどの変数を複数用意することにより複雑多種なレイアウトを有する文書にも本発明を適用することが可能である。
【００３１】
【発明の効果】
以上のように本発明の請求項１および請求項２に係る出版物電子化処理装置は、最後が数字となる文字行が多いページを目次ページや索引ページとみなして、目次や索引用のレイアウト情報抽出アルゴリズムと、本文用のレイアウト情報抽出アルゴリズムを切換えることができ、結果として簡便で精度の高いレイアウト抽出が可能になるという効果がある。
【００３２】
また、本発明の請求項３に係る出版物電子化処理装置は、例えば索引ページ用のレイアウト情報抽出アルゴリズム（第１レイアウト情報抽出手段）とそれ以外のページ用のレイアウト情報抽出アルゴリズム（第２レイアウト情報抽出手段）を用意しておき、それまで、それ以外のページ用のレイアウト情報抽出アルゴリズムを使用していても、データの最後近くで索引ページ用のレイアウト情報抽出アルゴリズムに切換えることができ、処理時間の短縮を図ることができるという効果がある。
【図面の簡単な説明】
【図１】本発明を適用した一実施例システムの構成を示す機能ブロック図である。
【図２】本発明の一実施例の動作を示すフローチャートである。
【図３】本発明の一実施例の動作を示すフローチャートである。
【図４】本発明の一実施例の動作を示すフローチャートである。
【図５】同図（ａ）、（ｂ）は文書画像内の黒画素に対して黒画素連結領域の外接矩形を求めた一例を表す図である。
【符号の説明】
１ 画像入力手段
２ 入力画像用メモリ
３ レイアウト情報格納用メモリ
４ 文字認識用辞書
５ プログラム用ＲＯＭ
６ 制御手段
７ レイアウト情報抽出手段
８ 判定処理手段
Ｓ１ 初期化処理モジュール
Ｓ２ 入力手段で読み取った画像データを入力画像用メモリに転送する処理モジュール
Ｓ３ 第１あるいは第２のレイアウト情報抽出手段の選択を判定する処理モジュール
Ｓ４ 第１レイアウト情報抽出手段を実行する処理モジュール
Ｓ５ 領域内の文字認識処理を実行する処理モジュール
Ｓ６ 数字行末の多さを判定する処理モジュール
【発明の属する技術分野】
本発明は、複数枚の画像中より画像一枚一枚のレイアウト情報を自動的に抽出する装置に関するもので、例えば出版物の電子化処理を行うために利用される。
【０００２】
【従来の技術】
文書を画像として読み取り、自動的にレイアウト構造の抽出を行なう際に、文書の種類によってレイアウト構造が大きく異なることもあるため、抽出アルゴリズムを種類に応じて変更することで、抽出結果を向上させることができる。例えば、特許番号第２７４８９７４号公報のように定型書式のモデルを複数用意することで、モデルとの照合結果によって処理の制御を切り替えることが可能になる。
【０００３】
また、特開平８−１２９５５０号公報に示されるように、文書を画像として読み込み、入力された文書データを解析して文書データと画像データ領域に分離し、分離された文書データ領域から文字画像を切り出して文字認識する技術は公知である。
【０００４】
さらに、例えば、橋本新一郎編著「文字認識概論」Ｐ５７〜Ｐ９５、オーム社、１９８２に示されるように文字認識に係わる技術が公知である。
【０００５】
【発明が解決しようとする課題】
例えば書籍の場合、連続するページでは、同じレイアウト構造を持つページが連続している場合が多い。従来技術においては、ページ一枚ごとにレイアウト情報抽出アルゴリズムを選択して切り替えることを想定しているため、定形書式モデルを蓄えておくメモリが増大するという問題が生じる。また、モデルとの照合を各ページで行うため処理時間が長くなるという問題がある。また、モデルとの照合において、モデルの各項目の空間情報と、入力文書のイメージから切り出した文字列ブロックの空間情報との照合を取るため、モデル照合に間違いを発生しやすいという問題がある。
【０００６】
本発明は、レイアウト構造の変化を検出した時点で抽出アルゴリズムを切り替え、レイアウト構造に対する抽出精度の向上と処理速度の向上を図ることにより上記課題を解決することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は、出版物の頁画像のレイアウト情報を認識する出版物電子化処理装置であって、複数の頁画像を連続して入力することが可能な画像入力手段と、画像入力手段により入力された頁画像を、白領域と黒領域の領域を含む頁画像として格納する入力画像記憶手段と、入力画像記憶手段に格納されている頁画像の黒画素に対して、黒画像に外接する矩形を求め、同じ高さの黒画素の矩形が横に並んでいる場合、また同じ幅の黒画素の矩形が縦に並んでいる場合に、矩形間の距離にかかわらず近接する二つの外接矩形を一つの外接矩形に統合することを繰り返すことにより、複数の矩形領域を抽出する第１レイアウト情報抽出手段と、入力画像記憶手段に格納されている画像の黒画素に対して、黒画像に外接する矩形を求め、同じ高さの黒画素の矩形が横に並んでいる場合、また同じ幅の黒画素の矩形が縦に並んでいる場合に、矩形間の距離が所定範囲内に近接する二つの外接矩形を一つの外接矩形に統合することを繰り返すことにより、複数の矩形領域を抽出する第２レイアウト情報抽出手段と、第１のレイアウト情報抽出手段により抽出された矩形領域に対して、文字行を抽出し、文字行の最後が数字かを調査する行末数字調査手段と、行末数字調査手段による調査の結果、頁内の全文字行の数に対する文字行の最後が数字である文字行の数の割合が所定値以上かを判定する行末数字多判定手段と、を有し、行末数字多判定手段により、頁内の全文字行の数に対する文字行の最後が数字である文字行の数の割合が所定値以上であると判定された場合には、該頁について第２レイアウト情報抽出手段を使用せず、該判定された頁の次の頁において、第１レイアウト情報抽出手段を使用し、その後に、頁内の全文字行の数に対する文字行の最後が数字である文字行の数の割合が所定値未満であると判定された場合には、該頁について第２レイアウト情報抽出手段を使用し、該判定された頁以降の頁において、第１レイアウト情報抽出手段、行末数字調査手段および行末数字多判定手段を使用せず、第２レイアウト情報抽出手段を使用するものである。
【０００８】
また、本発明は、出版物の頁画像のレイアウト情報を認識する出版物電子化処理装置であって、複数の頁画像を連続して入力することが可能な画像入力手段と、画像入力手段により入力された頁画像を、白領域と黒領域の領域を含む頁画像として格納する入力画像記憶手段と、入力画像記憶手段に格納されている頁画像の黒画素に対して、黒画像に外接する矩形を求め、同じ高さの黒画素の矩形が横に並んでいる場合、また同じ幅の黒画素の矩形が縦に並んでいる場合に、矩形間の距離にかかわらず近接する二つの外接矩形を一つの外接矩形に統合することを繰り返すことにより、複数の矩形領域を抽出する第１レイアウト情報抽出手段と、入力画像記憶手段に格納されている画像の黒画素に対して、黒画像に外接する矩形を求め、同じ高さの黒画素の矩形が横に並んでいる場合、また同じ幅の黒画素の矩形が縦に並んでいる場合に、矩形間の距離が所定範囲内に近接する二つの外接矩形を一つの外接矩形に統合することを繰り返すことにより、複数の矩形領域を抽出する第２レイアウト情報抽出手段と、第１のレイアウト情報抽出手段により抽出された矩形領域に対して、文字行を抽出し、文字行の最後が数字である場合に、該文字行の行頭が連続した数字で、かつ該連続した数字の前に特定のデリミッタがあるかを調査する行末数字調査手段と、行末数字調査手段による調査の結果、頁内の全文字行の数に対する、文字行の最後が数字であり、文字行の行頭が連続した数字で、かつ連続した数字の前に特定のデリミッタがある文字行の数の割合が所定値以上かを判定する行末数字多判定手段と、を有し、行末数字多判定手段により、頁内の全文字行の数に対する、文字行の最後が数字であり、文字行の行頭が連続した数字で、かつ連続した数字の前に特定のデリミッタがある文字行の数の割合が所定値以上と判定された場合には、該頁について第２レイアウト情報抽出手段を使用せず、該判定された頁の次の頁において、第１レイアウト情報抽出手段を使用し、その後に、頁内の全文字行の数に対して、文字行の最後が数字であり、該文字行の行頭が連続した数字で、かつ連続した数字の前に特定のデリミッタがある文字行の数の割合が所定値未満と判定された場合には、該頁について第２レイアウト情報抽出手段を使用し、該判定された頁以降の頁において、第１レイアウト情報抽出手段、行末数字調査手段および行末数字多判定手段を使用せず、第２レイアウト情報抽出手段を使用するものである。
【０００９】
さらに、本発明は、画像入力手段により入力された複数の頁画像について、最終頁からあらかじめ定められた頁以内の頁であるかを判定する最終所定頁判定手段を、さらに備え、最終所定頁判定手段により、最終頁からあらかじめ定められた頁以内の頁であると判定された場合は、その判定された頁以降の頁について、第１レイアウト情報抽出手段を使用するものである。
【００１２】
【発明の実施の形態】
以下に、本発明による画像処理装置の一実施例について、図１〜図５に基づき説明する。
【００１３】
図１は、本発明を適用した一実施例のシステムの構成を示す機能ブロック図である。１は画像を取り込む画像入力手段であり、スキャナ、ビデオカメラ、他のＰＣや画像メディアからの画像入力などが含まれる。本発明では説明を簡単にするため以降入力手段をスキャナーとして説明を加える。２は入力画像用メモリであり、ハードディスク、ＭＤ、ＭＯなどの磁気メモリ、ＲＯＭ、ＲＡＭ、スマートカードなどの半導体メモリで構成される。３はレイアウト情報格納用メモリであり、２と同様に磁気メモリ、半導体メモリによって構成される。４は文字認識用辞書であり、磁気メモリあるいは半導体メモリに格納されている。５は本発明の画像処理を実行するプログラムの格納されたプログラム用ＲＯＭであり、６はプログラム用ＲＯＭ５内のプログラムに従って処理の流れを制御するＣＰＵあるいは専用ハードなどにより構成される制御手段である。７はレイアウト情報を抽出するためのレイアウト情報抽出手段であり、レイアウト情報抽出手段７には少なくとも第１のレイアウト情報抽出手段と第２のレイアウト情報抽出手段が存在する。８はレイアウト情報抽出手段で抽出された情報を基にどのレイアウト情報を参照ページ以降に適用するかを判断する判定処理手段である。レイアウト情報抽出手段、判定手段については後で詳しく述べる。９はデータバスであり、本発明はバスの幅、速度等に関してなんらの制限を加えるものではない。
【００１４】
図２〜図４は、実施例の処理の流れを示すフローチャートである。初めに、図２のフローチャートの部分から説明を加える。
【００１５】
まず、画像処理装置の制御手段の初期化を行う。初期化にはｆｌａｇ、ｆｌａｇ＿ｂ、ｆｌａｇ＿ｃ、３種類の変数に初期データ０を書き込む処理が含まれる（Ｓ１）。また、ｐはページを管理する変数であり、初期値は１が設定される。ｆｌａｇは第１レイアウト情報抽出手段によりレイアウト情報の抽出を行うか第２レイアウト情報抽出手段によりレイアウト情報抽出を行うか判定するためのフラグであり、その値が０であれば第１レイアウト情報抽出手段で抽出を行い、１であれば第２レイアウト情報抽出手段でレイアウト情報抽出を行う。ｆｌａｇ＿ｂは処理当該ページの前ページがどのレイアウト情報抽出手段を用いたかを蓄えておくフラグであり、第１レイアウト情報抽出手段を用いる場合０、第２レイアウト情報抽出手段を用いる場合は１が格納されている。ｆｌａｇ＿ｃは数字行末が多くないページに対しカウントアップされるカウンターである。
【００１６】
次に画像入力手段１で読み取った画像を、入力画像用メモリ２に転送する（Ｓ２）。この時、入力画像は白領域を０、黒領域を１として格納する（０と１の役割は逆でもかまわない）。
【００１７】
続いて、制御手段６は、ｆｌａｇの値を参照する。ｆｌａｇの値が０であればＳ４へ移り、ｆｌａｇの値が１であれば１２へ移る（Ｓ３）。今の場合、初期化によりｆｌａｇは０に設定されているので、Ｓ４へ移ることになる。
【００１８】
次に、制御手段６は、入力画像用メモリ２に格納された画像に対し、プログラム用ＲＯＭ５の内容を元に第１レイアウト情報抽出手段を用いて、レイアウト情報を抽出する（Ｓ４）。ここで、レイアウト情報の抽出アルゴリズムは従来より様々な方法が提案されており（特開平８−１２９５５０号公報など）、限定する必要はないが、ここでは一例として、画像内の黒画素に対して黒画素連結領域に外接する矩形を求め（図５（ａ））、近接する二つの外接矩形を一つの外接矩形に統合していくことを繰り返して、複数の矩形領域を求める（図５（ｂ））方法を用いることにする。また、外接矩形を統合する際には、対象が横書き文書の場合は、同じ高さの矩形が横に並んでいるならば横方向の矩形間距離が大きくても統合し、対象が縦書き文書の場合は、同じ幅の矩形が縦に並んでいるならば縦方向の矩形間距離が大きくても統合する。なお、外接矩形の統合に際して別の条件を追加することも可能である。
【００１９】
また、制御手段６は、例えば特開平８−１２９５５０号公報に開示される方法で、入力画像用メモリ２に格納された画像のうちＳ４の処理で得られた矩形領域で囲まれた部分について、文字行を抽出し、文字認識用辞書４を使用して文字行ごとに文字認識処理（例えば、橋本新一郎編著「文字認識概論」Ｐ５７〜Ｐ９５、オーム社、１９８２に記載されている方法を用いる）を行ない、文字認識結果の中で文字行の最後にあるのが数字かどうかを調べる（Ｓ５）。
【００２０】
Ｓ５で調査した結果、文字行の行末が数字である行が多いか否かを調べ、多い場合は１３へ、多くない場合は１４へ処理を分岐する（Ｓ６）。ここで、行末が数字である文字行が多いか否かは、当該ページの文字行の数をｎ、その内行末が数字である行をｍとするとき、ｍ／ｎが一定値以上、例えば、０．５以上であれば多いとし、ｍ／ｎが０．５以下の場合でも、行末が数字である行が一定行以上、例えば、２行以上連続していれば多いと判断するようにする。
【００２１】
また、上記Ｓ６では文字行の行末が数字である文字行が多いか否かで判断を分岐するようにしたが、例えば、行末が数字であれば行頭の方へ文字認識を進め、数字が１個以上連続しており、かつ、数字の前に特定のデリミッタがある場合を判定基準とすることもできる。ここで、デリミッタには例えばスペース、…などが含まれる。
【００２２】
図３は、Ｓ６を受けた処理から始まる。文字行の行末が数字である文字行が多い場合は、第２レイアウト情報抽出手段を使用しないと判定して、Ｓ４の処理で得られた矩形領域の座標データをレイアウト情報格納用メモリ３に格納する（Ｓ７）。続いてｆｌａｇ＿ｂに１を設定し、ｆｌａｇ＿ｃに０を設定する（Ｓ８）。これらの設定により、当該ページの次のページは第２レイアウト情報抽出手段を用いず、第１レイアウト抽出手段を用いることになる。Ｓ８の後はＳ１５へ移る。
【００２３】
なお、ステップＳ６で行末が数字である行が多くない場合は、Ｓ９へ移る。Ｓ９では、まず、ｆｌａｇ＿ｂを参照し、その値が０か１かで処理を分岐する。ｆｌａｇ＿ｂが０の場合は、第２レイアウト情報抽出手段を用いるルーチンを通るので、ｆｌａｇ＿ｃの値を１つカウントアップする（Ｓ１０）。
【００２４】
Ｓ９でｆｌａｇ＿ｂが１である場合は、ｆｌａｇに１を設定し、当該ページの次のページ以降については第１レイアウト情報抽出手段を用いず、第２レイアウト情報抽出手段を用いてレイアウト情報を抽出するようにフラグを設定しておく（Ｓ１１）。Ｓ１０、Ｓ１１に続いてｆｌａｇ＿ｂに値０を設定し、当該ページは第２レイアウト情報抽出手段を用いることを記録しておく。
【００２５】
Ｓ１２に続いて、制御手段６は入力画像用メモリ２に格納された画像に対し、プログラム用ＲＯＭ５の内容を基に第２レイアウト情報抽出手段を用いてレイアウト情報を抽出（Ｓ１３）する。抽出アルゴリズムは限定する必要はないが、例えば、外接矩形を統合する際に矩形間距離が大きい（例えば画像内の黒画素連結領域外接矩形サイズの平均値の定数倍を越える）場合は統合しない点を除いて、Ｓ４と同様の処理を行う。その結果得られた矩形領域データをレイアウト情報格納用メモリに格納する（Ｓ１４）。
【００２６】
Ｓ８またはＳ１４に続いてＳ１５へ移る。Ｓ１５では、カウンタｆｌａｇ＿ｃを参照し、予め設定した値ｋ以上であるか否かにより処理を分岐する。ここでｋは、ユーザーが指定した値や、全ページ数を定数で割った値などを割り当てる。
【００２７】
Ｓ１５において、ｆｌａｇ＿ｃがｋ以上であれば、ｆｌａｇを１に設定し（Ｓ１６）、次のページからは第２レイアウト情報抽出手段を用いてレイアウト情報を抽出する準備を行い、Ｓ１７の処理へ移る。また、Ｓ１５でｆｌａｇ＿ｃがｋ未満である場合は何もせずにＳ１７の処理へ移る。
【００２８】
Ｓ１７は現在処理しているページｐを参照し、入力画像最終ページｐ＿ｌａｓｔから一定数のページｊ以内であるか否かを照合する処理ルーチンである。ｊは例えば、ドキュメントの索引ページ相当のものを予め設定しておく。今、ｐ＿ｌａｓｔ−ｐ＝ｊであれば、ｆｌａｇに０を設定し、ｐ以降のページに対し、第１レイアウト情報抽出手段を用いるように準備する（Ｓ１８）。なお、本実施例では、ｐ＿ｌａｓｔ−ｐ＝ｊを満足する場合、以降のページで第１レイアウト情報抽出手段を用いるようにしているが、第１レイアウト情報抽出手段の代わりに、別のレイアウト情報抽出手段、例えば第３レイアウト情報抽出手段を用意しておいて使用してもよい。
【００２９】
Ｓ１９は次ページが存在するか否かを照合する処理モジュールであり、次ページが存在する場合はｐをインクリメントしてからＳ２に戻り、最終ページになるまでこの処理を繰り返す。
【００３０】
以上により、簡便で精度のよいレイアウト抽出が可能になる。なお、上記実施例ではレイアウト情報抽出手段として第１、第２を有するものを基本として述べているが、これらの手段が２個以上になっても本発明の動作に支障はない。また、上記ｋ、ｊなどの変数を複数用意することにより複雑多種なレイアウトを有する文書にも本発明を適用することが可能である。
【００３１】
【発明の効果】
以上のように本発明の請求項１および請求項２に係る出版物電子化処理装置は、最後が数字となる文字行が多いページを目次ページや索引ページとみなして、目次や索引用のレイアウト情報抽出アルゴリズムと、本文用のレイアウト情報抽出アルゴリズムを切換えることができ、結果として簡便で精度の高いレイアウト抽出が可能になるという効果がある。
【００３２】
また、本発明の請求項３に係る出版物電子化処理装置は、例えば索引ページ用のレイアウト情報抽出アルゴリズム（第１レイアウト情報抽出手段）とそれ以外のページ用のレイアウト情報抽出アルゴリズム（第２レイアウト情報抽出手段）を用意しておき、それまで、それ以外のページ用のレイアウト情報抽出アルゴリズムを使用していても、データの最後近くで索引ページ用のレイアウト情報抽出アルゴリズムに切換えることができ、処理時間の短縮を図ることができるという効果がある。
【図面の簡単な説明】
【図１】本発明を適用した一実施例システムの構成を示す機能ブロック図である。
【図２】本発明の一実施例の動作を示すフローチャートである。
【図３】本発明の一実施例の動作を示すフローチャートである。
【図４】本発明の一実施例の動作を示すフローチャートである。
【図５】同図（ａ）、（ｂ）は文書画像内の黒画素に対して黒画素連結領域の外接矩形を求めた一例を表す図である。
【符号の説明】
１ 画像入力手段
２ 入力画像用メモリ
３ レイアウト情報格納用メモリ
４ 文字認識用辞書
５ プログラム用ＲＯＭ
６ 制御手段
７ レイアウト情報抽出手段
８ 判定処理手段
Ｓ１ 初期化処理モジュール
Ｓ２ 入力手段で読み取った画像データを入力画像用メモリに転送する処理モジュール
Ｓ３ 第１あるいは第２のレイアウト情報抽出手段の選択を判定する処理モジュール
Ｓ４ 第１レイアウト情報抽出手段を実行する処理モジュール
Ｓ５ 領域内の文字認識処理を実行する処理モジュール
Ｓ６ 数字行末の多さを判定する処理モジュール
Claims (3)
- 出版物の頁画像のレイアウト情報を認識する出版物電子化処理装置であって、
複数の頁画像を連続して入力することが可能な画像入力手段と、
該画像入力手段により入力された頁画像を、白領域と黒領域の領域を含む頁画像として格納する入力画像記憶手段と、
該入力画像記憶手段に格納されている頁画像の黒画素に対して、黒画像に外接する矩形を求め、同じ高さの黒画素の矩形が横に並んでいる場合、また同じ幅の黒画素の矩形が縦に並んでいる場合に、矩形間の距離にかかわらず近接する二つの外接矩形を一つの外接矩形に統合することを繰り返すことにより、複数の矩形領域を抽出する第１レイアウト情報抽出手段と、
前記入力画像記憶手段に格納されている画像の黒画素に対して、黒画像に外接する矩形を求め、同じ高さの黒画素の矩形が横に並んでいる場合、また同じ幅の黒画素の矩形が縦に並んでいる場合に、矩形間の距離が所定範囲内に近接する二つの外接矩形を一つの外接矩形に統合することを繰り返すことにより、複数の矩形領域を抽出する第２レイアウト情報抽出手段と、
前記第１のレイアウト情報抽出手段により抽出された矩形領域に対して、文字行を抽出し、該文字行の最後が数字かを調査する行末数字調査手段と、
該行末数字調査手段による調査の結果、頁内の全文字行の数に対する文字行の最後が数字である文字行の数の割合が所定値以上かを判定する行末数字多判定手段と、を有し、
該行末数字多判定手段により、頁内の全文字行の数に対する文字行の最後が数字である文字行の数の割合が所定値以上であると判定された場合には、該頁について前記第２レイアウト情報抽出手段を使用せず、該判定された頁の次の頁において、前記第１レイアウト情報抽出手段を使用し、その後に、頁内の全文字行の数に対する文字行の最後が数字である文字行の数の割合が所定値未満であると判定された場合には、該頁について前記第２レイアウト情報抽出手段を使用し、該判定された頁以降の頁において、前記第１レイアウト情報抽出手段、前記行末数字調査手段および前記行末数字多判定手段を使用せず、前記第２レイアウト情報抽出手段を使用することを特徴とする出版物電子化処理装置。 - 出版物の頁画像のレイアウト情報を認識する出版物電子化処理装置であって、
複数の頁画像を連続して入力することが可能な画像入力手段と、
該画像入力手段により入力された頁画像を、白領域と黒領域の領域を含む頁画像として格納する入力画像記憶手段と、
該入力画像記憶手段に格納されている頁画像の黒画素に対して、黒画像に外接する矩形を求め、同じ高さの黒画素の矩形が横に並んでいる場合、また同じ幅の黒画素の矩形が縦に並んでいる場合に、矩形間の距離にかかわらず近接する二つの外接矩形を一つの外接矩形に統合することを繰り返すことにより、複数の矩形領域を抽出する第１レイアウト情報抽出手段と、
前記入力画像記憶手段に格納されている画像の黒画素に対して、黒画像に外接する矩形を求め、同じ高さの黒画素の矩形が横に並んでいる場合、また同じ幅の黒画素の矩形が縦に並んでいる場合に、矩形間の距離が所定範囲内に近接する二つの外接矩形を一つの外接矩形に統合することを繰り返すことにより、複数の矩形領域を抽出する第２レイアウト情報抽出手段と、
前記第１のレイアウト情報抽出手段により抽出された矩形領域に対して、文字行を抽出し、該文字行の最後が数字である場合に、該文字行の行頭が連続した数字で、かつ該連続した数字の前に特定のデリミッタがあるかを調査する行末数字調査手段と、
該行末数字調査手段による調査の結果、頁内の全文字行の数に対する、文字行の最後が数字であり、該文字行の行頭が連続した数字で、かつ該連続した数字の前に特定のデリミッタがある文字行の数の割合が所定値以上かを判定する行末数字多判定手段と、を有し、
該行末数字多判定手段により、頁内の全文字行の数に対する、文字行の最後が数字であ り、該文字行の行頭が連続した数字で、かつ該連続した数字の前に特定のデリミッタがある文字行の数の割合が所定値以上と判定された場合には、該頁について前記第２レイアウト情報抽出手段を使用せず、該判定された頁の次の頁において、前記第１レイアウト情報抽出手段を使用し、その後に、頁内の全文字行の数に対して、文字行の最後が数字であり、該文字行の行頭が連続した数字で、かつ該連続した数字の前に特定のデリミッタがある文字行の数の割合が所定値未満と判定された場合には、該頁について前記第２レイアウト情報抽出手段を使用し、該判定された頁以降の頁において、前記第１レイアウト情報抽出手段、前記行末数字調査手段および前記行末数字多判定手段を使用せず、前記第２レイアウト情報抽出手段を使用することを特徴とする出版物電子化処理装置。 - 前記画像入力手段により入力された複数の頁画像について、最終頁からあらかじめ定められた頁以内の頁であるかを判定する最終所定頁判定手段を、さらに備え、
該最終所定頁判定手段により、最終頁からあらかじめ定められた頁以内であると判定された場合は、その判定された頁以降の頁について、前記第１レイアウト情報抽出手段を使用することを特徴とする請求項１または請求項２記載の出版物電子化処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36009698A JP3668026B2 (ja) | 1998-12-18 | 1998-12-18 | 出版物電子化処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36009698A JP3668026B2 (ja) | 1998-12-18 | 1998-12-18 | 出版物電子化処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000182055A JP2000182055A (ja) | 2000-06-30 |
| JP3668026B2 true JP3668026B2 (ja) | 2005-07-06 |
Family
ID=18467885
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP36009698A Expired - Fee Related JP3668026B2 (ja) | 1998-12-18 | 1998-12-18 | 出版物電子化処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3668026B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011008446A (ja) | 2009-06-24 | 2011-01-13 | Fuji Xerox Co Ltd | 画像処理装置 |
-
1998
- 1998-12-18 JP JP36009698A patent/JP3668026B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000182055A (ja) | 2000-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2940936B2 (ja) | 表領域識別方法 | |
| US6175844B1 (en) | Ordering groups of text in an image | |
| US5774580A (en) | Document image processing method and system having function of determining body text region reading order | |
| CN111832476B (zh) | 版面分析方法、阅读辅助设备、电路和介质 | |
| JPH0750483B2 (ja) | 文書画像追加情報の蓄積方法 | |
| US20120017144A1 (en) | Content analysis apparatus and method | |
| US5502777A (en) | Method and apparatus for recognizing table and figure having many lateral and longitudinal lines | |
| US6535652B2 (en) | Image retrieval apparatus and method, and computer-readable memory therefor | |
| JP3668026B2 (ja) | 出版物電子化処理装置 | |
| US5854860A (en) | Image filing apparatus having a character recognition function | |
| JP2890306B2 (ja) | 表領域分離装置および表領域分離方法 | |
| JP4040905B2 (ja) | 縮小画像表示装置、方法、プログラムおよびプログラムを記録した記録媒体 | |
| JPH06180771A (ja) | 英文字認識装置 | |
| US20020071609A1 (en) | Image processing method, apparatus therefor and storing medium | |
| JPH06131497A (ja) | 表認識方式 | |
| JP3052438B2 (ja) | 表認識装置 | |
| JP4329370B2 (ja) | 画像データ分類装置及びプログラム | |
| JP3060248B2 (ja) | 表認識装置 | |
| JPH11306282A (ja) | 文字列領域抽出方法及び装置 | |
| JP3100825B2 (ja) | 線認識方法 | |
| JP2618468B2 (ja) | 文書処理装置 | |
| JP3199033B2 (ja) | 光学式文字読取方法、及び光学式文字読取装置 | |
| JPH0334081A (ja) | 図面読取装置 | |
| JP2004133841A (ja) | パターン認識装置、パターン認識方法、プログラムおよび記憶媒体 | |
| JPH1049602A (ja) | 帳票認識方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050131 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050131 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050315 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050407 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080415 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090415 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090415 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100415 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100415 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110415 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120415 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |