JP4549400B2 - 文書認識プログラム、文書認識装置、および文書認識方法 - Google Patents

Description

本発明は、文書認識を用いて、入力画像中の文書を認識する文書認識プログラム、文書認識装置、および文書認識方法に関する。

従来からおこなわれている文書認識における行抽出では、「文字らしい黒画素の集合」或いは「文字らしい画素の外接矩形」を元に、矩形情報のみを利用して行を抽出する。ここで、外接矩形の大きさの推定は、行の抽出の正否に大きく関わるため、外接矩形の大きさの推定を誤ると、行の抽出が失敗することがあった。そこで、文字らしさの評価のために文字認識を利用する技術の開発がこれまでにも行われていた。

このような文字認識では、たとえば、文字の成分の数や文字認識を用いて、ノイズの含まれる領域中から文字成分であるか否かを判断する技術が公知である（たとえば、下記特許文献１参照。）。また、たとえば、文字の均一性を元に文字列を抽出し、文字認識を利用した評価をおこなう技術が公知である（たとえば、下記特許文献２参照。）。

特許第３９１３９８５号公報 特開平１１−２１９４０７号公報

しかしながら、上記の従来技術において、いずれも基本要素としての黒画素連結成分の取捨選択と組み合わせを考えるものであり、最初の文字要素候補成分が他の文字と連続していたりした場合には分割する手段を有していない。また、行が既知の場合における、接触文字からの文字の切り出しについては、特開平０４−２１１８８４号公報などに開示されているが、これらは行の情報が確定している場合にしか利用できない。このため、行が変則的な場合や、画像にノイズが混入されている場合などでは、行の抽出精度が低下するという問題があった。

本発明は、上述した従来技術の問題点を解決するため、行の抽出精度の向上を図ることができる文書認識プログラム、文書認識装置、および文書認識方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、文書認識プログラム、文書認識装置、および文書認識方法は、入力画像の中から画素連結要素を抽出し、抽出された画素連結要素（以下、「基準要素」という）に基づいて、当該基準要素と、当該基準要素に近接する画素連結要素を組み合わせて構成される組み合わせ要素と、を推定対象要素として生成し、当該推定対象要素に対し、当該推定対象要素の右方向と下方向に近接する画素連結要素を組み合わせて、または、前記推定対象要素の下方向に近接する画素連結要素を組み合わせて、または、前記推定対象要素の右下方向に近接する画素連結要素を組み合わせて、前記推定対象要素をあらかじめ決めた所定数まであらたに生成し、生成された推定対象要素の文字らしさを示す確信度を算出し、算出された確信度が所定の閾値以上となる推定対象要素の中から最後に生成された推定対象要素を前記文字らしい要素に決定することを要件とする。

本文書認識プログラム、文書認識装置、および文書認識方法によれば、算出された確信度に基づいて、文字らしい要素を推定対象要素の中から決定することができる。

本文書認識プログラム、文書認識装置、および文書認識方法によれば、文書認識における行抽出（行ごとの画素連結要素群の抽出）の精度の向上を図ることができるという効果を奏する。

以下に添付図面を参照して、本文書認識プログラム、文書認識装置、および文書認識方法の好適な実施の形態を詳細に説明する。なお、以下に示す「行」とは、複数の文字の並びによって構成されるものを指し、「段」とは、単数または複数の行によって構成されるものを指す。

（従来技術と本実施の形態の文書認識装置とによる行抽出結果の対比（その１））
まず、従来技術と本実施の形態の文書認識装置とによる行抽出結果の対比について説明する。図１は、従来技術と本実施の形態の文書認識装置とによる行抽出結果の対比を示す説明図（その１）である。なお、図１に示す従来技術と本実施の形態の文書認識装置とによる行抽出結果の対比を示す説明図（その１）では、図１中符号１０１で示す画像（以下、「入力画像１０１」という）が入力された場合の例である。

図１（Ａ）には、従来技術による画素連結要素の重なりを矩形統合した結果を示す。ここで、画素連結要素とは、特定の画素が連結して構成される領域をいう。ここで、特定の画素とは、たとえば、あらかじめ設定された画素値以上の画素などである。図１（Ａ）に示すように、従来技術においては、入力画像１０１が入力された場合、まず、入力画像１０１中のそれぞれの画素連結要素と外接する矩形（以下、「外接矩形」という）を作成し、重なる外接矩形同士を統合する。

図１（Ｂ）には、従来技術による文字矩形の推定結果を示す。ここで、文字矩形とは、文字らしい要素を包含する矩形である。従来技術では、上記（Ａ）で得られた結果を用いて、近接し合う外接矩形の大きさなどから、文字矩形の推定をおこなう。たとえば、図１（Ｂ）に示すように、入力画像１０１中の下部に着目すれば、文字矩形１０２〜１０５が推定されている。

ここで、従来技術では、「（」を包含する文字矩形１０２と、それに近接する文字矩形１０３とにおいて、文字矩形１０３の大きさは、文字矩形１０２の大きさから推定するため、「一／括／分／を」を一つの文字として（同一の文字矩形で包含して）推定している。同様に、文字矩形１０４の大きさは、文字矩形１０３または文字矩形１０５の大きさから推定するため、「徴／収／含／む」を一つの文字として推定している。

図１（Ｃ）には、従来技術による行抽出結果を示す。図１（Ｃ）に示すように、従来技術においては、上記（Ｂ）で得られた結果を用いて、類似した大きさを有する（たとえば、均一な大きさを有する）文字矩形が連続する領域を行として抽出する。すなわち、図１（Ｃ）では、図１（Ｂ）で示した文字矩形１０２〜１０５によって、図１（Ｃ）中符号１１０で示す行を抽出している。

図１（Ｄ）には、本実施の形態の文書認識装置による行抽出結果を示す。図１（Ｄ）に示すように、本実施の形態の文書認識装置では、たとえば、大きさの異なる文字（たとえば、入力画像１０１中の「（」と「一」など）が並んでいる場合においても、それぞれの適切な大きさを有する文字矩形を推定するため、行１２０，１３０を抽出でき、高精度な行の抽出が可能である。

（従来技術と本実施の形態の文書認識装置とによる行抽出結果の対比（その２））
図２は、従来技術と本実施の形態の文書認識装置とによる行抽出結果の対比を示す説明図（その２）である。なお、図２に示す従来技術と本実施の形態の文書認識装置とによる行抽出結果の対比を示す説明図（その２）では、図２（Ａ）に示すように、符号２０１ａで示すノイズを含む入力画像２０１が入力された場合の例である。

図２（Ｂ）には、前述の図１（Ａ）と同様に、従来技術による画素連結要素の重なりを矩形統合した結果を示す。図２（Ｂ）に示すように、従来技術においては、入力画像２０１が入力された場合、まず、入力画像２０１中の画素連結要素の外接矩形を作成し、重なる外接矩形同士を統合する。ここで、従来技術では、図２（Ｂ）中符号２０２で示すように、ノイズ２０１ａの影響によって、「市／中／田／中」が一つの矩形内に統合されている。

図２（Ｃ）には、従来技術による行抽出結果を示す。図２（Ｃ）に示すように、従来技術においては、上記（Ｂ）で得られた結果を用いて、文字矩形を推定し、類似した大きさを有する（たとえば、均一な大きさを有する）文字矩形が連続する領域を行として抽出する。すなわち、図２（Ｃ）では、上記（Ｂ）において、「市／中／田／中」を一つの矩形内に統合したため、本来の行が途中で分断され、図２（Ｃ）中符号２１０，２２０，２３０，２４０，２５０で示す行を抽出している。

図２（Ｄ）には、本実施の形態の文書認識装置による行抽出結果を示す。図２（Ｄ）に示すように、本実施の形態の文書認識装置では、たとえば、入力画像２０１中にノイズ２０１ａが含まれている場合においても、適切な文字矩形を推定できるため、行２６０，２７０を抽出でき、高精度な行の抽出が可能である。

（文書認識装置による行抽出の概要）
つぎに、本実施の形態の文書認識装置による行抽出の概要について説明する。本実施の形態にかかる文書認識装置は、（１）文字矩形推定処理、（２）段抽出処理、（３）行抽出処理の各処理を経て、行を抽出する。すなわち、本実施の形態の文書認識装置では、抽出対象となる行よりも、その上位の構造概念である段を先に推定し、推定された段を用いて、当該段を構成する行を抽出する構成である。

図３は、本実施の形態にかかる文書認識装置の行抽出までの処理概要を示す説明図である。本実施の形態の文書認識装置は、まず、上記（１）文字矩形推定処理において、図３（１）に示すように、文字矩形（たとえば、図３（１）中符号３０１で示す文字矩形）を推定する。なお、文字矩形推定処理の内容については、図４を用いて後述する。

本実施の形態の文書認識装置は、文字矩形を推定すると、上記（２）段抽出処理において、図３（２）に示すように、たとえば、均一な大きさを有する文字矩形が集合して構成される段（たとえば、図３（２）中符号３０２で示す段）を推定する。なお、段抽出処理の内容については、後述する。

本実施の形態の文書認識装置は、段を推定すると、上記（３）行抽出処理において、図３（３）に示すように、推定された段を構成する行（たとえば、図３（３）中符号３０３で示す行）を抽出する。なお、行抽出処理の内容については、図７を用いて後述する。

以上に説明したように、本実施の形態の文書認識装置は、上記の（１）〜（３）の各処理の流れによって、行を抽出することで、高精度な行の抽出を可能とする。以下に、上記の処理を実現する内容について詳細に説明する。

（文書認識装置による文字矩形推定処理の概要）
つぎに、本実施の形態にかかる文書認識装置における、前述した（１）文字矩形推定処理の概要について説明する。文書認識装置は、文字矩形を推定する際に、入力画像の中から画素連結要素を抽出する。そして、抽出された画素連結要素（基準要素）に基づいて、当該基準要素と、当該基準要素に近接する画素連結要素を組み合わせて構成される組み合わせ要素と、を推定対象要素として生成する。ここで、推定対象要素とは、たとえば、文字らしさの推定対象となる画素連結要素または組み合わせ要素などである。

つぎに、文書認識装置は、推定対象要素に対して、文字らしさを示す確信度Ｃ（算出方法の一例は、図６を用いて後述する）を利用して、それぞれの推定対象要素の文字らしさを評価する。すなわち、ここで、確信度Ｃとは、推定対象要素の文字らしさを評価する評価値である。これによって、文書認識装置は、推定対象要素の中から最適なもの（もっとも文字らしいもの）を決定する。

また、推定対象要素が、実際は或る文字の一部分をあらわすものであっても、それだけで一文字として解釈することができる場合がある（たとえば、「語」という文字は「一」「二」「三」「言」「五」「口」「吾」といったものを含んでいる）。そこで、本実施の形態の文書認識装置は、基準要素と、当該基準要素から右下方向に近い他の要素とを順次組み合わせることによって、組み合わせ要素を生成していく。なお、組み合わせ要素を生成する際の組み合わせる要素の数の上限はあらかじめ決めておくこととする。

また、或る推定対象要素によってあらわされる文字らしきものが、文字としての信頼度が低い場合（確信度Ｃが所定の閾値に達していない場合）には、文書認識装置は、この推定対象要素を包含する文字矩形をさらに小さな矩形領域（以下、「分割矩形」という）に分割し、分割矩形を用いて、再度、組み合わせ要素を生成する。そして、生成された組み合わせ要素のうち、確信度Ｃが所定の閾値以上となるものを適切な要素として決定する。

上記のようにして推定対象要素の文字らしさの評価を順次おこなっていくと、その確信度Ｃは、文字とみなせるパターンが出てきた場合に高い値を示す。すなわち、確信度Ｃは、正解パターン（すなわち、或る文字となるパターン）の組み合わせ要素でほぼ最大値をとり、その後、余分な画素連結要素が追加されていくごとに低下していく。

そのため、本実施の形態の文書認識装置では、文字らしさの判断のためにあらかじめ閾値を決めておき、最後に閾値を超えると評価された組み合わせ要素を正解パターンの組み合わせ要素であると判断する。なお、いずれの推定対象要素の確信度Ｃも閾値を超えない場合には、適切な推定対象要素はないとして文字矩形として確定させない（すなわち、或る文字として確定させない）こととする。

図４は、本実施の形態にかかる文書認識装置による文字矩形推定処理の概要を示す説明図（その１）である。図４においては、入力画像として、図４中符号４１０で示す画像（以下、「入力画像４１０」という）が入力された場合の文字矩形推定処理の概要を示したものである。

本実施の形態の文書認識装置は、図４に示す入力画像４１０が入力された場合に、入力画像４１０の中から画素連結要素を抽出する。たとえば、図４（Ａ）で示すように、入力画像４１０に含まれる「給」を示す部分の画像４１０ａからは、画素連結要素４２１が抽出される（基準要素）。

また、文書認識装置は、画素連結要素４２１が抽出されると、画素連結要素４２１と、当該画素連結要素４２１に近接する画素連結要素（たとえば、画素連結要素４２２）とを組み合わせて組み合わせ要素を生成する。たとえば、組み合わせ要素の生成に際して、文書認識装置は、まず、それぞれの画素連結要素の外接矩形上の所定の箇所に基準点を設定する。たとえば、図４に示すように、画素連結要素４２１〜４２５では、それぞれの要素の左上の頂点Ｒ１〜Ｒ５を基準点として設定する。

基準点を設定すると、つぎに、基準要素の基準点（ここでは、画素連結要素４２１の基準点Ｒ１）と、他の画素連結要素の基準点との距離が近い組み合わせから、組み合わせ要素を生成する。たとえば、基準要素の基準点と、他の画素連結要素の基準点との距離が近い組み合わせは以下のように決定される。

図４に示すように、画素連結要素４２１を基準要素とすると、まず、画素連結要素４２１の基準点Ｒ１上を通過する直線Ｓ１を引く。なお、ここでの直線Ｓ１は、たとえば、ｙ＝ｘに平行な直線である。

そして、画素連結要素４２１の確信度Ｃを算出する。なお、前述したように、確信度Ｃの算出方法については図６を用いて説明するため、ここでの説明は省略する。なお、この状態での画素連結要素４２１を図４中（Ｂ）のパターン１に示す。

その後、直線Ｓ１が他の画素連結要素の基準点上となるまで、直線Ｓ１を右下方向に平行移動させる。直線Ｓ１を右下方向に平行移動させると、まず、図４中符号Ｓ２で示す位置で、画素連結要素４２２の基準点Ｒ２上となる。そのため、文書認識装置は、つぎに、画素連結要素４２１と画素連結要素４２２との組み合わせ要素を生成し、その確信度Ｃを算出する。なお、この状態での組み合わせ要素を図４中（Ｂ）のパターン２に示す。

つぎに、直線Ｓ２から、さらに右下方向へ平行移動させると、図４中符号Ｓ３で示す位置で、画素連結要素４２３の基準点Ｒ３上となる。そのため、文書認識装置は、つぎに、画素連結要素４２１と画素連結要素４２２と画素連結要素４２３との組み合わせ要素を生成し、その確信度Ｃを算出する。なお、この状態での組み合わせ要素を図４中（Ｂ）のパターン３に示す。

つぎに、直線Ｓ３から、さらに右下方向へ平行移動させると、図４中符号Ｓ４で示す位置で、画素連結要素４２４の基準点Ｒ４上となる。そのため、文書認識装置は、つぎに、画素連結要素４２１と画素連結要素４２２と画素連結要素４２３と画素連結要素４２４との組み合わせ要素を生成し、その確信度Ｃを算出する。なお、この状態での組み合わせ要素を図４中（Ｂ）のパターン４に示す。

つぎに、直線Ｓ４から、さらに右下方向へ平行移動させると、図４中符号Ｓ５で示す位置で、画素連結要素４２５の基準点Ｒ５上となる。そのため、文書認識装置は、つぎに、画素連結要素４２１と画素連結要素４２２と画素連結要素４２３と画素連結要素４２４と画素連結要素４２５との組み合わせ要素を生成し、その確信度Ｃを算出する。なお、この状態での組み合わせ要素を図４中（Ｂ）のパターン５に示す。

つぎに、図示は省略するが、同様にして、直線Ｓ５から、さらに右下方向へ平行移動させると、入力画像４１０中、「与」を示す部分の上部の画素連結要素の基準点上となる。そのため、文書認識装置は、つぎに、画素連結要素４２１と画素連結要素４２２と画素連結要素４２３と画素連結要素４２４と画素連結要素４２５と「与」を示す部分の上部の画素連結要素との組み合わせ要素を生成し、その確信度Ｃを算出する。なお、この状態での組み合わせ要素を図４中（Ｂ）のパターン６に示す。

同様にして、直線を、さらに右下方向へ平行移動させると、入力画像４１０中、「一」を示す画素連結要素の基準点上となる。そのため、文書認識装置は、つぎに、画素連結要素４２１と画素連結要素４２２と画素連結要素４２３と画素連結要素４２４と画素連結要素４２５と「与」を示す部分の上部の画素連結要素と「一」を示す画素連結要素との組み合わせ要素を生成し、その確信度Ｃを算出する。なお、この状態での組み合わせ要素を図４中（Ｂ）のパターン７に示す。

以上に説明したように、文書認識装置は、上記の流れで、基準要素の基準点と、他の画素連結要素の基準点との距離が近い組み合わせから、順次組み合わせ要素を生成する。なお、組み合わせ要素は、或る基準要素に対し、たとえば、１０通り生成される。

図４中（Ｃ）で示すグラフは、上記によって順次算出される確信度Ｃの推移を示すグラフである。上記によって順次確信度Ｃを算出すると、確信度Ｃは、文字らしい正解パターン（たとえば、上記のパターン２やパターン５など）が出てきた際に高い値を示す。これによって、確信度Ｃが閾値以上となる組み合わせ要素を正解パターンとして決定し、この組み合わせ要素を包含する文字矩形を決定する（すなわち、この組み合わせ要素が一つの文字であるとしてグループ化する）。

また、たとえば、図４（Ｃ）のように、確信度Ｃが所定の閾値以上となるパターンが複数ある場合には、文書認識装置は、確信度Ｃが所定の閾値以上となる推定対象要素の中から、最後に生成された推定対象要素を、文字らしい要素として決定する。

また、本実施の形態の文書認識装置は、確信度Ｃが低い推定対象要素（たとえば、確信度Ｃが所定の閾値未満である推定対象要素）に対して、当該推定対象要素を複数の矩形領域（以下、「分割矩形」という）に分割する。そして、分割矩形を用いて、再度、組み合わせ要素を生成する。以下に、分割矩形を用いた組み合わせ要素の生成の概要を示す。

図５は、本実施の形態にかかる文書認識装置による文字矩形推定処理の概要を示す説明図（その２）である。図５においては、図５中符号５１０ａで示すノイズを含んだ入力画像５１０が入力された場合の文字矩形推定処理の概要を示したものである。

図５（Ａ）には、ノイズ５１０ａを含んだ入力画像５１０の画素連結要素の重なりを矩形統合した結果を示す。ここで、図５（Ａ）中、符号５１１で示す矩形内の組み合わせ要素は所定の閾値以上の確信度Ｃを有しているが、符号５１２で示す文字矩形内の組み合わせ要素は所定の閾値以上の確信度Ｃを有していないものとする。

このとき、本実施の形態の文書認識装置は、図５（Ｂ）に示すように、所定の閾値以上の確信度Ｃを有していない文字矩形５１２を小さな分割矩形（たとえば、図５中符号５１３で示す矩形）に分割する。そして、図５（Ｃ）に示すように、分割矩形を用いて、再度、組み合わせ要素の生成をおこなう。このとき、上記のように、それぞれの組み合わせ要素に対する確信度Ｃを算出し、確信度Ｃが所定値以上となるものを正解パターンとして決定する。これによって、図５（Ｄ）に示すように、確信度Ｃが所定値以上となる組み合わせ要素の文字矩形（たとえば、図５中符号５１４，５１５で示す文字矩形）を推定する。

なお、上記の例では、ｙ＝ｘに平行な直線を用いて組み合わせ要素の組み合わせ順序の決定をおこなったが、これに限らない。上記の例では、組み合わせた要素の文字矩形の形状が正方形に近くなることを想定して、ｙ＝ｘに平行な直線を用いた。しかし、たとえば、あらかじめ文字矩形の形状が縦長だと分かっている場合（たとえば、入力画像中の文字が半角英数などの縦長な文字であることが既知な場合）には、ｙ＝２ｘに平行な直線を用いるように設定してもよい。なお、この設定は、たとえば、利用者の任意によって設定される。

（確信度Ｃの算出方法）
つぎに、確信度Ｃの算出方法について説明する。前述したように、確信度Ｃとは、入力画像（選択された或る推定対象要素など）の特徴量との類似度の高さをあらわす評価値である。確信度Ｃの算出方法については、特開２０００−３０６０４５に詳細に説明されているため、ここでは、簡単に説明する。

図６は、確信度Ｃの算出方法を示す説明図である。確信度Ｃを求める場合には、推定対象要素と辞書の文字との比較をおこなう。具体的には、（Ａ）において、推定対象要素『あ』（この段階では、文字かどうかわからない）の特徴量を示す特徴ベクトルと、辞書内の各登録文字（ｎ個）の特徴量を示す特徴ベクトルとを求め、推定対象要素『あ』の特徴ベクトルと辞書内の各登録文字の特徴ベクトルとの距離ｄ１〜ｄｎを求める。推定対象要素は、距離の値が小さい登録文字ほど類似している。そのため、距離で昇順にソートする。

（Ｂ）は昇順でのソート結果を示している。そして、（Ｃ）のように、１位の距離を２位の距離で除算する。Ｋ（０＜Ｋ≦１）の値が小さい場合、１位の距離と２位の距離との距離差が大きいため、推定対象要素が１位の登録文字に類似している可能性が高くなる。逆に、Ｋの値が大きくなるにつれ、１位と２位の区別がつきにくくなる。したがって、（Ｄ）に示したように、Ｋの値が小さいほど大きい値の確信度Ｃを割り当て、Ｋの値が大きいほど小さい値の確信度Ｃを割り当てる。確信度Ｃは、ここでは、０≦Ｃ≦９９９とする。このように、確信度Ｃの値が大きいと一意に対応する登録文字が存在することをあらわす。

なお、本実施の形態では、確信度Ｃを上記の方法によって算出することを例としたが、確信度Ｃを単なる距離値から算出することとしてもよい。これによって、上記の方法によって算出される確信度Ｃではつぶれた文字などにおいても高い値を示し、文字らしさの評価精度が低下してしまう場合があるが、確信度Ｃを単なる距離値から算出することによってこのような場合でも高精度な文字らしさの評価が可能である。

（文書認識装置による段抽出処理の概要）
つぎに、文書認識装置における、前述した（２）段抽出処理の概要について説明する。文書認識装置の段抽出処理では、上記の文字矩形推定処理によって推定された文字矩形を利用して、文字矩形の大きさが均一となる領域を抽出する。具体的には、或る基準とされた文字矩形から、横方向および縦方向に近接する文字矩形のうち、基準とされた文字矩形と同一の大きさを有する文字矩形を順次統合していくことによって、統合された文字矩形群からなる領域を段として抽出する。また、抽出した領域が重なりをもつ場合は、確信度Ｃの高い文字を用いた検証をおこない、分割と統合をおこない、段を推定する。

（文書認識装置による行抽出処理の概要）
つぎに、文書認識装置における、前述した行抽出処理の概要について説明する。文書認識装置の行抽出処理では、まず、前述した段抽出処理によって抽出された段の情報を用いて、ヒストグラムによる行間位置の推定をおこなう。

図７は、本実施の形態の文書認識装置による行抽出処理の概要を示す説明図である。たとえば、図７中、符号７０１で示す文字矩形は、確信度Ｃが所定の閾値以上である組み合わせ要素を包含しており、符号７０２で示す文字矩形は、確信度Ｃが所定の閾値未満である組み合わせ要素を包含している。また、図７中、符号７１０で示す段は、上記の段抽出処理によって抽出された段である。

図７に示すヒストグラムは、特定された行方向に、画素連結要素を投影したものである。すなわち、図７に示すヒストグラムは、投影軸上の画素の強度（画素数）を示す。たとえば、Ａは投影軸Ａ上の画素の強度（画素数）を示し、Ｂは投影軸Ｂ上の画素の強度（画素数）を示す。そして、文書認識装置は、段７１０のうち、ヒストグラムが谷となる（すなわち、投影軸上に画素が少ない）位置を行間位置として推定する。その後、文書認識装置は、推定された行間位置から、その投影軸が、確信度Ｃの高い文字（たとえば、所定の閾値以上である組み合わせ要素）を分断しているか否かを判定する。

このとき、文書認識装置は、たとえば、図７に示すように、確信度Ｃが高い組み合わせ要素を包含する文字矩形７０１が行によって分断される場合、この位置を行間位置として却下し、確信度Ｃの高い組み合わせ要素を分断していない位置を行間位置として決定する。図７に示す場合では、文書認識装置は、Ａの位置では確信度Ｃの高い文字矩形７０１を分断するので、Ｂの位置を行間位置とする。そして、この行間位置に沿って、それぞれの文字らしい要素を包含した文字矩形を包含する領域を行として抽出し、図７中符号７２０，７３０で示す行を抽出する。

（文書認識装置のハードウェア構成）
つぎに、本実施の形態にかかる文書認識装置のハードウェア構成について説明する。図８は、本実施の形態にかかる文書認識装置のハードウェア構成を示すブロック図である。

図８において、文書認識装置８００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８０３と、ハードディスクドライブ８０４と、ハードディスク８０５と、光ディスクドライブ８０６と、光ディスク８０７と、ディスプレイ８０８と、Ｉ／Ｆ（インターフェース）８０９と、キーボード８１０と、マウス８１１と、スキャナ８１２と、プリンタ８１３と、を備えている。また、各構成部はバス８２０によってそれぞれ接続されている。

ここで、ＣＰＵ８０１は、文書認識装置８００の全体の制御を司る。ＲＯＭ８０２は、ブートプログラムなどのプログラムを記憶している。ＲＡＭ８０３は、ＣＰＵ８０１のワークエリアとして使用される。ハードディスクドライブ８０４は、ＣＰＵ８０１の制御にしたがってハードディスク８０５に対するデータのリード／ライトを制御する。ハードディスク８０５は、ハードディスクドライブ８０４の制御で書き込まれたデータを記憶する。

光ディスクドライブ８０６は、ＣＰＵ８０１の制御にしたがって光ディスク８０７に対するデータのリード／ライトを制御する。光ディスク８０７は、光ディスクドライブ８０６の制御で書き込まれたデータを記憶したり、光ディスク８０７に記憶されたデータを文書認識装置８００に読み取らせたりする。

また、光ディスク８０７として、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）、メモリーカードなどを採用することができる。ディスプレイ８０８は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。このディスプレイ８０８は、たとえば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）液晶ディスプレイ、プラズマディスプレイなどを採用することができる。

Ｉ／Ｆ８０９は、通信回線を通じてインターネットなどのネットワーク８１４に接続され、このネットワーク８１４を介して他の装置に接続される。そして、Ｉ／Ｆ８０９は、ネットワーク８１４と内部のインターフェースを司り、外部装置からのデータの入出力を制御する。Ｉ／Ｆ８０９には、たとえば、モデムやＬＡＮアダプタなどを採用することができる。

キーボード８１０は、文字、数字、各種指示などの入力のためのキーを備え、データの入力をおこなう。また、タッチパネル式の入力パッドやテンキーなどであってもよい。マウス８１１は、カーソルの移動や範囲選択、あるいはウィンドウの移動やサイズの変更などをおこなう。ポインティングデバイスとして同様に機能を備えるものであれば、トラックボールやジョイスティックなどであってもよい。

スキャナ８１２は、画像を光学的に読み取り、コンピュータ装置内に画像データを取り込む。なお、スキャナ８１２は、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）機能を持たせてもよい。また、プリンタ８１３は、画像データや文書データを印刷する。プリンタ８１３には、たとえば、レーザプリンタやインクジェットプリンタを採用することができる。

（文書認識装置の機能的構成）
つぎに、文書認識装置８００の機能的構成について説明する。図９は、文書認識装置の機能的構成を示すブロック図である。図９に示すように、文書認識装置８００は、画像認識装置９００の一部として設けられる。

画像認識装置９００は、公知の技術のため詳細な説明を省略するが、入力された入力画像に対し、画像認識をおこなって、当該画像認識の認識結果を出力する機能を有する。具体的には、画像認識装置９００は、画像入力部９１０と、領域識別部９２０と、認識処理部９３０と、結果出力部９４０とを有し、上記の機能を実現する構成である。

画像入力部９１０は、画像の入力を受け付ける機能を有する。また、領域識別部９２０は、画像入力部９１０によって入力された入力画像から、入力画像の種別に応じた識別部によって入力画像中の領域を識別し、識別結果を認識処理部９３０へ出力する機能を有する。認識処理部９３０は、領域識別部９２０から出力された識別結果に基づいて、画像認識をおこなう機能を有する。結果出力部９４０は、認識処理部９３０によって画像認識された認識結果を出力する機能を有する。

上記の領域識別部９２０は、具体的には、テキスト領域識別部９２１と、図領域識別部９２２と、表領域識別部９２３などを有しており、入力画像の種別に応じた識別部によって入力画像中の領域を識別する。

テキスト領域識別部９２１は、入力画像からテキスト領域（文字領域）を識別する機能を有する。図領域識別部９２２は、入力画像から図領域を識別する機能を有する。表領域識別部９２３は、入力画像から表領域を識別する機能を有する。

ここで、本実施の形態にかかる文書認識装置８００は、テキスト領域識別部９２１の一部として設けられる。文書認識装置８００は、画素連結要素抽出部９２１ａと、文字抽出部９２１ｂと、文字認識部９２１ｃと、段抽出部９２１ｄと、行抽出部９２１ｅとを有する。画素連結要素抽出部９２１ａは、入力画像中の画素連結要素を抽出する。また、画素連結要素抽出部９２１ａは、画素連結要素を抽出すると、抽出結果を文字抽出部９２１ｂへ出力する。

文字抽出部９２１ｂは、画素連結要素抽出部９２１ａによって抽出された画素連結要素から、画素連結要素と当該画素連結要素に近接する画素連結要素とから組み合わせ要素を生成する。また、文字抽出部９２１ｂは、推定対象要素（抽出された画素連結要素や画素連結要素に基づく組み合わせ要素）に対する文字認識部９２１ｃによる文字認識結果に基づいて、確信度Ｃが所定の閾値以上となる推定対象要素を文字らしい要素として決定し、この要素の文字矩形を推定し、文字として抽出する。なお、文字認識部９２１ｃは、確信度Ｃを用いて文字抽出部９２１ｂによって抽出された画素連結要素や生成された組み合わせ要素などの推定対象要素の文字認識をおこなう。

段抽出部９２１ｄは、文字抽出部９２１ｂによって抽出された文字から、文字矩形の大きさが均一となる領域を段として抽出する。行抽出部９２１ｅは、段抽出部９２１ｄによって、抽出された段から、行を抽出する。たとえば、図７に示したように、ヒストグラムを用いて、段のうち、適切な行間位置を推定することによって、行を抽出する。また、行抽出部９２１ｅは、図７に示したように、確信度Ｃが高い文字矩形を分断しない位置を行間位置として、行を抽出する。

なお、上記の画像入力部９１０，領域識別部９２０，認識処理部９３０，結果出力部９４０は、前述のＣＰＵ８０１がＲＯＭ８０２，ＲＡＭ８０３，ハードディスク８０５などに記録されたそれぞれの機能を実現するための各種プログラムを実行することによって実現される。

（文字矩形推定処理における処理手順）
つぎに、文書認識装置の上記の文字矩形推定処理における処理手順について説明する。図１０−１は、文書認識装置の文字矩形推定処理における処理手順を示すフローチャート（その１）である。

図１０−１に示すように、文字矩形推定処理において、文書認識装置８００には、入力画像中の要素が入力される（ステップＳ１０１１）。ステップＳ１０１１において、入力画像中の要素が入力されると、文書認識装置８００は、入力された要素のうち、未使用の要素があるか否かを判定する（ステップＳ１０１２）。ここで、未使用の要素とは、たとえば、文字矩形が設定されていない要素である。

ステップＳ１０１２において、未使用の推定対象要素があると判定された場合（ステップＳ１０１２：Ｙｅｓ）には、文書認識装置８００は、基準要素を選択する（ステップＳ１０１３）。一方、未使用の推定対象要素がないと判定された場合（ステップＳ１０１２：Ｎｏ）には、文書認識装置８００は、後述する図１０−２のステップＳ１０２１へと進む。

ステップＳ１０１３において、基準要素を選択したのち、文書認識装置８００は、基準要素と近接する要素との組み合わせ要素を生成する（ステップＳ１０１４）。たとえば、図４に示したように、基準要素を画素連結要素４２１とすると、画素連結要素４２１と近接する画素連結要素４２２とから組み合わせ要素を生成する。

ステップＳ１０１４において、組み合わせ要素を生成したのち、文書認識装置８００は、生成された組み合わせ要素に対し、文字認識をおこない、文字認識結果を評価する（ステップＳ１０１５）。具体的には、文書認識装置８００は、生成されたそれぞれの組み合わせ要素に対し、確信度Ｃを用いて評価する。確信度Ｃの算出方法については、図６を用いて示したとおりである。

ステップＳ１０１５において、確信度Ｃを用いて評価したのち、文書認識装置８００は、文字矩形が決定できたか否かを判定する（ステップＳ１０１６）。たとえば、図４（Ｃ）に示したグラフによって、確信度Ｃが閾値以上となる組み合わせ要素があり、当該組み合わせ要素によって文字矩形が決定できたか否かを判定する。

ステップＳ１０１６において、文字矩形が決定できたと判定された場合（ステップＳ１０１６：Ｙｅｓ）には、文書認識装置８００は、この組み合わせ要素を文字としてグループ化（すなわち、同一の文字矩形で包含）し（ステップＳ１０１７）、ステップＳ１０１２に復帰して、上記の処理を繰り返す。また、ステップＳ１０１６において、文字矩形が決定できなかったと判定された場合（ステップＳ１０１６：Ｎｏ）には、そのまま、ステップＳ１０１２に復帰して、上記の処理を繰り返す。なお、上記の図１０−１に示したステップＳ１０１１〜Ｓ１０１７までの一連の処理を、以下、「文字グループ化処理」という。

図１０−２は、文書認識装置の文字矩形推定処理における処理手順を示すフローチャート（その２）である。上記の図１０−１のステップＳ１０１２において、未使用の要素がないと判定された場合（ステップＳ１０１２：Ｎｏ）には、文書認識装置８００は、文字としてグループ化されたものの中から、低信頼度の文字を検索する（ステップＳ１０２１）。具体的には、文書認識装置８００は、確信度Ｃが所定値未満となる組み合わせ要素を検索する。

ステップＳ１０２１において、低信頼度の文字を検索したのち、文書認識装置８００は、低信頼度の文字（文字らしい要素）が検索されたか否かを判定する（ステップＳ１０２２）。具体的には、文書認識装置８００は、図５の文字矩形５１２に示したような文字矩形に包含される組み合わせ要素が検索されたか否かを判定する。

ステップＳ１０２２において、低信頼度が検索されたと判定された場合（ステップＳ１０２２：Ｙｅｓ）には、文書認識装置８００は、検索された低信頼度の文字が周囲の文字と比較して、大きいか否かを判定する（ステップＳ１０２３）。具体的には、低信頼度の文字を包含する文字矩形の大きさが、当該低信頼度の文字と近接する他の文字を包含する文字矩形の大きさと比較して、大きいか否かを判定する。たとえば、図５の文字矩形５１２は、近接する他の文字矩形５１１と比較して、文字矩形の大きさが大きいと判定する。一方、ステップＳ１０２２において、低信頼度の文字が検索されなかったと判定された場合（ステップＳ１０２２：Ｎｏ）には、文書認識装置８００は、そのまま、文字矩形推定処理を終了する。

ステップＳ１０２３において、低信頼度の文字が周囲の文字と比較して大きいと判定された場合（ステップＳ１０２３：Ｙｅｓ）には、文書認識装置８００は、この文字矩形を分割する分割矩形の大きさを決定する（ステップＳ１０２４）。ステップＳ１０２４において、分割矩形の大きさを決定したのち、文書認識装置８００は、決定された大きさを有する分割矩形によって、文字矩形を分割し、新たな要素とする（ステップＳ１０２５）。なお、文字矩形の分割については、前述した図５（Ｂ）に示したとおりである。また、ステップＳ１０２３において、低信頼度の文字が周囲の文字と比較して大きくないと判定された場合（ステップＳ１０２３：Ｎｏ）には、文書認識装置８００は、ステップＳ１０２２に復帰して、上記の処理を繰り返す。

ステップＳ１０２５において、文字矩形を分割し、新たな要素としたのち、文書認識装置８００は、上記の文字グループ化処理と同様の処理をおこなう（ステップＳ１０２６）。すなわち、新たな要素を入力し、当該要素に基づいて、組み合わせ要素を生成し、その確信度Ｃを評価する。そして、適切な組み合わせ要素を選択し、その文字矩形を推定する。なお、図１０−１で示したグループ化処理では、ステップＳ１０１２において、未使用の要素がないと判定された場合（ステップＳ１０１２：Ｎｏ）には、図１０−２のステップＳ１０２１へ進むこととしたが、ここでは、未使用の要素がないと判定された場合に、ステップＳ１０２７へ進むこととする。

ステップＳ１０２６において、文字矩形を推定したのち、文書認識装置８００は、当該推定によって、文字矩形が決定できたか否かを判定する（ステップＳ１０２７）。ステップＳ１０２７において、文字矩形が決定されたと判定された場合（ステップＳ１０２７：Ｙｅｓ）には、文書認識装置８００は、分割された分割矩形を元（分割前の状態）に戻し（ステップＳ１０２８）、一連の処理を終了する。また、ステップＳ１０２７において、文字矩形が決定されなかったと判定された場合（ステップＳ１０２７：Ｎｏ）には、文書認識装置８００は、ステップＳ１０２１に復帰して、上記の処理を繰り返す。

（段抽出処理における処理手順）
つぎに、文書認識装置の上記の段抽出処理における処理手順について説明する。図１１は、文書認識装置の段抽出処理における処理手順を示すフローチャートである。

図１１に示すように、文書認識装置８００には、まず、文字要素が入力される（ステップＳ１１０１）。ここで、文字要素とは、上記の文字矩形推定処理によって、文字矩形が決定された文字らしい要素である。

ステップＳ１１０１において、文字要素が入力されると、文書認識装置８００は、未使用の文字要素があるか否かを判定する（ステップＳ１１０２）。すなわち、文書認識装置８００は、すべての文字要素に対し、段が設定されたか否かを判定する。未使用の文字要素がないと判定された場合（ステップＳ１１０２：Ｎｏ）には、文書認識装置８００は、すべての文字要素に対して、段が設定されたとし、段抽出処理を終了する。

ステップＳ１１０２において、未使用の文字要素があると判定された場合（ステップＳ１１０２：Ｙｅｓ）には、文書認識装置８００は、基準となる文字要素を選択する（ステップＳ１１０３）。ステップＳ１１０３において、基準となる文字要素を選択したのち、文書認識装置８００は、基準となる文字要素から横方向の統合をおこなう（ステップＳ１１０４）。

ステップＳ１１０４において、横方向の統合をおこなったのち、文書認識装置８００は、同様にして、縦方向の統合をおこない（ステップＳ１１０５）、ステップＳ１１０４において得られた統合結果と、ステップＳ１１０５において得られた統合結果とから縦横の領域の統合をおこなう（ステップＳ１１０６）。

ステップＳ１１０６において、縦横の領域の統合をおこなったのち、文書認識装置８００は、統合された領域が、すでにある段と重なるか否かを判定する（ステップＳ１１０７）。ステップＳ１１０７において、統合された領域が、すでにある段と重なると判定された場合（ステップＳ１１０７：Ｙｅｓ）には、文書認識装置８００は、重なり合うそれぞれの段に包含される文字の大きさが同一であるか否かを判定する（ステップＳ１１０９）。具体的には、文書認識装置８００は、重なり合うそれぞれの段の文字要素が有する文字矩形の大きさが同一であるか否かを判定する。一方、すでにある段と重ならないと判定された場合（ステップＳ１１０７：Ｎｏ）には、文書認識装置８００は、統合された領域とすでにある段とは、一つの段であるとしてグループ化し（ステップＳ１１０８）、ステップＳ１１０２へ復帰して、上記の処理を繰り返す。

ステップＳ１１０９において、文字の大きさが同一であると判定された場合（ステップＳ１１０９：Ｙｅｓ）には、文書認識装置８００は、ステップＳ１１０８に進み、一つの段であるとしてグループ化する。一方、文字の大きさが同一でないと判定された場合（ステップＳ１１０９：Ｎｏ）には、文字として確定している矩形（すなわち、確定済の文字矩形）の少ないほうを分割する（ステップＳ１１１０）。たとえば、領域内に有する文字（すなわち、文字矩形）の大きさが同一でない２つの段、段Ａと段Ｂと（確定済の文字矩形の数は、段Ａ＞段Ｂ）を考える。このとき、段Ａと段Ｂとが重なる領域において、段Ｂの領域が段Ａの領域に重ならない状態となるように段Ｂ（段Ｂを、あらたな段Ｂ１とあらたな段Ｂ２とに分割してもよい。このとき、段Ｂ１および段Ｂ２はともに段Ａの領域を含まない段である）を分割する。これによって、段Ａおよび段Ｂとの重なりが解消される。ステップＳ１１１０において、文字として確定している矩形（すなわち、確定済の文字矩形）の少ないほうを分割したのち、文書認識装置８００は、ステップＳ１１０２へ復帰して、上記の処理を繰り返す。

（行抽出処理における処理手順）
つぎに、文書認識装置の上記の行抽出処理における処理手順について説明する。図１２は、文書認識装置の行抽出処理における処理手順を示すフローチャートである。

図１２に示すように、文書認識装置８００には、上記の段抽出処理によって得られた段が入力される（ステップＳ１２０１）。たとえば、文書認識装置８００には、図７に示したように、段７１０が入力される。

ステップＳ１２０１において、段が入力されると、文書認識装置８００は、未使用の段があるか否かを判定する（ステップＳ１２０２）。すなわち、文書認識装置８００は、すべての段に対し、行が設定されたか否かを判定する。未使用の段がないと判定された場合（ステップＳ１２０２：Ｎｏ）には、文書認識装置８００は、すべての段に対して、行が設定されたとし、段統合処理を実行し（ステップＳ１２０３）、行抽出処理を終了する。ここで、段統合処理とは、単数または複数の行を統合して段を作成する処理である。

ステップＳ１２０２において、未使用の段があると判定された場合（ステップＳ１２０２：Ｙｅｓ）には、行方向の特定をおこなう（ステップＳ１２０４）。具体的には、文書認識装置８００は、縦方向と横方向とで、それぞれヒストグラムをとり、行数の少ない方（たとえば、ヒストグラムの山の数が少ない方）を行方向とする。ステップＳ１２０３において、行方向の特定をおこなったのち、文書認識装置８００は、行を検出する（ステップＳ１２０５）。具体的には、図７に示したように、ヒストグラムを用いて、黒画素が少ない位置を推定し、推定された位置を行間位置とした場合に、行によって文字矩形が分断されていないかを検証する。

ステップＳ１２０６において、行の検証をおこなったのち、文書認識装置８００は、ステップＳ１２０６の検証結果から、行と文字で矛盾があるか否かを判定する（ステップＳ１２０６）。具体的には、文書認識装置８００は、行によって、文字矩形を分断している場合には矛盾があると判定し、文字矩形を分断していない場合には矛盾がないと判定する。

ステップＳ１２０７において、矛盾があると判定された場合（ステップＳ１２０７：Ｙｅｓ）には、文書認識装置８００は、矛盾しているものは高い確信度Ｃを有する文字矩形であるか否かを判定する（ステップＳ１２０７）。一方、ステップＳ１２０７において、矛盾がないと判定された場合（ステップＳ１２０７：Ｎｏ）には、文書認識装置８００は、ステップＳ１２０２へ復帰し、上記の処理を繰り返す。

ステップＳ１２０８において、矛盾しているものは高い確信度Ｃを有する文字矩形ではないと判定された場合（ステップＳ１２０８：Ｎｏ）には、文書認識装置８００は、矛盾している画素連結要素を行にあわせて分割する（ステップＳ１２０８）。たとえば、図７に示すように、投影軸Ｂについて、当該投影軸Ｂによって分断される文字矩形が確信度Ｃの低い文字矩形７０２である場合には、文字矩形７０２内の画素連結要素を行にあわせて分割する。

ステップＳ１２０８において、矛盾しているものは高い確信度Ｃを有する文字矩形であると判定された場合（ステップＳ１２０８：Ｙｅｓ）には、文書認識装置８００は、行の見直しをおこなう（ステップＳ１２０９）。たとえば、図７に示すように、投影軸Ａについて、当該投影軸Ａによって分断される文字矩形が確信度Ｃの高い文字矩形７０１である場合には、行を見直す。これによって、投影軸Ａは行間位置として不適であるとし、確信度Ｃの高い文字矩形を分断しない投影軸Ｂを行間位置とする。

ステップＳ１２０９において、行間を見直したのち、文書認識装置８００は、段内の行間隔が一定になったか否かを判定し（ステップＳ１２１０）、一定になったと判定された場合（ステップＳ１２１１：Ｙｅｓ）には、ステップＳ１２０２に復帰して上記の処理を繰り返す。また、Ｓ１２１１において、一定にならないと判定された場合（ステップＳ１２１１：Ｎｏ）には、行間隔・文字間隔が変化する位置で段を分割し（ステップＳ１２１１）、ステップＳ１２０２に復帰して上記の処理を繰り返す。

以上に説明したように、本文書認識プログラム、文書認識装置、文書認識方法によれば、入力画像の中から画素連結要素を抽出し、抽出された画素連結要素に基づいて、当該基準要素と、当該基準要素に近接する画素連結要素を組み合わせて構成される組み合わせ要素と、を推定対象要素として生成し、生成された推定対象要素の文字らしさを示す確信度を算出し、算出された確信度に基づいて、文字らしい要素を推定対象要素の中から決定することができる。これにより、推定対象要素のバリエーションを増加させることができ、文字らしい要素の認識精度を向上させることができる。

また、組み合わせ要素に近接する画素連結要素を組み合わせて構成される組み合わせ要素を推定対象要素としてあらたに生成することができる。これにより、推定対象要素のバリエーションをさらに増加させることができ、文字らしい要素の認識精度を向上させることができる。

そして、推定対象要素の右方向、下方向、または右下方向のうちいずれかの方向に近接する画素連結要素を組み合わせて組み合わせ要素を推定対象要素としてあらたに生成することができる。これにより、文字の構成に沿った方向で組み合わせ要素を順次生成することができ、文字の構成に沿った推定対象要素のバリエーションを増加させ、文字らしい要素の認識精度を向上させることができる。

さらに、推定対象要素を所定数まで生成することができる。これにより、１文字の構成は所定数の画素連結要素に相当するため、所定数より多い構成の推定対象要素を、認識対象から除外することで、処理時間を短縮することができる。

また、確信度が所定の閾値以上となる推定対象要素の中から文字らしい要素を決定することができる。これにより、文字認識の精度向上を図ることができる。

そして、推定対象要素の生成順に確信度を算出し、確信度が所定の閾値以上となる推定対象要素の中から、最後に生成された推定対象要素を、文字らしい要素として決定することができる。文字、特に漢字は、それ自体漢字にもなる部首などの組み合わせにより構成される。このため、１文字に相当する画素連結要素の上限である所定数以内において、もっとも画素連結要素の数が多くなる推定対象要素は、最後に生成された推定対象要素である。したがって、最後に生成された推定対象要素をそれ以前に生成された推定対象要素よりも優先して採用することで、文字認識の精度向上を図ることができる。

さらに、確信度が、所定の閾値以上となる推定対象要素がない場合、当該推定対象要素を複数の矩形領域に分割し、分割された矩形領域に基づいて、組み合わせ要素を推定対象要素として生成することができる。これにより、ノイズによる誤認識を防止することができる。

なお、本実施の形態で説明した文書認識方法は、あらかじめ用意されたプログラムをパーソナル・コンピュータやワークステーションなどのコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネットなどのネットワークを介して配布することが可能な媒体であってもよい。なお、上記実施の形態につき、以下に付記する。

（付記１）コンピュータを、
入力画像の中から画素連結要素を抽出する抽出手段、
前記抽出手段によって抽出された画素連結要素（以下、「基準要素」という）に基づいて、当該基準要素と、当該基準要素に近接する画素連結要素を組み合わせて構成される組み合わせ要素と、を推定対象要素として生成する生成手段、
前記生成手段によって生成された推定対象要素の文字らしさを示す確信度を算出する算出手段、
前記算出手段によって算出された確信度に基づいて、文字らしい要素を前記推定対象要素の中から決定する決定手段、
として機能させることを特徴とする文書認識プログラム。

（付記２）前記生成手段は、前記組み合わせ要素に近接する画素連結要素を組み合わせて構成される組み合わせ要素を前記推定対象要素としてあらたに生成することを特徴とする付記１に記載の文書認識プログラム。

（付記３）前記生成手段は、前記推定対象要素の右方向、下方向、または右下方向のうちいずれかの方向に近接する画素連結要素を組み合わせて前記組み合わせ要素を前記推定対象要素としてあらたに生成することを特徴とする付記１または２に記載の文書認識プログラム。

（付記４）前記生成手段は、前記推定対象要素を所定数まで生成することを特徴とする付記１〜３のいずれか一つに記載の文書認識プログラム。

（付記５）前記決定手段は、前記確信度が所定の閾値以上となる推定対象要素の中から前記文字らしい要素を決定することを特徴とする付記１〜４のいずれか一つに記載の文書認識プログラム。

（付記６）前記算出手段は、前記推定対象要素の生成順に前記確信度を算出し、
前記決定手段は、前記確信度が前記所定の閾値以上となる推定対象要素の中から、最後に生成された推定対象要素を、前記文字らしい要素として決定することを特徴とする付記５に記載の文書認識プログラム。

（付記７）前記コンピュータを、
前記確信度が、所定の閾値以上となる推定対象要素がない場合、当該推定対象要素を複数の矩形領域に分割する分割手段として機能させ、
前記生成手段は、前記分割手段によって分割された矩形領域に基づいて、前記組み合わせ要素を前記推定対象要素として生成することを特徴とする付記１〜３のいずれか一つに記載の文書認識プログラム。

（付記８）前記コンピュータを、
前記画素連結要素群により特定される行方向に、前記画素連結要素を投影することで得られる画素数に関するヒストグラムに基づいて、前記決定手段によって決定された文字らしい要素を包含するように、行ごとの画素連結要素群を抽出する行抽出手段として機能させることを特徴とする付記１〜６のいずれか一つに記載の文書認識プログラム。

（付記９）前記行抽出手段は、前記文字らしい要素の確信度の高さに基づいて、前記決定手段によって決定された文字らしい要素を包含するように、行ごとの画素連結要素群を抽出することを特徴とする付記８に記載の文書認識プログラム。

（付記１０）入力画像の中から画素連結要素を抽出する抽出手段と、
前記抽出手段によって抽出された画素連結要素（以下、「基準要素」という）に基づいて、当該基準要素と、当該基準要素に近接する画素連結要素を組み合わせて構成される組み合わせ要素と、を推定対象要素として生成する生成手段と、
前記生成手段によって生成された推定対象要素の文字らしさを示す確信度を算出する算出手段と、
前記算出手段によって算出された確信度に基づいて、文字らしい要素を前記推定対象要素の中から決定する決定手段と、
を備えることを特徴とする文書認識装置。

（付記１１）入力画像の中から画素連結要素を抽出する抽出工程と、
前記抽出工程によって抽出された画素連結要素（以下、「基準要素」という）に基づいて、当該基準要素と、当該基準要素に近接する画素連結要素を組み合わせて構成される組み合わせ要素と、を推定対象要素として生成する生成工程と、
前記生成工程によって生成された推定対象要素の文字らしさを示す確信度を算出する算出工程と、
前記算出工程によって算出された確信度に基づいて、文字らしい要素を前記推定対象要素の中から決定する決定工程と、
を含んだことを特徴とする文書認識方法。

従来技術と本実施の形態の文書認識装置とによる行抽出結果の対比を示す説明図（その１）である。 従来技術と本実施の形態の文書認識装置とによる行抽出結果の対比を示す説明図（その２）である。 本実施の形態にかかる文書認識装置の行抽出までの処理概要を示す説明図である。 本実施の形態にかかる文書認識装置による文字矩形推定処理の概要を示す説明図（その１）である。 本実施の形態にかかる文書認識装置による文字矩形推定処理の概要を示す説明図（その２）である。 確信度Ｃの算出方法を示す説明図である。 本実施の形態の文書認識装置による行抽出処理の概要を示す説明図である。 本実施の形態にかかる文書認識装置のハードウェア構成を示すブロック図である。 文書認識装置の機能的構成を示すブロック図である。 文書認識装置の文字矩形推定処理における処理手順を示すフローチャート（その１）である。 文書認識装置の文字矩形推定処理における処理手順を示すフローチャート（その２）である。 文書認識装置の段抽出処理における処理手順を示すフローチャートである。 文書認識装置の行抽出処理における処理手順を示すフローチャートである。

符号の説明

８００ 文書認識装置
９００ 画像認識装置
９１０ 画像入力部
９２０ 領域識別部
９２１ テキスト領域識別部
９２１ａ 画素連結要素抽出部
９２１ｂ 文字抽出部
９２１ｃ 文字認識部
９２１ｄ 段抽出部
９２１ｅ 行抽出部
９２２ 図領域識別部
９２３ 表領域識別部
９３０ 認識処理部
９４０ 結果出力部

Claims (5)

1. コンピュータを、
   入力画像の中から画素連結要素を抽出する抽出手段、
   前記抽出手段によって抽出された画素連結要素（以下、「基準要素」という）に基づいて、当該基準要素と、当該基準要素に近接する画素連結要素を組み合わせて構成される組み合わせ要素と、を推定対象要素として生成し、当該推定対象要素に対し、当該推定対象要素の右方向と下方向に近接する画素連結要素を組み合わせて、または、前記推定対象要素の下方向に近接する画素連結要素を組み合わせて、または、前記推定対象要素の右下方向に近接する画素連結要素を組み合わせて、前記推定対象要素をあらかじめ決めた所定数まであらたに生成する生成手段、
   前記生成手段によって生成された推定対象要素の文字らしさを示す確信度を算出する算出手段、
   前記算出手段によって算出された確信度が所定の閾値以上となる推定対象要素の中から最後に生成された推定対象要素を前記文字らしい要素に決定する決定手段、
   として機能させることを特徴とする文書認識プログラム。
2. 前記決定手段によって決定された前記文字らしい要素群の中から、高さが同等な前記文字らしい要素が行方向に連続するグループを行として抽出する行抽出手段として機能させることを特徴とする請求項１に記載の文書認識プログラム。
3. 前記決定手段によって決定された前記文字らしい要素群について、行方向のヒストグラムをとることにより、前記文字らしい要素群の中から、高さが同等な前記文字らしい要素が行方向に連続するグループを行として抽出する行抽出手段として機能させることを特徴とする請求項１に記載の文書認識プログラム。
4. 入力画像の中から画素連結要素を抽出する抽出手段と、
   前記抽出手段によって抽出された画素連結要素（以下、「基準要素」という）に基づいて、当該基準要素と、当該基準要素に近接する画素連結要素を組み合わせて構成される組み合わせ要素と、を推定対象要素として生成し、当該推定対象要素に対し、当該推定対象要素の右方向と下方向に近接する画素連結要素を組み合わせて、または、前記推定対象要素の下方向に近接する画素連結要素を組み合わせて、または、前記推定対象要素の右下方向に近接する画素連結要素を組み合わせて、前記推定対象要素をあらかじめ決めた所定数まであらたに生成する生成手段と、
   前記生成手段によって生成された推定対象要素の文字らしさを示す確信度を算出する算出手段と、
   前記算出手段によって算出された確信度が所定の閾値以上となる推定対象要素の中から最後に生成された推定対象要素を前記文字らしい要素に決定する決定手段と、
   を備えることを特徴とする文書認識装置。
5. 入力画像の中から画素連結要素を抽出する抽出工程と、
   前記抽出工程によって抽出された画素連結要素（以下、「基準要素」という）に基づいて、当該基準要素と、当該基準要素に近接する画素連結要素を組み合わせて構成される組み合わせ要素と、を推定対象要素として生成し、当該推定対象要素に対し、当該推定対象要素の右方向と下方向に近接する画素連結要素を組み合わせて、または、前記推定対象要素の下方向に近接する画素連結要素を組み合わせて、または、前記推定対象要素の右下方向に近接する画素連結要素を組み合わせて、前記推定対象要素をあらかじめ決めた所定数まであらたに生成する生成工程と、
   前記生成工程によって生成された推定対象要素の文字らしさを示す確信度を算出する算出工程と、
   前記算出工程によって算出された確信度が所定の閾値以上となる推定対象要素の中から最後に生成された推定対象要素を前記文字らしい要素に決定する決定工程と、
   を含んだことを特徴とする文書認識方法。

Images