JP5454466B2 - 文字検出装置、文字検出方法、およびコンピュータプログラム - Google Patents

Description

本発明は、透過画像を含む画像に対して画像処理を行う装置および方法などに関する。

近年、コピー、ＰＣプリント、スキャン、ファックス、およびファイルサーバなどの様々な機能を備えた画像形成装置が普及している。このような画像形成装置は、「複合機」または「ＭＦＰ（Multi Function Peripherals）」などと呼ばれる。

ＰＣプリントは、パーソナルコンピュータから画像データを受信し画像を用紙に印刷する機能である。

また、近年、パーソナルコンピュータで描画を行うためのアプリケーションが流通している。このようなアプリケーションは、「描画ソフト」と呼ばれている。描画ソフトの中には、透過画像をディスプレイに表示する機能が備わっているものがある。

「透過画像」は、後ろに他のオブジェクトの画像があっても当該他のオブジェクトの画像が透けて表れる性質を有する。

つまり、例えば、図４（Ａ）に示すように、背後画像４０ｂの左半分の上に透過画像４０ａを重ねる。すると、図４（Ｂ）に示すように、背後画像４０ｂの、透過画像４０ａと重なる部分は、透けて見える。しかし、背後画像４０ｂの右半分の上に透過画像でない非透過画像４０ｃを重ねても、透けて見えない。透過画像の透過率が高いほど、それが重ねられた背後の画像は、よく透けて見える。

画像形成装置は、パーソナルコンピュータに表示されている透過画像を用紙に印刷することができる。印刷されるまでに透過画像は、透過率の高さに応じて、図５（Ｂ）および図５（Ｃ）に示すように、画素の間引きの処理が施される。そして、間引かれた画素の位置に、透過画像の背後の画像が印刷される。これにより、背後の画像が透けて表れているように見える。

また、画像の中の文字または数字などの字を検出する技術が、実用化されている。さらに、字を精度よく検出する方法が提案されている。例えば、次のような方法が提案されている。

デジタル画像を複数のブロックに分割し、ブロックに含まれる複数の画素の画素値に関するコントラスト量を求め、ブロックに含まれる複数の画素の画素値のヒストグラムに関する画素値二峰性評価値を求め、複数の上記コントラスト量に基づくコントラスト閾値を求め、複数の上記画素値二峰性評価値に基づく二峰性閾値を求め、上記ブロックをテキストブロックまたは非テキストブロックとして分類する。上記分類においては、上記コントラスト量および上記画素値二峰性評価値が、上記コントラスト閾値および上記二峰性閾値に基づいた第１基準を満たしている上記ブロックを、テキストブロックとして分類し、上記第１基準を満たしていない上記ブロックを、非テキストブロックとして分類する（特許文献１）。

特開２０１０−８１６０４号公報

しかし、特許文献１に記載されるような従来の方法では、透過画像が重ねられた字を上手く検出することは、できない。透過画像を重ねられた部分の全面がテキストの領域であると、判定されるからである。

本発明は、このような問題点に鑑み、透過画像が重ねられた字を従来よりも精度よく検出することを、目的とする。

本発明の一形態に係る文字検出装置は、文字を表わす第一の画像と半透明のオブジェクトを表わす第二の画像と含む画像から前記文字を検出する文字検出装置であって、前記第一の画像に前記第二の画像が重なっている領域である重畳領域を複数に分割したブロックごとに、画素の属性の階調ごとの出現の度数を算出する、度数分布算出手段と、前記度数のうちの、前記階調のうちの第一の階調における度数である第一の度数、前記階調のうちの第二の階調における度数である第二の度数、および前記階調のうちの第三の階調における度数である第三の度数がピークであり、かつ、前記各ブロックにおける前記第三の度数同士の差が、前記各ブロックにおける前記第一の度数同士の差および前記各ブロックにおける前記第二の度数同士の差よりも大きい場合に、前記重畳領域の画素のうちの前記第三の階調の画素の階調を前記第一の階調に変更することによって第一の置換画像を生成し、前記重畳領域の画素のうちの前記第三の階調の画素の階調を前記第二の階調に変更することによって第二の置換画像を生成する、置換画像生成手段と、前記第一の置換画像の前記第二の階調の画素をクロージングする第一のクロージング処理手段と、前記第二の置換画像の前記第一の階調の画素をクロージングする第二のクロージング処理手段と、前記重畳領域の画素のうちの、クロージング後の前記第一の置換画像の前記第一の階調の画素と同じ位置またはクロージング後の前記第二の置換画像の前記第二の階調の画素と同じ位置にある画素の集合を、前記文字として検出する、文字検出手段と、を有する。

前記第二の画像がカラー画像である場合は、前記属性は、例えば、色の明るさである。または、前記第一の画像および前記第二の画像がモノクロ画像である場合は、前記属性は、例えば、濃度である。

本発明によると、透過画像が重ねられた字を従来よりも精度よく検出することができる。

画像形成装置を含むネットワークシステムの例を示す図である。 画像形成装置のハードウェア構成の例を示す図である。 画像処理回路の構成の例を示す図である。 背後画像への透過画像および非透過画像の重ね合わせの例を説明するための図である。 透過画像の特性の例を説明するための図である。 背後画像への透過画像の重ね合わせの例を説明するための図である。 背後画像に透過画像を重ね合せた際の透過画像重畳領域と透過画像非重畳領域との位置関係の例を示す図である。 透過画像重畳領域を構成する画素の例を示す図である。 各明度の画素の個数の分布の例を示すヒストグラムである。 文字画素判別部の構成の例を示す図である。 第一の画素置換部、第一のクロージング処理部、および第一の文字画素判別部の処理の例を説明するための図である。 第二の画素置換部、第二のクロージング処理部、および第二の文字画素判別部の処理の例を説明するための図である。 論理和演算部の処理の例を説明するための図である。

図１は、画像形成装置１を含むネットワークシステムの例を示す図である。図２は、画像形成装置１のハードウェア構成の例を示す図である。

図１に示す画像形成装置１は、一般に複合機またはＭＦＰ（Multi Function Peripherals）などと呼ばれる装置であって、コピー、ネットワークプリンティング（ＰＣプリント）、ファックス、およびスキャナなどの機能を集約した装置である。

画像形成装置１は、ＬＡＮ（Local Area Network）、公衆回線、またはインターネットなどの通信回線４Ｔを介してパーソナルコンピュータ４Ａなどの装置と画像データのやり取りを行うこととができる。

画像形成装置１は、図２に示すように、ＣＰＵ（Central Processing Unit）１０ａ、ＲＡＭ（Random Access Memory）１０ｂ、ＲＯＭ（Read Only Memory）１０ｃ、大容量記憶装置１０ｄ、スキャナ１０ｅ、印刷装置１０ｆ、ネットワークインタフェース１０ｇ、タッチパネルディスプレイ１０ｈ、モデム１０ｉ、および画像処理回路１０ｊなどによって構成される。

スキャナ１０ｅは、原稿の用紙に記されている写真、文字、絵、図表などの画像を読み取って画像データを生成する装置である。

タッチパネルディスプレイ１０ｈは、ユーザに対してメッセージまたは指示を与えるための画面、ユーザが処理の指令および条件を入力するための画面、およびＣＰＵ１０ａの処理の結果を示す画面などを表示する。また、ユーザが指で触れた位置を検知し、検知結果を示す信号をＣＰＵ１０ａに送信する。

ネットワークインタフェース１０ｇは、通信回線４Ｔを介してパーソナルコンピュータ４Ａなどの他の装置と通信を行うためのＮＩＣ（Network Interface Card）である。

モデム１０ｉは、固定電話網を介して他のファックス端末との間でＧ３などのプロトコルで画像データをやり取りするための装置である。

画像処理回路１０ｊは、パーソナルコンピュータ４Ａから送信されてきた画像データに基づいて、印刷の対象の画像に対して画像処理を施す。画像処理回路１０ｊの各部は、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field Programmable Gate Array）などの回路によって実現される。画像処理回路１０ｊの各部の処理については、後述する。

印刷装置１０ｆは、スキャナ１０ｅによって読み取られた画像または画像処理回路１０ｊによって画像処理が施された画像などを用紙に印刷する。

ＲＯＭ１０ｃおよび大容量記憶装置１０ｄには、ＯＳ（Operating System）のほかファームウェアおよびアプリケーションなどのプログラムが記憶されている。これらのプログラムは、必要に応じてＲＡＭ１０ｂにロードされ、ＣＰＵ１０ａによって実行される。大容量記憶装置１０ｄとして、ハードディスクまたはフラッシュメモリなどが用いられる。

次に、画像処理回路１０ｊの構成および画像処理回路１０ｊによる画像処理について、説明する。

図３は、画像処理回路１０ｊの構成の例を示す図である。図４は、背後画像４０ｂへの透過画像４０ａおよび非透過画像４０ｃの重ね合わせの例を説明するための図である。図５は、透過画像の特性の例を説明するための図である。図６は、背後画像４１ｂへの透過画像４１ａの重ね合わせの例を説明するための図である。図７は、背後画像５０ｂに透過画像５０ａを重ね合せた際の透過画像重畳領域５０Ｋと透過画像非重畳領域５０Ｌとの位置関係の例を示す図である。図８は、透過画像重畳領域５０Ｋを構成する画素の例を示す図である。図９は、各明度の画素の個数の分布の例を示すヒストグラムである。図１０は、文字画素判別部１０４の構成の例を示す図である。図１１は、第一の画素置換部３０３、第一のクロージング処理部３０４、および第一の文字画素判別部３０５の処理の例を説明するための図である。図１２は、第二の画素置換部３０６、第二のクロージング処理部３０７、および第二の文字画素判別部３０８の処理の例を説明するための図である。図１３は、論理和演算部３０９の処理の例を説明するための図である。

画像処理回路１０ｊは、図３に示すように、透過画像重畳領域抽出部１０１、ブロック分割部１０２、ヒストグラム算出部１０３、文字画素判別部１０４、および透過画像重畳領域補正部１０５などによって構成される。画像処理回路１０ｊは、印刷の対象の画像に対して画像処理を施す。画像処理は、具体的には、印刷の対象の画像を表す画像データ７０を編集する情報処理である。

本実施形態では、画像データ７０として、透過画像が他の画像に重なった様子を表す画像データが用いられる。

一般に、「透過画像」は、後ろに他のオブジェクトの画像があっても当該他のオブジェクトの画像が透けて表れる性質を有する画像である。つまり、透過画像はガラスおよびセロハンなどのような半透明のオブジェクトを表わしていると、言える。

例えば、図４（Ａ）に示すように、背後画像４０ｂの左半分の上に透過画像４０ａを重ね、背後画像４０ｂの右半分の上に非透過画像４０ｃを重ねる。すると、図４（Ｂ）に示すように、背後画像４０ｂの、透過画像４０ａと重なる部分は、透けて見える。しかし、背後画像４０ｂの、非透過画像４０ｃと重なる部分は、全く表れない。

透過画像の透過率が高いほど、その透過画像が上に重ねられた他の画像（つまり、背後画像）は、よく透けて見える。

また、一般に、透過画像は、パーソナルコンピュータ４Ａなどで表示されるときには図５（Ａ）に示すようにすべての画素が一定の濃度を有していても、印刷時には、図５（Ｂ）または図５（Ｃ）に示すように一定の濃度を有する画素と有しない画素とによって構成されるように変換される。

なお、図５（Ｂ）および図５（Ｃ）において、ハッチングした画素が、一定の濃度を有する画素である。一方、ハッチングしていない画素が、一定の濃度を有しない画素である。図６、図８、図１１（Ａ）〜（Ｃ）、および図１２（Ａ）〜（Ｃ）においても、同様である。以下、一定の濃度を有する画素を「濃度有画素」と記載し、一定の濃度を有しない画素を「濃度無画素」と記載する。また、「濃度」は、透過画像がカラー画像である場合は各色（例えば、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅそれぞれ）の階調であり、透過画像がモノクロ画像である場合はグレースケールである。

濃度有画素は、決められた濃度で印刷される。一方、濃度無画素は、後ろに他の画像がなければ印刷されないが、他の画像があれば、当該他の画像の中の、この濃度無画素と同じ位置にある画素が印刷される。

よって、例えば図６に示すように透過画像４１ａの一部分が背後画像４１ｂの一部分の上に重なっている場合は、透過画像４１ａの濃度無画素の位置に背後画像４１ｂの対応する画素を配置して印刷することによって、背後画像４１ｂが透過画像４１ａに透けているかのように、両画像が印刷される。

また、透過画像の透過率が高いほど、濃度有画素が出現する頻度が低い。したがって、図５（Ｂ）に示す透過画像のほうが図５（Ｃ）に示す透過画像よりも透過率が高い。

図５（Ｂ）に示す濃度有画素の上下左右には、濃度無画素が存在する。一方、図５（Ｃ）に示す濃度無画素の上下左右には、濃度有画素が存在する。

以下、他方のタイプの画素が上下左右に存在する画素を「孤立点」と記載する。したがって、図５（Ｂ）においては、濃度有画素が孤立点画素であり、図５（Ｃ）においては、濃度無画素が孤立点画素である。

本実施形態では、画像データ７０として、オリジナル画像５０を表す画像データを取り扱う場合を例に、画像処理回路１０ｊによる画像処理を説明する。

オリジナル画像５０は、図７（Ａ）に示すように、背後画像５０ｂの上に透過画像５０ａを重ねたものである。ユーザは、オリジナル画像５０を、パーソナルコンピュータ４Ａにインストールされている描画ソフトなどのアプリケーションを用いて作成する。これにより、オリジナル画像５０を再現するためのデータが画像データ７０として生成される。

なお、透過画像５０ａは、背後画像５０ｂよりも小さい。よって、オリジナル画像５０には、図７（Ｂ）に示すように、背後画像５０ｂと透過画像５０ａとが重なっている領域と背後画像５０ｂのみの領域とがある。以下、前者を「透過画像重畳領域５０Ｋ」と記載し、後者を「透過画像非重畳領域５０Ｌ」と記載する。また、背後画像５０ｂの、透過画像５０ａが重なった部分には、「Ａ」という文字が記されている。この文字の色は、特定の１つの色（例えば、青色）である。また、この文字の背景の色は、別の特定の１つの色（例えば、黄色）である。

パーソナルコンピュータ４Ａは、印刷の指令とともに画像データ７０を画像形成装置１へ送信する。

画像形成装置１において、印刷の指令および画像データ７０が受信されると、画像処理回路１０ｊの各部は、次のような処理を実行する。

透過画像重畳領域抽出部１０１は、オリジナル画像５０の中から透過画像重畳領域５０Ｋを判別し、抽出する。

具体的には、透過画像重畳領域抽出部１０１は、透過画像の上述の特性に基づいて、透過画像重畳領域５０Ｋを、例えば次のように判別し検出する。

透過画像重畳領域抽出部１０１は、オリジナル画像５０の中から孤立点を次のように検出する。ある１つの画素に注目する。以下、この画素を「注目画素」と記載する。注目画素の濃度（階調）と、注目画素の上下左右に隣接する他の画素（以下、「隣接画素」と記載する。）それぞれの濃度とを比較する。

注目画素の濃度と当該他の画素それぞれの濃度との差がすべて所定の値β以上であるという要件を満たす場合は、透過画像重畳領域抽出部１０１は、注目画素を孤立点として検出する。

なお、オリジナル画像５０がカラー画像である場合は、透過画像重畳領域抽出部１０１は、この比較を各色それぞれについて独立して行う。そして、いずれか１つでも要件を満たす場合は、注目画素を孤立点として検出する。以下、オリジナル画像５０がカラー画像である場合における要件の具備の判断において、同様である。

図５（Ｂ）および図５（Ｃ）に示したように、透過画像の孤立点の出現には、一定の周期性（規則性）がある。そこで、透過画像重畳領域抽出部１０１は、検出した孤立点のうちの、出現の仕方に周期性がある複数の孤立点を抽出する。

そして、透過画像重畳領域抽出部１０１は、抽出した複数の孤立点の分布を表す画像（以下、「分布画像」と記載する。）に対してクロージングの処理を行う。つまり、各孤立点の位置にあるドットを拡張（膨張）させ縮小（収縮）させる処理を行う。クロージングの処理がなされた分布画像の位置および形状が、透過画像重畳領域５０Ｋの位置および形状にほぼ対応する。

透過画像重畳領域抽出部１０１は、このようにして透過画像重畳領域５０Ｋの位置および形状を特定し、オリジナル画像５０から透過画像重畳領域５０Ｋを抽出する。

なお、透過画像の透過率が５０％前後である場合は、濃度有画素が孤立点として検出されるとともに、濃度無画素の位置に表れている背後画像の画素も孤立点として検出される。つまり、領域の中のほとんどの画素が孤立点として検出される。各濃度有画素の濃度は一定であるが、各濃度無画素の位置に表れている背後画像の画素は、一定でない。そこで、領域の中のほとんどの画素が孤立点として検出された場合は、透過画像重畳領域抽出部１０１は、一定の濃度を有する孤立点だけを選出し、選出した孤立点の分布を表す画像を分布画像としてクロージングを行えばよい。

ブロック分割部１０２は、透過画像重畳領域抽出部１０１によって抽出された透過画像重畳領域５０Ｋを所定の個数のブロック５１に分割する。本実施形態では、図８（Ａ）に示す透過画像重畳領域５０Ｋを、図８（Ｂ）に示すように、４×４個のブロック５１Ａ〜５１Ｐに分割する。ブロック５１Ａ〜５１Ｐのサイズはすべて等しいものとする。

なお、図８（Ａ）および図８（Ｂ）において、ハッチングした画素は、透過画像５０ａの濃度有画素である。黒色の画素およびグレー色の画素は、ともに、透過画像５０ａの濃度無画素の位置に表れた、背後画像５０ｂの画素であるが、黒色の画素は「Ａ」の文字の画素であり、グレー色の画素は文字の背景の画素である。

ヒストグラム算出部１０３は、ブロック５１Ａ〜５１Ｐそれぞれの、各明度の画素の個数を度数とする度数分布を算出する。算出された各度数分布は、図９に示すように、ヒストグラムとして表すことができる。

図９（Ａ）、図９（Ｂ）、および図９（Ｃ）に示すヒストグラムは、それぞれ、ブロック５１Ａ、ブロック５１Ｂ、およびブロック５１Ｃの度数分布を表すヒストグラムである。

これらの３つのヒストグラムには、２つまたは３つのピークが表れている。各ピークは、透過画像５０ａの濃度有画素と明度が同じである画素の個数の分布、背後画像５０ｂの文字と明度が同じである画素の個数の分布、および背後画像５０ｂの文字の背景と明度が同じである画素の個数の分布のうちのいずれか１つに対応している。

文字画素判別部１０４は、図１０に示すように、２４個の比較演算部、画素種別明度判別部３０２、第一の画素置換部３０３、第一のクロージング処理部３０４、第一の文字画素判別部３０５、第二の画素置換部３０６、第二のクロージング処理部３０７、第二の文字画素判別部３０８、および論理和演算部３０９などによって構成される。このような構成により、文字画素判別部１０４は、ヒストグラム算出部１０３によって算出された各ブロック５１の度数分布に基づいて、透過画像重畳領域５０Ｋの中から文字の画素を次のように判別する。以下、２４個の比較演算部の１つ１つを「第一の比較演算部２０１」、「第二の比較演算部２０２」、…、「第二十四の比較演算部２２４」と区別して記載することがある。

透過画像重畳領域５０Ｋには、上下または前後に隣り合う２つのブロック５１の組合せが、２４通りある。文字画素判別部１０４には、これらの組合せごとに、比較演算部が設けられている。そして、比較演算部は、ヒストグラム算出部１０３によって算出された、ブロック５１それぞれの度数分布を比較する。

例えば、第一の比較演算部２０１は、ブロック５１Ａの度数分布とブロック５１Ｂの度数分布とを比較する。第二の比較演算部２０２は、ブロック５１Ｂの度数分布とブロック５１Ｃの度数分布とを比較する。第三の比較演算部２０３は、ブロック５１Ｃの度数分布とブロック５１Ｄの度数分布とを比較する。

比較演算部は、ブロック５１それぞれの度数分布を次のように比較する。図９で説明した通り、ブロック５１の度数分布には、２つまたは３つのピークがある。比較演算部は、２つのブロック５１の、明度が同じであるピーク同士を比較する。

例えば、第一の比較演算部２０１は、ブロック５１Ａの第一の明度Ｂｒ１の度数とブロック５１Ｂの第一の明度Ｂｒ１の度数とを比較する。ブロック５１Ａの第二の明度Ｂｒ２の度数とブロック５１Ｂの第二の明度Ｂｒ２の度数とを比較する。さらに、ブロック５１Ａの第三の明度Ｂｒ３の度数とブロック５１Ｂの第三の明度Ｂｒ３の度数とを比較する。

同様に、第二の比較演算部２０２は、ブロック５１Ｂの第一の明度Ｂｒ１の度数とブロック５１Ｃの第一の明度Ｂｒ１の度数とを比較する。ブロック５１Ｂの第二の明度Ｂｒ２の度数とブロック５１Ｃの第二の明度Ｂｒ２の度数とを比較する。さらに、ブロック５１Ｂの第三の明度Ｂｒ３の度数とブロック５１Ｃの第三の明度Ｂｒ３の度数とを比較する。

そして、比較演算部は、画素種別明度判別部３０２へ、２つの度数の差が所定の値α未満である明度を一定明度として通知するとともに、２つの度数の差が所定の値α以上である明度を不定明度として通知する。

例えば、ブロック５１Ａの度数分布は、図９（Ａ）のヒストグラムの通りであり、ブロック５１Ｂの度数分布は、図９（Ｂ）のヒストグラムの通りである。両者を比較すると、両ブロック５１の明度Ｂｒ３の画素の度数は等しいが、明度Ｂｒ１の画素の度数は相違し、明度Ｂｒ２の画素の度数も相違する。

よって、第一の比較演算部２０１は、明度Ｂｒ３を一定明度として画素種別明度判別部３０２へ通知する。さらに、明度Ｂｒ１および明度Ｂｒ２を、所定の値αに応じて、一定明度または不定明度として画素種別明度判別部３０２へ通知する。例えば、所定の値αが「１」であれば、２つの度数が少しでも違えば差が「１」以上になるので、不定明度に決まる。したがって、明度Ｂｒ１および明度Ｂｒ２を不定明度として通知する。

画素種別明度判別部３０２には、２４個の比較演算部から、合計、約２４個の一定明度と約４８個の不定明度とが通知される。

前述の通り、透過画像５０ａの濃度有画素の色はすべて同じであり、背後画像５０ｂの文字の画素の色はすべて同じであり、背後画像５０ｂの文字の背景の画素の色はすべて同じである。したがって、これらの一定明度および不定明度は、第一の明度Ｂｒ１、第二の明度Ｂｒ２、および第三の明度Ｂｒ３のうちのいずれかと一致する。

画素種別明度判別部３０２は、通知された約２４個の一定明度を、値ごとに分類する。本例では、第一の明度Ｂｒ１、第二の明度Ｂｒ２、および第三の明度Ｂｒ３のいずれかに分類することができる。そして、最も多く分類された一定明度を、透過画像５０ａの濃度有画素の明度であると、判別する。その結果、本例では、第三の明度Ｂｒ３に分類される一定明度が最も多く、第三の明度Ｂｒ３が透過画像５０ａの濃度有画素の明度であると判別されるはずである。透過画像５０ａの濃度有画素の明度の分布は、すべてのブロック５１において、ほぼ一定だからである。以下、透過画像５０ａの濃度有画素の明度であると判別された明度（一定明度）を「濃度有画素明度Ｂｎ」と記載する。

さらに、画素種別明度判別部３０２は、通知された約４８個の不定明度も同様に、値ごとに分類する。本例では、第一の明度Ｂｒ１、第二の明度Ｂｒ２、および第三の明度Ｂｒ３のいずれかに分類されるはずである。そして、分類された不定明度のうちの、透過画像５０ａの濃度有画素の明度でないものを、背後画像５０ｂの画素の明度であると、判別する。本例では、先に第三の明度Ｂｒ３を透過画像５０ａの濃度有画素の明度であると判別しているので、第一の明度Ｂｒ１および第二の明度Ｂｒ２を背後画像５０ｂの画素の明度であると、判別する。以下、背後画像５０ｂの画素の明度であると判別された２つの明度（不定明度）をそれぞれ「第一の背後画像明度Ｂｈ１」、「第二の背後画像明度Ｂｈ２」と記載する。以下、第一の明度Ｂｒ１が第一の背後画像明度Ｂｈ１であり、第二の明度Ｂｒ２が第二の背後画像明度Ｂｈ２である場合を例に、説明する。

そして、画素種別明度判別部３０２は、第一の画素置換部３０３および第二の画素置換部３０６へ、濃度有画素明度Ｂｎ、第一の背後画像明度Ｂｈ１、および第二の背後画像明度Ｂｈ２を通知する。

第一の画素置換部３０３、第一のクロージング処理部３０４、および第一の文字画素判別部３０５は、画像データ７０、濃度有画素明度Ｂｎ、第一の背後画像明度Ｂｈ１、および第二の背後画像明度Ｂｈ２に基づいて処理を行う。ここで、この処理の手順を、図１１を参照しながら説明する。

第一の画素置換部３０３は、オリジナル画像５０の中から、透過画像重畳領域５０Ｋに属しかつ明度が濃度有画素明度Ｂｎである画素を検索する。これにより、図１１（Ａ）においてハッチングで示す画素が見つかる。そして、第一の画素置換部３０３は、濃度有画素明度Ｂｎである画素を、図１１（Ｂ）に示すように、明度が第一の背後画像明度Ｂｈ１である画素（グレー色で示す画素）に置換する。以下、第一の画素置換部３０３によって置換の処理がなされた透過画像重畳領域５０Ｋの画像を「置換処理画像５２Ａ」と記載する。

第一のクロージング処理部３０４は、第二の背後画像明度Ｂｈ２の画素（黒色で示す画素）を膨張させ収縮させることによって、置換処理画像５２Ａに対してクロージングの処理を行う。これにより、図１１（Ｃ）に示すような結果が得られる。以下、第一のクロージング処理部３０４によってクロージングの処理がなされた置換処理画像５２Ａを「クロージング処理画像５２Ｂ」と記載する。

クロージング処理画像５２Ｂを構成する画素の明度は、第一の背後画像明度Ｂｈ１および第二の背後画像明度Ｂｈ２のうちのいずれかである。

第一の文字画素判別部３０５は、第一の背後画像明度Ｂｈ１の画素および第二の背後画像明度Ｂｈ２の画素のうちの個数が多い方を画素を、文字の画素であると、判別する。そして、それらの画素が「１」になり、それ以外の画素が「０」になるように、クロージング処理画像５２Ｂを二値化する。これにより、図１１（Ｄ）に示すような結果が得られる。なお、図１１（Ｄ）において、黒点を付した画素の値が「１」であり、付していない画素の値が「０」である。後に示す図１２（Ｄ）および図１３においても、同様である。
以下、第一の文字画素判別部３０５によって二値化されたクロージング処理画像５２Ｂを「第一の二値画像５２Ｃ」と記載する。

第二の画素置換部３０６、第二のクロージング処理部３０７、および第二の文字画素判別部３０８も、第一の画素置換部３０３、第一のクロージング処理部３０４、および第一の文字画素判別部３０５と同様に、画像データ７０、濃度有画素明度Ｂｎ、第一の背後画像明度Ｂｈ１、および第二の背後画像明度Ｂｈ２に基づいて処理を行う。ただし、第一の背後画像明度Ｂｈ１および第二の背後画像明度Ｂｈ２の使い方が、異なる。

以下、第二の画素置換部３０６、第二のクロージング処理部３０７、および第二の文字画素判別部３０８の処理を、図１２を参照しながら説明する。

第二の画素置換部３０６は、オリジナル画像５０の中から、透過画像重畳領域５０Ｋに属しかつ明度が濃度有画素明度Ｂｎである画素を検索し、図１２（Ｂ）に示すように、それらの画素を、明度が第二の背後画像明度Ｂｈ２である画素（黒色で示す画素）に置換する。以下、第二の画素置換部３０６によって置換の処理がなされた透過画像重畳領域５０Ｋの画像を「置換処理画像５３Ａ」と記載する。

第二のクロージング処理部３０７は、第一の背後画像明度Ｂｈ１の画素（グレー色で示す画素）を膨張させ収縮させることによって、置換処理画像５３Ａに対してクロージングの処理を行う。これにより、図１２（Ｃ）に示すような結果が得られる。以下、第二のクロージング処理部３０７によってクロージングの処理がなされた置換処理画像５３Ａを「クロージング処理画像５３Ｂ」と記載する。

置換処理画像５３Ａを構成する画素の明度も、クロージング処理画像５２Ｂを構成する画素の明度と同様に、第一の背後画像明度Ｂｈ１および第二の背後画像明度Ｂｈ２のうちのいずれかである。

第二の文字画素判別部３０８は、第一の背後画像明度Ｂｈ１の画素および第二の背後画像明度Ｂｈ２の画素のうちの個数が多い方を画素を、文字の画素であると、判別する。そして、それらの画素が「１」になり、それ以外の画素が「０」になるように、クロージング処理画像５３Ｂを二値化する。これにより、図１２（Ｄ）に示すような結果が得られる。以下、第二の文字画素判別部３０８によって二値化されたクロージング処理画像５３Ｂを「第二の二値画像５３Ｃ」と記載する。

論理和演算部３０９は、図１３に示すように、同じ位置にある、第一の二値画像５２Ｃの画素の値および第二の二値画像５３Ｃの画素の値同士の論理和を算出する。二値画像５４は、各位置の論理和を表している。

二値画像５４の中の値が「１」である画素が、透過画像重畳領域５０Ｋの中の文字の画素に対応する。

以上のようにして、文字画素判別部１０４の各部による処理によって、透過画像重畳領域５０Ｋの中の文字の画素が判別される。

図３に戻って、透過画像重畳領域補正部１０５は、文字画素判別部１０４による判別結果などに基づいて、オリジナル画像５０の中の透過画像重畳領域５０Ｋの補正を行う。例えば、文字の画素であると判別された画素群に対して、エッジ強調処理を行い、残りの部分に対して、ぼかしの処理を行う。以下、透過画像重畳領域補正部１０５によって処理がなされたオリジナル画像５０を「補正画像６０」と記載する。

その後、印刷装置１０ｆは、補正画像６０を用紙に印刷する。または、ネットワークインタフェース１０ｇは、補正画像６０の画像データをパーソナルコンピュータ４Ａなどに送信する。

本実施形態によると、透過画像が重ねられた字を従来よりも精度よく検出することができる。

本実施形態では、透過画像重畳領域５０Ｋを、濃度有画素である孤立点の位置の規則性に基づいて検出したが、画像データ７０に透過画像５０ａの位置を示すデータが予め含まれている場合は、このデータに基づいて検出すればよい。

本実施形態では、透過画像重畳領域５０Ｋを１６個のブロック５１に分割したが、１６個未満のブロック５１に分割してもよいし、１７個以上のブロック５１に分割してもよい。

本実施形態では、上下左右に隣り合うブロック５１の度数分布同士を比較したが、他の組合せであってもよい。例えば、さらに、斜めの方向に並ぶブロック５１の度数分布同士を比較してもよい。または、上下に隣り合うブロック５１の度数分布同士のみを比較してもよいし、左右に隣り合うブロック５１の度数分布同士のみを比較してもよい。

本実施形態では、透過画像重畳領域５０Ｋを複数のブロック５１に等分したが、サイズの異なる複数のブロック５１に分割してもよい。ただし、その場合は、図３のヒストグラム算出部１０３は、各明度の画素の度数として、個数の代わりに、ブロック５１全体に対して占める割合を算出するのが、望ましい。

本実施形態では、図１１〜図１３で説明した通り、クロージングの処理および論理和の演算によって、文字を構成する画素を判別した。

上述の通り、３つのピークの明度のうち、透過画像５０ａの濃度有画素の明度を最初に特定することができる。図９の例では、第三の明度Ｂｒ３が、透過画像５０ａの濃度有画素の明度である。

よって、残りの２つのピークの明度（第一の明度Ｂｒ１、第二の明度Ｂｒ２）のうちの、一方が文字を構成する画素であり、もう一方が文字の背景を構成する画素である。

両明度のうちのどちらがどちらのオブジェクトのものであるのかを、図１１〜図１３で説明した方法以外の方法によって、判別してもよい。

例えば、ブロック５１Ａ〜５１Ｐの第一の明度Ｂｒ１の度数の合計を算出し、ブロック５１Ａ〜５１Ｐの第二の明度Ｂｒ２の度数の合計を算出する。そして、合計が少ない方の明度を文字の明度であると判別し、合計が多い方の明度を文字の背景の明度であると判別してもよい。

この方法によると、図９の例では、第二の明度Ｂｒ２が文字の明度であると判別され、第一の明度Ｂｒ１が文字の背景の明度であると判別される。

本実施形態では、透過画像重畳領域５０Ｋからの文字の検出を主に画像処理回路１０ｊによって行ったが、コンピュータプログラムをＣＰＵ１０ａに実行させることによって行うこともできる。この場合は、図３に示す透過画像重畳領域抽出部１０１ないし透過画像重畳領域補正部１０５の処理の手順をメインルーチンとするプログラムモジュールと図１０に示す第一の比較演算部２０１ないし論理和演算部３０９の処理の手順をサブルーチンとするプログラムモジュールとを有するコンピュータプログラムを、用意すればよい。そして、このコンピュータプログラムをＲＯＭ１０ｃまたは大容量記憶装置１０ｄに記憶させておき、ＣＰＵ１０ａに実行させればよい。

本実施形態では、ヒストグラム算出部１０３は、明度の度数分布を算出したが、他の属性の度数分布を算出してもよい。例えば、明度の代わりに、色相または彩度を用いてもよい。オリジナル画像５０がモノクロ画像である場合は、濃度の度数分布を算出してもよい。

その他、画像形成装置１全体または各部の構成、処理内容、処理順序、データの構成などは、本発明の趣旨に沿って適宜変更することができる。

１ 画像形成装置
１０ｊ 画像処理回路（文字検出装置）
１０３ ヒストグラム算出部（度数分布算出手段）
１０４ 文字画素判別部（文字検出手段）
３０３ 第一の画素置換部（置換画像生成手段）
３０４ 第一のクロージング処理部（第一のクロージング処理手段）
３０６ 第二の画素置換部（置換画像生成手段）
３０７ 第二のクロージング処理部（第二のクロージング処理手段）
３０９ 論理和演算部（文字検出手段）
５０ａ 透過画像（第二の画像）
５０ｂ 背後画像（第一の画像）
５０Ｋ 透過画像重畳領域（重畳領域）
５１ ブロック（ブロック）

Claims (5)

1. 文字を表わす第一の画像と半透明のオブジェクトを表わす第二の画像と含む画像から前記文字を検出する文字検出装置であって、
   前記第一の画像に前記第二の画像が重なっている領域である重畳領域を複数に分割したブロックごとに、画素の属性の階調ごとの出現の度数を算出する、度数分布算出手段と、
   前記度数のうちの、前記階調のうちの第一の階調における度数である第一の度数、前記階調のうちの第二の階調における度数である第二の度数、および前記階調のうちの第三の階調における度数である第三の度数がピークであり、かつ、前記各ブロックにおける前記第三の度数同士の差が、前記各ブロックにおける前記第一の度数同士の差および前記各ブロックにおける前記第二の度数同士の差よりも大きい場合に、前記重畳領域の画素のうちの前記第三の階調の画素の階調を前記第一の階調に変更することによって第一の置換画像を生成し、前記重畳領域の画素のうちの前記第三の階調の画素の階調を前記第二の階調に変更することによって第二の置換画像を生成する、置換画像生成手段と、
   前記第一の置換画像の前記第二の階調の画素をクロージングする第一のクロージング処理手段と、
   前記第二の置換画像の前記第一の階調の画素をクロージングする第二のクロージング処理手段と、
   前記重畳領域の画素のうちの、クロージング後の前記第一の置換画像の前記第一の階調の画素と同じ位置またはクロージング後の前記第二の置換画像の前記第二の階調の画素と同じ位置にある画素の集合を、前記文字として検出する、文字検出手段と、
   を有することを特徴とする文字検出装置。
2. 前記第二の画像がカラー画像である場合は、前記属性は、色の明るさである、
   請求項１記載の文字検出装置。
3. 前記第一の画像および前記第二の画像がモノクロ画像である場合は、前記属性は、濃度である、
   請求項１記載の文字検出装置。
4. 文字を表わす第一の画像と半透明のオブジェクトを表わす第二の画像と含む画像から前記文字を検出する文字検出方法であって、
   前記第一の画像に前記第二の画像が重なっている領域である重畳領域を複数に分割したブロックごとに、画素の属性の階調ごとの出現の度数を算出し、
   前記度数のうちの、前記階調のうちの第一の階調における度数である第一の度数、前記階調のうちの第二の階調における度数である第二の度数、および前記階調のうちの第三の階調における度数である第三の度数がピークであり、かつ、前記各ブロックにおける前記第三の度数同士の差が、前記各ブロックにおける前記第一の度数同士の差および前記各ブロックにおける前記第二の度数同士の差よりも大きい場合に、前記重畳領域の画素のうちの前記第三の階調の画素の階調を前記第一の階調に変更することによって第一の置換画像を生成し、前記重畳領域の画素のうちの前記第三の階調の画素の階調を前記第二の階調に変更することによって第二の置換画像を生成し、
   前記第一の置換画像の前記第二の階調の画素をクロージングし、
   前記第二の置換画像の前記第一の階調の画素をクロージングし、
   前記重畳領域の画素のうちの、クロージング後の前記第一の置換画像の前記第一の階調の画素と同じ位置またはクロージング後の前記第二の置換画像の前記第二の階調の画素と同じ位置にある画素の集合を、前記文字として検出する、
   ことを特徴とする文字検出方法。
5. 文字を表わす第一の画像と半透明のオブジェクトを表わす第二の画像と含む画像から前記文字を検出するコンピュータに用いられるコンピュータプログラムであって、
   前記コンピュータに、
   前記第一の画像に前記第二の画像が重なっている領域である重畳領域を複数に分割したブロックごとに、画素の属性の階調ごとの出現の度数を算出する処理を実行させ、
   前記度数のうちの、前記階調のうちの第一の階調における度数である第一の度数、前記階調のうちの第二の階調における度数である第二の度数、および前記階調のうちの第三の階調における度数である第三の度数がピークであり、かつ、前記各ブロックにおける前記第三の度数同士の差が、前記各ブロックにおける前記第一の度数同士の差および前記各ブロックにおける前記第二の度数同士の差よりも大きい場合に、前記重畳領域の画素のうちの前記第三の階調の画素の階調を前記第一の階調に変更することによって第一の置換画像を生成し、前記重畳領域の画素のうちの前記第三の階調の画素の階調を前記第二の階調に変更することによって第二の置換画像を生成する処理を実行させ、
   前記第一の置換画像の前記第二の階調の画素をクロージングする処理を実行させ、
   前記第二の置換画像の前記第一の階調の画素をクロージングする処理を実行させ、
   前記重畳領域の画素のうちの、クロージング後の前記第一の置換画像の前記第一の階調の画素と同じ位置またはクロージング後の前記第二の置換画像の前記第二の階調の画素と同じ位置にある画素の集合を、前記文字として検出する処理を実行させる、
   ことを特徴とするコンピュータプログラム。

Images