JP7765274B2 - 画像処理装置、画像処理方法、プログラム及び記憶媒体 - Google Patents

Description

本発明は、画像処理装置、画像処理方法、プログラム及び記憶媒体に関する。

近年、ＯＣＲ（Optical Character Recognition/Reader）の文字認識精度はＡＩの活用によって向上している。しかしながら原稿が汚れやゴミ傷、裏写り／地紋などのノイズを含む場合、ＯＣＲの文字認識精度が低下してしまうことがある。そのため、文字認識精度に影響を及ぼすノイズの除去が求められている。特許文献１には、レシート又は請求書の読み取りにより生成された読取画像に含まれる印字領域を特定するとともに、特定した印字領域のうち所定のノイズ条件に該当するノイズ領域を印字領域から除去する画像処理装置が提案されている。

特開２０１９－１６８８５６号公報

画像データからノイズを除去する際には、文字又は図形等のオブジェクトを誤って除去することなく、ノイズのみを除去する必要がある。例えば、上記従来技術では、予め定められた文字の最小サイズの面積よりも面積が狭いという条件に該当する印字領域をノイズ領域と認定して印字領域から除去することが提案されている。しかしながら、除去可能なノイズのサイズが小さいと、除去すべきノイズを除去できず、所望するノイズ除去結果を得られない場合がある。

本発明は、画像データのノイズ除去をより適切に行う技術を提供する。

本発明の一側面によれば、
原稿の読み取りにより生成された画像データを取得する取得手段と、
前記画像データにおいて、所定のオブジェクトが含まれるオブジェクト領域を特定する特定手段と、
第１の閾値により特定されるサイズよりも小さいサイズのノイズを前記オブジェクト領域から除去する除去手段と、
前記特定手段により特定された前記オブジェクト領域ごとに、前記オブジェクト領域の前記サイズに応じて、前記第１の閾値を設定する設定手段と、を備え、
前記設定手段は、前記オブジェクト領域の前記サイズ、及び前記サイズ以外の所定の条件に応じて、前記第１の閾値を設定し、
前記オブジェクト領域は、前記所定のオブジェクトを囲む矩形の領域であり、
前記所定の条件は、前記矩形の短辺に対する長辺の比率についての条件であり、
前記設定手段は、前記オブジェクト領域のサイズに応じて前記第１の閾値を設定し、
前記設定手段は、設定した前記第１の閾値を、前記比率が１に近いほど小さくなるように変更する、
ことを特徴とする画像処理装置が提供される。

本発明によれば、画像データのノイズ除去をより適切に行うことができる。

（ａ）は、一実施形態に係る画像処理システムの概要図、サーバーの機能ブロック図。 システム全体の動作例を示すフローチャート。 （ａ）及び（ｂ）はサーバーの処理例を示すフローチャート。 読取画像データにおいて文字領域が特定される様子を説明するための図。 オブジェクト領域のサイズに応じたノイズ除去の閾値の設定について説明するための図。 ノイズ除去の処理の流れを説明するためのオブジェクト領域ＣＡの具体例を示す図。 文字の誤除去が発生する状況の具体的な例を示す図。 サーバーの処理例を示すフローチャート。 孤立点の除去の具体例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜＜第１の実施形態＞＞
＜システムの概要＞
図１（ａ）は、一実施形態に係る画像処理システムＳＹ（以下、システムＳＹ）の概要図である。システムＳＹは、スキャナー１０、通信装置２０、及びサーバー３０を含む。例えば、システムＳＹにおいて、スキャナー１０は、原稿を読み取って生成した画像データを通信装置２０に送信する。通信装置２０は、スキャナー１０から受信した画像データをインターネット等のネットワークを介してサーバー３０に送信する。サーバー３０は、受信した画像データに対して後述するノイズ除去処理を行い、処理結果としての画像データをユーザーの端末（例えば通信装置２０）に提供する。このように、サーバー３０は、画像データのノイズ除去処理を実行するクラウドサービスをユーザーに提供可能なサーバーである。以下、各要素の具体的な構成例について説明する。

スキャナー１０は、原稿を光学的に読み取って画像データを生成し、外部へ出力可能な画像読取装置である。スキャナー１０は、通信装置２０と有線又は無線による接続を行い、画像データを通信装置２０へ送信する。なお、スキャナー１０は、スキャナーとしての機能に加え、画像形成機能やＦＡＸ機能等の複数の機能を兼ね備えた複合機（ＭＦＰ）であってもよい。

通信装置２０は、スキャナー１０から受信した画像データをサーバー３０に送信する。通信装置２０は、例えば、パーソナルコンピューター（ＰＣ）、スマートフォン、タブレットＰＣ、ノート型ＰＣ、携帯電話機、又はこれらと同様の処理能力を有し、外部との通信が可能な情報処理装置であり得る。通信装置２０は、制御部２１、操作受付部２３、ディスプレイ２４、通信ＩＦ(Inter Face）２５を備える。

制御部２１は、通信装置２０を統括的に制御する。制御部２１は、ＣＰＵ（Central Processing Unit）２１ａ、ＲＯＭ（Read Only Memory）２１ｂ、及びＲＡＭ（Random Access Memory）２１ｃを含む。ＣＰＵ２１ａ（プロセッサー）は、ＲＯＭ２１ｂに記憶されたプログラムに従った演算処理を、ＲＡＭ２１ｃをワークエリアとして用いて実行することにより、通信装置２０の各種の機能を実現する。本実施形態では、ＲＯＭ２１ｂに記憶されるプログラムには、スキャナー１０が原稿の読み取りにより生成した画像データをサーバー３０へアップロードするためのアプリケーションプログラムが含まれる。

操作受付部２３は、各種処理を実現するためのユーザーの操作を受け付ける。操作受付部２３は、例えば、物理的なボタンや、タッチパネルや、マウス、キーボード等を含む。ディスプレイ２４は、各種処理を実現するための操作を受け付けるためのＵＩ（User Interface）を表示したり、実行された処理の結果等の各種情報を表示したりする。

通信ＩＦ２５は、外部装置との通信を行うインターフェースである。通信ＩＦ２５は、有線通信又は無線通信の少なくともいずれかにより外部装置と通信を行う。本実施形態では、通信装置２０は、通信ＩＦ２５によりスキャナー１０と接続しているだけでなく、通信ＩＦ２５によりインターネットに接続する。この他、通信ＩＦ２５は、ＵＳＢ(Universal Serial Bus)、イーサネット（登録商標）、無線ＬＡＮ(wireless local area network)、ＮＦＣ（Near Field Communication）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信等による通信を実行可能であり得る。

スキャナー１０及び通信装置２０は、図１（ａ）に例示したように互いに独立した装置であってもよいが、これらが一つの装置であってもよい。具体的には、スキャナー１０は、通信装置２０を含み、インターネットを介した外部装置との通信機能を兼ね備えた複合機であってもよい。

サーバー３０は、通信装置２０から受信した画像データに対して後述するノイズ除去処理を実行する。すなわち、サーバー３０は、画像処理装置の具体例である。サーバー３０は、例えばインターネット上でサーバーとして機能する一台又は複数台の情報処理装置で実現される。サーバー３０は、制御部３１及び通信ＩＦ３７を含む。

制御部３１は、ＣＰＵ３１ａ、ＲＯＭ３１ｂ及びＲＡＭ３１ｃを含む。ＣＰＵ３１ａ（プロセッサー）は、ＲＯＭ３１ｂに記憶されたプログラム３２に従った演算処理を、ＲＡＭ３１ｃをワークエリアとして用いて実行することにより、サーバー３０の各種の機能を実現する。本実施形態では、ＲＯＭ３１ｂに記憶されるプログラムには、後述するノイズ除去処理を実行するためのプログラムが含まれる。通信ＩＦ３７は、インターネットを介して外部装置とのデータ通信を行う。

図１（ｂ）は、サーバー３０の機能ブロック図である。ＣＰＵ３１ａがＲＯＭ３１ｂに記憶されているプログラムをＲＡＭ３１ｃに読み出して実行することで、図１（ｂ）に示される各機能部の機能が実現される。

取得部３３は、スキャナー１０が原稿を読み取って生成した画像データを、インターネットを介して通信装置２０から取得する。特定部３４は、取得部３３が取得した画像データにおいて、所定のオブジェクトが含まれるオブジェクト領域を特定する。設定部３５は、特定部３４が特定したオブジェクト領域ごとに、除去するノイズのサイズの閾値を設定する。除去部３６は、設定部３５が設定した閾値よりも小さいノイズを画像データから除去する。なお、各機能部は例示であって、各機能部の機能を統合したり、一の機能部の機能を分割して複数の機能部を設けたりしてもよい。

なお、通信装置２０の制御部２１及びサーバー３０の制御部３１の機能は、ハードウェア及びソフトウェアの何れによっても実現可能である。例えば、制御部２１及び制御部３１の機能はそれぞれ、前述したように一つ以上のＣＰＵが一つ以上のメモリを用いて所定のプログラムを実行することにより実現されてもよい。或いは、制御部２１及び制御部３１の機能はそれぞれ、ＰＬＤ（プログラマブルロジックデバイス）、ＡＳＩＣ（特定用途向け半導体集積回路）等、公知の半導体装置により実現されてもよい。また或いは、ＣＰＵとハードウェア回路とが組み合わされて処理が実行されてもよい。また、ここでは制御部２１及び制御部３１をそれぞれ単一の要素として示すが、制御部２１及び制御部３１は必要に応じて２以上の要素に分けられてもよい。

＜システムの処理例＞
図２は、システムＳＹ全体の動作例を示すフローチャートである。詳細には、ユーザーが通信装置２０を操作してスキャナー１０に原稿の画像データを生成させた後に、ユーザーがサーバー３０により提供されるクラウドサービスを使用して原稿のＯＣＲ処理を行う際の動作例が示されている。以下では、各ステップについて単にＳ２１等と表記する

Ｓ２１において、通信装置２０の制御部２１は、スキャナー１０に対して原稿読取指示を送信する。制御部２１は、操作受付部２３によりユーザーの操作を受け付けたことに基づいて、通信ＩＦ２５によりスキャナー１０に指示を送信する。

Ｓ１１において、スキャナー１０は、通信装置２０からの原稿読取指示を受信する。Ｓ１２において、スキャナー１０は、原稿の読み取り動作を実行し、原稿の画像データ（以下、読取画像データと表記することがある）を生成する。読み取られる原稿は、少なくとも一つ以上のオブジェクトを含み得る。ここでは、オブジェクトとしては、例えば、文字、数字、マーク、絵、記号、図形等が挙げられる。一実施形態において、オブジェクトは、背景と区別されて視認可能であり、何らかの意味又は情報が付されたものである。また、原稿の具体例としては、例えば、宿題プリントや会議資料、帳票等が挙げられる。原稿には、印字された文字や図形等に限られず、手書きの文字や図形等が含まれ得る。その後、Ｓ１３において、スキャナー１０は、Ｓ１２で生成した読取画像データを通信装置２０に送信する。

Ｓ２２において、制御部２１は、スキャナー１０から読取画像データを通信ＩＦ２５により受信する。その後、Ｓ２３において、制御部２１は、Ｓ２２で受信した読取画像データを通信ＩＦ２５によりサーバー３０に送信する。例えば、制御部２１は、読取画像データをサーバー３０へアップロードするためのアプリケーションプログラムを実行し、ディスプレイ２４に読取画像データの送信用画面を表示させる。そして、制御部２１は、送信用画面により、送信する読取画像データの選択及びノイズ除去処理の実行の指示をユーザーから受け付けると、対象の読取画像データをサーバー３０に送信する。

Ｓ３１において、サーバー３０の制御部３１は、通信装置２０から送信された読取画像データを通信ＩＦ３７により受信する。すなわち、制御部３１の取得部３３は、ノイズ除去の対象となる画像データを取得する。

Ｓ３２において、制御部３１の特定部３４は、Ｓ３１で取得した画像データにおいて、所定のオブジェクトが含まれるオブジェクト領域を特定する。本実施形態では、特定部３４は、オブジェクト領域として、文字が含まれる文字領域を特定する。詳細には後述する。

Ｓ３３において、制御部３１の設定部３５は、Ｓ３１で特定されたオブジェクト領域ごとに、除去するノイズのサイズについての閾値（以下、サイズ閾値と表記することがある）を設定する。本実施形態では、ノイズのサイズはノイズの２次元的な大きさであり、サイズ閾値はノイズの所定方向（以下の説明ではオブジェクト領域の短辺方向及び長辺方向）の寸法についての閾値である。また、処理の詳細については後述する。

Ｓ３４において、制御部３１の除去部３６は、ノイズ除去を行う。詳細には、除去部３６は、Ｓ３３で設定された閾値により特定されるサイズよりも小さいサイズのノイズをオブジェクト領域から除去する。詳細には後述する。

Ｓ３５において、制御部３１は、ノイズ除去後の画像データ（以下、除去後画像データと表記することがある）に対してＯＣＲ処理を行う。ＯＣＲ処理は、公知の技術を用いることができるため、説明を省略する。

Ｓ３６において、制御部３１は、処理結果を送信する。詳細には、制御部３１は、Ｓ３５においてＯＣＲ処理が施された画像データを、処理結果として通信ＩＦ３７により通信装置２０に送信する。

Ｓ２４において、通信装置２０の制御部２１は、処理結果として、サーバー３０からＯＣＲ処理後の画像データを受信する。その後、Ｓ２５において、制御部２１は、ＯＣＲ処理が終了したことを、ディスプレイ２４にその旨の内容を表示すること等によりユーザーに通知する。

＜サーバー３０の処理例＞
（オブジェクト領域の特定）
以下、サーバー３０の具体的な処理例について説明する。
図３（ａ）は、図２のＳ３２の具体的な処理例を示すフローチャートである。また、図４は、図３（ａ）のフローチャートの処理により読取画像データにおいて文字領域が特定される様子を説明するための図である。文字領域の特定方法としては、ルールベースの手法或いはディープラーニング等の機械学習を用いた手法等、種々の方法が提案されているが、ここではルールベースの手法の一例を説明する。

Ｓ３２１では、特定部３４は、読み取り画像の２値化画像データ（各画素値を２階調で表現した画像データ）を生成する。２値化画像データの生成方法には公知の技術を用いることができるため、詳細な説明は省略する。一例として、２値化画像データは、各画素の画素値を所定の閾値と比較することによって各画素を濃画素（黒等）と淡画素（白等）とに分けることで生成される。

Ｓ３２２では、特定部３４は、２値化画像データから濃画素の塊（以下、濃画素塊と表記することがある）を抽出する。濃画素塊は、要するに、所定の矩形領域内に存在する濃画素の集合である。特定部３４は、ある２つの濃画素の間の距離が所定の範囲内にある場合、これら２つの濃画素は共通の濃画素塊に含める、と判断する。特定部３４は、このような濃画素同士の比較を繰り返し、共通の濃画素塊に含めるべき全ての濃画素を包含する矩形を、一つの濃画素塊とする。なお、濃画素塊は、共通の濃画素塊に含めるべき全ての濃画素を包含する最小の矩形であってもよいし、この最小の矩形に対して所定のサイズだけ大きい矩形であってもよい。このような処理により、例えば、同じ行に記載されている単語や文が一つの濃画素塊として判断される。濃画素塊は、読取画像データ内のオブジェクト領域であり得る。つまり、濃画素塊の抽出により、読取画像データ内のオブジェクト領域が特定される。

図４の左側には、Ｓ３２１において読取画像データから生成された２値化画像データＤＡ内に存在する濃画素ＢＬが示されている。ここでは、２値化画像データＤＡ内の文字を構成する各画素が濃画素ＢＬとなっている。また、図４の右側には、Ｓ３２２において抽出された濃画素塊（すなわち、オブジェクト領域ＣＡ）が実線の矩形で示されている。

このように、特定部３４は、読取画像データに対して２値化処理を行って２値化画像データを生成し、生成した２値化画像データから濃画素塊を抽出することによりオブジェクト領域を特定する。

また、機械学習を用いた手法では、例えば、入力データと教師データとを紐付け、所定のアルゴリズムを用いて学習させることで生成された学習済みモデルを用いてオブジェクト領域としての文字領域を検出することが考えられる。所定のアルゴリズムとしては、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、決定木又はニューラルネットワーク等のアルゴリズムが挙げられる。

本実施形態では、例えば、原稿を読み取った読取画像データを２値化した２値化画像データを入力データとし、２値化画像データに含まれる文字領域を特定して出力させる。そしてその出力結果と、実際の正しい文字領域を示すデータ（教師データ）とのずれ量を算出する。そのずれ量が小さくなるように、学習モデルのパラメータ等を更新する。

（ノイズ除去のサイズ閾値の設定）
図５は、図２のＳ３３における、オブジェクト領域のサイズに応じたノイズ除去のサイズ閾値の設定について説明するための図である。図５には、サイズの異なる複数のオブジェクト領域ＣＡについて、その縦幅ＳＴ及び縦幅ＳＴを文字高さと仮定した場合に想定される最小の文字種（図中ではピリオド）のサイズＳＣが示されている。具体的には、縦幅ＳＴが４ｐｔの場合のサイズＳＣは０．４ｐｔであり、縦幅ＳＴが２８の場合のサイズＳＣは２．８ｐｔである。また、図５には、複数のオブジェクト領域ＣＡのそれぞれについて、サイズ閾値Ｓが示されている。

前述したように、制御部３１の設定部３５は、特定部３４により特定されたオブジェクト領域ごとに、オブジェクト領域のサイズに応じて、サイズ閾値Ｓを設定する。本実施形態では、設定部３５は、オブジェクト領域のサイズが小さいほど、サイズ閾値Ｓを小さくする。

図５の例では、一例として、オブジェクト領域のサイズに影響する、矩形のオブジェクト領域ＣＡの短辺の寸法に応じてサイズ閾値Ｓを設定している。詳細には、オブジェクト領域ＣＡの短辺の１０分の１の寸法を、サイズ閾値Ｓとして設定している。例えば、注目しているオブジェクト領域ＣＡが、短辺を縦、長辺を横とする矩形である場合には、オブジェクト領域ＣＡの縦幅の１０分の１の寸法をサイズ閾値Ｓとして設定する。このようにすることで、矩形の縦幅を文字の高さと想定した際のピリオドよりも小さいノイズを除去対象とすることができる。換言すれば、設定部３５は、オブジェクト領域に含まれる文字のフォントサイズにおける最小の文字種（例えばピリオド）のサイズよりも、サイズ閾値Ｓにより特定されるサイズが小さくなるように、サイズ閾値Ｓを小さくする。オブジェクト領域が文字列の場合には、矩形の短辺が文字の高さ、長辺が文字の並ぶ方向であると推定される。よって、短辺の寸法を基準としてサイズ閾値Ｓを設定することで、文字列を構成する文字に合わせたサイズ閾値Ｓの設定が可能となる。

詳しくは後述するが、本実施形態では、上記のように設定されたサイズ閾値Ｓを一辺の寸法とするサイズの正方形に収まる大きさの孤立点を、ノイズとして除去する。つまり、ここでのサイズ閾値Ｓは、後述する孤立点の縦及び横の寸法についての閾値であるといえる。

なお、本実施形態では、オブジェクト領域のサイズに影響する、オブジェクト領域の矩形の短辺の寸法に応じて、短辺及び長辺の共通のサイズ閾値Ｓが設定される。しかし、オブジェクト領域のサイズに応じたノイズ除去のサイズ閾値の設定には、他の方法を用いてもよい。例えば、オブジェクト領域の短辺の寸法に応じて短辺方向のサイズ閾値が設定され、オブジェクト領域の長辺の寸法に応じて長辺方向のサイズ閾値が設定されてもよい。或いは、オブジェクト領域の短辺についてのみサイズ閾値が設定されてもよい。このようにサイズ閾値が設定されることで、例えば、長辺方向に長い線状の汚れ等によるノイズを除去することができる。

また、本実施形態では、オブジェクト領域ＣＡの短辺の１０分の１の寸法を、サイズ閾値Ｓとして設定しているが、サイズの測定誤差等を考慮して、オブジェクト領域ＣＡの短辺の例えば１０～１５分の１の寸法を、サイズ閾値Ｓとして設定してもよい。

（オブジェクト領域からのノイズの除去）
図３（ｂ）は、図２のＳ３４の具体的な処理例を示すフローチャートである。また、図６は、Ｓ３４の処理の流れを説明するためのオブジェクト領域ＣＡの具体例を示す図である。

Ｓ３４１では、制御部３１の除去部３６は、Ｓ３２で特定部３４により特定されたオブジェクト領域ＣＡに対して、２値化処理を実行する。２値化処理の方法としては、Ｓ３２１と同様に、公知の技術を用いることができる。なお、ここでは、オブジェクト領域ＣＡに対してだけでなく、読取画像データ全体に対して２値化処理が行われてもよい。また、Ｓ３２においてオブジェクト領域ＣＡの特定のために読取画像データに対して２値化処理を施して生成された２値化画像データが存在する場合には、その２値化画像データから、対象のオブジェクト領域ＣＡの２値化データを取得してもよい。

Ｓ３４２では、制御部３１の除去部３６は、Ｓ３４１で２値化されたオブジェクト領域ＣＡに対して、孤立点の検出を行う。孤立点の検出方法としては、現在では多くの方法が提案されているため、ここでの詳細な説明は省略する。一例を挙げると、所定の領域をラスタ走査順に１画素ずつずらし、その領域内に存在する濃画素数が閾値以下であれば、領域内の濃画素を孤立点として検出するといった方法がある。所定の領域は、例えば、Ｓ３３で設定したサイズ閾値Ｓを一辺の長さとする正方形領域であり得る。あるいは、所定の領域は、前述の正方形領域（正方形領域Ａとする）に加えて、正方形領域Ａを内包し且つ中心点が同じ正方形領域Ｂを用いて孤立点を検出してもよい。例えば、正方形領域Ａ内に存在する濃画素数が閾値ＴＨＡ以下、かつ正方形領域Ｂ内に存在する濃画素数が閾値ＴＨＢ以下の場合、正方形領域Ａ内の濃画素を孤立点として検出するといった方法でもよい。

図６の上段には、Ｓ３４１で２値化されたオブジェクト領域ＣＡの一例が示されている。また、図６の中段には、Ｓ３４１で検出されたオブジェクト領域ＣＡにおいて、Ｓ３４２で検出された孤立点を囲む孤立点領域ＲＡが示されている。ここでは、孤立点領域ＲＡは、孤立点を内包する最小の矩形の領域である。図では、説明のため孤立点領域ＲＡを長二点鎖線で囲んでいる。また図中に示すＳｉｚｅは、各孤立点領域ＲＡのサイズを示している。図では、サイズ（一辺の寸法）が２ポイントの孤立点領域ＲＡが二つ、サイズが１ポイントの孤立点領域ＲＡが一つ含まれている。そのうち、２ポイントの孤立点領域ＲＡは文字を構成する要素であるため除去すべきでないものであり、１ポイントの孤立点領域ＲＡは汚れのため除去する必要があるものである。

Ｓ３４３では、制御部３１の除去部３６は、Ｓ３４２で検出された孤立点領域ＲＡのサイズがステップＳ１２０で設定したサイズ閾値Ｓより小さいか否かを判断する。除去部３６は、孤立点領域ＲＡのサイズがサイズ閾値Ｓより小さい場合にはＳ３４４に進み、そうでない場合はフローチャートを終了する。本実施形態では、一辺の寸法がサイズ閾値Ｓである正方形に孤立点領域ＲＡが収まる場合、孤立点領域ＲＡのサイズがサイズ閾値Ｓにより特定されるサイズより小さいと判断する。

Ｓ３４４では、制御部３１の除去部３６は、サイズ閾値Ｓより小さいと判断された孤立点領域ＲＡに内包される孤立点を除去する。なお、上記の孤立点の除去方法には公知の技術を用いることができる。例えば、除去部３６は、孤立点領域ＲＡの孤立点の画素値を、淡画素値に書き換えることにより、孤立点を除去する。図６の下段の例でいえば、１ポイントの孤立点領域ＲＡは、サイズ閾値Ｓ（ここでは２ポイントとする）よりも小さいため除去され、２ポイントの孤立点領域ＲＡはサイズ閾値より小さくないため、除去されずに残される。

以上説明したように、本実施形態によれば、特定部３４により特定されたオブジェクト領域ＣＡごとに、オブジェクト領域ＣＡのサイズに応じて、サイズ閾値Ｓが設定される。オブジェクト領域ＣＡのサイズに応じたサイズ閾値Ｓが設定されることで、画像データのノイズ除去をより適切に行うことができる。別の観点から見ると、除去部３６は、オブジェクト領域ＣＡに含まれるノイズを、そのオブジェクト領域ＣＡのサイズに応じたサイズを上限として除去する。削除されるノイズのサイズの上限がオブジェクト領域ＣＡのサイズに応じたものとなるので、文字等の誤除去を抑制することができる。さらに言えば、オブジェクト領域ＣＡが小さくなるほどサイズ閾値Ｓが小さくなることで、オブジェクト領域ＣＡに含まれる文字のサイズが小さい場合に文字を構成する要素を誤って除去してしまうことを抑制することができる。また、オブジェクト領域ＣＡに含まれる文字のサイズが大きい場合には、比較的大きめのノイズについても除去することができる。

＜＜第２の実施形態＞＞
以下、第２の実施形態について説明する。第１の実施形態では、特定されたオブジェクト領域ごとにオブジェクト領域のサイズに応じてサイズ閾値が設定される。ここで、オブジェクト領域が図形及び文字を含む領域の場合、サイズ閾値にオブジェクト領域に含まれる文字のサイズが反映されない場合がある。このような場合、サイズ閾値が、オブジェクト領域に含まれる文字のサイズに対する適切な値よりも大きな値に設定されてしまうことがある。結果として、ノイズ除去の際に文字を構成する要素が誤って除去されてしまう場合ある。そこで、本実施形態では、オブジェクト領域に含まれるオブジェクトの属性に応じてノイズの除去を実行する。以下、第１の実施形態と同様の構成については同様の符号を付して説明を省略する。

図７は、オブジェクト領域が文字及び図形を含む領域である場合において、文字の誤除去が発生する状況の具体的な例を示している。ここで、図７の図形Ｓｈ及び文字Ｃｈ１を含むオブジェクト領域ＣＡ１並びに文字Ｃｈ２及びノイズＮを含むオブジェクト領域ＣＡ２については、例えば各オブジェクト領域の縦幅（３０ｐｔ）に基づいてサイズ閾値Ｓ（３ｐｔ）が設定される。この場合、サイズ閾値Ｓよりも小さい孤立点領域ＲＡに含まれるノイズＮを除去することは可能である。しかし、文字Ｃｈ２を含む孤立点領域ＲＡの大きさ（２ｐｔ）がサイズ閾値Ｓよりも小さいため、文字Ｃｈ２の誤除去が発生してしまう恐れがある。そこで、本実施形態では、以下で示す処理により所定の条件に基づいてサイズ閾値Ｓを変更している。

図８は、図２のＳ３３の具体的な処理例を示すフローチャートである。
Ｓ３３１において、設定部３５は、オブジェクト領域のサイズに応じてサイズ閾値Ｓを設定する。Ｓ３３１での処理が、第１の実施形態におけるＳ３３の処理に相当する。

Ｓ３３２において、設定部３５は、所定の条件に基づいて、Ｓ３３１で設定したサイズ閾値Ｓを変更（再設定）する。

所定の条件は、例えば以下のようなものであってもよい。設定部３５は、各オブジェクト領域の面積に基づいて、サイズ閾値Ｓをそれぞれ変更してもよい。例えば、オブジェクト領域の面積が所定の閾値よりも大きい場合、サイズ閾値ＳをＳ３３１で設定した値よりも小さくしてもよい。一例として、設定部３５は、オブジェクト領域の面積が所定の閾値よりも大きい場合、Ｓ３３１で設定したサイズ閾値Ｓを所定の値（＞１）で除することにより、新たなサイズ閾値ＳＮを決定してもよい。

原稿にあまりにも大きな面積、例えば原稿サイズの半分の面積、のオブジェクト領域がある場合、それが文字領域である可能性は低い。そのため、オブジェクト領域の面積が閾値以上の場合、注目しているオブジェクト領域が文字領域でないと判断することができる。オブジェクト領域が文字領域でない場合、Ｓ３１１で設定するサイズ閾値より小さいサイズにサイズ閾値を再設定することで、文字の誤除去を抑制することができる。

また、所定の条件は、例えば以下のようなものであってもよい。設定部３５は、各オブジェクト領域のアスペクト比に基づいて、サイズ閾値Ｓをそれぞれ変更してもよい。例えば、注目する矩形のオブジェクト領域の縦が短辺の場合において、オブジェクト領域の縦横比を１対Ａ（＞１）とする。このとき、設定部３５は、サイズ閾値Ｓから１／Ａを減じた値を、新たなサイズ閾値ＳＮとしてもよい。オブジェクト領域に文字領域が含まれる場合、文字領域は複数の文字で構成されることが想定されるため、文字領域のアスペクト比が１対１になる可能性は低い。そのため、オブジェクト領域のアスペクト比が１対１に近いほど、すなわちオブジェクト領域の短辺に対する長辺の比率が１に近いほど、オブジェクト領域が文字領域である可能性は低いと判断できる。よって、オブジェクト領域が文字領域でない可能性に応じて、Ｓ３１１で設定したサイズ閾値より小さいサイズにサイズ閾値を再設定することで、文字の誤除去を抑制することができる。

なお、所定の条件は、前述の２つの条件を組み合わせたものであってもよいし、その他の条件が組み合わされたものであってもよい。例えば、所定の条件は、オブジェクト領域の画素数に対する濃画素の画素数の割合であってもよい。すなわち、濃画素の割合が高い場合には、オブジェクト領域に塗りつぶされた図形等が含まれていると推定することができる。よって、オブジェクト領域の画素数に対する濃画素の画素数の割合が閾値以上の場合には、サイズ閾値が小さくなるように性設定してもよい。

以上説明したように、本実施形態によれば、オブジェクト領域に図形が含まれると判断できる場合に、オブジェクト領域が文字のみで構成される場合と比較してサイズ閾値が小さくなるように設定される。つまり、オブジェクト領域のサイズに応じて設定されたサイズ閾値が、サイズ以外の条件であるオブジェクト領域の属性に応じて変更される。これにより、オブジェクト領域の属性に応じて、より適切に画像データのノイズ除去を行うことができる。

具体的には、読取画像データの２値化画像データから特定されるオブジェクト領域のサイズに加えて、所定の条件、例えば、オブジェクト領域のアスペクト比や面積に基づき、注目するオブジェクト領域ごとにサイズ閾値が設定される。これにより、オブジェクト領域が文字以外を含む領域の場合にサイズ閾値を再設定し、図形領域に含まれる文字の誤除去を抑制することができる。

＜その他の実施形態＞
上記実施形態では、画像データのノイズ除去をサーバー３０が実行していたが、ＯＣＲ機能を有するスキャナー１０において、ＯＲＣ処理の前処理としてノイズ除去が実行されてもよい。或いは、画像データのノイズの除去が、スキャナー１０と通信可能な通信装置２０において実行されてもよい。スキャナー１０又は通信装置２０において画像データのノイズの除去が行われる場合、スキャナー１０の制御部（不図示）又は通信装置２０の制御部２１が実行するためのプログラムが、インターネット等を介して提供されてもよい。また、スキャナー１０又は通信装置２０は、このようなプログラムを実行することで、インターネットを介した外部のサーバー等との通信を行うことなく、上記の処理を実現してもよい。

また、上記実施形態では、スキャナー１０或いはスキャナーとしての機能に加え複数の機能をもつ複合機により、原稿を読み取ることで生成される読取画像データに対して画像処理を行う。しかしながら、撮影機能をもつ装置、例えばパーソナルコンピューター（ＰＣ）、スマートフォン、タブレットＰＣ、又はノート型ＰＣ等、による原稿の撮影によって生成された画像データも読取画像データに含まれ得る。すなわち、カメラ等の撮像装置による原稿の撮影も、原稿の読み取りに含まれ得る。

また、上記実施形態では、Ｓ３４１で読取画像データを２値化しているが、２値化せずに（多値画像のまま）ノイズ除去の処理を行ってもよい。原稿の文字以外の領域（背景領域）が文字色に近い場合、２値化処理により、文字と背景が同じ画素値になることで、文字情報が失われてしまう恐れがあるからである。そこで、多値画像のまま処理を行う場合、孤立点領域を、その孤立点領域の周囲の背景の画素値で書き換えることで、孤立点領域をオブジェクト領域から除去してもよい。多値画像に対して孤立点除去を行った場合、読み取り画像の背景が必ずしも所定の固定画素値（例えば２値化画像の淡画素値）とは限らない。そのため、置き換えた孤立点領域及び周囲の領域の画素値が異なることで、ノイズと同様にＯＣＲ文字認識精度に悪影響を及ぼす可能性がある。そこで、孤立点領域の周囲画素値から背景の画素を抽出することで、所定の固定画素値による孤立点除去が及ぼすＯＣＲ文字認識精度への悪影響を抑制することができる。

例えば、制御部３１の除去部３６は、サイズ閾値より小さい孤立点領域の画素値を、孤立点領域の周囲において抽出した背景の画素値で書き換えることで、オブジェクト領域から除去する。図９は、孤立点の除去の具体例を示す図である。図９では、孤立点領域ＲＡを周囲画素で埋めて除去する例が示されている。ここでは、除去部３６は、サイズ閾値Ｓより小さい孤立点領域ＲＡを、背景領域ＲＢの画素値等の所定の固定画素値（例えば、２値化画像の淡画素値）に書き換えることで、孤立点をオブジェクト領域から除去する。ここでは、背景領域ＲＢは、孤立点領域ＲＡと同形同サイズかつ孤立点領域ＲＡと１つの辺で接する領域である。詳細には、除去部３６は、孤立点領域ＲＡの任意の画素値を、背景領域ＲＢ内の対応する点の画素値で書き換える処理を、孤立点領域ＲＡの全画素に対して行い、孤立点の除去を行う。対応する点との例として、例えば、点Ａ１には点Ｂ２、点Ａ２には点Ｂ１、点Ａ３には点Ｂ４、点Ａ４には点Ｂ３、そして点ＯＡには点ＯＢが対応している。このようにして、除去部３６は、除去対象の孤立点を背景に書き換えることができる。

また、上記実施形態では、ノイズのサイズはノイズの２次元的な大きさであり、サイズ閾値はノイズの所定方向の寸法についての閾値であるとした。しかしながら、ノイズのサイズ及びサイズ閾値の定義は限定されない。例えば、ノイズを内包する最小の矩形の対角線の長さをノイズのサイズとし、サイズ閾値を対角線の長さについての値としてもよい。或いは、ノイズのサイズを、ノイズ（孤立点）自体の面積又はノイズを内包する最小の矩形の面積とし、サイズ閾値を面積についての値としてもよい。

また、上記実施形態では、ＯＣＲ処理の前処理として読取画像データからのノイズの除去が行われているが、読取画像データからのノイズの除去を主目的とした処理が行われてもよい。例えば、通信装置２０が、スキャナー１０から取得した読取画像データを記憶する前に、上記実施形態に係るノイズ除去処理を実行し、ノイズが除去された状態の画像データを、原稿の画像データとして通信装置２０の記憶領域に記憶してもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

Claims (10)

1. 原稿の読み取りにより生成された画像データを取得する取得手段と、
   前記画像データにおいて、所定のオブジェクトが含まれるオブジェクト領域を特定する特定手段と、
   第１の閾値により特定されるサイズよりも小さいサイズのノイズを前記オブジェクト領域から除去する除去手段と、
   前記特定手段により特定された前記オブジェクト領域ごとに、前記オブジェクト領域の前記サイズに応じて、前記第１の閾値を設定する設定手段と、を備え、
   前記設定手段は、前記オブジェクト領域の前記サイズ、及び前記サイズ以外の所定の条件に応じて、前記第１の閾値を設定し、
   前記オブジェクト領域は、前記所定のオブジェクトを囲む矩形の領域であり、
   前記所定の条件は、前記矩形の短辺に対する長辺の比率についての条件であり、
   前記設定手段は、前記オブジェクト領域のサイズに応じて前記第１の閾値を設定し、
   前記設定手段は、設定した前記第１の閾値を、前記比率が１に近いほど小さくなるように変更する、
   ことを特徴とする画像処理装置。
2. 原稿の読み取りにより生成された画像データを取得する取得手段と、
   前記画像データにおいて、所定のオブジェクトが含まれるオブジェクト領域を特定する特定手段と、
   第１の閾値により特定されるサイズよりも小さいサイズのノイズを前記オブジェクト領域から除去する除去手段と、
   前記特定手段により特定された前記オブジェクト領域ごとに、前記オブジェクト領域の前記サイズに応じて、前記第１の閾値を設定する設定手段と、を備え、
   前記設定手段は、前記オブジェクト領域の前記サイズ、及び前記サイズ以外の所定の条件に応じて、前記第１の閾値を設定し、
   前記所定の条件は、前記オブジェクト領域の面積に関する条件であり、
   前記設定手段は、前記オブジェクト領域のサイズに応じて前記第１の閾値を設定し、
   前記設定手段は、設定した前記第１の閾値を、前記面積が第２の閾値よりも大きい場合に、前記面積が前記第２の閾値以下の場合よりも小さくなるように変更する、
   ことを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置であって、
   前記設定手段は、前記オブジェクト領域の前記サイズが小さいほど、前記第１の閾値を小さくする、
   ことを特徴とする画像処理装置。
4. 請求項１または２に記載の画像処理装置。
   前記オブジェクト領域は、前記所定のオブジェクトを囲む矩形の領域であり、
   前記設定手段は、前記矩形の短辺の寸法が小さいほど、前記第１の閾値を小さくする、
   ことを特徴とする画像処理装置。
5. 請求項１または２に記載の画像処理装置であって、
   前記所定のオブジェクトは文字であり、
   前記設定手段は、前記オブジェクト領域に含まれる文字のフォントサイズにおける最小の文字種のサイズよりも前記第１の閾値により特定されるサイズが小さくなるように、前記第１の閾値を小さくする、
   ことを特徴とする画像処理装置。
6. 請求項１から５までのいずれか一項に記載の画像処理装置であって、
   前記除去手段は、
   前記画像データが２値化された２値化データにおいて、前記オブジェクト領域に含まれる前記ノイズとしての孤立点を検出し、
   前記第１の閾値により特定されるサイズよりも小さい前記孤立点を除去する、
   ことを特徴とする画像処理装置。
7. 原稿の読み取りにより生成された画像データを取得する取得工程と、
   前記画像データにおいて、所定のオブジェクトが含まれるオブジェクト領域を特定する特定工程と、
   第１の閾値により特定されるサイズよりも小さいサイズのノイズを前記オブジェクト領域から除去する除去工程と、
   前記特定工程により特定された前記オブジェクト領域ごとに、前記オブジェクト領域の前記サイズに応じて、前記第１の閾値を設定する設定工程と、を含み、
   前記設定工程は、前記オブジェクト領域の前記サイズ、及び前記サイズ以外の所定の条件に応じて、前記第１の閾値を設定し、
   前記オブジェクト領域は、前記所定のオブジェクトを囲む矩形の領域であり、
   前記所定の条件は、前記矩形の短辺に対する長辺の比率についての条件であり、
   前記設定工程は、前記オブジェクト領域のサイズに応じて前記第１の閾値を設定し、
   前記設定工程は、設定した前記第１の閾値を、前記比率が１に近いほど小さくなるように変更する、
   ことを特徴とする画像処理方法。
8. 原稿の読み取りにより生成された画像データを取得する取得工程と、
   前記画像データにおいて、所定のオブジェクトが含まれるオブジェクト領域を特定する特定工程と、
   第１の閾値により特定されるサイズよりも小さいサイズのノイズを前記オブジェクト領域から除去する除去工程と、
   前記特定工程により特定された前記オブジェクト領域ごとに、前記オブジェクト領域の前記サイズに応じて、前記第１の閾値を設定する設定工程と、を含み、
   前記設定工程は、前記オブジェクト領域の前記サイズ、及び前記サイズ以外の所定の条件に応じて、前記第１の閾値を設定し、
   前記所定の条件は、前記オブジェクト領域の面積に関する条件であり、
   前記設定工程は、前記オブジェクト領域のサイズに応じて前記第１の閾値を設定し、
   前記設定工程は、設定した前記第１の閾値を、前記面積が第２の閾値よりも大きい場合に、前記面積が前記第２の閾値以下の場合よりも小さくなるように変更する、
   ことを特徴とする画像処理方法。
9. 少なくとも１つのコンピュータを、請求項１から６のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。
10. 少なくとも１つのコンピュータを、請求項１から６のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読取可能な記憶媒体。