JP6598080B2 - 画像読取装置、画像読取方法、画像形成装置及び画像読取プログラム - Google Patents

Description

本発明は、画像読取装置、画像読取方法、画像形成装置及び画像読取プログラムに関し、特に、スキャンした原稿画像の方向を判別できる画像読取に関する。

複数の原稿を自動原稿送り装置（ＡＤＦ）にセットし、連続してスキャンする場合に原稿の方向に乱丁があったときに、そのまま複写して自動的に製本処理すると大きな問題となる。このような問題に対して、たとえば特許文献１は、文書中の数種類の文字領域をそれぞれ０度、９０度、１８０度、２７０度の方向から文字認識を行い、それら各方向における文字認識の自信度（読み取った文字と認識した文字の近似度）の中で一番自信度の高い方向を文書方向と判定する技術を提案している。一方、特許文献２は、画像の方向を判別する際の処理を効率化する技術を提案している。この技術は、具体的には、２ページ目以降の原稿の向きを判断する際は、前ページまでの原稿の向き、又は１ページ目から前ページまでで最も多かった原稿の向きに基づいて、１方向から文字認識を行い、文字認識の結果における近似値（各文字のベクトル情報と照らし合わせたベクトルの特徴の近さ）が閾値以上である場合には原稿の方向が一致していると判断する。ただし、近似値が閾値未満である場合には、他方向からも文字認識を行い、最も信頼の高い認識結果が得られた方向を原稿の向きと判断する。

特開平１１−０１５２２４号公報 特開２００７−０６５８６４号公報

しかし、従来は、原稿方向の判別において、文字認識の自信度や近似値のような文字認識における認識成功を想定し、誤った文字に認識され、誤認識状態で自信度や近似値が計算される可能性については十分に検討されていなかった。すなわち、本願発明者は、文字によっては回転した時に別の文字と認識され、かつ、どちらの場合も自信度の数値が変わらないということが起こり得るという問題を見いだした。たとえば、ひらがなの「く」を右に９０度回転させたものと、ひらがなの「へ」のベクトル情報はほぼ同じものとなり、「く」を「く」と認識した場合と、「く」を９０度回転させて「へ」と認識した場合で、自信度の数値が大きく変わらないということが起こり得る。これに対して、たとえば、ひらがなの「え」を、９０度、１８０度、２７０度と回転させた時、別の文字として認識される可能性は低い。このように、「く」も「え」も自信度としては同程度の数値を持ちながら、誤認識の程度が大きく異なることが起こり得るのである。

本発明はこのような状況に鑑みてなされたものであり、誤認識の可能性を想定して計算処理の低減と認識精度の向上の少なくとも一方を実現する技術を提供することを目的とする。

本発明は、複数の原稿の画像を読み取って画像データを生成する画像読取装置を提供する。前記画像読取装置は、前記生成された画像データによって表されている文字を複数の方向のうち少なくとも１つから認識する文字認識処理部と、前記原稿の読み取り時に誤認識される可能性がある文字候補の数である誤認識文字数に基づき、前記誤認識文字数が多いほど前記認識の確かさを表す認識確度を小さくするように設定された誤認識指数を計算する誤認識指数計算部と、前記誤認識指数を使用して前記認識確度を調整する確度計算部と、前記調整された認識確度に基づいて前記原稿の方向を判別する方向判別部と、前記判別された原稿方向に基づいて前記画像データを補正して、前記複数の原稿の画像方向を揃える画像処理部とを備える。

本発明の画像形成装置は、前記画像読取装置と、前記複数の原稿の画像方向が揃えられた画像データに基づいて印刷媒体上に画像を形成する画像形成部とを備える。

本発明は、複数の原稿の画像を読み取って画像データを生成する画像読取方法を提供する。前記画像読取方法は、前記生成された画像データによって表されている文字を複数の方向のうち少なくとも１つから認識する文字認識処理工程と、前記原稿の読み取り時に誤認識される可能性がある文字候補の数である誤認識文字数に基づき、前記誤認識文字数が多いほど前記認識の確かさを表す認識確度を小さくするように設定された誤認識指数を計算する誤認識指数計算工程と、前記誤認識指数を使用して前記認識確度を調整する確度計算工程と、前記調整された認識確度に基づいて前記原稿の方向を判別する方向判別工程と、前記判別された原稿方向に基づいて前記画像データを補正して、前記複数の原稿の画像方向を揃える画像処理工程とを備える。

本発明は、複数の原稿の画像を読み取って画像データを生成する画像読取装置を制御するための画像読取プログラムを提供する。前記画像読取プログラムは、前記生成された画像データによって表されている文字を複数の方向のうち少なくとも１つから認識する文字認識処理部、前記原稿の読み取り時に誤認識される可能性がある文字候補の数である誤認識文字数に基づき、前記誤認識文字数が多いほど前記認識の確かさを表す認識確度を小さくするように設定された誤認識指数を計算する誤認識指数計算部、前記誤認識指数を使用して前記認識確度を調整する確度計算部、前記調整された認識確度に基づいて前記原稿の方向を判別する方向判別部、及び前記判別された原稿方向に基づいて前記画像データを補正して、前記複数の原稿の画像方向を揃える画像処理部として前記画像読取装置を機能させる。

本発明によれば、誤認識の可能性を想定して計算処理の低減と認識精度の向上の少なくとも一方を実現することができる。

本発明の一実施形態に係る画像形成装置１００の機能構成を示すブロックダイアグラムである。 一実施形態に係る原稿方向調整処理の内容を示すフローチャートである。 一実施形態に係る原稿方向判別処理の内容を示すフローチャートである。 一実施形態に係る特徴ベクトル情報取得処理の内容を示す説明図である。 一実施形態に係る誤認識指数データベース１４１の内容を示す表である。

以下、本発明を実施するための形態（以下、「実施形態」という）を、図面を参照して説明する。

図１は、本発明の一実施形態に係る画像形成装置１００の機能構成を示すブロックダイアグラムである。画像形成装置１００は、制御部１１０と、画像形成部１２０と、操作表示部１３０と、記憶部１４０と、自動原稿送り装置（ＡＤＦ）１６０とを備えている。制御部１１０は、ＯＣＲ処理部１１１（文字認識処理部とも呼ばれる。）と、確度計算部１１２と、誤認識指数計算部１１３と、方向判別部１１４とを備えている。画像形成部１２０は、原稿から画像を読み取って画像データを生成する画像読取部１２１と、画像処理部１２２とを備え、印刷媒体上に画像を形成する。

制御部１１０は、ＲＡＭやＲＯＭ等の主記憶手段、及びＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の制御手段を備えている。また、制御部１１０は、各種Ｉ／Ｏ、ＵＳＢ（ユニバーサル・シリアル・バス）、バス、その他ハードウェア等のインターフェースに関連するコントローラ機能を備え、画像形成装置１００全体を制御する。

記憶部１４０は、非一時的な記録媒体であるハードディスクドライブやフラッシュメモリー等からなる記憶装置で、制御部１１０が実行する処理の制御プログラムやデータを記憶する。記憶部１４０は、さらに誤認識指数データベース１４１と、文字認識辞書１４２とを記憶している。文字認識辞書１４２は、原稿の方向を判別するために使用する文字認識辞書である。

図２は、一実施形態に係る原稿方向調整処理の内容を示すフローチャートである。原稿方向調整処理は、ＡＤＦ１６０を使用して複数の原稿の画像を読み取る際に、原稿の乱丁があっても画像の方向を揃えて印刷媒体上に画像を形成する処理である。なお、原稿方向調整処理は、必ずしも印刷媒体上に画像を形成する場合に限られず、複数ページを有する画像データの生成にも利用可能である。

ステップＳ１０では、ユーザーは、スキャン処理を実行する。スキャン処理では、ユーザーは、ＡＤＦ１６０に複数の原稿をセットし、操作表示部１３０のスタートボタン（図示せず）を押す。

ステップＳ２０では、ＯＣＲ処理部１１１は、文字認識辞書１４２を使用して文字認識処理（ＯＣＲ処理）を実行する。文字認識処理では、ＯＣＲ処理部１１１は、原稿の方向が未知であるとして０度、９０度、１８０度及び２７０度の４方向から文字認識処理を実行する。文字認識処理は、原稿の方向を特定するために行われる。文字の方向は、原稿の方向と一致するからである。

ステップＳ３０では、制御部１１０は、原稿方向判別処理を実行する。原稿方向判別処理は、文字認識処理を使用して原稿方向の相対的な一致性を判別する処理である。本実施形態では、文字認識処理は、特徴ベクトルを使用して認識する方法を採用している。

図３は、一実施形態に係る原稿方向判別処理の内容を示すフローチャートである。ステップＳ３１では、ＯＣＲ処理部１１１は、特徴ベクトル情報取得処理を実行する。特徴ベクトル情報取得処理では、ＯＣＲ処理部１１１は、認識対象である文字の各要素から特徴ベクトル情報を取得する。

図４は、一実施形態に係るベクトル情報取得処理の内容を示す説明図である。図４は、認識対象として、ひらがなの「い」の特徴ベクトル情報を取得する様子を示している。ＯＣＲ処理部１１１は、連続している黒画素を文字として検出し、黒画素で構成されている一つの文字を含む領域を矩形で抽出する。この例では、ＯＣＲ処理部１１１は、「い」の画像を含むＭ×Ｎ（例えば１０×１０）の画素ブロックＴ１を抽出する。

ＯＣＲ処理部１１１は、画素ブロックＴ１において３×３画素のウインドウを使用して黒画素の分布方向を特徴ベクトル情報として検出する。この例では、ＯＣＲ処理部１１１は、ウインドウＴ１ａから主走査方向の特徴ベクトル情報を取得し、ウインドウＴ１ｂから副走査方向に少し傾斜している主走査方向の特徴ベクトル情報を取得することができる。ＯＣＲ処理部１１１は、２つのウインドウＴ１ａ，Ｔ１ｂを含む６４個のウインドウから特徴ベクトル情報を取得することができる。

ステップＳ３２では、ＯＣＲ処理部１１１は、文字特定処理を実行する。文字特定処理では、ＯＣＲ処理部１１１は、取得した特徴ベクトル情報と、文字認識辞書１４２に格納されている各文字の特徴ベクトル情報とを比較して最も一致性が高い文字を認識された文字として特定する。この際の一致性は、認識の確かさを表す０乃至１．０の範囲を有する認識確度として確度計算部１１２によって定量化される。この例では、認識確度は０．８とする。

ステップＳ３３では、確度計算部１１２は、誤認識調整処理を実行する。誤認識調整処理では、確度計算部１１２は、原稿の方向が文字認識で想定されている方向と相違することに起因する誤認識を想定して認識確度を調整する。

具体的には、たとえば「い」を含む画素ブロックＴ１が反時計回りに９０度だけ傾いていた場合に、ＯＣＲ処理部１１１が回転した「い」を画素ブロックＴ２として抽出した場合を仮定する。ＯＣＲ処理部１１１は、２つのウインドウＴ２ａ，Ｔ２ｂを含む６４個のウインドウから特徴ベクトル情報を取得することになる。

この場合、ＯＣＲ処理部１１１は、画素ブロックＴ２が傾いていないとして仮定して文字認識を実行するので、画素ブロックＴ２から取得した特徴ベクトル情報が「こ」を含む画素ブロックＴ３であると誤認識して「こ」であると認識することが考えられる。たとえば２つのウインドウＴ２ａ，Ｔ２ｂから取得される特徴ベクトルがそれぞれ画素ブロックＴ３の２つのウインドウＴ３ａ，Ｔ３ｂの特徴ベクトルと近似すると判定され得るからである。

この場合、確度計算部１１２は、「い」と、反時計回りに９０度だけ回転している「こ」の２ケースを想定し、誤認識調整処理として、０．８の認識確度を半分の０．５とする。「こ」の誤認識では、方向の判別で９０度だけずれた原稿の方向として誤判定することになるからである。

図５は、一実施形態に係る誤認識指数データベース１４１の内容を示す表である。誤認識指数データベース１４１は、相違する複数の文字であって、文字を回転させたときに同じ文字であると誤認識される可能性がある文字をグループ化したデータベースである。誤認識指数データベース１４１は、フィールド（列）として「認識対象」、「誤認識指数」、「誤認識候補」及び「特定誤認識候補」を有している。誤認識指数は、誤認識指数データベース１４１を使用して誤認識指数計算部１１３によって計算される。

認識対象は、認識対象となる原稿上の文字の画像を意味している。誤認識候補は、認識対象を認識する際に誤って認識される可能性がある文字の候補である。特定誤認識候補は、誤認識候補のうち原稿の回転に起因して誤認識が発生する文字の候補である。特定誤認識候補は、誤認識に起因して原稿方向の誤判別の原因となる。一方、特定誤認識候補に該当しない誤認識候補は、誤認識が原稿方向の誤判別の原因とはならない。

本実施形態では、誤認識指数は、原稿の回転に起因する誤認識によって発生する原稿方向の誤判別の可能性の高さを表す指数である。この例では、誤認識指数は、原稿の回転に起因して誤認識される可能性がある文字候補（すなわち、特定誤認識候補）の数である誤認識文字数に基づいて設定される。誤認識指数は、誤認識文字数プラス１（すなわち、誤認識指数＝誤認識文字数＋１）として設定される。具体的には、レコード番号１の「あ」では、特定誤認識候補の数である誤認識文字数がゼロなので、誤認識指数は、１と算出される。一方、レコード番号２の「い」では、特定誤認識候補の数である誤認識文字数が１なので、誤認識指数は、２と算出される。

具体的には、レコード番号２の「い」には、誤認識候補として「こ」と「り」とがある。しかしながら、「い」を「り」と誤認識しても原稿方向の誤判別とはならないので、特定誤認識候補には、「こ」のみが含まれる。よって、たとえば「い」が０．８の認識確度で認識されても、原稿方向には、「い」の認識で判別される方向と「こ」の認識で判別される方向の２つの可能性がある。よって、誤認識指数は２と算出される。誤認識調整処理では、確度計算部１１２は、認識確度を誤認識指数で除することによって認識確度を０．４に調整する（すなわち、調整後認識確度＝調整前認識確度÷誤認識指数）。

さらに、レコード番号１の「あ」には、誤認識候補として「お」がある。しかしながら、「お」と誤認識しても原稿方向の誤判別とはならないので、特定誤認識候補には、何も含まれていない。よって、たとえば「あ」が０．６の認識確度で認識される、「あ」と「お」のいずれで判定されても同一の方向が判別されることになる。よって、誤認識指数は、１と算出される。誤認識調整処理では、確度計算部１１２は、認識確度を０．６のままとする。

さらに、別の例として、認識確度がいずれも０．９の「く」と「え」を例にとって説明する。「く」は、誤認識指数が４なので認識確度が０．２に調整される。一方、「え」は、誤認識指数が１なので認識確度が０．９のままとなる。ただし、誤認識指数は、認識確度を調整する際に必ずしも反比例式としての利用に限定されず、たとえば非線形の変換カーブを使用して画像形成装置１００の特性に応じて誤認識文字数が多いほど認識確度を小さくするように誤認識指数計算部１１３によって計算してもよい。

ステップＳ３４では、方向判別部１１４は、認識確度集計処理を実行する。誤認識調整処理では、確度計算部１１２は、予め設定されている複数の文字の認識確度を集計する。ステップＳ３５では、方向判別部１１４は、集計された認識確度が最も大きな方向を原稿の方向であると判別する。

ステップＳ４０では、方向判別部１１４は、１つ前の原稿の方向との方向の一致性を比較する。方向判別部１１４は、一致している場合には、処理をステップＳ６０に進め、一致していない場合には、処理をステップＳ５０に進める。なお、最初の原稿の場合には、方向判別部１１４は、方向が一致しているものとみなして処理をステップＳ６０に進める。

ステップＳ５０では、画像処理部１２２は、画像回転処理を実行する。画像回転処理では、画像処理部１２２は、１つ前の原稿の方向（補正処理が行われた場合には補正後の方向）との一致するように画像データを補正して画像を回転させる。これにより、複数の原稿の画像データの画像方向が一方向に揃えられることになる。ステップＳ６０では、方向判別部１１４は、回転処理後の原稿の方向を記憶する。方向判別部１１４は、記憶された原稿の方向を使用して次の原稿との方向の一致性を比較する。

ステップＳ７０では、画像形成部１２０は、出力処理を実行する。出力処理では、画像形成部１２０は、回転処理後の画像データに基づいて印刷媒体上に画像を形成する。ステップＳ１０乃至ステップＳ７０の処理は、最終ページまで繰り返して実行される（ステップＳ８０）。

このように、一実施形態に係る画像形成装置１００は、原稿の回転に起因する誤認識によって発生する原稿方向の誤判別の可能性の高さを表す誤認識指数を使用して原稿の方向を判別することができる。これにより、原稿の回転に起因する誤認識の可能性を想定して計算処理の低減と認識精度の向上の少なくとも一方を実現することができる。

本発明は、上記実施形態だけでなく、以下のような変形例でも実施することができる。

変形例１：上記実施形態では、誤認識文字数は、原稿の回転に起因して誤認識される可能性がある文字候補（すなわち、特定誤認識候補）の数であるが、認識の確度のみに着目して原稿の回転の有無にかかわらず誤認識される可能性がある文字候補（すなわち、誤認識候補）の数としてもよい。

変形例２：上記実施形態では、誤認識指数は、特定誤認識候補の数である誤認識文字数のみに基づいて決定されているが、必ずしも誤認識文字数のみに基づいて決定する必要はない。誤認識指数は、たとえば原稿上における認識対象の文字の位置に基づいて決定しても良い。

具体的には、認識対象の文字が予め設定された特定の領域、たとえば各原稿のページ端より１０ｍｍ以内の範囲に存在する場合には、誤認識指数を大きくするように画像形成装置を構成してもよい。本構成は、ページ番号や章タイトルなどが各ページの周辺端に書かれていて、かつ本文の文字方向と異なる場合があることを想定したものである。さらに、画像形成装置は、予め設定されている特定の範囲の文字の誤認識指数を極度に大きくして、その認識結果を無視できるように構成してもよい。

変形例３：上記実施形態では、誤認識指数は、特定誤認識候補の数の増加に応じて増加する１以上の数であるが、１未満の数であってもよい。具体的には、たとえばレコード番号２の「い」が所定の方向の認識処理で「い」と認識され、反時計回りに９０度傾いた方向での認識処理で想定通りに「こ」と認識された場合には、所定の方向の認識処理における「い」の認識確度を高くするために誤認識指数を１未満の数とすることもできる。このように、誤認識指数は、原稿の回転に起因して予め想定されている誤認識をした場合には、認識確度が大きくなるように設定されていてもよい。

変形例４：上記実施形態では、０度、９０度、１８０度及び２７０度の４方向から文字認識処理を実行し、認識確度が最も大きな方向を原稿の方向であると判別しているが、必ずしも４方向から文字認識処理を実行する必要はない。具体的には、たとえば原稿がＡ４サイズ等の長方形である場合には、０度及び１８０度の２方向から文字認識処理を実行すればよい。長方形の原稿では、９０度や２７０度の方向にずれる乱丁が事実上は、発生しないとみなしてよいからである。このように、原稿の画像は、複数の方向のうち少なくとも１つから認識すればよい。

さらに、乱丁は、一部の原稿において発生することが多いので、たとえば特開２００７−０６５８６４号公報に開示されている方法のように、前ページまでの原稿の向き、又は１ページ目から前ページまでで最も多かった原稿の向きに基づいて、１方向から文字認識を行い、文字認識の結果における認識確度が閾値以上であるか否かで原稿の方向が一致しているか否かを判別するようにしてもよい。

変形例５：上記実施形態では、自動原稿送り装置（ＡＤＦ）１６０を使用して複数の原稿を読み取った場合を想定しているが、このような場合に限られず、原稿台に複数の原稿をユーザーの手で順々に裁置する場合にも本発明は適用可能である。これにより、画像形成装置は、ユーザーによる原稿の置き間違えが発生しても原稿画像の方向を揃えることができる。

変形例５：上記実施形態では、本発明は、画像形成装置に適用されているが、画像読取装置にも適用可能である。

１００ 画像形成装置
１１０ 制御部
１１１ ＯＣＲ処理部（文字認識処理部）
１１２ 確度計算部
１１３ 誤認識指数計算部
１１４ 方向判別部
１２０ 画像形成部
１２１ 画像読取部
１２２ 画像処理部
１３０ 操作表示部
１４０ 記憶部
１４１ 誤認識指数データベース
１４２ 文字認識辞書
１６０ 自動原稿送り装置（ＡＤＦ）

Claims (8)

1. 複数の原稿の画像を読み取って画像データを生成する画像読取装置であって、
   前記生成された画像データによって表されている文字を複数の方向のうち少なくとも１つから認識する文字認識処理部と、
   前記原稿の読み取り時に誤認識される可能性がある文字候補の数である誤認識文字数に基づき、前記誤認識文字数が多いほど前記認識の確かさを表す認識確度を小さくするように設定された誤認識指数を計算する誤認識指数計算部と、
   前記誤認識指数を使用して前記認識確度を調整する確度計算部と、
   前記調整された認識確度に基づいて前記原稿の方向を判別する方向判別部と、
   前記判別された原稿方向に基づいて前記画像データを補正して、前記複数の原稿の画像方向を揃える画像処理部と、
   を備える画像読取装置。
2. 請求項１記載の画像読取装置であって、
   前記誤認識文字数は、前記原稿の読み取り時の前記原稿の回転に起因して誤認識される可能性がある文字候補の数である画像読取装置。
3. 請求項１又は２記載の画像読取装置であって、
   前記誤認識指数計算部は、前記認識の対象となる文字が前記原稿における予め設定された特定の領域に存在する場合には、前記認識確度が小さくなるように前記誤認識指数を調整する画像読取装置。
4. 請求項１乃至３のいずれか１項に記載の画像読取装置であって、
   前記確度計算部は、前記認識確度を前記誤認識指数で除することによって前記調整を行う画像読取装置。
5. 請求項１乃至４のいずれか１項に記載の画像読取装置であって、
   前記誤認識指数計算部は、前記認識の対象となる文字が前記原稿の回転に起因して予め想定されている誤認識をした場合には、前記認識確度が大きくなるように前記誤認識指数を調整する画像読取装置。
6. 請求項１乃至５のいずれか１項に記載の画像読取装置と、
   前記複数の原稿の画像方向が揃えられた画像データに基づいて印刷媒体上に画像を形成する画像形成部と、
   を備える画像形成装置。
7. 複数の原稿の画像を読み取って画像データを生成する画像読取方法であって、
   前記生成された画像データによって表されている文字を複数の方向のうち少なくとも１つから認識する文字認識処理工程と、
   前記原稿の読み取り時に誤認識される可能性がある文字候補の数である誤認識文字数に基づき、前記誤認識文字数が多いほど前記認識の確かさを表す認識確度を小さくするように設定された誤認識指数を計算する誤認識指数計算工程と、
   前記誤認識指数を使用して前記認識確度を調整する確度計算工程と、
   前記調整された認識確度に基づいて前記原稿の方向を判別する方向判別工程と、
   前記判別された原稿方向に基づいて前記画像データを補正して、前記複数の原稿の画像方向を揃える画像処理工程と、
   を備える画像読取方法。
8. 複数の原稿の画像を読み取って画像データを生成する画像読取装置を制御するための画像読取プログラムであって、
   前記生成された画像データによって表されている文字を複数の方向のうち少なくとも１つから認識する文字認識処理部、
   前記原稿の読み取り時に誤認識される可能性がある文字候補の数である誤認識文字数に基づき、前記誤認識文字数が多いほど前記認識の確かさを表す認識確度を小さくするように設定された誤認識指数を計算する誤認識指数計算部、
   前記誤認識指数を使用して前記認識確度を調整する確度計算部、
   前記調整された認識確度に基づいて前記原稿の方向を判別する方向判別部、及び
   前記判別された原稿方向に基づいて前記画像データを補正して、前記複数の原稿の画像方向を揃える画像処理部として前記画像読取装置を機能させる画像読取プログラム。