JP4150842B2 - 画像認識装置、画像認識方法および画像認識プログラムを記録したコンピュータ読取可能な記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像認識技術に関し、特に、入力された画像データ中の文字画像から文字コードを認識して得られた文字コードデータを、ある特定のフォントで配置した場合でも、元のレイアウトを維持する機能を備えた画像認識技術に関する。
【０００２】
【従来の技術】
画像認識装置は、例えばスキャナ等で原稿を読み取ることにより入力された画像データを解析して、画像データの属性ごとに、文字画像、写真画像、あるいは図表画像が存在する各領域を抽出し、各領域についてそれぞれの属性に応じた認識処理を行う。
【０００３】
最近では、単に文字画像から文字コードを認識して得られた文字コードデータを出力するだけではなく、元の原稿のレイアウトを維持して出力する機能を備えた画像認識装置が提案されてきている。
【０００４】
例えば、文字画像から、フォントサイズや、フォントのタイプ、スタイル（太字、斜体等）などの文字属性を認識し、これらの文字属性をも含めて文字コードデータを出力することにより、原稿レイアウトの維持を図った画像認識装置が知られている。
【０００５】
また、写真画像や図表画像をビットマップデータとして埋め込んだり、段組みを認識してレイアウト枠の形式で記述したりして、各種形式のファイルを作成する画像認識装置も知られている。
【０００６】
【発明が解決しようとする課題】
ところが、上記した従来の画像認識装置は、文字画像から、文字属性としてある程度のフォントのタイプを認識することができるに過ぎない。しかも、例えば原稿上に存在するフォントの種類は非常に多いことから、すべてのフォントを識別することも現実的ではない。また仮に、原稿上のフォントをすべて正確に識別することができ、識別されたフォントを指定して出力したとしても、例えばデータを受け取る側に当該フォントが用意されていなければ、結局のところ正確なフォントでデータを受け取ることはできない。
【０００７】
このため、現実的には、例えば原稿上に存在する数多くの種類のフォント（以下、「入力フォント」ともいう。）は、画像認識装置が文字画像から文字コードを認識して文字コードデータで出力する際に使用する一般的な数種類のフォント（以下、「出力フォント」ともいう。）に対応させられることになる。
【０００８】
したがって、フォントの種類によって文字幅や文字高さが異なることを考えれば、従来の画像認識装置は、例えば原稿を読み取ることによって入力された画像データ中の文字画像から文字コードを認識して得られた文字コードデータを特定の出力フォントで出力した場合、原稿における文字の配置と同じ配置で文字コードデータを出力することができない場合が多くなる。
【０００９】
結果的に、従来の画像認識装置は、原稿レイアウトの維持機能を備えたものであっても、実際上、種々の原稿に対応することが困難である。具体的には、原稿上のフォント、あるいは文字や図形等のレイアウトによっては、原稿を読み取ることによって入力された文字画像から文字コードを認識して得られた文字コードデータを特定の出力フォントで例えば用紙に印刷した場合、以下のような問題があった。
【００１０】
例えば出力フォントの文字幅の方が入力フォントの文字幅よりも大きい場合、原稿を読み取ることにより入力された画像データ中における文字画像が存在する文字領域内に、出力フォントの文字コードデータに変換された文字画像が収まらなくなってしまう事態が発生する。このため、印刷された用紙上で例えば文字と写真とが重なったり、あるいは文字同士が重なったりするという問題があった。さらには、文字列の数が増加してしまって、１頁の原稿を読み取ったにも拘らず、２頁の用紙に印刷されてしまうという問題もあった。一方、用紙上での例えば文字と写真との重なりを避けるために、両者を離間させる処理が実行されると、写真だけが別の頁の用紙に印刷されてしまうこともある。
【００１１】
そこで、本発明の目的は、入力された画像データ中の文字画像から文字コードを認識して得られた文字コードデータをある特定のフォントで配置した場合でも、元のレイアウトを適切に維持しつつ、しかも、文字コードデータを他の文字コードデータや図形画像と重なることなく同一頁内に配置することにある。
【００１２】
【課題を解決するための手段】
本発明の目的は、下記する手段により達成される。
【００１３】
（１） 画像認識装置において、入力された画像データの中から文字画像が存在する文字領域を検出する文字領域検出部と、文字画像から文字コードを認識して文字コードデータを得る文字認識部と、得られた文字コードデータを所定のフォントで配置した場合、前記入力された画像データ中の文字領域から文字コードデータがはみだすか否かを判別する文字領域外判別部と、前記入力された画像データ中の文字領域に隣接し、かつ、文字画像、または非文字である図形画像のいずれをも含まない所定量の未使用部分が存在するか否かを判別する未使用部分判別部と、前記文字領域外判別部により、前記入力された画像データ中の文字領域から文字コードデータがはみだすと判別された場合であって、前記未使用部分判別部により、前記未使用部分が存在すると判別されたとき、文字コードデータが配置される前記文字領域を、前記未使用部分を含めた領域まで拡大する文字領域変更部と、を有することを特徴とする画像認識装置。
【００１４】
（２） 前記文字領域外判別部により、前記入力された画像データ中の文字領域から文字コードデータがはみだすと判別された場合であって、前記未使用部分判別部により、前記未使用部分が存在しないと判別されたとき、当該文字コードデータの文字サイズを小さくする文字サイズ変更部を、さらに有することを特徴とする上記（１）に記載の画像認識装置。
【００１５】
（３） 文字領域内で文字画像が複数の連続しない独立した列を形成しているか否かを判別する列判別部を、さらに有し、前記列判別部により、前記文字領域内の各列が独立した列であると判別された場合、前記文字領域外判別部および前記未使用部分判別部は、前記入力された画像データ中の文字領域に代えて、当該文字領域を列単位で分割した個々の列領域を使用して判別することを特徴とする上記（１）または（２）に記載の画像認識装置。
【００１６】
（４） 前記列判別部は、複数列を形成する文字画像の各列についての、隣接する列に対する始点位置および終点位置の変化量が所定値よりも大きい場合、文字画像が複数の連続しない独立した列を形成していると判別することを特徴とする上記（３）に記載の画像認識装置。
【００１７】
（５） 画像認識装置において、入力された画像データの中から文字画像が存在する文字領域を検出する文字領域検出部と、前記文字領域を含み当該文字領域の背景となる背景領域であって、他の異なった背景領域の内部に存在する文字背景領域を検出する文字背景領域検出部と、文字画像から文字コードを認識して文字コードデータを得る文字認識部と、得られた文字コードデータを所定のフォントで配置した場合、前記入力された画像データ中の文字領域から文字コードデータがはみだすか否かを判別する文字領域外判別部と、前記文字領域外判別部により、前記入力された画像データ中の文字領域から文字コードデータがはみだすと判別された場合、文字コードデータが配置される前記文字領域を前記文字背景領域の範囲内で拡大する文字領域変更部と、前記文字領域変更部により、前記文字領域を前記文字背景領域と一致するまで拡大した場合であって、得られた文字コードデータを所定のフォントで配置したとき、前記文字背景領域から文字コードデータがはみだすか否かを判別する背景領域外判別部と、前記背景領域外判別部により、前記文字背景領域から文字コードデータがはみだすと判別された場合、当該文字コードデータの文字サイズを小さくする文字サイズ変更部と、を有することを特徴とする画像認識装置。
【００１８】
（６） 文字領域内で文字画像が複数の連続しない独立した列を形成しているか否かを判別する列判別部と、前記列判別部により、前記文字領域内の各列が独立した列であると判別された場合、当該各列が、前記文字背景領域内において左寄せ、右寄せ、またはセンタリングのいずれの形式で配置されているかを検出する文字配置検出部と、前記文字配置検出部の検出結果に基づいて、前記各列の配置形式を指定する配置形式指定部と、をさらに有することを特徴とする上記（５）に記載の画像認識装置。
【００１９】
（７） 画像認識方法において、入力された画像データの中から文字画像が存在する文字領域を検出する過程と、文字画像から文字コードを認識して文字コードデータを得る過程と、得られた文字コードデータを所定のフォントで配置した場合、前記入力された画像データ中の文字領域から文字コードデータがはみだすか否かを判別する過程と、前記入力された画像データ中の文字領域に隣接し、かつ、文字画像、または非文字画像である図形画像のいずれをも含まない所定量の未使用部分が存在するか否かを判別する過程と、前記入力された画像データ中の文字領域から文字コードデータがはみだすと判別された場合であって、前記未使用部分が存在すると判別されたとき、文字コードデータが配置される前記文字領域を前記未使用部分を含めた領域まで拡大する過程と、を有することを特徴とする画像認識方法。
【００２０】
（８） 画像認識方法において、入力された画像データの中から文字画像が存在する文字領域を検出する過程と、前記文字領域を含み当該文字領域の背景となる背景領域であって、他の異なった背景領域の内部に存在する文字背景領域を検出する過程と、文字画像から文字コードを認識して文字コードデータを得る過程と、得られた文字コードデータを所定のフォントで配置した場合、前記入力された画像データ中の文字領域から文字コードデータがはみだすか否かを判別する過程と、前記入力された画像データ中の文字領域から文字コードデータがはみだすと判別された場合、文字コードデータが配置される前記文字領域を前記文字背景領域の範囲内で拡大する過程と、前記文字領域を前記文字背景領域と一致するまで拡大した場合であって、得られた文字コードデータを所定のフォントで配置したとき、前記文字背景領域から文字コードデータがはみだすか否かを判別する過程と、前記文字背景領域から文字コードデータがはみだすと判別された場合、当該文字コードデータの文字サイズを小さくする過程と、を有することを特徴とする画像認識方法。
【００２１】
（９） 画像認識プログラムを記録したコンピュータ読取可能な記録媒体であって、入力された画像データの中から文字画像が存在する文字領域を検出する過程と、文字画像から文字コードを認識して文字コードデータを得る過程と、得られた文字コードデータを所定のフォントで配置した場合、前記入力された画像データ中の文字領域から文字コードデータがはみだすか否かを判別する過程と、前記入力された画像データ中の文字領域に隣接し、かつ、文字画像、または非文字画像である図形画像のいずれをも含まない所定量の未使用部分が存在するか否かを判別する過程と、前記入力された画像データ中の文字領域から文字コードデータがはみだすと判別された場合であって、前記未使用部分が存在すると判別されたとき、文字コードデータが配置される前記文字領域を前記未使用部分を含めた領域まで拡大する過程と、をコンピュータに実行させるための画像認識プログラムを記録したコンピュータ読取可能な記録媒体。
【００２２】
（１０） 画像認識プログラムを記録したコンピュータ読取可能な記録媒体であって、入力された画像データの中から文字画像が存在する文字領域を検出する過程と、前記文字領域を含み当該文字領域の背景となる背景領域であって、他の異なった背景領域の内部に存在する文字背景領域を検出する過程と、文字画像から文字コードを認識して文字コードデータを得る過程と、得られた文字コードデータを所定のフォントで配置した場合、前記入力された画像データ中の文字領域から文字コードデータがはみだすか否かを判別する過程と、前記入力された画像データ中の文字領域から文字コードデータがはみだすと判別された場合、文字コードデータが配置される前記文字領域を前記文字背景領域の範囲内で拡大する過程と、前記文字領域を前記文字背景領域と一致するまで拡大した場合であって、得られた文字コードデータを所定のフォントで配置したとき、前記文字背景領域から文字コードデータがはみだすか否かを判別する過程と、前記文字背景領域から文字コードデータがはみだすと判別された場合、当該文字コードデータの文字サイズを小さくする過程と、をコンピュータに実行させるための画像認識プログラムを記録したコンピュータ読取可能な記録媒体。
【００２３】
【発明の実施の形態】
以下、添付した図面を参照して、本発明の実施の形態を説明する。
【００２４】
図１は、本発明の画像認識装置の第１の実施形態に係るデジタルコピー機を含む情報機器システムの構成を示す概略ブロック図である。
【００２５】
図１に示すように、情報機器システム１００は、デジタルコピー機１０、およびコンピュータ５０等の情報機器がネットワークＮ上に接続されて構成されている。
【００２６】
画像認識装置としてのデジタルコピー機１０は、デジタルコピー機の各部を統括制御する主制御部１１と、原稿を読み取って画像データを得るスキャナ部１２と、画像データを解析して、文字画像から文字コードを認識して文字コードデータを得たり、データ圧縮等の処理を行ったりする画像処理部１３と、所定のデータを用紙に印刷するプリント部１４と、あらかじめ作成された所定のプログラムやデータを記憶するＲＯＭ１５と、一時的にデータを記憶するＲＡＭ１６と、各種情報を表示したりユーザーが指示を与えたりするための操作パネル１７と、コンピュータ５０等の各情報機器との間でコマンドやデータの送受信を行うためのインタフェース（Ｉ／Ｆ）１８とを有している。
【００２７】
デジタルコピー機１０とコンピュータ５０とは、ネットワークＮを経由して互いにデータの授受を行うことが可能となっている。例えば、デジタルコピー機１０は、スキャナ部１２で得られた画像データを画像処理部１３で画像処理した上で、コンピュータ５０に送信することができる。また、デジタルコピー機１０は、コンピュータ５０から送信された画像データを受信して、プリント部１４により用紙に印刷することもできる。
【００２８】
すなわち、デジタルコピー機１０は、スキャナ部１２で原稿を読み取ることによって入力された画像データを必要に応じて画像処理した上でプリント部１４で用紙に印刷するコピー機能のほか、スキャナ部１２を独立して使用するスキャン機能や、プリント部１４を独立して使用するプリント機能を有している。
【００２９】
スキャナ部１２で原稿を読み取ることによって入力された画像データは、例えば、画像処理部１３に送られ、画像処理部１３は、画像データに含まれる文字画像から文字コードを認識して文字コードデータに変換した上で、所定の形式のファイルを作成する。作成されたファイルは、デジタルコピー機１０の操作パネル１７によりコンピュータ５０への取り込みが指示された場合、コンピュータ５０に送信され、操作パネル１７によりコピーが指示された場合、プリント部１４に送信される。また、作成されたファイルを、ネットワークＮを介して電子メールに添付して送信することも可能である。
【００３０】
図１に示すように、画像処理部１３は、レイアウト解析部３１、文字認識部３２、フォント認識部３３、文字領域変更部３４、文字サイズ変更部３５、およびファイル作成部３６を備えている。
【００３１】
レイアウト解析部３１は、入力された画像データを解析し、画像データの属性ごとに、文字画像が存在する文字領域、非文字画像である図形画像が存在する写真領域、あるいはグラフやチャートのような、文字画像、および非文字画像である図形画像が混在する図表領域をそれぞれ抽出する。
【００３２】
文字領域内の文字画像は、後述するように、文字認識部３２により文字コードが認識されて、文字コードデータに変換される。写真領域内の図形画像は、入力された画像データのままビットマップデータで、例えばファイルに保存される。なお、図表領域内の文字画像は、ユーザーによる操作パネル１７上での設定の切り替えによって、文字コードデータに変換するか否かが決定される。
【００３３】
文字、写真および図表の各領域の抽出は、既知の方法により行われるが、例えば、文字領域の抽出は、画像データ中で図形的に連結している部分の大きさを測定し、文字画像の方がそれ以外の図形画像に比べて一般にサイズが小さいことを利用して行われる。なお、本実施形態では、レイアウト解析は、多値画像データを使用して行われるが、２値画像データを使用して行ってもよい。
【００３４】
文字認識部３２は、個々の文字画像から文字コードを認識して文字コードデータを得るほか、個々の文字画像の位置情報を認識する。各文字画像の位置情報は、例えば各文字画像の外接矩形の左上および右下の座標として得られる。文字画像から文字コードを認識する方法は、例えば、各文字画像の特徴量とＲＯＭ１５に記憶されている辞書パターンとの一致の度合いに基づいて行われる。
【００３５】
フォント認識部３３は、文字画像から、フォントの種類とフォントサイズとを認識する。フォントは、例えば上記した文字コードデータの認識方法と同様な方法により、所定の数種類の代表的な出力フォントに分類されて判別される。
【００３６】
文字領域変更部３４は、文字コードデータが配置される文字領域を、原稿を読み取ることによって入力された画像データ中の文字領域に対して、広げる調整を行うことができる。また、文字サイズ変更部３５は、文字コードデータの文字サイズを小さくする調整を行うことができる。
【００３７】
ファイル作成部３６は、入力された画像データに対し、文字画像から文字コードを認識して文字コードデータに変換する等の所定の処理を施した上で、所定の形式のファイルを作成する。
【００３８】
次に、このように構成された画像認識装置としてのデジタルコピー機の作用について説明する。
【００３９】
図２は、画像認識処理を示すフローチャート、図３は、図２に示される出力調整処理を示すサブルーチンのフローチャートである。
【００４０】
あらかじめ、スキャナ部１２により原稿を読み取ることによって画像データが入力される。入力された画像データは、多値画像データである。
【００４１】
まず、ＯＣＲ前処理が行われる（Ｓ１１）。このＯＣＲ前処理では、入力された画像データ中のノイズの除去や、原稿が傾いて読み取られた場合の補正処理等が行われる。
【００４２】
次に、レイアウト解析が行われる（Ｓ１２）。図４は、原稿の一例を示す図、図５は、図４の原稿を読み取ることによって入力された画像データをレイアウト解析して文字領域を検出した結果を示す図である。図５に示すように、レイアウト解析部３１により、文字画像が存在する矩形の文字領域Ａ〜Ｅが検出されて、抽出される。なお、図中の文字領域Ａ，Ｂ，Ｃ，Ｅ内における横方向の実線は、個々の文字画像が並んで形成された横の列（以下、「行」という。）を示す。
【００４３】
レイアウト解析の後、文字領域におけるカラーまたはモノクロの多値画像データに対して２値化処理を行うことにより、モノクロ２値画像データを作成する（Ｓ１３）。これにより、モノクロ２値画像データで表現された文字画像が得られることになる。
【００４４】
次いで、文字認識部３２により、個々の文字画像から文字コードが認識されて文字コードデータが得られる。また、個々の文字画像の位置情報が認識される（Ｓ１４）。さらに、フォント認識部３３により、文字画像からフォントの種類とフォントサイズとが認識される（Ｓ１５）。ここで、フォントは、画像認識装置に用意されている数種類の代表的な出力フォントの中から認識される。
【００４５】
そして、得られた文字コードデータをフォント認識部３３により認識された出力フォントで配置すると、原稿を読み取ることによって入力された画像データ中の文字領域から文字コードデータがはみだすか否かを判別し、この判別結果に基づいて、出力調整処理を行う（Ｓ１６）。なお、出力フォントとしては、通常、フォント認識部３３により認識されたフォントが適用されるが、ユーザーが任意に設定し得るように構成することも可能である。
【００４６】
この出力調整処理では、図３に示すように、まず、文字領域内の行のピッチを算出する（Ｓ２１）。行ピッチは、文字領域の高さを行数で割ることにより算出される。ここで、文字領域の高さや幅は、レイアウト解析（Ｓ１２）の結果から得られる。また、行数は、個々の文字画像の位置情報としての外接矩形のｘ座標（横方向の座標）を１文字画像ずつ順に調べていって、上記ｘ座標がマイナス方向（逆方向）に変化した場合に改行があったと判断することにより、得ることができる。但し、行数が１行からなる文字領域については、行ピッチを算出することができない。この場合、行ピッチを設定しないという判断が行われる。
【００４７】
次いで、文字領域内の行が連続行であるか否かの判別を行う（Ｓ２２）。図５の文字領域Ａは、文字領域内の行が連続行である一例を示しており、文字領域Ｂは、文字領域内の行が独立行である一例を示している。
【００４８】
図６は、文字領域内の行が連続行であるか否かの判別方法を説明するための図である。文字領域内の行が連続行であるか否かの判別は、各行の始点位置および終点位置の変化量を検出することにより行うことができる。具体的には、複数行を形成する文字画像の各行についての、隣接する行に対する始点位置および終点位置の変化量の平均値が、所定値よりも大きい場合、文字領域内の行が独立行であると判別し、所定値よりも小さい場合、文字領域内の行が連続行であると判別する。
【００４９】
すなわち、図６に示すように、Ｓi （ｉ＝１，２，…）をｉ行目の始点ｘ座標、Ｅi （ｉ＝１，２，…）をｉ行目の終点ｘ座標、Ｎを行数として、
Σ｛（Ｓi+1 −Ｓi ）＋（Ｅi+1 −Ｅi ）｝／Ｎ
を計算し、当該値の大小により文字領域内の行が連続行であるか否かを判別する。但し、図６に示すように、読点やピリオド等の文の終りを示す文字画像を含む行Ｌは、終点位置の変化量はないものとして計算する。
【００５０】
以上までのステップで、文字領域の高さと幅、行ピッチと行数、文字領域内の行が連続行であるか否かの判別結果、文字コード、フォントサイズ、フォントの種類、各文字画像の位置情報（外接矩形の座標）、および出力に用いるフォントメトリックデータを取得することができる。ここで、フォントメトリックデータとは、フォントの文字幅や文字高さ等の寸法データをいう。本実施形態では、フォントメトリックデータとして、文字幅を用いる。
【００５１】
文字領域内の行が連続行であれば、フォント認識部３３により認識された出力フォントが、原稿上の文字の入力フォントと相違することにより多少文字幅が変化したとしても、原稿を読み取ることによって入力された画像データ中の文字領域に、文字画像から文字コードを認識して得られた文字コードデータが全体として配置することができればよい。一方、文字領域内の行が、連続行ではなく、箇条書き等のように１行１行が別の項目等となっている独立行である場合、ある行の一部をその前後いずれかの行に含めると、文の意味が分かりにくくなり適切ではない。したがって、本実施形態では、文字領域内の行が連続行である場合（Ｓ２３でＹＥＳ）と、独立行である場合（Ｓ２３でＮＯ）とで、文字画像から文字コードを認識して得られた文字コードデータの配置の仕方が変更される。
【００５２】
文字領域内の行が連続行である場合（Ｓ２３でＹＥＳ）、１つの文字領域内に配置することができる文字コードデータ列の幅を計算する（Ｓ２４）。
【００５３】
ここで、注目される文字領域（複数の文字領域のうちのｉ番目；ｉ＝１，２，…）の幅をＸ（ｉ）、行数をＮ（ｉ）とすると、１つの文字領域内に配置することができる文字コードデータ列の幅Ｌorg （ｉ）は、
Ｌorg （ｉ）＝Ｘ（ｉ）・Ｎ（ｉ）
で計算される。
【００５４】
一方、実際に配置する文字コードデータ列の幅Ｌout （ｉ）は、出力に用いるフォントメトリックデータから得られるフォントの文字幅をＷout （ｉ）、配置する個々の文字コードデータの数をＮｃ（ｉ）とすると、
Ｌout （ｉ）＝Ｗout （ｉ）・Ｎｃ（ｉ）
で計算される。
【００５５】
なお、各文字コードデータによって文字幅が異なるフォントを用いる場合、それぞれの文字コードデータに対応する文字幅Ｗout （ｃｉ）を足し合わせる必要があるので、
Ｌout （ｉ）＝ΣＷout （ｃｉ）
となる。
【００５６】
そして、得られた文字コードデータを出力に用いるフォントで配置した場合、原稿を読み取ることによって入力された画像データ中の文字領域から文字コードデータがはみだすか否かを判別する（Ｓ２５）。
【００５７】
すなわち、Ｌout （ｉ）≦Ｌorg （ｉ）ならば、入力された画像データ中の文字領域から文字コードデータがはみだすことはない判別され（Ｓ２５でＹＥＳ）、当該文字領域に、文字コードデータを出力フォントで配置する（Ｓ３１）。
【００５８】
一方、Ｌout （ｉ）＞Ｌorg （ｉ）ならば、入力された画像データ中の文字領域から文字コードデータがはみだすと判別され（Ｓ２５でＮＯ）、文字コードデータが配置される文字領域を、原稿を読み取ることによって入力された画像データ中の文字領域に対して、広げることが可能か否かを判別する。すなわち、入力された画像データ中の文字領域に隣接し、かつ、文字画像、または非文字画像である図形画像のいずれをも含まない所定量の未使用部分が存在するか否かを判別する（Ｓ２６）。
【００５９】
図７は、所定量の未使用部分が存在するか否かを判別する方法を説明するための図である。未使用部分が存在するか否かは、入力された画像データ中のある文字領域Ａに隣接する左右上下の４方向に、順に一定の幅（長さ）ずつ拡大して調べていく。
【００６０】
例えば、まず、文字領域Ａの右方向に隣接した領域Ｍ1 を調べる。領域Ｍ1 の幅は、出力フォントの文字幅Ｗout 程度をとる。ここでは、例えば、領域Ｍ1 の各画素の濃度を多値画像データを用いて調べ、すべての画素の濃度が一定値以下であるときに、領域Ｍ1 は、文字画像、または非文字画像である図形画像のいずれをも含まない未使用部分であると判断する。なお、領域Ｍ1 が未使用部分であるか否かの判断に、２値画像データを用いることも可能である。
【００６１】
領域Ｍ1 が未使用部分である場合、文字領域を上記未使用部分を含めた領域まで拡大したときに、出力フォントの文字コードデータが拡大後の文字領域からはみだすか否かを再度判別する。例えば領域Ｍ1 が未使用部分でない場合、文字領域Ａの右方向には拡大しない。同様にして、領域Ｍ2 〜Ｍ8 について順に未使用部分であるか否かを調べていく。なお、文字領域Ａの上下方向に隣接した領域の幅は、出力フォントの文字高さ程度をとる。
【００６２】
このような方法で、文字領域を未使用部分を含めた領域まで順次拡大したときに、出力フォントの文字コードデータが拡大後の文字領域からはみださずに、すべて収まる場合には、所定量の未使用部分が存在すると判断する（Ｓ２６でＹＥＳ）。そして、文字領域変更部３４により、文字領域を上記未使用部分を含めた領域まで拡大して、文字コードデータを出力フォントで配置する（Ｓ２７）。
【００６３】
一方、所定量の未使用部分が存在しなかった場合（Ｓ２６でＮＯ）、出力フォントの文字コードデータが文字領域にすべて収まるように、当該文字領域内の文字コードデータを、文字サイズ変更部３５により文字サイズを小さくして配置する（Ｓ３０）。文字サイズを小さくするために、本実施形態ではフォントサイズを小さくする方法を採用している。但し、当該文字領域内の全体で倍率を小さく指定する方法を採用することも可能である。
【００６４】
なお、文字領域内の行が独立行である場合（Ｓ２３でＮＯ）、上記した連続行の場合と同様の処理を行単位で行う。すなわち、文字領域を行単位で分割した個々の行領域内に配置することができる文字コードデータ列の幅を計算する（Ｓ２９）。また、所定量の未使用部分が存在するか否かは、上記行領域に隣接する左右の２方向に、順に一定の幅（長さ）ずつ拡大して調べていく。その他の点は、連続行の場合と同様であるので、詳しい説明を省略する。
【００６５】
入力された画像データに複数の文字領域が存在している場合は、すべての文字領域について、上記した出力調整処理（Ｓ１６、Ｓ２１〜Ｓ３１）を行う（Ｓ２８）。
【００６６】
出力調整処理が終了するとメインフローチャートに戻り、出力調整処理が行われた文字領域内の文字コードデータは、例えば他の写真領域内の図形画像等とともに、所定の形式のファイルとして出力される（Ｓ１７）。なお、文字コードデータ等の出力位置は、ファイルの形式によって異なった方法で指定される。
【００６７】
このように、本実施形態によれば、入力された画像データ中の文字画像から文字コードを認識して得られた文字コードデータを、ある特定のフォントで配置した場合でも、元のレイアウトを適切に維持しつつ、しかも、文字コードデータを他の文字コードデータや図形画像と重なることなく同一頁内に配置することができる。
【００６８】
図８は、本発明の画像認識装置の第２の実施形態に係るデジタルコピー機を含む情報機器システムの構成を示す概略ブロック図である。以下、第１の実施形態との相違点について主に説明する。
【００６９】
この実施形態では、図８に示すように、画像処理部１３ａは、レイアウト解析部３１、文字認識部３２、フォント認識部３３、文字領域変更部３４、文字サイズ変更部３５、およびファイル作成部３６に加え、文字背景領域検出部３７、文字配置検出部３８、および配置形式指定部３９を備えている。
【００７０】
図９は、第２の実施形態の画像認識処理を示すフローチャート、図１０は、図９に示される出力調整処理を示すサブルーチンのフローチャートである。
【００７１】
まず、ＯＣＲ前処理（Ｓ４１）、レイアウト解析（Ｓ４２）が、第１の実施形態（図２のＳ１１，Ｓ１２）と同様に行われた後、文字背景領域の検出が行われる（Ｓ４３）。
【００７２】
図１１は、原稿を読み取ることにより得られた画像データをレイアウト解析して文字領域、および文字背景領域を検出した結果の一例を示す図である。
【００７３】
図１１に示すように、レイアウト解析部３１により、文字画像が存在する例えば矩形の文字領域Ｆ，Ｇ等が検出されて、抽出される。また、文字背景領域検出部３７により、文字領域Ｆ，Ｇを含み当該文字領域の背景となる背景領域であって、他の異なった背景領域Ｊの内部に存在する文字背景領域Ｈ，Ｉを検出する。つまり、背景領域Ｊは、例えば原稿の白地領域に対応しており、文字背景領域Ｈ，Ｉは、例えば原稿の白地領域の内部に存在し、白地領域とは異なった領域として識別される領域に対応している。文字背景領域Ｈ，Ｉを検出するためには、例えば多値画像データで、Ｎ×Ｎの最小値フィルタ処理（注目画素の周辺Ｎ×Ｎ画素中の最小値を注目画素の値とする処理）等を行う。これにより文字画像やラインデータ等を除去した後、均一濃度となっている領域である文字背景領域Ｈ，Ｉを検出することができる。検出結果として、文字背景領域Ｈ，Ｉの位置データと、文字背景領域Ｈ，Ｉ内の色データ（モノクロ画像の場合は濃度データ）が得られる。
【００７４】
次いで、２値化処理（Ｓ４４）、文字コード認識処理（Ｓ４５）、フォント認識処理（Ｓ４６）が、第１の実施形態（図２のＳ１３〜Ｓ１５）と同様に行われた後、出力調整処理が行われる（Ｓ４７）。
【００７５】
この出力調整処理では、図１０に示すように、まず、行ピッチの算出（Ｓ５１）、文字領域内の行が連続行であるか否かの判別（Ｓ５２）が、第１の実施形態（図３のＳ２１，Ｓ２２）と同様に行われた後、文字領域が文字背景領域に含まれるか否かの判別が行われる（Ｓ５３）。
【００７６】
例えば図１１に示される文字領域Ｋのように、文字領域が文字背景領域に含まれない場合（Ｓ５３でＮＯ）、第１の実施形態（図３のＳ２３〜Ｓ２７，Ｓ２９〜Ｓ３１）と同様の処理が行われる（Ｓ６５）。
【００７７】
一方、文字領域が文字背景領域に含まれる場合（Ｓ５３でＹＥＳ）、文字領域内の行が独立行であるときは、文字背景領域内での各行の配置を検出する（Ｓ５４）。すなわち、文字配置検出部３８により、当該各行が、文字背景領域内において左寄せ、右寄せ、またはセンタリングのいずれの形式で配置されているかを検出する。
【００７８】
図１２は、各行が文字背景領域内において左寄せ、右寄せ、またはセンタリングのいずれの形式で配置されているかの判別方法を説明するための図である。この判別は、文字領域内の各行の始点位置、終点位置、中央位置の各ｘ座標についての平均値からのずれの合計を求め、ずれ合計が最も少ないのがいずれであるかで行う。
【００７９】
すなわち、図１２に示すように、Ｌj （ｊ＝１，２，…），をｊ行目の始点ｘ座標、Ｒj （ｊ＝１，２，…）をｊ行目の終点ｘ座標、Ｃj （ｊ＝１，２，…）をｊ行目の中央ｘ座標、それぞれの平均値をＬ，Ｒ，Ｃとすると、文字背景領域内での文字領域の配置は、
Ｍｉｎ｛Σ（Ｌj −Ｌ），Σ（Ｒj −Ｒ），Σ（Ｃj −Ｃ）｝＝Σ（Ｌj −Ｌ）
のとき、左寄せ、
Ｍｉｎ｛Σ（Ｌj −Ｌ），Σ（Ｒj −Ｒ），Σ（Ｃj −Ｃ）｝＝Σ（Ｒj −Ｒ）
のとき、右寄せ、
Ｍｉｎ｛Σ（Ｌj −Ｌ），Σ（Ｒj −Ｒ），Σ（Ｃj −Ｃ）｝＝Σ（Ｃj −Ｃ）
のとき、センタリング、
と判別することができる。
【００８０】
また、文字領域内の行が連続行である場合（Ｓ５５でＹＥＳ）、第１の実施形態（図３のＳ２４）と同様にして、１つの文字領域内に配置することができる文字コードデータ列の幅を計算する（Ｓ５６）。一方、文字領域内の行が独立行である場合（Ｓ５５でＮＯ）、第１の実施形態（図３のＳ２９）と同様にして、文字領域を行単位で分割した個々の行領域内に配置することができる文字コードデータ列の幅を計算する（Ｓ６２）。
【００８１】
そして、得られた文字コードデータを出力に用いるフォントで配置した場合、原稿を読み取ることによって入力された画像データ中の文字領域から文字コードデータがはみだすか否かを判別する（Ｓ５７）。入力された画像データ中の文字領域から文字コードデータがはみださない場合は（Ｓ５７でＹＥＳ）、上記第１の実施形態と同様に（図３のＳ３１）、当該文字領域に、文字コードデータを出力フォントで配置する（Ｓ６４）。
【００８２】
但し、この第２の実施形態では、入力された画像データ中の文字領域から文字コードデータがはみだす場合（Ｓ５７でＮＯ）の処理が第１の実施形態と相違している。すなわち、第１の実施形態のように左右上下方向に隣接する所定量の未使用部分が存在するか否かを判別するのではなく、文字コードデータが配置される文字領域を、文字背景領域の範囲内で左右または上下方向に均等に、文字コードデータが収まるまで拡大していったときに、文字コードデータが文字背景領域の範囲内で収まるか否かを判断する（Ｓ５８）。
【００８３】
文字コードデータが文字背景領域の範囲内で収まる場合（Ｓ５８でＹＥＳ）、文字領域変更部３４により、文字コードデータが配置される文字領域を文字背景領域の範囲内で拡大して、文字コードデータを出力フォントで配置する（Ｓ５９）。
【００８４】
一方、文字コードデータが配置される文字領域を文字背景領域と一致するまで拡大した場合でも、文字コードデータが文字背景領域の範囲内で収まらない場合（Ｓ５８でＮＯ）、出力フォントの文字コードデータが文字領域にすべて収まるように、当該文字領域内の文字コードデータを、文字サイズ変更部３５により文字サイズを小さくして配置する（Ｓ６３）。
【００８５】
次に、文字領域内の行が独立行であるときは、文字配置検出部３８の検出結果に基づいて、配置形式指定部３９により、各行の配置形式を指定する（Ｓ６０）。
【００８６】
入力された画像データに複数の文字領域が存在している場合は、すべての文字領域について、上記した出力調整処理（Ｓ４７、Ｓ５１〜Ｓ６５）を行う（Ｓ６１）。
【００８７】
出力調整処理が終了するとメインフローチャートに戻り、出力調整処理が行われた文字領域内の文字コードデータは、例えば他の写真領域内の図形画像等とともに、所定の形式のファイルとして出力される（Ｓ４８）。なお、文字背景領域内における左寄せ、右寄せ、またはセンタリングの配置形式を含む文字コードデータ等の出力位置は、ファイルの形式によって異なった方法で指定される。
【００８８】
このように、第２の実施形態によれば、第１の実施形態と同一の効果を得ることができることに加え、文字領域が文字背景領域に含まれている場合には、得られた文字コードデータを、ある特定のフォントで配置した場合でも、文字背景領域の範囲内で配置することができ、元のレイアウトを適切に維持しつつ、しかも、文字コードデータを他の文字コードデータや図形画像と重なることなく同一頁内に配置することができる。また、文字背景領域内における各行の左寄せ、右寄せ、またはセンタリングの形式を保って配置させることができる。
【００８９】
本発明は、上記した実施形態のみに限定されるものではなく、特許請求の範囲内において、種々改変することができる。
【００９０】
例えば、上記実施形態では、画像認識装置としてデジタルコピー機を例に挙げて説明したが、本発明の画像認識装置はこれに限定されるものではなく、例えばスキャナから画像データを受信して同様の処理をコンピュータで行うシステム、同様の処理をスキャナで行ってコンピュータやプリンタ等に送信するシステム、スキャナから直接画像データを受信してプリンタで同様の処理を行うシステム等にも適用することが可能である。
【００９１】
なお、上記した実施形態において、画像認識の制御は、上記した処理手順（図２、図３等参照）を記述した所定のプログラムを主制御部１１が実行することによって行われるものであり、この所定のプログラムは、コンピュータ読取可能な記録媒体（例えば、フロッピーディスクやＣＤ−ＲＯＭ等）によって提供されることもできる。また、この所定のプログラムは、上記各処理を実行するアプリケーションソフトウェアとして提供されてもよいし、コンピュータやデジタルコピー機等の各情報機器や管理サーバの一機能として各情報機器や管理サーバのソフトウェアに組み込んでもよい。
【００９２】
【発明の効果】
以上説明したように、本発明によれば、入力された画像データ中の文字画像から文字コードを認識して得られた文字コードデータを、ある特定のフォントで配置した場合でも、元のレイアウトを適切に維持しつつ、しかも、文字コードデータを他の文字コードデータや図形画像と重なることなく同一頁内に配置することができる。
【００９３】
また、文字領域が文字背景領域に含まれている場合、文字背景領域を検出することにより、得られた文字コードデータを、ある特定のフォントで配置した場合でも、文字背景領域の範囲内で配置することができる。さらに、文字背景領域内で文字画像が複数の独立した列を形成している場合、各列が文字背景領域内において左寄せ、右寄せ、またはセンタリングのいずれの形式で配置されているかを検出することにより、当該配置形式を保つことができる。
【図面の簡単な説明】
【図１】 本発明の画像認識装置の第１の実施形態に係るデジタルコピー機を含む情報機器システムの構成を示す概略ブロック図である。
【図２】 画像認識処理を示すフローチャートである。
【図３】 図２に示される出力調整処理を示すサブルーチンのフローチャートである。
【図４】 原稿の一例を示す図である。
【図５】 図３の原稿を読み取ることによって入力された画像データをレイアウト解析して文字領域を検出した結果を示す図である。
【図６】 文字領域内の行が連続行であるか否かの判別方法を説明するための図である。
【図７】 所定量の未使用部分が存在するか否かを判別する方法を説明するための図である。
【図８】 本発明の画像認識装置の第２の実施形態に係るデジタルコピー機を含む情報機器システムの構成を示す概略ブロック図である。
【図９】 第２の実施形態の画像認識処理を示すフローチャートである。
【図１０】 図９に示される出力調整処理を示すサブルーチンのフローチャートである。
【図１１】 原稿を読み取ることにより得られた画像データをレイアウト解析して文字領域、および文字背景領域を検出した結果の一例を示す図である。
【図１２】 各行が文字背景領域内において左寄せ、右寄せ、またはセンタリングのいずれの形式で配置されているかの判別方法を説明するための図である。
【符号の説明】
１０…デジタルコピー機（画像認識装置）、
３１…レイアウト解析部（文字領域検出部）、
３２…文字認識部、
３４…文字領域変更部、
３５…文字サイズ変更部、
３７…文字背景領域検出部、
３８…文字配置検出部、
３９…配置形式指定部、
Ａ〜Ｇ…文字領域、
Ｈ，Ｉ…文字背景領域。

Claims (10)

1. 画像認識装置において、
   入力された画像データの中から文字画像が存在する文字領域を検出する文字領域検出部と、
   文字画像から文字コードを認識して文字コードデータを得る文字認識部と、
   得られた文字コードデータを所定のフォントで配置した場合、前記入力された画像データ中の文字領域から文字コードデータがはみだすか否かを判別する文字領域外判別部と、
   前記入力された画像データ中の文字領域に隣接し、かつ、文字画像、または非文字である図形画像のいずれをも含まない所定量の未使用部分が存在するか否かを判別する未使用部分判別部と、
   前記文字領域外判別部により、前記入力された画像データ中の文字領域から文字コードデータがはみだすと判別された場合であって、前記未使用部分判別部により、前記未使用部分が存在すると判別されたとき、文字コードデータが配置される前記文字領域を、前記未使用部分を含めた領域まで拡大する文字領域変更部と、
   を有することを特徴とする画像認識装置。
2. 前記文字領域外判別部により、前記入力された画像データ中の文字領域から文字コードデータがはみだすと判別された場合であって、前記未使用部分判別部により、前記未使用部分が存在しないと判別されたとき、当該文字コードデータの文字サイズを小さくする文字サイズ変更部を、さらに有することを特徴とする請求項１に記載の画像認識装置。
3. 文字領域内で文字画像が複数の連続しない独立した列を形成しているか否かを判別する列判別部を、さらに有し、
   前記列判別部により、前記文字領域内の各列が独立した列であると判別された場合、前記文字領域外判別部および前記未使用部分判別部は、前記入力された画像データ中の文字領域に代えて、当該文字領域を列単位で分割した個々の列領域を使用して判別することを特徴とする請求項１または２に記載の画像認識装置。
4. 前記列判別部は、複数列を形成する文字画像の各列についての、隣接する列に対する始点位置および終点位置の変化量が所定値よりも大きい場合、文字画像が複数の連続しない独立した列を形成していると判別することを特徴とする請求項３に記載の画像認識装置。
5. 画像認識装置において、
   入力された画像データの中から文字画像が存在する文字領域を検出する文字領域検出部と、
   前記文字領域を含み当該文字領域の背景となる背景領域であって、他の異なった背景領域の内部に存在する文字背景領域を検出する文字背景領域検出部と、
   文字画像から文字コードを認識して文字コードデータを得る文字認識部と、
   得られた文字コードデータを所定のフォントで配置した場合、前記入力された画像データ中の文字領域から文字コードデータがはみだすか否かを判別する文字領域外判別部と、
   前記文字領域外判別部により、前記入力された画像データ中の文字領域から文字コードデータがはみだすと判別された場合、文字コードデータが配置される前記文字領域を前記文字背景領域の範囲内で拡大する文字領域変更部と、
   前記文字領域変更部により、前記文字領域を前記文字背景領域と一致するまで拡大した場合であって、得られた文字コードデータを所定のフォントで配置したとき、前記文字背景領域から文字コードデータがはみだすか否かを判別する背景領域外判別部と、
   前記背景領域外判別部により、前記文字背景領域から文字コードデータがはみだすと判別された場合、当該文字コードデータの文字サイズを小さくする文字サイズ変更部と、
   を有することを特徴とする画像認識装置。
6. 文字領域内で文字画像が複数の連続しない独立した列を形成しているか否かを判別する列判別部と、
   前記列判別部により、前記文字領域内の各列が独立した列であると判別された場合、当該各列が、前記文字背景領域内において左寄せ、右寄せ、またはセンタリングのいずれの形式で配置されているかを検出する文字配置検出部と、
   前記文字配置検出部の検出結果に基づいて、前記各列の配置形式を指定する配置形式指定部と、をさらに有することを特徴とする請求項５に記載の画像認識装置。
7. 画像認識方法において、
   入力された画像データの中から文字画像が存在する文字領域を検出する過程と、
   文字画像から文字コードを認識して文字コードデータを得る過程と、
   得られた文字コードデータを所定のフォントで配置した場合、前記入力された画像データ中の文字領域から文字コードデータがはみだすか否かを判別する過程と、
   前記入力された画像データ中の文字領域に隣接し、かつ、文字画像、または非文字画像である図形画像のいずれをも含まない所定量の未使用部分が存在するか否かを判別する過程と、
   前記入力された画像データ中の文字領域から文字コードデータがはみだすと判別された場合であって、前記未使用部分が存在すると判別されたとき、文字コードデータが配置される前記文字領域を前記未使用部分を含めた領域まで拡大する過程と、
   を有することを特徴とする画像認識方法。
8. 画像認識方法において、
   入力された画像データの中から文字画像が存在する文字領域を検出する過程と、
   前記文字領域を含み当該文字領域の背景となる背景領域であって、他の異なった背景領域の内部に存在する文字背景領域を検出する過程と、
   文字画像から文字コードを認識して文字コードデータを得る過程と、
   得られた文字コードデータを所定のフォントで配置した場合、前記入力された画像データ中の文字領域から文字コードデータがはみだすか否かを判別する過程と、
   前記入力された画像データ中の文字領域から文字コードデータがはみだすと判別された場合、文字コードデータが配置される前記文字領域を前記文字背景領域の範囲内で拡大する過程と、
   前記文字領域を前記文字背景領域と一致するまで拡大した場合であって、得られた文字コードデータを所定のフォントで配置したとき、前記文字背景領域から文字コードデータがはみだすか否かを判別する過程と、
   前記文字背景領域から文字コードデータがはみだすと判別された場合、当該文字コードデータの文字サイズを小さくする過程と、
   を有することを特徴とする画像認識方法。
9. 画像認識プログラムを記録したコンピュータ読取可能な記録媒体であって、
   入力された画像データの中から文字画像が存在する文字領域を検出する過程と、
   文字画像から文字コードを認識して文字コードデータを得る過程と、
   得られた文字コードデータを所定のフォントで配置した場合、前記入力された画像データ中の文字領域から文字コードデータがはみだすか否かを判別する過程と、
   前記入力された画像データ中の文字領域に隣接し、かつ、文字画像、または非文字画像である図形画像のいずれをも含まない所定量の未使用部分が存在するか否かを判別する過程と、
   前記入力された画像データ中の文字領域から文字コードデータがはみだすと判別された場合であって、前記未使用部分が存在すると判別されたとき、文字コードデータが配置される前記文字領域を前記未使用部分を含めた領域まで拡大する過程と、
   をコンピュータに実行させるための画像認識プログラムを記録したコンピュータ読取可能な記録媒体。
10. 画像認識プログラムを記録したコンピュータ読取可能な記録媒体であって、
    入力された画像データの中から文字画像が存在する文字領域を検出する過程と、
    前記文字領域を含み当該文字領域の背景となる背景領域であって、他の異なった背景領域の内部に存在する文字背景領域を検出する過程と、
    文字画像から文字コードを認識して文字コードデータを得る過程と、
    得られた文字コードデータを所定のフォントで配置した場合、前記入力された画像データ中の文字領域から文字コードデータがはみだすか否かを判別する過程と、
    前記入力された画像データ中の文字領域から文字コードデータがはみだすと判別された場合、文字コードデータが配置される前記文字領域を前記文字背景領域の範囲内で拡大する過程と、
    前記文字領域を前記文字背景領域と一致するまで拡大した場合であって、得られた文字コードデータを所定のフォントで配置したとき、前記文字背景領域から文字コードデータがはみだすか否かを判別する過程と、
    前記文字背景領域から文字コードデータがはみだすと判別された場合、当該文字コードデータの文字サイズを小さくする過程と、
    をコンピュータに実行させるための画像認識プログラムを記録したコンピュータ読取可能な記録媒体。

Images