JP3738167B2 - 文字認識装置および方法ならびに文字認識プログラムを記録したコンピュータで読取可能な記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は画像を読取って得られた画像情報中の文字を認識して、文字認識結果を出力する文字認識装置および方法ならびに文字認識プログラムを記録したコンピュータで読取可能な記録媒体に関し、特に、所望される文字の認識結果のみを出力することのできる文字認識装置および方法ならびに文字認識プログラムを記録したコンピュータで読取可能な記録媒体に関する。
【０００２】
【従来の技術】
特開平５−１０８８６５号公報に示されている文字認識装置（以下、従来例１と呼ぶ）は、画像情報を入力し、入力される画像情報において文字認識を行なう領域を指定し、指定される各領域に対して文字認識を行なっていた。このように、文字認識したい画像を表示装置に表示し、ユーザが必要な領域を指定し、指定された領域についてのみ文字認識し、認識結果を出力することができる。
【０００３】
また、特開平４−０４４１８５号公報に示される装置（以下、従来例２と呼ぶ）では、文書画像を自動的に領域分割し、読取を行なった順序で文字コード列を表示し、ユーザがブロックの編集を指示すると、この指示に基づいて、予め読取られた文字コード列を編集するという特徴を有している。このように、文書画像をブロックに分割して、表示装置に表示し、各ブロックについて文字認識の順序などを編集する方法は、従来より提供されていた。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述の従来例１では、領域を選択してから文字認識が行なわれるため、領域指定が必須の作業となり、表示画像が大きければ領域指定は容易であるが、携帯型情報処理端末装置のように表示部における表示領域が小さい場合には、所望の領域を詳細に指定して選択することは極めて困難であった。
【０００５】
また、上述した従来例２における自動領域指定に関する技術は、各ブロックに対して文字の認識順序を指定するために、キーボードなどの入力装置が必要であり、そのため編集処理が煩雑であった。また、ブロックの読取順序の番号を表示するための画面と編集処理を指示するための画面とが１つの画面として重なって表示されていないので、ユーザが読取順序の画面と編集の画面とを切換えながら見比べる必要があり、ユーザの入力時の負担が大きかった。
【０００６】
また、携帯型情報処理装置のように、表示部の表示領域が小さい場合には、画像と読取順序編集画面とを同時に表示することは極めて困難であった。
【０００７】
図１７は、従来の名刺の主面を走査して読み取られた画像を示す図である。図１８（Ａ）と（Ｂ）は、従来の電子的なアドレス帳の登録内容の１例と他の例を示す図である。
【０００８】
上述したような従来例２のように、ブロックの読取順序などの編集作業を行なわず、領域指定をすべて自動で行なう場合には、次のような問題が生じていた。たとえば図１７の名刺の画像を認識して、その認識結果によるデータを電子的なアドレス帳に入力する場合に、ユーザは名刺に書かれた氏名と会社名と電話番号だけのデータを入力したいとする場合であっても、一括に認識結果が出力される場合では、図１８（Ａ）のようにユーザが望まない本社の電話番号などのデータもアドレス帳に入力されてしまっていた。あるいは、図１８（Ｂ）のように認識できなかったデータは、勝手に削除されてしまっていた。
【０００９】
このように、従来の文字認識装置では、ブロックごとに認識結果の出力を許可するか否かの指定、または認識結果の出力順序を指定するための編集作業を容易に行なうことができなかった。
【００１０】
それゆえにこの発明の目的は、文字認識結果の出力作業を所望するようにして簡単に行なうことのできる文字認識装置および方法ならびに文字認識プログラムを記録したコンピュータで読取可能な記録媒体を提供することである。
【００１１】
【課題を解決するための手段】
この発明のある局面に係る文字認識装置は、１つ以上の文字からなる文字列を含む画像の情報を入力する画像情報入力手段と、前記画像情報入力手段により入力された前記画像情報中の前記文字を認識してする認識手段と、表示領域を有して、前記表示領域において前記画像情報入力手段により入力された前記画像情報による画像を、前記表示領域において前記文字列毎のブロックに分別した態様で表示する表示手段と、前記画像が表示された前記表示領域の任意の点が指定された際に、指定された該任意点に対応の前記ブロックに表示されている前記文字列の前記認識手段による認識結果を出力する出力手段とを備えて構成される。
【００１２】
したがって、入力された画像は、文字列毎のブロックに分別された態様で表示領域において表示された際には、表示領域の指定された任意点に対応したブロックの文字列の認識結果が出力される。
【００１３】
それゆえに、ユーザは、文字認識結果が所望される文字列が表示されているブロックに対応の任意点を指定するだけという簡単操作で、表示されている画像中から所望文字列の文字認識結果のみを出力して得ることができる。
【００１４】
また、上述のように任意点を指定するだけ、所望文字列の文字認識結果のみを得ることができるから、携帯型情報処理端末のように表示領域が極めて小さい場合でも、表示領域に表示されている画像の文字列中から、所望する文字列のみの認識結果を簡単、確実に得ることができる。
【００１５】
上述の文字認識装置において、任意点は、前記ブロック毎に予め設定されたブロック点であって、前記出力手段は、前記ブロック点が指定された前記ブロックに表示されている前記認識結果を出力するように構成されてもよい。
【００１６】
したがって、入力された画像は、文字列毎のブロックに分別された態様で表示領域において表示された際には、設定されたブロック点が指定されたブロックのみに表示されている文字列の認識結果が出力される。
【００１７】
このように表示領域において、ブロック点は各ブロックごとに対応付けられているから、ユーザは、文字認識結果が所望される文字列が表示されているブロックに設けられたブロック点を速やかに特定して指定操作できるから、上述したように簡単な操作で、表示されている画像中から所望文字列の文字認識結果のみを出力して得ることができる。
【００１８】
また、上述のようにブロック点を指定するだけ、所望文字列の文字認識結果のみを得ることができるから、携帯型情報処理端末のように表示領域が極めて小さい場合でも、表示領域に表示されている画像の文字列中から、所望する文字列のみの認識結果を簡単、確実に得ることができる。
【００１９】
上述の文字認識装置においては、前記画像情報入力手段から入力された複数の前記画像情報の中から、１つ以上の画像情報を選択するための画像情報選択手段がさらに備えられて、前記画像情報選択手段により選択された前記１つ以上の画像情報について、前記認識手段による処理が施されて、前記認識手段による処理が施された後の前記１つ以上の画像情報の中から指定された１つの画像情報に対して、前記表示手段による処理が施されるように構成されてもよい。
【００２０】
したがって、画像情報入力手段から入力された複数の画像情報中の選択された１つ以上の、言換えると複数の画像情報に対して一括して、認識手段による文字列の認識処理が施される。そして、認識手段による処理が施された後の１つ以上の画像情報の中から指定された１つの画像情報に対して、表示手段による処理が施される。それゆえに、ユーザは、複数の画像情報について上述のような一括認識処理を施した場合であっても、その後に所望する１つの画像情報のみを指定して、表示手段を介して、該所望画像情報から所望する文字列の認識結果を得ることができるから、複数の画像情報を対象とした場合の文字認識作業に関するユーザの負担は軽減される。
【００２１】
上述した文字認識装置においては、前記表示領域において、前記文字列毎のブロックについて、前記認識結果の出力順序を指定するため出力順序指定手段をさらに備えて、前記出力手段は、前記ブロックに表示されている前記文字列の前記認識手段による認識結果を、前記出力順序指定手段により指定された順序に従い出力するよう構成されてもよい。
【００２２】
したがって、ユーザは、出力順序指定手段を介して所望する出力順序を指定するだけで、指定された各ブロックについての文字認識結果を、所望順序に従い出力させることで、文字認識結果の編集作業を出力時点で行なうことができるから利便性に優れる。
【００２３】
上述した文字認識装置において、出力手段は、指定された各ブロックについての前記認識結果を所定媒体に出力するように構成されてもよい。したがって、所望する認識結果のみを所定媒体に、直接に出力して格納することができて利便性に優れる。
【００２４】
上述した文字認識装置において、指定された各ブロックについての前記認識結果は、上述の所定媒体に対応の所定形式に従って変換されながら、前記所定媒体に出力されるようにしてもよい。これにより、上述した所定媒体への認識結果格納時の利便性はさらに向上する。
【００２５】
この発明の他の局面に係る文字認識方法は、１つ以上の文字からなる文字列を含む画像の情報を入力する画像情報入力ステップと、前記画像情報入力ステップにより入力された前記画像情報中の前記文字を認識してする認識ステップと、予め準備された表示領域において前記画像情報入力ステップにより入力された前記画像情報による画像を、前記表示領域において前記文字列毎のブロックに分別した態様で表示する表示ステップと、前記画像が表示された前記表示領域の任意の点が指定された際に、指定された該任意点に対応の前記ブロックに表示されている前記文字列の前記認識ステップによる認識結果を出力する出力ステップとを備えて構成される。
【００２６】
したがって、入力された画像は、文字列毎のブロックに分別された態様で表示領域において表示された際には、表示領域の指定された任意点に対応したブロックの文字列の認識結果が出力される。
【００２７】
それゆえに、ユーザは、文字認識結果が所望される文字列が表示されているブロックに対応の任意点を指定するだけという簡単操作で、表示されている画像中から所望文字列の文字認識結果のみを出力して得ることができる。
【００２８】
また、上述のように任意点を指定するだけ、所望文字列の文字認識結果のみを得ることができるから、携帯型情報処理端末のように表示領域が極めて小さい場合でも、表示領域に表示されている画像の文字列中から、所望する文字列のみの認識結果を簡単、確実に得ることができる。
【００２９】
この発明の更なる他の局面に係る文字認識方法をコンピュータに実行させるための文字認識プログラムを記録したコンピュータで読取可能な記録媒体は、以下の特徴を有する。つまり、該媒体に記録された文字認識プログラムにより実行される文字認識方法は、１つ以上の文字からなる文字列を含む画像の情報を入力する画像情報入力ステップと、前記画像情報入力ステップにより入力された前記画像情報中の前記文字を認識してする認識ステップと、予め準備された表示領域において前記画像情報入力ステップにより入力された前記画像情報による画像を、前記表示領域において前記文字列毎のブロックに分別した態様で表示する表示ステップと、前記画像が表示された前記表示領域の任意の点が指定された際に、指定された該任意点に対応の前記ブロックに表示されている前記文字列の前記認識ステップによる認識結果を出力する出力ステップとを備える。
【００３０】
したがって、該プログラムが実行されることにより、入力された画像は、文字列毎のブロックに分別された態様で表示領域において表示された際には、表示領域の指定された任意点に対応したブロックの文字列の認識結果が出力される。
【００３１】
それゆえに、ユーザは、文字認識結果が所望される文字列が表示されているブロックに対応の任意点を指定するだけという簡単操作で、表示されている画像中から所望文字列の文字認識結果のみを出力して得ることができる。
【００３２】
また、上述のように任意点を指定するだけ、所望文字列の文字認識結果のみを得ることができるから、携帯型情報処理端末のように表示領域が極めて小さい場合でも、表示領域に表示されている画像の文字列中から、所望する文字列のみの認識結果を簡単、確実に得ることができる。
【００３３】
【発明の実施の形態】
（実施の形態１）
この実施の形態では、名刺の主面を走査して読取られた画像データについて文字認識する場合が説明されるが、認識対象となる画像データは、名刺のそれに限定されず、他の画像データであってもよい。
【００３４】
図１は、この発明の実施の形態に係る名刺認識装置の機能構成図である。図２は、本発明の実施の形態に係る名刺認識装置のハードウェア構成図である。
【００３５】
図２において名刺認識装置は、該装置自体を集中的に制御および監視するためＣＰＵ（中央処理装置の略）１、各種のバッファが格納されるバッファメモリ２、メモリ３、画像データが格納される画像データメモリ４、スキャナなどからなり画像データを読取るための画像読取部５、マウスまたはペンなどからなり画像における座標を指定するために操作される画像座標指定部６、各種情報を入力するために操作されるキーボード７、情報を表示するために液晶タブレットまたはＣＲＴ（陰極線管の略）などからなる表示部８、インターネットなどの外部の通信ネットワーク１０と該文字認識装置とを通信接続するための通信Ｉ／Ｆ（インターフェイスの略）９、データおよびプログラムを含む各種の情報を記憶するためのメモリ１１を含む。
【００３６】
メモリ３には、後述する文字特徴辞書３Ａ、後処理用言語辞書３Ｂおよび出力ファイル３Ｃが格納される。出力ファイル３Ｃは、例えば、電子的なアドレス帳に対応する記憶領域である。
【００３７】
バッファメモリ２は、後述する画像バッファ２１、文字矩形バッファ２２、文字画像バッファ２３、文字特徴バッファ２４、認識結果バッファ２５、ブロック分類バッファ２６、指定点座標バッファ２７および出力バッファ２８を含む。
【００３８】
名刺認識装置の機能構成は、図１に示されるように制御部５０、画像入力部３１、文字切出し部３２、文字認識部３３、後処理部３４、ブロック分類部３５、ブロック情報表示部３６、指定点検出部３７、認識結果選別部３８、認識結果抽出部３９、認識結果修正部４０および認識結果出力部４１を含んでなる。
【００３９】
制御部５０はＣＰＵ１により該名刺認識装置の動作を制御するためのものである。画像入力部３１は、画像読取部５により読取られた画像データ、または画像データメモリ４に予め格納された画像データを読込んで、画像バッファ２１に格納する。画像データメモリ４は、たとえばメモリカード、またはハードディスクなどからなる。画像データメモリ４の媒体はこれらに限定されず、光記録媒体または光磁気記録媒体であってもよい。
【００４０】
文字切出し部３２は、画像バッファ２１に格納された画像データから、ブロック、行、文字などを切出し、文字矩形座標を抽出し、文字矩形座標データを文字矩形バッファ２２に格納するとともに、切出された文字の画像データを文字画像バッファ２３に格納する。
【００４１】
文字認識部３３は、特徴抽出処理部、マッチング処理部および文字列生成部などを有して、文字画像バッファ２３中の文字画像データを認識処理し、認識結果得られた文字コードの候補を出力する。具体的には、特徴抽出処理部は、文字画像データから文字の特徴データを抽出し、文字特徴バッファ２４に格納する。マッチング処理部では、複数種類の文字の標準パターンの特徴データとが予め登録されているマッチング辞書（図示省略）の内容と文字特徴バッファ２４中の文字特徴データとの照合により、該文字を認識して、１つ以上の文字コード候補を決定し、これを、文字矩形バッファ２２に予め格納された文字矩形座標データとともに認識結果バッファ２５に格納する。
【００４２】
図３（Ａ）と（Ｂ）は、図１の後処理部３４の処理内容を説明するための図である。後処理部３４では、認識結果バッファ２５中の情報をもとに、単語の照合などにより最適な文字認識結果を出力する。たとえば、後処理前の文字認識結果が図３（Ａ）の場合、第１〜第３候補文字コードの組合せにより得られる複数の文字コード列に基づいて、図３（Ｂ）のように後処理用言語辞書３Ｂ中に登録されている単語を検索し、最適な文字認識結果‘奈良県天理市’となるよう修正するなどの処理を行なう。
【００４３】
図４と図５には、この発明の実施の形態に係る認識結果バッファ２５とブロック分類バッファ２６の内容例が示される。図４の認識結果バッファ２５は、各ブロックに対応して認識結果情報２５ｉ（ｉ＝１，２，３、…、ｎ）を含む。認識結果情報２５ｉは、該ブロックを識別するためのブロック番号ＢＮと、該ブロックにおける文字列ついての１位の認識結果文字列２５Ｂと、対応する文字列中の各文字についての認識候補文字データ２５Ｃと、対応する文字列中の各文字の矩形についての表示部８の表示領域における座標を示す文字矩形座標データ２５Ｄとを含む。ブロック分類部３５は、例えば図４の認識結果バッファ２５の内容を読込み、各ブロックに対応して、認識結果である１位認識結果文字列２５Ｂを項目ごとに分類し、認識結果バッファ２５のブロック番号ＢＮと対応付けて、図５に示されるようにブロック分類バッファ２６にブロック情報データ２６ｉ（ｉ＝１，２、…、ｎ）として格納する。ブロック情報データ２６ｉは、該ブロックを識別するためのブロック番号ＢＮ（図４のブロック番号ＢＮに対応する）、該ブロックに対応した情報の項目名を示す項目名データ２６Ｂおよび該ブロックに対応した表示部８の表示領域における座標を示す座標データ２６Ｃを含む。
【００４４】
図６（Ａ）と（Ｂ）は、本実施の形態において画像がブロックに分別された態様で表示された状態を示す図である。
【００４５】
ブロック情報表示部３６は、ブロック分類バッファ２６中に格納されたブロック情報データ２６ｉを読出し、座標データ２６Ｃに基づいてブロックごとに区別して、画像バッファ２１の画像データを表示部８に表示する。さらに、ユーザが画像座標指定部６を操作することによって指定された座標データを、指定点座標バッファ２７に蓄積するよう格納する。
【００４６】
具体的には、ブロック分類バッファ２６の各ブロック情報データ２６ｉの座標データ２６Ｃを取出し、表示部８の表示領域において該ブロックの領域を反転表示させるなどの分別表示態様により、該ブロックに対応した画像を矩形で囲んで表示する（図６（Ａ）参照）。
【００４７】
指定点検出部３７は、ブロック情報表示部３６により画像が表示された表示部８の領域内の所望する文字列が表示されているブロック上の任意の１点を、ユーザが画像座標指定部６を操作して指定した際に、指定された点の座標値を得て、指定点座標バッファ２７に蓄積して格納する。図６（Ｂ）では、図６（Ａ）の表示状態において、画像座標指定部６により任意の１点が指定されている状態を示す図である。
【００４８】
認識結果選別部３８は、前述のようにして指定されて指定点座標バッファ２７に格納された座標値をもとに、指定されたブロックを選別する。認識結果抽出部３９は、認識結果バッファ２５とブロック分類バッファ２６との内容から、指定されたブロックに関する情報（?）を取出して、出力バッファ２８に格納する。
【００４９】
認識結果出力部４１は、出力バッファ２８に格納された指定ブロックに関する情報を、出力ファイル３Ｃのフォーマットに合わせて、該出力ファイル３Ｃに書込む。
【００５０】
図７（Ａ）と（Ｂ）は、本実施の形態において指定されたブロックに対応の出力例を示す図である。図においては、画像座標指定部６によって指定されたブロック（図７（Ａ）の指定点‘＋’で指定されたブロック）が、認識結果選別部３８および認識結果抽出部３９により選別され、そして抽出され、認識結果出力部３９により出力ファイル３Ｃの所定フォーマットに従って、出力ファイル３Ｃに出力された内容（図７（Ｂ）参照）が示されている。
【００５１】
図８は、この発明の実施の形態に係る名刺認識処理の概略フローチャートである。以下、図８のフローチャートを参照して、名刺認識処理について説明する。
【００５２】
まず、画像入力ステップ（Ｓ８０２）において、画像読取部５に読取られた画像データまたは画像データメモリ４に予め格納された画像データを得て、これを一旦画像バッファ２１に格納する。次に、文字切出しステップ（Ｓ８０３）において、画像バッファ２１に格納された画像データから、ブロック、行、文字が切出されて、文字矩形座標が抽出され、抽出された文字矩形座標データは文字矩形バッファ２２に格納するとともに切出された文字の画像データは文字画像バッファ２３に格納される。
【００５３】
次に、文字認識ステップ（Ｓ８０４）において、文字矩形座標データと文字画像データとから、文字の特徴が抽出されて、抽出された文字の特徴とマッチング辞書（図示省略）に予め登録されている文字の標準パターン特徴との照合により、文字の認識コードの候補を決定して、前述の文字切出しステップ（Ｓ８０３）で抽出された文字の矩形座標データをもとに、文字をまとまりのある文字列にして、該文字列を候補文字データ２５Ｃとして認識結果バッファ２５に格納する。
【００５４】
次の後処理ステップ（Ｓ８０５）においては、認識結果バッファ２５に格納された情報に基づいて、単語照合などの処理により、最適な文字認識結果を得て、これを認識結果バッファ２５に対応の１位認識結果文字列２５Ｂとして格納する。次のブロック分類ステップ（Ｓ８０６）においては、１位認識結果文字列２５Ｂを、項目に分類して文字認識結果バッファ２５の内容と対応付けて、ブロック分類バッファ２６に格納する。なお、項目の分類は、単語のマッチング、あるいは認識結果文字列の画像データにおける位置情報に基づいてなされる。この分類に関する技術は公知のものに従うので、説明は省略する。
【００５５】
次のブロック情報表示ステップ（Ｓ８０７）においては、ブロック分類バッファ２６中のブロックの座標データ２６Ｃを取出して、画像バッファ２１中の画像データをブロックごとに区別した態様で、表示部８に表示する。
【００５６】
指定点検出ステップ（Ｓ８０８）において、ブロック情報表示部３６により表示部８に表示された画像データを、ユーザが画像座標指定部６を操作して、所望の座標（１点）を指定すると、指定された点の座標データを得て、これを指定点座標バッファ２７に蓄積して格納する。
【００５７】
次の指定認識結果選別ステップ（Ｓ８０９）においては、指定点座標バッファ２７に格納された座標データをもとに、認識結果バッファ２５とブロック分類バッファ２６に格納された該指定座標データに対応するブロックの１位認識結果文字列２５Ｂを取出して、出力バッファ２８に格納する。認識結果修正ステップ（Ｓ８１０）において、ユーザは出力バッファ２８に格納された内容は表示部８に表示されるので、表示された内容に誤認識があったことを発見すると、出力バッファ２８に格納された該認識結果の修正作業を、キーボード７などを操作して行なう。その後、認識結果出力ステップ（Ｓ８１１）において、認識結果出力部４１は、出力バッファ２８に格納された情報を出力ファイル３Ｃのフォーマットに従って、該出力ファイル３Ｃに書込む。
【００５８】
図９（Ａ）と（Ｂ）は、図８のブロック情報表示ステップの処理を示すフローチャートと画面表示例を示す図である。前述の文字認識ステップ（Ｓ８０４）による文字認識処理が終了してから、表示部８に表示されたアイコンが画像座標指定部６またはキーボード７により指定されて、ブロック情報表示ステップ（Ｓ８０７）による処理の開始が指示されると、図９（Ａ）の処理が開始される。
【００５９】
まず、図９（Ａ）では、認識結果バッファ２５から１位認識結果文字列２５Ｂの文字コードと文字矩形座標データ２５Ｄが得られる（Ｓ９０２）。次に、ブロック分類バッファ２６から、各ブロックについての座標データ２６Ｃと項目に関する情報（ブロック番号ＢＮと項目名２６Ｂ）が得られる（Ｓ９０３）。次に、画像バッファ２１から画像データが得られる（Ｓ９０４）。次に、得られた画像データ中に座標データ２６Ｃがあるかどうかを判断し（Ｓ９０５）、座標データ２６Ｃがあり、ブロックがあると判定された場合には、そのブロックの座標内の画像データを反転表示させる（Ｓ９０６）。一方、ブロックがない場合は、ブロック情報表示ステップ自体を終了させる（Ｓ９０７）。
【００６０】
図９（Ｂ）には、図９（Ａ）の処理においてブロックに対応の画像の情報を反転表示させた場合の表示例が示される。ここには、１枚の画像に係る画像データを認識処理した直後の表示部８における表示例が示されている。図９（Ｂ）の画面において、画面右上端に表示される出力指定処理を選択するための“ＹＥＳ”のアイコンが画像座標指定部６またはキーボード７により指定されると、次の指定点検出ステップが開始される。
【００６１】
図１０（Ａ）と（Ｂ）は、図８の指定点検出ステップの処理フローチャートと表示画面例を示す図である。前述したブロック情報表示ステップにおいて、出力指定処理が選択されると、図１０（Ｂ）の画面が表示されて、指定点検出ステップの処理を終了するかどうかが判断される（Ｓ１００２）。図１０（Ｂ）は、指定点検出ステップの処理を終了するか否かを指示する操作を促すための表示画面例である。
【００６２】
この指定点検出ステップによる処理の終了を指示するか否かは、図１０（Ｂ）に示される画面右上端の終了アイコン５０の‘ＹＥＳ’（終了を指示する）、または‘ＮＯ’（終了を指示しない）のいずれかが、画像座標指定部６またはキーボード７を用いて指定されることにより判断される。終了しない場合は、ユーザは画像座標指定部６などにより指定点の入力を行なう（Ｓ１００３）。終了する場合は、それまでに指定された点の座標データを指定点座標バッファ２７に出力した後（Ｓ１００６）、出力指定検出ステップを終了する。
【００６３】
前述したようにして指定点が入力されると、その指定点の座標が検出される（Ｓ１００４）。検出された座標は、指定点座標バッファ２７に蓄積して格納される。また、指定点が入力されると、該指定点を矩形領域内に含むブロックが検出されて、図１０（Ｂ）に示されるように、指定済マーク５１（‘＋’）が該検出ブロックに対応して表示されるなどして、画面上において指定されたブロックが一目で判別できるよう表示される（Ｓ１００５）。
【００６４】
図１１（Ａ）と（Ｂ）は、本実施の形態による指定ブロックの表示態様の変更方法の他の例を説明する図である。
【００６５】
なお、指定されたブロックに関する表示態様の変更の方法は、図１０（Ｂ）に示されたものに限定されない。たとえば、図１１（Ａ）および（Ｂ）で示されるようなものであってもよい。図１１（Ａ）では指定点によりブロックが指定される前の画面表示状態が示されている。ここでは、各ブロックごとにアイコン５２が設けられており、このアイコン５２が画像座標指定部６により指定されるか否かにより、該ブロックが指定されたか否かが決定されて、指定された場合には該ブロックの表示態様を図１１（Ｂ）に示すように変更するようにしてもよい。図１１（Ｂ）では、図示されるように、５つのアイコン５２が指定されて、指定された各アイコン５２が反転表示されることにより、該アイコン５２に対応の５つのブロックが指定された状態であることがわかる。また、終了アイコン５０には、指定されたブロックがいくつであるかが示されている。ここでは、指定されたブロックは５個であることが示されている。
【００６６】
次に、Ｓ１００２に戻り、以上の動作が、出力すべきブロックの指定が終了されるまで繰返される。ユーザが出力すべきブロックの指定処理の終了を、アイコン５０の“ＹＥＳ”）を画像座標指定部６により指定することで指示すると、それまでに指定された指定点の座標データは指定点座標バッファ２７に格納される（Ｓ１００６）。その後、処理は終了する。
【００６７】
次に、図８の認識結果選別ステップの処理を説明する。図１２は、図８の認識結果選別ステップの処理フローチャートである。上述したようにして指定点検出ステップの処理が終了すると、図１２の認識結果選別ステップによる処理がスタートする。
【００６８】
まず、指定点座標バッファ２７中に座標データがあるかどうかが判断されて（Ｓ１２０２）、座標データはないと判断されると、認識結果選別ステップの処理は終了する。一方、読出すべき座標データが指定点座標バッファ２７にあれば、指定点座標バッファ２７から指定点の座標データを読出し（Ｓ１２０３）、認識結果バッファ２５からは、読出された指定点の座標データを含むブロックに対応の文字認識結果である１位認識結果文字列２５Ｂを読出し（Ｓ１２０４）、出力バッファ２８に出力する（Ｓ１２０５）。その後、ステップＳ１２０２に戻り、以上の動作を、指定点座標バッファ２７から読出すべき指定点の座標データがなくなるまで（Ｓ１２０２でＮＯとなるまで）繰返す。その後、次の認識結果修正ステップによる処理に移行する。
【００６９】
認識結果修正ステップ（Ｓ８０９）では、前述の認識結果選別ステップにより出力バッファ２８に出力された認識結果の文字列（１位認識結果文字列２５Ｂ）が表示部８に表示される。この表示内容を見たユーザが、認識結果が誤っていると判断した場合は、キーボード７または画像座標指定部６などを操作して、手動で認識結果の修正を行なうことができる。
【００７０】
図７（Ａ）と（Ｂ）を参照して、上述のようにして指定点検出ステップにおいて指定されたブロック（図７（Ａ）参照）の項目名“氏名”、”会社名”、“郵便番号”、“住所”および“電話番号”に対応した認識結果のみが出力ファイル３Ｃに出力されており（図７（Ｂ）参照）、他のブロックに対応の認識結果文字列は出力されていない。前述の認識結果修正ステップ（Ｓ８０９）では、図７（Ａ）で示されるように、認識結果選別ステップで選別されたブロックの文字列だけを修正すれば、修正後の正しい認識結果の文字列が出力ファイル３Ｃに出力される。
【００７１】
その後、認識結果出力ステップ（Ｓ８１０）では、認識結果修正ステップ（Ｓ８０９）で修正された後の認識結果が、出力ファイル３Ｃに該ファイルのフォーマットに変換されて出力される。
【００７２】
このように、ユーザは表示部８に表示される画像データ中の任意の１点を指定することで、文字認識のための画像領域を指定することが可能となるから、該名刺認識装置が携帯型情報処理端末装置に搭載されて、表示部８における画面表示可能な領域が極めて小さい場合でもあっても、所望領域の情報のみを簡単に、かつ確実に指定して文字認識させることができる。
【００７３】
また、認識結果が表示される画面においても、ユーザは任意の１点を指定することにより、対応ブロックの認識結果のみを出力指定することができて、出力指定時のユーザの負担を軽減することができる。
【００７４】
また、ユーザは必要とする認識結果のみを、すなわち出力ファイル３Ｃに出力を所望する認識結果のみを、認識結果選別部３８を介して点指定により指定することができるから、ユーザは容易に所望する認識結果文字列のみを選別して得ることができる。
【００７５】
上述したブロック情報表示部３６は、図１０（Ｂ）に示されるように、ブロック分類バッファ２６中の座標データ２６Ｃに基づいて画像バッファ２１中の入力画像データを、対応文字列のブロックを反転させるなどして表示しているから、ユーザが画像座標指定部６などにより表示画面の任意の１点を指定すると、該指定点の座標が検出される。そして、検出された該座標がブロック分類バッファ２６のどのブロックに含まれるかを検索する機能を有して、指定ブロックが確定した場合には、認識結果バッファ２５から、確定したブロックの認識結果が読出される。このように、ユーザは所望する文字認識領域を１点の指定で確定し取出すことができる。
【００７６】
また、図１１に示されるように、指定する点をアイコンで固定し、ブロック分類バッファ２６にアイコンの座標とブロックを対応付けた情報を用い、アイコンをＯＮした場合、対応するブロックの認識結果を取出し、認識領域を確定する方法でもよい。
【００７７】
また、図１０（Ｂ）のようにブロックの情報を表示したとき、認識領域指定終了スイッチであるアイコンが合わせて表示されて、スイッチを終了（ＹＥＳ）指定すると認識領域指定作業が終了する。このとき、指定されていなかったブロックの認識結果は出力されない。このように、ユーザは、所望しないブロックを指定しないことで、そのブロックの認識結果は出力ファイル３Ｃには出力されない。その結果、出力ファイル３Ｃにはユーザの所望する認識結果（情報）のみを格納することが容易に可能となる。
【００７８】
また、上述したように認識対象の画像データの表示と認識対象となるブロックの表示とを同一画面上で行なって、認識結果の出力の指定が可能である。
【００７９】
また、以下のように、複数の画像データ中から所望する画像データのみについて上述したような一連の処理を実行することもできる。図１３（Ａ）と（Ｂ）は画像リストの表示画面例を示す図である。図１３（Ａ）では、複数の画像データとして、画像ファイル１〜４が準備されており、これら画像データの全ては未認識状態にあることがリスト形式にて示されている。ここで、ユーザにより、画面右下の一括認識を指定するためのアイコン５４がクリックされて、全ての画像データについての文字認識処理が指定されると、図１３（Ｂ）のような画面表示がなされる。この際、リスト表示された各画像データについての認識が順次、該装置の内部で行なわれていく。そして、その旨がアイコン５４が反転表示されていることで報知される。
【００８０】
図１３（Ｂ）では、複数の画像データのうち、１番目の画像データについては認識処理が終了しており、２番目の画像データについては認識処理中であることが示される。ここで、ユーザが、図１３（Ｂ）の認識済みの１番目の画像データに対応した出力指定アイコン５５を操作すると、対応の画像データについて、ブロック情報表示部３６によるブロック情報表示ステップが開始される。なお、ここでは、ある画像データの認識処理が終了したことに応じて、該画像データに対してブロック情報表示ステップによる処理を開始させるとしているが、該処理の開始タイミングは、全ての画像データについての一括認識処理が終了してからであっても良い。
【００８１】
図１４は、この発明の実施の形態による一括認識指定ステップによる処理フローチャートである。一括認識指定ステップによる処理では、まず、画像データメモリ４などに記憶されている複数の画像データの名称などが図１３（Ａ）に示されるようにリスト表示される（Ｓ１４０２）。ここで、前述した一括認識アイコン５４が操作されたか否か、すなわち一括認識処理が指定されたか否かが判断される（Ｓ１４０３）。一括認識が指定された場合は、認識未処理の画像データが画像データメモリ４中にあるかどうかが判断される（Ｓ１４０４）。未処理の画像データがあれば、画像入力部３１により、該画像データを画像データメモリ４から画像バッファ２１などにロードして（Ｓ１４０５）、認識処理を行なう（Ｓ１４０６）その後、Ｓ１４０４の処理に戻り、以下、同様な処理が繰返される。一方、認識未処理の画像データが画像データメモリ４中になければ、認識処理は終了する。
【００８２】
図１５は、本実施の形態による画像リスト中の所望の画像に対して認識領域指定の処理を施して、認識結果を出力する処理のフローチャートである。まず、画像リストが、各画像データに対応して認識処理が終了しているかどうかの情報とともに表示される（Ｓ１５０２：図１３（Ａ）参照）。ユーザにより認識領域指定処理の実行が指定されているか否か判断され（Ｓ１５０３）、認識領域指定処理を実行しない場合は、認識結果はすべて出力ファイル３Ｃに出力される（Ｓ１５０８）。
【００８３】
一方、認識領域指定処理の実行が指定されている場合は、ユーザがターゲットの画像データを画像リストから選択し（Ｓ１５０４）、図９（Ａ）のブロック情報表示ステップにより、ターゲットの画像データについて認識結果が、ブロック情報とともに表示され（Ｓ１５０５）、次に図１０（Ａ）で説明した指定点検出ステップにおいて、ユーザにより指定された指定点が検出される（Ｓ１５０６）。次に、図１２で示した指定領域認識結果選別ステップにより指定されたブロックの認識結果が選別される（Ｓ１５０７）。その後、Ｓ１５０２の処理に戻り、以下同様にして処理が繰返される。
【００８４】
以上のようにすれば、リスト表示された複数の画像データの一括認識が可能な名刺認識装置において、該リスト中から所望の画像データのみを選択し、選択された画像データについてのみ認識領域指定処理を施して、該所望画像データの所望するブロックの認識結果のみを選択的に出力ファイル３Ｃに出力することが可能となる。
【００８５】
図１６は、この発明の実施の形態による指定されたブロックの認識結果の出力順序を指定するための画面表示例を示す図である。図１６では、図１１（Ａ）のアイコン５２が、該アイコン５２に対応したブロックの認識結果の出力順番を指定する番号の入力が可能なようにが拡張されている。このようにして各ブロックの認識結果の出力順番を指定する番号の入力が可能であれば、キーボード７などの操作をすることなく、画像データが表示された画面において、認識結果の出力可否だけではなく、出力の順序も任意に指定できる。
【００８６】
（実施の形態２）
上述の実施の形態１の名刺認識装置は、上述したような画像データにおける文字認識処理を機能させるためのプログラムで実現される。このプログラムは図１に示された画像入力部３１〜認識結果出力部４１を構成するためのプログラムであり、コンピュータで読取可能な記録媒体に格納されている。上述した実施の形態では、この記録媒体として図２に示されている名刺認識装置で処理が行なわれるために必要なメモリ１１、たとえばＲＯＭ（リードオンリーメモリ）のようなそのものであってもよいし、また図示されていないが外部記憶装置としてプログラム読取装置が設けられ、そこに記録媒体を挿入することで読取が可能な記録媒体であってもよい。いずれの場合においても、該記録媒体に格納されているプログラムはＣＰＵ１が直接にアクセスして実行させるような構成であってもよいし、あるいはいずれの場合もこれら記録媒体からプログラムを一旦読出し、読出されたプログラムはＣＰＵ１の図示されない内部の所定のプログラム記憶エリアにロードされて、ＣＰＵ１によりそのプログラムが読出されて実行される方式であってもよい。なお、このロード用のプログラムは予め図２の装置内部に格納されているものとする。
【００８７】
ここで、上述したプログラムを記録した記録媒体は、名刺認識装置の本体と分離可能に構成される記録媒体であってもよい。このような記録媒体としては、磁気テープやカセットテープなどのテープ系、フレキシブルディスクやハードディスクなどの磁気ディスク、ＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤなどの光ディスクのディスク系、ＩＣカード（メモリカードを含む）または光カードなどのカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭなどによる半導体メモリを含めた固定的にプログラムを担持するような記録媒体であってもよい。
【００８８】
また、上述した名刺認識装置は、インターネットを含む通信ネットワーク１０と通信可能な構成を有するから、通信ネットワーク１０から上述したようなプログラムが該装置の所定の記憶領域にダウンロードされるような、流動的にプログラムを担持するような記録媒体であってもよい。なお、このように通信ネットワーク１０からプログラムをダウンロードする場合には、そのダウンロード用プログラムは予め名刺認識装置本体に格納されるか、あるいは別の記録媒体から予め該名刺認識装置内の所定記憶領域にインストールされるものとする。
【００８９】
なお、記録媒体に格納されている情報は、プログラムに限定されず、データであってもよい。
【００９０】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図１】 この発明の実施の形態に係る名刺認識装置の機能構成図である。
【図２】 この発明の実施の形態に係る名刺認識装置のハードウェア構成図である。
【図３】 （Ａ）と（Ｂ）は、図１の後処理部の処理内容を説明するための図である。
【図４】 この発明の実施の形態に係る認識結果バッファの内容例を示す図である。
【図５】 この発明の実施の形態に係るブロック分類バッファの内容例を示す図である。
【図６】 （Ａ）と（Ｂ）は、本実施の形態において画像がブロックに分別された態様で表示された状態を示す図である。
【図７】 （Ａ）と（Ｂ）は、本実施の形態において指定されたブロックに対応の出力例を示す図である。
【図８】 この発明の実施の形態に係る名刺認識処理の概略フローチャートである。
【図９】 （Ａ）と（Ｂ）は、図８のブロック情報表示ステップの処理を示すフローチャートと画面表示例を示す図である。
【図１０】 （Ａ）と（Ｂ）は、図８の指定点検出ステップの処理フローチャートと表示画面例を示す図である。
【図１１】 （Ａ）と（Ｂ）は、本実施の形態による指定ブロックの表示態様の変更方法の他の例を説明する図である。
【図１２】 図８の認識結果選別ステップの処理フローチャートである。
【図１３】 （Ａ）と（Ｂ）は画像リストの表示画面例を示す図である。
【図１４】 この発明の実施の形態による一括認識指定ステップによる処理フローチャートである。
【図１５】 本実施の形態による画像リスト中の所望の画像に対して認識領域指定の処理を施して、認識結果を出力する処理のフローチャートである。
【図１６】 この発明の実施の形態による指定されたブロックの認識結果の出力順序を指定するための画面表示例を示す図である。
【図１７】 従来の名刺の主面を走査して読み取られた画像を示す図である。
【図１８】 （Ａ）と（Ｂ）は、従来の電子的なアドレス帳の登録内容の１例と他の例を示す図である。
【符号の説明】
５ 画像読取部、６ 画像座標指定部、８ 表示部、３１ 画像入力部、３２文字切出し部、３３ 文字認識部、３４ 後処理部、３５ ブロック分類部、３６ ブロック情報表示部、３７ 指定点検出部、３８ 認識結果選別部、３９認識結果抽出部、４０ 認識結果修正部、４１ 認識結果出力部、３Ｃ 出力ファイル。

Claims (5)

1. １つ以上の文字からなる文字列を含む画像の情報を入力する画像情報入力手段と、
   前記画像情報入力手段により入力された前記画像情報中の前記文字を認識する認識手段と、
   表示領域を有して、前記表示領域において前記画像情報入力手段により入力された前記画像情報による画像を、前記表示領域において前記文字列毎のブロックに分別した態様で表示する表示手段と、
   前記画像が表示された前記表示領域において指定される点に対応の前記ブロックに表示されている前記文字列の前記認識手段による認識結果を出力する出力手段とを備え、
   前記画像情報入力手段から入力された複数の前記画像情報について一括認識の指定操作がされると、当該複数の画像情報について順次に前記認識手段による認識処理が施されて、当該順次の認識処理中に、認識済みの画像情報の中から所望の画像情報が選択されると、選択された画像情報を、前記表示手段により前記表示領域において前記文字列毎のブロックに分別した態様で表示することを特徴とする、文字認識装置。
2. 前記指定される点は、前記ブロック毎に予め設定されたブロック点であって、
   前記出力手段は、
   前記ブロック点が指定された前記ブロックに表示されている前記認識結果を出力することを特徴とする、請求項１に記載の文字認識装置。
3. 前記表示領域において、前記文字列毎のブロックについて、前記認識結果の出力順序を指定するため出力順序指定手段をさらに備え、
   前記出力手段は、前記ブロックに表示されている前記文字列の前記認識手段による認識結果を、前記出力順序指定手段により指定された順序に従い出力することを特徴とする、請求項１または２に記載の文字認識装置。
4. １つ以上の文字からなる文字列を含む画像の情報を入力する画像情報入力ステップと、
   前記画像情報入力ステップにより入力された前記画像情報中の前記文字を認識する認識ステップと、
   予め準備された表示領域において前記画像情報入力ステップにより入力された前記画像情報による画像を、前記表示領域において前記文字列毎のブロックに分別した態様で表示する表示ステップと、
   前記画像が表示された前記表示領域において指定される点に対応の前記ブロックに表示されている前記文字列の前記認識ステップによる認識結果を出力する出力ステップとを備え、
   前記画像情報入力ステップにより入力された複数の前記画像情報について一括認識の指定操作がされると、当該複数の画像情報について順次に前記認識ステップによる認識処理が施されて、当該順次の認識処理中に、認識済みの画像情報の中から所望の画像情報が選択されると、選択された画像情報を、前記表示ステップにより前記表示領域において前記文字列毎のブロックに分別した態様で表示することを特徴とする、文字認識方法。
5. 文字認識方法をコンピュータに実行させるための文字認識プログラムを記録したコンピュータで読取可能な記録媒体であって、
   前記文字認識方法は、
   １つ以上の文字からなる文字列を含む画像の情報を入力する画像情報入力ステップと、
   前記画像情報入力ステップにより入力された前記画像情報中の前記文字を認識する認識ステップと、
   予め準備された表示領域において前記画像情報入力ステップにより入力された前記画像情報による画像を、前記表示領域において前記文字列毎のブロックに分別した態様で表示する表示ステップと、
   前記画像が表示された前記表示領域において指定される点に対応の前記ブロックに表示されている前記文字列の前記認識ステップによる認識結果を出力する出力ステップとを備え、
   前記画像情報入力ステップにより入力された複数の前記画像情報について一括認識の指定操作がされると、当該複数の画像情報について順次に前記認識ステップによる認識処理が施されて、当該順次の認識処理中に、認識済みの画像情報の中から所望の画像情報が選択されると、選択された画像情報を、前記表示ステップにより前記表示領域において前記文字列毎のブロックに分別した態様で表示することを特徴とする、文字認識プログラムを記録したコンピュータで読取可能な記録媒体。

Images