JP3750406B2 - Document filing device - Google Patents
Document filing device Download PDFInfo
- Publication number
- JP3750406B2 JP3750406B2 JP07505699A JP7505699A JP3750406B2 JP 3750406 B2 JP3750406 B2 JP 3750406B2 JP 07505699 A JP07505699 A JP 07505699A JP 7505699 A JP7505699 A JP 7505699A JP 3750406 B2 JP3750406 B2 JP 3750406B2
- Authority
- JP
- Japan
- Prior art keywords
- character
- correction
- search information
- area
- document image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Character Input (AREA)
- Processing Or Creating Images (AREA)
- Character Discrimination (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、文書画像を検索するための検索情報に含まれる誤りを修正する文書ファイリング装置に関するものである。
【0002】
【従来の技術】
文書画像をファイリングする文書ファイリング装置において、文書画像を登録する際は文書画像の文字認識結果を検索情報としてデータベースに保管し、文書画像を検索する際はユーザが入力したキーワードを検索情報中に含む文書画像をユーザに提示するものがある。このような文書ファイリング方法として、例えば特開平6−28588号公報に記載のものがある。以下、この従来の文書ファイリング方法について説明する。
【0003】
図17は、従来の文書ファイリング方法を示す文書ファイリング装置の構成図である。図において、1はスキャナ、2は文字認識装置、3は文書画像データベース、4は検索情報データベース、5は検索エンジン、6は検索端末である。
【0004】
図18は、検索情報の内容を説明する図である。図において、50は文書画像を文字認識して得た文字コードデータ、51は認識された各文字が文書画像上のどこにあるかを示す文字位置データである。
【0005】
図19は、検索結果の表示状態を示す図である。図において、52は検索でヒットした文書画像、53はキーワードにヒットした文書画像上の領域を示す枠線である。
【0006】
以下、従来の文書ファイリング方法の動作を図を参照して説明する。なお、この説明は文書画像の登録処理と検索処理とに分けて行う。
まず、文書画像の登録処理では、登録したい紙の文書をスキャナ1で読み取り文書画像を作成する。この文書画像は、文書画像を蓄積するためのデータベースである文書画像データベース3に保存されると共に、文字認識装置2に送られる。
【0007】
文字認識装置2は、スキャナ1で読み取った文書画像中の文字を認識して、その文書画像に対する検索情報を作成する。この検索情報は、図18に示すように、文書画像中の文字を認識して得た文字コードデータ50と認識した各文字が文書画像上のどこにあったかを示す文字位置データ51とを含む。文字位置データ51は各文字の外接矩形が持つ左上点座標(X,Y)と外接矩形の幅W,高さHから成る。
最後に、作成した検索情報は文書画像データベース3に保存した文書画像と対応付けて検索情報データベース4に保存される。以上が文書画像の登録処理である。
【0008】
次に、文書画像の検索処理について説明する。検索する際、ユーザは所望のキーワードを検索端末6から打ち込み、検索エンジン5に入力する。
検索エンジン5は、検索情報データベース4に保存された文書毎の検索情報を参照し、その文字コードデータ50中からキーワードを探す。キーワードが見つかった場合、キーワードが文書画像上のどの位置にあるかを調べる。具体的には、キーワードと一致した各文字コードが持つ文書画像上の領域を文字位置データ51から求め、それらの文字コードを内包する1個の矩形領域をキーワードとヒットした文書画像上の領域と判定する。その後、キーワードを含む文書の文書画像を文書画像データベース3から取り出し、キーワードとヒットした文書画像上の領域と共に検索端末6へ送出する。
【0009】
検索端末6では、検索エンジン5から送られた文書画像上にキーワードとヒットした文書画像上の領域を囲む枠線を描き、モニタに表示する。図19は“文書ファイリング” というキーワードで検索した場合の例である。図に示すように、検索でヒットした文書画像52上にキーワードを含む領域が枠線53で囲まれて表示される。これにより文書画像中のどこにキーワードが含まれているかが容易に分かる。以上が文書画像の検索処理である。
【0010】
【発明が解決しようとする課題】
以上説明したように、従来の文書ファイリング方法では、文字認識結果から検索情報を作成する場合は、検索情報を自動的に作成できる。しかし、文字認識結果が誤っている場合は検索性能が低下する問題がある。文字認識結果の誤りには、
(1)1文字を複数個の文字に分割したり、複数個の文字を1文字として認識する文字切り出し誤り、
(2)類似した別の文字に間違う誤識別、
(3)文字を図等と判定して認識しない文字列抽出誤り、
(4)図や写真の一部等を文字として認識する文字の湧き出し誤り、がある。検索の際、(1)と(2)では認識結果の文字コードが誤っているため余計な文書がヒットしたり所望の文書がヒットしない、(3)では正しい文字認識結果が欠けているために所望の文書がヒットしない、(4)では検索情報に余計な文字コードが含まれるため余計な文書がヒットする、等の検索性能の低下が生じる。
【0011】
また、文字認識結果の誤りに関しては、1つの文字パターンに対して複数個の候補文字や、文字パターンの大まかな形状を示す特徴等を付加情報として検索情報に加えておき、文字コードデータとキーワードが一致しない場合でもキーワードと付加情報とを照合することで所望の文書がヒットできる方法があるが、付加情報を持つことで検索の取りこぼしは少なくなるが、余計な文書が誤って検索される問題がある。
【0012】
本発明は、上記のような課題を解決するためになされたものであり、検索性能が低下することのないように検索情報を修正又は削除することができる文書ファイリング装置を提供することを目的とする。
【0013】
なお、認識結果の修正は従来の文字認識装置で一般に行われている。しかし、これは正確なテキストを作成するために認識結果の文字コードを編集するものであり、文字位置データを修正する機能は持たない。そのため、従来の文字認識装置で用いられた認識結果の修正手段は検索情報の修正に使用できない。
【課題を解決するための手段】
第1の発明は、スキャナで読み取った文書画像が保存される文書画像データベースと、
上記スキャナで読み取った上記文書画像中の文字の文字コードデータと文字の外接矩形の位置を示す文字位置データとにより構成され、上記文書画像中の修正対象文字の領域を選択するための検索情報を作成する文字認識手段と、
上記文字認識手段により作成された上記検索情報を保存する検索情報データベースと、
上記文書画像データベースに保存された上記文書画像と上記検索情報データベースに保存された上記検索情報とを表示領域に表示し、この表示した文書画像と検索情報とに基づいて上記文書画像の修正又は削除を要する修正領域が選択され、上記修正領域に修正文字が入力されると、入力された上記修正文字の外接矩形の位置を求め、上記修正文字と上記修正文字の外接矩形の位置とに基づいて上記検索情報データベースに保存された上記修正領域の修正対象文字の上記文字コードデータを上記修正文字の文字コードデータに置き換えると共に上記修正対象文字の上記文字位置データを上記修正文字の文字位置データに置き換え、又上記修正領域の修正対象文字が削除されると、上記検索情報データベースに保存された上記修正対象文字の上記文字コードデータと上記文字位置データとを削除する検索情報修正手段と、を備えたものである。
【0014】
第2の発明は、上記修正領域に修正文字が入力されると、上記修正文字の数で上記修正領域を等分割した矩形領域を上記修正文字の外接矩形の位置として求め、この求めた修正文字の外接矩形の位置と上記修正文字とに基づいて、上記検索情報データベースに保存された上記修正対象文字の文字コードデータと文字位置データとを上記修正文字の文字コードデータと文字位置データとに置き換える検索情報修正手段を備えたものである。
【0015】
第3の発明は、文字毎の平均文字幅を保存したテーブルを備え、
上記検索情報修正手段は、上記修正領域に修正文字が入力されると、上記テーブルに保存された文字毎の平均文字幅で上記修正領域を分割した矩形領域を修正文字の外接矩形の位置として求め、この求めた修正文字の外接矩形の位置と上記修正文字とに基づいて、上記検索情報データベースに保存された上記修正対象文字の文字コードデータと文字位置データとを上記修正文字の文字コードデータと文字位置データとに置き換えるものである。
【0016】
第4の発明は、上記修正領域に入力された修正文字の数と上記修正領域の修正対象文字の数とが等しい時には、上記修正対象文字の外接矩形の位置を上記修正文字の外接矩形の位置とし、上記検索情報データベースに保存された上記修正対象文字の文字コードデータを上記修正文字の文字コードデータに置き換える検索情報修正手段を備えたものである。
【0017】
第5の発明は、求めた上記修正文字の外接矩形の位置に修正を要する時は、上記検索情報の書き換えを指示するオペレータにより修正文字の外接矩形の位置が新たに修正され、上記検索情報データベースに保存された上記修正文字の文字位置データを新たに修正された上記修正文字の文字位置データに書き換える検索情報修正手段を備えたものである。
【0018】
第6の発明は、上記文書画像中から所定の文字を検索するためのキーワードが入力されると、このキーワードを構成する文字の文字コードデータと文字位置データとを上記検索情報データベースより検索し、この検索した文字コードデータと文字位置データとに基づいて上記文書画像中の上記キーワードの領域を求め、このキーワードの領域を上記文書画像データベースに保存された上記文書画像と共に送出する検索手段を備え、
上記検索情報修正手段は、上記検索手段により送出された上記キーワードの領域に基づいて、上記キーワードの領域を枠線で囲った上記文書画像を第2の表示領域に表示し、この枠線で囲った領域を、修正又は削除を要する修正領域として選択するものである。
【0019】
第7の発明は、上記スキャナで読み取った上記文書画像中の文字の文字コードデータと、文字の外接矩形の位置を示す文字位置データと、文字毎の候補文字と文字の大まかな形状とを含み上記文書画像中の修正対象文字の領域を選択するための付加情報と、により構成された検索情報を作成する文字認識手段と、
上記検索情報データベースに保存された付加情報に基づいて修正対象文字を選択し、上記検索情報の上記文字コードデータと上記文字位置データとを置き換え又は削除した後に、上記付加情報を削除する検索情報修正手段と、を備えたものである。
【0020】
【発明の実施の形態】
実施の形態1.
以下、本発明の実施の形態1を図を参照して説明する。
図1は、実施の形態1の文書ファイリング装置の構成図である。図中、従来の技術と同一又は相当する部分は同一の符号を付し、その説明を省略する。図において、7は検索情報修正端末である。
【0021】
図2は、検索情報の修正方法の動作手順を示すフローチャートである。
図3は、検索情報中に含まれる文字切り出し誤りの修正方法を説明する図であり、11は文書画像、12は修正領域、13は修正領域内から認識された文字コードである。
【0022】
図4は、検索情報中の文字位置データの修正方法を説明する図であり、15は修正領域を等分割して得た各文字の位置である。
【0023】
図5は、修正前後の検索情報の内容を示す図であり、16は修正前の検索情報、17は修正後の検索情報である。
【0024】
図6は、検索情報中に含まれる文字列抽出誤りの修正方法を説明する図であり、18は文書画像、19はタイトルである。
【0025】
図7は、検索情報中に含まれる文字の湧き出し誤り(図や写真等の一部を誤って文字認識する)の修正方法を説明する図であり、20は文書画像、21は余分な文字認識結果を含む修正領域である。
【0026】
次に、動作について説明する。
図1に示すように、本実施の形態の構成は、検索情報修正端末7を除いて従来のものと同じ構成を取り、検索情報修正端末7を用いた検索情報の修正処理以外は従来のものと同じ動作を行う。以下、検索情報の修正方法を図2のフローチャートに従って説明をする。
【0027】
まず、ステップS1の文書選択処理で、検索情報の修正や削除をするオペレータは検索情報修正端末7より文書画像データベース3と検索情報データベース4を参照し、修正したい文書を選択する。選択した文書の文書画像と検索情報は検索情報修正端末7のモニタに表示される。
【0028】
次に、ステップS2の修正領域指定処理で、オペレータは文書画像とその検索情報をもとに文字認識結果が誤っている文書画像上の領域をマウスで囲む。即ち、文書画像の文字を認識して得た文字コードデータと文字位置データとからなる検索情報に、文書画像との違いがある文書画像上の領域をマウスで囲む。この囲まれた領域を修正領域と呼ぶ。例えば、図3に示した文書画像11上の矩形枠で囲まれた領域12が修正領域である。修正領域12では、文字切り出し誤りにより、4文字の文字列“1.制御”を5文字に分割して認識した文字コード13“L年り彳卸”が検索情報に保存されている。
【0029】
次に、ステップS3の修正個所抽出処理で、検索情報に含まれる文字位置データを調べ、文字の位置が該修正領域内に含まれる文字を編集対象としてピックアップする。以降、これらの文字を修正対象文字と呼ぶ。
【0030】
次に、ステップS4の修正内容選択処理で、該修正対象文字に対して検索情報を削除するか、修正するかをオペレータが選択する。ステップS5で「検索情報の削除」を選択した場合は、ステップS8の検索情報修正処理27において検索情報データベース4に保存された検索情報から該修正対象文字のデータを除去して処理を終える。また、ステップS5で「検索情報の修正」を選択した場合は、ステップS6の正解文字コード入力処理で、修正領域に正解文字列をオペレータがキーボード等から入力する。例えば、図3に示した修正領域12に対しては4文字の正解文字列“1.制御”を入力する。
【0031】
次に、ステップS7の文字位置算出処理で、この正解文字列がN個の正解文字から構成される場合、各正解文字の文書画像上位置を求める。各正解文字の文書画像上位置は、修正領域の幅をN等分してできるN個の矩形領域を各文字の位置として求める。例えば、修正領域12に対して4文字の正解文字列“1.制御”を指定した場合、修正領域12を図4に示す4個の矩形領域15に分割する。ここで左から一番目の矩形領域を正解文字“1”の位置、二番目を正解文字“.”の位置、三番目を“制”の位置、四番目を“御”の位置とする。
【0032】
最後に、ステップS8の検索情報修正処理で、検索情報データベース4に保存された検索情報に対して、ステップS3の修正個所抽出処理で得た修正対象文字の文字コードデータを、ステップS6の前記正解文字コード入力処理で入力した正解文字列と置き換える。同様に、ステップS3の修正個所抽出処理で得た修正対象文字の文字位置データを、ステップS7の文字位置算出処理で求めた各正解文字列の文字位置と置き換える。その結果、図5に示すように、修正領域12に対する修正前の検索情報16は検索情報17のように修正される。以上が検索情報の修正手順である。
【0033】
ここでは、文字切り出し誤りを含む検索情報の修正方法を例に説明したが、例えば、誤識別(文字の切り出し位置は正しいが、切り出した文字の認識結果が誤っている)した文字から成る文字列を囲む修正領域を指定して上記処理を行うことで、誤識別を含む検索情報も修正できる。
【0034】
また、文字列抽出誤り(文字を図等と判定して認識しない)を含む検索情報も同じ処理で修正できる。例えば、図6に示した文書画像18において、タイトル19は背景が塗りつぶされているために図と判断されて文字認識されない。そのためタイトル19に含まれる単語をキーワードとして検索しても本文書を検索できない。ここでタイトル19を囲む修正領域を指定して上記処理を行うと、その正解文字列と各文字の位置が検索情報に追加される。これによりタイトル19に含まれる単語をキーワードとして本文書を検索できるようになる。
【0035】
さらに、文字の湧き出し(図や写真の一部等を文字として認識する誤り)に対しては、例えば、図7に示すように文書画像上で、文字を含まない図や写真等を囲む修正領域21を指定して、上記処理を実行する。ただし修正内容選択処理24では“修正対象文字を検索情報から削除”を指定する。その結果、修正領域21内に含まれる修正対象文字のデータが一括して検索情報から削除される。
【0036】
以上のように本実施の形態によれば、オペレータが文書画像上の修正領域を指定してN文字の正解文字列を入力した際、修正領域をN個に等分割して得た矩形領域を正解文字の位置として、検索情報を構成する文字コードデータと文字位置データを修正するようにしているので、文字切り出し誤り、誤識別、および文字列抽出誤りを含む検索情報を修正することができる。また、これにより正確な検索情報を得ることができる。
【0037】
また、本実施の形態では、ユーザが文書画像上の修正領域を指定し、その修正領域内に含まれる文字のデータを検索情報から削除できるようにしているので、文字の湧き出しにより生じた余分なゴミを検索情報から容易に削除できる。
【0038】
実施の形態2.
以下、本発明の実施の形態2を図を参照して説明する。図8は、正解文字の平均的な文字幅を基準にして、各正解文字の位置を求める方法を説明する図である。図において、22は各文字毎に平均的な文字幅を保存したテーブル、23は修正領域を分割して得た各文字の位置、24は修正後の検索情報である。
【0039】
次に、動作について説明する。
検索情報の修正方法は、図2のフローチャートと同様の動作手順に従う。ここで、特にステップS7の文字位置算出処理以外の処理は実施の形態1と同様であるため説明を省く。
【0040】
まず、予め各文字が持つ平均的な文字幅を保存したテーブル22を用意しておく。ステップS7の文字位置算出処理では、このテーブル22を参照して正解文字が持つ平均的な文字幅を調べる。そして、平均的な文字幅の比率に従って修正領域の幅をN個に分割して得た矩形領域を各文字の位置とする。
例えば、図8に示すように、修正領域12に対して、4文字の正解文字列“1.制御”を指定した場合、テーブル22を参照することで、文字“1”の 平均的な文字幅が20、“.”が5、“制”が40、“御”が42と分かる。そこで修正領域の幅を20:5:40:42の比率で分割して得た矩形領域を各文字の位置とする。その結果、修正前の検索情報16は、修正後の検索情報24のように変更される。
【0041】
以上のように本実施の形態によれば、正解文字の平均的な文字幅を基準にして、修正領域を非等分に分割してできるN個の矩形領域を各正解文字の位置として、検索情報の文字位置データを修正しているので、文字幅が異なっている場合でも正確に文字の位置を求めることが可能な検索情報を得ることができる。
【0042】
実施の形態3.
以下、本発明の実施の形態3を図を参照して説明する。図9は、本実施の形態における正解文字の位置を求める方法を説明する図である。図において、25は修正領域、26は修正対象文字の文字位置、27は修正前の検索情報、28は修正後の検索情報である。
【0043】
次に、動作について説明する。
検索情報の修正方法は、図2のフローチャートと同様の動作手順に従う。ここで、検索情報の修正において、図2のステップS7の文字位置算出処理以外の処理は実施の形態1と同様であるため説明を省く。
【0044】
まず、ステップS7の文字位置算出処理では、実施の形態1と同様、修正領域の幅をN個に分割して得た矩形領域を各正解文字の位置とする。ただし、修正対象文字の数が正解文字の数Nと等しい場合は各文字が正しく切り出されていると考え、修正対象文字が持つ文字位置データの値をそのまま各正解文字の位置とする。
例えば、図9に示すように、修正領域25に対して、検索情報中の文字コードには “はおりこ”が、文字位置には矩形26に示す位置が保存されている場合、正解文字列“において”を与えると、修正対象文字と正解文字の文字数が共に4のため、各正解文字の文字位置は矩形26に示した元の値をそのまま使用し、文字コードデータを“において”に置き換える。その結果、修正前の検索結果27から修正後の検索結果28を得る。
【0045】
以上のように本実施の形態によれば、修正対象文字の数が正解文字の数Nと等しい場合は、修正対象文字が持つ文字位置データの値をそのまま各正解文字の位置として、検索情報の文字位置データを修正しているので、文字認識時の文字切り出し結果が正しければ、文字位置データは誤差のない正確な値となる。
【0046】
実施の形態4.
以下、本発明の実施の形態4を図を参照して説明する。図10は、本実施の形態における文字位置の修正方法を説明する図である。図において、29は自動的に求めた最初の文字位置、30は文字位置をオペレータが修正した結果、31は作成した検索情報である。
【0047】
次に、動作について説明する。
検索情報の修正方法は、図2のフローチャートと同様の動作手順に従う。ここで、検索情報の修正において、図2のステップS7の文字位置算出処理以外の処理は実施の形態1と同様であるため説明を省く。
【0048】
まず、ステップS7の文字位置算出処理では、先の実施の形態で説明したように、修正領域を正解文字の数Nで分割したり、修正対象文字の数がNと等しい場合は、修正対象文字が持つ文字位置データの値をそのまま用いることで、各正解文字の位置を自動的に求める。このように求めた正解文字の位置は、検索情報修正端末7のモニタ上に修正領域の画像と重ねて表示する。
【0049】
例えば、図10に示すように、修正領域12の上に各正解文字の位置を矩形29で表示する。この各正解文字の位置が誤っていた場合、オペレータは任意の矩形をマウスで指定し、その位置と大きさを正しく修正する。その結果、正しい文字位置を示す矩形30を得る。このように修正した矩形の位置を各正解文字の文字位置として用い、検索情報を作成する。その結果、例えば、実施の形態1に示した修正領域をN等分する方法により得た検索情報17に比べて、本実施の形態で得た検索情報31は正しい文字位置データを持つ。
【0050】
以上のように本実施の形態によれば、自動的に求めた正解文字の位置をオペレータが修正できるようにしているため、自動的に求めた正解文字の位置が誤っても正しい正解文字の位置を得ることができ、正確な検索情報を得ることができる。
【0051】
実施の形態5.
以下、本発明の実施の形態5を図を参照して説明する。図11は、本実施の形態における修正領域指定処理(図2のステップS2の修正領域指定処理参照)を説明する図である。図において、32は検索情報修正端末7のモニタに表示した文字コードデータ、33はオペレータが選択した文字コード、34は文書画像、35は修正領域である。
【0052】
次に、動作について説明する。
検索情報の修正方法は、図2のフローチャートと同様の動作手順に従う。ここで、図2のステップS2の修正領域指定処理以外の処理は実施の形態1と同様であるため説明を省く。
まず、ステップS2の修正領域指定処理では、モニタに表示した文字コードデータの中から、オペレータが修正したい文字を複数個選択する。この時、選択した各文字の文書画像上での位置を検索情報の文字位置データから読み取り、選択した全ての文字を内包する文書画像上の矩形領域を求める。
【0053】
例えば、図11に示すように、モニタに表示した文字コードデータ32の中から33に示す7個の文字“m,a,c,h,i,n,e”を選択した場合、文書画像34上において選択した文字を内包する矩形領域35を得る。以降、この矩形領域を修正領域として、実施の形態1で説明した検索情報の修正処理と同様の処理を行う。
【0054】
以上のように本実施の形態によれば、モニタに表示した文字コードデータの中から、オペレータが修正したい文字を複数個選択し、選択した各文字の文書画像上での位置を検索情報の文字位置データから読み取り、これをもとにを内包する文書画像上の矩形領域を修正領域とする。これにより文字コードデータを表示したテキストエディタ型のインターフェースから修正領域の指定が可能になり、この修正領域の文字の修正に基づいて検索情報を修正することができる。
【0055】
実施の形態6.
以下、本発明の実施の形態6を図を参照して説明する。図12は、実施の形態6の文書ファイリング装置の構成図である。図において、36は修正機能付き検索端末である。修正機能付き検索端末36は、図1で説明した検索端末6の持つ検索機能に加え、検索結果を元にして検索情報を修正する機能を持つ。
【0056】
図13は、検索結果の例を示す図である。図において、37は文書画像、38は正しく検索された領域、39と40は誤って検索された領域を示す。
【0057】
次に、動作について説明する。
ユーザが修正機能付き検索端末36からキーワードを入力すると、検索エンジン5は、検索情報データベース4を参照し、検索情報にキーワードを含む文書を探す。見つかった文書画像は、キーワードとヒットした文書画像上の領域を枠線で囲み、修正機能付き検索端末36のモニタに表示される。しかし、検索情報に誤りがある場合、キーワードを含まない領域が誤ってヒットする場合がある。
【0058】
例えば、図13は“通信手段”というキーワードで検索した結果である。文書画像37上にヒットした領域が枠線38,39,40で表示されている。ここで枠線38は正しくキーワードを含む領域を囲んでいるが、枠線39は誤ってキーワードと異なる文字列“通信手続”を囲んでいる。また枠線40は誤って図の一部を囲んでいる。
【0059】
修正機能付き検索端末36は、検索情報修正端末7の動作と同様に、図2のフローチャートに従って検索情報データベース4に保存された検索情報を修正する。ただし、ステップS1のの文書選択処理では、修正機能付き検索端末36のモニタに表示されている検索でヒットした文書を修正対象とする。また、ステップS2の修正領域指定処理では、修正機能付き検索端末36においてユーザが誤っている枠線を選択し、この枠線で囲まれた領域を修正領域とする。
【0060】
以降の処理は実施の形態1と同様であり、図の一部が誤ってヒットした領域40に対しては、ステップS5において処理内容「検索情報の削除」を選択し、領域40に含まれる検索情報を削除する。またキーワードと異なる文字列とヒットした領域39に対しては、ステップS5において処理内容「検索情報の修正」を選択し、ステップS5において“通信手段”を正解文字列として入力することで、領域39に対して正しい検索情報を付加する。
【0061】
以上の動作により、誤ってヒットした領域内に含まれる検索情報が正しく修正又は削除される。また、修正後、キーワード“通信手段”を用いて検索すると、図13に示す誤った枠線39と40は表示されなくなる。
【0062】
以上のように本実施の形態によれば、検索した際にキーワードとヒットした文書画像上の領域を示す枠線の中から誤っている枠線が修正領域として指定され、この修正領域の修正又は削除がされると、この修正領域の検索情報の文字コードデータと文字位置データを修正又は削除するので、誤ってヒットした領域内に含まれる検索情報が正しく修正され、検索を続けるに従い検索情報は正確になる。
【0063】
実施の形態7.
実施の形態6では、誤ってキーワードとヒットした文書画像上の領域を修正領域とし、その領域内に含まれる検索情報を修正した。しかし、逆にキーワードを含む文書画像上の領域が検索されずにもれることがある。本実施の形態では、検索でもれた文書画像上の領域を修正領域として設定して検索情報を修正する場合について説明する。
以下、本発明の実施の形態7を図を参照して説明する。図14は、検索結果の例を示す図である。図において、41は文書画像、42は正しく検索された領域、43は検索でもれた領域である。
【0064】
次に、動作について説明する。
ユーザは修正機能付き検索端末36から、検索結果に基づいて検索情報データベース4の内容を修正する。この修正動作は、図2のフローチャートと同様の動作手順に従う。
【0065】
まず、ステップS1の文書選択処理で、修正機能付き検索端末36のモニタに表示されている検索でヒットした文書を修正対象とする。
【0066】
次に、ステップS2の修正領域指定処理で、ユーザは修正機能付き検索端末36のモニタに表示された検索結果を参照し、検索でもれた領域を囲む矩形をマウスで指定する。この矩形内部を修正領域とする。例えば、図14は“通信手段”というキーワードで検索した結果である。文書画像41上には正しく検索された領域42があるが、検索にもれた文字列43もある。この文字列43を囲む矩形を修正領域とする。
【0067】
次に、ステップS3の修正個所抽出処理で、実施の形態1と同じく検索情報の中から該修正領域内に含まれる文字をピックアップし、これを修正対象文字とする。
【0068】
次に、ステップS4の修正内容選択処理で、以降の処理として、修正対象文字の“検索情報を修正する”を選択する。また、ステップS6の正解文字コード入力処理で、検索に使用されたキーワードを正解文字列として設定する。
【0069】
以降の処理は実施の形態1と同様であり、ステップS7の文字位置算出処理で各正解文字の文字位置を求め、ステップS8の検索情報修正処理で正解文字列と各正解文字の文字位置を用いて検索情報を修正する。
【0070】
以上の動作により、検索でもれた領域内に含まれる検索情報が正しく修正される。修正後、図14に示した検索結果と同じキーワード“通信手段”で検索すると、修正前に正しく検索されていた領域42に加え、文字列43も検索されるようになる。
【0071】
以上のように本実施の形態によれば、検索でもれた文字列を囲む領域が修正領域として指定され、この修正領域にキーワードを正解文字列として入力すると、この修正領域の検索情報の文字コードデータと文字位置データを正解文字列の文字コードデータと文字位置データと置き換えるので、検索結果に基づいた検索情報の修正が可能になり、検索を続けるに従い検索情報は正確になる。また、正解文字列として、検索に用いたキーワードが自動的に設定されるため、ユーザが行う動作は、修正機能付き検索端末において検索でもれた文字列を囲むだけで良い。
【0072】
実施の形態8.
実施の形態1〜7では、検索情報に文字コードデータと文字位置データが含まれる場合の修正方法を述べた。しかし、文字認識結果が誤っていても検索が可能なように、文字パターンを文字認識した際に得られる複数個の候補文字や、文字パターンの大まかな形状を示す特徴等を付加情報として検索情報に加える場合がある。検索する際は、文字コードデータとキーワードが一致しなくても、キーワードと付加情報との類似性が高い場合はヒットしたと判定する。これにより文字コードデータが誤っている文書も検索できる。ただし、キーワードを曖昧性の高い付加情報と照合するため、誤って余計な文書が検索される問題もある。そこで、検索情報修正端末7から付加情報を含む検索情報を修正できるようにしても良い。
【0073】
以下、本発明の実施の形態8を図を参照して説明する。図15は、付加情報を持つ検索情報を示す図である。図16は、付加情報を持つ検索情報の修正方法の動作手順を示すフローチャートである。
【0074】
ここで、付加情報を含む検索情報は、文字コードデータと文字位置データおよび付加情報から構成する。図15は、付加情報として各文字毎に3個の候補文字と、文字の大まかな形状を示す特徴の両方を持つ場合の検索情報である。なお、文字の大まかな形状を示す特徴とは、一般の文字認識装置において文字を識別するのに用いる特徴である。この例では、特徴として黒画素濃度(文字パターン内に含まれる黒画素の割合をパーセント表示した値)を用いた。
【0075】
次に、動作について説明する。
まず、実施の形態1と同様に、ステップS11の文書選択処理でオペレータは検索情報修正端末7より修正したい文書を選択し、ステップS12の修正領域指定処理でオペレータは文書画像上の任意領域を修正領域として指定し、ステップS13の修正個所抽出処理で検索情報に含まれる文字位置データを調べて文字の位置が該修正領域内に含まれる文字をピックアップし、これを修正対象文字とする。
【0076】
次に、ステップS14の修正内容選択処理で、該修正対象文字を検索情報から削除する処理「検索情報の削除」か、該修正対象文字を修正する処理「検索情報の修正」、又は該修正対象文字の持つ付加情報を検索情報から削除する処理「付加情報の削除」、をオペレータが選択する。
【0077】
次に、ステップS15で、「検索情報の削除」を選択した場合は、ステップS18の検索情報修正処理において検索情報データベース4に保存された検索情報から該修正対象文字の文字コードデータと文字位置データを除去する。その後、ステップS19の付加情報削除処理で、該修正対象文字の持つ付加情報を検索情報から削除する。
【0078】
また、ステップS15で、「検索情報の修正」を選択した場合、実施の形態1と同様に、ステップS16の正解文字コード入力処理とステップS17の文字位置算出処理を行ない正解文字と各正解文字の位置を求め、ステップS18の検索情報修正処理で検索情報の文字コードデータと文字位置データを修正する。
文字コードデータが修正され、正しい文字コードデータになると、この文字コードデータのの文字検索するための付加情報は必要でなくなることから、最後にステップS19の付加情報削除処理で、該修正対象文字の持つ付加情報を検索情報から削除する。
【0079】
次に、ステップS15の修正内容選択処理で、「付加情報の削除」を選択した場合、付加情報削除処理161は、該修正対象文字の持つ付加情報を検索情報から削除する。
以上が付加情報を持つ検索情報の修正手順である。
【0080】
以上のように本実施の形態によれば、検索情報データベースに保存された修正対象文字の検索情報の文字コードデータと文字位置データを正しく修正した場合、又は文字コードデータと文字位置データを削除した場合に、修正対象文字の付加情報を削除するようにした。これにより検索時に余分な文書が誤って検索されることのない正確な検索情報を得ることができる。
また、検索情報の文字コードデータと文字位置データを正しく修正又は削除した後に、付加情報を削除するようにしたので、曖昧性の高い付加情報が新たなキーワードの検索で利用されることがなく、正確な検索情報を得ることができ、検索時に余分な文書が誤って検索される問題を抑制できる。
【0081】
実施の形態9.
本実施の形態では、ユーザが検索結果に基づいて修正機能付き検索端末36から付加情報を持つ検索情報を修正する場合について説明する。
以下、本発明の実施の形態9を図を参照して説明する。
【0082】
次に、動作について説明する。
検索情報の修正方法は、図16のフローチャートと同様の動作手順に従う。
まず、ステップS11の文書選択処理で、修正機能付き検索端末36のモニタに表示されている検索された文書を修正対象として選択する。
次に、ステップS12の修正領域指定処理で、ユーザは検索でヒットした領域の中から正しく検索された領域を選択し、これを修正領域とする。例えば、図14は“通信手段”というキーワードで検索した結果である。文書画像41上で正しく検索された領域42を選択して、これを修正領域とする。
【0083】
次に、ステップS13の修正個所抽出処理で、実施の形態1と同様に検索情報の中から該修正領域内に含まれる文字をピックアップし、これを修正対象文字とする。
【0084】
次に、ステップS14の修正内容選択処理、さらに、ステップS15で、該修正対象文字を検索情報から削除する処理即ち「検索情報の削除」か、該修正対象文字を修正する処理即ち「検索情報の修正」か、又は該修正対象文字の持つ付加情報を検索情報から削除する処理即ち「付加情報の削除」か、がオペレータにより選択される。
【0085】
次に、ステップS16の正解文字コード入力処理で、検索に使用されたキーワードをそのまま正解文字列に用いる。その後、ステップS17の文字位置算出処理は、実施の形態1と同様に各正解文字の位置を求める。
【0086】
次に、ステップS18の検索情報修正処理では、実施の形態1と同様にステップS16の正解文字コード入力処理で得た正解文字とステップS17の文字位置算出処理で得た文字位置を用いて該修正対象文字が持つ文字コードデータと文字位置データを修正する。
【0087】
最後に、ステップS19の付加情報削除処理で、該修正対象文字が持つ付加情報を検索情報から削除する。
【0088】
以上のように本実施の形態によれば、検索した際に正しく検索された領域をユーザが指定すれば、その領域内の文字コードデータと文字位置データが自動的に修正され、かつ余分な付加情報が削除される。これにより検索結果に基づいて付加情報を持つ検索情報を修正でき、検索を続けるに従い検索情報は正確になる。
【0089】
なお本実施の形態では、正しくヒットした領域を修正領域に指定して修正機能付き検索端末36から付加情報を含む検索情報を修正する方法を述べたが、この他、誤ってヒットした領域を修正領域として指定し、実施の形態8に示した付加情報を含む検索情報の修正方法に従い、誤ってヒットした修正領域内に含まれる付加情報を含む検索情報を修正しても良い。
【0090】
なお、本発明では横書き文書を例に処理内容を説明したが、縦書き文書に適用しても良い。また、2行にまたがる文字列を修正する場合は、行ごとに修正領域を分けて指定することで対処しても良い。
【0091】
【発明の効果】
本発明は、以上説明したように構成されているので、以下に示すような効果を奏する。
【0092】
第1の発明では、文書画像データベースに保存された文書画像と検索情報データベースに保存された検索情報とに基づいて文書画像の修正又は削除を要する修正領域が選択され、この修正領域に修正文字が入力されると、検索情報データベースに保存された修正対象文字の文字コードデータと文字位置データを修正文字の文字コードデータと文字位置データに置き換え、又修正領域の修正対象文字が削除されると、検索情報データベースに保存された修正対象文字の文字コードデータと文字位置データを削除することにより、修正を要する修正対象文字の検索情報を修正することができ、又不要な検索情報を削除することができる。
【0093】
第2の発明では、修正領域に修正文字が入力されると、修正文字の数で修正領域を等分割した矩形領域を修正文字の外接矩形の位置として求め、この求めた修正文字の外接矩形の位置と修正文字とに基づいて、検索情報データベースに保存された修正対象文字の文字コードデータと文字位置データとを修正文字の文字コードデータと文字位置データとに置き換えることにより、検索情報の文字位置データを正確に修正することができる。
【0094】
第3の発明では、修正領域に修正文字が入力されると、文字毎の平均文字幅で修正領域を分割した矩形領域を修正文字の外接矩形の位置として求め、この求めた修正文字の外接矩形の位置と修正文字とに基づいて、検索情報データベースに保存された上記修正対象文字の文字コードデータと文字位置データとを修正文字の文字コードデータと文字位置データとに置き換えることにより、検索情報の文字位置データを正確に修正することができる。
【0095】
第4の発明では、修正領域に入力された修正文字の数と修正領域の修正対象文字の数とが等しい時には、修正対象文字の外接矩形の位置を修正文字の外接矩形の位置とし、上記検索情報データベースに保存された修正対象文字の文字コードデータを修正文字の文字コードデータに置き換えることにより、検索情報の文字位置データを正確に修正することができる。
【0096】
第5の発明では、先に求めた修正文字の外接矩形の位置に修正を要する時は、オペレータにより修正文字の外接矩形の位置が新たに修正され、検索情報データベースに保存された修正文字の文字位置データを新たに修正された修正文字の文字位置データに書き換えることにより、先に求めた修正文字の位置を、さらに修正できるので、検索情報の文字位置データをより正確
に修正することができる。
【0097】
第6の発明では、文書画像中から所定の文字を検索するためのキーワードが入力されると、文書画像中からキーワードの領域を修正領域として選択し、この選択した修正領域の修正対象文字の修正又は削除がされ、検索情報データベースに保存された修正対象文字の文字コードデータと文字位置データを書き換え又は削除することにより、キーワードによる文字検索で修正又は削除した修正対象文字の検索情報を修正又は削除することができる。
【0098】
第7の発明では、検索情報に文書画像中の修正対象文字の領域を選択するための付加情報を付加し、この付加情報に基づいて選択した修正領域の修正対象文字の修正又は削除がされると、検索情報データベースに保存された修正対象文字の文字コードデータと文字位置データを書き換え又は削除し、さらに付加情報を削除することにより、修正を要する修正対象文字の検索情報を修正することができ、又不要な検索情報を削除することがでる。
【図面の簡単な説明】
【図1】 実施の形態1の文書ファイリング装置の構成図。
【図2】 実施の形態1における検索情報の修正方法の動作手順を示すフローチャート。
【図3】 実施の形態1における検索情報中に含まれる文字切り出し誤りの修正方法を説明する図。
【図4】 実施の形態1における検索情報中の文字位置データの修正方法を説明する図。
【図5】 実施の形態1における修正前後の検索情報の内容を示す図。
【図6】 実施の形態1における検索情報中に含まれる文字列抽出誤りの修正方法を説明する図。
【図7】 実施の形態1における検索情報中に含まれる文字の湧き出し誤りの修正方法を説明する図。
【図8】 実施の形態2において正解文字の位置を求める方法を説明する図。
【図9】 実施の形態3において正解文字の位置を求める方法を説明する図。
【図10】 実施の形態4において文字位置の修正方法を説明する図。
【図11】 実施の形態5における修正領域指定処理を説明する図。
【図12】 実施の形態6の文書ファイリング装置の構成図。
【図13】 実施の形態6における検索結果の例を示す図。
【図14】 実施の形態7における検索結果の例を示す図。
【図15】 実施の形態8における付加情報を持つ検索情報を示す図。
【図16】 実施の形態8における付加情報を持つ検索情報の修正方法の動作手順を示すフローチャート。
【図17】 従来の文書ファイリング装置の構成図。
【図18】 従来の文書ファイリング装置の検索情報の内容を説明する図。
【図19】 従来の文書ファイリング装置の検索結果の表示状態を示す図。
【符号の説明】
1 スキャナ、2 文字認識装置、3 文書画像データベース、4 検索情報データベース、5 検索エンジン、6 検索端末、7 検索情報修正端末。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a document filing apparatus for correcting an error included in search information for searching a document image.
[0002]
[Prior art]
In a document filing apparatus for filing document images, when registering a document image, the character recognition result of the document image is stored in the database as search information, and when searching for the document image, the keyword input by the user is included in the search information. Some present document images to the user. An example of such a document filing method is disclosed in Japanese Patent Laid-Open No. 6-28588. Hereinafter, this conventional document filing method will be described.
[0003]
FIG. 17 is a block diagram of a document filing apparatus showing a conventional document filing method. In the figure, 1 is a scanner, 2 is a character recognition device, 3 is a document image database, 4 is a search information database, 5 is a search engine, and 6 is a search terminal.
[0004]
FIG. 18 is a diagram for explaining the contents of the search information. In the figure, 50 is character code data obtained by character recognition of a document image, and 51 is character position data indicating where each recognized character is on the document image.
[0005]
FIG. 19 is a diagram illustrating a display state of search results. In the figure, 52 is a document image hit by the search, and 53 is a frame line indicating an area on the document image hit by the keyword.
[0006]
The operation of the conventional document filing method will be described below with reference to the drawings. This description will be divided into document image registration processing and search processing.
First, in the document image registration process, a paper document to be registered is read by the
[0007]
The
Finally, the created search information is stored in the
[0008]
Next, document image search processing will be described. When searching, the user inputs a desired keyword from the
The
[0009]
The
[0010]
[Problems to be solved by the invention]
As described above, in the conventional document filing method, search information can be automatically generated when search information is generated from a character recognition result. However, if the character recognition result is incorrect, there is a problem that the search performance is degraded. For errors in character recognition results,
(1) A character extraction error that divides one character into a plurality of characters or recognizes a plurality of characters as one character,
(2) misidentification of another similar character,
(3) Character string extraction error that does not recognize a character as a figure or the like,
(4) There is a misprinting of characters that recognizes a part of a figure or photograph as a character. When searching, the character code of the recognition result is incorrect in (1) and (2), so an extra document hits or a desired document does not hit, and in (3) the correct character recognition result is missing. The search performance deteriorates such that the desired document does not hit, and in (4), the search information includes an extra character code, so that the extra document hits.
[0011]
In addition, regarding an error in the character recognition result, a plurality of candidate characters for one character pattern, a feature indicating a rough shape of the character pattern, and the like are added to the search information as additional information, and character code data and keywords Although there is a method in which the desired document can be hit by matching the keyword with the additional information even if the IDs do not match, there is a problem that searching for unnecessary documents is reduced by having additional information, but unnecessary documents are searched incorrectly There is.
[0012]
The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a document filing apparatus that can correct or delete search information so that search performance does not deteriorate. To do.
[0013]
The correction of the recognition result is generally performed by a conventional character recognition device. However, this is to edit the character code of the recognition result in order to create an accurate text, and does not have a function of correcting the character position data. For this reason, the recognition result correcting means used in the conventional character recognition apparatus cannot be used to correct the search information.
[Means for Solving the Problems]
A first invention is a document image database in which document images read by a scanner are stored;
Search information for selecting a correction target character area in the document image, comprising character code data of characters in the document image read by the scanner and character position data indicating the position of a circumscribed rectangle of the characters. A character recognition means to create;
A search information database for storing the search information created by the character recognition means;
The document image stored in the document image database and the search information stored in the search information database are displayed in a display area, and the document image is corrected or deleted based on the displayed document image and the search information. When a correction area that requires correction is selected and a correction character is input to the correction area, the position of the circumscribed rectangle of the input correction character is obtained, and based on the position of the correction character and the circumscribed rectangle of the correction character The character code data of the correction target character in the correction area stored in the search information database is replaced with the character code data of the correction character, and the character position data of the correction target character is replaced with the character position data of the correction character. When the correction target character in the correction area is deleted, the correction target character stored in the search information database is overwritten. And search information modification means for deleting the character code data and the character position data, and with a.
[0014]
According to a second aspect of the present invention, when a correction character is input to the correction area, a rectangular area obtained by equally dividing the correction area by the number of the correction characters is obtained as a position of a circumscribed rectangle of the correction character, and the obtained correction character is obtained. The character code data and character position data of the correction target character stored in the search information database are replaced with the character code data and character position data of the correction character based on the position of the circumscribed rectangle of the character and the correction character. Search information correction means is provided.
[0015]
3rd invention is equipped with the table which saved the average character width for every character,
When a corrected character is input to the correction area, the search information correction means obtains a rectangular area obtained by dividing the correction area by the average character width for each character stored in the table as a position of a circumscribed rectangle of the correction character. Based on the position of the circumscribed rectangle of the corrected character obtained and the corrected character, the character code data and the character position data of the correction target character stored in the search information database are Replace with character position data.
[0016]
According to a fourth aspect of the present invention, when the number of correction characters input to the correction area is equal to the number of correction target characters in the correction area, the position of the circumscribed rectangle of the correction target character is changed to the position of the circumscribed rectangle of the correction character. And search information correction means for replacing the character code data of the correction target character stored in the search information database with the character code data of the correction character.
[0017]
According to a fifth aspect of the present invention, when the circumscribed rectangle position of the corrected character thus obtained is required to be corrected, the position of the circumscribed rectangle of the corrected character is newly corrected by an operator instructing rewriting of the search information, and the search information database Search information correction means for rewriting the character position data of the corrected character stored in the file to the newly corrected character position data of the corrected character.
[0018]
According to a sixth aspect of the present invention, when a keyword for searching for a predetermined character is input from the document image, the character code data and character position data of the character constituting the keyword are searched from the search information database. Search means for obtaining the keyword area in the document image based on the retrieved character code data and character position data, and sending the keyword area together with the document image stored in the document image database;
The search information correction means displays the document image in which the keyword area is surrounded by a frame line in the second display area based on the keyword area sent by the search means, and the frame is surrounded by the frame line. The selected area is selected as a correction area that requires correction or deletion.
[0019]
7th invention contains the character code data of the character in the said document image read with the said scanner, the character position data which shows the position of the circumscribed rectangle of a character, the candidate character for every character, and the rough shape of a character Additional information for selecting the region of the character to be corrected in the document image, and character recognition means for creating search information constituted by:
Search information correction for selecting the correction target character based on the additional information stored in the search information database, replacing or deleting the character code data and the character position data of the search information, and then deleting the additional information Means.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a configuration diagram of the document filing apparatus according to the first embodiment. In the figure, parts that are the same as or correspond to those in the prior art are assigned the same reference numerals, and descriptions thereof are omitted. In the figure,
[0021]
FIG. 2 is a flowchart showing the operation procedure of the search information correction method.
FIG. 3 is a diagram for explaining a method for correcting a character segmentation error included in search information. 11 is a document image, 12 is a correction area, and 13 is a character code recognized from within the correction area.
[0022]
FIG. 4 is a diagram for explaining a method of correcting the character position data in the search information, and 15 is the position of each character obtained by equally dividing the correction area.
[0023]
FIG. 5 is a diagram showing the contents of search information before and after correction, 16 is search information before correction, and 17 is search information after correction.
[0024]
FIG. 6 is a diagram for explaining a method for correcting a character string extraction error included in search information. 18 is a document image, and 19 is a title.
[0025]
FIG. 7 is a diagram for explaining a method of correcting a misreading of characters included in search information (character recognition of a part of a figure, a photograph, etc.), 20 is a document image, and 21 is an extra character. It is a correction area including the recognition result.
[0026]
Next, the operation will be described.
As shown in FIG. 1, the configuration of the present embodiment is the same as the conventional configuration except for the search
[0027]
First, in the document selection process in step S1, an operator who corrects or deletes search information refers to the
[0028]
Next, in the correction area designating process in step S2, the operator surrounds the area on the document image where the character recognition result is incorrect based on the document image and its search information with the mouse. That is, an area on the document image that is different from the document image in the search information composed of the character code data and the character position data obtained by recognizing the character of the document image is surrounded by the mouse. This enclosed area is called a correction area. For example, an
[0029]
Next, in the correction location extraction process in step S3, the character position data included in the search information is examined, and the character whose character position is included in the correction area is picked up as an edit target. Hereinafter, these characters are called correction target characters.
[0030]
Next, in the correction content selection processing in step S4, the operator selects whether to delete or correct the search information for the correction target character. If “delete search information” is selected in step S5, the correction target character data is removed from the search information stored in the
[0031]
Next, when the correct character string is composed of N correct characters in the character position calculation process in step S7, the position on the document image of each correct character is obtained. As the position of each correct character on the document image, N rectangular areas obtained by dividing the width of the correction area into N equal parts are obtained as the positions of the respective characters. For example, when a correct character string “1. control” of 4 characters is designated for the
[0032]
Finally, for the search information stored in the
[0033]
Here, a method for correcting search information including character segmentation errors has been described as an example. For example, a character string made up of misidentified characters (character segmentation position is correct but segmented character recognition result is incorrect). The search information including erroneous identification can also be corrected by specifying the correction area surrounding and performing the above processing.
[0034]
Also, search information including character string extraction errors (characters are not recognized by being determined as a figure or the like) can be corrected by the same processing. For example, in the
[0035]
Furthermore, with regard to the appearance of characters (an error in recognizing a part of a figure or photo as a character), for example, a correction that surrounds a figure or photo that does not contain characters on a document image as shown in FIG. The
[0036]
As described above, according to the present embodiment, when an operator designates a correction area on a document image and inputs a correct character string of N characters, a rectangular area obtained by equally dividing the correction area into N pieces is obtained. Since the character code data and the character position data constituting the search information are corrected as the position of the correct character, the search information including character cutout error, misidentification, and character string extraction error can be corrected. This also makes it possible to obtain accurate search information.
[0037]
In this embodiment, the user designates a correction area on the document image, and the character data included in the correction area can be deleted from the search information. Can be easily deleted from search information.
[0038]
[0039]
Next, the operation will be described.
The search information correction method follows the same operation procedure as in the flowchart of FIG. Here, since the processes other than the character position calculation process in step S7 are the same as those in the first embodiment, a description thereof will be omitted.
[0040]
First, a table 22 storing an average character width of each character is prepared in advance. In the character position calculation process in step S7, the average character width of correct characters is checked with reference to this table 22. A rectangular area obtained by dividing the width of the correction area into N according to the average character width ratio is set as the position of each character.
For example, as shown in FIG. 8, when a correct character string “1. control” of 4 characters is designated for the
[0041]
As described above, according to the present embodiment, N rectangular areas that can be obtained by dividing the correction area into non-equal parts based on the average character width of correct characters are used as the positions of correct characters. Since the character position data of the information is corrected, it is possible to obtain search information that can accurately determine the character position even when the character width is different.
[0042]
[0043]
Next, the operation will be described.
The search information correction method follows the same operation procedure as in the flowchart of FIG. Here, in the correction of the search information, the processes other than the character position calculation process in step S7 in FIG.
[0044]
First, in the character position calculation process in step S7, as in the first embodiment, a rectangular area obtained by dividing the width of the correction area into N pieces is set as the position of each correct character. However, when the number of correction target characters is equal to the number N of correct characters, it is considered that each character is cut out correctly, and the value of the character position data of the correction target character is used as the position of each correct character.
For example, as shown in FIG. 9, if the character code in the search information for the
[0045]
As described above, according to the present embodiment, when the number of correction target characters is equal to the number N of correct answer characters, the value of the character position data held by the correction target characters is used as the position of each correct character as it is. Since the character position data is corrected, if the character cutout result at the time of character recognition is correct, the character position data becomes an accurate value without error.
[0046]
[0047]
Next, the operation will be described.
The search information correction method follows the same operation procedure as in the flowchart of FIG. Here, in the correction of the search information, the processes other than the character position calculation process in step S7 in FIG.
[0048]
First, in the character position calculation process in step S7, as described in the previous embodiment, if the correction area is divided by the number N of correct characters or the number of correction target characters is equal to N, the correction target character The position of each correct character is automatically obtained by using the character position data value of. The position of the correct character thus obtained is displayed on the monitor of the search
[0049]
For example, as shown in FIG. 10, the position of each correct character is displayed in a
[0050]
As described above, according to the present embodiment, since the operator can correct the position of the automatically obtained correct character, the correct character position is correct even if the automatically obtained correct character position is incorrect. And accurate search information can be obtained.
[0051]
[0052]
Next, the operation will be described.
The search information correction method follows the same operation procedure as in the flowchart of FIG. Here, the processes other than the correction area designation process in step S2 of FIG. 2 are the same as those in the first embodiment, and thus description thereof is omitted.
First, in the correction area designation process in step S2, the operator selects a plurality of characters to be corrected from the character code data displayed on the monitor. At this time, the position of each selected character on the document image is read from the character position data of the search information, and a rectangular area on the document image including all the selected characters is obtained.
[0053]
For example, as shown in FIG. 11, when seven characters “m, a, c, h, i, n, e” indicated by 33 are selected from the
[0054]
As described above, according to the present embodiment, the operator selects a plurality of characters to be corrected from the character code data displayed on the monitor, and sets the position of each selected character on the document image as the character of the search information. A rectangular area on the document image that is read from the position data and contains the data is used as a correction area. As a result, the correction area can be specified from the text editor interface displaying the character code data, and the search information can be corrected based on the correction of the characters in the correction area.
[0055]
[0056]
FIG. 13 is a diagram illustrating an example of a search result. In the figure, 37 is a document image, 38 is a correctly searched area, and 39 and 40 are erroneously searched areas.
[0057]
Next, the operation will be described.
When the user inputs a keyword from the search terminal 36 with a correction function, the
[0058]
For example, FIG. 13 shows the result of a search using the keyword “communication means”. The hit area on the document image 37 is displayed with
[0059]
Similar to the operation of the search
[0060]
The subsequent processing is the same as in the first embodiment. For the
[0061]
With the above operation, the search information included in the erroneously hit area is correctly corrected or deleted. Further, when the search is performed using the keyword “communication means” after correction, the
[0062]
As described above, according to the present embodiment, an erroneous frame line is designated as a correction area from among the frame lines indicating the keyword and the area on the document image that has been hit when searching, and the correction area is corrected or When deleted, the character code data and character position data of the search information in this correction area are corrected or deleted, so that the search information included in the erroneously hit area is corrected correctly, and the search information Become accurate.
[0063]
In the sixth embodiment, an area on a document image that has been accidentally hit with a keyword is set as a correction area, and search information included in the area is corrected. However, on the contrary, the region on the document image including the keyword may be lost without being searched. In the present embodiment, a case will be described in which an area on a document image that has been retrieved is set as a correction area to correct search information.
[0064]
Next, the operation will be described.
The user corrects the contents of the
[0065]
First, in the document selection process in step S1, a document hit by the search displayed on the monitor of the search terminal with correction function 36 is set as a correction target.
[0066]
Next, in the correction area designating process in step S2, the user refers to the search result displayed on the monitor of the search terminal with correction function 36, and designates a rectangle surrounding the retrieved area with the mouse. The inside of this rectangle is set as a correction area. For example, FIG. 14 shows the result of a search using the keyword “communication means”. There is a correctly searched
[0067]
Next, in the correction location extraction process in step S3, the character included in the correction area is picked up from the search information as in the first embodiment, and this is used as the correction target character.
[0068]
Next, in the correction content selection processing in step S4, “correct search information” of the correction target character is selected as the subsequent processing. In the correct character code input process in step S6, the keyword used for the search is set as a correct character string.
[0069]
The subsequent processing is the same as in the first embodiment. The character position of each correct character is obtained in the character position calculation processing in step S7, and the correct character string and the character position of each correct character are used in the search information correction processing in step S8. To correct the search information.
[0070]
With the above operation, the search information included in the area that has been searched is correctly corrected. When the search is performed using the same keyword “communication means” as the search result shown in FIG. 14 after the correction, the
[0071]
As described above, according to the present embodiment, when an area surrounding a character string that has been retrieved is designated as a correction area, and a keyword is input to the correction area as a correct character string, the character code of the search information in the correction area Since the data and the character position data are replaced with the character code data and the character position data of the correct character string, the search information can be corrected based on the search result, and the search information becomes accurate as the search is continued. Moreover, since the keyword used for the search is automatically set as the correct character string, the operation performed by the user only needs to enclose the character string that has been searched in the search terminal with a correction function.
[0072]
Embodiment 8 FIG.
In the first to seventh embodiments, the correction method in the case where the search information includes character code data and character position data has been described. However, in order to enable the search even if the character recognition result is incorrect, the search information as additional information includes a plurality of candidate characters obtained when the character pattern is recognized, the characteristics indicating the rough shape of the character pattern, etc. May be added. When searching, even if the character code data does not match the keyword, if the similarity between the keyword and the additional information is high, it is determined that a hit has occurred. As a result, it is possible to search for documents in which the character code data is incorrect. However, since the keyword is checked against additional information with high ambiguity, there is a problem that an unnecessary document is erroneously searched. Therefore, the search information including the additional information may be corrected from the search
[0073]
Embodiment 8 of the present invention will be described below with reference to the drawings. FIG. 15 is a diagram showing search information having additional information. FIG. 16 is a flowchart showing an operation procedure of a method for correcting search information having additional information.
[0074]
Here, the search information including the additional information includes character code data, character position data, and additional information. FIG. 15 shows search information when there are both three candidate characters for each character and features indicating the rough shape of the character as additional information. The feature indicating the rough shape of the character is a feature used to identify the character in a general character recognition device. In this example, the black pixel density (a value indicating the percentage of black pixels included in the character pattern as a percentage) is used as a feature.
[0075]
Next, the operation will be described.
First, as in the first embodiment, in the document selection process in step S11, the operator selects a document to be corrected from the search
[0076]
Next, in the correction content selection process of step S14, the process of deleting the correction target character from the search information “deletion of search information”, the process of correcting the correction target character “correction of search information”, or the correction target The operator selects a process “deletion of additional information” for deleting additional information of characters from the search information.
[0077]
Next, when “delete search information” is selected in step S15, the character code data and character position data of the correction target character from the search information stored in the
[0078]
If “correction of search information” is selected in step S15, the correct character code input process in step S16 and the character position calculation process in step S17 are performed as in the first embodiment, and the correct character and each correct character are The position is obtained, and the character code data and the character position data of the search information are corrected by the search information correction process in step S18.
When the character code data is corrected and becomes the correct character code data, additional information for searching the character of this character code data is no longer necessary, and finally, in the additional information deletion process in step S19, the correction target character is deleted. Delete additional information from search information.
[0079]
Next, when “deletion of additional information” is selected in the correction content selection process in step S15, the additional information deletion process 161 deletes the additional information held by the correction target character from the search information.
The above is the procedure for correcting search information having additional information.
[0080]
As described above, according to the present embodiment, the character code data and the character position data of the search information of the correction target character stored in the search information database are corrected correctly, or the character code data and the character position data are deleted. In this case, the additional information of the correction target character was deleted. Thereby, it is possible to obtain accurate search information in which extra documents are not erroneously searched during a search.
Moreover, since the additional information is deleted after correcting or deleting the character code data and the character position data of the search information correctly, the highly ambiguous additional information is not used in the search for a new keyword, Accurate search information can be obtained, and the problem that an excessive document is erroneously searched during a search can be suppressed.
[0081]
In the present embodiment, a case will be described in which the user corrects search information having additional information from the search terminal with correction function 36 based on the search result.
[0082]
Next, the operation will be described.
The search information correction method follows the same operation procedure as the flowchart of FIG.
First, in the document selection process in step S11, the searched document displayed on the monitor of the search terminal with correction function 36 is selected as a correction target.
Next, in the correction area designating process in step S12, the user selects a correctly searched area from the areas hit by the search, and sets this as a correction area. For example, FIG. 14 shows the result of a search using the keyword “communication means”. An
[0083]
Next, in the correction location extraction process in step S13, the characters included in the correction area are picked up from the search information as in the first embodiment, and are used as correction target characters.
[0084]
Next, in step S14, the correction content selection process, and in step S15, the process of deleting the correction target character from the search information, that is, "deletion of search information", or the process of correcting the correction target character, that is, The operator selects “correction” or processing for deleting additional information of the correction target character from the search information, that is, “deletion of additional information”.
[0085]
Next, in the correct character code input process of step S16, the keyword used for the search is used as it is for the correct character string. Thereafter, the character position calculation process in step S17 determines the position of each correct character as in the first embodiment.
[0086]
Next, in the search information correction process in step S18, as in the first embodiment, the correction is performed using the correct character obtained in the correct character code input process in step S16 and the character position obtained in the character position calculation process in step S17. Correct the character code data and character position data of the target character.
[0087]
Finally, in the additional information deletion process in step S19, the additional information held by the correction target character is deleted from the search information.
[0088]
As described above, according to the present embodiment, when the user specifies a correctly searched area when searching, the character code data and the character position data in the area are automatically corrected, and an extra addition is made. Information is deleted. Thereby, the search information having the additional information can be corrected based on the search result, and the search information becomes accurate as the search is continued.
[0089]
In this embodiment, a method has been described in which a correct hit area is designated as a correction area and search information including additional information is corrected from the search terminal with correction function 36. In addition to this, an erroneous hit area is corrected. The search information including the additional information included in the correction area that has been erroneously hit may be corrected according to the method for correcting the search information including the additional information described in the eighth embodiment.
[0090]
In the present invention, the processing content has been described by taking a horizontally written document as an example, but may be applied to a vertically written document. Further, when a character string extending over two lines is corrected, the correction area may be divided and designated for each line.
[0091]
【The invention's effect】
Since the present invention is configured as described above, the following effects can be obtained.
[0092]
In the first invention, a correction area that requires correction or deletion of the document image is selected based on the document image stored in the document image database and the search information stored in the search information database, and a correction character is stored in the correction area. When input, the character code data and character position data of the correction target character stored in the search information database are replaced with the character code data and character position data of the correction character, and when the correction target character in the correction area is deleted, By deleting the character code data and character position data of the correction target character stored in the search information database, the search information of the correction target character that needs correction can be corrected, and unnecessary search information can be deleted. it can.
[0093]
In the second invention, when a correction character is input to the correction area, a rectangular area obtained by equally dividing the correction area by the number of correction characters is obtained as the position of the circumscribed rectangle of the correction character, and the circumscribed rectangle of the obtained correction character is obtained. Based on the position and the corrected character, the character position of the search information is replaced by replacing the character code data and the character position data of the correction target character stored in the search information database with the character code data and the character position data of the corrected character. Data can be corrected accurately.
[0094]
In the third invention, when a correction character is input to the correction area, a rectangular area obtained by dividing the correction area by the average character width for each character is obtained as the position of the circumscribed rectangle of the correction character, and the circumscribed rectangle of the obtained correction character By replacing the character code data and character position data of the correction target character stored in the search information database with the character code data and character position data of the correction character based on the position of the Character position data can be corrected accurately.
[0095]
In the fourth invention, when the number of correction characters input in the correction area is equal to the number of correction target characters in the correction area, the circumscribed rectangle position of the correction target character is set as the circumscribed rectangle position of the correction character, and the above search is performed. By replacing the character code data of the correction target character stored in the information database with the character code data of the correction character, the character position data of the search information can be corrected accurately.
[0096]
In the fifth invention, when correction is required for the circumscribed rectangle position of the corrected character obtained previously, the position of the circumscribed rectangle of the corrected character is newly corrected by the operator, and the corrected character character stored in the search information database By rewriting the position data to the newly corrected character position data, the position of the corrected character obtained earlier can be further corrected, so the character position data in the search information is more accurate.
Can be corrected.
[0097]
In the sixth invention, when a keyword for searching for a predetermined character in a document image is input, the keyword area is selected as a correction area from the document image, and the correction target character in the selected correction area is corrected. Or, by rewriting or deleting the character code data and character position data of the correction target character that has been deleted and saved in the search information database, the search information of the correction target character that has been corrected or deleted by the character search by the keyword is corrected or deleted can do.
[0098]
In the seventh invention, additional information for selecting a correction target character region in the document image is added to the search information, and the correction target character in the correction region selected based on this additional information is corrected or deleted. By rewriting or deleting the character code data and character position data of the correction target character stored in the search information database, and deleting the additional information, the search information of the correction target character that needs correction can be corrected. In addition, unnecessary search information can be deleted.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a document filing apparatus according to a first embodiment.
FIG. 2 is a flowchart showing an operation procedure of a search information correction method according to the first embodiment.
3 is a diagram for explaining a method for correcting a character segmentation error included in search information according to
4 is a diagram for explaining a method for correcting character position data in search information according to
5 is a diagram showing the contents of search information before and after correction in
6 is a diagram for explaining a method for correcting a character string extraction error included in search information according to
FIG. 7 is a diagram for explaining a method of correcting a misreading of characters included in search information in the first embodiment.
FIG. 8 is a diagram illustrating a method for obtaining the position of a correct character in the second embodiment.
FIG. 9 is a diagram for explaining a method for obtaining the position of a correct character in the third embodiment.
FIG. 10 is a diagram for explaining a character position correction method according to the fourth embodiment;
FIG. 11 is a diagram for explaining correction area designation processing according to the fifth embodiment.
FIG. 12 is a configuration diagram of a document filing apparatus according to a sixth embodiment.
FIG. 13 is a diagram showing an example of a search result in the sixth embodiment.
14 is a diagram showing an example of search results in
FIG. 15 is a diagram showing search information having additional information according to the eighth embodiment.
FIG. 16 is a flowchart showing an operation procedure of a method for correcting search information having additional information according to the eighth embodiment.
FIG. 17 is a configuration diagram of a conventional document filing apparatus.
FIG. 18 is a view for explaining the contents of search information of a conventional document filing apparatus.
FIG. 19 is a diagram showing a display state of a search result of a conventional document filing apparatus.
[Explanation of symbols]
1 scanner, 2 character recognition device, 3 document image database, 4 search information database, 5 search engine, 6 search terminal, 7 search information correction terminal.
Claims (7)
上記スキャナで読み取った上記文書画像中の文字の文字コードデータと文字の外接矩形の位置を示す文字位置データとにより構成され、上記文書画像中の修正対象文字の領域を選択するための検索情報を作成する文字認識手段と、
上記文字認識手段により作成された上記検索情報を保存する検索情報データベースと、
上記文書画像データベースに保存された上記文書画像と上記検索情報データベースに保存された上記検索情報とを表示領域に表示し、この表示した文書画像と検索情報とに基づいて上記文書画像の修正又は削除を要する修正領域が選択され、上記修正領域に修正文字が入力されると、入力された上記修正文字の外接矩形の位置を求め、上記修正文字と上記修正文字の外接矩形の位置とに基づいて上記検索情報データベースに保存された上記修正領域の修正対象文字の上記文字コードデータを上記修正文字の文字コードデータに置き換えると共に上記修正対象文字の上記文字位置データを上記修正文字の文字位置データに置き換え、又上記修正領域の修正対象文字が削除されると、上記検索情報データベースに保存された上記修正対象文字の上記文字コードデータと上記文字位置データとを削除する検索情報修正手段と、を備えたことを特徴とする文書ファイリング装置。A document image database in which document images read by the scanner are stored;
Search information for selecting a correction target character area in the document image, comprising character code data of characters in the document image read by the scanner and character position data indicating the position of a circumscribed rectangle of the characters. A character recognition means to create;
A search information database for storing the search information created by the character recognition means;
The document image stored in the document image database and the search information stored in the search information database are displayed in a display area, and the document image is corrected or deleted based on the displayed document image and the search information. When a correction area that requires correction is selected and a correction character is input to the correction area, the position of the circumscribed rectangle of the input correction character is obtained, and based on the position of the correction character and the circumscribed rectangle of the correction character The character code data of the correction target character in the correction area stored in the search information database is replaced with the character code data of the correction character, and the character position data of the correction target character is replaced with the character position data of the correction character. When the correction target character in the correction area is deleted, the correction target character stored in the search information database is overwritten. And search information modification means for deleting the character code data and the character position data, document filing apparatus comprising the.
上記検索情報修正手段は、上記修正領域に修正文字が入力されると、上記テーブルに保存された文字毎の平均文字幅で上記修正領域を分割した矩形領域を修正文字の外接矩形の位置として求め、この求めた修正文字の外接矩形の位置と上記修正文字とに基づいて、上記検索情報データベースに保存された上記修正対象文字の文字コードデータと文字位置データとを上記修正文字の文字コードデータと文字位置データとに置き換えることを特徴とする請求項1記載の文書ファイリング装置。A table that stores the average character width for each character
When a corrected character is input to the correction area, the search information correction means obtains a rectangular area obtained by dividing the correction area by an average character width for each character stored in the table as a position of a circumscribed rectangle of the correction character. Based on the position of the circumscribed rectangle of the corrected character obtained and the corrected character, the character code data and the character position data of the correction target character stored in the search information database are 2. The document filing device according to claim 1, wherein the document filing device is replaced with character position data.
上記検索情報修正手段は、上記検索手段により送出された上記キーワードの領域に基づいて、上記キーワードの領域を枠線で囲った上記文書画像を第2の表示領域に表示し、この枠線で囲った領域を、修正又は削除を要する修正領域として選択することを特徴とする請求項1記載の文書ファイリング装置。When a keyword for searching for a predetermined character is input from the document image, the character code data and character position data of the characters constituting the keyword are searched from the search information database, and the searched character code data Search means for obtaining the keyword area in the document image based on the character position data and sending the keyword area together with the document image stored in the document image database;
The search information correction means displays the document image in which the keyword area is surrounded by a frame line in the second display area based on the keyword area sent by the search means, and the frame is surrounded by the frame line. 2. The document filing apparatus according to claim 1, wherein the selected area is selected as a correction area that requires correction or deletion.
上記検索情報修正手段は、上記検索情報データベースに保存された付加情報に基づいて修正対象文字を選択し、上記検索情報の上記文字コードデータと上記文字位置データとを置き換え又は削除した後に、上記付加情報を削除することを特徴とする請求項1記載の文書ファイリング装置。The character recognition means includes character code data of a character in the document image read by the scanner, character position data indicating a position of a circumscribed rectangle of the character, a candidate character for each character, and a rough shape of the character. Creating search information composed of additional information for selecting a correction target character area in the document image, and
The search information correcting means selects a correction target character based on additional information stored in the search information database, replaces or deletes the character code data and the character position data of the search information, and then adds the additional information. 2. The document filing apparatus according to claim 1, wherein the information is deleted.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07505699A JP3750406B2 (en) | 1999-03-19 | 1999-03-19 | Document filing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07505699A JP3750406B2 (en) | 1999-03-19 | 1999-03-19 | Document filing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000268124A JP2000268124A (en) | 2000-09-29 |
| JP3750406B2 true JP3750406B2 (en) | 2006-03-01 |
Family
ID=13565177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07505699A Expired - Fee Related JP3750406B2 (en) | 1999-03-19 | 1999-03-19 | Document filing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3750406B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5134383B2 (en) * | 2008-01-29 | 2013-01-30 | 株式会社日立製作所 | OCR device, trail management device and trail management system |
| JP2010113661A (en) * | 2008-11-10 | 2010-05-20 | Seiko Epson Corp | Device, system, and method for generating electronic file, and computer program |
-
1999
- 1999-03-19 JP JP07505699A patent/JP3750406B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000268124A (en) | 2000-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10860848B2 (en) | Multi-page document recognition in document capture | |
| US10762377B2 (en) | Floating form processing based on topological structures of documents | |
| JPH08255236A (en) | Image filing apparatus and filing method | |
| JPH1011531A (en) | Form reader | |
| US6567545B1 (en) | Format recognition method, apparatus and storage medium | |
| JP3750406B2 (en) | Document filing device | |
| EP1202213A2 (en) | Document format identification apparatus and method | |
| JPH1173472A (en) | Format information registering method and ocr system | |
| CN116910292B (en) | Document and chart retrieval methods, devices, electronic devices and storage media | |
| JP4167386B2 (en) | Map symbol recognition result confirmation method and apparatus, and recording medium | |
| JP4357226B2 (en) | Form definition device, form definition method, and form definition program | |
| JPH10207981A (en) | Form recognition method | |
| JP7666129B2 (en) | Information processing device and program | |
| JP3817442B2 (en) | Image recognition apparatus, image recognition method, program for realizing image recognition method, and recording medium for the program | |
| JP3985926B2 (en) | Character recognition method, character recognition apparatus, document image processing system, and recording medium | |
| JPH06162107A (en) | Electronic filing system | |
| JP4517821B2 (en) | Image processing apparatus and program | |
| JP3270551B2 (en) | Character recognition device and character recognition method | |
| JPH07306873A (en) | Information retrieval method by calculation sheet | |
| JP3166995B2 (en) | Comment giving method and document processing device | |
| JP4544691B2 (en) | Character reader | |
| CN121524381A (en) | A method and system for processing engineering specification documents | |
| JPH04199483A (en) | Document recognizing and correcting device | |
| JPH10232912A (en) | Map updating method and device | |
| JPH1069494A (en) | Image retrieval method and device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040624 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051115 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051128 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091216 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091216 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101216 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111216 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111216 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121216 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121216 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131216 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |