JP4088014B2 - 画像検索システムおよび画像検索方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は画像検索システムおよび画像検索方法に関し、特に文書画像の文字認識結果を用いて文書画像の検索を行なう画像検索システムおよび画像検索方法に関する。
【０００２】
【従来の技術】
従来より、文字認識装置と文字列検索装置とを融合した画像検索装置が提案されている。この画像検索装置は、文書画像の文字認識結果を検索データとしてデータベースに登録しておき、その登録された検索データを用いて検索語に一致する文字列を含む文書画像を検索するものである。
【０００３】
このように、文字認識結果を検索データとして使用する画像検索装置においては、登録対象の文書画像の画像品質によっては文字認識結果を検索データとして有効利用できなくなり、検索漏れが生じる場合がある。対象となる文書画像の中には多様なフォントで印字されているものや、コピーを繰り返したために画像が劣化しているものなどがあり、このような劣化画像を扱う場合においては、文字認識処理で誤認識が生じやすくなるためである。
【０００４】
このような検索漏れを防ぐための技術としては、文書画像中の文字列毎にその認識候補文字列の数を、認識結果の確からしさがある一定値を越えるまでは検索データとして追加登録していくという検索方式が知られている（特開平６−２２３１２１号公報）。
【０００５】
この検索方式を用いることにより、再現率が向上し、目的とする検索語に関してはもれが少ない検索をすることが出来るようになる。
【０００６】
【発明が解決しようとする課題】
しかし、このような検索方式を用いた場合には、通常の文字列検索方式に比べ、より多くの検索結果が出現してしまうため、適合率が低下してしまうことが判っている。その際、検索結果には不適切な検索結果も多く含まれるので、検索時間も増大することになる。よって、ユーザにとっては検索結果が利用しにくいものとなり、目的とする文書画像を探すまでに多くの時間が必要とされた。
【０００７】
本発明は上述の事情に鑑みてなされたものであり、多様なフォントで印字されているものやコピーを繰り返したために劣化した文書画像等を扱う場合であっても検索もれが少なく、且つ目的とする文書画像を短時間で効率よく探すことが可能な画像検索システムおよび画像検索方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上述の課題を解決するため、本発明は、文書画像の文字認識結果が登録された登録データベースを用いて文書画像の検索を行なう画像検索システムであって、登録対象の文書画像に対する文字認識処理を実行する文書画像認識手段と、前記文書画像認識手段によって認識された文書画像毎にその文字認識結果の信頼度を推定する文書信頼度推定手段と、前記文書画像認識手段によって得られた各文書画像の文字認識結果を、その信頼度に応じて分類して前記登録データベースに検索データとして登録する登録手段と、前記登録データベースに信頼度別に登録された文書画像それぞれの文字認識結果を用いて文書画像の検索を行なう検索手段とを具備することを特徴とする。
【０００９】
この画像検索システムにおいては、登録時にその文書画像の文字認識結果の信頼度が推定され、その推定結果に基づいて信頼度別に分類された状態で各文書画像の文字認識結果が登録データベースに検索データとして登録される。このように予め信頼度別に分類して検索データを登録しておくことにより、例えば信頼度の高いものから順に検索を行ったり、あるいは信頼度別に適切な検索語を作成して検索するなどの、各検索データの信頼度に応じた検索方式を用いることが可能となるので、誤認識に対しては検索もれが少なくなるような検索を行なうことができ、また正読と推定された部分に関しては短い検索時間で良好な適合率を達成することができる。また、必要に応じて、信頼度の低いものについては検索対象から除外することなどにより高速な検索をおこなうことも可能となる。
【００１０】
信頼度は、文字認識の信頼度と、文字を切り出す信頼度と、文書画像中の文字あるいは文字行の向きの複雑度と、文書画像のレイアウトの信頼度若しくは複雑度と、文書画像におけるノイズの量と、文書画像における画素の色の分散とのいずれか一つあるいは複数を組み合わせることによって推定することができる。
【００１１】
また、信頼度別の登録に際しては、文字認識結果の信頼度が所定値よりも低いと推定された文書画像については、文字認識結果として登録される認識文字列の候補数が、信頼度が所定値以上の文書画像よりも増えるように、各文書画像の文字認識結果の登録形態をその信頼度に応じて制御してもよい。
【００１２】
また、推定された信頼度が予め決められた特定値よりも低いものに関しては検索データとして登録せずにユーザにデータが不適切な旨を表示する手段を設けることにより、無駄な登録が行われることを未然に防止することが可能となる。
【００１３】
また、検索手段によって得られた検索結果については、信頼度に従って順に表示したり、信頼度の高い部分と低い部分の変化点を明示するか、あるいは信頼度の高い部分と低い部分の色や文字サイズを変えて表示するか、あるいは信頼度の高いものはテキストデータで信頼度の低い部分は原画像またはそれを加工した画像で表示することが好ましい。これにより、どの部分の検索結果がより信頼できるものであるかを、ユーザに提示することが可能となる。
【００１４】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
図１には、本発明の一実施形態に係る画像検索システムの動作の流れが模式的に示されている。この画像検索システムは、スキャナなどによって文書を読み込むことによって得られた文書画像のイメージデータの文字認識結果を検索データとしてデータベースに登録しておき、その登録された検索データを用いて検索語に一致する文字列を含む文書画像を検索して表示するためのものである。
【００１５】
すなわち、まず登録対象の文書画像に対する文書画像認識処理（ステップＳ１１）が行われ、これにより文字認識結果と、認識する際に副次的に求められる様々な情報が得られる。この副次的な情報には、文字認識類似度、レイアウト複雑度、色の分散、ノイズ量等の情報が含まれており、これらを用いて、文書画像毎にその文字認識結果の信頼度を推定する処理（ステップＳ１２）が行われる。
【００１６】
文字認識結果は文書画像の検索データとしてデータベースに登録されるが、この登録に際しては、登録方法判定処理（ステップＳ１３）によって信頼度に基づく適切な登録方式が判定される。そして、各文書画像の文字認識結果は、その信頼度に応じてたとえば図示のようなＡ，Ｂ，Ｃの３つのデータベース２０１，２０２，２０３に分類して登録される。データベース２０１，２０２，２０３の順に、信頼度は低下する。
【００１７】
つまり、文字認識結果の信頼度が高い文書画像の文字認識結果についてはデータベース２０１に登録され、文字認識結果の信頼度が中程度の文書画像の文字認識結果についてはデータベース２０２に登録され、文字認識結果の信頼度が低い文書画像の文字認識結果についてはデータベース２０３に登録されることになる。
【００１８】
検索時には、検索先のデータベース２０１，２０２，２０３に応じた検索処理（ステップＳ１１４）が行われる。そして、検索結果画面上でユーザによって選択された文書画像が文書画像ファイル記憶部２００から読み出されて画面表示される。
【００１９】
このように文書画像毎に予め信頼度別に分類して文字認識結果を検索データとして登録しておくことにより、例えば信頼度の高いものから順に検索を行ったり、あるいは信頼度別に適切な検索語を作成して検索するなどの、各検索データの信頼度に応じた検索方式を用いることが可能となる。また、信頼度別の登録に際しては、データベース２０２に登録する文字認識結果については、データベース２０１に登録する文字認識結果よりも認識文字列の候補数を増やし、またデータベース２０３に登録する文字認識結果についてはデータベース２０２に登録する文字認識結果よりも認識文字列の候補数をさらに増やすという処理を行なうことが好ましく、これにより漏れのない検索を行なうことができる。この場合でも、検索処理をデータベース２０１，２０２，２０３の順に行なうことにより、データベース２０１からは検索結果を高速に得ることができるので、ユーザに対して検索速度の低下を感じさせることはない。
【００２０】
図２は本実施形態の画像検索システムの機能構成を示すブロック図である。本画像検索システムは、図示のように、文書画像認識部１０１、文書信頼度推定部１０２、認識結果登録部１０３−１〜１０３−３、登録方法判定部１０４、検索部１０５、検索結果表示部１０６から構成されている。
【００２１】
文書画像認識部１０１は前述の文書画像認識処理（ステップＳ１１）を行なうためのものであり、この文書画像認識部１０１は文字認識を行なうと同時に前述の副次的な中間情報を出力する。文字認識結果は認識結果登録部１０３−１〜１０３−３に送られ、副次的情報は文書信頼度推定部１０２に送られる。
【００２２】
文書信頼度推定部１０２では前述の信頼度推定処理（ステップＳ１２）が行われる。認識結果登録部１０３−１〜１０３−３は前述のデータベース２０１〜２０３にそれぞれ対応しており、文字認識結果を各登録先のデータベースに適合した方法で登録する。認識結果登録部１０３−１〜１０３−３のいずれを用いるかは、登録判定部１０４によって決定される。つまり、文書画像の文字認識結果の信頼度に応じて登録方法の判定が行われ、これにより各文書画像の文字認識結果はその信頼度に応じてデータベース２０１〜２０３に分類された状態で登録されることになる。
【００２３】
検索部１０５はデータベース２０１〜２０３を用いてユーザにより指定された検索文字列を含む文書画像を検索する。この検索結果は検索結果表示部１０６を介して画面表示される。
【００２４】
次に、信頼度推定処理の具体的な方法について説明する。
信頼度推定の方法としては、個々の文字認識の信頼度を利用する方法（図３）や文字を切り出す際の信頼度を利用する方法（図４）やレイアウト情報の信頼度や複雑度を利用する方法（図５）やノイズの量を利用する方法（図６）や色の分散を利用する方法（図７）やこれらの一部を統合する方法（図８）が考えられる。
【００２５】
図３は認識した個々の文字の類似度を平均した値を文書画像の文字認識結果の信頼度として出力する方法を示している。例えば、認識処理を行った文書画像に図示のように「あ」、「け」、「う」の文字列が含まれおり、それらが「あ」、「い」、「う」と認識された場合を想定する。この場合、認識文字毎に文書画像認識部１０１から得られる類似度を平均することにより、この文書画像全体の文字認識結果の信頼度が得られる。
【００２６】
図４では文書画像から文字を切り出す際に一時的に２通りの文字切り出し方法が出現した時に、各文字の縦横比の平均値を文書の複雑度としている。この場合、複雑度は「１」に近い程、切り出し結果が信頼できることを表している。縦横比が異なるものは、文字切り出しの正確度が低下している場合が多いため、複雑度が高く、切り出し結果の信頼性は低くものと判定される。
【００２７】
図５では文書画像から文字や行を切り出す際に得られるレイアウト情報から文書の信頼度を求める方法を示している。一般に行頭の座標が揃っていなかったり、文字サイズが一定していない場合などは文書のレイアウトが複雑であると考えることができる。それらの値の分散を文書の複雑度としている。この場合、行頭の座標が揃っていない部分が発生する頻度や、異種文字サイズの文字が現れる頻度が高いほど、複雑度は高くなる。また、複雑度を利用して、文書の信頼度を文書の複雑度の反比例などで定義することもできる。
【００２８】
図６ではノイズの量を計測して文書の信頼度を推定する方法を示している。一般に文書画像から文字を精度良く抽出する場合には前処理として細かな黒画素の塊を除いた後で行切り出しや文字切り出しを行なう場合がある。ここでの細かな黒画素の塊の数をカウントする事によりコピー等による画像の劣化が分かり、文書の信頼度を推定できる。
【００２９】
黒画素の塊の検出法としては、黒連結成分を囲む矩形面積の大きさを求め、その値によってノイズであるか否かを判定するなどの手法を用いることができる。
【００３０】
図７は色数／色の分散の評価を利用する例である。カラー文書において様々な色が使われた文書は精度良く文字や行を切り出して認識することが難しい。したがって色の数が多い場合や単色であっても画像を取り込む際の色ずれなどにより色の分散が大きい場合には文書の信頼度は低いと考えられる。したがって色空間上でクラスタ数が多い場合や各色のクラスタの分散が大きい場合にはその文書画像の文字認識結果の信頼度は低いと推定される。
【００３１】
図８は図３乃至図７の方法を組み合わせて用いる場合の例として、例えば図３の文字認識類似度と図６のノイズの数を線形和で統合して信頼度を推定する方法を示している。これにより、より正確な信頼度の推定が可能となる。もちろん、図３、図６以外の他の方法についても、任意に組み合わせて使用することができる。
【００３２】
次に、図９のフローチャートを参照して、図２の画像検索システムにおける文書画像登録処理の流れを説明する。
文書登録処理は、
１．文書画像を認識するステップ（Ｓ１０１）
２．文書画像を評価し、文字認識結果の信頼度を推定するステップ（Ｓ１０２）
３．上記の信頼度の推定結果を受けて文字認識結果を検索データとして登録する方法を判定するステップ（Ｓ１０３，Ｓ１０４）
４．登録を行なうステップ（Ｓ１０５〜Ｓ１０７）
によって実現される。
【００３３】
文書画像を認識するステップ（Ｓ１０１）では文書画像から文字を切り出し、個々の切り出し結果に対して文字認識を行なう。その際、文字認識結果以外にも副次的な情報として前述のような様々な情報も同時に出力する。信頼度を推定するステップ（Ｓ１０２）では前ステップＳ１０１で出力された文字認識結果以外の副次的情報から文書の信頼度を出力する。
【００３４】
続いて、登録方法を判定するステップ（Ｓ１０３，Ｓ１０４）では上記Ｓ１０２のステップにより出力される文書の信頼度に応じて検索データの登録方法を選択する。そして登録を行なうステップ（Ｓ１０５〜Ｓ１０７）の内のいずれかが選択され、その選択された登録方法により該当するデータベース２０１〜２０３への登録が行われる。
【００３５】
このようにして、各文書画像の文字認識結果は、その信頼度の推定結果に基づいて分類された状態で該当するデータベースに登録される。
【００３６】
次に、図１０のフローチャートを参照して、図２の画像検索システムにおける文書画像登録処理の第２の例について説明する。
【００３７】
ここでは、図９の文書登録処理の方法に加え、文書画像の文字認識結果の信頼度が予め決められた特定値より低いものに関しては検索データとして登録せずにユーザにデータが不適切な旨を表示するためのステップとしてＳ１１１とＳ１１２が追加されている。
【００３８】
すなわち、信頼度を推定するステップ（Ｓ１０２）にて文字認識結果の信頼度が推定されると、その推定された信頼度Ｒが予め決められた特定値Ｒt よりも高いか否かが判断される（ステップＳ１１１）。推定された信頼度Ｒが予め決められた特定値Ｒt よりも高い場合には、ステップＳ１０３〜Ｓ１０７により、図９と同様の登録方法判定処理および信頼度別の登録処理が行われる。一方、推定された信頼度Ｒが予め決められた特定値Ｒt 以下である場合には、検索データとして登録せずに、例えば図１１のような画面をユーザに提示する事により、データが不適切な旨を表示する処理（ステップＳ１１２）が行われる。この場合、必要に応じて文書画像認識処理を再試行したり、あるいは文字認識結果を画面表示してユーザに対して修正のための編集処理を実行させるなどの処理が行われる。これにより、検索データとして不適切な文字認識結果が無駄に登録されることを未然に防止することが可能となる。
【００３９】
次に、図１２のフローチャートを参照して、図２の画像検索システムにおける文書画像検索処理の流れを説明する。
【００４０】
検索処理は、
１．ユーザの質問文を受け付けるステップ（Ｓ２０１）
２．各信頼度のデータに対する質問形式に変換するステップ（Ｓ２０２）
３．上記の各質問形式で検索を行なうステップ（Ｓ２０３）
４．検索結果を表示するステップ（Ｓ２０４）
によって実行される。
【００４１】
まず、ユーザの質問文を受け付けるステップ（Ｓ２０１）が実行され、ユーザからの検索質問文の入力が受け付けられる。図２の検索部１０５はデータベース２０１，２０２，２０３の順で信頼度の高い方から順に検索先として選択しながら検索を開始するが、この場合、検索先となる各データベースに応じて検索語を生成する処理が行われる。これは、文字認識結果の信頼度が所定値よりも低い検索データに対する検索に際しては信頼度が所定値以上の検索データよりも検索条件が緩和されるようにするためであり、入力された検索質問文と、検索先となるデータベースの信頼度とに基づいて、検索語の生成が行われる。
【００４２】
例えば、検索質問文により「テキスト」という文字列の検索が要求された場合には、信頼度の高いデータベースに対しては「テキスト」という文字列がそのまま検索語として用いられるが、信頼度の低いデータベースに対しては「テキスト」という文字列の他に、「ラキスト」などの文字列も検索語に加えられ、それら文字列のＯＲ検索などが行われる。
【００４３】
続いて、検索結果を表示するステップ（Ｓ２０４）が実行され、該当する文字列を含む文書画像ファイル名の一覧が画面表示される。
【００４４】
次に、図１３を参照して、文書の信頼度の高い場合に登録されるデータベースに対しての検索を優先的に実行し、その結果が表示されてから、信頼度の低いデータベースに対する検索を並行して行なう場合の処理について説明する。
【００４５】
検索部１０５は最も信頼性の高い文字認識結果の登録に使用されるデータベースを検索先として優先して選択し、そのデータベースに対する検索が終了するまで、信頼性の低い文字認識結果の登録に使用されるデータベースに対する検索は待機する。最も信頼性の高い文字認識結果の登録に使用されるデータベースの検索が終了すると、その検索結果の一覧を画面表示する。そして、検索結果の一覧を画面表示した状態で、信頼性の低い文字認識結果の登録に使用されるデータベースに対する検索を開始する。そして、検索が終了すると、検索結果の一覧が追加表示される。
【００４６】
このように信頼度の高いデータベースの検索結果を最初にユーザに提示し、その間に次のデータベースの検索を行なうことにより、検索開始から検索結果が表示されるまでの時間を短縮することができる。特に、信頼性の低い文字認識結果の登録に使用されるデータベースについては、検索条件の緩和のためのＯＲ検索や、あるいは前述したように文字認識結果として登録される認識文字列の候補数を増やすことなどによって、その検索に要する時間は長くなるため、このようなデータベースに対する検索処理を、信頼度の高いデータベースから得られた検索結果の表示中にそれと並行して行なうことにより、結果として待ち時間の少ない効率の良い検索を実現することが可能となる。
【００４７】
また、信頼度の高いデータベースから十分な数の候補が検索された場合などにおいては、必要に応じて、信頼度の低いデータベースに対する検索を省略しても良い。
【００４８】
次に、図１４乃至図１７を参照して、図２の検索結果表示部１０６によって提供される検索結果画面の例について説明する。
【００４９】
図１４は、文字認識結果の信頼度順に検索結果を表示する場合の例であり、文字認識結果の信頼度の高い文書画像の検索結果は上位の位置に表示し、信頼度に応じて順に下位に表示する。この場合、検索結果である各文書画像名毎に、文書信頼度推定部１０２によって得られた信頼度の値が画面表示される。これは、データベースへの登録時に、信頼度の値を検索データや文書画像に対応づけて記録しておくことによって実現することができる。
【００５０】
また、必要に応じて、ある程度信頼度の低いものについては表示対象から除外することなどにより、より高速な検索結果表示を行なうことも可能となる。
【００５１】
検索結果一覧画面の中で、ある特定の文書画像がユーザによって選択されると、その文書画像が文書画像ファイル２００から読み出されてそのイメージが画面表示される。
【００５２】
図１５は検索結果の表示の際に信頼度の高い部分と低い部分の変化点を明示する場合の例である。変化点としては、例えば検索元のデータベースの種類を利用することができる。もちろん、信頼度の値を各文書画像データ毎に管理している場合には、変化点として使用される基準値と、検索された文書画像それぞれに対応する信頼度の値とを比較して、変化点を検出するようにしても良い。
【００５３】
また、図１６のように信頼度の高い部分と低い部分の色を変えて表示したり、また文字サイズを変えて表示したり、さらに図１７のように信頼度の高い部分をテキストデータで、信頼度の低い部分は原画像またはそれを加工した画像で表示するようにしても良い。いずれの方式においても、信頼度に関する情報をユーザに明示的に提示することにより、ユーザは最終目的とする文書画像を効率よく得ることができる。
【００５４】
なお、本実施形態の画像検索システムはコンピュータ上で実行可能なソフトウェアとして実現することができる。この場合、その手順を含むコンピュータプログラムをコンピュータ読み取り可能な記録媒体を通じて通常のコンピュータに導入するだけで、本実施形態と同様の効果を容易に得ることが可能となる。
【００５５】
【発明の効果】
以上に述べてきたように本発明によれば、多様なフォントで印字されているものやコピーを繰り返したために劣化した文書画像等を扱う場合であっても、検索もれが少なく、且つ目的とする文書画像を短時間で効率よく探すことが可能となる。また、ユーザは各検索結果についてそれが信頼度の高いものであるかどうかを即時に判別でき、検索結果を効率よく利用することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る画像検索システムの動作の流れを示す図。
【図２】同実施形態の画像検索システムの機能構成を示すブロック図。
【図３】同実施形態の画像検索システムで用いられる信頼度推定処理の第１の例を説明するための図。
【図４】同実施形態の画像検索システムで用いられる信頼度推定処理の第２の例を説明するための図。
【図５】同実施形態の画像検索システムで用いられる信頼度推定処理の第３の例を説明するための図。
【図６】同実施形態の画像検索システムで用いられる信頼度推定処理の第４の例を説明するための図。
【図７】同実施形態の画像検索システムで用いられる信頼度推定処理の第５の例を説明するための図。
【図８】同実施形態の画像検索システムで用いられる信頼度推定処理の第６の例を説明するための図。
【図９】同実施形態の画像検索システムによる文書登録処理の手順を示すフローチャート。
【図１０】同実施形態の画像検索システムによる文書登録処理の第２の手順を示すフローチャート。
【図１１】図１０の登録処理において信頼度が予め決められた特定値より低い場合に表示される画面例を示す図。
【図１２】同実施形態の画像検索システムによる文書画像検索処理の手順を示すフローチャート。
【図１３】同実施形態の画像検索システムにおいて信頼度に応じた優先順位で検索処理を行なう場合の動作を説明するための図。
【図１４】同実施形態の画像検索システムにおける検索結果表示画面の第１の例を示す図。
【図１５】同実施形態の画像検索システムにおける検索結果表示画面の第２の例を示す図。
【図１６】同実施形態の画像検索システムにおける検索結果表示画面の第３の例を示す図。
【図１７】同実施形態の画像検索システムにおける検索結果表示画面の第４の例を示す図。
【符号の説明】
１０１…文書画像認識部
１０２…文書信頼度推定部
１０３…認識結果登録部
１０４…登録方法推定部
１０５…検索部
１０６…検索結果表示部
２０１〜２０３…データベース
２００…文書画像ファイル記憶部

Claims (8)

1. 文書画像の文字認識結果が登録された登録データベースを用いて文書画像の検索を行なう画像検索システムであって、
   登録対象の文書画像に対する文字認識処理を実行する文書画像認識手段と、
   前記文書画像認識手段によって認識された文書画像毎にその文字認識結果の信頼度を推定する文書信頼度推定手段と、
   前記文書画像認識手段によって得られた各文書画像の文字認識結果を、その信頼度に応じて分類して前記登録データベースに検索データとして登録する登録手段と、
   前記登録データベースに信頼度別に登録された文書画像それぞれの文字認識結果を用いて文書画像の検索を行なう検索手段とを具備し、
   前記検索手段は、前記文字認識結果の信頼度が所定値以上の登録データベースに対する検索を行う場合、入力された検索質問文の文字列を検索語として使用し、前記文字認識結果の信頼度が所定値よりも低い登録データベースに対する検索を行う場合、前記文字認識結果の信頼度が所定値以上の登録データベースを検索する場合よりも検索条件が緩和されるように、入力された検索質問文の文字列内の所定の文字が他の文字に変更された他の文字列を検索語として生成し、且つ前記検索質問文の文字列と前記検索語として生成した文字列とのＯＲ検索を実行することを特徴とする画像検索システム。
2. 前記文書信頼度推定手段は、
   文字認識の信頼度と、文字を切り出す信頼度と、文書画像中の文字あるいは文字行の向きの複雑度と、文書画像のレイアウトの信頼度若しくは複雑度と、文書画像におけるノイズの量と、文書画像における画素の色の分散とのいずれか一つあるいは複数を組み合わせて、各文書画像の文字認識結果の信頼度を推定することを特徴とする請求項１記載の画像検索システム。
3. 前記検索手段は、
   前記登録データベースに検索データとして信頼度別に登録された文書画像それぞれの文字認識結果を、信頼度の高い方から順に検索することを特徴とする請求項１記載の画像検索システム。
4. 前記登録手段は、
   文字認識結果の信頼度が所定値よりも低いと推定された文書画像については、文字認識結果として登録される認識文字列の候補数が、信頼度が所定値以上の文書画像よりも増えるように、各文書画像の文字認識結果の登録形態をその信頼度に応じて制御することを特徴とする請求項１記載の画像検索システム。
5. 前記登録手段は、
   推定された信頼度が予め決められた特定値よりも低いものに関しては検索データとして登録せずにユーザにデータが不適切な旨を表示することを特徴とする請求項１または４記載の画像検索システム。
6. 前記検索手段によって得られた検索結果を信頼度別に表示する検索結果表示手段であって、信頼度の高い部分と低い部分の変化点を明示するか、あるいは信頼度の高い部分と低い部分の色や文字サイズを変えて表示するか、あるいは信頼度の高いものはテキストデータで信頼度の低いものは原画像またはそれを加工した画像で表示する検索結果表示手段をさらに具備することを特徴とする請求項１記載の画像検索システム。
7. 文書画像の文字認識結果が登録された登録データベースを用いて文書画像の検索を、画像検索システムに設けられた文書画像認識手段、文書信頼度推定手段、登録手段、および検索手段によって実行する画像検索方法であって、
   前記文書画像認識手段が、登録対象の文書画像に対する文字認識処理を実行する文書画像認識ステップと、
   前記信頼度推定手段が、前記文書画像認識手段によって認識された文書画像毎にその文字認識結果の信頼度を推定する文書信頼度推定ステップと、
   前記登録手段が、前記文書画像認識手段によって得られた各文書画像の文字認識結果を、その信頼度に応じて分類して前記登録データベースに検索データとして登録する登録ステップと、
   前記検索手段が、前記登録データベースに信頼度別に登録された文書画像それぞれの文字認識結果を用いて文書画像の検索を行なう検索ステップとを具備し、
   前記検索ステップは、
   前記文字認識結果の信頼度が所定値以上の登録データベースに対する検索を行う場合、前記検索手段が、入力された検索質問文の文字列を検索語として使用し、前記文字認識結果の信頼度が所定値よりも低い登録データベースに対する検索を行う場合、前記検索手段が、前記文字認識結果の信頼度が所定値以上の登録データベースを検索する場合よりも検索条件が緩和されるように、入力された検索質問文の文字列内の所定の文字が他の文字に変更された他の文字列を検索語として生成し、且つ前記検索質問文の文字列と前記検索語として生成した文字列とのＯＲ検索を実行するステップを含むことを特徴とする画像検索方法。
8. 文書画像の文字認識結果が登録された登録データベースを用いて文書画像の検索を行なうコンピュータプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
   前記コンピュータプログラムは、
   登録対象の文書画像に対する文字認識処理を実行する文書画像認識手順と、
   前記文書画像認識手順によって認識された文書画像毎にその文字認識結果の信頼度を推定する文書信頼度推定手順と、
   前記文書画像認識手順によって得られた各文書画像の文字認識結果を、その信頼度に応じて分類して前記登録データベースに検索データとして登録する登録手順と、
   前記登録データベースに信頼度別に登録された文書画像それぞれの文字認識結果を用いて文書画像の検索を行なう検索手順であって、前記文字認識結果の信頼度が所定値以上の登録データベースに対する検索を行う場合、入力された検索質問文の文字列を検索語として使用し、前記文字認識結果の信頼度が所定値よりも低い登録データベースに対する検索を行う場合、前記文字認識結果の信頼度が所定値以上の登録データベースを検索する場合よりも検索条件が緩和されるように、入力された検索質問文の文字列内の所定の文字が他の文字に変更された他の文字列を検索語として生成し、且つ前記検索質問文の文字列と前記検索語として生成した文字列とのＯＲ検索を実行する検索手順とをコンピュータに実行させることを特徴とする記録媒体。

Images