JP7645650B2

JP7645650B2 - 画像処理装置及びプログラム

Info

Publication number: JP7645650B2
Application number: JP2021017121A
Authority: JP
Inventors: 裕太郎平岡
Original assignee: Japan Research Institute Ltd
Current assignee: Japan Research Institute Ltd
Priority date: 2021-02-05
Filing date: 2021-02-05
Publication date: 2025-03-14
Anticipated expiration: 2041-02-05
Also published as: JP2022120308A

Description

本発明は、画像処理装置及びプログラムに関する。

特許文献１には、予め辞書登録済みの商品画像の局所特徴点情報と入力画像から抽出した局所特徴点情報との対応状態に基づいて、両者の相対位置関係を表現する射影変換行列を算出し、射影変換を行うことが記載されている。特許文献２には、画像にて検出された文字の認識をして、そのフォントを判断することが記載されている。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１７－１８７９７１号公報
［特許文献２］特開２０１３－１８８９３５号公報

本発明の第１の態様においては、画像処理装置が提供される。画像処理装置は、撮影された定型フォーマットの書類の画像である処理対象画像を取得する対象画像取得部を備える。画像処理装置は、定型フォーマットのテンプレート画像を取得するテンプレート画像取得部を備える。画像処理装置は、処理対象画像及びテンプレート画像から、処理対象画像とテンプレート画像との間で画像情報が類似する複数の特徴点ペアを抽出する特徴点ペア抽出部を備える。画像処理装置は、特徴点ペア抽出部により抽出された複数の特徴点ペアの位置に基づいて、処理対象画像を、書類を正面から見た場合に得られるべき正面画像に射影変換する画像変換部を備える。定型フォーマットには、複数の書類の間で共通の情報を持つべき領域である共通領域が定められている。テンプレート画像は、共通領域以外の領域の画像情報を含まず、共通領域内の複数の文字画像のうちの少なくとも一部の文字画像を含む。

テンプレート画像は、共通領域内に含まれる枠線の画像のうちの少なくとも一部の画像を含んでよい。

特徴点ペア抽出部は、テンプレート画像に含まれる複数の画像領域のそれぞれに設定された複数の特徴点のそれぞれに対して、処理対象画像から画像情報が類似する特徴点を抽出することによって、複数の特徴点ペアを抽出してよい。画像処理装置は、複数の画像領域のそれぞれについて、それぞれの画像領域に設定された複数の特徴点に対して処理対象画像から抽出された画像情報が類似する特徴点の数を計数し、複数の画像領域のそれぞれについて計数された特徴点の数に基づいて、複数の画像領域の中から射影変換に用いる一部の画像領域を選択する領域選択部を備えてよい。画像変換部は、領域選択部により選択された一部の画像領域に設定された複数の特徴点に対して抽出された複数の特徴点ペアの位置に基づいて、処理対象画像を正面画像に射影変換してよい。

領域選択部は、複数の画像領域のうち、複数の画像領域のそれぞれについて計数された特徴点の数がより多い画像領域を、射影変換に用いる画像領域としてより優先して選択してよい。

特徴点ペア抽出部は、複数の画像領域のそれぞれに設定された複数の特徴点のそれぞれに対して処理対象画像から画像情報が類似する特徴点を抽出し、処理対象画像から抽出した複数の特徴点の中から、特徴点ペアとして抽出された特徴点同士の位置関係がより近い一部の特徴点を複数の特徴点ペアを構成する特徴点としてより優先して選択してよい。

テンプレート画像を格納する格納部を備えてよい。

定型フォーマットの書類は人物の写真画像を予め定められた位置に含む書類であってよい。画像処理装置は、定型フォーマットの書類に含まれる人物の写真画像を教師データとして機械学習された学習済みモデルを用いて、処理対象画像から人物の写真画像を含む領域を特定する特定部を備えてよい。画像変換部は、特定部が特定した写真画像を含む領域の位置にさらに基づいて、処理対象画像を正面画像に射影変換してよい。

定型フォーマットの書類は、自動車又は原動機付自転車の運転免許証、旅券、若しくは健康保険の被保険者証であってよい。

画像処理装置は、正面画像から文字の画像を抽出する文字画像抽出部と、文字画像抽出部が抽出した文字の画像と予め定められた字形を持つ基準文字の画像との相違を示す情報を出力する文字処理部とをさらに備えてよい。

文字処理部は、文字画像抽出部が抽出した文字の画像を、処理対象の文字の画像として取得する処理対象文字取得部を備えてよい。文字処理部は、基準文字の画像と、互いに異なる字形を持つ複数の文字の画像とを用いた機械学習によって生成され、入力される文字の画像から予め定められた字形に適応した文字の画像を生成する学習済みモデルを格納する格納部を備えてよい。文字処理部は、学習済みモデルを用いて、処理対象の文字の画像から、予め定められた字形に適応させた処理対象の文字の画像を生成する文字画像生成部を備えてよい。文字処理部は、文字画像生成部が生成した画像と基準文字の画像との比較結果に基づいて、処理対象の文字と基準文字との相違を示す情報を出力する相違情報出力部を備えてよい。

第２の態様において、プログラムが提供される。プログラムは、コンピュータを、上記の画像処理装置として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

一実施形態における画像処理システム１０の全体構成を概略的に示す。画像処理部４０の機能ブロックを示す。画像切り出し部４３のよる画像の切り出し処理を説明する図面である。運転免許証の定型フォーマット５０を運転免許証５２の一例とともに模式的に示す。特徴点ペア抽出部４４が使用するテンプレート画像６０を模式的に示す。特徴点ペア抽出部４４による特徴点マッチングの処理結果を模式的に示す。領域選択部４６が領域を選択する処理を説明するための表である。テンプレート画像６０において写真画像を含むべき画像領域９０を示す。人物の写真画像の位置を更に用いて射影変換を行う場合の処理を説明するための図である。画像処理システム１０が実行する処理の流れを概略的に示す。文字処理部２００、学習装置２０２、及び文字解析装置２８０の機能ブロックを示す。学習データの構成を示す。モデル生成部２０６における機械学習を実行する学習器の概念構成を示す。相違情報出力部２４０が出力する相違情報の一例を示す。文字画像６２０－１、文字画像６３０－１、文字画像６４０－１及び比較画像６５０－１を拡大して示す。参考例として、文字画像６２０－１に文字画像６４０－１を重ねた状態を示す。特異文字情報１６０のデータ構造の一例を示す。本実施形態に係るコンピュータ２０００の例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。なお、図面において、同一または類似の部分には同一の参照番号を付して、重複する説明を省く場合がある。

図１は、一実施形態における画像処理システム１０の全体構成を概略的に示す。画像処理システム１０は、画像処理装置１２と、学習装置２０２と、文字解析装置２８０と、記憶装置２９０と、表示装置８８とを備える。画像処理装置１２は、画像処理部４０と、文字処理部２００とを備える。記憶装置２９０は、フォントデータ１００と、モデル１２０と、特異文字情報１６０とを格納する格納部である。

処理対象画像２０及び解析対象画像３０は、撮影された定型フォーマットの書類の画像である。処理対象画像２０及び解析対象画像３０は、本人確認用書類の画像である。一例として、処理対象画像２０及び解析対象画像３０は、自動車や原動機付自転車の運転免許証、健康保険の被保険者証等のカードを撮影することにより生成された画像である。処理対象画像２０は、画像処理部４０及び文字処理部２００による処理対象の画像となる。本実施形態において定型フォーマットの書類の一例として、運転免許証を取り上げて説明する。

画像処理部４０は、処理対象画像２０から、運転免許証に使用されている文字を抽出する機能を有する。処理対象画像２０は、例えば、運転免許証の所有者が運転免許証をスマートフォン等のカメラ機能を用いて撮影した画像である。したがって、処理対象画像２０には、運転免許証が置かれた机や床の模様等の背景ノイズが含まれる場合がある。また、処理対象画像２０には、運転免許証を正面から撮影していないこと等によって、運転免許証の画像に歪みが生じている場合がある。その他、処理対象画像２０には、撮影者の影の映り込みや、光源による陰影変化等を含む場合がある。そのため、処理対象画像２０から直接的に文字の画像を抽出すると、運転免許証に使用されている文字を正確な形状で抽出できない可能性がある。

そこで、画像処理部４０は、処理対象画像２０とテンプレート画像との間で特徴点マッチングを行って、処理対象画像２０を、運転免許証を正面から撮影した正面画像に変換するための射影変換行列を算出する。画像処理部４０は、算出した射影変換行列を用いて処理対象画像２０を射影変換することによって、処理対象画像２０の正面画像を生成する。画像処理部４０は、射影変換によって生成された処理対象画像２０の正面画像を生成から、運転免許証に使用されている文字の画像を抽出する。例えば、画像処理部４０は、運転免許証の所有者の氏名が印字される部位の画像と、運転免許証の所有者の住所が印字される部位の文字を抽出する。

画像処理部４０が使用するテンプレート画像は、運転免許証の定型フォーマットとして必ず含まれる部位の画像のみを含む。例えば、テンプレート画像は、運転免許証の所有者の氏名や住所等の個人情報が印字される部位の画像を含まず、氏名欄の「氏名」という文字が印字された部位と、住所欄の「住所」という文字が印字された部位の画像を含む。また、テンプレート画像は、例えば「運転免許証」の「運」、「転」、「免」、「許」及び「証」のそれぞれの文字が印字された部位の画像を含む。なお、運転免許証において生年月日欄に印字される年号の文字や運転免許証番号が印字される部位等には、発行者によって異なるフォントや異なる字体の文字が使用される場合があり得る。テンプレート画像には、発行者によって異なるフォントや異なる字体の文字が使用される可能性がある部位の文字の画像を含まないことが望ましい。このように、テンプレート画像は、運転免許証の定型フォーマットとして必ず含まれる部位の画像のみを含むので、正確な射影変換行列を算出することができる。これにより、運転免許証の氏名欄、住所欄に用いられている文字の形状を正確に表す画像を抽出することができる。

画像処理部４０が抽出した文字の画像は、文字処理部２００に入力される。文字処理部２００は、運転免許証に使用されている文字のうち、特徴的な字形を持つ文字を示す情報を生成する機能を有する。文字処理部２００の機能の概要を説明する。

学習装置２０２は、フォントデータ１００に含まれる複数のフォントの文字画像を用いた機械学習によって、入力される文字の字形を、基準となるフォントの字形に適応させる学習済みモデル１２０を生成する。一例として、モデル１２０は、「とめ」、「はね」、「はらい」等のような装飾的な字形要素を、基準となるフォントの字形要素に適応させるためのニューラルネットワークモデルである。学習装置２０２がモデル１２０を生成する処理については後述する。

文字処理部２００は、モデル１２０を用いて、処理対象画像２０から抽出された文字を、基準となる字形に適応させた上で、処理対象画像２０に含まれる文字のうち、どの文字が特徴的な字形を持つかを示す情報を生成して、特異文字情報１６０に記録する。文字処理部２００が生成した情報は表示装置８８に表示され、特徴的な字形を持つ文字であるか否かを判定者８０が最終的に判定してよい。なお、本実施形態において、特徴的な字形を持つ文字のことを「特異文字」と呼ぶ場合がある。

処理対象画像２０及び解析対象画像３０は、例えば、同一の発行機関が発行した運転免許証を撮影した画像であってよい。一例として、処理対象画像２０及び解析対象画像３０は、同一の発行者が発行した運転免許証ｎの画像であってよい。上述したように、運転免許証は、発行者毎に独自のフォントを用いて作成される場合がある。文字解析装置２８０は、特異文字情報１６０の情報を用いて解析対象画像３０を解析するので、運転免許証の作成に使用する特徴的な字形を持つ文字を認識して、解析対象画像３０に含まれる文字を適切に解析することができる。なお、文字処理部２００の機能については、図９から図１７等に関連して説明する。

図２は、画像処理部４０の機能ブロックを示す。画像処理部４０は、テンプレート画像取得部４１と、対象画像取得部４２と、画像切り出し部４３と、特徴点ペア抽出部４４と、特定部４５と、領域選択部４６と、画像変換部４７と、文字画像抽出部４８と、格納部４９とを備える。

画像処理部４０は、コンピュータにより実現される。文字処理部２００、学習装置２０２、及び文字解析装置２８０は、１以上の任意の数のコンピュータにより実現されてよい。格納部４９は、不揮発性の記憶媒体や揮発性の記憶媒体によって実現されてよい。格納部４９は、インターネット等の通信回線を通じてアクセス可能な外部の記憶媒体によって実現されてよい。

対象画像取得部４２は、撮影された定型フォーマットの書類の画像である処理対象画像を取得する。本実施形態において、定型フォーマットの書類は、運転免許証である。

テンプレート画像取得部４１は、定型フォーマットのテンプレート画像を取得する。具体的には、格納部４９はテンプレート画像を格納し、テンプレート画像取得部４１は、格納部４９からテンプレート画像を取得する。

定型フォーマットには、複数の書類の間で共通の情報を持つべき領域である共通領域が定められている。テンプレート画像は、共通領域以外の領域の画像情報を含まず、共通領域内の複数の文字画像のうちの少なくとも一部の文字画像を含む。テンプレート画像は、共通領域内に含まれる枠線の画像のうちの少なくとも一部の画像を含んでよい。

特徴点ペア抽出部４４は、処理対象画像及びテンプレート画像から、処理対象画像とテンプレート画像との間で画像情報が類似する複数の特徴点ペアを抽出する。例えば、特徴点ペア抽出部４４は、処理対象画像の各領域から局所特徴量を抽出し、テンプレート画像において設定された予め設定された特徴点から抽出される局所特徴量に類似する局所特徴量が抽出された領域を特徴点として選択して、選択した特徴点とテンプレート画像において設定された特徴点とを特徴点ペアとして抽出する。画像変換部４７は、特徴点ペア抽出部４４により抽出された複数の特徴点ペアの位置に基づいて、処理対象画像を、書類を正面から見た場合に得られるべき正面画像に射影変換する。

特徴点ペア抽出部４４は、テンプレート画像に含まれる複数の画像領域のそれぞれに設定された複数の特徴点のそれぞれに対して、処理対象画像から画像情報が類似する特徴点を抽出することによって、複数の特徴点ペアを抽出する。領域選択部４６は、複数の画像領域のそれぞれについて、それぞれの画像領域に設定された複数の特徴点に対して処理対象画像から抽出された画像情報が類似する特徴点の数を計数し、複数の画像領域のそれぞれについて計数された特徴点の数に基づいて、複数の画像領域の中から射影変換に用いる一部の画像領域を選択する。例えば、領域選択部４６は、複数の画像領域のうち、複数の画像領域のそれぞれについて計数された特徴点の数がより多い画像領域を、射影変換に用いる画像領域としてより優先して選択する。画像変換部４７は、領域選択部４６により選択された一部の画像領域に設定された複数の特徴点に対して抽出された複数の特徴点ペアの位置に基づいて、処理対象画像を正面画像に射影変換する。

例えば、画像変換部４７は、特徴点ペアを構成する特徴点の画像上の位置に基づいて、処理対象画像を正面画像に射影変換するための射影変換行列を算出し、算出した射影変換行列を処理対象画像に適用することによって、正面画像を生成する。例えば、画像変換部４７は、射影変換後の画素位置を（ｘ１、ｙ１）とし、射影変換前の画素位置を（ｘ２，ｙ２）とした場合に、次の式（１）で表される射影変換行列Ｈを算出する。

例えば、画像変換部４７は、テンプレート画像において設定された特徴点の位置を（ｘ１、ｙ１）とし、処理対象画像２０から抽出された特徴点の位置を（ｘ２、ｙ２）として、最小二乗法等を用いた数値計算によって射影変換行列Ｈのパラメータｈ１１からｈ３３を算出する。

特徴点ペア抽出部４４は、複数の画像領域のそれぞれに設定された複数の特徴点のそれぞれに対して処理対象画像から画像情報が類似する特徴点を抽出し、処理対象画像から抽出した複数の特徴点の中から、特徴点ペアとして抽出された特徴点同士の位置関係がより近い一部の特徴点を複数の特徴点ペアを構成する特徴点としてより優先して選択してよい。

定型フォーマットの書類は、人物の写真画像を含む書類であってよい。例えば、定型フォーマットの書類は、運転免許証又はパスポートであってよい。定型フォーマットの書類が人物の写真画像を含む書類である場合、特定部４５は、運転免許証に含まれる人物の写真画像を教師データとして機械学習された学習済みモデルを用いて、処理対象画像から人物の写真画像を含む領域を特定する。画像変換部４７は、特定部４５が特定した写真画像を含む領域の位置にさらに基づいて、処理対象画像を正面画像に射影変換する。

文字画像抽出部４８は、画像変換部４７が生成した正面画像から文字の画像を抽出する。文字処理部２００は、文字画像抽出部４８が抽出した文字の画像と予め定められた字形を持つ基準文字の画像との相違を示す情報を出力する。

図３は、画像切り出し部４３のよる画像の切り出し処理を説明する図面である。処理対象画像２０には、背景画像２１と、運転免許証が撮影された画像２２とを含む。背景画像２１は、例えば、運転免許証の背後にある机や床等が撮影された部分の画像である。画像切り出し部４３は、処理対象画像２０から物体認識を行うことによって、運転免許証が撮像された部分を特定する。画像切り出し部４３は、処理対象画像２０から、運転免許証の画像が持つべき特徴的な画像特徴量を検出し、運転免許証が持つ特徴的な画像特徴量が検出された部位を囲う枠線２３を特定することによって、運転免許証が撮像された部分を特定してよい。画像切り出し部４３は、処理対象画像２０から、運転免許証が撮像された部分の画像２２を切り出す。画像切り出し部４３が切り出した画像２２は、特徴点ペア抽出部４４及び画像変換部４７に供給される。これにより、特徴点ペア抽出部４４及び画像変換部４７が処理する画像に背景ノイズが含まれないようにすることができる。

運転免許証が正面から撮影されない場合、運転免許証の画像２２には矩形からの歪みが生じる場合がある。特徴点ペア抽出部４４、領域選択部４６及び画像変換部４７により、画像２２を射影変換することによって、運転免許証を正面から撮影した場合に得られるべき正面画像を仮想的に生成する。

図４は、運転免許証の定型フォーマット５０を運転免許証５２の一例とともに模式的に示す。定型フォーマット５０は、氏名欄の「氏名」の文字、生年月日欄の「年月日生」の文字、住所欄の「住所」の文字、運転免許の条件欄の「免許の条件等」の文字、「運転免許証」の文字等を含む。これら定型フォーマット５０に含まれる情報は、全ての運転免許証に共通する情報である。なお、図４の点線は、運転免許証の外枠を分かりやすく表すことを目的として図示したものであり、印字情報としての定型フォーマットには含まれるものではない。

運転免許証５２は、共通情報に加えて、氏名「○○太郎」の文字、生年月日欄の「平成２１１」の文字、住所欄の「○○県××市△△１－１－１」の文字等の情報を含む。これらの情報は、運転免許証の発行者によって印字される情報であるため、発行者によって字体やフォントが違う可能性がある。

図５は、特徴点ペア抽出部４４が使用するテンプレート画像６０を模式的に示す。図５の点線は、図４の点線と同様に運転免許証の外枠を分かりやすく表すことを目的として図示したものであり、テンプレート画像６０の画像情報として含まれるものではない。

テンプレート画像６０は、氏名欄の「氏名」の文字を含む画像領域６１の画像と、住所欄の「住所」の文字を含む画像領域６２の画像と、「運」の文字を含む画像領域６３の画像と、「転」の文字を含む画像領域６４のと、「免」の文字を含む画像領域６５と、「許」の文字を含む画像領域６６と、「証」の文字を含む画像領域６７からなる画像である。画像領域６２の画像は、「氏名」の文字を囲む枠線６８の画像を含む。また、画像領域６３の画像は、「住所」の文字を囲む枠線６９の画像を含む。なお、テンプレート画像６０として、枠線６８及び枠線６９の画像を含まず、文字の画像のみを含む形態を採用してもよい。

図５に示されるように、テンプレート画像６０は、定型フォーマット５０に含まれる情報の画像情報を含み、定型フォーマット５０に含まれない情報の画像情報を含まない。したがって、テンプレート画像６０は、運転免許証の発行者によらず、全ての運転免許証が共通して持つべき情報の画像情報から構成される。そのため、特徴点ペア抽出部４４が処理対象画像２０から特徴点をより正確に抽出することが可能になる。

図６は、特徴点ペア抽出部４４による特徴点マッチングの処理結果を模式的に示す。特徴点ペア抽出部４４は、テンプレート画像６０の画像領域６１、画像領域６２、画像領域６３、画像領域６４、画像領域６５、画像領域６６及び画像領域６７に、複数の特徴点を設定する。なお、図６には、特徴点の対応関係を分かりやすく示すことを目的として、画像領域６１から画像領域６７の各領域に特徴点を２つ設定した場合を示している。画像領域６１から画像領域６７の各領域に設定される特徴点の数は２つに限定されない。各領域に設定される特徴点の数は３つ以上であってよい。各領域に設定される特徴点の数は１つ以上であってもよい。

一例として、画像領域６１には、特徴点７１Ａ及び特徴点７２Ｂを含む複数の特徴点が設定されている。特徴点ペア抽出部４４は、特徴点マッチングにより、特徴点７１Ａと類似する画像情報を持つ特徴点７１ａと、特徴点７２Ｂと類似する画像情報を持つ特徴点７１ｂとを、画像２２から抽出する。特徴点ペア抽出部４４は、特徴点７１Ａ及び特徴点７１ａを１つの特徴点ペアとして抽出し、特徴点７１Ｂ及び特徴点７１ｂを１つの特徴点ペアとして抽出する。

また、一例として、画像領域６３には、特徴点７３Ａ及び特徴点７３Ｂを含む複数の特徴点が設定されている。特徴点ペア抽出部４４は、特徴点マッチングにより、特徴点７３Ａと類似する画像情報を持つ特徴点７３ａと、特徴点７３Ｂと類似する画像情報を持つ特徴点７３ｂとを、画像２２から抽出する。特徴点ペア抽出部４４は、特徴点７３Ａ及び特徴点７３ａを１つの特徴点ペアとして抽出し、特徴点７３Ｂ及び特徴点７３ｂを１つの特徴点ペアとして抽出する。

なお、特徴点ペア抽出部４４は、特徴点７３Ｂと類似する画像情報を持つ特徴点として、特徴点７３ｂ以外に特徴点７３ｃが抽出された場合、テンプレート画像６０に設定された他の特徴点と画像２２から抽出された対応する特徴点との間の位置関係に基づいて、特徴点７３ｃを特徴点ペアとして選択せずに除外する。例えば、特徴点７３Ｂと特徴点７３ｃとを結ぶ線分は、テンプレート画像６０に設定された他の特徴点と画像２２から抽出された特徴点とを結ぶ線分とは向きが大きく異なる。そのため、特徴点ペア抽出部４４は、特徴点７３Ｂと特徴点７３ｃとの間の位置関係は、他の特徴点間の位置関係とは異なるものと判断し、特徴点７３Ｂの特徴点ペアとして、特徴点７３Ｂ及び特徴点７３ｃを除外する。これにより、特徴点ペア抽出部４４は、特徴点７３Ｂの特徴点ペアとして、特徴点７３Ｂ及び特徴点７３ｂのみを抽出する。

図７は、領域選択部４６が領域を選択する処理を説明するための表である。ここでは、図７の「領域」の列に示されているように、「氏名」の文字を含む画像領域６１と、「住所」の文字を含む画像領域６２と、「運」の文字を含む画像領域６３とを取り上げて説明する。また、図７の「特徴点」の列に示されているように、画像領域６１には５つの特徴点７１Ａ～特徴点７１Ｅが設定されており、画像領域６２には５つの特徴点７２Ａ～特徴点７２Ｅが設定されており、画像領域６３には５つの特徴点７３Ａ～特徴点７３Ｅが設定されているものとする。

図７の表において、「特徴点ペア抽出結果」の列は、特徴点ペア抽出部４４によって特徴点ペアが抽出されたか否かを示す。「特徴点ペア抽出結果」の列において、「○」は特徴点ペアが抽出されたことを示し、「×」は特徴点ペアが抽出されなかったことを示す。なお、特徴点ペアが抽出されない場合としては、例えば撮影者の影の映り込みや、光源による陰影変化の影響等によって特徴点が抽出されなかった場合や、撮影者の指によって免許証の一部が隠されることによって特徴点が抽出されなかった場合等があり得る。その他、図６において画像領域６３の特徴点７３Ｂに関連して説明したように、画像２２から１つ以上の特徴点が抽出されたものの、特徴点の位置関係に基づいて特徴点ペアを構成する特徴点から除外したことによって、特徴点ペアを１つも抽出できなかった場合等があり得る。

図７の表において、「使用」の列は、特徴点ペアの位置情報を射影変換に使用するか否かを示す。「使用」の列において、「○」は特徴点ペアの位置情報を射影変換に使用することを示し、「×」は特徴点ペアの位置情報を射影変換に使用しないことを示す。例えば、図７の表の「特徴点ペア抽出結果」の列に示されるように、画像領域６１及び画像領域６２においては、設定された５つの特徴点のうち４つの特徴点について特徴点ペアが抽出されている。一方、画像領域６３においては、設定された５つの特徴点のうち３つの特徴点について特徴点ペアが抽出されていない。この場合、領域選択部４６は、射影変換に用いる画像領域として画像領域６１及び画像領域６２を選択し、射影変換に使用する画像領域として画像領域６３を選択しない。

このように、領域選択部４６は、特徴点ペアが抽出された数がより多い画像領域を、射影変換に用いる特徴点ペアを選択するための画像領域として、より優先して選択する。なお、領域選択部４６は、射影変換に用いる特徴点ペアを選択するための画像領域として、特徴点ペアが抽出された数が予め定められた閾値以上の画像領域を選択してよい。領域選択部４６は、射影変換に用いる特徴点ペアを選択するための画像領域として、画像領域に設定された特徴点の数に対する特徴点ペアが抽出された数の比率が予め定められた閾値以上の画像領域を選択してよい。このように、領域選択部４６は、特徴点ペアが抽出された数に基づいて、射影変換に用いる特徴点ペアを選択するための画像領域として、テンプレート画像６０において設定された複数の画像領域から一部の画像領域を選択してよい。例えば、特定の画像領域に設定された特徴点について抽出された特徴点ペアの数が少ない場合に比べると、抽出された特徴点ペアの数が多い方が、特徴点ペアの抽出結果として信頼性が高いと判断することができる。これにより、射影変換に用いる特徴点ペアを選択するための画像領域から、特徴点ペアの抽出結果の信頼性が低い可能性が高い画像領域を、除外することができる。

画像変換部４７は、領域選択部４６が選択した画像領域に設定された特徴点について抽出された特徴点ペアの位置に基づいて、射影変換行列Ｈを算出する。そして、画像変換部４７は、算出した射影変換行列Ｈを画像２２に適用して、正面画像を生成する。これにより、処理対象画像２０において歪のある運転免許証の画像２２から、歪が低減された正面画像を生成することができる。そして、文字画像抽出部４８は、画像変換部４７により生成された正面画像から、文字の画像を抽出する。例えば、文字画像抽出部４８は、画像変換部４７が生成した正面画像から、定型フォーマット５０の氏名欄において運転免許証の所有者の氏名が印字される領域から「○○太郎」の文字の画像を抽出する。また、文字画像抽出部４８は、定型フォーマット５０の住所欄において運転免許証の所有者の住所が印字される領域から「○○県××市△△１－１－１」の文字の画像を抽出する。

図８及び図９は、人物の写真画像の位置を更に用いて射影変換を行う場合の処理を説明するための図である。図８は、テンプレート画像６０において写真画像を含むべき画像領域９０を示す。画像領域９０は、定型フォーマット５０において予め定められる特定の領域である。図８及び図９において、画像領域９０に特徴点９１Ａ及び特徴点９１Ｂが設定される場合を説明する。画像領域９０は矩形形状を有する。図８に示す例において、特徴点９１Ａ及び特徴点９１Ｂは、画像領域９０の矩形の２つの頂点である。

図９は、写真画像の画像領域から抽出した特徴点ペアを模式的に示す。特定部４５は、人物の写真画像を含む画像領域９００を画像２２から特定する。特徴点ペア抽出部４４は、特定部４５が特定した画像領域９００から特徴点９１ａ及び特徴点９１ｂを抽出することにより、特徴点ペアを特定する。

例えば、特定部４５は、運転免許証に含まれる人物の写真画像を教師データとして機械学習された学習済みモデルを用いる。例えば、第１の学習済みモデルは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）等の機械学習アルゴリズムを利用して、運転免許証を撮像することにより得られた画像に含まれる写真画像の画像領域のうちの人物の画像領域から抽出される画像特徴量を教師データとして、運転免許証に含まれる画像領域から抽出される画像特徴量と人物の画像領域との関係性を学習させる教師あり機械学習により生成される。また、第２の学習済みモデルは、畳み込みニューラルネットワーク（ＣＮＮ）等の機械学習アルゴリズムを利用して、運転免許証を撮像することにより得られた画像に含まれる写真画像の画像領域のうちの人物の背景の画像領域から抽出される画像特徴量を教師データとして、運転免許証に含まれる画像領域から抽出される画像特徴量と人物の背景の画像領域との関係性を学習させる教師あり機械学習により生成される。

特定部４５は、画像２２の各画像領域から抽出した画像特徴量と第１の学習済みモデルとを用いて、それぞれの画像領域が運転免許証に含まれる人物の画像領域であるか否かを判定し、画像２２の各画像領域から抽出した画像特徴量と第２の学習済みモデルとを用いて、それぞれの画像領域が運転免許証に含まれる人物の背景の画像領域であるか否かを判定することによって、画像２２から画像領域９００を特定する。

特徴点ペア抽出部４４は、テンプレート画像６０に設定される特徴点９１Ａと特定部４５により特定された画像領域９００の１つの頂点を特徴点９１ａとを特徴点ペアとして抽出する。また、特徴点ペア抽出部４４は、テンプレート画像６０に設定される特徴点９１Ｂと特定部４５により特定された画像領域９００の１つの頂点を特徴点９１ｂとを特徴点ペアとして抽出する。特徴点ペア抽出部４４は、画像領域９００の外形を表す頂点のうち、特定部４５により背景の画像領域として判定された側の２つの頂点のうち、人物の右側の頂点を特徴点９１ａとして選択してよい。特徴点ペア抽出部４４は、画像領域９００の外形を表す頂点のうち、特定部４５により人物の画像領域として判定された側の２つの頂点のうち、人物の右側の頂点を特徴点９１ｂとして選択してよい。

特徴点ペア抽出部４４は、図５等に関連して説明したように、テンプレート画像６０に設定された他の特徴点と画像２２から抽出された対応する特徴点との間の位置関係に基づいて、特徴点９１ａ及び特徴点９１ｂをそれぞれ特徴点ペアを構成する特徴点として選択するか否かを判断してよい。

なお、図８においては、一例として画像領域９０に２つの特徴点を設定する場合を説明したが、画像領域９０に設定される特徴点の数は２つに限られない。画像領域９０に設定される特徴点の数は３つ以上であってよい。画像領域９０に設定される特徴点の数は１つであってもよい。

画像変換部４７は、テンプレート画像６０の画像領域６１、画像領域６２、画像領域６３、画像領域６４、画像領域６５、画像領域６６及び画像領域６７に設定した複数の特徴点について抽出した特徴点ペアに加えて、画像領域９００に設定した特徴点９１Ａ及び特徴点９１Ｂについて抽出した特徴点ペアを用いて、射影変換を行う。この際、図７等に関連して説明したように、領域選択部４６は、画像領域９００から抽出された特徴点ペアの数に基づいて、画像領域９００を射影変換に用いる画像領域として選択するか否かを判断してよい。画像変換部４７は、画像領域９００を射影変換に用いる画像領域として選択された場合に、画像領域９００に設定した特徴点９１Ａ及び特徴点９１Ｂについて抽出した特徴点ペアを更に用いて射影変換を行ってよい。

以上に説明したように、画像処理部４０の処理によれば、定型フォーマットの書類から抽出される文字の画像が、定型フォーマットの書類の発行者が使用する字形やフォントの違いの影響を受けにくくすることができる。これにより、書類の発行者によって印字された文字を正確に判断することが可能になる。なお、本実施形態において、定型フォーマットの書類の一例として運転免許証を適用した場合を説明した。定型フォーマットの書類としては、運転免許証の他に、健康保険の被保険者証、クレジットカード等の、個人情報を含むカード状の書類を適用できる。定型フォーマットの書類は、旅券において所有者の個人情報を含むページであってよい。定型フォーマットの書類は、旅券において所有者の写真画像を含むページであってよい。定型フォーマットの書類は、定型フォーマットとして文字が印字又は記載される領域を含む任意の書類であってよい。

次に、図１０から図１７を参照し、画像処理部４０により抽出される文字の画像を利用する一利用形態として、文字処理部２００に関する処理を具体的に説明する。

図１０は、画像処理システム１０が実行する処理の流れを概略的に示す。学習装置２０２は、フォントデータ１００を用いた機械学習により、モデル１２０を生成する。フォントデータ１００は、フォントＡ、Ｂ１、Ｂ２・・・のデータを含む。フォントＡ、Ｂ１、Ｂ２・・・は、それぞれ互いに異なる字形を持つ。フォントＡ、フォントＢ１、フォントＢ２・・・のうち、特定のフォントＡを、基準フォントＡと呼ぶ。基準フォントＡは、特異文字を特定する場合に比較対象として用いられる基準となるフォントである。なお、複数のフォントＢ１、Ｂ２・・・を、各フォントを識別する符号「ｉ」を用いて、「フォントＢｉ」と総称する場合がある。

フォントＡ及びフォントＢｉのデータは、機械学習用のフォントデータとして用いられる。学習装置２０２は、フォントＡ及びフォントＢｉのフォントデータを用いて機械学習することによって、フォントＢｉの各フォントの文字を、フォントＡの文字の字形に適応させるモデル１２０を生成する。モデル１２０は、例えばニューラルネットワークによって構築されるモデルである。学習装置２０２は、｛フォントＢｉの文字とフォントＡの文字｝を１つの文字ペアとして機械学習を行い、フォントＢｉの文字の画像を入力した場合にフォントＡの文字の字形に適応した文字の画像を生成するモデル１２０を生成する。

モデル１２０が生成されると、文字処理部２００は、処理対象画像２０の画像から抽出した文字の画像をモデル１２０に入力して、適応文字１４０を生成する。文字処理部２００は、適応文字１４０と基準フォントＡの文字との比較結果に基づいて、処理対象画像２０の画像から抽出した文字が特異文字であるか否かを判定して、特異文字と判定された文字の情報を特異文字情報１６０に記録する。

文字解析装置２８０は、特異文字情報１６０を用いて、解析対象画像３０の画像に対して文字解析を行う。例えば、「藤」の字が特異文字として判定されている場合、特異文字情報１６０は、解析対象画像３０の「藤」の文字を正しく認識するように構築されたアルゴリズムで文字認識を行う。

図１１は、文字処理部２００、学習装置２０２、及び文字解析装置２８０の機能ブロックを示す。

学習装置２０２は、フォント選択部２０４と、モデル生成部２０６とを備える。文字処理部２００は、処理対象文字取得部２１０と、文字画像生成部２２０と、文字画像選択部２３０と、相違情報出力部２４０と、判定結果取得部２５０とを備える。文字解析装置２８０は、解析対象画像取得部２８２と、文字画像抽出部２８４と、文字解析部２８６とを備える。

文字処理部２００、学習装置２０２、及び文字解析装置２８０は、コンピュータにより実現される。文字処理部２００、学習装置２０２、及び文字解析装置２８０は、１以上の任意の数のコンピュータにより実現されてよい。記憶装置２９０は、不揮発性の記憶媒体や揮発性の記憶媒体によって実現される。

記憶装置２９０は、予め定められた字形を持つ基準文字の画像と、互いに異なる字形を持つ複数の文字の画像とを用いた機械学習によって生成された学習済みモデル１２０を格納する。モデル１２０は、入力される文字の画像から、予め定められた字形に適応した文字の画像を生成するモデルである。

学習装置２０２において、モデル生成部２０６は、予め定められた字形を持つ基準文字の画像と、互いに異なる字形を持つ文字のそれぞれの画像との複数の組を学習データとした敵対的生成ネットワーク（ＧｅｎｅｒａｔｉｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔｗｏｒｋ、ＧＡＮ）を用いてモデル１２０を生成する。

モデル生成部２０６は、学習データとしてフォントデータ１００を用いてよい。この場合、「予め定められた字形を持つ基準文字」は、予め定められた第１のフォントに属する文字であり、「互いに異なる字形を持つ複数の文字」は、第１のフォントとは異なる、互いに異なる複数の第２のフォントに属する文字である。具体的には、第１のフォントは、上述した基準フォントＡに対応し、第２のフォントは、上述したフォントＢｉに対応する。

フォント選択部２０４は、第１のフォントと、複数の第２のフォントとを選択する。フォント選択部２０４は、判定者８０が指定したフォントを、第１のフォントとして選択してよい。モデル生成部２０６は、第１のフォントの画像と、複数の第２のフォントの画像とを用いた機械学習を行って、モデル１２０を生成する。モデル１２０は、複数の第２のフォントに属する文字の画像から、第１のフォントに属する文字の字形に適応した文字の画像を生成するモデル１２０を生成するように機械学習することによって生成されたモデルである。

文字処理部２００において、処理対象文字取得部２１０は、処理対象の文字の画像を取得する。処理対象の文字は、例えば、処理対象画像２０に含まれる文字の画像である。処理対象の文字の画像は、具体的には、画像処理部４０によって処理対象画像２０の正面画像から抽出された文字の画像である。

文字画像生成部２２０は、学習済みモデル１２０を用いて、処理対象の文字の画像から、予め定められた字形に適応させた処理対象の文字の画像を生成する。相違情報出力部２４０は、文字画像生成部２２０が生成した画像と基準文字の画像との比較結果に基づいて、処理対象の文字と基準文字との相違を示す情報を出力する。

相違情報出力部２４０は、文字画像生成部２２０が生成した画像と基準文字の画像とを重畳して表示させる。例えば、相違情報出力部２４０は、文字画像生成部２２０が生成した画像と基準文字の画像とを互いに異なる色で重畳して表示させてよい。判定結果取得部２５０は、文字画像生成部２２０が生成した画像と基準文字の画像とが相違するか否かを示す情報を、利用者としての判定者８０から取得する。

例えば、文字画像選択部２３０は、複数の基準文字の画像の中から、文字画像生成部２２０が生成した文字の画像に類似する文字の画像を選択する。そして、相違情報出力部２４０は、文字画像選択部２３０が選択した画像と、文字画像生成部２２０が生成した画像とを重畳して表示させる。例えば、相違情報出力部２４０は、文字画像選択部２３０が選択した画像と、文字画像生成部２２０が生成した画像とを重畳して、表示装置８８に表示させる。文字画像生成部２２０が生成した画像と基準文字の画像とを重畳させて表示するので、判定者８０は、文字の字形を基準フォントに適応させた文字が基準文字と相違する部位を適切に判断することができる。

相違情報出力部２４０は、処理対象の文字と基準文字とが相違すると判定された場合に、処理対象の文字が特徴的な字形を持つ文字であることを示す情報を特異文字情報１６０に記録してよい。なお、「処理対象の文字が特徴的な字形を持つ文字であることを示す情報」は、「処理対象の文字と基準文字との相違を示す情報」の一例である。相違情報出力部２４０は、特異文字情報１６０に記録する際、処理対象画像２０の発行主体情報とともに記録してよい。

相違情報出力部２４０は、文字画像生成部２２０が生成した画像と基準文字の画像とを比較して、文字画像生成部２２０が生成した画像において基準文字の画像とは文字の骨格が異なる部位が存在する場合に、文字の骨格が異なる部位を示す情報と処理対象の文字の識別情報とを対応づけて記録する。

文字解析装置２８０において、解析対象画像取得部２８２は、文字の解析対象となる書類としての解析対象画像３０の画像データを取得する。解析対象画像３０は、「文字の解析対象となる書類」の一例である。文字画像抽出部２８４は、解析対象画像３０の画像データから、文字を含む画像を抽出する。文字解析部２８６は、相違情報出力部２４０によって記録された情報を用いて、文字画像抽出部２８４が抽出した画像に含まれる文字を解析する。文字解析部２８６は、判定者８０から解析対象画像３０の発行主体情報を受付けて、その発行主体情報をもとに選択された特異文字情報１６０を使用して、文字を解析するよい。このように、文字解析部２８６は、特異文字情報１６０を用いて、文字画像抽出部２８４が抽出した画像に含まれる文字を解析する。処理対象画像２０は、解析対象画像３０と同種の書類のサンプル画像である。そのため、解析対象画像３０には、処理対象画像２０で使用されている文字と同じフォントの文字が使用されている。文字解析部２８６は、処理対象画像２０から特定された特異文字を認識して解析対象画像３０を解析するので、解析対象画像３０に記載されている内容をより正確に解析することができる。

図１２は、学習データの構成を示す。学習データは、文字ペア４００－１１、文字ペア４００－１２、文字ペア４００－１３・・・と、文字ペア４００－２１、文字ペア４００－２２、文字ペア４００－２３・・・とを含む。

文字ペア４００－１１は、フォントＢ１の「藤」の文字と、基準フォントＡの「藤」の文字とのペアである。文字ペア４００－１２は、フォントＢ１の「研」の文字と、基準フォントＡの「研」の文字とのペアである。文字ペア４００－１３は、フォントＢ１の「あ」の文字と、基準フォントＡの「あ」の文字とのペアである。

文字ペア４００－２１は、フォントＢ２の「藤」の文字と、基準フォントＡの「藤」の文字とのペアである。文字ペア４００－２２は、フォントＢ２の「研」の文字と、基準フォントＡの「研」の文字とのペアである。文字ペア４００－２３は、フォントＢ２の「あ」の文字と、基準フォントＡの「あ」の文字とのペアである。

一般に、フォントＢｉを識別する符号を「ｉ」とし、字体（字種）を識別する符号を「ｊ」とすると、モデル生成部２０６は、文字ペア４００－ｉｊを用いて機械学習を行って、モデル１２０を生成する。モデル生成部２０６は、例えば、文字ペア４００－ｉｊを用いて、フォントＢ１の「藤」の文字の画像が入力された場合に、基準フォントＡの「藤」の文字の字形にできるだけ適応した字形を持つ「藤」文字の画像を生成するように、機械学習を行う。

これにより、例えばフォントＢ１の「藤」の文字の画像が入力された場合に、基準フォントＡの「藤」の字形に適応した字形を持つ「藤」の文字の画像を生成するモデル１２０が生成される。このように、モデル１２０は、フォントＢｉの文字ｊの画像から、フォントＡの文字ｊが持つ字形に適応した字形を持つ文字ｊの画像を生成するモデルである。

図１３は、モデル生成部２０６における機械学習を実行する学習器の概念構成を示す。図１３は、フォントＢｉの「藤」の文字の画像５００ｂと、基準フォントＡの「藤」の文字の画像５００ａとの文字ペアを学習データとして用いた学習を行う場合を示す。図１３に示す学習器は、ＧＡＮの一種である条件付きＧＡＮを用いた学習器である。

学習器は、生成ネットワークＧと識別ネットワークＤとを備える。生成ネットワークＧ及び識別ネットワークＤは、それぞれニューラルネットワークである。生成ネットワークＧは、入力される画像５００ｂからフェイク画像５００ｂ'を生成する。

識別ネットワークＤには、画像５００ｂと画像５００ａとの組み合わせが入力される。また、識別ネットワークＤには、画像５００ｂと、生成ネットワークＧが生成したフェイク画像５００ｂ'の組み合わせが入力される。識別ネットワークＤは、入力された画像の組み合わせの識別結果を出力する。例えば、識別ネットワークＤは、入力された画像の組み合わせの正しさの程度を示す確率を、０から１の範囲の数値で出力する。例えば、識別ネットワークＤは、入力された画像の組み合わせが正しいと判断した場合に「１」を出力し、入力された画像の組み合わせ正しくないと判断した場合に「０」を出力する。

識別ネットワークＤは、画像５００ｂと画像５００ａとのペアが入力された場合に「１」に近い値を出力し、画像５００ｂとフェイク画像５００ｂ'のペアが入力された場合に「０」に近い値を出力するように学習する。いわば、識別ネットワークＤは、生成ネットワークＧが生成したフェイク画像５００ｂ'を偽物であると判断できるように学習する。一方で、生成ネットワークＧは、画像５００ｂとフェイク画像５００ｂ'とのペアを識別ネットワークＤに入力した場合に識別ネットワークＤから「１」に近い値が出力されるようなフェイク画像５００ｂ'を生成できるように学習する。画像５００ｂとフェイク画像５００ｂ'とのペアを入力したときの識別ネットワークＤの出力が１／２に十分に近くなった場合に、学習が達成されたと判断される。

モデル生成部２０６は、図１２に示されるようなフォント及び字体（字種）の組み合わせが異なる多数の文字ペアを用いて機械学習を行う。モデル生成部２０６は、各文字ペアで学習が達成されたと判断した場合に、生成ネットワークＧをモデル１２０として出力する。

図１４は、相違情報出力部２４０が出力する相違情報の一例を示す。図１４の画面６００は、相違情報出力部２４０が表示装置８８に出力する相違情報の表示例である。

文字画像６２０－１及び文字画像６２０－２は、処理対象画像２０の文字の画像である。画面６００において、文字画像６２０－１及び文字画像６２０－２は、文字処理部２００における「検査対象文字」として表示される。

文字画像６３０－１は、文字画像６２０－１をモデル１２０に入力することによって文字画像生成部２２０が生成した文字画像である。文字画像６３０－２は、文字画像６２０－２をモデル１２０に入力することによって文字画像生成部２２０が生成した文字である。画面６００において、文字画像６３０－１及び文字画像６３０－２は、基準フォントの字形に適合した文字を持つ「変換後文字」として表示される。

文字画像６４０－１は、文字画像６２０－１の文字に対応する、基準フォントＡの文字の画像である。文字画像６４０－２は、文字画像６２０－２の文字に対応する、基準フォントＡの文字の画像である。文字画像６４０－１及び文字画像６４０－２は、文字画像選択部２３０によって選択された画像である。例えば、文字画像選択部２３０は、文字画像６３０－１と一致度が予め定められた値より高い文字を、基準フォントＡの文字の中から選択する。画面６００において、文字画像６４０－１及び文字画像６４０－２は、変換後文字の比較対象となる「基準文字」として表示される。

比較画像６５０－１は、文字画像６３０－１に文字画像６４０－１を重畳した画像である。比較画像６５０－２は、文字画像６３０－２に文字画像６４０－２を重畳した画像である。

相違情報出力部２４０は、文字画像６２０－１、文字画像６３０－１、文字画像６４０－１、及び比較画像６５０－１と、ボタン６１０－１とを対応づけて、表示装置８８に表示させる。また、相違情報出力部２４０は、文字画像６２０－２、文字画像６３０－２、文字画像６４０－２、及び比較画像６５０－２と、ボタン６１０－２とを対応づけて、表示装置８８に表示させる。

図１４には、「藤」と「研」の２種の字体の文字についての情報が表示された状態を示す。一般に、検査対象とした文字種を示す符号を「ｉ」とすると、相違情報出力部２４０は、文字画像６２０－ｉ、文字画像６３０－ｉ、文字画像６４０－ｉ、及び比較画像６５０－ｉと、ボタン６１０－ｉとを対応づけて、表示装置８８に表示させる。

なお、相違情報出力部２４０は、文字画像６３０－ｉと文字画像６４０－ｉとを比較して、文字画像６３０－ｉと文字画像６４０－ｉとの一致度を算出してよい。相違情報出力部２４０は、算出した画像の一致度が低い順に、文字画像６２０－ｉ、文字画像６３０－ｉ、文字画像６４０－ｉ、及び比較画像６５０－ｉと、ボタン６１０－ｉとを含む文字画像を表示させてよい。

判定者８０は、例えば比較画像６５０－ｉを参照して、文字画像６３０－ｉが文字画像６４０－ｉと相違する部分を持つか否かを判定する。具体的には、判定者８０は、文字画像６３０－ｉが文字画像６４０－ｉと相違する骨格部分を持つか否かを判定する。例えば、判定者８０は、文字画像６３０－ｉが文字画像６４０－ｉと相違する骨格部分を持つと判定した場合に、ボタン６１０－ｉを押す。

ボタン６１０－ｉを押されたことに応じて、判定結果取得部２５０は、文字画像６２０－ｉが特異文字であると判定結果を取得する。この場合に、相違情報出力部２４０は、文字画像６２０－ｉの文字の情報を、特異文字として特異文字情報１６０に記録する。例えば、相違情報出力部２４０は、文字画像６２０－ｉの文字種の識別情報を、特異文字情報１６０に記録する。

なお、判定者８０は、文字画像６３０－ｉが文字画像６４０－ｉと相違する部位を示す情報を入力してよい。例えば、判定者８０は、文字画像６３０－ｉが文字画像６４０－ｉと相違する骨格部分を含む範囲を示す情報を入力する。この場合、相違情報出力部２４０は、入力された骨格部分を含む範囲を示す情報を、文字画像６２０－ｉの文字種の識別情報に対応づけて特異文字情報１６０に記録する。

図１５は、文字画像６２０－１、文字画像６３０－１、文字画像６４０－１及び比較画像６５０－１を拡大して示す。Ｄ１は、文字画像６２０－１における「藤」の文字を構成する辺７０１と辺７０２の間の骨格の間隔を示す。Ｄ２は、文字画像６３０－１における辺７０１と辺７０２の間の骨格の間隔であり、Ｄ３は、文字画像６４０－１における辺７０１と辺７０２の間の骨格の間隔である。比較画像６５０－１から、Ｄ１及びＤ２はいずれも、Ｄ３より短いことが明瞭に分かる。

文字画像６３０－１の文字は、文字画像６２０－１の文字の字形を基準フォントＡの「藤」の字形に適応させたものである。これにより、文字画像６３０－１と文字画像６４０－１との間では、例えば「とめ」、「はね」、「はらい」等の装飾的デザインや文字の太さの違いによって生じる差が小さくなる。そのため、文字画像６３０－１の文字の装飾的デザインや文字の太さは、基準フォントの文字画像６４０－１の文字の装飾的デザインや太さに近いものとなる。一般的に流通しているフォントは主として、装飾的デザインや太さが異なるものが多い。そのため、装飾的デザインや太さが異なるフォントを用いてモデル１２０を学習することによって、基準フォントＡの装飾的デザインに近い装飾的デザインを持つ文字の画像を生成するモデル１２０が得られる。これにより、文字画像６３０－１と文字画像６４０－１との間の装飾的デザインの差が小さくなる。よって、例えば比較画像６５０－１を通じて、文字画像６３０－１の辺７０１と辺７０２の間の骨格の間隔が短いという、学習に用いたフォントに対する特徴的な相違点を、明確に提示することができる。

なお、モデル１２０を生成するための機械学習に用いたフォントデータにおいて、辺７０１と辺７０２の間の骨格の間隔については、フォント間で違いが小さいものであったとする。この場合、フォントデータを用いたモデル１２０の学習工程において、辺７０１と辺７０２の間の骨格の間隔は普遍的な特徴を持つものとして学習される。これにより生成されるモデル１２０は、入力される「藤」の字の画像に対して、辺７０１と辺７０２の間の骨格の間隔を基準フォントに大きく適応させるようなものにはならない。したがって、文字画像６２０－１をモデル１２０で変換すると、文字画像６３０－１のように辺７０１と辺７０２の間の骨格の間隔が比較的に狭い文字の画像が得られる。

このように、画像処理システム１０によれば、文字画像生成部２２０は、モデル１２０に入力した文字の字形要素のうち、装飾的デザインのように様々な違いがある字形要素については、基準フォントＡに適応した文字の画像を生成する。一方で、文字画像生成部２２０は、モデル１２０に入力した文字の字形要素のうち、機械学習に用いたフォントデータに共通している字形要素とは異質な特徴的な字形要素については、その特徴的な字形要素を実質的に維持した文字の画像を生成する。

したがって、判定者８０は、文字画像６３０－１と文字画像６４０－１とを比較することによって、文字画像６２０－１が特異文字であるか否かを容易に判定することができる。特に、相違情報出力部２４０は比較画像６５０－１を表示装置８８に表示させるので、判定者８０は、処理対象画像２０において「藤」の文字の辺７０１と辺７０２の間の骨格の間隔が短いことを一目で判断することができる。

図１６は、参考例として、文字画像６２０－１に文字画像６４０－１を重ねた状態を示す。文字画像６２０－１は、文字画像６３０－１とは異なり、基準フォントＡの「藤」の字形に適応させた文字ではない。そのため、文字画像６２０－１と文字画像６４０－１との間には、字形のデザイン性の違いによって生じる誤差が多く存在する。このように、文字画像６２０－１と文字画像６４０－１とを比較しても、字形の装飾的デザインの違いに起因する誤差が目立つ。そのため、判定者８０が目で見て判定する場合においても、コンピュータ等によって判定する場合においても、その文字が特異文字であるか否かを容易に判定することはできない。

これに対し、図１６及び図１７に示されるとように、画像処理システム１０によれば、どの文字が特異文字であるかを比較的に容易に判定することができる。

図１７は、特異文字情報１６０のデータ構造の一例を示す。特異文字情報１６０は、文字識別情報、文字画像、特徴部位及び特徴量を対応づけて格納する。

「文字識別情報」には、特異文字として判定された文字の識別情報が格納される。文字識別情報は、例えば文字種を示す情報であってよい。文字識別情報は、文字コードであってよい。「文字画像」には、特異文字として判定された文字の画像データがバイナリ形式で格納される。

「特徴部位」は、特徴的な字形を持つ部位の範囲を示す情報である。例えば、特徴的な字形を持つ領域を矩形領域で示す場合、「特徴部位」は、矩形の対角の座標を示す情報を含んでよい。

「特徴量」は、文字画像から抽出される特徴量を示す情報である。特徴量は、文字画像全体から抽出される特徴量を含んでよい。特徴量は、文字画像における特徴部位から抽出される特徴量を含んでよい。

特異文字情報１６０は、文字解析装置２８０が解析対象画像３０を解析する場合に使用される。例えば、解析対象画像３０を解析する場合、解析対象画像取得部２８２が解析対象画像３０の画像データを取得し、文字画像抽出部２８４が解析対象画像３０の画像データから文字画像を抽出する。そして、文字解析部２８６は、特異文字情報１６０に格納されている情報を用いて、文字画像抽出部２８４が抽出した文字画像を解析する。

例えば、文字解析部２８６は、解析対象画像３０から抽出された文字画像から特徴量を検出する。文字解析部２８６は、検出した特徴量が、特異文字情報１６０に格納されている特徴量に適合した場合に、当該特徴量に対応づけて特異文字情報１６０に格納されている文字識別情報を読み出す。そして、文字解析部２８６は、当該文字識別情報の文字が、解析対象画像３０から抽出された文字画像の文字であると認識する。

以上に説明した画像処理システム１０によれば、画像として入力された文字が特異文字であるか否かを適切に判定するとができる。そのため、特異文字であることを認識して、文字認識等の文字を解析することができる。

なお、機械学習に用いるフォントの書体は、処理対象画像２０及び解析対象画像３０で使用されるフォントの書体に整合させることが望ましい。例えば、処理対象画像２０及び解析対象画像３０で使用されるフォントがゴシック体の書体のフォントである場合には、ゴシック体の書体のフォントを機械学習に用いることが望ましい。

なお、文字認識は、文字解析の一例である。文字解析としては、書類の有効性判定等を例示することができる。

なお、画像処理システム１０における文字処理の適用例として、手書き文字の評価等に使用できる場合がある。例えば、ペン習字において生徒が楷行体等の標準的な書体を練習する場合の評価に使用できる場合がる。例えば、ある特定の指導者の手書き文字を基準文字とし、他の多数の指導者の手書き文字を用いて学習することによって、モデル１２０を生成する。そして、文字処理部２００に入力される書類として、生徒が書いた書類を入力する。これにより、生徒の手書き文字を特定の指導者が書いた手書き文字に適応した文字と、特定の指導者が書いた基準文字との比較結果に基づいて、生徒が書いた文字が特異性を持つか否かを判定する。また、画像処理システム１０における文字解析処理として、筆跡鑑定等の手書き文字の解析に利用できる場合がある。

図１８は、本実施形態に係るコンピュータ２０００の例を示す。コンピュータ２０００にインストールされたプログラムは、コンピュータ２０００に、実施形態に係る画像処理部４０、文字処理部２００、学習装置２０２及び文字解析装置２８０、若しくは画像処理システム１０等の装置又はシステム、若しくは当該装置又はシステムの各部として機能させる、当該装置又は当該装置の各部に関連付けられるオペレーションを実行させる、及び／又は、実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ２０００に、本明細書に記載の処理手順及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ２０１２によって実行されてよい。

本実施形態によるコンピュータ２０００は、ＣＰＵ２０１２、及びＲＡＭ２０１４を含み、それらはホストコントローラ２０１０によって相互に接続されている。コンピュータ２０００はまた、ＲＯＭ２０２６、フラッシュメモリ２０２４、通信インタフェース２０２２、及び入力／出力チップ２０４０を含む。ＲＯＭ２０２６、フラッシュメモリ２０２４、通信インタフェース２０２２、及び入力／出力チップ２０４０は、入力／出力コントローラ２０２０を介してホストコントローラ２０１０に接続されている。

ＣＰＵ２０１２は、ＲＯＭ２０２６及びＲＡＭ２０１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。

通信インタフェース２０２２は、ネットワークを介して他の電子デバイスと通信する。フラッシュメモリ２０２４は、コンピュータ２０００内のＣＰＵ２０１２によって使用されるプログラム及びデータを格納する。ＲＯＭ２０２６は、アクティブ化時にコンピュータ２０００によって実行されるブートプログラム等、及び／又はコンピュータ２０００のハードウエアに依存するプログラムを格納する。入力／出力チップ２０４０はまた、キーボード、マウス及びモニタ等の様々な入力／出力ユニットをシリアルポート、パラレルポート、キーボードポート、マウスポート、モニタポート、ＵＳＢポート、ＨＤＭＩ（登録商標）ポート等の入力／出力ポートを介して、入力／出力コントローラ２０２０に接続してよい。

プログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、又はメモリカードのようなコンピュータ可読媒体又はネットワークを介して提供される。ＲＡＭ２０１４、ＲＯＭ２０２６、又はフラッシュメモリ２０２４は、コンピュータ可読媒体の例である。プログラムは、フラッシュメモリ２０２４、ＲＡＭ２０１４、又はＲＯＭ２０２６にインストールされ、ＣＰＵ２０１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ２０００に読み取られ、プログラムと上記様々なタイプのハードウエアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ２０００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。

例えば、コンピュータ２０００及び外部デバイス間で通信が実行される場合、ＣＰＵ２０１２は、ＲＡＭ２０１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース２０２２に対し、通信処理を命令してよい。通信インタフェース２０２２は、ＣＰＵ２０１２の制御下、ＲＡＭ２０１４及びフラッシュメモリ２０２４のような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取った送信データをネットワークに送信し、ネットワークから受信された受信データを、記録媒体上に提供される受信バッファ処理領域等に書き込む。

また、ＣＰＵ２０１２は、フラッシュメモリ２０２４等のような記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ２０１４に読み取られるようにし、ＲＡＭ２０１４上のデータに対し様々な種類の処理を実行してよい。ＣＰＵ２０１２は次に、処理されたデータを記録媒体にライトバックする。

様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理にかけられてよい。ＣＰＵ２０１２は、ＲＡＭ２０１４から読み取られたデータに対し、本明細書に記載され、プログラムの命令シーケンスによって指定される様々な種類のオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々な種類の処理を実行してよく、結果をＲＡＭ２０１４にライトバックする。また、ＣＰＵ２０１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ２０１２は、第１の属性の属性値が指定されている、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

上で説明したプログラム又はソフトウェアモジュールは、コンピュータ２０００上又はコンピュータ２０００近傍のコンピュータ可読媒体に格納されてよい。専用通信ネットワーク又はインターネットに接続されたサーバーシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能である。コンピュータ可読媒体に格納されたプログラムを、ネットワークを介してコンピュータ２０００に提供してよい。

コンピュータ２０００にインストールされ、コンピュータ２０００を画像処理システム１０として機能させるプログラムは、ＣＰＵ２０１２等に働きかけて、コンピュータ２０００を、画像処理部４０、文字処理部２００を含む画像処理システム１０の各部としてそれぞれ機能させてよい。これらのプログラムに記述された情報処理は、コンピュータ２０００に読込まれることにより、ソフトウエアと上述した各種のハードウエア資源とが協働した具体的手段である画像処理システム１０の各部として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ２０００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の画像処理システム１０が構築される。

様々な実施形態が、ブロック図等を参照して説明された。ブロック図において各ブロックは、（１）オペレーションが実行されるプロセスの段階又は（２）オペレーションを実行する役割を持つ装置の各部を表わしてよい。特定の段階及び各部が、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウエア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、及び他の論理オペレーション、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含む、再構成可能なハードウエア回路を含んでよい。

コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、処理手順又はブロック図で指定されたオペレーションを実行するための手段をもたらすべく実行され得る命令を含む製品の少なくとも一部を構成する。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ又はプログラマブル回路に対し、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供され、説明された処理手順又はブロック図で指定されたオペレーションを実行するための手段をもたらすべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。また、技術的に矛盾しない範囲において、特定の実施形態について説明した事項を、他の実施形態に適用することができる。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０画像処理システム
１２画像処理装置
２０処理対象画像
２１背景画像
２２画像
２３枠線
３０解析対象画像
４０画像処理部
４１テンプレート画像取得部
４２対象画像取得部
４３画像切り出し部
４４特徴点ペア抽出部
４５特定部
４６領域選択部
４７画像変換部
４８文字画像抽出部
４９格納部
５０定型フォーマット
５２運転免許証
６０テンプレート画像
６１、６２、６３、６４、６５、６６、６７画像領域
６８、６９枠線
７１、７２、７３特徴点
８０判定者
８８表示装置
９０画像領域
９１特徴点
９１Ａ、９１Ｂ特徴点
１００フォントデータ
１２０モデル
１４０適応文字
１６０特異文字情報
２００文字処理部
２０２学習装置
２０４フォント選択部
２０６モデル生成部
２１０処理対象文字取得部
２２０文字画像生成部
２３０文字画像選択部
２４０相違情報出力部
２５０判定結果取得部
２８０文字解析装置
２８２解析対象画像取得部
２８４文字画像抽出部
２８６文字解析部
２９０記憶装置
４００文字ペア
５００画像
６００画面
６１０ボタン
６２０、６３０、６４０文字画像
６５０比較画像
７０１、７０２辺
９００画像領域
２０００コンピュータ
２０１０ホストコントローラ
２０１２ＣＰＵ
２０１４ＲＡＭ
２０２０入力／出力コントローラ
２０２２通信インタフェース
２０２４フラッシュメモリ
２０２６ＲＯＭ
２０４０入力／出力チップ

Claims

画像処理装置であって、
撮影された定型フォーマットの書類の画像である処理対象画像を取得する対象画像取得部と、
前記定型フォーマットのテンプレート画像を取得するテンプレート画像取得部と、
前記処理対象画像及び前記テンプレート画像から、前記処理対象画像と前記テンプレート画像との間で画像情報が類似する複数の特徴点ペアを抽出する特徴点ペア抽出部と、
前記特徴点ペア抽出部により抽出された前記複数の特徴点ペアの位置に基づいて、前記処理対象画像を、前記書類を正面から見た場合に得られるべき正面画像に射影変換する画像変換部と
を備え、
前記定型フォーマットには、複数の書類の間で共通の情報を持つべき領域である共通領域が定められており、
前記テンプレート画像は、前記共通領域以外の領域の画像情報を含まず、前記共通領域内の複数の文字画像のうちの少なくとも一部の文字画像を含み、
前記特徴点ペア抽出部は、前記テンプレート画像に含まれる複数の画像領域のそれぞれに設定された複数の特徴点のそれぞれに対して、前記処理対象画像から画像情報が類似する特徴点を抽出することによって、前記複数の特徴点ペアを抽出し、
前記画像処理装置は、
前記複数の画像領域のそれぞれについて、それぞれの画像領域に設定された前記複数の特徴点に対して前記処理対象画像から抽出された前記画像情報が類似する特徴点の数を計数し、前記複数の画像領域のそれぞれについて計数された前記特徴点の数に基づいて、前記複数の画像領域の中から前記射影変換に用いる一部の画像領域を選択する領域選択部
をさらに備え、
前記画像変換部は、前記領域選択部により選択された前記一部の画像領域に設定された前記複数の特徴点に対して抽出された複数の特徴点ペアの位置に基づいて、前記処理対象画像を前記正面画像に射影変換する
画像処理装置。
前記領域選択部は、前記複数の画像領域のうち、前記複数の画像領域のそれぞれについて計数された前記特徴点の数がより多い画像領域を、前記射影変換に用いる画像領域としてより優先して選択する
請求項１に記載の画像処理装置。
前記特徴点ペア抽出部は、前記複数の画像領域のそれぞれに設定された複数の特徴点のそれぞれに対して前記処理対象画像から画像情報が類似する特徴点を抽出し、前記処理対象画像から抽出した複数の特徴点の中から、特徴点ペアとして抽出された特徴点同士の位置関係がより近い一部の特徴点を前記複数の特徴点ペアを構成する特徴点としてより優先して選択する
請求項２に記載の画像処理装置。
前記テンプレート画像を格納する格納部
をさらに備える請求項１から３のいずれか一項に記載の画像処理装置。
画像処理装置であって、
撮影された定型フォーマットの書類の画像である処理対象画像を取得する対象画像取得部と、
前記定型フォーマットのテンプレート画像を取得するテンプレート画像取得部と、
前記処理対象画像及び前記テンプレート画像から、前記処理対象画像と前記テンプレート画像との間で画像情報が類似する複数の特徴点ペアを抽出する特徴点ペア抽出部と、
前記特徴点ペア抽出部により抽出された前記複数の特徴点ペアの位置に基づいて、前記処理対象画像を、前記書類を正面から見た場合に得られるべき正面画像に射影変換する画像変換部と
を備え、
前記定型フォーマットには、複数の書類の間で共通の情報を持つべき領域である共通領域が定められており、
前記テンプレート画像は、前記共通領域以外の領域の画像情報を含まず、前記共通領域内の複数の文字画像のうちの少なくとも一部の文字画像を含み、
前記定型フォーマットの書類は、人物の写真画像を予め定められた位置に含む書類であり、
前記画像処理装置は、
前記定型フォーマットの書類に含まれる人物の写真画像を教師データとして機械学習された学習済みモデルを用いて、前記処理対象画像から人物の写真画像を含む領域を特定する特定部
をさらに備え、
前記画像変換部は、前記特定部が特定した前記写真画像を含む領域の位置にさらに基づいて、前記処理対象画像を前記正面画像に射影変換する
画像処理装置。
前記定型フォーマットの書類は、自動車又は原動機付自転車の運転免許証、旅券、若しくは健康保険の被保険者証である
請求項１から５のいずれか一項に記載の画像処理装置。
前記正面画像から文字の画像を抽出する文字画像抽出部と、
前記文字画像抽出部が抽出した文字の画像と予め定められた字形を持つ基準文字の画像との相違を示す情報を出力する文字処理部と
をさらに備える請求項１から６のいずれか一項に記載の画像処理装置。
撮影された定型フォーマットの書類の画像である処理対象画像を取得する対象画像取得部と、
前記定型フォーマットのテンプレート画像を取得するテンプレート画像取得部と、
前記処理対象画像及び前記テンプレート画像から、前記処理対象画像と前記テンプレート画像との間で画像情報が類似する複数の特徴点ペアを抽出する特徴点ペア抽出部と、
前記特徴点ペア抽出部により抽出された前記複数の特徴点ペアの位置に基づいて、前記処理対象画像を、前記書類を正面から見た場合に得られるべき正面画像に射影変換する画像変換部と、
前記正面画像から文字の画像を抽出する文字画像抽出部と、
前記文字画像抽出部が抽出した文字の画像と予め定められた字形を持つ基準文字の画像との相違を示す情報を出力する文字処理部と
を備え、
前記定型フォーマットには、複数の書類の間で共通の情報を持つべき領域である共通領域が定められており、
前記テンプレート画像は、前記共通領域以外の領域の画像情報を含まず、前記共通領域内の複数の文字画像のうちの少なくとも一部の文字画像を含み、
前記文字処理部は、
前記文字画像抽出部が抽出した前記文字の画像を、処理対象の文字の画像として取得する処理対象文字取得部と、
前記基準文字の画像と、互いに異なる字形を持つ複数の文字の画像とを用いた機械学習によって生成され、入力される文字の画像から前記予め定められた字形に適応した文字の画像を生成する学習済みモデルを格納する格納部と、
前記学習済みモデルを用いて、前記処理対象の文字の画像から、前記予め定められた字形に適応させた前記処理対象の文字の画像を生成する文字画像生成部と、
前記文字画像生成部が生成した画像と前記基準文字の画像との比較結果に基づいて、前記処理対象の文字と前記基準文字との相違を示す情報を出力する相違情報出力部と
を備える画像処理装置。
コンピュータを、請求項１から８のいずれか一項に記載の画像処理装置として機能させるためのプログラム。