JP7333759B2 - 画像データ生成システム、画像データ生成方法及びコンピュータプログラム - Google Patents

Description

本発明は、画像データ生成システム、画像データ生成方法及びコンピュータプログラムに関する。

サービスの申し込みや、名簿情報及び登記事項等の変更では、必要な情報を文書に記載して提出することが一般的である。特に、このような文書への情報の記載は、手書きにより行われることが多い。しかしながら、記載する分量や枚数によってはユーザの大きな負担となる。そこで、従来、文書をスキャナ等で読み込み、読み込んだ文書のファイルに対してパソコンにより文字入力を行うことができる技術が提案されている（例えば、非特許文献１参照）。

"さよなら手書き 6 / 6 Pro"、SOURCENEXT、[令和２年１月６日検索]、インターネット（URL: https://www.sourcenext.com/product/pc/use/pc_use_002772/?i=rd&i=yss_sem_tegaki6&utm_source=yss&utm_medium=sem&utm_campaign=tegaki6&utm_term=name&argument=HGtSAqRz&dmai=a5dde02bbc4485&yclid=YSS.1000399450.EAIaIQobChMI4MT4gOft5gIVFz5gCh1O7wmxEAAYASAAEgKF4fD_BwE#argument=HGtSAqRz&ai=a5dde02bbc4485）

上記の非特許文献１の技術では、パソコンにより入力された文字情報を文書に印刷することができる。しかしながら、非特許文献１の技術であっても、文字の入力は全てユーザが行う必要があるため、入力する分量や枚数によってはユーザの負担を低減させることができないという問題があった。

上記事情に鑑み、本発明は、ユーザの負担を低減させることができる技術の提供を目的としている。

本発明の一態様は、ユーザに関するユーザ情報の記載が必要な記載対象項目を表す文字列を複数有する文書の画像データを用いて、前記記載対象項目を表す文字列に対する前記ユーザ情報の記載領域を特定する特定部と、特定された前記記載領域に対して、前記ユーザ情報を合成することによって記載済み文書画像データを生成する画像データ生成部と、を備える画像データ生成装置である。

本発明の一態様は、上記の画像データ生成装置であって、前記特定部は、前記画像データから得られる前記記載対象項目を表す文字列の領域と、前記記載領域の候補領域との位置関係から各前記記載対象項目を表す文字列に対する前記記載領域を特定する。

本発明の一態様は、上記の画像データ生成装置であって、前記特定部は、前記画像データに基づいて前記記載対象項目を表す文字列を推定し、前記記載対象項目を表す文字列に対する前記ユーザ情報の記載領域の位置情報を出力するように学習されたモデルを用いて、推定した前記記載対象項目を表す文字列に対する前記記載領域を特定する。

本発明の一態様は、上記の画像データ生成装置であって、前記特定部は、前記画像データと、事前に登録されている１以上の文書の登録画像データとの類似度を算出し、算出した類似度が閾値以上の登録画像データを用いて、前記画像データの前記記載領域を特定する。

本発明の一態様は、上記の画像データ生成装置であって、前記ユーザ情報を取得するユーザ情報取得部をさらに備え、前記ユーザ情報取得部は、外部の装置、前記ユーザが所持する証明書に付与されているメモリ、前記証明書、記憶部及び音声入力のいずれか又は全てから前記ユーザ情報を取得する。

本発明の一態様は、上記の画像データ生成装置と、前記画像データ生成装置で使用する登録画像データを登録する画像データ登録装置とを備える画像データ生成システムであって、前記画像データ登録装置は、ユーザに関するユーザ情報の記載が必要な記載対象項目を表す文字列を複数有する文書の画像データを用いて、前記記載対象項目を表す文字列に対する前記ユーザ情報の記載領域を特定する特定部と、前記特定部によって特定された前記記載領域の位置情報と、前記記載対象項目を表す文字列と、前記画像データとを対応付けて前記登録画像データとして前記画像データ生成装置に登録する登録部と、を備え、前記画像データ生成装置の特定部は、前記画像データと、前記画像データ登録装置によって登録されている１以上の前記登録画像データとを用いて、前記画像データの前記記載領域を特定し、前記画像データ生成装置の画像データ生成部は、特定された前記記載領域に対して、前記ユーザ情報を合成することによって記載済み文書画像データを生成する画像データ生成システムである。

本発明の一態様は、上記の画像データ生成システムであって、前記登録部は、前記画像データを画面上に表示させ、前記画面上でユーザによって指定された記載対象項目を表す文字列の領域及び前記記載対象項目を表す文字列に対する前記記載領域の位置情報と、前記画像データとを対応付けて前記登録画像データとして前記画像データ生成装置に登録する。

本発明の一態様は、上記の画像データ生成システムであって、前記画像データの前記記載領域には、前記記載対象項目を表す文字列を特定するための特定文字列が記載されており、前記登録部は、前記画像データから前記特定文字列及び前記特定文字列の領域の位置情報を前記記載領域として取得し、取得した前記記載領域の位置情報と、前記特定文字列で特定された前記記載対象項目を表す文字列と、前記画像データとを対応付けて前記登録画像データとして前記画像データ生成装置に登録する。

本発明の一態様は、上記の画像データ生成システムであって、前記画像データ登録装置の特定部は、画像データから得られる記載対象項目を表す文字列の領域と、前記記載領域の候補領域との位置関係から各前記記載対象項目を表す文字列に対する前記記載領域を特定、又は、前記画像データに基づいて前記記載対象項目を表す文字列を推定し、前記記載対象項目を表す文字列に対する前記ユーザ情報の記載領域の位置情報を出力するように学習されたモデルを用いて、推定した前記記載対象項目を表す文字列に対する前記記載領域を特定する。

本発明の一態様は、ユーザに関するユーザ情報の記載が必要な記載対象項目を表す文字列を複数有する文書の画像データを用いて、前記記載対象項目を表す文字列に対する前記ユーザ情報の記載領域を特定し、特定された前記記載領域に対して、前記ユーザ情報を合成することによって記載済み文書画像データを生成する画像データ生成方法である。

本発明の一態様は、ユーザに関するユーザ情報の記載が必要な記載対象項目を表す文字列を複数有する文書の画像データを用いて、前記記載対象項目を表す文字列に対する前記ユーザ情報の記載領域を特定する特定ステップと、特定された前記記載領域に対して、前記ユーザ情報を合成することによって記載済み文書画像データを生成する画像データ生成ステップと、をコンピュータに実行させるためのコンピュータプログラムである。

本発明により、ユーザの負担を低減させることが可能となる。

本発明における画像データ生成システムの構成を表す構成図である。 第１の実施形態における画像データ生成装置の機能構成を表す概略ブロック図である。 第１の実施形態におけるユーザ情報テーブルの一具体例を示す図である。 第１の実施形態における照合データテーブルの一具体例を示す図である。 第１の実施形態における画像データ生成装置の画像データ生成処理の流れを示すフローチャートである。 第２の実施形態における画像データ生成装置の機能構成を表す概略ブロック図である。 第２の実施形態における画像データ生成装置の画像データ生成処理の流れを示すフローチャートである。 第３の実施形態における画像データ生成システムの構成を表す構成図である。 第３の実施形態における画像データ登録装置の機能構成を表す概略ブロック図である。 第３の実施形態における画像データ生成装置の機能構成を表す概略ブロック図である。 第３の実施形態における画像データ生成装置の画像データ生成処理の流れを示すフローチャートである。 第４の実施形態における画像データ生成装置の機能構成を表す概略ブロック図である。 第４の実施形態における画像データ生成装置の画像データ生成処理の流れを示すフローチャートである。 第５の実施形態における画像データ生成装置の機能構成を表す概略ブロック図である。 第５の実施形態における画像データ生成装置の画像データ生成処理の流れを示すフローチャートである。 第６の実施形態における画像データ生成装置の機能構成を表す概略ブロック図である。 第６の実施形態における画像データ生成装置の画像データ生成処理の流れを示すフローチャートである。

以下、本発明の一実施形態を、図面を参照しながら説明する。
図１は、本発明における画像データ生成システム１００の構成を表す構成図である。画像データ生成システム１００は、画像データ生成装置１０、サーバ２０及び印刷装置３０を備える。画像データ生成装置１０、サーバ２０及び印刷装置３０は、ネットワーク４０を介して通信可能に接続される。ネットワーク４０は、どのように構成されたネットワークであってもよい。例えば、ネットワーク４０は、インターネットで構成される。

画像データ生成装置１０は、文書の画像データと、ユーザ情報とを用いて、文書の画像データに対してユーザ情報が合成された記載済み文書画像データを生成する。文書は、ユーザ情報の記載が必要な記載対象項目を表す文字列（以下「対象項目文字列」という。）を複数有する文書である。文書は、例えば、帳票、契約書等である。これらは一例であり、文書は、対象項目文字列を複数有する文書であればどのような文書であってもよい。ユーザ情報は、ユーザの属性に関する情報であり、例えばユーザの氏名、住所、電話番号、生年月日等である。対象項目文字列とは、ユーザ情報の記載が必要な項目を表す文字列であり、例えば氏名、住所、電話番号、生年月日等の文字列である。

画像データ生成装置１０は、記載済み文書画像データの生成機能を備える通信装置又は印刷装置である。画像データ生成装置１０が記載済み文書画像データの生成機能を備える通信装置である場合、画像データ生成装置１０は例えばスマートフォン、携帯電話、タブレット端末等の情報処理装置を用いて構成される。画像データ生成装置１０が記載済み文書画像データの生成機能を備える印刷装置である場合、画像データ生成装置１０は例えばプリンタや複合機等を用いて構成される。

サーバ２０は、画像データ生成装置１０によって生成された記載済み文書画像データを保持する。サーバ２０は、例えば、記載済み文書画像データと、記載済み文書画像データを特定するための特定情報とを対応付けて保持する。特定情報は、例えばＩＤ（identification）やパスワードであってもよいし、記載済み文書画像データが保存されているアドレス情報であってもよいし、ＩＤやパスワード又は記載済み文書画像データが保存されているアドレス情報等がコード化されたコード情報（例えば、一次元バーコードや二次元バーコード）であってもよい。サーバ２０は、ネットワーク４０上のクラウドサーバである。サーバ２０は、例えばパーソナルコンピュータ等の情報処理装置を用いて構成される。

印刷装置３０は、記載済み文書画像データの印刷を行う。印刷装置３０は、例えば複合機であってもよいし、プリンタであってもよい。印刷装置３０は、コンビニエンスストアや役所等に設置される。

次に、図１を用いて、本発明における画像データ生成システム１００の一連の流れについて一例を挙げて説明する。
画像データ生成装置１０は、ユーザが所持する証明書１から又はユーザによる手動の入力によりユーザ情報を取得する（図１の（１））。証明書１は、例えば運転免許証、マイナンバーカード、健康保険証等である。画像データ生成装置１０が証明書１からユーザ情報を取得する方法としては、例えば証明書１がマイナンバーカードであればマイナンバーカードの記憶領域（メモリ）から読み出す方法、ＯＣＲ（Optical Character Reader）によりテキスト化して取得する方法、証明書１の情報を用いてネットワーク４０を介して外部から取得する方法等が挙げられる。

次に、画像データ生成装置１０は、文書を撮影又は読み込むことによって文書の画像データを取得する（図１の（２））。画像データ生成装置１０は、取得した文書の画像データに対して、取得したユーザ情報を合成することによって記載済み文書画像データを生成する。具体的には、画像データ生成装置１０は、文書の画像データ上で対象項目文字列に対するユーザ情報の記載領域を特定し、特定した記載領域に対して、対象項目文字列で特定されるユーザ情報を合成することによって記載済み文書画像データを生成する。例えば、画像データ生成装置１０は、対象項目文字列が“氏名”である場合、“氏名”に対応する記載領域に、取得したユーザ情報に含まれる“氏名”の情報を合成する。一般的な文書では、対象項目文字列及び記載領域のいずれか又は両方が枠で囲まれているパターンと、枠で囲まれていないパターンとが存在する。画像データ生成装置１０は、いずれのパターンであっても適用可能である。具体的な構成については後述する。ここで、枠で囲まれているとは、対象項目文字列及び記載領域のそれぞれが四方を枠で囲まれていることを意味する。

画像データ生成装置１０は、生成した記載済み文書画像データを、ネットワーク４０を介してサーバ２０に送信する（図１の（３））。
サーバ２０は、画像データ生成装置１０から送信された記載済み文書画像データを受信する。サーバ２０は、受信した記載済み文書画像データを、特定情報に対応付けて保持する。その後、サーバ２０は、特定情報を、ネットワーク４０を介して画像データ生成装置１０に送信する（図１の（４））。例えば、サーバ２０は、特定情報としてＩＤ及びパスワードを送信したとする。

画像データ生成装置１０は、サーバ２０から送信された特定情報を受信する。画像データ生成装置１０は、受信した特定情報を画面上に表示する。ユーザは、画像データ生成装置１０の画面上に表示された特定情報（例えば、ＩＤ及びパスワード）を印刷装置３０に入力する（図１の（５））。
印刷装置３０は、入力された特定情報を、ネットワーク４０を介してサーバ２０に送信する（図１の（６））。

サーバ２０は、印刷装置３０から送信された特定情報を受信する。サーバ２０は、受信した特定情報で特定される記載済み文書画像データを取得する。例えば、サーバ２０は、受信したＩＤ及びパスワードで特定される記載済み文書画像データを取得する。サーバ２０は、取得した記載済み文書画像データを印刷装置３０に送信する（図１の（７））。

印刷装置３０は、サーバ２０から送信された記載済み文書画像データを受信する。印刷装置３０は、受信した記載済み文書画像データを画面上に表示し、ユーザから印刷実行の指示を受け付ける。印刷実行の指示が入力されると、印刷装置３０は記載済み文書画像データを印刷する。これにより、ユーザは、ユーザ情報が記載された記載済み文書３を取得することができる（図１の（８））。記載済み文書３には、対象項目文字列に対応する記載領域にユーザ情報が記載されて印刷されている。これにより、ユーザが全てを手書きにより記入する必要がなくなる。そのため、ユーザの負担を低減させることが可能になる。

以下、本発明における画像データ生成装置１０の具体的な構成（第１の実施形態～第６の実施形態）について説明する。第１の実施形態～第３の実施形態では、画像データ生成装置１０が画像データの生成機能を備える通信装置である場合について説明し、第４の実施形態～第６の実施形態では、画像データ生成装置１０が画像データの生成機能を備える印刷装置である場合について説明する。

（第１の実施形態）
第１の実施形態では、通信装置としての画像データ生成装置が撮影する文書の書類様式として、対象項目文字列と記載領域のそれぞれが枠で囲まれているものを用いる場合について説明する。
図２は、第１の実施形態における画像データ生成装置１０の機能構成を表す概略ブロック図である。
画像データ生成装置１０は、通信部１１、カメラ１２、表示部１３、操作部１４、制御部１５及び記憶部１６を備える。

通信部１１は、ネットワーク４０を介してサーバ２０との間で通信を行う。通信部１１は、記載済み文書画像データをサーバ２０に送信する。通信部１１は、サーバ２０から送信された特定情報を受信する。
カメラ１２は、ユーザの操作に応じて文書を撮影する。

表示部１３は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の画像表示装置である。表示部１３は、各種情報を表示する。表示部１３は、例えば記載済み文書画像データや特定情報を表示する。表示部１３は、画像表示装置を画像データ生成装置１０に接続するためのインタフェースであってもよい。この場合、表示部１３は、記載済み文書画像データや特定情報を表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。

操作部１４は、ユーザの指示を画像データ生成装置１０に入力するための入力装置である。操作部１４は、例えば記載済み文書画像データの修正指示や特定情報の表示指示の入力を受け付ける。操作部１４は、キーボード、タッチパネル、ボタン等の既存の入力装置を用いて構成される。また、操作部１４は、入力装置を画像データ生成装置１０に接続するためのインタフェースであってもよい。この場合、操作部１４は、入力装置においてユーザの入力に応じて生成された入力信号を画像データ生成装置１０に入力する。

制御部１５は、ＣＰＵ（Central Processing Unit）等のプロセッサやメモリを用いて構成される。制御部１５は、プログラムを実行することによって、画像データ取得部１５１、特定部１５２、画像データ生成部１５３、登録部１５４及び通信制御部１５５の機能を実現する。これらの機能の一部（例えば、画像データ取得部１５１、特定部１５２、画像データ生成部１５３及び登録部１５４）は、予め画像データ生成装置１０に搭載されている必要はなく、追加のアプリケーションプログラムが画像データ生成装置１０にインストールされることで実現されてもよい。

画像データ取得部１５１は、カメラ１２によって撮影された文書の画像データを取得する。
特定部１５２は、画像データ取得部１５１によって取得された文書の画像データを用いて、対象項目文字列に対するユーザ情報の記載領域を特定する。具体的には、特定部１５２は、画像データから得られる対象項目文字列を表す領域（以下「項目文字列領域」という。）と、記載領域の候補領域との位置関係から各対象項目文字列に対する記載領域を特定する。

画像データ生成部１５３は、特定部１５２によって特定された記載領域に対して、ユーザ情報を合成することによって記載済み文書画像データを生成する。画像データ生成部１５３は、例えば記載領域に対して、記憶部１６に記憶されているユーザ情報を合成することによって記載済み文書画像データを生成する。ここで、画像データ生成部１５３が行う合成とは、画像データ上の記載領域に対して、ユーザ情報を重畳することを意味する。

登録部１５４は、特定部１５２によって特定された対象項目文字列に対する記載領域の位置情報と、対象項目文字列と、画像データとを対応付けて登録画像データとして記憶部１６に登録する。第１の実施形態では、登録部１５４は、記載領域の位置情報として、枠を指定可能な情報（例えば、座標、高さ及び幅）を用いる。
通信制御部１５５は、通信部１１を制御する。例えば、通信制御部１５５は、通信部１１を制御して、記載済み文書画像データをサーバ２０に送信させる。

記憶部１６は、ユーザ情報テーブル１６１、照合データテーブル１６２及び登録画像データ１６３を記憶する。ユーザ情報テーブル１６１は、ユーザの属性に関する情報が登録されたテーブルである。ユーザ情報テーブル１６１は、図３に示すような形式で記憶部１６に記憶されてもよい。照合データテーブル１６２は、対象項目文字列に関する情報が登録されたテーブルである。照合データテーブル１６２は、図４に示すような形式で記憶部１６に記憶されてもよい。登録画像データ１６３は、特定部１５２によって特定された対象項目文字列に対する記載領域の位置情報と、対象項目文字列と、画像データとが対応付けられたデータである。登録画像データ１６３は、例えばｘｍｌ（Extensible Markup Language）ファイルのデータ形式で記憶部１６に記憶されてもよい。記憶部１６は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。

図３は、第１の実施形態におけるユーザ情報テーブル１６１の一具体例を示す図である。
ユーザ情報テーブル１６１は、ユーザＩＤ、属性種別及び登録内容の各値が対応付けられた複数のレコードで構成される。ユーザＩＤは、ユーザを識別するための識別情報を表す。属性種別は、ユーザの属性の種別を表す。例えば、属性種別は、ユーザの氏名、住所、電話番号、生年月日、年齢、性別等である。登録内容は、ユーザに登録又は証明書に基づいて登録されたユーザの情報を表す。第１の実施形態では、ユーザ情報テーブル１６１には、属性種別に対応する登録内容が事前にユーザによって登録されているものとして説明する。

図３に示すように、ユーザ情報テーブル１６１には、ユーザＩＤ毎に属性種別に応じたユーザの情報が登録されている。例えば、図３に示すユーザ情報テーブル１６１には、ユーザＩＤ“ＡＡＡ”で識別されるユーザは、氏名が“△△ △△”、住所が“〇〇 〇〇”、電話番号が“ＸＸＸ－ＸＸＸ”、生年月日が“ＹＹ：ＭＭ：ＤＤ”であることが登録されている。このように、属性種別に応じたユーザ情報が登録されることにより、対象項目文字列に対応するユーザ情報が選択可能である。

図４は、第１の実施形態における照合データテーブル１６２の一具体例を示す図である。
照合データテーブル１６２は、対象項目文字列及び対象項目文字列に関連する文字列の各値が対応付けられた複数のレコードで構成される。対象項目文字列は、ユーザ情報の記載が必要な対象項目文字列を表す文字列を表す。対象項目文字列に関連する文字列は、対象項目文字列を特定するための文字列を表す。対象項目文字列に関連する文字列が複数登録されることによって、文書に記載されている対象項目文字列を特定する際の揺らぎに対応することができる。

例えば、図４に示す例では、特定部１５２によって画像データから認識された文字列が“氏名、名前、性、名、Ｎａｍｅ”のいずれかに該当する場合、認識された文字列に対応する対象項目文字列が“氏名”であると特定されることが表されている。例えば、図４に示す例では、特定部１５２によって画像データから認識された文字列が“住所、居所、所在地、アドレス、Ａｄｄｒｅｓｓ”のいずれかに該当する場合、認識された文字列に対応する対象項目文字列が“住所”であると特定されることが表されている。

図５は、第１の実施形態における画像データ生成装置１０の画像データ生成処理の流れを示すフローチャートである。
カメラ１２は、ユーザの操作に応じて、文書を撮影する（ステップＳ１０１）。カメラ１２は、撮影した文書の画像データを制御部１５に出力する。画像データ取得部１５１は、カメラ１２から出力された画像データを取得する（ステップＳ１０２）。特定部１５２は、画像データ取得部１５１によって取得された画像データを用いて、画像データ内の文字列と枠線（例えば、枠で囲まれた領域の位置）とを特定する（ステップＳ１０３）。具体的には、特定部１５２は、既存のＯＣＲ技術により、画像データ内の文字列と枠線（例えば、枠で囲まれた領域の位置）とを特定する。これにより、対象項目文字列及び記載領域のそれぞれが枠で囲まれている場合には、特定部１５２は項目文字列領域及び記載領域を示す枠線を特定する。対象項目文字列が枠で囲まれている場合には、特定部１５２は項目文字列領域を示す枠線を特定する。記載領域が枠で囲まれている場合には、特定部１５２は記載領域を示す枠線を特定する。

次に、特定部１５２は、照合データテーブル１６２を参照し、特定した文字列から対象項目文字列を特定する（ステップＳ１０４）。具体的には、まず特定部１５２は、記憶部１６から照合データテーブル１６２を読み出す。次に、特定部１５２は、特定した文字列のそれぞれと、読み出した照合データテーブル１６２の対象項目文字列に関連する文字列の項目に登録されている文字列とを照合する。そして、特定部１５２は、特定した文字列に合致した文字列が登録されている対象項目文字列に関連する文字列の項目に対応付けられている対象項目文字列の値を取得する。例えば、特定部１５２は、特定した文字列が“名前”である場合、対象項目文字列に関連する文字列の項目に対応付けられている対象項目文字列の値として“氏名”を取得する。このように、特定部１５２は、特定した文字列から対象項目文字列を特定する。

特定部１５２は、特定した対象項目文字列に対応する記載領域を特定する（ステップＳ１０５）。具体的には、特定部１５２は、項目文字列領域と、特定された枠線で表される記載領域の候補領域との位置関係から各対象項目文字列に対する記載領域を特定する。より具体的には、特定部１５２は、対象項目文字列に関する文字列（例えば、“氏名”）を含む項目文字列領域の枠の位置と、周辺の枠の位置関係からルールベースにより各対象項目文字列に対する記載領域を特定する。例えば、特定部１５２は、対象項目文字列に関連する文字列を含む項目文字列領域の枠の右隣にある空枠が、対象項目文字列に対応する記載領域であるといったルールに基づいて記載領域を特定する。

画像データ生成部１５３は、ユーザ情報を用いて、記載済み文書画像データを生成する（ステップＳ１０６）。具体的には、まず画像データ生成部１５３は、ユーザ情報テーブル１６１を参照し、ステップＳ１０４の処理で特定された対象項目文字列に対応する属性種別に対応付けられた登録内容の値を取得する。図３の例では、ステップＳ１０４の処理で特定された対象項目文字列が“氏名”、“住所”、“電話番号”である場合、画像データ生成部１５３はユーザ情報テーブル１６１から属性種別“氏名”、“住所”、“電話番号”に対応付けられた登録内容“△△ △△”、“〇〇 〇〇”、“ＸＸＸ－ＸＸＸ”の値を取得する。次に、画像データ生成部１５３は、画像データ上の特定した記載領域の位置に、取得した値を合成することによって記載済み文書画像データを生成する。例えば、画像データ生成部１５３は、対象項目文字列“氏名”に対応する記載領域に、属性種別“氏名”に対応付けられた登録内容“△△ △△”を合成し、対象項目文字列“住所”に対応する記載領域に、属性種別“住所”に対応付けられた登録内容“〇〇 〇〇”を合成し、対象項目文字列“電話番号”に対応する記載領域に、属性種別“氏名”に対応付けられた登録内容“ＸＸＸ－ＸＸＸ”を合成することによって記載済み文書画像データを生成する。

画像データ生成部１５３は、生成した記載済み文書画像データを通信制御部１５５に出力する。通信制御部１５５は、通信部１１を制御して、画像データ生成部１５３から出力された記載済み文書画像データをサーバ２０に送信することで記載済み文書画像データを保存する（ステップＳ１０７）。
なお、登録部１５４は、画像データ生成部１５３によって生成された記載済み文書画像データを表示部１３に表示し、ユーザの修正を受け付けてもよい。ユーザから修正がなかった場合、すなわち記載済み文書画像データへの変更指示がなかった場合には、登録部１５４は特定部１５２によって特定された対象項目文字列に対する記載領域の位置情報と、対象項目文字列と、画像データとを対応付けて登録画像データとして記憶部１６に登録する。一方、ユーザから修正がなされた場合、すなわち記載済み文書画像データへの変更指示があった場合には、登録部１５４は修正後の対象項目文字列に対する記載領域の位置情報と、対象項目文字列と、画像データとを対応付けて登録画像データとして記憶部１６に登録する。

以上のように構成された画像データ生成装置１０によれば、ユーザの負担を低減させることが可能となる。具体的には、画像データ生成装置１０は、文書の画像データを用いて、対象項目文字列に対する情報の記載領域を特定し、特定した記載領域に対して、ユーザ情報を合成することによって記載済み文書画像データを生成する。これにより、ユーザが全てを手書きにより記入する必要がなくなる。そのため、ユーザの負担を低減させることが可能になる。

＜第１の実施形態の変形例＞
本実施形態では、ユーザ情報が事前に登録されている場合を例に説明したが、画像データ生成装置１０はユーザ情報を他の方法で取得してもよい。例えば、画像データ生成装置１０は、ユーザ情報を、ネットワーク４０を介して外部の装置から取得してもよいし、証明書１から取得してもよいし、音声認識により取得してもよい。ネットワーク４０を介して外部の装置からユーザ情報を取得する場合、画像データ生成装置１０は記憶領域を有する証明書１（例えば、マイナンバーカード）の情報を用いて外部の装置にアクセスしてユーザ情報を取得するユーザ情報取得部を備える。証明書１からユーザ情報を取得する場合、画像データ生成装置１０は証明書１の画像データに対してＯＣＲ技術を用いてテキスト化してユーザ情報を取得するユーザ情報取得部を備える。音声認識によりユーザ情報を取得する場合、画像データ生成装置１０は音声認識により音声をテキスト化してユーザ情報を取得するユーザ情報取得部を備える。

特定部１５２は、対象項目文字列に対するユーザ情報の記載領域の位置情報を出力するように学習されたモデルを用いて記載領域を特定してもよい。
特定部１５２は、記載領域の特定を行う際に、画像データ取得部１５１によって取得された画像データと類似する登録画像データが記憶部１６に記憶されているか否かを判定し、類似する登録画像データが記憶部１６に記憶されている場合には、記憶部１６に記憶されている登録画像データ１６３を用いて記載領域を特定してもよい。登録画像データ１６３により記載位置を特定する場合、画像データ生成部１５３は、図５のステップＳ１０６の処理において、取得された画像データに代えて登録画像データ１６３を用いて記載済み文書画像データを生成してもよい。特定部１５２は、画像データと類似する登録画像データ１６３の有無を、画像マッチングにより得られる類似度に基づいて判定する。特定部１５２は、画像データと、登録画像データ１６３との類似度を算出し、算出した類似度が閾値以上の登録画像データ１６３がある場合に類似する登録画像データが記憶部１６に記憶されていると判定する。一方、類似度が閾値以上の登録画像データ１６３がない場合には類似する登録画像データが記憶部１６に記憶されていないと判定する。そして、特定部１５２は、類似度が閾値以上の登録画像データ１６３が複数ある場合には、類似度が最も高い登録画像データを用いる。
このように構成されることによって、同一の様式の文書では記載領域を推定する必要がない。そのため、記載済み文書画像データの生成までの時間を短縮することができる。

画像データ生成装置１０が備える一部の機能が別の筐体に実装されてもよい。例えば、画像データ生成装置１０が備える記載済み文書画像データの生成機能に対応する機能部（例えば、画像データ取得部１５１、特定部１５２、画像データ生成部１５３、登録部１５４、ユーザ情報テーブル１６１、照合データテーブル１６２及び登録画像データ１６３）が他の情報処理装置（例えば、サーバ２０）に実装されてもよい。この場合、記載済み文書画像データの生成機能を備えた他の情報処理装置が、画像データ生成装置として機能する。このように構成される場合、画像データ生成装置１０は、カメラ１２によって取得された画像データを、ネットワーク４０を介して他の情報処理装置に送信する。そして、他の情報処理装置において記載済み文書画像データの生成処理（図５の処理）が実行される。

（第２の実施形態）
第２の実施形態では、通信装置としての画像データ生成装置が撮影する文書の書類様式として、少なくとも記載領域が枠で囲まれていないものを用いる場合について説明する。以下、第１の実施形態との相違点についてのみ説明する。
図６は、第２の実施形態における画像データ生成装置１０ａの機能構成を表す概略ブロック図である。
画像データ生成装置１０ａは、通信部１１、カメラ１２、表示部１３、操作部１４、制御部１５ａ及び記憶部１６ａを備える。

制御部１５ａは、ＣＰＵ等のプロセッサやメモリを用いて構成される。制御部１５ａは、プログラムを実行することによって、画像データ取得部１５１、特定部１５２ａ、画像データ生成部１５３、登録部１５４及び通信制御部１５５の機能を実現する。これらの機能の一部（例えば、画像データ取得部１５１、特定部１５２ａ、画像データ生成部１５３及び登録部１５４）は、予め画像データ生成装置１０ａに搭載されている必要はなく、追加のアプリケーションプログラムが画像データ生成装置１０ａにインストールされることで実現されてもよい。

特定部１５２ａは、画像データに基づいて対象項目文字列を推定し、対象項目文字列に対するユーザ情報の記載領域の位置情報を出力するように学習されたモデルを用いて、推定した対象項目文字列に対する記載領域を特定する。

記憶部１６ａは、ユーザ情報テーブル１６１、照合データテーブル１６２、登録画像データ１６３及びモデルデータ１６４を記憶する。記憶部１６ａは、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。
モデルデータ１６４は、対象項目文字列に対するユーザ情報の記載領域の位置情報を出力するように学習されたモデルのデータである。モデルデータ１６４は、各種文書の対象項目文字列で特定される項目名とユーザ情報の記載位置の関係を示す多数のデータを用いて学習することによって生成される。

図７は、第２の実施形態における画像データ生成装置１０ａの画像データ生成処理の流れを示すフローチャートである。図７において、図５と同様の処理については図５と同様の符号を付して説明を省略する。
特定部１５２ａは、画像データ取得部１５１によって取得された画像データを用いて、画像データ内の文字列とその文字列の位置情報とを特定する（ステップＳ２０１）。その後、次に、特定部１５２ａは、照合データテーブル１６２を参照し、特定した文字列から対象項目文字列を特定する（ステップＳ１０４）。特定部１５２ａは、特定した対象項目文字列に対応する記載領域を特定する（ステップＳ２０２）。具体的には、特定部１５２ａは、記憶部１６ａに記憶されているモデルデータ１６４に対象項目文字列の項目名と、位置情報とを入力として、モデルデータ１６４から記載領域の位置情報を取得することによって対象項目文字列に対応する記載領域を特定する。その後、画像データ生成装置１０ａは、ステップＳ１０６以降の処理を実行する。

以上のように構成された画像データ生成装置１０ａによれば、第１の実施形態と同様の効果を得ることができる。
また、画像データ生成装置１０ａは、対象項目文字列に対する情報の記載領域の位置情報を出力するように学習されたモデルを用いて、推定した対象項目文字列に対する記載領域を特定する。これにより、第１の実施形態のように、記載領域が枠に囲まれていない場合であっても、記載領域を特定することができる。そのため、ユーザの負担を低減させることが可能となる。

＜第２の実施形態の変形例＞
本実施形態では、ユーザ情報が事前に登録されている場合を例に説明したが、画像データ生成装置１０ａはユーザ情報を他の方法で取得してもよい。例えば、画像データ生成装置１０ａは、ユーザ情報を、ネットワーク４０を介して外部の装置から取得してもよいし、証明書１から取得してもよいし、音声認識により取得してもよい。他の方法の具体的な手法については、第１の実施形態と同様であるため説明を省略する。

画像データ生成装置１０ａが備える一部の機能が別の筐体に実装されてもよい。例えば、画像データ生成装置１０ａが備える記載済み文書画像データの生成機能に対応する機能部（例えば、画像データ取得部１５１、特定部１５２ａ、画像データ生成部１５３、登録部１５４、ユーザ情報テーブル１６１、照合データテーブル１６２、登録画像データ１６３及びモデルデータ１６４）が他の情報処理装置（例えば、サーバ２０）に実装されてもよい。この場合、記載済み文書画像データの生成機能を備えた他の情報処理装置が、画像データ生成装置として機能する。このように構成される場合、画像データ生成装置１０ａは、カメラ１２によって取得された画像データを、ネットワーク４０を介して他の情報処理装置に送信する。そして、他の情報処理装置において記載済み文書画像データの生成処理（図７の処理）が実行される。

（第３の実施形態）
第３の実施形態では、通信装置としての画像データ生成装置が、予め登録されている登録画像データを用いて記載領域を特定する構成について説明する。登録画像データは、画像データ生成装置とは異なる装置によって生成されて画像データ生成装置に登録される。以下、各実施形態との相違点についてのみ説明する。
図８は、第３の実施形態における画像データ生成システム１００ｂの構成を表す構成図である。画像データ生成システム１００ｂは、画像データ生成装置１０ｂ、サーバ２０、印刷装置３０及び画像データ登録装置５０を備える。画像データ生成装置１０ｂ、サーバ２０、印刷装置３０及び画像データ登録装置５０は、ネットワーク４０を介して通信可能に接続される。なお、画像データ生成装置１０ｂと画像データ登録装置５０とは、有線又は無線により直接接続されてもよい。

画像データ登録装置５０は、画像データ生成装置１０ｂで使用する登録画像データを画像データ生成装置１０ｂに登録する。画像データ生成装置１０ｂで使用する登録画像データは、対象項目文字列に対する記載領域の位置情報と、対象項目文字列と、画像データとが対応付けられたデータである。画像データ登録装置５０は、例えばスマートフォン、携帯電話、タブレット端末、パーソナルコンピュータ等の情報処理装置を用いて構成される。

画像データ生成装置１０ｂは、文書の画像データと、ユーザ情報と、画像データ登録装置５０によって事前に登録された登録画像データとを用いて、記載済み文書画像データを生成する。

図９は、第３の実施形態における画像データ登録装置５０の機能構成を表す概略ブロック図である。
画像データ登録装置５０は、通信部５１、カメラ５２、表示部５３、操作部５４、制御部５５及び記憶部５６を備える。

通信部５１は、直接又はネットワーク４０を介して画像データ生成装置１０ｂとの間で通信を行う。通信部５１は、登録画像データを画像データ生成装置１０ｂに送信する。
カメラ５２は、ユーザの操作に応じて文書を撮影する。
表示部５３は、液晶ディスプレイ、有機ＥＬディスプレイ等の画像表示装置である。表示部５３は、各種情報を表示する。表示部５３は、例えば画像データを表示する。表示部５３は、画像表示装置を画像データ登録装置５０に接続するためのインタフェースであってもよい。この場合、表示部５３は、画像データを表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。

操作部５４は、ユーザの指示を画像データ登録装置５０に入力するための入力装置である。操作部５４は、例えば項目文字列領域及び記載領域を指定する指示や記載領域の修正指示の入力を受け付ける。操作部５４は、キーボード、タッチパネル、ボタン等の既存の入力装置を用いて構成される。また、操作部５４は、入力装置を画像データ登録装置５０に接続するためのインタフェースであってもよい。この場合、操作部５４は、入力装置においてユーザの入力に応じて生成された入力信号を画像データ登録装置５０に入力する。

制御部５５は、ＣＰＵ等のプロセッサやメモリを用いて構成される。制御部５５は、プログラムを実行することによって、画像データ取得部５５１、特定部５５２、登録部５５３、表示制御部５５４及び通信制御部１５５の機能を実現する。これらの機能の一部（例えば、画像データ取得部５５１、特定部５５２、登録部５５３、表示制御部５５４及び通信制御部１５５）は、予め画像データ登録装置５０に搭載されている必要はなく、追加のアプリケーションプログラムが画像データ登録装置５０にインストールされることで実現されてもよい。

画像データ取得部５５１は、カメラ５２によって撮影された文書の画像データを取得する。
特定部５５２は、画像データ取得部５５１によって取得された文書の画像データを用いて、対象項目文字列に対するユーザ情報の記載領域を特定する。特定部５５２は、特定した記載領域の位置情報と、対象項目文字列と、画像データとを登録部５５３に出力する。特定部５５２が記載領域を特定する方法としては、以下のような３つの方法が挙げられる。

第１の方法として、ユーザによって項目文字列領域及び対象項目文字列に対する記載領域を指定させる方法である。第１の方法の場合、まず特定部５５２は、画像データ取得部５５１によって取得された文書の画像データを表示制御部５５４により表示部５３の画面上に表示させる。次に、画面上でユーザによって指定された項目文字列領域及び対象項目文字列に対する記載領域の位置情報により記載領域を特定する。

第２の方法として、ユーザが事前に文書の記載領域に対して対象項目文字列を特定するための特定の文字列（例えば、項目名など）を記載して、その特定の文字列を読み取らせる方法である。第２の方法の場合、特定部５５２は、画像データ取得部５５１によって取得された文書の画像データから特定の文字列の記載位置を特定する。具体的には、特定部５５２は、既存のＯＣＲ技術により、画像データ内の特定の文字列とその位置情報とを特定する。

第３の方法として、第１の実施形態及び第２の実施形態のように記載領域を特定する方法である。この場合、特定部５５２は、特定部１５２又は特定部１５２ａと同様の処理を行う。特定部５５２が特定部１５２ａと同様の方法により記載領域を特定する場合には、画像データ登録装置５０はモデルデータ１６４を記憶する。

なお、特定部５５２は、特定した記載領域の位置情報と、記載領域に対応する対象項目文字列とを表示部５３に表示し、特定した記載領域と、記載領域に対応する対象項目文字列との対応関係についてユーザの修正を受け付けてもよい。ユーザから修正がなかった場合、すなわち特定した記載領域と、記載領域に対応する対象項目文字列との対応関係について変更指示がなかった場合には、特定部５５２は対象項目文字列に対する記載領域の位置情報と、対象項目文字列と、画像データとを登録部５５３に出力する。一方、ユーザから修正がなされた場合、すなわち特定した記載領域と、記載領域に対応する対象項目文字列との対応関係について変更指示があった場合には、登録部５５３は修正後の対象項目文字列に対する記載領域の位置情報と、対象項目文字列と、画像データとを登録部５５３に出力する。

登録部５５３は、特定部５５２から出力された対象項目文字列に対する記載領域の位置情報と、対象項目文字列と、画像データとを対応付けて登録画像データとして画像データ生成装置１０ｂに登録する。
表示制御部５５４は、表示部５３の表示を制御する。例えば、表示制御部５５４は、特定部５５２の指示に応じて、記載領域の位置情報と、記載領域に対応する対象項目文字列とを表示部５３に表示させる。記載領域の位置情報と、記載領域に対応する対象項目文字列は、ユーザの修正を受け付ける際に表示部５３に表示される。
通信制御部５５５は、通信部５１を制御する。例えば、通信制御部５５５は、通信部５１を制御して、登録画像データを画像データ生成装置１０ｂに送信させる。

記憶部５６は、照合データテーブル５６１を記憶する。照合データテーブル５６１は、対象項目文字列に関する情報が登録されたテーブルである。照合データテーブル５６１の具体的な構成は、第１の実施形態及び第２の実施形態と同様であるため説明を省略する。記憶部５６は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。

図１０は、第３の実施形態における画像データ生成装置１０ｂの機能構成を表す概略ブロック図である。
画像データ生成装置１０ｂは、通信部１１ｂ、カメラ１２、表示部１３、操作部１４、制御部１５ｂ及び記憶部１６ｂを備える。

通信部１１ｂは、ネットワーク４０を介してサーバ２０との間で通信を行う。通信部１１ｂは、直接又はネットワーク４０を介して画像データ登録装置５０との間で通信を行う。通信部１１ｂは、登録画像データを画像データ登録装置５０から受信する。

制御部１５ｂは、ＣＰＵ等のプロセッサやメモリを用いて構成される。制御部１５ｂは、プログラムを実行することによって、画像データ取得部１５１ｂ、特定部１５２ｂ、画像データ生成部１５３及び通信制御部１５５の機能を実現する。これらの機能の一部（例えば、画像データ取得部１５１ｂ、特定部１５２ｂ及び画像データ生成部１５３）は、予め画像データ生成装置１０ｂに搭載されている必要はなく、追加のアプリケーションプログラムが画像データ生成装置１０ｂにインストールされることで実現されてもよい。

画像データ取得部１５１ｂは、カメラ１２によって撮影された文書の画像データ及び通信部１１ｂによって受信された登録画像データを取得する。画像データ取得部１５１ｂは、取得した登録画像データを記憶部１６ｂに記憶させる。
特定部１５２ｂは、画像データと、記憶部１６ｂに記憶されている１以上の文書の登録画像データとの類似度を算出し、算出した類似度が閾値以上の登録画像データを用いて、画像データの記載領域を特定する。

記憶部１６ｂは、ユーザ情報テーブル１６１、照合データテーブル１６２及び登録画像データ１６３ｂを記憶する。記憶部１６ｂは、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。
登録画像データ１６３ｂは、画像データ取得部１５１ｂによって取得された登録画像データである。

図１１は、第３の実施形態における画像データ生成装置１０ｂの画像データ生成処理の流れを示すフローチャートである。図１１において、図５と同様の処理については図５と同様の符号を付して説明を省略する。なお、図１１の処理実行時には、画像データ生成装置１０ｂの記憶部１６ｂに登録画像データが事前に登録されているものとする。
カメラ１２は、ユーザの操作に応じて、文書を撮影する（ステップＳ３０１）。カメラ１２は、撮影した文書の画像データを制御部１５ｂに出力する。画像データ取得部１５１ｂは、カメラ１２から出力された画像データを取得する（ステップＳ３０２）。特定部１５２ｂは、取得した画像データと、記憶部１６ｂに記憶されている登録画像データ１６３ｂとをそれぞれ照合する（ステップＳ３０３）。具体的には、特定部１５２ｂは、取得した画像データと、記憶部１６ｂに記憶されている登録画像データ１６３ｂそれぞれとを、画像マッチングにより類似度を算出する。

特定部１５２ｂは、算出した類似度に基づいて、記憶部１６ｂに記憶されている登録画像データ１６３ｂの中から１つの登録画像データを選択する（ステップＳ３０４）。例えば、特定部１５２ｂは、類似度が最も高い登録画像データを選択する。そして、特定部１５２ｂは、選択した登録画像データに含まれる記載領域の位置情報に基づいて、取得した画像データの記載領域を特定する（ステップＳ３０５）。その後、画像データ生成装置１０ｂは、ステップＳ１０６以降の処理を実行する。

以上のように構成された画像データ生成装置１０ｂによれば、第１の実施形態と同様の効果を得ることができる。
また、画像データ生成装置１０ｂは、取得した画像データと類似する登録画像データの記載領域の位置情報を用いて、取得した画像データの記載領域を特定する。これにより、画像データの記載領域を特定する処理に要する時間を短縮することができる。そのため、記載済み文書画像データの生成までの時間を短縮することが可能になる。

＜第３の実施形態の変形例＞
本実施形態では、ユーザ情報が事前に登録されている場合を例に説明したが、画像データ生成装置１０ｂはユーザ情報を他の方法で取得してもよい。例えば、画像データ生成装置１０ｂは、ユーザ情報を、ネットワーク４０を介して外部の装置から取得してもよいし、証明書１から取得してもよいし、音声認識により取得してもよい。他の方法の具体的な手法については、第１の実施形態と同様であるため説明を省略する。

画像データ生成装置１０ｂが備える一部の機能が別の筐体に実装されてもよい。例えば、画像データ生成装置１０ｂが備える記載済み文書画像データの生成機能に対応する機能部（例えば、画像データ取得部１５１ｂ、特定部１５２ｂ、画像データ生成部１５３、ユーザ情報テーブル１６１、照合データテーブル１６２及び登録画像データ１６３ｂ）が他の情報処理装置（例えば、サーバ２０）に実装されてもよい。この場合、記載済み文書画像データの生成機能を備えた他の情報処理装置が、画像データ生成装置として機能する。このように構成される場合、画像データ生成装置１０ｂは、カメラ１２によって取得された画像データを、ネットワーク４０を介して他の情報処理装置に送信する。そして、他の情報処理装置において記載済み文書画像データの生成処理（図１１の処理）が実行される。

（第４の実施形態）
第４の実施形態では、印刷装置としての画像データ生成装置が、ユーザ情報を他の方法（例えば、カードリーダで読み込む）で取得する場合について説明する。また、第４の実施形態では、印刷装置としての画像データ生成装置が読み込む文書の書類様式として、対象項目文字列と記載領域のそれぞれが枠で囲まれているものを用いる場合について説明する。以下、各実施形態との相違点についてのみ説明する。
図１２は、第４の実施形態における画像データ生成装置１０ｃの機能構成を表す概略ブロック図である。
画像データ生成装置１０ｃは、通信部１１、制御部１５ｃ、記憶部１６ｃ、画像読取部１７、コントロールパネル１８及びカードリーダ１９を備える。なお、カードリーダ１９は、画像データ生成装置１０ｃの外部に取り付けられる。

画像読取部１７は、原稿読み取り台にセットされた読み取り対象の文書を光の明暗として読み取る。例えば、画像読取部１７は、原稿読み取り台にセットされた読み取り対象の文書に印刷されている画像を読み取る。画像読取部１７は、読み取った画像データを制御部１５ｂに出力する。
コントロールパネル１８は、表示部および操作部を備える。表示部は、液晶ディスプレイおよび有機ＥＬディスプレイ等の表示装置である。表示部は、制御部１５ｃの制御に応じて、各種情報を表示する。表示部１３は、例えば記載済み文書画像データや特定情報を表示する。操作部は、複数のボタンなどを備える。操作部は、ユーザの操作を受け付ける。操作部は、例えば記載済み文書画像データの修正指示や特定情報の表示指示の入力を受け付ける。なお、表示部と操作部とは一体のタッチパネルとして構成されてもよい。
カードリーダ１９は、証明書１の記憶領域に記憶されているユーザ情報を読み取る。

制御部１５ｃは、ＣＰＵ等のプロセッサやメモリを用いて構成される。制御部１５ｃは、プログラムを実行することによって、画像データ取得部１５１ｃ、特定部１５２、画像データ生成部１５３、登録部１５４、通信制御部１５５及びユーザ情報取得部１５６の機能を実現する。これらの機能の一部（例えば、画像データ取得部１５１ｃ、特定部１５２、画像データ生成部１５３、登録部１５４及びユーザ情報取得部１５６）は、予め画像データ生成装置１０ｃに搭載されている必要はなく、追加のアプリケーションプログラムが画像データ生成装置１０ｃにインストールされることで実現されてもよい。

画像データ取得部１５１ｃは、画像読取部１７によって読み取られた画像データを取得する。
ユーザ情報取得部１５６は、カードリーダ１９によって読み取られたユーザ情報を取得する。

記憶部１６ｃは、ユーザ情報テーブル１６１ｃ、照合データテーブル１６２及び登録画像データ１６３を記憶する。記憶部１６ｃは、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。
ユーザ情報テーブル１６１ｃは、ユーザの属性に関する情報が登録されたテーブルである。ユーザ情報テーブル１６１ｃが、第１の実施形態におけるユーザ情報テーブル１６１と異なる点は、ユーザ情報テーブル１６１ｃにユーザ情報が事前に登録されていない点である。ユーザ情報テーブル１６１ｃには、ユーザ情報取得部１５６によって取得されたユーザ情報が登録される。そのため、必ずしもすべての属性種別に対応するユーザ情報が登録されない場合もある。

図１３は、第４の実施形態における画像データ生成装置１０ｃの画像データ生成処理の流れを示すフローチャートである。図１３において、図５と同様の処理については図５と同様の符号を付して説明を省略する。
画像読取部１７は、原稿読み取り台にセットされた読み取り対象の文書を読みこむ（ステップＳ４０１）。画像読取部１７は、文書から読み取った画像データを制御部１５ｂに出力する。画像データ取得部１５１ｃは、画像読取部１７から出力された画像データを取得する（ステップＳ４０２）。カードリーダ１９は、証明書１の記憶領域に記憶されているユーザ情報を読み取る（ステップＳ４０３）。カードリーダ１９は、読み取ったユーザ情報を制御部１５ｂに出力する。ユーザ情報取得部１５６は、カードリーダ１９から出力されたユーザ情報を取得する（ステップＳ４０４）。ユーザ情報取得部１５６は、取得したユーザ情報をユーザ情報テーブル１６１ｂに登録する。その後、画像データ生成装置１０ｂは、ステップＳ１０３以降の処理を実行する。

以上のように構成された画像データ生成装置１０ｃによれば、第１の実施形態と同様の効果を得ることができる。
また、画像データ生成装置１０ｃは、ユーザ情報が事前に登録されていない場合であっても、カードリーダ１９で証明書１の記憶領域からユーザ情報を読み取ることによってユーザ情報を取得することができる。これにより、画像データ生成装置１０ｃは、文章の画像データに対してユーザ情報を合成して記載済み文書画像データを生成することができる。そのため、ユーザの負担を低減させることが可能になる。

＜第４の実施形態の変形例＞
第４の実施形態では、第１の実施形態と同様に、対象項目文字列と記載領域のそれぞれが枠で囲まれているものを対象とした場合について説明したが、画像データ生成装置１０ｃは、第２の実施形態のように対象項目文字列と記載領域のいずれか又は両方が枠で囲まれていないものに対しても適用してもよい。このように構成される場合、画像データ生成装置１０ｃは、特定部１５２に代えて特定部１５２ａを備え、記憶部１６ｃがモデルデータ１６４を新たに記憶する。具体的な処理としては、画像データ生成装置１０ｃは、ステップＳ１０３～Ｓ１０５の代わりに、図７に示すステップＳ２０１、Ｓ１０４及びＳ２０２の処理を実行する。

画像データ生成装置１０ｃは、ユーザがコントロールパネル１８を介して直接入力したユーザ情報や音声認識により入力されたユーザ情報を取得するように構成されてもよい。このように構成されることによって、証明書１で不足しているユーザ情報を補うことができる。そのため、より多くのユーザ情報が記載された文書を印刷することが可能になる。

画像データ生成装置１０ｃが備える一部の機能が別の筐体に実装されてもよい。例えば、画像データ生成装置１０ｃが備える記載済み文書画像データの生成機能に対応する機能部（例えば、画像データ取得部１５１ｃ、特定部１５２、画像データ生成部１５３、登録部１５４、ユーザ情報取得部１５６、ユーザ情報テーブル１６１ｃ、照合データテーブル１６２及び登録画像データ１６３）が他の情報処理装置（例えば、サーバ２０）に実装されてもよい。この場合、記載済み文書画像データの生成機能を備えた他の情報処理装置が、画像データ生成装置として機能する。このように構成される場合、画像データ生成装置１０ｃは、カードリーダ１９によって取得された画像データを、ネットワーク４０を介して他の情報処理装置に送信する。そして、他の情報処理装置において記載済み文書画像データの生成処理（図１３の処理）が実行される。

（第５の実施形態）
第５の実施形態では、印刷装置としての画像データ生成装置が、ユーザ情報を他の方法（例えば、印刷装置で読み込む）で取得する場合について説明する。また、第４の実施形態では、印刷装置としての画像データ生成装置が読み込む文書の書類様式として、記載対象項目の領域と記載領域のそれぞれが枠で囲まれているものを用いる場合について説明する。以下、各実施形態との相違点についてのみ説明する。
図１４は、第５の実施形態における画像データ生成装置１０ｄの機能構成を表す概略ブロック図である。
画像データ生成装置１０ｄは、通信部１１、制御部１５ｄ、記憶部１６ｃ、画像読取部１７ｄ及びコントロールパネル１８を備える。

制御部１５ｄは、ＣＰＵ等のプロセッサやメモリを用いて構成される。制御部１５ｄは、プログラムを実行することによって、画像データ取得部１５１ｃ、特定部１５２、画像データ生成部１５３、登録部１５４、通信制御部１５５及びユーザ情報取得部１５６ｄの機能を実現する。これらの機能の一部（例えば、画像データ取得部１５１ｃ、特定部１５２、画像データ生成部１５３、登録部１５４及びユーザ情報取得部１５６ｄ）は、予め画像データ生成装置１０ｄに搭載されている必要はなく、追加のアプリケーションプログラムが画像データ生成装置１０ｄにインストールされることで実現されてもよい。

画像読取部１７ｄは、原稿読み取り台にセットされた読み取り対象の文書及び証明書１を光の明暗として読み取る。例えば、画像読取部１７ｄは、原稿読み取り台にセットされた読み取り対象の文書及び証明書１それぞれに印刷されている画像を読み取る。画像読取部１７ｄは、読み取った文書の画像データ及び証明書１の画像データを制御部１５ｄに出力する。画像読取部１７ｄには、文書及び証明書１を同時に読み込ませてもよいし、順番に読み込ませてもよい。

ユーザ情報取得部１５６ｄは、画像データ取得部１５１ｃによって取得された証明書１の画像データからユーザ情報を取得する。

図１５は、第５の実施形態における画像データ生成装置１０ｄの画像データ生成処理の流れを示すフローチャートである。図１５において、図１３と同様の処理については図１３と同様の符号を付して説明を省略する。
画像読取部１７ｄは、原稿読み取り台にセットされた読み取り対象の文書及び証明書１を読みこむ（ステップＳ５０１）。画像読取部１７ｄは、文書から読み取った画像データ及び証明書１から読み取った画像データを制御部１５ｄに出力する。ここでは、画像読取部１７ｄが、文書及び証明書１を同時に読み込んだものとする。

画像データ取得部１５１ｃは、画像読取部１７ｄから出力された画像データを取得する（ステップＳ５０２）。ユーザ情報取得部１５６ｄは、画像データ取得部１５１ｃによって取得された画像データを用いて、証明書１の画像データと文書の画像データとを認識する（ステップＳ５０３）。具体的には、ユーザ情報取得部１５６ｄは、ユーザ情報の記載された証明書１のエリアを事前に登録された様式より判定して証明書１の画像データを認識し、他の書類を文書の画像データとして認識する。そして、ユーザ情報取得部１５６ｄは、証明書１の画像データと認識した画像データからユーザ情報を取得する（ステップＳ５０４）。具体的には、ユーザ情報取得部１５６ｄは、画像データに対してＯＣＲによりテキスト化して文字列を認識することによってユーザ情報（例えば、名前、住所、生年月日等）を取得する。ユーザ情報取得部１５６ｄは、取得したユーザ情報をユーザ情報テーブル１６１ｃに登録する。その後、画像データ生成装置１０ｃは、ステップＳ１０３以降の処理を実行する。

以上のように構成された画像データ生成装置１０ｄによれば、第４の実施形態と同様の効果を得ることができる。
また、画像データ生成装置１０ｄは、ユーザ情報が事前に登録されていない場合であっても、証明書１の画像データを解析することによってユーザ情報を取得することができる。これにより、画像データ生成装置１０ｄは、文章の画像データに対してユーザ情報を合成して記載済み文書画像データを生成することができる。そのため、ユーザの負担を低減させることが可能になる。

＜第５の実施形態の変形例＞
第５の実施形態では、第１の実施形態と同様に、対象項目文字列と記載領域のそれぞれが枠で囲まれているものを対象とした場合について説明したが、画像データ生成装置１０ｄは、第２の実施形態のように少なくとも記載領域が枠で囲まれていないものに対しても適用してもよい。このように構成される場合、画像データ生成装置１０ｄは、特定部１５２に代えて特定部１５２ａを備え、記憶部１６ｃがモデルデータ１６４を新たに記憶する。具体的な処理としては、画像データ生成装置１０ｄは、ステップＳ１０３～Ｓ１０５の代わりに、図７に示すステップＳ２０１、Ｓ１０４及びＳ２０２の処理を実行する。

画像データ生成装置１０ｄは、ユーザがコントロールパネル１８を介して直接入力したユーザ情報や音声認識により入力されたユーザ情報を取得するように構成されてもよい。このように構成されることによって、証明書１で不足しているユーザ情報を補うことができる。そのため、より多くのユーザ情報が記載された文書を印刷することが可能になる。

画像データ生成装置１０ｄが備える一部の機能が別の筐体に実装されてもよい。例えば、画像データ生成装置１０ｄが備える記載済み文書画像データの生成機能に対応する機能部（例えば、画像データ取得部１５１ｃ、特定部１５２、画像データ生成部１５３、登録部１５４、ユーザ情報取得部１５６ｄ、ユーザ情報テーブル１６１ｃ、照合データテーブル１６２及び登録画像データ１６３）が他の情報処理装置（例えば、サーバ２０）に実装されてもよい。この場合、記載済み文書画像データの生成機能を備えた他の情報処理装置が、画像データ生成装置として機能する。このように構成される場合、画像データ生成装置１０ｄは、画像読取部１７ｄによって取得された画像データを、ネットワーク４０を介して他の情報処理装置に送信する。そして、他の情報処理装置において記載済み文書画像データの生成処理（図１５の処理）が実行される。

（第６の実施形態）
第６の実施形態では、印刷装置としての画像データ生成装置が、予め登録されている登録画像データを用いて記載領域を特定する構成について説明する。第６の実施形態における画像データ生成システム１００のシステム構成は、第３の実施形態における画像データ生成システム１００ｂの構成と同様である。第６の実施形態における画像データ生成システム１００は、画像データ生成装置１０ｅ、サーバ２０、印刷装置３０及び画像データ登録装置５０を備える。以下、各実施形態との相違点についてのみ説明する。

図１６は、第６の実施形態における画像データ生成装置１０ｅの機能構成を表す概略ブロック図である。
画像データ生成装置１０ｅは、通信部１１ｅ、制御部１５ｅ、記憶部１６ｅ、画像読取部１７、コントロールパネル１８及びカードリーダ１９を備える。

通信部１１ｅは、ネットワーク４０を介してサーバ２０との間で通信を行う。通信部１１ｅは、直接又はネットワーク４０を介して画像データ登録装置５０との間で通信を行う。通信部１１ｅは、登録画像データを画像データ登録装置５０から受信する。

制御部１５ｅは、ＣＰＵ等のプロセッサやメモリを用いて構成される。制御部１５ｅは、プログラムを実行することによって、画像データ取得部１５１ｅ、特定部１５２ｅ、画像データ生成部１５３、通信制御部１５５及びユーザ情報取得部１５６の機能を実現する。これらの機能の一部（例えば、画像データ取得部１５１ｅ、特定部１５２ｅ、画像データ生成部１５３及びユーザ情報取得部１５６）は、予め画像データ生成装置１０ｅに搭載されている必要はなく、追加のアプリケーションプログラムが画像データ生成装置１０ｅにインストールされることで実現されてもよい。

画像データ取得部１５１ｅは、画像読取部１７によって読み取られた文書の画像データ及び通信部１１ｅによって受信された登録画像データを取得する。画像データ取得部１５１ｅは、取得した登録画像データを記憶部１６ｅに記憶させる。
特定部１５２ｅは、画像データと、記憶部１６ｅに記憶されている１以上の文書の登録画像データとの類似度を算出し、算出した類似度が閾値以上の登録画像データを用いて、画像データの記載領域を特定する。

記憶部１６ｅは、ユーザ情報テーブル１６１、照合データテーブル１６２及び登録画像データ１６３ｅを記憶する。記憶部１６ｅは、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。
登録画像データ１６３ｅは、画像データ取得部１５１ｅによって取得された登録画像データである。

図１７は、第６の実施形態における画像データ生成装置１０ｅの画像データ生成処理の流れを示すフローチャートである。図１７において、図１３と同様の処理については図１３と同様の符号を付して説明を省略する。なお、図１７の処理実行時には、画像データ生成装置１０ｅの記憶部１６ｅに登録画像データが事前に登録されているものとする。
特定部１５２ｅは、取得した画像データと、記憶部１６ｅに記憶されている登録画像データ１６３ｅとをそれぞれ照合する（ステップＳ６０１）。具体的には、特定部１５２ｅは、取得した画像データと、記憶部１６ｅに記憶されている登録画像データ１６３ｅそれぞれとを、画像マッチングにより類似度を算出する。

特定部１５２ｅは、算出した類似度に基づいて、記憶部１６ｅに記憶されている登録画像データ１６３ｅの中から１つの登録画像データを選択する（ステップＳ６０２）。例えば、特定部１５２ｅは、類似度が最も高い登録画像データを選択する。そして、特定部１５２ｅは、選択した登録画像データに含まれる記載領域の位置情報に基づいて、取得した画像データの記載領域を特定する（ステップＳ６０３）。その後、画像データ生成装置１０ｅは、ステップＳ１０６以降の処理を実行する。

以上のように構成された画像データ生成装置１０ｅによれば、第４の実施形態と同様の効果を得ることができる。
また、画像データ生成装置１０ｅは、取得した画像データと類似する登録画像データの記載領域の位置情報を用いて、取得した画像データの記載領域を特定する。これにより、画像データの記載領域を特定する処理に要する時間を短縮することができる。そのため、記載済み文書画像データの生成までの時間を短縮することが可能になる。

＜第６の実施形態の変形例＞
画像データ生成装置１０ｅは、第５の実施形態と同様に画像読取部１７で読み取られた証明書１の画像データを解析することによってユーザ情報を取得してもよいし、ユーザがコントロールパネル１８を介して直接入力したユーザ情報や音声認識により入力されたユーザ情報を取得するように構成されてもよい。このように構成されることによって、証明書１で不足しているユーザ情報を補うことができる。そのため、より多くのユーザ情報が記載された文書を印刷することが可能になる。

画像データ生成装置１０ｅが備える一部の機能が別の筐体に実装されてもよい。例えば、画像データ生成装置１０ｅが備える記載済み文書画像データの生成機能に対応する機能部（例えば、画像データ取得部１５１ｅ、特定部１５２ｅ、画像データ生成部１５３、ユーザ情報取得部１５６、ユーザ情報テーブル１６１ｃ、照合データテーブル１６２及び登録画像データ１６３ｅ）が他の情報処理装置（例えば、サーバ２０）に実装されてもよい。この場合、記載済み文書画像データの生成機能を備えた他の情報処理装置が、画像データ生成装置として機能する。このように構成される場合、画像データ生成装置１０ｅは、画像読取部１７によって取得された画像データを、ネットワーク４０を介して他の情報処理装置に送信する。そして、他の情報処理装置において記載済み文書画像データの生成処理（図１７の処理）が実行される。

＜第１の実施形態から第６の実施形態に共通の変形例＞
画像データ生成装置１０，１０ａ，１０ｂ，１０ｃ，１０ｄ，１０ｅは、生成した記載済み文書画像データを自装置の記憶部１６，１６ａ，１６ｂ，１６ｃ，１６ｅに保存してもよい。このように構成される場合、通信装置としての画像データ生成装置１０，１０ａ，１０ｂは印刷装置３０に対して記載済み文書画像データを送信する。そして、印刷装置３０は、受信した記載済み文書画像データを印刷する。また、印刷装置としての画像データ生成装置１０ｃ，１０ｄ，１０ｅは自装置で記載済み文書画像データを印刷してもよいし、印刷装置３０に対して記載済み文書画像データを送信してもよい。画像データ生成装置１０ｃ，１０ｄ，１０ｅが印刷装置３０に対して記載済み文書画像データを送信した場合、印刷装置３０は、受信した記載済み文書画像データを印刷する。

上述した実施形態における画像データ生成装置１０，１０ａ，１０ｂ，１０ｃ，１０ｄをコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１０、１０ａ、１０ｂ、１０ｃ、１０ｄ、１０ｅ…画像データ生成装置， ２０…サーバ， ３０…印刷装置， ５０…画像データ登録装置， １１、１１ｂ、１１ｅ、５１…通信部， １２、５２…カメラ， １３、５３…表示部， １４、５４…操作部， １５、１５ａ、１５ｂ、１５ｃ、１５ｄ、１５ｅ、５５…制御部， １５１、１５１ｂ、１５１ｃ、１５１ｅ、５５１…画像データ取得部， １５２、１５２ａ、１５２ｂ、１５２ｅ、５５２…特定部， １５３…画像データ生成部， １５４、５５３…登録部， １５５、５５５…通信制御部， １５６、１５６ｄ…ユーザ情報取得部， １６、１６ａ、１６ｂ、１６ｃ、１６ｅ、５６…記憶部， １６１、１６１ｃ…ユーザ情報テーブル， １６２、５６１…照合データテーブル， １６３、１６３ｂ、１６３ｅ…登録画像データ， １６４…モデルデータ， １７…画像読取部， １８…コントロールパネル， １９…カードリーダ， ５５４…表示制御部

Claims (6)

1. ユーザに関するユーザ情報の記載が必要な記載対象項目を表す文字列を複数有する文書の画像データを用いて、前記記載対象項目を表す文字列に対する前記ユーザ情報の記載領域を特定する特定部と、特定された前記記載領域に対して、前記ユーザ情報を合成することによって記載済み文書画像データを生成する画像データ生成部と、を備え、前記特定部は、前記画像データと、事前に登録されている１以上の文書の登録画像データとの類似度を算出し、算出した類似度が閾値以上の登録画像データを用いて、前記画像データの前記記載領域を特定する画像データ生成装置と、前記画像データ生成装置で使用する登録画像データを登録する画像データ登録装置とを備える画像データ生成システムであって、
   前記画像データ登録装置は、
   ユーザに関するユーザ情報の記載が必要な記載対象項目を表す文字列を複数有する文書の画像データを用いて、前記記載対象項目を表す文字列に対する前記ユーザ情報の記載領域を特定する特定部と、
   前記特定部によって特定された前記記載領域の位置情報と、前記記載対象項目を表す文字列と、前記画像データとを対応付けて前記登録画像データとして前記画像データ生成装置に登録する登録部と、
   を備え、
   前記画像データ生成装置の特定部は、前記画像データと、前記画像データ登録装置によって登録されている１以上の前記登録画像データとを用いて、前記画像データの前記記載領域を特定し、
   前記画像データ生成装置の画像データ生成部は、特定された前記記載領域に対して、前記ユーザ情報を合成することによって記載済み文書画像データを生成する画像データ生成システム。
2. 前記登録部は、前記画像データを画面上に表示させ、前記画面上でユーザによって指定された記載対象項目を表す文字列の領域及び前記記載対象項目を表す文字列に対する前記記載領域の位置情報と、前記画像データとを対応付けて前記登録画像データとして前記画像データ生成装置に登録する、請求項１に記載の画像データ生成システム。
3. 前記画像データの前記記載領域には、前記記載対象項目を表す文字列を特定するための特定文字列が記載されており、
   前記登録部は、前記画像データから前記特定文字列及び前記特定文字列の領域の位置情報を前記記載領域として取得し、取得した前記記載領域の位置情報と、前記特定文字列で特定された前記記載対象項目を表す文字列と、前記画像データとを対応付けて前記登録画像データとして前記画像データ生成装置に登録する、請求項１に記載の画像データ生成システム。
4. 前記画像データ登録装置の特定部は、画像データから得られる記載対象項目を表す文字列の領域と、前記記載領域の候補領域との位置関係から各前記記載対象項目を表す文字列に対する前記記載領域を特定、又は、前記画像データに基づいて前記記載対象項目を表す文字列を推定し、前記記載対象項目を表す文字列に対する前記ユーザ情報の記載領域の位置情報を出力するように学習されたモデルを用いて、推定した前記記載対象項目を表す文字列に対する前記記載領域を特定する、請求項１に記載の画像データ生成システム。
5. ユーザに関するユーザ情報の記載が必要な記載対象項目を表す文字列を複数有する文書の画像データを用いて、前記記載対象項目を表す文字列に対する前記ユーザ情報の記載領域を特定する特定部と、特定された前記記載領域に対して、前記ユーザ情報を合成することによって記載済み文書画像データを生成する画像データ生成部と、を備え、前記特定部は、前記画像データと、事前に登録されている１以上の文書の登録画像データとの類似度を算出し、算出した類似度が閾値以上の登録画像データを用いて、前記画像データの前記記載領域を特定する画像データ生成装置と、前記画像データ生成装置で使用する登録画像データを登録する画像データ登録装置とを備える画像データ生成システムが行う画像データ生成方法であって、
   前記画像データ登録装置が、ユーザに関するユーザ情報の記載が必要な記載対象項目を表す文字列を複数有する文書の画像データを用いて、前記記載対象項目を表す文字列に対する前記ユーザ情報の記載領域を特定し、
   前記画像データ登録装置が、特定された前記記載領域の位置情報と、前記記載対象項目を表す文字列と、前記画像データとを対応付けて前記登録画像データとして前記画像データ生成装置に登録し、
   前記画像データ生成装置が、前記画像データと、前記画像データ登録装置によって登録されている１以上の前記登録画像データとを用いて、前記画像データの前記記載領域を特定し、
   前記画像データ生成装置が、特定された前記記載領域に対して、前記ユーザ情報を合成することによって記載済み文書画像データを生成する画像データ生成方法。
6. ユーザに関するユーザ情報の記載が必要な記載対象項目を表す文字列を複数有する文書の画像データを用いて、前記記載対象項目を表す文字列に対する前記ユーザ情報の記載領域を特定する特定部と、特定された前記記載領域に対して、前記ユーザ情報を合成することによって記載済み文書画像データを生成する画像データ生成部と、を備え、前記特定部は、前記画像データと、事前に登録されている１以上の文書の登録画像データとの類似度を算出し、算出した類似度が閾値以上の登録画像データを用いて、前記画像データの前記記載領域を特定する画像データ生成装置と、前記画像データ生成装置で使用する登録画像データを登録する画像データ登録装置とを備える画像データ生成システムとしてコンピュータを機能させるためのコンピュータプログラムであって、
   前記画像データ登録装置として機能するコンピュータに対して、
   ユーザに関するユーザ情報の記載が必要な記載対象項目を表す文字列を複数有する文書の画像データを用いて、前記記載対象項目を表す文字列に対する前記ユーザ情報の記載領域を特定する特定ステップと、
   前記特定ステップにおいて特定された前記記載領域の位置情報と、前記記載対象項目を表す文字列と、前記画像データとを対応付けて前記登録画像データとして前記画像データ生成装置に登録する登録ステップと、
   を実行させ、
   前記画像データ生成装置として機能するコンピュータに対して、
   前記画像データと、前記画像データ登録装置によって登録されている１以上の前記登録画像データとを用いて、前記画像データの前記記載領域を特定する特定ステップと、
   特定された前記記載領域に対して、前記ユーザ情報を合成することによって記載済み文書画像データを生成する画像データ生成ステップと、
   を実行させるためのコンピュータプログラム。

Images