JP7638719B2 - 画像処理装置、画像処理装置の制御方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理装置の制御方法、及びプログラムに関する。

従来、振込先が記載された書類を撮像し、撮像画像を文字認識し、振込先に関する情報を抽出して振込処理に使用することでユーザが振り込みに関する情報を入力する手間を減らす技術が知られている。

特許文献１には、撮像画像を文字認識して金融機関名、支店名、科目、及び口座番号を抽出し、それらの内容が、予め記憶された金融機関情報データベースに記憶された情報と一致していれば、それらの情報を使って振込振替処理を実施することが記載されている。

特開２０１３－１０９７２６号公報

特許文献１では、文字認識処理によって得られた結果を利用して振込処理を行うにあたって、振込先に関する振込先情報を使用することはできるものの、振込金額はユーザが１桁ずつ手動で入力しなければならない。

本発明は、上記の課題に鑑みてなされたものである。本発明は、原稿を読み取って、その文字認識処理によって得られた結果から、振込先に関する振込先情報、及び、振込金額を特定して振り込み処理を行わせ、振込先に関する振込先情報と、その振込先情報が文字認識処理によって得られた位置を示す位置情報を記憶し、振込先に関する振込先情報を呼び出すためのオブジェクトが選択された場合に、新たな原稿を読み取って、読み取られた原稿の画像の位置情報によって示される位置から文字認識処理によって得られた新たな振込先に関する振込先情報と、記憶された振込先に関する振込先情報とが一致する場合に、新たな原稿に基づく新たな振込金額を表示させ、振込先に関する振込先情報を呼び出すためのオブジェクトが選択された場合に、新たな原稿を読み取って、読み取られた原稿の画像の位置情報によって示される位置から文字認識処理によって得られた新たな振込先に関する振込先情報と、記憶された振込先に関する振込先情報とが一致しない場合に、読み取られた新たな原稿の画像の少なくとも一部を、文字認識処理された領域をユーザが識別できる状態で表示させる仕組みを提供することを目的とする。

本発明は、原稿を読み取る読取手段と、前記読取手段によって読み取った原稿の画像に含まれる文字認識処理を実行する処理手段と、前記処理手段によって実行された前記文字認識処理によって得られた結果から、振込先に関する振込先情報、及び、振込金額を特定する特定手段と、前記特定手段によって特定された前記振込先に関する振込先情報、及び、前記振込金額を送信する送信手段と、前記送信手段が送信した前記振込先に関する振込先情報と、その振込先情報が文字認識処理によって得られた位置を示す位置情報を記憶する記憶手段と、前記記憶手段に記憶された前記振込先に関する振込先情報を呼び出すためのオブジェクトを表示する表示手段とを有し、前記表示手段によって表示された前記オブジェクトが選択された場合に、新たな原稿を前記読取手段によって読み取って、読み取られた原稿の画像の前記位置情報によって示される位置から前記文字認識処理によって得られた新たな振込先に関する振込先情報と、前記記憶手段に記憶された前記振込先に関する振込先情報とが一致する場合に、前記表示手段に前記新たな原稿に基づく新たな振込金額を表示させ、前記表示手段によって表示された前記オブジェクトが選択された場合に、新たな原稿を前記読取手段によって読み取って、読み取られた原稿の画像の前記位置情報によって示される位置から前記文字認識処理によって得られた新たな振込先に関する振込先情報と、前記記憶手段に記憶された前記振込先に関する振込先情報とが一致しない場合に、前記読取手段に読み取られた前記新たな原稿の画像の少なくとも一部を、前記文字認識処理された領域をユーザが識別できる状態で前記表示手段に表示させることを特徴とする。

本発明によれば、原稿を読み取って、その文字認識処理によって得られた結果から、振込先に関する振込先情報、及び、振込金額を特定して振り込み処理を行わせ、振込先に関する振込先情報と、その振込先情報が文字認識処理によって得られた位置を示す位置情報を記憶し、振込先に関する振込先情報を呼び出すためのオブジェクトが選択された場合に、新たな原稿を読み取って、読み取られた原稿の画像の位置情報によって示される位置から文字認識処理によって得られた新たな振込先に関する振込先情報と、記憶された振込先に関する振込先情報とが一致する場合に、新たな原稿に基づく新たな振込金額を表示させ、振込先に関する振込先情報を呼び出すためのオブジェクトが選択された場合に、新たな原稿を読み取って、読み取られた原稿の画像の位置情報によって示される位置から文字認識処理によって得られた新たな振込先に関する振込先情報と、記憶された振込先に関する振込先情報とが一致しない場合に、読み取られた新たな原稿の画像の少なくとも一部を、文字認識処理された領域をユーザが識別できる状態で表示させることができる。

ネットワーク構成を示す図 画像形成装置の構成を示す図 画像形成装置の操作部を示す図 銀行サービス認証のログイン画面を示す図 銀行サービス認証のログイン失敗時の画面を示す図 銀行サービス認証のブラウザ経由の画面を示す図 銀行サービスログインのフローを説明するフローチャート 振込先をショートカットとして登録するアプリの実行を確認する画面を示す図 振込新規登録処理のフローを説明するフローチャート 実施形態に係る請求書を示す図 銀行振込処理の選択画面を示す図 銀行振込処理の選択画面を示す図 銀行振込処理を中断する中断画面を示す図 銀行振込処理における振込前確認画面を示す図 銀行振込処理のフローを説明するチャート 銀行振込処理の宛先登録の確認画面を示す図 画像形成装置の操作部にショートカットが登録されたことを示す図 銀行振込処理の認証失敗時の画面を示す図 実施形態に係る請求書を示す図 登録先振込処理のフローを説明するチャート 登録先振込処理の振込前確認画面を示す図 銀行口座情報の再選択処理のフローを説明するチャート 銀行口座情報の再選択処理の検出された銀行名の確認画面を示す図

以下、図面を参照して本発明の実施の形態を詳しく説明する。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

（第１の実施形態）
本発明の第１の実施形態について説明する。

図１は、本発明におけるネットワーク構成に関するブロック図である。

画像形成装置１０１は、画像処理装置の一例である。本実施形態では、画像形成装置１０１はＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）である。

画像形成装置１０１は、ネットワーク１００を介してＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）１０２と通信可能である。ネットワーク１００は、インターネット１０３に接続されている。

ＰＣ１０２は、画像形成装置１０１の状況を取得して表示したり、画像形成装置１０１の設定を行ったり、印刷データを画像形成装置に送信したりするために用いられる。

インターネット１０３には、銀行サービスＡＰＩ認可サーバ１０４、銀行サービスリソースサーバ１０５、オンラインストレージ１０６、メールサーバ１０７が接続されている。

銀行サービスＡＰＩ認可サーバ１０４は、銀行サービスＡＰＩの利用を認可する。

銀行サービスリソースサーバ１０５は、銀行振り込み、入出金明細発行などのサービスを行うために使用する。

オンラインストレージ１０６は、画像、設定情報を保存する。

メールサーバ１０７は、電子メールの送受信を行う。

画像形成装置１０１、ＰＣ１０２、銀行サービスＡＰＩ認可サーバ１０４、銀行サービスリソースサーバ１０５、オンラインストレージ１０６、メールサーバ１０７は、お互いに通信可能である。

画像形成装置１０１は、原稿を読み取り、読み取って得られた画像データをＰＣ１０２や、オンラインストレージ１０６に送信する。また、画像形成装置１０１は、原稿を読み取り、読み取って得られた画像データをメールに添付し、メールサーバ１０７に送信する。

ＰＣ１０２は、ＨＴＴＰプロトコルにより画像形成装置１０１の設定値を設定もしくは更新可能である。

ネットワーク１００は、画像データが送信可能なネットワーク構成なら無線でアクセスポイント（不図示）に接続される構成でも良い。本実施形態における画像データとは電子データである。具体的には、画像データは画像をＲＡＷデータ化した電子データに限らず、ＴＩＦＦ、ＪＰＥＧなどの画像フォーマットに従った電子データやＰＤＦフォーマットに従った電子データであっても良い。また画像形成装置１０１は文字認識部を有し、原稿を読み取って得られた画像データから文字を認識して文字データを出力する機能を有している。

図２は、画像形成装置１０１の構成を示すブロック図である。

画像形成装置１０１は、制御部１１０、操作部１１６、読取部１１８、印刷部１２０を有する。制御部１１０は、ＣＰＵ１１１、ＲＯＭ１１２、ＲＡＭ１１３、ストレージ１１４、操作部Ｉ／Ｆ（インタフェース）１１５、読取部Ｉ／Ｆ１１７、印刷部Ｉ／Ｆ１１９、外部記憶Ｉ／Ｆ１２１、通信部Ｉ／Ｆ１２３を有する。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略である。ＲＡＭはＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。

ＣＰＵ１１１は、画像形成装置１０１の動作を制御する。

ＣＰＵ１１１は、ＲＯＭ１１２又はストレージ１１４に記憶されたプログラムをＲＡＭ１１３に読み出して実行する。プログラムは、例えば、制御プログラムであり、ＣＰＵ１１１は、制御プログラムを実行することによって読取制御や印刷制御などの各種制御を行う。

ＲＯＭ１１２は、ＣＰＵ１１１によって実行されるプログラムを格納する。また、ＲＯＭ１１２は、ブートプログラムやフォントデータなども格納する。

ＲＡＭ１１３は、ＣＰＵ１１１の主記憶メモリである。ＲＡＭ１１３は、ＣＰＵ１１１のワークエリア、ＲＯＭ１１２及びストレージ１１４に格納されたプログラムを展開するための一時的な記憶領域として用いられる。また、ＲＡＭ１１３は、画像データを一時的に格納するためにも用いられる。

ストレージ１１４は、画像データ、印刷データ、アドレス帳、ショートカット、各種プログラム、及び各種設定情報を記憶する。本実施形態では、ストレージ１１４としてフラッシュメモリを想定しているが、ＳＳＤ、ＨＤＤ、ｅＭＭＣなどの補助記憶装置を用いるようにしても良い。ＳＳＤは、Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅの略である。ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略である。ｅＭＭＣは、Ｅｍｂｅｄｄｅｄ Ｍｕｌｔｉ Ｍｅｄｉａ Ｃａｒｄの略である。

操作部Ｉ／Ｆ１１５は、操作部１１６と制御部１１０を接続する。操作部１１６は、ハードキーとタッチパネルを有する。タッチパネルは、タッチパネルシートがディスプレイに貼られて構成されている。操作部１１６は、ハードキーによってユーザからの操作を受付けたり、タッチパネルを介して画面を表示したりする。

読取部Ｉ／Ｆ１１７は、読取部１１８と制御部１１０を接続する。読取部１１８は、原稿の画像を読み取って、画像データを生成する。読取部１１８によって生成された画像データは、文字認識処理を実行されたり、外部装置に送信されたり、印刷用のシートに印刷されたりする。

印刷部Ｉ／Ｆ１１９は、印刷部１２０と制御部１１０を接続する。ＣＰＵ１１１は、印刷すべき画像データ（印刷対象の画像データ）を印刷部Ｉ／Ｆ１１９を介して印刷部１２０に転送する。印刷部１２０は、給紙カセットから給紙されたシートに画像を印刷する。画像を印刷する方式は、トナーを使って画像を印刷する電子写真方式でも、インクを使って画像を印刷するインクジェット方式であってもよい。

外部記憶Ｉ／Ｆ１２１は、外部記憶装置１２２と制御部１１０を接続する。ＣＰＵ１１１は、外部記憶Ｉ／Ｆ１２１を介して外部記憶装置１２２に画像データを記憶する。本実施形態では外部記憶Ｉ／Ｆ１２１としてＵＳＢインタフェースを、外部記憶装置１２２としてＵＳＢメモリを想定している。しかしながら、外部記憶装置１２２には、ＳＤカード等を用いても良い。

制御部１１０は、通信部Ｉ／Ｆ１２３によりネットワーク１００に接続される。ネットワーク１００は、例えば、ＬＡＮである。ＬＡＮは、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋの略である。

通信部Ｉ／Ｆ１２３は、ネットワーク１００を介して行われるデータの送受信を制御する。例えば、画像形成装置１０１は、通信部Ｉ／Ｆ１２３を介して、装置内部の各種設定情報をＰＣ１０２に送信したり、メールサーバ１０７に電子メールを送信したり、オンラインストレージ１０６に画像データを送信したりする。

また、また、画像形成装置１０１は、通信部Ｉ／Ｆ１２３を介して、銀行サービスＡＰＩ認可サーバ１０４に接続し、銀行サービスリソースサーバ１０５が提供する銀行サービスＡＰＩの認可コードを獲得する。また、画像形成装置１０１は、通信部Ｉ／Ｆ１２３を介して、銀行サービスリソースサーバ１０５に接続し、銀行サービスＡＰＩの認可コードを提示して銀行サービスＡＰＩから銀行サービスを実行する。銀行サービスＡＰＩの認可コードを獲得するための各種設定情報の登録や変更は、ＰＣ１０２から画像形成装置１０１にＨＴＴＰでアクセスして行う。

なお、ＰＣ１０２は、図示しないが、ＣＰＵ、ＲＡＭ、ＲＯＭ、ストレージ、通信Ｉ／Ｆ、操作部を有する。銀行サービスＡＰＩ認可サーバ１０４、銀行サービスリソースサーバ１０５、オンラインストレージ１０６、メールサーバ１０７も、ＰＣ１０２と同様のハードウェアを有している。

図３は、操作部１１６を示した図である。操作部１１６は、タッチパネル３００、ＤａｔａＬＥＤ３０６及びＥｒｒｏｒＬＥＤ３０７により構成される。

図３に示したタッチパネル３００には、画像形成装置１０１の起動直後に表示されるホーム画面が表示されている。ホーム画面には、画像形成装置１０１の各機能の実行を指示する画面である。例えば、ホーム画面には、読取部１１８で原稿を読み取って生成された画像データに基づく画像を印刷部１２０で印刷するコピー機能を利用するためのコピーボタンが表示される。また、ホーム画面には、読取部１１８で原稿を読み取って生成された画像データを不図示のモデムを使って送信するファクス機能を利用するためのファクスボタンが表示される。また、ホーム画面には、読取部１１８で原稿を読み取って生成された画像データを通信部Ｉ／Ｆ１２３を介して送信する送信機能を利用するためのスキャンボタンが表示される。なお、送信機能には、画像データを電子メールに添付して送信する電子メール機能や、画像データを指定されたフォルダに格納するために送信するフォルダ送信機能等がある。また、ホーム画面には、ＵＳＢメモリ等の外部記憶装置１２２に記憶された画像データに基づく画像を印刷部１２０で印刷するメモリーメディアプリントボタンが表示される。他にも、ホーム画面には、メニューボタン３０１、アドレス帳を呼び出して表示するアドレス帳ボタン３０２、銀行振込の振込先の設定等を行う銀行振込アイコン登録ボタン３０３が表示される。

ホームキー３０５はハードキーであり、表示中の画面をホーム画面に切り替えるためのボタンである。

ＤａｔａＬＥＤ３０６は、データの送信中に点灯することで、画像形成装置１０１が、データの送信中であることをユーザに通知する。

ＥｒｒｏｒＬＥＤ３０７は、画像形成装置１０１に何らかのエラーが発生した際に点灯する。

図４は、操作部１１６で銀行振込の際に使用する振込元のユーザ情報を画像形成装置１０２に登録しておくための設定画面の説明である。

図４（Ａ）は、図３のメニュー３０１を選択することによって表示される。

図４（Ａ）では、銀行サービスを利用するために登録されているユーザＩＤ４０１とパスワード４０２（認証情報の一例）を入力する。入力完了後にユーザＩＤは表示したままだが、パスワード４０２は伏せ字にする。登録名称４０３は、銀行サービスの登録名称を入力する。

ログインボタン４０４が選択されると、画像形成装置１０１は、図７のシーケンスで認証処理を行う。この認証処理は画像形成装置１０１が銀行サービスＡＰＩ認可サーバ１０４に対して認証行う。

認証が成功すると図４（Ｂ）の画面となり、ユーザＩＤ４０５、パスワード４０６が伏せ字となり登録名称のみ表示される。

ログアウトボタン４０８が選択されると、図４（Ａ）が表示され、ユーザＩＤ４０１、パスワード４０２、登録名称４０３はクリアされる。

認証が失敗した場合、図５の画面が操作部１１６に表示される。図５の「はい」ボタン５０１が選択されると図４（Ａ）が操作部１１６に表示される。

図４（Ａ）の画面で入力されるべき、銀行サービスを利用するために登録されている情報は、事前にＰＣ１０２のブラウザで画像形成装置１０１に接続して設定される。

図６（Ａ）は、図４（Ａ）と同様の操作を、ＰＣ１０２を使って行うための設定画面の例である。ユーザは、事前にこのような画面を介して、ユーザＩＤやパスワード、登録名称を入力し、ログインボタンを選択する。

ログインボタンが選択されると、ユーザによって入力されたユーザＩＤやパスワード、登録名称が画像形成装置１０１にネットワーク１００を介して送信先に送信され、画像形成装置１０１のストレージ１１４に記憶される。そして、画像形成装置１０１は、ユーザＩＤやパスワード、登録名称を受信して記憶すると、図７のシーケンスで認証処理を行う。この認証処理は画像形成装置１０１が銀行サービスＡＰＩ認可サーバ１０４に対して認証行う。

認証が成功すると図６（Ｂ）の画面がＰＣ１０２の表示装置に表示される。この画面では、ユーザＩＤ、パスワードが伏せ字となり登録名称のみが表示される。

認証が失敗すると図６（Ｃ）の画面がＰＣ１０２の表示装置に表示される。

図７は、画像形成装置１０１が銀行サービスＡＰＩ認可サーバ１０４に認証を行う際のシーケンスを示したものである。ここでは、図４（Ａ）を介して入力された情報をもとに認証を行う際の処理について説明する。

Ｓ８０１で、銀行サービスへのアクセスを行うためのログイン設定を行う要求をすると、Ｓ８０２で、画像形成装置１０１はユーザＩＤ、パスワードの入力画面を操作部１１６に表示する。

Ｓ８０３で、ユーザＩＤ４０１、パスワード４０２が入力され、ログインボタン４０４が選択されると、Ｓ８０４で、画像形成装置１０１は、ユーザが設定したユーザＩＤ、パスワードを含むトークンリクエストを銀行サービスＡＰＩ認可サーバ１０４に通知する。

Ｓ８０５で、銀行サービスＡＰＩ認可サーバ１０４はトークンリクエストのユーザＩＤ、パスワードが正規のものであることを確認すると、画像形成装置１０１にトークンリクエスト応答を送信する。

Ｓ８０６で、画像形成装置１０１は、受信したトークンリクエスト応答に基づいて認証の結果を表示する。トークンリクエスト応答が正規のものであると銀行サービスＡＰＩ認可サーバ１０４で確認されると、画像形成装置１０１は、図８の画面を操作部１１６に表示する。そして、画像形成装置１０１は、スタートボタン９０１が選択されると、トークンリクエスト応答にあるアクセストークンを画像形成装置１０１のストレージ１１４にユーザ情報に紐づけて保存する。保存の完了後、操作部１１６に図４（Ｂ）、ＰＣ１０２には図６（Ｂ）を表示し、パスワードをクリアして終了する。

一方、トークンリクエスト応答が正規のものであると確認できない場合、画像形成装置１０１は、操作部１１６に図５を表示して処理を終了する。

図９は、初回の振り込み処理の流れを示すフローチャートである。図９に示すフローチャートの各処理は、ＣＰＵ１１１がＲＯＭ１１２に記憶されたプログラムをＲＡＭ１１３に読み出して実行することによって実現される。

図１０は請求書の一例である。

Ｓ１００１で、ＣＰＵ１１１は、図３の銀行振り込みアイコン登録ボタン３０３が選択されると、銀行サービスＡＰＩ認可サーバ１０４による認証が済んでいるかを判定する。

Ｓ１００１で、ＣＰＵ１１１は、銀行サービスＡＰＩ認可サーバ１０４による認証が済んでいると判定した場合、ＣＰＵ１１１は、Ｓ１００２へ処理を進める。一方、銀行サービスＡＰＩ認可サーバ１０４による認証が済んでいないと判定した場合、ＣＰＵ１１１は、Ｓ１００９に処理を進める。

Ｓ１００９に処理を進めた場合、ＣＰＵ１１１は、図４（Ａ）の銀行サービス利用認証設定画面を操作部１１６に表示させる。

銀行サービス認証画面表示Ｓ１００９での処理に関しては図７のフローに従う。利用認証処理が終了した後は、Ｓ１００１で、再度銀行サービス利用認証済み確認を行った後、ＣＰＵ１１１は、Ｓ１００２に処理を進める。

Ｓ１００２で、ＣＰＵ１１１は、ユーザによって登録された振込元を選択し、選択が完了したらＳ１００３に処理を進める。

Ｓ１００３で、ＣＰＵ１１１は、請求書画像読取処理を実行する。具体的に、ＣＰＵ１１１は、読取部１１６に原稿の画像を読み取らせ、生成された画像データをＲＡＭ１１３に記憶し、Ｓ１００４に処理を進める。

Ｓ１００４で、ＣＰＵ１１１は、ＲＡＭ１１３に記憶された画像データにＯＣＲ（文字認識処理）、及びテキストオブジェクト抽出処理を実行する。ここでは、具体的に、ＣＰＵ１１１は、ＲＡＭ１１３に保存された請求書画像データにＯＣＲを実施し、抽出された各文字の左右方向の近傍を探索し、所定の距離以内の文字を１つの文字情報（１つのテキストオブジェクト）とする。その後、ＣＰＵ１１は、Ｓ１００５に処理を進める。なお、本実施形態では、文字を中心に説明するが、ＯＣＲによって抽出される文字情報は、数字や記号を含んでいてもよい。

Ｓ１００５で、ＣＰＵ１１１は、銀行振込に必要な情報の獲得を行うために、図１１（Ａ）から（Ｂ）までの画面、及び図１２（Ａ）から（Ｃ）までの画面を操作部１１６に順に表示させる。

図１１（Ａ）から（Ｂ）までの画面、及び図１２（Ａ）から（Ｃ）までの画面では、抽出された複数の文字情報が一覧で表示されている。なお、一覧には、抽出された複数の文字情報の一部を表示し、スクロールキーや次の一覧を表示するためのキーが選択されたときに残りの文字情報を表示するようにしてもよい。ユーザは、それぞれの画面で文字情報を選択していく。ＣＰＵ１１１は、図１１（Ａ）から（Ｂ）までの画面、及び図１２（Ａ）から（Ｃ）までの画面で選択された文字情報を振込情報としてストレージ１１４に記憶していく。なお、具体的に、ＣＰＵ１１１は、図１１（Ａ）の画面で選択された文字を銀行名としてストレージ１１４に記憶する。また、ＣＰＵ１１１は、図１１（Ｂ）の画面で選択された文字を支店名としてストレージ１１４に記憶する。また、ＣＰＵ１１１は、図１２（Ａ）の画面で選択された文字を口座種別としてストレージ１１４に記憶する。また、ＣＰＵ１１１は、図１２（Ｂ）の画面で選択された文字を口座番号としてストレージ１１４に記憶する。ＣＰＵ１１１は、図１２（Ｃ）の画面で選択された文字を振込金額としてストレージ１１４に記憶する。図１１（Ａ）から（Ｂ）までの画面、及び図１２（Ａ）から（Ｃ）までの画面の戻るボタンは、一つ前の画面に表示を戻すためのボタンである。

振り込み処理をキャンセルする場合は、図１３の振込処理中断確認画面が表示されるまで“戻る”を押し続け、Ｓ１００６で、図１３の画面で“はい”が選択されると振り込み処理をキャンセルして処理を終了する。図１３の画面で“いいえ”が選択されると、図１１（Ａ）の画面が表示される。

Ｓ１００８で、ＣＰＵ１１１は、アイテムの選択が完了したか否かを判定する。図１１（Ａ）から図１１（Ｂ）及び図１２（Ｃ）の確定ボタンが選択された場合、ＣＰＵ１１１は、アイテムの選択が完了していないと判定し、Ｓ１００５に処理を進める。一方、図１２（Ｃ）の確定ボタンが選択された場合、ＣＰＵ１１１は、アイテムの選択が完了したと判定し、Ｓ１０１０に処理を進める。

Ｓ１０１０で、ＣＰＵ１１１は、操作部１１６に図１４の確認画面を表示させる。

Ｓ１０１１で、ＣＰＵ１１１は、振込処理が許可されたか、中止されたかを判断する。図１４の確認画面で確定ボタンが選択されると、ＣＰＵ１１１は、振込処理が許可されたと判断し、Ｓ１０１２に処理を進める。一方、図１４の画面でキャンセルボタンが押されると、振込処理が中止されたと判断し、振込処理を行わずに処理を終了する。

Ｓ１０１２で、ＣＰＵ１１１は、図１５に示す振込処理を実行する。振込処理の詳細は、図１５を用いて後述する。

Ｓ１０１３で、ＣＰＵ１１１は、振込処理が正常に終了したか否かを判定する。振込処理が正常に終了したと判定した場合、ＣＰＵ１１１は、Ｓ１０１４に処理を進める。一方、振込処理が正常に終了しなかったと判定した場合、ＣＰＵ１１１は、処理を終了する。なお、振込処理が正常に終了しなかった場合に、その旨を通知するエラー画面をＣＰＵ１１１が操作部１１６に表示させてもよい。例えば、認証処理が失敗した場合は図１８（Ａ）に示す認証処理失敗画面（図１８（Ａ））を、該当する振込先がなかった場合は図１８（Ｂ）に示す振込先情報不備画面をＣＰＵ１１１が操作部１１６に表示させてもよい。

Ｓ１０１４で、ＣＰＵ１１１は、図１６（Ａ）に示す振込情報登録画面を操作部１１６に表示させる。

Ｓ１０１５で、ＣＰＵ１１１は、振込情報の登録がユーザによって指示されたか否かを判定する。振込情報登録画面で“はい”ボタンが選択された場合、ＣＰＵ１１１は、振込情報の登録がユーザによって指示されたと判定し、Ｓ１０１６に処理を進める。一方、振込情報登録画面で“いいえ”ボタンが選択されると、ＣＰＵ１１１は、振込情報の登録がユーザによって指示されなかったと判定し、ＣＰＵ１１１は処理を終了する。

Ｓ１０１６で、ＣＰＵ１１１は、振込先登録処理を実行する。具体的に、ＣＰＵ１１１は、図１６（Ｂ）に示す画面を操作部１１６に表示させる。図１６（Ｂ）の画面を介してユーザは、不図示のソフトウェアキーボードによって登録名称を入力する。そして、図１６（Ｂ）の“はい”ボタンが選択されると、ＣＰＵ１１１は、登録名称、銀行名、支店名、口座種別、口座番号とそれぞれの文字列の位置、および振込金額の文字列の位置を振込情報としてストレージ１１４に記憶する。それによって、次に、ホーム画面を表示した際に、ＣＰＵ１１１は、ストレージ１１４に記憶された情報に基づいてショートカットボタン１７０１を操作部１１６に表示させる（オブジェクト表示させる）。一方、図１６（Ａ）の画面で“いいえ”ボタンが選択されると振り込み情報を登録せずに、そのまま処理を終了する。

図１５は振込処理のフローを示す。

Ｓ１５０１で、ユーザによって図１４の振込確認画面で確定ボタンが選択されると、Ｓ１５０２で、画像形成装置１０１は銀行サービスリソースサーバ１０５に、アクセストークンと、振込情報を含む振込指示を通知する。なお、このアクセストークンは、図７の処理で事前に記憶されたアクセストークンである。また、振込情報は、図１１（Ａ）から図１１（Ｂ）及び図１２（Ａ）から図１２（Ｃ）のそれぞれで選択された文字情報である。

Ｓ１５０３で、銀行サービスリソースサーバ１０５は振込指示からアクセストークンを抜き出し、銀行サービスＡＰＩ認可サーバ１０４にアクセストークンの情報を問い合わせる。

Ｓ１５０４で、銀行サービスＡＰＩ認可サーバ１０４は受け取ったアクセストークンの情報を銀行サービスリソースサーバ１０５に返す。

Ｓ１５０５で、銀行サービスリソースサーバ１０５は受信したアクセストークンの情報から有効性を確認する。有効である場合、銀行サービスリソースサーバ１０５は振込処理を実施する。一方、無効である場合は、銀行サービスリソースサーバ１０５は振込処理を実施しない。

Ｓ１５０６で、銀行サービスリソースサーバ１０５は、振込処理の結果を画像形成装置１０１に通知する。

Ｓ１５０７で、画像形成装置１０１のＣＰＵ１１１は、銀行サービスリソースサーバ１０５から通知された振込処理の結果を操作部１１６に表示させる。

図１７の登録された振込処理のショートカットアイコン１７０１が選択された際の処理を図２０に示す。図２０に示す処理は、ＣＰＵ１１１が、ＲＯＭ１１２に記憶されたプログラムをＲＡＭ１１３に読み出して実行することによって実現される。

またここで読取部１１８にセットされた請求書の例を図１９に示す。

登録された振込処理のショートカットアイコン１７０１が選択されると、Ｓ２００１で、ＣＰＵ１１１は読取部１１６に請求書の読取を実行させる。

請求書を読み取って生成された請求書画像データをＲＡＭ１１３に保存した後、Ｓ２００２で、ＣＰＵ１１１は、請求書画像データに対してＯＣＲと、テキストオブジェクト抽出処理を実行する。ＯＣＲと、テキストオブジェクト抽出処理の詳細は、図９のＳ１００３で説明したものと同じである。

Ｓ２００３で、ＣＰＵ１１１は、ストレージ１１４に保存されているショートカットアイコン１７０１に紐づけられた銀行口座情報、および銀行口座情報の文字位置情報を獲得する。

Ｓ２００４で、ＣＰＵ１１１は、銀行口座情報の文字位置情報に示される位置の文字を読み取って生成される文字情報と、ショートカットに登録された銀行口座の文字情報を比較する。

Ｓ２００５で、ＣＰＵ１１１は、文字情報の比較の結果、銀行口座情報の文字位置情報に示される位置の文字を読み取って生成される文字情報と、ショートカットに登録された銀行口座の文字情報が同じであるか否かを判定する。

それらが同じであると判定した場合、ＣＰＵ１１１は、Ｓ２００７に処理を進める。一方、それらが同じでないと判定した場合、ＣＰＵ１１１は、Ｓ２００６に処理を進める。

Ｓ２００７で、ＣＰＵ１１１は、振込金額表示を操作部１１６に実行させる。

Ｓ２００６では、ＣＰＵ１１１は、銀行口座情報ユーザ確認処理で、ユーザによる銀行口座情報の訂正を受け付ける。

Ｓ２００７で、ＣＰＵ１１１は、図２１に示す振込情報金額表示画面を操作部１１６に表示させ、ユーザに振込の実施を確認する。Ｓ２００８で、振込情報金額表示画面でユーザが“確定”を押下すると、ＣＰＵ１１１は、図１５の振込処理を実施する。一方、振込情報金額表示画面でユーザが“キャンセル”を押下すると）、ＣＰＵ１１１は処理を中断して終了する。

図２２は図２０で示される振込処理のＳ２００６の銀行口座情報ユーザ確認処理を示す。

Ｓ２２０１で、ＣＰＵ１１１は、登録情報と抽出されたテキストオブジェクトの不整合が生じている箇所を抽出する。

Ｓ２２０２で、ＣＰＵ１１１は、不整合箇所が生じている箇所に関する不整合箇所表示画面（図２３）を操作部１１６に表示させる。

図２３では例として銀行名を表示しているが、その他の支店名、銀行口座番号の差分が生じている場合も同様の画面表示を行う。

Ｓ２２０３で、ＣＰＵ１１１は、図２３の不整合箇所表示画面でキャンセルが押下されたか否かを判定する。キャンセルボタンが押下された場合、ＣＰＵ１１１は、銀行口座情報再選択処理、および振込処理を終了する。

一方、不整合箇所表示画面で確定が押下された場合、ＣＰＵ１１１は、Ｓ２２０４に処理を進める。

Ｓ２２０４で、ＣＰＵ１１１は、全ての不整合箇所の確認が完了したと判断した場合、処理を終了して振込処理に戻る。未確認個所がある場合、ＣＰＵ１１１は、Ｓ２２０２に処理を進め、別の不整合箇所を示した不整合箇所表示画面の表示を操作部１１６に行わせる。

本実施形態によれば、原稿を読み取って、その文字認識処理によって得られた結果から、振込先に関する振込先情報、及び、振込金額を特定して振り込み処理を行わせることができる。

また、振込先を請求書の画像データから文字情報と文字情報の位置情報も獲得する。そして得られた文字情報から振込先としてＷｅｂＡＰＩで振込を実施しつつショートカットに登録することで振込先情報再利用することができる。

またショートカットに登録された情報と読み取った画像データの文字情報を比較することにより請求書が登録された時点のフォーマットと差があるかを判断することができ、振込ミスを避けることができる。

特に、近年では、インターネットを利用して振り込みを行うサービスが行われているが、ウェブＡＰＩを利用することでウェブブラウザ経由でなくとも振込振替処理を行うことができる。ＷｅｂＡＰＩではＡＴＭ網やウェブブラウザ経由での振込とは異なり金融機関名、支店名、口座番号を通知しても振込先の口座名義人名を獲得することはできない。また金融機関のホストコンピュータに保存された金融機関名と口座番号等に紐づけられた振込先の口座名義人名も取得できない。その為金融機関名、支店名、科目、口座番号を間違えてしまうと振込先を間違えて振り込んでしまう。また一般的な請求書等に記載されている金融機関名、支店名、科目、および口座番号の位置は、請求書の発行元のフォーマットによるため口座振替依頼書と異なり一定ではない。そのため請求書を受け取るたびに金融機関名、支店名、科目、口座番号、請求金額を確認して入力してから振り込む必要があった。しかしながら、本実施形態によれば、請求書等の原稿の画像データから振込先等の文字情報と文字情報の位置情報も獲得する。そして得られた文字情報から振込先としてＷｅｂＡＰＩで振込を実施しつつショートカットに登録することで振込先情報再利用することができる。またショートカットに登録された情報と読み取った画像データの文字情報を比較することにより請求書が登録された時点のフォーマットと差があるかを判断することができ、振込ミスを避けることができる。

（その他の実施形態）
なお、本実施形態では、画像形成装置１０１は、１つのＣＰＵ１１１が１つのメモリ（ＲＡＭ１１３）を用いて後述するフローチャートに示す各処理を実行するものとするが、他の様態であっても構わない。例えば複数のＣＰＵ、ＲＡＭ、ＲＯＭ、及びストレージを協働させて後述するフローチャートに示す各処理を実行することもできる。また、ＡＳＩＣやＦＰＧＡ等のハードウェア回路を用いて一部の処理を実行するようにしてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１１ ＣＰＵ
１１２ ＲＯＭ
１１３ ＲＡＭ
１１４ ストレージ
１１６ 操作部
１１８ 読取部
１２３ 通信部Ｉ／Ｆ

Claims (9)

1. 原稿を読み取る読取手段と、
   前記読取手段によって読み取った原稿の画像に含まれる文字認識処理を実行する処理手段と、
   前記処理手段によって実行された前記文字認識処理によって得られた結果から、振込先に関する振込先情報、及び、振込金額を特定する特定手段と、
   前記特定手段によって特定された前記振込先に関する振込先情報、及び、前記振込金額を送信する送信手段と、
   前記送信手段が送信した前記振込先に関する振込先情報と、その振込先情報が文字認識処理によって得られた位置を示す位置情報を記憶する記憶手段と、
   前記記憶手段に記憶された前記振込先に関する振込先情報を呼び出すためのオブジェクトを表示する表示手段とを有し、
   前記表示手段によって表示された前記オブジェクトが選択された場合に、新たな原稿を前記読取手段によって読み取って、読み取られた原稿の画像の前記位置情報によって示される位置から前記文字認識処理によって得られた新たな振込先に関する振込先情報と、前記記憶手段に記憶された前記振込先に関する振込先情報とが一致する場合に、前記新たな原稿に基づく新たな振込金額を前記表示手段に表示させ、
   前記表示手段によって表示された前記オブジェクトが選択された場合に、新たな原稿を前記読取手段によって読み取って、読み取られた原稿の画像の前記位置情報によって示される位置から前記文字認識処理によって得られた新たな振込先に関する振込先情報と、前記記憶手段に記憶された前記振込先に関する振込先情報とが一致しない場合に、前記読取手段に読み取られた前記新たな原稿の画像の少なくとも一部を、前記文字認識処理された領域をユーザが識別できる状態で前記表示手段に表示させることを特徴とする画像処理装置。
2. 前記表示手段は、さらに、前記処理手段によって実行された前記文字認識処理によって得られた結果を表示し、
   前記表示手段によって前記結果を表示した後、前記送信手段は、前記特定手段によって特定された前記振込先に関する振込先情報、及び、前記振込金額を送信することを特徴とする請求項１に記載の画像処理装置。
3. 前記表示手段によって表示された結果から、前記振込先に関する振込先情報、及び、前記振込金額の選択をユーザから受け付ける受付手段をさらに有し、
   前記特定手段は、前記受付手段によって受け付けた選択に基づいて、前記振込先に関する振込先情報、及び、前記振込金額を特定することを特徴とする請求項２に記載の画像処理装置。
4. 前記送信手段が前記振込先に関する振込先情報、及び、前記振込金額を送信する送信先のサーバの認証情報を登録する登録手段をさらに有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記振込先に関する振込先情報は、銀行名を含むことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記振込先に関する振込先情報は、口座種別を含むことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記振込先に関する振込先情報は、口座番号を含むことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
8. 原稿を読み取る読取工程と、
   前記読取工程で読み取った原稿の画像に含まれる文字認識処理を実行する処理工程と、
   前記処理工程で実行された前記文字認識処理によって得られた結果から、振込先に関する振込先情報、及び、振込金額を特定する特定工程と、
   前記特定工程で特定された前記振込先に関する振込先情報、及び、前記振込金額を送信する送信工程と、
   前記送信工程で送信された前記振込先に関する振込先情報と、その振込先情報が文字認識処理によって得られた位置を示す位置情報を記憶する記憶工程と、
   前記記憶工程で記憶された前記振込先に関する振込先情報を呼び出すためのオブジェクトを表示する表示工程とを有し、
   前記表示工程で表示された前記オブジェクトが選択された場合に、新たな原稿を前記読取工程で読み取って、読み取られた原稿の画像の前記位置情報によって示される位置から前記文字認識処理によって得られた新たな振込先に関する振込先情報と、前記記憶工程で記憶された前記振込先に関する振込先情報とが一致する場合に、前記新たな原稿に基づく新たな振込金額を表示し、
   前記表示工程で表示された前記オブジェクトが選択された場合に、新たな原稿を前記読取工程で読み取って、読み取られた原稿の画像の前記位置情報によって示される位置から前記文字認識処理によって得られた新たな振込先に関する振込先情報と、前記記憶工程で記憶された前記振込先に関する振込先情報とが一致しない場合に、前記読取工程で読み取られた前記新たな原稿の画像の少なくとも一部を、前記文字認識処理された領域をユーザが識別できる状態で表示することを特徴とする画像処理装置の制御方法。
9. 請求項８に記載された画像処理装置の制御方法を、コンピュータに実行させるためのプログラム。

Images