JP6489041B2 - 情報処理装置及びプログラム - Google Patents

Description

本発明は、複数の文字列に重畳された複数のマーキングを含む原稿画像から、マーキングされた文字列を解答とする穴埋め問題を作成することが可能な情報処理装置及びプログラムに関する。

問題の解答となる文字列を手書きのマーキングで指定した原稿の画像を読み取り、読み取った原稿の画像データの中からマーキングの画像を抽出し、マーキングの位置で文字列を抽出し、マーキングの位置で文字列を消去し、文字列の消去部分に解答欄を設定する、穴埋め問題を作成する技術が知られている（特許文献１、要約書）。文字列を抽出するための技術としては、光学文字認識（ＯＣＲ、Optical Character Recognition）が知られている（特許文献２）。

特開２００７−４５２３号公報 特開平１１−３２８３０９号公報

穴埋め問題を作成することが可能な情報処理装置においては、問題作成者及び回答者の双方について益々ユーザーフレンドリーであることが望まれる。

以上のような事情に鑑み、本発明の目的は、複数の文字列に重畳された複数のマーキングを含む原稿画像から、マーキングされた文字列を解答とする穴埋め問題を作成することが可能な情報処理装置及びプログラムにおいて、ユーザーの利便性を向上することにある。

上記目的を達成するため、本発明の一形態に係る情報処理装置は、
複数の文字列にそれぞれ重畳された複数のマーキングを含む原稿画像から、前記複数のマーキングを抽出するマーキング抽出部と、
それぞれ前記マーキングが重畳された前記複数の文字列のうち、同一の文字列を識別する同一文字列識別部と、
前記同一の文字列に同一の符号を割り当て、異なる文字列に異なる符号を割り当てる符号決定部と
を具備する。

本形態によれば、同一の文字列に同一の符号を割り当て、異なる文字列に異なる符号を割り当てる。これにより、同一の文字列を解答すべき複数の空欄に異なる符号を割り当てた故、回答者が、異なる語句を回答すべきであると誤解するおそれがなくなる。

情報処理装置は、
それぞれ前記マーキングが重畳された前記複数の文字列にそれぞれ重畳する空欄画像を作成する空欄作成部と、
前記原稿画像と、前記複数の空欄画像と、前記割り当てた符号の画像である符号画像とを合成した合成画像を作成する画像合成部と
をさらに具備する。

本形態によれば、原稿画像と、空欄画像と、符号画像とを合成した合成画像を作成する。これにより、問題作成者が、同一の文字列を解答すべき複数の空欄に同一の符号を手作業で割り当てる手間がなくなり、また、誤った符号を割り当ててしまうおそれもなくなる。

情報処理装置は、
前記マーキング抽出部が抽出した前記複数のマーキングそれぞれの、前記原稿画像内での位置及び形状を判定するマーキング判定部と、
前記複数のマーキングの前記判定した位置及び形状をもとに、それぞれの前記マーキングが重畳された前記複数の文字列を抽出する文字列抽出部とをさらに具備し、
前記同一文字列識別部は、前記文字列抽出部が抽出した前記複数の文字列のうち、同一の文字列を識別する。

前記同一文字列識別部は、
前記文字列抽出部が抽出した前記複数の文字列を識別する文字列識別部と、
前記文字列識別部が識別した前記複数の文字列同士を比較して同一の文字列を識別することにより、同一の文字列を識別する文字列比較部と
を有する。

前記文字列識別部は、
前記文字列抽出部が抽出した前記複数の文字列それぞれから、複数の文字を抽出し、
前記抽出した複数の文字それぞれを識別し、
前記文字列に含まれる前記複数の文字を組み合わせることで、前記複数の文字列を識別する。

前記文字列識別部は、光学文字認識（Optical Character Recognition）により、前記複数の文字列を識別する。

前記同一文字列識別部は、前記文字列抽出部が抽出した前記複数の文字列同士の類似度を判定し、類似度が閾値以上の場合、前記複数の文字列が同一の文字列であると判定する文字列類似度判定部を有する。

本形態によれば、文字列に実際に含まれる文字は問題ではなく、文字列が同一であることさえ分かればよいので光学文字認識と比べて処理量が少なく、また、光学文字認識に要するデータベースが不要である。

上記目的を達成するため、本発明の一形態に係るプログラムは、
情報処理装置を、
複数の文字列にそれぞれ重畳された複数のマーキングを含む原稿画像から、前記複数のマーキングを抽出するマーキング抽出部と、
それぞれ前記マーキングが重畳された前記複数の文字列のうち、同一の文字列を識別する同一文字列識別部と、
前記同一の文字列に同一の符号を割り当て、異なる文字列に異なる符号を割り当てる符号決定部
として機能させる。

本発明によれば、複数の文字列に重畳された複数のマーキングを含む原稿画像から、マーキングされた文字列を解答とする穴埋め問題を作成することが可能な情報処理装置及びプログラムにおいて、ユーザーの利便性が向上する。

第１の実施形態に係る画像形成装置のハードウェア構成を示すブロック図である。 画像形成装置の機能的構成を示すブロック図である。 画像形成装置の動作を示すフローチャートである。 画像形成装置の動作を説明するための図である。 第２の実施形態に係る画像形成装置の機能的構成を示すブロック図である。 画像形成装置の動作を示すフローチャートである。

以下、図面を参照しながら、本発明の実施形態を説明する。

（１．第１の実施形態）
（１−１．画像形成装置のハードウェア構成）
図１は、本発明の第１の実施形態に係る画像形成装置のハードウェア構成を示すブロック図である。

本発明の各実施形態に係る情報処理装置は、画像形成装置（例えば、ＭＦＰ、Multifunction Peripheral）であり、以下ＭＦＰと称する。

ＭＦＰ１は、制御部１１を備える。制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）及び専用のハードウェア回路等から構成され、ＭＦＰ１の全体的な動作制御を司る。ＭＦＰ１を各機能部（後述）として機能させるコンピュータプログラムは、ＲＯＭ等の非一過性の記憶媒体に記憶される。

制御部１１は、画像読取部１２、画像処理部１４、画像メモリー１５、画像形成部１６、操作部１７、記憶部１８、ネットワーク通信部１３等と接続されている。制御部１１は、接続されている上記各部の動作制御や、各部との間での信号又はデータの送受信を行う。

制御部１１は、ユーザーから、操作部１７またはネッワーク接続されたパーソナルコンピュータ（図示せず）等を通じて入力されるジョブの実行指示に従って、スキャナ機能、印刷機能及びコピー機能機能などの各機能についての動作制御を実行するために必要な機構の駆動及び処理を制御する。

画像読取部１２は、原稿から画像を読み取る。

画像処理部１４は、画像読取部１２で読み取られた画像の画像データを必要に応じて画像処理する。例えば、画像処理部１４は、画像読取部１２により読み取られた画像が画像形成された後の品質を向上させるために、シェーディング補正等の画像処理を行う。

画像メモリー１５は、画像読取部１２による読み取りで得られた原稿画像のデータを一時的に記憶したり、画像形成部１６での印刷対象となるデータを一時的に記憶したりする領域を有する。

画像形成部１６は、画像読取部１２で読み取られた画像データ等の画像形成を行う。

操作部１７は、ＭＦＰ１が実行可能な各種動作及び処理についてユーザーからの指示を受け付けるタッチパネル部および操作キー部を備える。タッチパネル部は、タッチパネルが設けられたＬＣＤ（Liquid Crystal Display）等の表示部１７ａを備えている。

ネットワーク通信部１３は、ネットワークに接続するためのインタフェースである。

記憶部１８は、画像読取部１２によって読み取られた原稿画像等を記憶する、ＨＤＤ（Hard Disk Drive）などの大容量の記憶装置である。

（１−２．画像形成装置の機能的構成）
図２は、画像形成装置の機能的構成を示すブロック図である。

ＭＦＰ１は、情報処理プログラムを実行することで、マーキング抽出部１０１、マーキング判定部１０２、文字列抽出部１０３、同一文字列識別部１１０、符号決定部１０４、空欄作成部１０５及び画像合成部１０６として機能する。

マーキング抽出部１０１は、画像読取部１２が読み取った原稿画像から、複数の文字列にそれぞれ重畳された複数のマーキングを抽出する。

マーキング判定部１０２は、マーキング抽出部１０１が抽出した複数のマーキングそれぞれの、原稿画像内での位置及び形状を判定する。

文字列抽出部１０３は、マーキング判定部１０２が判定した複数のマーキングの位置及び形状をもとに、それぞれのマーキングが重畳された複数の文字列を抽出する。

同一文字列識別部１１０は、文字列識別部１１１と、ＯＣＲ用データベース１１２と、文字列比較部１１３とを有し、それぞれマーキングが重畳された複数の文字列のうち、同一の文字列を識別する。

符号決定部１０４は、文字列比較部１１３が識別した同一の文字列に同一の符号を割り当て、異なる文字列に異なる符号を割り当てる。

空欄作成部１０５は、それぞれマーキングが重畳された複数の文字列にそれぞれ重畳する空欄画像を作成する。

画像合成部１０６は、画像読取部１２が読み取った原稿画像と、空欄作成部１０５が作成した空欄画像と、符号決定部１０４が割り当てた符号の画像である符号画像とを合成した合成画像を作成する。

（１−３．画像形成装置の動作）
図３は、画像形成装置の動作を示すフローチャートである。図４は、画像形成装置の動作を説明するための図である。

前提として、原稿（典型的には、紙）には、テキストデータとしての文字列が印字されている。あるいは、原稿には、画像データとしての文字列の画像が形成されている（文字列が印字された原稿がコピーされている）。そして、文字列全体のうち複数の一部の文字列（熟語、文節、数値等）が、ユーザーである問題作成者により、蛍光マーカーペン等を用いて手書きでマーキングされている。マーキングされた文字列は、穴埋め問題において、解答となる文字列である。

画像読取部１２は、原稿を光学的にスキャンし、原稿画像を読み取る（ステップＳ１０１、図４参照）。「原稿画像」は、全体的に見れば多数の文字列を含む文書原稿の画像データであり、複数の文字列に重畳された複数のマーキング（図４に示すハッチング部分）を含む。「文字列」は、語句（単語、文節、文章等）、数値等であり、厳密には、その画像である。

マーキング抽出部１０１は、画像読取部１２が読み取った原稿画像から、複数の文字列にそれぞれ重畳された複数のマーキングを抽出する（ステップＳ１０２）。具体的には、マーキング抽出部１０１は、背景（白色等）と明度及び／又は彩度等が異なり、特定の形状及びサイズ（特定の幅の帯状の長方形等）の領域を、マーキングとして抽出する。

マーキング判定部１０２は、マーキング抽出部１０１が抽出した複数のマーキングそれぞれの、原稿画像内での位置及び形状を判定する（ステップＳ１０３）。具体的には、マーキング判定部１０２は、原稿画像全体を座標系全体として、マーキングの位置及び形状を座標として算出する。

文字列抽出部１０３は、マーキング判定部１０２が判定した複数のマーキングの位置及び形状（座標）をもとに、それぞれのマーキングが重畳された複数の文字列を抽出する（ステップＳ１０４）。具体的には、文字列抽出部１０３は、マーキング判定部１０２が判定した位置及び形状（座標）により定義されるマーキングが重畳された文字列を、エッジ検出により抽出する。なお、文字列抽出部１０３は、文字列に含まれる１文字１文字を抽出するのではなく、１つのマーキングが重畳された文字列全体を、１つの文字列として抽出する。

文字列識別部１１１は、文字列抽出部１０３が抽出した複数の文字列それぞれを識別する。具体的には、文字列識別部１１１は、文字列抽出部１０３が抽出した複数の文字列それぞれから、複数の文字を抽出する。「文字」は、文字列に含まれる１文字１文字（言語によっては、１語１語としてもよい。）であり、厳密には、その画像である。文字列識別部１１１は、ＯＣＲ用データベース１１２を参照し、抽出した複数の文字それぞれを識別する（ステップＳ１０５）。具体的には、ＯＣＲ用データベース１１２には、文字の画像パターンと文字コードとが対応付けられて１文字ずつ登録されている。文字列識別部１１１は、抽出した文字を示す画像パターンをＯＣＲ用データベース１１２から検索し、検索により得られた画像パターンが対応付けられた文字コードを取得する。文字列識別部１１１は、文字列に含まれる全ての文字について、文字コードを取得する。文字列識別部１１１は、文字列に含まれる全ての文字それぞれの文字コードを組み合わせることで、文字列を識別する（ステップＳ１０６）。文字列識別部１１１は、マーキングが重畳されている全ての文字列について、文字を抽出し、文字それぞれが示す文字コードを取得し、文字コードを組み合わせ、この組み合わせた文字コードにより文字列を識別する。

文字列比較部１１３は、文字列識別部１１１が識別した文字列同士を比較して同一の文字列を識別することにより、同一の文字列を識別する（ステップＳ１０７）。具体的には、文字列比較部１１３は、マーキングが重畳されている全ての文字列について、組み合わせた文字コード同士を比較することにより、同一の文字列を識別する。

符号決定部１０４は、文字列比較部１１３が識別した同一の文字列に同一の符号（数字、文字、記号等）を割り当て、異なる文字列に異なる符号を割り当てる（ステップＳ１０８）。

空欄作成部１０５は、それぞれマーキングが重畳された複数の文字列にそれぞれ重畳する空欄画像を作成する（ステップＳ１０９、図４参照）。具体的には、空欄作成部１０５は、文字列抽出部１０３がエッジ検出により抽出した文字列（ステップＳ１０４）と、この文字列からはみ出たマーキングの縁部分とを消し込むような形状及び位置（座標）の空欄画像を作成する。空欄画像は、単なるブランクでも良いし、予め決められたスタイル（下線、矩形枠、括弧等）を含んでも良い。図４に示す例では、空欄画像は下線を含んでいる。

画像合成部１０６は、画像読取部１２が読み取った原稿画像（ステップＳ１０１）と、空欄作成部１０５が作成した空欄画像（ステップＳ１０９）と、符号決定部１０４が割り当てた符号（ステップＳ１０８）の画像である符号画像とを合成した合成画像を作成する（ステップＳ１１０、図４参照）。具体的には、画像合成部１０６は、原稿画像の座標系に、形状及び位置が座標により定義される空欄画像を配置する。そして、画像合成部１０６は、原稿画像に配置された空欄画像の予め定められた位置（中央、左端等）に、予め定められたスタイル（フォント、サイズ等）の符号を配置することで、合成画像を作成する。図４に示す例では、原稿画像と、下線を含む空欄画像と、符号の画像とが合成されている。

画像形成部１６は、画像合成部１０６が作成した合成画像を、用紙に形成（プリントアウト）する（ステップＳ１１１）。

（２．第２の実施形態）
以下の説明において、第１の実施形態と同様の構成及び動作等については説明を省略し、異なる点を中心に説明する。

第１の実施形態で、同一文字列識別部１１０は、光学文字認識（ＯＣＲ）（ステップＳ１０５）により文字列を識別し（ステップＳ１０６）、同一の文字列を識別した（ステップＳ１０７）。これに対して、第２の実施形態では、同一文字列識別部は、光学文字認識（ＯＣＲ）とは別の方法で、同一の文字列を識別する。

（２−１．画像形成装置の機能的構成）
図５は、第２の実施形態に係る画像形成装置の機能的構成を示すブロック図である。

ＭＦＰ２は、情報処理プログラムを実行することで、マーキング抽出部１０１、マーキング判定部１０２、文字列抽出部１０３、文字列類似度判定部２０１、符号決定部１０４、空欄作成部１０５及び画像合成部１０６として機能する。ＭＦＰ２は、第１の実施形態の同一文字列識別部１１０として、文字列識別部１１１、ＯＣＲ用データベース１１２及び文字列比較部１１３の代わりに、文字列類似度判定部２０１を有する。その他は第１の実施形態のＭＦＰ１と同様である。

文字列類似度判定部２０１は、文字列抽出部１０３が抽出した複数の文字列同士の類似度を判定し、類似度が閾値以上の場合、複数の文字列が同一の文字列であると判定する。

（２−２．画像形成装置の動作）
図６は、画像形成装置の動作を示すフローチャートである。

ステップＳ１０１〜ステップＳ１０４は、第１の実施形態と同様である。

ステップＳ１０４の後、文字列類似度判定部２０１は、文字列抽出部１０３が抽出（ステップＳ１０４）した複数の文字列同士の類似度を判定し、類似度が閾値以上の場合、複数の文字列が同一の文字列であると判定する（ステップＳ２０１）。具体的には、文字列類似度判定部２０１は、文字列の画像パターン（画素）同士を比較し、画像パターンの重複度が閾値以上の場合、同一の文字列であると判定する。この閾値は、文字構成は同一だがフォントが異なる場合でも同一の文字列であると判定できるような値とすればよい。例えば、閾値は、９０％などであり、ユーザーが識別レベルとして任意に設定できてもよい。

ステップＳ２０１の後、ステップＳ１０８〜ステップＳ１１１は、第１の実施形態と同様である。

（３．変形例）
各実施形態では、画像読取部１２が原稿画像を読み取った（ステップＳ１０１）。これに替えて、ＭＦＰ１、２は、ネットワーク通信部１３を通じて、ネットワークに接続された情報処理装置（図示せず）から原稿画像を受信しても良い。

（４．まとめ）
元原稿を利用して穴埋め問題を作成する場合、１つの文章中に、解答となる文字列が何度も出現することがある。この場合、解答となる文字列が文章中に表示されたままだとヒントになってしまうため、解答となる同一の文字列は、全て空欄にする必要がある。即ち、同一の文字列を解答すべき空欄が複数存在することになる。しかし、同一の文字列を解答すべき複数の空欄に異なる符号を割り当てると、回答者が、異なる語句を回答すべきであると誤解するおそれがある。この事態を防ぐため、問題作成者が、同一の文字列を解答すべき複数の空欄に同一の符号を手作業で割り当てることは、手間となる。特に、空欄の総数が多い場合や、同一の文字列の組が複数組ある場合等には、問題作成者が手作業で符号を割り当てるとなると、誤った符号を割り当ててしまうおそれもある。

これに対して、各実施形態によれば、ＭＦＰ１は、同一の文字列に同一の符号を割り当て、異なる文字列に異なる符号を割り当てる（ステップＳ１０８）。これにより、同一の文字列を解答すべき複数の空欄に異なる符号を割り当てた故、回答者が、異なる語句を回答すべきであると誤解するおそれがなくなる。また、問題作成者が、同一の文字列を解答すべき複数の空欄に同一の符号を手作業で割り当てる手間がなくなり、また、誤った符号を割り当ててしまうおそれもなくなる。

第２の実施形態では、ＭＦＰ２は、複数の文字列同士の類似度を判定し、類似度が閾値以上の場合、複数の文字列が同一の文字列であると判定した（ステップＳ２０１）。すなわち、文字列に実際に含まれる文字は問題ではなく、文字列が同一であることさえ分かればよい。第２の実施形態では、第１の実施形態のＯＣＲと比べて処理量が少なく、また、データベースが不要である、という利点がある。

なお、各実施形態では、複数の文字を有する文字列がマーキングされた場合の処理を説明したが、１文字からなる文字列がマーキングされた場合も図３及び図６に準じて処理を行うことも可能である。この場合、図３に示すステップＳ１０６において、文字列識別部１１１は、文字列に含まれる全ての文字それぞれの文字コードを組み合わせる必要はなく、マーキングが重畳された１文字の文字コードにより文字を識別すればよい。加えて、図３に示すステップＳ１０７において、文字列識別部１１１は、マーキングが重畳されている全ての１文字について、文字コード同士を比較することにより、同一の１文字を識別すればよい。

１、２…ＭＦＰ
１２…画像読取部
１６…画像形成部
１０１…マーキング抽出部
１０２…マーキング判定部
１０３…文字列抽出部
１０４…符号決定部
１０５…空欄作成部
１０６…画像合成部
１１０…同一文字列識別部
１１１…文字列識別部
１１２…ＯＣＲ用データベース
１１３…文字列比較部
２０１…文字列類似度判定部

Claims (8)

1. 複数の文字列にそれぞれ重畳された複数のマーキングを含む原稿画像から、前記複数のマーキングを抽出するマーキング抽出部と、
   それぞれ前記マーキングが重畳された前記複数の文字列のうち、同一の文字列を識別する同一文字列識別部と、
   前記同一の文字列に同一の符号を割り当て、異なる文字列に異なる符号を割り当てる符号決定部と
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   それぞれ前記マーキングが重畳された前記複数の文字列にそれぞれ重畳する空欄画像を作成する空欄作成部と、
   前記原稿画像と、前記複数の空欄画像と、前記割り当てた符号の画像である符号画像とを合成した合成画像を作成する画像合成部と
   をさらに具備する情報処理装置。
3. 請求項１又は２に記載の情報処理装置であって、
   前記マーキング抽出部が抽出した前記複数のマーキングそれぞれの、前記原稿画像内での位置及び形状を判定するマーキング判定部と、
   前記複数のマーキングの前記判定した位置及び形状をもとに、それぞれの前記マーキングが重畳された前記複数の文字列を抽出する文字列抽出部とをさらに具備し、
   前記同一文字列識別部は、前記文字列抽出部が抽出した前記複数の文字列のうち、同一の文字列を識別する
   情報処理装置。
4. 請求項３に記載の情報処理装置であって、
   前記同一文字列識別部は、
   前記文字列抽出部が抽出した前記複数の文字列を識別する文字列識別部と、
   前記文字列識別部が識別した前記複数の文字列同士を比較して同一の文字列を識別することにより、同一の文字列を識別する文字列比較部と
   を有する
   情報処理装置。
5. 請求項４に記載の情報処理装置であって、
   前記文字列識別部は、
   前記文字列抽出部が抽出した前記複数の文字列それぞれから、複数の文字を抽出し、
   前記抽出した複数の文字それぞれを識別し、
   前記文字列に含まれる前記複数の文字を組み合わせることで、前記複数の文字列を識別する
   情報処理装置。
6. 請求項４又は５に記載の情報処理装置であって、
   前記文字列識別部は、光学文字認識（Optical Character Recognition）により、前記複数の文字列を識別する
   情報処理装置。
7. 請求項３に記載の情報処理装置であって、
   前記同一文字列識別部は、前記文字列抽出部が抽出した前記複数の文字列同士の類似度を判定し、類似度が閾値以上の場合、前記複数の文字列が同一の文字列であると判定する文字列類似度判定部を有する
   情報処理装置。
8. 情報処理装置を、
   複数の文字列にそれぞれ重畳された複数のマーキングを含む原稿画像から、前記複数のマーキングを抽出するマーキング抽出部と、
   それぞれ前記マーキングが重畳された前記複数の文字列のうち、同一の文字列を識別する同一文字列識別部と、
   前記同一の文字列に同一の符号を割り当て、異なる文字列に異なる符号を割り当てる符号決定部
   として機能させるプログラム。

Images