JP6368997B2 - 画像切り出し装置、および画像切り出しプログラム - Google Patents

Description

本発明は、画像切り出し装置、画像切り出しプログラム、画像処理用の部材群、および画像切り出し用セットに関する。

紙媒体である新聞記事および帳票等をデジタルカメラおよびスキャナ等を利用して電子化する際に、帳票等の画像の一部を切り出して保存、編集等を行いたいというニーズがある。

これに対し、特許文献１では、事前にインプットされたフォーマット情報に基づいて各種定型フォーマットの帳票の画像から所要の特定領域を切り出す技術が開示されている。

また、特許文献２では、予め切り出し領域をマークで定義したシートをインプットさせて、非定型文書の画像からマークした領域を切り出す技術が開示されている。

また、特許文献３では、フェルトペン等によって切り出し領域が直接マークされた帳票等の画像からマークした領域を切り出す技術が開示されている。

特開平６−３４８７３０号公報 特開平５−２８２４２４号公報 特許３１７９４５６

しかし、特許文献１で開示された技術には、切り出し領域の場所および形状が事前にインプットされるフォーマット情報に限定されて柔軟性に欠けるといった問題がある。

また、特許文献２で開示された技術には、切り出し領域をマークで定義したシートを別途事前に読み込ませる必要があり手間がかかるといった問題がある。

また、特許文献３で開示された技術には、帳票等に直接切り出し領域をマークするため、一度定義した切り出し領域を容易に変更できないという問題がある。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像の切り出し領域を柔軟に設定することが可能な、新規かつ改良された画像切り出し装置、画像切り出しプログラム、画像処理用の部材群、および画像切り出し用セットを提供することにある。

上記課題を解決するために、本発明のある観点によれば、画像上の順序付けられた複数のマーカー部材を検出する検出部と、前記検出部により検出された前記複数のマーカー部材の順序に基づいて前記複数のマーカー部材をつないでなる前記画像中の部分を切り出す画像切り出し部と、画像補正部と、さらに備え、前記検出部は、角柱である２つの補正用部材を検出し、前記画像補正部は、前記２つの補正用部材の長辺の長さの関係に基づいて、前記画像切り出し部が切り出した前記画像中の部分を台形補正する、画像切り出し装置が提供される。

前記画像切り出し部は、前記検出部により検出された前記複数のマーカー部材の順序の一定方向の順にマーカー部材をつないで、最先のマーカー部材と最後のマーカー部材とをつないでなる前記画像中の部分を切り出してもよい。

前記複数のマーカー部材は、異なる種類のマーカー部材を含み、前記検出部は、前記複数のマーカー部材の種類を検出し、前記画像切り出し部は、前記検出部により検出された前記複数のマーカー部材の種類に応じて異なる線種で、前記複数のマーカー部材の順序において隣り合う前記複数のマーカー部材をつないでなる前記画像中の部分を切り出してもよい。

前記検出部は、形状に基づいて前記複数のマーカー部材を検出してもよい。

前記検出部は、色に基づいて前記複数のマーカー部材を検出してもよい。

前記複数のマーカー部材には、前記順序を示す文字が形成されてもよい。

前記複数のマーカー部材には、前記順序を示すコードが形成されてもよい。

画像切り出し装置は、情報読取部および情報付与部をさらに備え、前記検出部は、前記画像上の付箋部材を検出し、前記情報読取部は、前記検出部が検出した付箋部材から付箋情報を読み取り、前記情報付与部は、前記情報読取部が読み取った前記付箋情報を前記画像切り出し部が切り出した前記画像中の部分に付与してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、画像上の順序付けられた複数のマーカー部材を検出する検出機能と、前記検出機能により検出された前記複数のマーカー部材の順序に基づいて前記複数のマーカー部材をつないでなる前記画像中の部分を切り出す画像切り出し機能と、画像補正機能と、をコンピュータに実現させるためのプログラムであり、前記検出機能は、角柱である２つの補正用部材を検出し、前記画像補正機能は、前記２つの補正用部材の長辺の長さの関係に基づいて、前記画像切り出し機能により切り出された前記画像中の部分を台形補正する、が提供される。

以上説明したように本発明によれば、画像の切り出し領域を柔軟に設定することが可能である。

本発明の画像切り出し用セットの概要および第１の実施形態による画像切り出し用セットの構成を示す説明図である。 本発明の第１の実施形態による画像切り出し装置の機能ブロック図である。 本発明の第１の実施形態による画像切り出し部の処理の例を示す図である。 本発明の第１の実施形態による画像切り出し装置の処理のフローチャートである。 本発明の第１の実施形態による画像切り出し部の処理のフローチャートである。 本発明の第１の実勢形態の第１の変形例によるアルファベットが上面に形成されたマーカー部材を示す図である。 本発明の第１の実勢形態の第１の変形例によるＱＲコード（登録商標）が上面に形成されたマーカー部材を示す図である。 本発明の第１の実勢形態の第１の変形例による異なる種類のマーカー部材の例を示す図である。 本発明の第１の実勢形態の第３の変形例による画像切り出し部の処理の例を示す図である。 本発明の第２の実施形態による画像切り出し用セットの構成を示す図である。 本発明の第２の実施形態による画像切り出し装置の機能ブロック図である。 本発明の第２の実施形態による画像切り出し装置の処理のフローチャートである。 本発明の第３の実施形態による画像切り出し用セットの構成を示す図である。 本発明の第３の実施形態による画像切り出し装置の機能ブロック図である。 本発明の第３の実施形態による画像切り出し装置の処理のフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜１．画像切り出し用セットの概要＞
図１は、本発明の実施形態による画像切り出し用セットの概要を示す説明図である。図１に示したように、画像切り出し用セットは、画像切り出し装置として用いられる撮像装置１００と、画像処理用の部材群として用いられる複数のマーカー部材２００−１〜２００−６とを備える。なお、以降の説明では、マーカー部材２００−１〜２００−６の各々を特に区別する必要が無い場合、マーカー部材２００−１〜２００−６を単にマーカー部材２００と総称する。

マーカー部材２００は、撮像装置１００による画像の切り出し領域の決定のために用いられる部材であり、例えば帳票２のような紙媒体上にユーザが所望する切り出し領域を囲むように載置される。撮像装置１００は、マーカー部材２００を含む撮像領域１０の画像が得られると、画像に含まれるマーカー部材２００に基づいて画像の切り出し領域を決定し、画像の切り出しを行う。

具体的に説明すると、複数のマーカー部材２００の各々は順序付けられており、撮像装置１００は、各マーカー部材２００の順序に基づいて複数のマーカー部材２００をつないでなる画像中の部分を切り出し領域として決定し、当該切り出し領域を切り出す処理を行う。なお、各マーカー部材２００の順序は、例えば図１に示したように各マーカー部材２００の表面に形成される数字（１〜６）により表現される。

そして、撮像装置１００によって切り出された画像は、撮像装置１００から外部表示装置等に出力されて表示される。例えば、撮像装置１００によって切り出された画像は、図１に示したように外部表示装置であるディスプレイ３に対して出力され、ディスプレイ３に表示される。

このように、本発明の実施形態による撮像装置１００は、ユーザがマーカー部材２００を用いて設定した切り出し領域をマーカー部材２００の載置位置に基づいて決定する。このため、ユーザは、マーカー部材２００の載置位置を調整することにより、画像の切り出し領域を柔軟かつ簡易に設定することが可能である。以下、このような本発明の第１〜第３の実施形態による撮像装置１００について順次詳細に説明する。なお、説明の便宜上、第１〜第３の実施形態による撮像装置１００の各々を、撮像装置１００−１、撮像装置１００−２および撮像装置１００−３のように、末尾に実施形態に対応する番号を付することにより区別する。また、図１では画像切り出し装置の一例として機能する撮像装置１００を示しているが、画像切り出し装置は、スキャナ、パソコンまたはスマートフォン等の情報処理装置であってもよい。

＜２．本発明の第１の実施形態＞
以上、本発明の実施形態による画像切り出し用セットの概要を説明した。次に、本発明の第１の実施形態に係る画像切り出し用セットについて説明する。本発明の第１の実施形態に係る画像切り出し用セットは、撮像装置１００−１および複数のマーカー部材２００を備える。

［２−１．マーカー部材の構成］
マーカー部材２００は、それぞれ同じ所定の形状で形成される。例えば、図１に示したようにマーカー部材２００−１〜２００−６は十字型の多角形を底面および上面とする角柱で形成され得るが、これに限定されず、その他の角柱、反角柱、または円柱等の形状であってもよい。

また、各マーカー部材２００には、複数のマーカー部材２００における順序を示す情報が形成される。例えば、マーカー部材２００−１〜２００−６の各々には、図１に示したように「１」〜「６」のうち異なる数字が上面に形成される。

なお、マーカー部材２００の材質は、特に限定されない。例えば、マーカー部材２００の材質は、磁石であってもよい。この場合、ユーザは、磁石であるマーカー部材２００を用いて磁性のあるホワイトボード等に帳票２を張り付けて撮像するなどして、撮像装置１００−１に画像切り出し処理を行わせてもよい。

［２−２．本発明の第１の実施形態による画像切り出し装置の構成］
次に、本発明の第１の実施形態による撮像装置１００−１の構成について、図２を参照して説明する。図２は、本発明の第１の実施形態による撮像装置１００−１の機能ブロック図である。

図２に示したように、撮像装置１００−１は、撮像部１０２、検出部１０４、記憶部１０６、認識部１０８、画像切り出し部１１０、出力部１１２、および表示部１１４を備える。検出部１０４、認識部１０８、および画像切り出し部１１０などの各機能構成は、撮像装置１００−１が備えるプロセッサなどハードウェアとソフトウェアとの協働により実現される。

撮像部１０２は、光を集光する撮影レンズおよびズームレンズなどの撮像光学系、およびＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの信号変換素子を備える。撮像光学系は、被写体から発せられる光を集光して信号変換部に被写体像を形成し、信号変換素子は、形成された被写体像を電気的な画像信号に変換する。なお、撮像部１０２に代えて、記憶部１０６に記憶されている画像を読み出す読出し部、または外部からの画像入力を受け付ける入力部が設けられてもよい。

検出部１０４は、撮像部１０２により得られた画像から所定の形状を有するマーカー部材２００を検出する。なお、マーカー部材２００の所定の形状を示す情報は、記憶部１０６に記憶されており、検出部１０４は記憶部１０６から当該情報を読み出して検出処理に利用する。

認識部１０８は、検出部１０４で検出されたマーカー部材２００に形成された順序を示す情報からマーカー部材２００の順序を認識する。例えば、図１で示したように、各マーカー部材２００の上面に数字が形成される場合は、数字を読み取ることでマーカー部材２００の順序を認識する。

画像切り出し部１１０は、検出部１０４で検出されたマーカー部材２００および認識部１０８で認識されたマーカー部材２００の順序に基づいて、複数のマーカー部材２００をつないでなる画像上の領域を切り出し領域として決定し、画像の切り出しを行う。具体的には、画像切り出し部１１０は、検出部１０４により検出された複数のマーカー部材２００の順序の一定方向の順にマーカー部材２００をつないで、最先のマーカー部材２００と最後のマーカー部材２００とをつないでなる画像中の部分を上記切り出し領域として画像から切り出す。画像切り出し部１１０の処理の流れについて、図３に示される例を参照してより詳細に説明する。

図３の左上図は、画像切り出し部１１０が処理する前の撮像部１０２により得られた画像である。

最初に、認識部１０８によって認識された数字のうち最大の数字が形成されたマーカー部材２００−６が始点として選択される。続いて、残りのマーカー部材２００の中で始点の数字の次に小さい数字のマーカー部材２００−５が終点として選択される。そして、始点と終点が直線でつながれる。この時点の処理イメージが、図３の右上図である。

次に、終点として選択されているマーカー部材２００−５が始点として選択され、残りのマーカー部材２００の中で始点の数字の次に小さい数字のマーカー部材２００−４が終点として選択される。そして、選択された始点と終点が直線でつながれる。このようにして、終点として選択される数字のマーカー部材２００が存在する場合は、上記処理が繰り返えされる。終点として選択される数字のマーカー部材２００が存在しなくなった時点の処理イメージが、図３の左下図である。

終点として選択される数字のマーカー部材２００が存在しなくなった場合、この時点で始点として選択されているマーカー部材２００−１と処理の最初で始点として選択した数字のうち最大であるマーカー部材２００−６が直線でつながれる。この時点の処理イメージが、図３の右下図である。

上記一連の処理で形成される直線で閉じられた領域が切り出し領域として決定され、画像から切り出し領域が切り出される。なお、画像切り出し部１１０は、上記の処理とは逆に数字の昇順に処理を行ってもよい。

ここで、図２を参照して撮像装置１００−１の説明に戻ると、出力部１１２は、画像切り出し部１１０によって切り出された画像を撮像装置１００−１の外部表示装置に出力する。例えば、外部表示装置はディスプレイ３等であり得る。なお、画像切り出し部１１０によって切り出された画像は、撮像装置１００−１が備える表示部１１４で表示されてもよいし、記憶部１０６に記憶されてもよい。

［２−３．第１の実施形態による画像切り出し処理の流れ］
次に、本発明の第１の実施形態による画像切り出し処理の流れについて、図４および図５のフローチャートを参照して説明する。図４は、本発明の第１の実施形態による撮像装置１００−１の画像切り出し処理のフローチャートである。

まず、撮像部１０２は、マーカー部材２００が載置された撮像領域を撮像する（ステップＳ５００）。例えば、図１に示したように、撮像部１０２は、帳票２等の紙媒体上にマーカー部材２００が載置された撮像領域１０を撮像する。なお、撮像部１０２が撮像することに代えて、入力部が記憶部１０６に記憶されている画像を読み出してもよく、入力部が外部からの画像入力を受け付けてもよい。

次に、検出部１０４は、撮像部１０２により得られた画像からマーカー部材２００を検出する（ステップＳ５１０）。具体的には、検出部１０４は、画像の上部から下部へ走査し、記憶部１０６に記憶されているマーカー部材２００の形状でパターンマッチングする等してマーカー部材２００を検出する。

次に、認識部１０８は、検出部１０４によって検出されたマーカー部材２００に形成される順序を示す情報から順序を認識する（ステップＳ５２０）。例えば、図１で示したように、各マーカー部材２００の上面に数字が形成される場合は、認識部１０８は、一般的な文字認識処理等を用いて、マーカー部材２００に形成される数字を読み取ることで順序を認識する。

最後に、画像切り出し部１１０は、検出部１０４によって検出されたマーカー部材２００および認識部１０８によって認識されたマーカー部材２００の順序に基づいて、切り出し領域を決定して画像を切り出す（ステップＳ５３０）。具体的には、画像切り出し部１１０は、検出部１０４により検出されたマーカー部材２００の順序の一定方向の順にマーカー部材をつないで、最先のマーカー部材と最後のマーカー部材とをつないでなる画像中の部分を切り出す。画像切り出し部１１０の画像切り出し処理については図５を参照してより詳細に説明する。

図５は、本発明の第１の実施形態による画像切り出し部１１０の処理のフローチャートである。ここでは、例として、マーカー部材２００に形成される順序の情報が数字である場合の画像切り出し部１１０の処理を説明する。

まず、認識部１０８によって読み取られた数字のうち最大の数字が形成されるマーカー部材２００が始点として選択される（ステップＳ５３１）。

次に、残りのマーカー部材２００の中で始点の数字の次に小さい数字のマーカー部材２００が存在するか否かが確認される（ステップＳ５３２）。該当するマーカー部材２００が存在する場合は、そのマーカー部材２００が終点として選択され（ステップＳ５３３）、始点と終点のマーカー部材２００が直線でつながれる（ステップＳ５３４）。なお、図１では、マーカー部材２００の中心点が直線でつながれているが、つながれる点は中心点に限定されない。例えば、つながれる点は、図１に示される十字型の多角形を底面および上面とする角柱のマーカー部材２００の上面または底面の中心に近い側の頂点であってもよく、中心から遠い側の頂点であってもよい。

そして、終点として選択されているマーカー部材２００が今度は始点として選択され（ステップＳ５３５）、ステップＳ５３２に戻る。ステップＳ５３２において、始点の次に小さい数字のマーカー部材２００が存在しなくなるまでステップＳ５３２〜Ｓ５３５が繰り返される。

ステップＳ５３２において、始点の次に小さい数字のマーカー部材２００が存在しなかった場合は、始点として選択されているマーカー部材２００とステップＳ５３１で最初に始点として選択されたマーカー部材２００が直線でつながれ、直線でつながれた領域が切り出し領域として決定される（ステップＳ５３６）。

最後に、ステップＳ５３６で決定された切り出し領域に基づいて、画像から切り出し領域が切り出される（ステップＳ５３７）。

なお、検出部１０４によってマーカー部材２００が検出されない場合、または検出部１０４によって１のマーカー部材２００しか検出されない場合は、画像切り出し処理は中断される。

このように、第１の実施形態によれば、画像切り出し装置は、マーカー部材２００の載置位置に基づいて画像の切り出し領域を決定する。このため、マーカー部材２００の載置位置を調整することにより、画像の切り出し領域を柔軟に設定することが可能となる。

［２−４．変形例］
（第１の変形例）
本実施形態では、マーカー部材に形成される順序を示す情報は数字に限定されず、任意の順序を持つ文字であってもよい。例えば、図６Ａに示したように、マーカー部材に形成される順序を示す情報はアルファベットであってもよい。

また、認識部１０８が認識するものであって、マーカー部材２００に形成される順序を示す情報はコードで形成されてもよい。ただし、マーカー部材２００の順序がユーザにも分かるように、コードの順序に対応した順序を示す文字がコードとともに形成される必要がある。

例えば、図６Ｂで示されるマーカー部材２０４のように、順序を示す数字と共に二次元コードが形成され、二次元コードが順序を示す情報を有してもよい。この場合、認識部１０８は、一般的な二次元コード解析処理を行うことにより、マーカー部材２０４の順序を示す情報を認識する。

なお、マーカー部材２０４に形成されているコードの順序に対応した順序を示す文字は、マーカー部材２０４の側面に形成されてもよい。これにより、マーカー部材２０４の上面等により大きなＱＲコード（登録商標）が形成され、認識部１０８によるＱＲコードの認識精度を向上させることが可能となる。

（第２の変形例）
本実施形態では、検出部１０４は、マーカー部材２００をマーカー部材２００に塗付された色に基づいて検出してもよい。

例えば、記憶部１０６にマーカー部材２００の色が予め記憶されており、検出部１０４は、記憶部１０６に記憶されている色と同じ色の領域を検出することでマーカー部材２００を検出してもよい。

また、記憶部１０６にマーカー部材２００の色の濃さが予め記憶されており、検出部１０４は、撮像部１０２によって撮像された画像を２値化し、記憶部１０６に記憶されている色の濃さと同じ濃さの領域を検出することでマーカー部材２００を検出してもよい。

（第３の変形例）
本実施形態では、ステップＳ５３４およびＳ５３６において、画像切り出し部１１０が切り出し領域を決定するために用いる線種は直線に限定されず、曲線、折れ線等の線種であってもよい。なお、複数の異なる種類のマーカー部材に対して、画像切り出し部１１０はそれぞれ線種を設定してもよい。

例えば、図６Ｃで示したように、マーカー部材２０２、２０４とは形状が異なるマーカー部材２０６が用いられる。このマーカー部材２０６には曲線が設定されている。ユーザがマーカー部材２０６を用いて切り出し領域を設定した場合は、画像切り出し部１１０は、各マーカー部材２０６を曲線でつないでなる領域を切り出し領域として決定してもよい。具体的には、図７の左図に示されるように、画像切り出し部１１０は、切り出し領域の外側に向かって膨らむ曲線でマーカー部材２０６の各々であるマーカー部材２０６−１〜２０６−６をつないでなる領域を切り出し領域として決定してもよい。

また、複数の異なる種類のマーカー部材が載置され、検出部１０４はマーカー部材の種類を検出し、画像切り出し部１１０は、検出されたマーカー部材の種類に応じて異なる線種で、複数の異なるマーカー部材の順序において隣り合う複数のマーカー部材をつないでなる画像中の部分を切り出し領域として決定し、切り出してもよい。

具体的には、画像切り出し部１１０は、検出部１０４が順序で隣り合うマーカー部材同士が同じ種類であると検出した場合に、順序で隣り合うマーカー部材同士を種類に割当てられた線種でつなぎ、検出部１０４が順序で隣り合うマーカー部材同士が異なる種類であると検出した場合に、順序で隣り合うマーカー部材同士を別途所定の線種でつないでもよい。なお、マーカー部材の種類の検出は、マーカー部材の形状または色等に基づいて行われてもよい。

例えば、図７の右図で示されるように、マーカー部材２００−１〜２００−４およびマーカー部材２０６−５〜２０６−６が載置される。なお、以降の説明では、マーカー部材２０６−５および２０６−６の各々を特に区別する必要が無い場合、マーカー部材２０６−５および２０６−６を単にマーカー部材２０６と総称する。また、予めマーカー部材２００には直線、マーカー部材２０６には曲線、所定の線種には直線でつなぐことが割当てられている。

検出部１０４は、マーカー部材２００およびマーカー部材２０６を種類別に検出し、画像切り出し部１１０は、その検出結果に基づいて画像切り出し処理を行う。例えば、始点としてマーカー部材２０６−６が選択され、終点としてマーカー部材２０６−５が選択された場合、始点と終点は曲線でつながれる。また、始点としてマーカー部材２０６−５が選択され、終点としてマーカー部材２００−４が選択された場合、始点と終点は直線でつながれる。また、始点としてマーカー部材２００−４が選択され、終点としてマーカー部材２００−３が選択された場合、始点と終点は直線でつながれる。

上記にようにして、画像切り出し部１１０は、複数の線種でマーカー部材をつないでなる領域を切り出し領域として決定し、切り出してもよい。これにより、多様な形状の切り出し領域の設定が可能となる。

（第４の変形例）
本実施形態では、２のマーカー部材が載置される場合、画像切り出し部１１０は図５に示されるフローチャートの処理と異なる処理を行ってもよい。具体的には、画像切り出し部１１０は、検出部１０４によって検出された２のマーカー部材を直線でつないだ線を対角線とする矩形状に切り出し領域を決定してもよい。また、検出部１０４によって検出された２のマーカー部材が、例えば棒のような長辺方向を有する形状である場合は、画像切り出し部１１０は、一方のマーカー部材の両端と他方のマーカー部材の対応する両端とを直線でつないでなる領域を切り出し領域として決定してもよい。これにより、２のマーカー部材が載置された場合であっても、画像切り出し部１１０で切り出し領域を決定でき、画像を切り出すことが可能となる。

＜３．本発明の第２の実施形態＞
［３−１．本発明の第２の実施形態による画像切り出し用セットの構成］

以上、本発明の第１の実施形態による画像切り出し用セットについて説明した。次に、本発明の第２の実施形態による画像切り出し用セットの構成について、図８を参照して説明する。図８は、本発明の第２の実施形態による画像切り出し用セットの構成および関連する構成を示す図である。なお、図８において第１の実施形態と同一の構成については詳細な説明を省略する。

第２の実施形態に係る画像切り出し用セットは、撮像装置１００−２およびマーカー部材２００に加え、複数の補正用部材３００を備える。検出部１０４、認識部１０８、画像切り出し部１１０および画像補正部１２０などの各機能構成は、撮像装置１００−２が備えるプロセッサなどハードウェアとソフトウェアとの協働により実現される。

［３−２．本発明の第２の実施形態による補正部材の構成］
補正用部材３００は、撮像装置１００−２が切り出す画像を台形補正するために用いられる部材であって、任意の形状で形成される。例えば、図８に示したように、補正用部材３００は角柱で形成され得るが、補正用部材３００の形状はこれに限定されず、角柱または反角柱等の形状であってよい。

また、補正用部材３００の材質は、特に限定されない。なお、補正用部材３００の材質は、マーカー部材２００と同じ材質であってもよい。
［３−３．本発明の第２の実施形態による画像切り出し装置の構成］

次に、本発明の第２の実施形態による撮像装置１００−２の構成について、図９を参照して説明する。図９は、本発明の第２の実施形態による撮像装置１００−２の機能ブロック図である。なお、図９において第１の実施形態と同一の構成については詳細な説明を省略する。

撮像装置１００−２は、撮像部１０２、検出部１０４、記憶部１０６、認識部１０８、画像切り出し部１１０、出力部１１２、および表示部１１４に加えて、画像補正部１２０を備える。

画像補正部１２０は、検出部１０４によって検出された複数の補正用部材３００の対応部位の長さの関係に基づいて、画像切り出し部１１０が切り出した画像中の部分を台形補正する。画像補正部によって補正された画像は、出力部１１２によって外部表示装置に出力される。なお、画像補正部によって補正された画像は、表示部１１４で表示されてもよく、記憶部１０６に記憶されてもよい。

［３−４．本発明の第２の実施形態による処理の流れ］
次に、本発明の第２の実施形態による画像切り出し処理の流れについて、図１０のフローチャートを参照して説明する。図１０は、本発明の第２の実施形態による撮像装置１００−２の画像切り出し処理のフローチャートである。なお、図１０において第１の実施形態と同一の構成については詳細な説明を省略する。

ステップＳ５００の処理後、検出部１０４は、ステップＳ５００で撮像部１０２により得られた画像からマーカー部材２００および補正用部材３００を検出する（ステップＳ６００）。検出方法は、第１の実施形態のステップＳ５１０のマーカー部材の検出方法と同様であるため、ここでは説明を省略する。

そして、ステップＳ５２０、Ｓ５３０を経て、画像補正部１２０は、画像切り出し部１１０によって切り出された画像に対して、検出部１０４によって検出された複数の補正用部材３００の対応部位の長さの関係に基づいて台形補正を行う（ステップＳ６１０）。

具体的には、画像補正部１２０は、検出部１０４によって検出された複数の補正用部材３００の長辺方向の部位の長さの比を算出し、切り出された画像上の複数の補正用部材３００のうち相対的に長辺方向の部位の長い補正用部材３００（以降、長い補正用部材）から相対的に長辺方向の部位の短い補正用部材３００（以降、短い補正用部材）へ向かう方向と直交する方向について、切り出された画像全体を、長い補正用部材からの距離および算出された長さの比に応じて延長するように一般的な台形補正処理を用いて台形補正する。

または、上記補正とは逆に、短い補正用部材から長い補正用部材へ向かう方向と直交する方向について、切り出された画像全体を、短い補正用部材からの距離および算出された長さの比に応じて縮小するように一般的な台形補正処理を用いて台形補正してもよい。

なお、検出部１０４によって補正用部材３００が検出されない場合、または１の補正用部材３００しか検出されない場合は、ステップＳ６１０の処理は実行されない。

このように、第２の実施形態によれば、画像補正部１２０が、載置された複数の補正用部材３００の対応部位の長さの関係に基づいて台形補正を行う。このため、補正基準位置および補正量等の補正方法をユーザが細かく指定することなく、切り出す画像の台形補正が可能となる。

なお、画像切り出し部１１０による画像切り出し処理の前に、画像補正部１２０が台形補正を行ってもよい。これにより、切り出し領域の外側に補正用部材３００を載置した場合でも、画像切り出し処理の前に台形補正が行われるため、切り出し領域の画像に台形補正を行うことが可能となる。

＜４．本発明の第３の実施形態＞
［４−１．本発明の第３の実施形態による画像切り出し用セットの構成］
以上、本発明の第２の実施形態による画像切り出し用セットについて説明した。次に、本発明の第３の実施形態による画像切り出し用セットの構成について、図１１を参照して説明する。図１１は、本発明の第３の実施形態による画像切り出し用セットの構成および関連する構成を示す図である。なお、図１１において第１の実施形態および第２の実施形態と同一の構成については詳細な説明を省略する。

第３の実施形態に係る画像切り出し用セット１は、撮像装置１００−３、マーカー部材２００および補正用部材３００に加え、複数の付箋部材４００を備える。検出部１０４、認識部１０８、画像切り出し部１１０、画像補正部１２０、情報読取部１３０および情報付与部１３２などの各機能構成は、撮像装置１００−２が備えるプロセッサなどハードウェアとソフトウェアとの協働により実現される。

［４−２．本発明の第３の実施形態による付箋部材の構成］
付箋部材４００は、切り出された画像にヘッダ情報を付与するために用いられる部材であって、付箋部材４００の表面にはヘッダ情報が文字で形成される。例えば、図１１に示したように、付箋部材４００には、ヘッダ情報として、日付情報、定型区分、およびタグ情報が形成され得る。また、ヘッダ情報は、例えば、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）処理を用いて読み取られるため、付箋部材４００にはＯＣＲ補正マークが形成され、ヘッダ情報は、ＯＣＲ補正マークによって定義されるＯＣＲ認識エリア内に形成される。

また、付箋部材４００は、任意の形状で形成される。例えば、図１１に示したように、付箋部材４００は矩形状に形成され得るが、付箋部材４００の形状はこれに限定されず、その他の多角形または円形等の形状であってよい。

また、付箋部材４００の材質は、特に限定されない。例えば、付箋部材４００の材質は、紙、磁石またはホワイトボード等であってよい。

［４−３．本発明の第３の実施形態による画像切り出し装置の構成］
次に、本発明の第３の実施形態による画像切り出し装置である撮像装置１００−３の構成について、図１２を参照して説明する。図１２は、本発明の第３の実施形態による撮像装置１００−３の機能ブロック図である。なお、図１２において第１の実施形態および第２の実施形態と同一の構成については詳細な説明を省略する。

撮像装置１００−３は、撮像部１０２、検出部１０４、記憶部１０６、認識部１０８、画像切り出し部１１０、出力部１１２、表示部１１４、および画像補正部１２０に加えて、情報読取部１３０および情報付与部１３２を備える。

情報読取部１３０は、付箋部材４００に形成されるヘッダ情報を検出部１０４によって検出された付箋部材４００に基づいて読み取る。具体的には、情報読取部１３０は、一般的なＯＣＲ処理を用いることにより、付箋部材４００に形成されるＯＣＲ補正マークに基づいて、ＯＣＲ補正マークの内側に形成されるヘッダ情報を読み取る。

情報付与部１３２は、画像切り出し部１１０によって切り出された画像に対し、情報読取部１３０によって読み取られたヘッダ情報をデータとして付与する。ヘッダが付与された画像は、出力部１１２によって外部表示装置に出力される。なお、ヘッダが付与された画像は、表示部１１４で表示されてもよく、記憶部１０６に記憶されてもよい。

［４−４．本発明の第３の実施形態による処理の流れ］
次に、本発明の第３の実施形態による画像切り出し処理の流れについて、図１３のフローチャートを参照して説明する。図１３は、本発明の第３の実施形態による撮像装置１００−３の画像切り出し処理のフローチャートである。なお、図１３において第１の実施形態および第２の実施形態と同一の構成については詳細な説明を省略する。

ステップＳ５００の処理後、検出部１０４は、ステップＳ５００で撮像部１０２により得られた画像からマーカー部材２００、補正用部材３００、および付箋部材４００を検出する（ステップＳ７００）。検出方法は、第１の実施形態のステップＳ５１０のマーカー部材の検出方法と同様であるため、ここでは説明を省略する。

そして、ステップＳ５２０、Ｓ５３０、Ｓ６００を経て、情報読取部１３０は、検出部１０４によって検出された付箋部材４００に形成されるヘッダ情報を読み取る（ステップＳ７１０）。

次に、情報付与部１３２は、画像補正部１２０によって台形補正された画像に対して、情報読取部１３０によって読み取られたヘッダ情報を付与する（ステップＳ７２０）。

なお、検出部１０４によって付箋部材４００が検出されない場合は、ステップＳ７１０およびＳ７２０の処理は実行されない。

このように、第３の実施形態によれば、情報読取部１３０が載置された付箋部材４００に形成されるヘッダ情報を読み取り、情報付与部１３２が読み取られたヘッダ情報を切り出され補正された画像に付与する。このため、切り出され補正された画像の検索および管理等が容易となる。

＜５．むすび＞
本発明の第１の実施形態によれば、画像の切り出し領域を柔軟に設定することが可能となる。また、第２の実施形態によれば、ユーザが補正方法を細かく指定することなく、切り出した画像を補正することが可能となる。また、第３の実施形態によれば、切り出した画像を管理しやすくすることが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的にまたは個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。

また、本発明の各実施形態による撮像装置１００に内蔵されるハードウェアを、上述した各実施形態による撮像装置１００の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、そのコンピュータプログラムを記憶させた記憶媒体も提供される。

１ 画像切り出し用セット
１００、１００−１、１００−２、１００−３ 撮像装置
１０４ 検出部
１１０ 画像切り出し部
１２０ 画像補正部
１３０ 情報読取部
１３３ 情報付与部
２００、２０２、２０４、２０６ マーカー部材
３００ 補正用部材
４００ 付箋部材

Claims (9)

1. 画像上の順序付けられた複数のマーカー部材を検出する検出部と、
   前記検出部により検出された前記複数のマーカー部材の順序に基づいて前記複数のマーカー部材をつないでなる前記画像中の部分を切り出す画像切り出し部と、
   画像補正部と、
   さらに備え、
   前記検出部は、角柱である２つの補正用部材を検出し、
   前記画像補正部は、前記２つの補正用部材の長辺の長さの関係に基づいて、前記画像切り出し部が切り出した前記画像中の部分を台形補正する、画像切り出し装置。
2. 前記画像切り出し部は、前記検出部により検出された前記複数のマーカー部材の順序の一定方向の順にマーカー部材をつないで、最先のマーカー部材と最後のマーカー部材とをつないでなる前記画像中の部分を切り出す、
   請求項１に記載の画像切り出し装置。
3. 前記複数のマーカー部材は、異なる種類のマーカー部材を含み、
   前記検出部は、前記複数のマーカー部材の種類を検出し、
   前記画像切り出し部は、前記検出部により検出された前記複数のマーカー部材の種類に応じて異なる線種で、前記複数のマーカー部材の順序において隣り合う前記複数のマーカー部材をつないでなる前記画像中の部分を切り出す、
   請求項１または２に記載の画像切り出し装置。
4. 前記検出部は、形状に基づいて前記複数のマーカー部材を検出する、
   請求項１〜３のいずれか１項に記載の画像切り出し装置。
5. 前記検出部は、色に基づいて前記複数のマーカー部材を検出する、
   請求項１〜３のいずれか１項に記載の画像切り出し装置。
6. 前記複数のマーカー部材には、前記順序を示す文字が形成される、
   請求項１〜５のいずれか１項に記載の画像切り出し装置。
7. 前記複数のマーカー部材には、前記順序を示すコードが形成される、
   請求項１〜５のいずれか１項に記載の画像切り出し装置。
8. 前記画像切り出し装置は、情報読取部および情報付与部をさらに備え、
   前記検出部は、前記画像上の付箋部材を検出し、
   前記情報読取部は、前記検出部が検出した付箋部材から付箋情報を読み取り、
   前記情報付与部は、前記情報読取部が読み取った前記付箋情報を前記画像切り出し部が切り出した前記画像中の部分に付与する、
   請求項１〜７のいずれか１項に記載の画像切り出し装置。
9. 画像上の順序付けられた複数のマーカー部材を検出する検出機能と、
   前記検出機能により検出された前記複数のマーカー部材の順序に基づいて前記複数のマーカー部材をつないでなる前記画像中の部分を切り出す画像切り出し機能と、
   画像補正機能と、
   をコンピュータに実現させるためのプログラムであり、
   前記検出機能は、角柱である２つの補正用部材を検出し、
   前記画像補正機能は、前記２つの補正用部材の長辺の長さの関係に基づいて、前記画像切り出し機能により切り出された前記画像中の部分を台形補正する、プログラム。
   

Images