JP6187366B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

従来、新聞、雑誌等の原稿を読み取って得られた画像データの中から特定領域（記事）の画像データを抽出して保存する画像処理装置がある。

この種の画像処理装置では、特定領域の画像データの抽出のために、特定領域のマーキングが必要である。すなわち、特定領域の画像データを取得するために、使用者は、原稿内の特定領域をペン（マーカ）等でマーキングした後、そのマーキングした原稿を画像処理装置に付随したスキャナに読み取らせる。画像処理装置では、読み取られた原稿の画像データの中からマーキングが検出され、マーキングから特定領域が特定されて、その特定領域の画像データが抽出される。

特開２００２−１５０３０６号公報

しかしながら、特定領域のマーキングを必要とするため、マーキング作業に手間がかかるという問題がある。しかも、原稿がマーキングにより汚れてしまう。

また、抽出された特定領域の画像データがそのまま保存されると、その画像データに係をディスプレイの画面上又はシートに出力したときに、画像が原稿上でのレイアウトのまま出力されるので、画像が読みづらい。特許文献１には、特定領域の画像データを長方形の領域内にレイアウトし、そのレイアウトした画像データを出力することが提案されている。しかしながら、新聞等の記事は段組されており、その段組を無視して、画像データが長方形の領域内にレイアウトされると、出力された画像が却って読みづらくなる場合がある。

本発明の目的は、特定の記事の画像データを抽出するためのマーキングを不要とすることができ、かつ、その抽出した画像データに係る画像を使用者が見やすいように、画像データを合成することができる、画像処理装置、画像処理方法およびプログラムを提供することである。

前記の目的を達成するため、本発明に係る画像処理装置は、画像データを取得する画像取得部と、出典原稿毎に、出典原稿の画像を所定の段組幅毎に区分する段組セパレータの情報と段組セパレータ間の前記段組幅とが対応づけて記憶される記憶部と、制御部とを備え、制御部は、前記段組セパレータの情報に基づいて段組セパレータを探索する段組セパレータ探索処理と、画像取得部で取得された画像データの中から、見出し画像と終了画像とを探索する探索処理と、探索処理で検出された見出し画像から終了画像まで、段組セパレータに沿った段組幅の段組領域毎に、画像データを抽出する抽出処理と、抽出処理によって段組領域毎に抽出された各画像データを合成する合成処理とを有する。

この構成によれば、画像データの中から、段組セパレータが探索され、記事の見出し画像及び終了画像が探索される。この探索により、見出し画像及び終了画像が検出されると、見出し画像から終了画像までの画像データが段組領域毎、つまり段組幅の方向に互いに隣り合う段組セパレータ間の領域毎に抽出される。そのため、記事の画像データを抽出するためのマーキングを不要とすることができる。

そして、段組領域毎に抽出された各画像データが合成される。そのため、段組を考慮して合成された画像データを得ることができる。その結果、合成された画像データに係る画像を使用者が見やすい画像にすることができる。

制御部は、更に、画像データの出典原稿及び見出しの情報の入力を要求する入力要求処理を有していてもよい。

この構成によれば、画像データの出典原稿及び見出しの情報が入力されることにより、見出し画像及び終了画像の検出が容易になり、使用者が所望する画像データを精度よく抽出することができる。

探索処理は、段組領域毎に、見出し画像を探索する見出し画像探索処理と、見出し画像探索処理によって検出された見出し画像が含まれる段組領域を、見出し画像から段組セパレータに沿った所定方向に、終了画像を探索し、終了画像が検出されない場合には、当該段組領域に対して所定方向と直交する方向に隣接する次の段組領域を探索対象として、所定方向に終了画像を探索し、終了画像を検出するまで、探索対象の移動及び終了画像の探索を実行する終了画像探索処理とを含んでいてもよい。

この構成によれば、段組領域毎に、見出し画像が探索される。見出し画像が検出されると、見出し画像が含まれる段組領域を、見出し画像から段組セパレータに沿った所定方向に、終了画像が探索される。当該段組領域に終了画像が検出されない場合、終了画像が検出されるまで、段組領域が次々と終了画像の検索対象とされる。これにより、見出し画像及び終了画像を効率よくかつ精度よく検出することができる。

制御部は、見出し画像探索処理において、段組セパレータから段組幅より短い幅の領域を探索することが好ましい。

この構成によれば、段組領域の全域で見出し画像が探索される構成と比較して、見出し画像が探索される領域が狭いので、見出し画像を短時間で検出することができる。

記憶部には、出典原稿毎に、出典原稿の画像を前記所定方向に区分する記事セパレータの情報が記憶され、抽出処理は、見出し画像が含まれる段組領域の画像データであって、見出し画像から見出し画像に対して所定方向の下流側に位置する記事セパレータまでの画像データを抽出する第１抽出処理と、見出し画像が含まれる段組領域以外の段組領域の画像データであって、所定方向の上流側の記事セパレータから下流側の記事セパレータ又は終了画像までの画像データを抽出する第２抽出処理とを含み、制御部は、合成処理において、第１抽出処理によって抽出された画像データと、第２抽出処理によって抽出された画像データとを、記事セパレータを境界として合成してもよい。

この構成によれば、見出し画像が含まれる段組領域における見出し画像から所定方向下流側の記事セパレータまでの画像データと、所定方向上流側の記事セパレータから所定方向下流側の記事セパレータ又は終了画像までの画像データとが抽出される。そして、その抽出された複数の画像データは、記事セパレータを境界として合成される。そのため、合成された画像データに係る画像を、使用者が見やすい１つの画像として得ることができる。

制御部は、合成処理において、第１抽出処理によって抽出された画像データと、第２抽出処理によって抽出された画像データとを、記事セパレータを境界として合成した場合に、合成された画像データに係る画像における所定の主走査方向の幅が規定幅を超える場合には、第１抽出処理によって抽出された画像データと、第２抽出処理によって抽出された画像データとを、所定方向の上流側の記事セパレータに揃えて合成してもよい。

この構成によれば、複数の画像データが記事セパレータを境界として合成された場合に、例えば、合成された画像データがプリンタ等の画像形成装置によりシートに出力される際に、画像形成装置の主走査方向において、出力画像の幅が画像形成装置で出力可能な規定幅を超える場合が想定される。この場合、複数の画像データが所定方向上流側の記事セパレータに揃えて合成されることにより、合成された画像データに係る画像を、使用者が見やすい１つの画像として得ることができる。

制御部は、終了画像探索処理において、画像取得部によって取得された画像データの中から終了画像を検出できなかった場合、画像取得部によって次に取得された画像データの中から前記終了画像を探索してもよい。

この構成によれば、終了画像が画像取得部によって次に取得された画像データに含まれていても、終了画像を検出することができる。その結果、使用者が所望する画像データが複数のページに跨がる場合であっても、異なるページの複数の画像データを１つの画像データに合成して得ることができる。

制御部は、更に、画像取得部によって取得された画像データに係る画像に含まれる文字の向きを検出し、当該文字の向きと出典原稿の向きとが一致するように、当該画像データに対して画像を回転させる処理を実行する回転処理を有し、探索処理において、回転処理後の画像データの中から、見出し画像と終了画像とを探索することが好ましい。

この構成によれば、画像取得部によって取得された画像データに係る画像に含まれる文字の向きが検出され、当該文字の向きと出典原稿の向きとが一致するように、画像データに対して画像を回転させる処理が行われる。そして、その回転処理後の画像データの中から見出し画像及び終了画像が探索されるので、見出し画像及び終了画像を精度よく検出することができる。その結果、使用者が所望する画像データを良好に抽出することができる。

なお、本発明は、画像処理装置の形態で実現することができるだけでなく、たとえば、画像処理方法および画像処理装置のコンピュータの機能を実現するためのプログラムの形態で実現することもできる。

本発明によれば、画像処理装置において、特定の記事の画像データを抽出するためのマーキングを不要とすることができ、かつ、その抽出した画像データに係る画像を使用者が見やすいように、画像データを合成することができる。

本発明の一実施形態に係るＭＦＰの左前上側から見た斜視図である。 ＭＦＰの電気的構成を示すブロック図である。 マーカテーブルの一例を示す図である。 出典情報テーブルの一例を示す図である。 記事抽出処理の流れを示すフローチャートである。 原稿画像の読み取り状態を示す概念図である。 読み取られた原稿画像の画像回転処理について説明するための概念図である。 見出しマーカ探索処理の流れを示すフローチャートである。 終了マーカ探索処理の流れを示すフローチャートである。 記事の一例を示す概念図である。 段組セパレータ及び見出しマーカの探索について説明するための概念図である。 終了マーカの探索について説明するための概念図である。 終了マーカが検出されなかった場合について説明するための概念図である。 前回のスキャンで終了マーカが検出されなかった場合における終了マーカの探索について説明するための概念図である。 抽出合成処理の流れを示すフローチャートである。 抽出合成処理の一例について説明するための概念図である。 抽出合成処理の他の例について説明するための概念図である。

以下では、本発明の実施の形態について、添付図面を参照しつつ詳細に説明する。

＜機械的構成＞

画像処理装置の一例としてのＭＦＰ（Multi-Function Peripheral）１は、図１に示されるように、プリンタ本体２、スキャナ本体３及びＡＤＦ（Auto Document Feeder）４を備えている。

なお、以下の説明では、平面上に載置したＭＦＰ１を操作パネル７（後述する）が設けられている側から見て規定した上下、左右及び前後の各方向を使用する。

プリンタ本体２内には、画像形成部１０（図２参照）が収容されている。画像形成部１０は、画像データに基づく印刷（カラー印刷又はモノクロ印刷）を実行し、シートに画像を形成する。画像形成の方式は、電子写真方式であってもよいし、インクジェット方式であってもよい。

スキャナ本体３の上面には、コンタクトガラス８が設けられている。また、スキャナ本体３内には、画像読取部２０（図２参照）が収容されている。画像読取部２０は、前後方向に延びるＣＩＳ（Contact Image Sensor）を備えている。画像取得部の一例としての画像読取部２０は、ＣＩＳ９（図５Ａ参照）が右側に移動して、コンタクトガラス８上に載置されたシートに形成されている画像をシートから読み取り、画像データとしてＲＡＭ７３に記憶させる。

プリンタ本体２の最下部には、給紙トレイ５が設けられている。給紙トレイ５は、複数枚のシートを積層状態で収容可能に構成されている。プリンタ本体２の上面には、排紙トレイ６が形成されている。給紙トレイ５に収容されているシートは、給紙トレイ５からプリンタ本体２内に１枚ずつ送り出され、プリンタ本体２内を排紙トレイ６に向けて搬送される。シートがプリンタ本体２内を搬送される間に、画像形成部１０によって、当該シートに画像が形成される。画像が形成されたシート（印刷物）は、排紙トレイ６に排出される。

スキャナ本体３は、プリンタ本体２の上方に配置され、ＡＤＦ４は、スキャナ本体３の上方に配置されている。

また、ＭＦＰ１は、操作パネル７を備えている。操作パネル７は、例えば、スキャナ本体３の前端部に配置されている。操作パネル７には、表示部３０及び操作部４０が設けられている。

表示部３０は、例えば、液晶表示器からなる。表示部３０には、各種の情報が表示される。

操作部４０は、各種の操作ボタンからなる。操作ボタンの押操作により、各種の入力が可能である。操作ボタンには、例えば、各種の指示（例えば、画像処理の開始指示）を確定するためのＯＫボタン、各種の指示をキャンセルするためのキャンセルボタン、表示部３０に表示されるキーを選択するための十字ボタン、数字や文字を入力するためのテンキーなどが含まれる。

＜電気的構成＞

ＭＦＰ１は、図２に示されるように、通信インターフェース（Ｉ／Ｆ）６０及び制御部７０を備えている。

受付部の一例としての通信インターフェース６０は、ＬＡＮ（Local Area Network）に接続されているＰＣ（パーソナルコンピュータ）などの外部装置との通信のためのインターフェースである。通信の方式は、無線通信方式であってもよいし、有線通信方式であってもよい。

制御部７０は、ＡＳＩＣ（Application Specific Integrated Circuit）７１、ＲＯＭ７２、ＲＡＭ７３及びＮＶＲＡＭ７４を備えている。

ＡＳＩＣ７１は、ＣＰＵ７５を内蔵している。ＡＳＩＣ７１には、操作部４０の操作による指示が入力される。また、ＡＳＩＣ７１には、外部装置から送信される印刷ジョブが通信インターフェース６０を介して入力される。図２には、外部装置の一例として、ＰＣ（Personal Computer）８０が示されている。ＣＰＵ７５は、ＡＳＩＣ７１に入力される情報に基づいて、各種の処理のためのプログラムを実行することにより、画像形成部１０及び表示部３０を制御し、通信インターフェース６０を介した通信を制御する。

なお、以下では、ＰＣ８０から送信される印刷ジョブがＭＦＰ１に受け付けられる場合を例にとる。

ＲＯＭ７２には、ＣＰＵ７５によって実行されるプログラム及び各種のデータなどが記憶されている。

ＲＡＭ７３及びＮＶＲＡＭ７４は、ＣＰＵ７５がプログラムを実行する際のワークエリアとして使用される。

＜マーカテーブル及び出典情報テーブル＞

記憶部の一例としてのＮＶＲＡＭ７４には、図３Ａに示されるマーカテーブル及び図３Ｂに示される出典情報テーブルが記憶されている。

マーカテーブルには、抽出する記事の名称、出典、見出しマーカ及び終了マーカが対応付けられて記憶されている。

名称は、記事を識別するためにつけられた名称である。

出典は、記事の出典を示す情報で、例えば、新聞名や雑誌名である。

見出しマーカは、記事の見出しを示すマーカで、例えば、記事において見出しを示す図柄や、記事において見出しに使用される名称である。

終了マーカは、記事の終了を示すマーカで、例えば、記事の終了を示す図柄や、記事の終了を示す文字列である。

図３Ａに示されるマーカテーブルには、１行目に、名称として「連載記事」、出典として「○○新聞」、見出しマーカとして見出し図柄、終了マーカとして終了図柄が対応づけられて記憶されている。また、２行目に、名称として「天気予報」、出典として「○△新聞」、見出しマーカとして「天気予報」、終了マーカが無いことが対応づけられて記憶されている。

出典情報テーブルには、抽出する記事の名称、出典、文字方向、段組幅、段組みセパレータ及び記事セパレータが対応付けられて記憶されている。

名称は、記事を識別するためにつけられた名称である。

出典は、記事の出典を示す情報で、例えば、新聞名や雑誌名である。

文字方向は、記事が縦書きであるか、横書きであるかを示す情報である。

段組幅は、記事の段組の幅を示す情報である。

段組セパレータは、同一記事内において段の間を示す図柄である。

記事セパレータは、記事と他の記事の間を示す図柄である。

図３Ｂに示される出典情報テーブルには、１行目に、名称として「連載記事」、出典として「○○新聞」、文字方向として「縦」、段組幅として「３ｃｍ」、段組セパレータとしてその記事における段組セパレータの図柄、記事セパレータとしてその記事における記事セパレータの図柄が対応づけられて記憶されている。また、２行目に、名称として「天気予報」、出典として「○△新聞」、文字方向として「縦」、段組幅として「２．５ｃｍ」、段組セパレータが無いこと、記事セパレータが無いことが対応づけられて記憶されている。

＜記事抽出処理＞

ＭＦＰ１の電源が投入されている間、ＡＳＩＣ７１のＣＰＵ７５は、図４に示される記事抽出処理を繰り返し実行する。

記事抽出処理では、ＣＰＵ７５は、抽出したい記事が記載されている原稿（出典原稿）のスキャン処理を実行する（Ｓ１）。スキャン処理の実行とは、ＣＰＵ７５により、画像読取部２０が制御され、画像読取部２０により、原稿の画像が読み取られ、その画像に基づく画像データがＮＶＲＡＭ７４に記憶されることをいう。図５Ａに示されるように、ＭＦＰ１のコンタクトガラス８の上に原稿が載置され、コンタクトガラス８と対向する原稿の面の画像が読み取られる。

出典原稿とは、例えば、新聞や雑誌などの記事である。

新聞の記事は、図８に示されるように、縦書きで、上下に段組されている。記事の上下の境界及び各段は、段組セパレータにより仕切られている。以下、段組セパレータ間の領域を「段組領域」という。記事の左右の境界は、記事セパレータにより仕切られている。また、各記事の先頭（当該記事の最上段の右端）には、見出し（見出しマーカ）があり、各記事の末尾（当該記事の最下段の左端）には、終了マーカがある場合が多い。

例えば、著名な新聞や雑誌の主要な記事については、その見出しマーカ及び終了マーカがマーカテーブルに予め登録され、文字方向、段組幅、段組セパレータ及び記事セパレータが出典情報テーブルに予め登録されている。以下、見出しマーカ、終了マーカ、文字方向、段組幅、段組セパレータ及び記事セパレータを「記事特定情報」という。

以下では、新聞記事を例にあげて処理の流れを説明する。

ＣＰＵ７５は、スキャンされた画像について、画像回転処理を実行する（Ｓ２）。原稿は、図５Ａに示されるように、ＣＩＳ９の長手方向である主走査方向と、ＣＩＳ９と直交しコンタクトガラス８の面に沿って延びる副走査方向とに対して、傾いて載置されることがある。画像回転処理は、図５Ｂに示されるように、読み取られた画像について文字の向きを認識し、例えば、文字の上側が副操作方向の上流側になるように画像を回転させる変換を画像データに対して行う。

次に、ＣＰＵ７５は、前回のスキャンにおいてに、終了マーカが検出されたか否かを判断する（Ｓ３）。

前回のスキャンにおいて終了マーカが検出された場合には（Ｓ３：ＹＥＳ）、今回のスキャンは、新たな記事の抽出を行うものである。

使用者は、現在、マーカテーブルに登録されていない新規の見出しマーカ及び終了マーカをマーカテーブルに登録させることができる。以下、見出しマーカ及び終了マーカを「マーカ情報」という。新規のマーカ情報のマーカテーブルへの登録は、ＭＦＰ１に通信インターフェース６０を介して接続されているＰＣ８０からマーカ情報並びにそのマーカ情報が使用されている記事の名称及び出典をＭＦＰ１に送信させることにより行う。

ＰＣ８０からＭＦＰ１に送信された新規のマーカ情報は、ＭＦＰ１のＲＡＭ７３に一旦、記憶される。その後、ＣＰＵ７５は、受信した新規のマーカ情報をＮＶＲＡＭ７４内のマーカテーブルに登録するか否かの選択画面を表示部３０に表示させ、新規のマーカ情報を登録する選択が操作部４０により入力されたか否かを判断する（Ｓ４）。

新規のマーカ情報を登録する選択が入力された場合には（Ｓ４：ＹＥＳ）、ＣＰＵ７５は、新規のマーカ情報の登録画面を表示部３０に表示させることにより、マーカ情報を操作部４０により入力させ、入力された情報を新規のマーカ情報としてマーカテーブルに登録する（Ｓ５）。

新規のマーカ情報を登録しない選択が入力された場合（Ｓ４：ＮＯ）、又は、新規のマーカ情報の登録処理が実行された後（Ｓ５）、ＣＰＵ７５は、記事選択情報の入力要求を表示部３０に表示させ（Ｓ６）、操作部４０による記事選択情報の入力が完了するまで（Ｓ７：ＮＯ）、記事選択情報を入力させる（Ｓ７）。記事選択情報は、例えば、記事の名称及び出典である。記事選択情報の入力要求の表示では、例えば、抽出したい記事の名称及び出典の入力を要求する画像を表示部３０に表示させて、その記事の名称及び出典を操作部４０によって入力させる。これにより、これから抽出対象記事の抽出に使用する記事特定情報をマーカテーブル及び出典情報テーブルから取得することができる。

一方、前回のスキャンにおいて終了マーカが検出されなかった場合には（Ｓ３：ＮＯ）、ＣＰＵ７５は、前回のスキャンにおいて抽出された画像データを今回のスキャンで抽出する画像データに連結するか否かの選択画面を表示部３０に表示させ、連結する選択が操作部４０により入力されたか否かを判断する（Ｓ８）。

連結しない選択が入力された場合には（Ｓ８：ＮＯ）、新たな記事の抽出を開始するということなので、ＣＰＵ７５は、前回のスキャンにおいて終了マーカが検出された場合（ＳＳ３：ＹＥＳ）と同様に、新規のマーカ情報を登録するか否かの選択画面を表示部３０に表示させ、新規のマーカ情報を登録する選択が操作部４０により入力されたか否かを判断する（Ｓ４）。

連結する選択が入力された場合には（Ｓ８：ＹＥＳ）、前回のスキャンにおいて抽出された記事の続きを抽出するということである。よって、ＣＰＵ７５は、ステップＳ４〜Ｓ７の処理を行わず（Ｓ４〜７のスキップ）、見出しマーカ探索処理を実行する（Ｓ９）。

一方、記事識別情報の入力が完了した場合も（Ｓ７：ＹＥＳ）、ＣＰＵ７５は、見出しマーカ探索処理を実行する（Ｓ９）。見出しマーカ探索処理は、読み取られた画像データについて、記事抽出の開始位置を検出する処理である。見出しマーカ探索処理の詳細については、後述する。

そして、ＣＰＵ７５は、終了マーカ探索処理を実行する（Ｓ１０）。終了マーカ探索処理は、読み取られた画像データについて、記事抽出の終了画像を検出し、開始位置から終了画像の位置までの間に存在する各段組領域を段組領域毎に画像データとして抽出し、ＲＡＭ７３に記憶する処理である。終了マーカ探索処理の詳細については、後述する。

次に、ＣＰＵ７５は、原稿の次のページに対するスキャンがあるか否かの選択画面を表示部３０に表示させ、次のページに対するスキャンがある旨の選択が操作部４０により入力されたか否かを判断する（Ｓ１１）。

次のページに対するスキャンがある場合には（Ｓ１１：ＹＥＳ）、ステップＳ１の処理に戻り、ＣＰＵ７５は、次のページに対してスキャン処理を実行する（Ｓ１）。

次ページに対するスキャンがない場合には（Ｓ１１：ＮＯ）、ＣＰＵ７５は、抽出合成処理を実行し（Ｓ１２）、記事抽出処理を終了する。抽出合成処理は、これまでに抽出された段組領域毎の記事の画像データを合成して、１つの画像データ内に記事を連結する処理である。抽出合成処理の詳細については、後述する。

＜見出しマーカ探索処理＞

図４のステップＳ９で実行される見出しマーカ探索処理の流れは、図６に示されている。

見出しマーカ探索処理では、ＣＰＵ７５は、仮見出しマーカがＲＡＭ７３に記憶されているか否かを判断する（Ｓ９０１）。仮見出しマーカは、前回の終了マーカの探索において終了マーカが検出されなかった場合に、最後の探索領域を仮見出しマーカとしてＲＡＭ７３に記憶させたものである。

仮見出しマーカがＲＡＭ７３に記憶されていない場合には（Ｓ９０１：ＮＯ）、新たな記事に対する見出しマーカの探索を行う。そのため、ＣＰＵ７５は、図４のステップＳ７で入力された名称及び出典に対応付けられた記事特定情報（見出しマーカ、終了マーカ、文字方向、段組幅、段組セパレータ及び記事セパレータ）をマーカテーブル及び出典情報テーブルから取得する（Ｓ９０２）。

そして、ＣＰＵ７５は、段組セパレータの探索を開始し（Ｓ９０３）、段組セパレータが検出されるまで（Ｓ９０４：ＮＯ）、段組セパレータを探索する（Ｓ９０４）。

段組セパレータの探索では、図９Ａに示されるように、例えば、原稿の記事領域内の右端を上端から下側に移動しながら、所定サイズ、例えば、５ｍｍ角の画像を所定間隔、例えば、５ｍｍ間隔毎に抽出し、抽出した画像の一部が抽出対象記事の段組セパレータ（出典情報テーブルから取得した段組セパレータ）の画像の一部と一致するか否かを判断し、一致した場合に段組セパレータを検出したとする。記事領域は、原稿の上端、下端、左端及び右端にマージン（白紙部分）がある場合に、マージンを除いた領域である。

段組セパレータが検出された場合には（Ｓ９０４：ＹＥＳ）、ＣＰＵ７５は、見出しマーカを探索し（Ｓ９０５）、見出しマーカを検出したか否かを判断する（Ｓ９０６）。

見出しマーカの探索は、図９Ａに示されるように、まず、検出された段組セパレータの下側の段組領域における右上端部に探索点をおき、その探索点の画像を抽出する。探索点は、例えば、所定幅（例えば、３ｍｍ）で、段組セパレータと、この段組セパレータから下側に所定距離（例えば、抽出対象記事の段組幅の３分の１の距離）との間の領域を有する。そして、抽出した画像の一部が抽出対象記事の見出しマーカの画像の一部と一致するか否かを判断し、一致した場合に見出しマーカを検出したとする。

見出しマーカを検出した場合には（Ｓ９０６：ＹＥＳ）、ＣＰＵ７５は、検出した見出しマーカの原稿画像上の位置をＲＡＭ７３に記憶して（Ｓ９０７）、見出しマーカ探索処理を終了する。

見出しマーカを検出していない場合には（Ｓ９０６：ＮＯ）、ＣＰＵ７５は、原稿画像上における見出しマーカの探索点を所定距離、例えば、５ｍｍ左側に移動させて、その位置の画像データを取得する（Ｓ９０８）。

そして、ＣＰＵ７５は、記事セパレータであるか否か、及び、探索点が記事領域の左端であるか否か判断する（Ｓ９０９）

探索点が記事セパレータであるか否かは、例えば、抽出した画像の一部が抽出対象記事の記事セパレータの画像の一部と一致するか否かにより判断する。探索点が記事領域の左端であるか否かは、例えば、記事領域のサイズと探索点の位置から判断する。

探索点が記事セパレータであるか、又は、記事領域の左端である場合には（Ｓ９０９：ＹＥＳ）、ＣＰＵ７５は、次（下側）の段組領域の右端に探索点を移動させ（Ｓ９１０）、ステップＳ９０５に戻り、その段組領域について、見出しマーカの検索を再び実行する（Ｓ９０５）。

探索点が記事セパレータでなく、かつ、記事領域の左端でもない場合には（Ｓ９０９：ＮＯ）、ＣＰＵ７５は、移動された探索点の領域の画像と抽出対象記事の見出しマーカの画像との比較を行う（Ｓ９０５）。

一方、仮見出しマーカがＲＡＭ７３に記憶されている場合には（Ｓ９０１：ＹＥＳ）、前回のスキャンにおいて、記事の途中で画像の抽出が終了しているので、記事領域の最上段の段組領域の右端を見出しマーカの位置として、ＲＡＭ７３に記憶させて（Ｓ９１１）、ＣＰＵ７５は、見出しマーカ探索処理を終了する。

＜終了マーカ探索処理＞

図４のステップＳ１０で実行される終了マーカ探索処理の流れは、図７に示されている。

終了マーカ探索処理では、図６のステップＳ９０７の処理、又は、ステップＳ９１１の処理でＲＡＭ７３に記憶された見出しマーカの位置を探索開始点に設定する（Ｓ１００１）。

そして、ＣＰＵ７５は、終了マーカを探索し（Ｓ１００２）、終了マーカを検出したか否かを判断する（Ｓ１００３）。

終了マーカの探索では、図９Ｂに示されるように、まず、探索開始点における探索領域（例えば、幅１０ｍｍで上下の段組セパレータ間の領域）の画像を抽出する。そして、抽出した画像の一部が抽出対象記事の終了マーカの画像の一部と一致するか否かを判断し、一致した場合に終了マーカを検出したとする。

終了マーカが検出されていない場合には（Ｓ１００３：ＮＯ）、ＣＰＵ７５は、探索領域を所定距離、例えば１５ｍｍ左側に移動させる（Ｓ１００４）。

そして、ＣＰＵ７５は、探索領域が記事セパレータであるか、又は、記事領域の左端であるか判断する（Ｓ１００５）

探索領域が記事セパレータであるか否かは、探索領域の画像の一部が抽出対象記事の記事セパレータの画像の一部と一致するか否かにより判断する。探索領域が記事領域の左端であるか否かは、記事領域のサイズと探索領域の位置から判断する。

探索領域が記事領域の左端である場合には（Ｓ１００５：ＹＥＳ）、ＣＰＵ７５は、探索開始点から記事領域の左端までの現在の段組領域の画像データをＲＡＭ７３に記憶させ（Ｓ１００６）、探索領域が記事セパレータである場合には（Ｓ１００５：ＹＥＳ）、ＣＰＵ７５は、探索開始点から記事セパレータまでの現在の段組領域の画像データをＲＡＭ７３に記憶させる（Ｓ１００６）。

そして、ＣＰＵ７５は、探索領域を次（下側）の段組領域に移動させることが可能か否かを判断する（Ｓ１００７）。

探索領域を次の段組領域に移動させることができない場合には、図１０Ａに示されるように、例えば、現在のページに次の段組領域がない場合である。

探索領域を次の段組領域に移動させることが可能である場合には（Ｓ１００７：ＹＥＳ）、ＣＰＵ７５は、探索領域を次の段組領域の右端に移動させて（Ｓ１００８）、ステップＳ１００２の処理に戻り、終了マーカの探索を行う（Ｓ１００２）。

探索領域を次の段組領域に移動させることが可能でない場合は（Ｓ１００７：ＮＯ）、図１０Ａに示されるように、現在のページの探索が終了したということであるので、現在（現在のページにおける最後）の探索領域を仮見出しマーカとしてＲＡＭ７３に記憶させ（Ｓ１００９）、図１０Ｂに示されるように、図６のステップＳ９１１の処理により、次のページの右端を探索開始点として、再び、終了マーカ探索処理を実行する。

一方、終了マーカが検出された場合には（Ｓ１００３：ＹＥＳ）、ＣＰＵ７５は、探索開始点から終了マーカまでの現在の段組領域の画像データをＲＡＭ７３に記憶させ（Ｓ１０１０）、終了マーカ探索処理を終了する。

＜抽出合成処理＞

図４のステップＳ１１で実行される抽出合成処理の流れは、図１１に示されている。

抽出合成処理では、ＣＰＵ７５は、この記事についてＲＡＭ７３に記憶されている画像データの中に、見出しマーカから記事セパレータまでの画像データがあるか否かを判断する（Ｓ１１０１）。

見出しマーカから記事セパレータまでの画像がない場合には（Ｓ１１０１：ＮＯ）、１段の段組領域だけで記事が完結しているということなので、ＲＡＭ７３に記憶されている画像データを抽出対象記事として決定する。このとき、例えば、この画像データについてシートに画像形成を行ってもよい。

見出しマーカから記事セパレータまでの画像がある場合には（Ｓ１１０１：ＹＥＳ）、ＣＰＵ７５は、この記事についてＲＡＭ７３に記憶されている複数の画像データのうち、探索開始点から記事セパレータまでの画像データを抽出する（Ｓ１１０２）。探索開始点から記事セパレータまでの画像データとは、見出しマーカから記事セパレータまでの画像データや記事セパレータから記事セパレータまでの画像データなど終了マーカを含まない画像データである。

次に、ＣＰＵ７５は、この記事についてＲＡＭ７３に記憶されている複数が画像データのうち、探索開始点から終了マーカまでの画像データを抽出する（Ｓ１１０３）。探索開始点から終了マーカまでの画像データとは、記事セパレータから終了マーカまでの画像データのように、見出しマーカを含まず終了マーカを含む画像データである。

そして、ＣＰＵ７５は、図１２Ａに示されるように、この記事についてＲＡＭ７３から抽出された画像データをＲＡＭ７３に記憶された順に、画像データにおける記事の左側の記事セパレータの位置と、次の画像データにおける記事の右側の記事セパレータの位置とを合わせるように画像データを合成する（Ｓ１１０４）。

このとき、例えば、合成された画像データがＭＦＰ１によりシートに出力される際に、ＭＦＰ１の主走査方向において、出力画像の幅がＭＦＰ１で出力可能な規定幅を超える場合には、図１２Ｂに示されるように、各画像データを記事の右側の記事セパレータに揃えて合成する。

そして、ＣＰＵ７５は、合成した画像データを抽出対象記事としてＲＡＭ７３に保存する（Ｓ１１０５）。このとき、例えば、この画像データについてシートに画像形成を行ってもよい。

＜作用効果＞

以上のように、画像データの中から、記事の見出しマーカ及び終了マーカが探索される。この探索により、見出しマーカ及び終了マーカが検出されると、見出しマーカから終了マーカまでの画像データが段組領域毎、つまり段組幅の方向に互いに隣り合う段組セパレータ間の領域毎に抽出される。そのため、記事の画像データを抽出するためのマーキングを不要とすることができる。

そして、段組領域毎に抽出された各画像データが合成される。そのため、段組を考慮して合成された画像データを得ることができる。その結果、合成された画像データに係る画像を使用者が見やすい画像にすることができる。

ＣＰＵ７５は、抽出対象記事の記事特定情報及びマーカ情報を特定する記事選択情報の入力を要求する。

記事選択情報が入力されることにより、抽出対象記事の記事特定情報及びマーカ情報が特定され、見出し画像及び終了画像の検出が容易になり、使用者が所望する画像データを精度よく抽出することができる。

ＣＰＵ７５は、段組領域毎に、見出しマーカを探索する。また、検出された見出しマーカが含まれる段組領域を、見出しマーカから段組セパレータに沿った文の流れの方向に、終了マーカを探索し、終了マーカが検出されない場合には、当該段組領域に隣接する次の段組領域を探索対象として、文の流れの方向に終了マーカを探索し、終了マーカを検出するまで、探索対象の移動及び終了マーカの探索を実行する。

これにより、段組領域毎に、見出しマーカが探索される。見出しマーカが検出されると、見出しマーカが含まれる段組領域を、見出しマーカから段組セパレータに沿った文の流れの方向に、終了マーカが探索される。当該段組領域に終了マーカが検出されない場合、終了マーカが検出されるまで、段組領域が次々と終了マーカの検索対象とされる。これにより、見出しマーカ及び終了マーカを効率よくかつ精度よく検出することができる。

ＣＰＵ７５は、段組セパレータから段組幅より短い幅の領域を探索する。

これにより、段組領域の全域で見出しマーカが探索される構成と比較して、見出しマーカが探索される領域が狭いので、見出しマーカを短時間で検出することができる。

ＮＶＲＡＭ７４には、出典情報テーブルとして、出典原稿毎に、出典原稿の画像を分の流れの方向に区分する記事セパレータの情報が記憶されている。ＣＰＵ７５は、見出しマーカが含まれる段組領域の画像データであって、見出しマーカから見出しマーカに対して文の下流側に位置する記事セパレータまでの画像データを抽出し、見出しマーカが含まれる段組領域以外の段組領域の画像データであって、文の上流側の記事セパレータから下流側の記事セパレータ又は終了マーカまでの画像データを抽出する。そして、ＣＰＵ７５は、抽出された画像データが複数ある場合には、抽出された複数の画像データを、記事セパレータを境界として合成する。

これにより、見出しマーカが含まれる段組領域における見出しマーカから文の下流側の記事セパレータまでの画像データと、文の上流側の記事セパレータから文の下流側の記事セパレータ又は終了マーカまでの画像データとが抽出される。そして、その抽出された複数の画像データは、記事セパレータを境界として合成される。そのため、合成された画像データに係る画像を、使用者が見やすい１つの画像として得ることができる。

ＣＰＵ７５は、抽出された複数の画像データを、記事セパレータを境界として合成した場合に、合成された画像データに係る画像における文の流れの方向の幅が規定幅を超える場合には、抽出された複数の画像データを、文の上流側の記事セパレータに揃えて合成する。

これにより、複数の画像データが記事セパレータを境界として合成された場合に、例えば、合成された画像データがＭＦＰ１によりシートに出力される際に、ＭＦＰ１の主走査方向において、出力画像の幅がＭＦＰ１で出力可能な規定幅を超える場合が想定される。この場合、複数の画像データが文の上流側の記事セパレータに揃えて合成されることにより、合成された画像データに係る画像を、使用者が見やすい１つの画像として得ることができる。

ＣＰＵ７５は、スキャンされた画像データの中から終了マーカを検出できなかった場合、次回スキャンされた画像データの中から終了マーカを探索する。

これにより、終了マーカが次回スキャンされた画像データに含まれていても、終了マーカを検出することができる。その結果、使用者が所望する画像データが複数のページに跨がる場合であっても、異なるページの複数の画像データを１つの画像データに合成して得ることができる。

ＣＰＵ７５は、スキャンされた画像データに係る画像に含まれる文字の向きを検出し、当該文字の向きと出典原稿の向きとが一致するように、当該画像データに対して画像を回転させる処理を実行する。そして、回転処理後の画像データの中から、見出しマーカと終了マーカとを探索する。

これにより、スキャンされた画像データに係る画像に含まれる文字の向きが検出され、当該文字の向きと出典原稿の向きとが一致するように、画像データに対して画像を回転させる処理が行われる。そして、その回転処理後の画像データの中から見出しマーカ及び終了マーカが探索されるので、見出しマーカ及び終了マーカを精度よく検出することができる。その結果、使用者が所望する画像データを良好に抽出することができる。

＜変形例＞

以上、本発明の実施形態について説明したが、本発明は、他の形態で実施することもできる。

例えば、前述の実施形態においては、縦書きの新聞記事を出典原稿の例として説明したが、出典原稿は、横書きの記事であってもよい。横書きの記事の場合には、原稿の横方向に段組されているので、段組セパレータの探索は、再右段の段組領域の上端から左側に向かって行う。この場合、次の段組領域とは、現在の段組領域の左側の段組領域を意味する。

その他、前述の構成には、特許請求の範囲に記載された事項の範囲で種々の設計変更を施すことが可能である。

１ ＭＦＰ
２０ 画像読取部
７０ 制御部
７４ ＮＶＲＡＭ

Claims (10)

1. 画像データを取得する画像取得部と、
   出典原稿毎に、出典原稿の画像を所定の段組幅毎に区分する段組セパレータの情報と段組セパレータ間の前記段組幅とが対応づけて記憶される記憶部と、
   制御部と、
   を備え、
   前記制御部は、
   前記段組セパレータの情報に基づいて前記段組セパレータを探索する段組セパレータ探索処理と、
   前記画像取得部で取得された画像データの中から、見出し画像と終了画像とを探索する探索処理と、
   前記探索処理で検出された前記見出し画像から前記終了画像まで、前記段組セパレータに沿った前記段組幅の段組領域毎に、画像データを抽出する抽出処理と、
   前記抽出処理によって段組領域毎に抽出された各画像データを合成する合成処理と
   を有する、画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記制御部は、
   更に、
   前記画像データの出典原稿及び見出しの情報の入力を要求する入力要求処理、
   を有する、画像処理装置。
3. 請求項１又は２に記載の画像処理装置であって、
   前記探索処理は、
   前記段組領域毎に、前記見出し画像を探索する見出し画像探索処理と、
   前記見出し画像探索処理によって検出された前記見出し画像が含まれる前記段組領域を、前記見出し画像から段組セパレータに沿った所定方向に、前記終了画像を探索し、前記終了画像が検出されない場合には、当該段組領域に対して前記所定方向と直交する方向に隣接する次の段組領域を探索対象として、前記所定方向に前記終了画像を探索し、前記終了画像を検出するまで、探索対象の移動及び前記終了画像の探索を実行する終了画像探索処理と、
   を含む、画像処理装置。
4. 請求項３に記載の画像処理装置であって、
   前記制御部は、
   前記見出し画像探索処理において、段組セパレータから前記段組幅より短い幅の領域を探索する、
   画像処理装置。
5. 請求項３又は４に記載の画像処理装置であって、
   前記記憶部には、出典原稿毎に、出典原稿の画像を前記所定方向に区分する記事セパレータの情報が記憶され、
   前記抽出処理は、
   前記見出し画像が含まれる前記段組領域の画像データであって、前記見出し画像から前記見出し画像に対して前記所定方向の下流側に位置する記事セパレータまでの画像データを抽出する第１抽出処理と、
   前記見出し画像が含まれる段組領域以外の段組領域の画像データであって、前記所定方向の上流側の記事セパレータから下流側の記事セパレータ又は前記終了画像までの画像データを抽出する第２抽出処理と、
   を含み、
   前記制御部は、
   前記合成処理において、前記第１抽出処理によって抽出された画像データと、前記第２抽出処理によって抽出された画像データとを、記事セパレータを境界として合成する、
   画像処理装置。
6. 請求項５に記載の画像処理装置であって、
   前記制御部は、
   前記合成処理において、前記第１抽出処理によって抽出された画像データと、前記第２抽出処理によって抽出された画像データとを、記事セパレータを境界として合成した場合に、合成された画像データに係る画像における所定の主走査方向の幅が規定幅を超える場合には、第１抽出処理によって抽出された画像データと、前記第２抽出処理によって抽出された画像データとを、前記所定方向の上流側の記事セパレータに揃えて合成する、
   画像処理装置。
7. 請求項３から６のいずれか１項に記載の画像処理装置であって、
   前記制御部は、
   前記終了画像探索処理において、前記画像取得部によって取得された画像データの中から前記終了画像を検出できなかった場合、前記画像取得部によって次に取得された画像データの中から前記終了画像を探索する、
   画像処理装置。
8. 請求項１から７のいずれか１項に記載の画像処理装置であって、
   前記制御部は、
   更に、
   前記画像取得部によって取得された画像データに係る画像に含まれる文字の向きを検出し、当該文字の向きと出典原稿の向きとが一致するように、当該画像データに対して画像を回転させる処理を実行する回転処理
   を有し、
   前記探索処理において、前記回転処理後の画像データの中から、前記見出し画像と前記終了画像とを探索する、
   画像処理装置。
9. 画像データを取得する画像取得部と、出典原稿毎に、出典原稿の画像を所定の段組幅毎に区分する段組セパレータの情報と段組セパレータ間の前記段組幅とが対応づけて記憶される記憶部とを備える画像処理装置で実行される画像処理方法であって、
   前記段組セパレータの情報に基づいて前記段組セパレータを探索する段組セパレータ探索ステップと、
   前記画像取得部で取得された画像データの中から、見出し画像と終了画像とを探索する探索ステップと、
   前記探索ステップで検出された前記見出し画像から前記終了画像まで、前記段組セパレータに沿った前記段組幅の段組領域毎に、画像データを抽出する抽出ステップと、
   前記抽出ステップによって段組領域毎に抽出された各画像データを合成する合成ステップと
   を含む、画像処理方法。
10. 画像データを取得する画像取得部と、出典原稿毎に、出典原稿の画像を所定の段組幅毎に区分する段組セパレータの情報と段組セパレータ間の前記段組幅とが対応づけて記憶される記憶部とを備える画像処理装置のコンピュータにインストールされるプログラムであって、
    前記コンピュータに、
    前記段組セパレータの情報に基づいて前記段組セパレータを探索する段組セパレータ探索処理と、
    前記画像取得部で取得された画像データの中から、見出し画像と終了画像とを探索する探索処理と、
    前記探索処理で検出された前記見出し画像から前記終了画像まで、前記段組セパレータに沿った前記段組幅の段組領域毎に、画像データを抽出する抽出処理と、
    前記抽出処理によって段組領域毎に抽出された各画像データを合成する合成処理と
    を実行させる、プログラム。

Images