JP3773642B2

JP3773642B2 - 画像処理装置および画像形成装置

Info

Publication number: JP3773642B2
Application number: JP34941297A
Authority: JP
Inventors: ラオ・グルラジユ; 浩樹菅野
Original assignee: Toshiba Corp; Toshiba Tec Corp
Current assignee: Toshiba Corp; Toshiba Tec Corp
Priority date: 1997-12-18
Filing date: 1997-12-18
Publication date: 2006-05-10
Anticipated expiration: 2017-12-18
Also published as: WO2004084538A1; US6323876B1; JPH11187248A

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば、デジタル複写機等の画像形成装置に関する。
【０００２】
【従来の技術】
従来、デジタル複写機等の読み取り手段（スキャナ）にて読み取られた原稿上画像において画像編集、画像埋め込みなどの画像加工を行う際には、ユーザから少なくとも２点以上の座標を指定されることにより定められる画像領域に対しユーザ指定の画像加工処理を行っていた。
【０００３】
【発明が解決しようとする課題】
このような従来の画像領域の指定方法では、所望の画像領域を指定する際、座標は正確に指定する必要があり、例えば指定する画像領域の形状によっては容易ならぬ労力と時間をかける場合もあり、ユーザにとっては不便であった。
【０００４】
また、座標を指定する代わりに、例えば所望の画像領域を予め原稿上にマーカーで指定しておいて、所定の入力手段にてその指定された画像領域を入力する方法もあるが、この場合でも、原稿が複数枚ある場合に、そのそれぞれについていちいち手作業で画像領域を指定するのは、ユーザにとって手間がかかるものである。
【０００５】
そこで、本発明は、読み取られた原稿画像の画像識別結果に基づきユーザが容易に画像領域の指定（例えばワンタッチ指定）が行える領域指定方法、およびそれを用いて指定された画像領域に対し加工を施す画像処理装置および画像形成装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の画像処理装置は、原稿の画像を入力する画像入力手段と、この画像入力手段で入力された画像の特徴量を算出する特徴量算出手段と、この特徴量算出手段で算出された特徴量に基づき前記原稿画像から画像領域を抽出する抽出手段と、この抽出手段で抽出された画像領域の前記原稿画像中の位置およびその属性を提示する提示手段と、この提示手段で提示された内容に基づき１点が指定され、しかも、その指定位置が前記画像領域のいずれにも含まれないとき、該指定位置に基づき非画像領域を選択する選択手段と、この選択手段で選択された非画像領域に指定された情報を埋め込む加工を行う加工手段と、を具備したことにより、ユーザが容易に非画像領域の指定（例えばワンタッチ指定）が行える。
【０００７】
本発明の画像形成装置は、原稿から読み取られた画像を印刷出力する画像形成装置において、原稿の画像を入力する画像入力手段と、この画像入力手段で入力された画像の特徴量を算出する特徴量算出手段と、この特徴量算出手段で算出された特徴量に基づき前記原稿画像から画像領域を抽出する抽出手段と、この抽出手段で抽出された画像領域の前記原稿画像中の位置およびその属性を提示する提示手段と、この提示手段で提示された内容に基づき１点が指定され、しかも、その指定位置が前記画像領域のいずれにも含まれないとき、該指定位置に基づき非画像領域を選択する選択手段と、この選択手段で選択された非画像領域に指定された情報を埋め込む加工を行う加工手段と、この加工手段で加工された画像領域を含む画像を出力する出力手段と、を具備したことにより、ユーザが容易に非画像領域の指定（例えばワンタッチ指定）が行える。
【００１２】
【発明の実施の形態】
以下、本発明の実施形態について、図面を参照して説明する。
図１は、本実施形態に係る画像形成装置の構成例を示したもので、例えばスキャナから構成され原稿上の画像を読み取って入力する画像入力部１と、この画像入力部１で入力した画像を一時的に蓄えるための入力画像記憶部２と、入力画像の特徴量を算出して属性を識別する画像識別部３と、ユーザによる指示に従って画像領域を選択する領域選択部４と、選択された画像領域に対応する画像を入力画像記憶部２から切り出し、それにユーザにより指示された加工を施す画像加工部５と、加工された画像を一時的に蓄えるための出力画像記憶部６と、ユーザからの指示やユーザヘの結果表示などを行うためのユーザインターフェース部７と、ユーザインターフェース部７を制御するコントローラ部８と、装置全体の処理を制御するためのシステム制御部９と、入力情報や処理情報または出力情報などを蓄えるためのシステム情報格納部１０と、加工した画像を出力するための画像出力部１１から構成される。さらに、任意のネットワークに接続するインターフェースを司る外部インターフェース部１２を具備していてもよい。例えば、外部インターフェース部１２にて接続された公衆網、ＬＡＮ等の任意のネットワークを介して画像加工部５にて加工された画像を外部に出力するようになっている。
【００１３】
以下に上記各構成部の詳細を説明する。
（画像入力部）
画像入力部１は、例えばスキャナなどの入力機器から構成され、画像データを画像形成装置に入力するためのものである。例えば、１０画素／ｍｍ、８ビットのスキャンを入力機器とした場合、入力対象原稿上の情報を１ｍｍ当たり１０画素（０．１ｍｍピッチ）の間隔でサンプリングする。
【００１４】
図２は、原稿に対しサンプリングして得られた情報の対応を説明するためのもので、例えばＡ３（４２０ｍｍ×２９７ｍｍ）の原稿を０．１ｍｍピッチでサンプリングした場合を示している。
【００１５】
図２（ａ）に示すように、サンプリング後の画素数は（４２００×２９７０）となり、１画素あたり２５６階調とすると、約１２Ｍバイトのデータとなる。図２（ａ）に示す原稿上の左上のコーナーを原点としてＸ方向（横方向）に４０ｍｍ、Ｙ方向（縦方向）に４０ｍｍのところに、図２（ｂ）に示すような４ｍｍ×４ｍｍ寸法の文字があるとすると、サンプリング後、図２（ｃ）に示すように、その文字の始点座標は（４００、４００）となり、終点座標は（４３９、４３９）となる。サンプリングは図２（ｃ）に示す面積Ｓ単位で行われ、その値をその座標の画素値とする。例えば、縦方向４１．９ｍｍ、横方向４０．１ｍｍの位置でのサンプリング面積Ｓにおけるサンプリング値は２２０とすれば、この値を座標（４１８、４００）の画素値とする。
【００１６】
図３に、サンプリングの結果得られた画素の座標と画素値の対応例を示す。
なお、図２、図３では、サンプリング周波数が１０本／ｍｍの場合を例にとり説明をしたが、それ以外の周波数のサンプリングも同じ原理に基づく。
（入力画像記憶部）
入力画像記憶部２は、サンプリングの結果得られた画素の座標に対応するアドレスに、その画素の画素値を例えば、図３に示しように記憶するようになっている。各画素値はその座標における画素の濃度を表す。すなわち、画素が黒いほど画素値が高い。
（画像識別部）
図４は、画像識別部３の構成例を示したもので、特徴量算出部３ａと、特徴量記憶部３ｂと、領域判定部３ｃと、領域判定情報記憶部３ｄと、識別結果記憶部３ｅとから構成される。
【００１７】
図５は、特徴量算出部３ａの構成例を示したものである。図５においては制御部３１は特徴量算出部３ａの処理動作全体の制御を司るものである。特徴量アクセス部３２は原稿画像に基づき算出された特徴量を図４の特徴量記憶部３ｂに記憶するためのアドレスと制御信号等を生成するものである。画像アクセス部３４は、図１の入力画像記憶部２から原稿画像を読み出すためのアドレスと制御信号等を生成するものである。
【００１８】
２値化部３３は、画像アクセス部３４にて入力画像記憶部２から読み取られた画像データを受けとり、２値化処理を行うようになっている。つまり、読みとった画素値を予め設定された閾値と比較し、対象画素値が閾値より大きい場合は２値化出力を「１」（黒点）とし、それ以外は２値化出力を「０」（白点）とするものである。
【００１９】
２値画像メモリ３５は、２値化部３３によって２値化された画像を記憶するメモリである。
全画像射影部３６は、２値画像メモリ３５に記憶された２値化画像を対象に、その全画像の縦横の射影を求め、予め設定された閾値をもってその閾値より小さい値を「０」にし、それ以外の射影値をそのまま残す。射影とは、縦横の画素の列から黒画素のみを積算してそれをその行や列の射影値とする。
【００２０】
図６は、全画像射影部３６で原稿２値化画像から得られる射影の一例を示したものである。閾値を適当に選び、例えば加算する画素数の３％と設定することにより、たとえば、濃度が急激に立ち上がる位置、立ち下がる位置を求めることにより、原稿２値化画像内の様々な情報が得られる。図６は、読み取り範囲が原稿範囲より大きい場合を示したもので、縦横射影から、それぞれの各山の開始座標（縦方向はＴｙｉ（ｉ＝１、２、…、Ｎｙ）、横方向はＴｘｊ（ｊ＝１、２、３、…、Ｎｘ））、射影の各山の幅（縦方向はΔＴｙｉ（ｉ＝１、２、…、Ｎｙ）、横方向はΔＴｘｊ（ｊ＝１、２、３、…、Ｎｘ））を求めることにより、原稿２値化画像内の例えば、文字列間隔、文字間隔、原稿の外側の幅などを求めることができる。
【００２１】
ここで、スキャン範囲から原稿範囲を算出する方法の一例を説明する。スキャンの開始値（Ｘ０＝０、Ｙ０＝０）、最終値（Ｘｍ、Ｙｍ）のとき、原稿範囲の開始値（Ｘ’０、Ｙ’０）および最終値（Ｘ’ｍ、Ｙ’ｍ）を求める。
【００２２】
縦方向射影の第１番目の山の開始点Ｔｙ１が「０」のとき、
Ｙ′０＝Ｙ０＋Δｙ１
Ｔｙ１≠０のとき
Ｙ′０＝Ｙ０
となる。縦方向の最後の山の終了点に、その最後の山の幅Δｙｎを加算した値がＹｍのとき、すなわち、（Ｔｙｎ＋Δｙｎ＝Ｙｍ）であれば
Ｙ′ｍ＝Ｙｍ−Δｙｎ
となり、（Ｔｙｎ＋Δｙｎ≠Ｙｍ）の場合は
Ｙ′ｍ＝Ｙｍ
となる。
【００２３】
同様にして、横方向の射影からＸ′０とＸ′ｍの計算ができる。（Ｘ０、Ｙ０）〜（Ｘｍ、Ｙｍ）がスキャン範囲で、（Ｘ′０、Ｙ′０）〜（Ｘ′ｍ、Ｙ′ｍ）が原稿範囲である。スキャン範囲と原稿範囲とが異なる場合は、その差分の領域（図６の斜線部）は不要領域である。この不要領域の範囲情報、スキャンの始点、終点情報、原稿範囲等の情報は、領域判定情報記憶部３ｄに記憶される。
【００２４】
部分射影部３７は、全画像射影部３６から縦横射影における山の開始点、山の幅、スキャン範囲、原稿範囲などの情報を受ける。そして、縦方向の射影の各山とその幅の情報から、その縦方向の各山に対応する２値画像を２値画像メモリ３５から読み出し、その読み出された画像に対し横方向（例えば、ここでは文字列方向を横方向とする）のみの射影を求める。
【００２５】
部分射影により縦射影の各山についての横方向の射影の山の部分（オブジェクト）の数、各オブジェクトの開始点、サイズを領域判定記憶部３ｄに記憶し、これらの情報から求まる、各オブジェクトの開始点ＭＫＺ、平均サイズ（横方向の射影の各山の幅の平均値で、主に、文字サイズの平均値とみなされる）ＬＨＭＳ等を座標抽出部４３に渡す。
【００２６】
８近傍連結成分抽出部３８、ラベリング・グルーピング部４０、座標算出部４３では、文字の位置を特定するための各文字の座標を部分射影部３７と同様に文字列ごとに算出するようになっている。部分射影部３７と同様に文字抽出のための処理を行うわけであるが、ここでは、特に、文字の画素が必ずしも連結されていないといことに着目して（従って、射影を求めるだけでは、１つの文字であっても複数のオブジェクトとして抽出されてしまう）、部分射影部３７よりもより詳細に画素の存在位置に基づき画素連結成分を求めて１文字領域を抽出するようになっている。
【００２７】
図７を参照して、８近傍連結成分抽出部３８、ラベリング・グルーピング部４０、座標算出部４３の処理手順の概略を説明する。ここでは、図７（ａ）に示すように、処理対象の２値化画像として、数字の「２」と「３」を２値化したものを例にとり説明する。図７（ａ）に示したような２値化画像は、まず、８近傍連結成分抽出部３８における連結成分抽出処理により、図７（ｂ）に示すように主要な画素にラベルが与えられ、ラベリング・グルーピング部４０では、各画素に与えられたラベルに基づき、図７（ｃ）に示したように等化グループの融合等を行い、その結果に基づき、図７（ｄ）に示すように連結された画素（物理ブロック）の始点座標と終点座標が得られる。
【００２８】
８近傍連結成分抽出部３８では、注目画素の連結成分を算出する。例えば、図８（ａ）に、注目画素Ｐの連結成分を求めるに必要な近傍セルを示す。画素Ｐの連結成分を求めるには以下の処理を行う。
【００２９】
・画素Ｐの画素値が「０」のとき、画素Ｐのラベルを「０」とする。
・画素Ｐの画素値が「１」で、すでに処理されている近傍画素Ａ、Ｂ、ＣとＤのラベルが全て「０」であれば、画素Ｐに新しいラベルを付ける。
【００３０】
・画素Ｐの画素値が「１」で、画素Ａ、Ｂ、Ｃ、Ｄのうち１つでも「０」以外のラベルを持つものがあるならば、その「０」以外のラベルのうちの１つを選び、（例えば１番小さいラベル）、それを画素Ｐのラベルとすると同時に、「０」以外のラベルを持つ全てのラベルが等化であることを記録しておく。
【００３１】
例えば、図７（ｂ）に示す様に、処理対象画素Ｐの座標が（７、１０）とし、この時点で、図８（ａ）に示す近傍画素Ａ、Ｂ、Ｃが既に処理されて、図８（ｂ）に示すようなラベル値が与えられているとする。対象画素のラベル値は「１」なので、近傍画素の中から「０」以外の最小のラベル値、すなわち、「２」を対象画素Ｐのラベル値とする。さらに、近傍画素の中にはラベル値が「０」以外に「２」、「３」が与えられた画素が存在するため、ラベル値「２」とラベル値「３」が等価であることが記憶される。
【００３２】
各画素のラベル値と等価ラベル情報は、連結成分情報メモリ３９に記憶される。
ラベリング・グルーピング部４０は、連結成分情報メモリ３９から各画素のラベル値（連結成分ラベルデータ）と等価ラベル情報（等価ラベルデータ）を読み出し、等価であるラベルをグルーピングし、そのグルーピングされた画素のラベルを図７（ｃ）に示したように新しいラベルに置き換える。このグルーピングされた画素に新たに付されたラベル情報は、ラベリング用情報メモリ４１に記憶される。
【００３３】
その後、ラベリング・グルーピング部４０は、ラベリング情報メモリ４１をスキャンし、同じラベルを持つ最小座標と最大座標を読みとる。同じラベルのものは１つに連結された物理ブロックを表すので、最小座標はその物理ブロックの始点座標、最大座標はその物理ブロックの終点座標となる。これらの座標情報が文字座標抽出用情報メモリ４２に記憶される。
【００３４】
座標抽出部４３は、部分射影部３７からオブジェクトの平均サイズＬＨＭＳと各オブジェクトの始点ＭＫＺをもとに、文字座標抽出用情報メモリ４２に記憶されている物理ブロックの融合化を行う。この処理により例えば複数の連結成分からなる１つの文字の座標が算出される。この処理では始点ＭＫＺから平均サイズＬＨＭＳの範囲内にある物理ブロックを１つの文字とするものである。融合される各々の物理ブロックの座標、データから一番小さい座標データは対象文字の始点座標であり、一番大きい座標データはその文字の終点座標となる。
【００３５】
例えば、
物理ブロック１（ｘｓ１、ｙｓ１）、（ｘｅ１、ｙｅ１）
物理ブロック２（ｘｓ２、ｙｓ２）、（ｘｅ２、ｙｅ２）
が融合されるとすると、融合された物理ブロックの始点（ｘｓ、ｙｓ）と終点座標（ｘｅ、ｙｅ）、物理ブロックのサイズ（Δｘ、Δｙ）は以下のようになる。
【００３６】
ｘｓ＝ｍｉｎ（ｘｓ１、ｘｓ２）
ｙｓ＝ｍｉｎ（ｙｓ１、ｙｓ２）
ｘｅ＝ｍａｘ（ｘｅ１、ｘｅ２）
ｙｅ＝ｍａｘ（ｙｅ１、ｙｅ２）
Δｘ＝ｘｅ−ｘｓ
Δｙ＝ｙｅ−ｙｓ
以上の処理を文字列毎にすべての文字列に対して行い、ドキュメント内のすべての文字の座標値または対応するサイズ（Δｘ、Δｙ）を算出する。しかし、スキャン範囲の開始点、終了点、原稿範囲の開始点や終了点を座標値とする物理ブロックは、その他の物理ブロックと融合しない。
【００３７】
このようにして座標抽出部４３で算出された特徴量はＣＰＵの指示に従って、特徴量アクセス部３２から出力される書込アドレスに従って、特徴量記憶部３６に書き込まれる。図９は、特徴量記憶部３６の特徴量の記憶例を示したもので、座標抽出部４３で抽出された１文字に相当する物理ブロック（オブジェクト）毎に、その開始点の座標とサイズ（寸法）とが該物理ブロックの特徴量として記憶されている。
【００３８】
一方、全画像射影部３６および部分射影部３７で抽出された特徴量（スキャン範囲、原稿範囲、オブジェクトの数、開始点、サイズ等）は領域判定情報記憶部３ｄに記憶される。
【００３９】
特徴量記憶部３６に記憶されるオブジェクトの特徴量は、主に、１文字単位の画像領域の特徴量であり、領域判定情報記憶部３ｄに記憶されるオブジェクトの特徴量とは、特徴量記憶部３６に記憶される特徴量より大まかな画像領域の特徴量である。
【００４０】
次に図４の領域判定部３ｃについて説明する。図１０は、領域判定部３ｃの構成例を示したもので、特徴量記憶部３ｂから座標抽出部４３で抽出された原稿画像内の各オブジェクト画像の特徴量が特徴量読み取り部５１に供給される。また、領域判定情報読み取り部５２は、領域判定情報記憶部３ｄから予め登録されている文字、写真、段組、文字間隔、文字列間隔などに関する判断情報や、全画像射影部３６、部分射影部３７から抽出されたオブジェクトの特徴量、スキャン範囲、原稿範囲等を読み出す。
【００４１】
属性判定及びレイアウト解析部５３では、特徴量読み取り部５１、領域判定情報読み取り部５２のそれぞれから読みとられた情報に基づき、各オブジェクトに属性（文字領域、写真領域等）を付け、同一属性の付されたオブジェクトを、その位置に基づき統合するなどして、原稿画像から１または複数の画像領域（オブジェクト）を識別する。そして、識別結果は、識別結果記憶部３ｅに図１１に示すように記憶すると共に領域選択部４に供給する。
【００４２】
属性とは、文字領域、写真領域のようなコンテンツを含む画像領域の種別であるとする。以後、原稿画像中にこのようなコンテンツを含む属性の付された画像領域以外の領域、すなわち、コンテンツを含まない画像領域を空白領域と呼ぶ。なお、空白領域を画像領域の属性の１つとして、その空白領域の範囲を識別結果記憶部３ｅに記憶するようにしてもよい。
【００４３】
図１１は、識別結果記憶部３ｅの領域識別結果の記憶例を示したもので、識別された画像領域の数、各画像領域（オブジェクト）毎に、その開始点の座標とサイズ（寸法）、属性、さらに、ユーザによる指定の有無が記憶されている。
（領域選択部）
領域選択部４は、画像識別部３における原稿画像の画像領域の識別結果をユーザに提示する。例えば、図１２に示すように、原稿画像から識別された４つの画像領域Ａ、Ｂ、Ｃ、Ｄを、その各画像領域の該原稿画像中における位置が明らかになるように、ユーザインターフェース部７に提示する。
【００４４】
画像識別部３における原稿画像の画像領域の識別結果は、例えば、図１２に示すように、原稿画像の大きさに対応して、抽出された画像領域の位置情報に基づき、その画像領域の輪郭のみを表示するようにしてもよいし、さらに、属性情報も同時に（例えば、各画像領域の輪郭内に）表示するようにしてもよい。また、原稿画像そのものに抽出された画像領域の範囲を示す輪郭を重ね合わせて表示するようにしてもよい。さらに、図１１に示したように、抽出された各画像領域の属性、範囲等を文字情報で提示してもよい。
【００４５】
ユーザインターフェース部７を介して提示された原稿画像の画像領域識別結果に基づき、例えば、後述するユーザインターフェース部７あるいはその他のユーザインターフェースにてユーザが処理したい画像領域の一点Ｐ１を指定すると、インターフェースコントローラ８経由で、その情報がシステム制御部９に入力され、その情報が指定座標値（Ｘｕ、Ｙｕ）としてシステム情報格納部１０に格納されると共に、処理対応原稿の指定情報が領域選択部４に供給される。
【００４６】
領域選択部４では、指定座標値（Ｘｕ、Ｙｕ）と画像識別部３の識別結果としての各画像領域の位置情報をもとに指定位置がどの画像領域（オブジェクト）に属するかを決定し、図１３に示すように、画像識別部３の識別結果記憶部３ｅに記憶されている該画像領域のユーザの指定の有無を示すためのフラグをたてる。図１３では、オブジェクト２が選択された場合を示している。
【００４７】
ユーザにより指定された１点（Ｘｕ、Ｙｕ）からそれに対応する画像領域を決定する方法の一例を説明する。すなわち、原稿画像中の各画像領域の始点を（Ｘｉｓ、Ｙｉｓ）、サイズを（ΔＸｉ、ΔＹｉ）とすると、
条件：（（ＹｉＳ≦Ｙｕ）ａｎｄ（ＸｉＳ≦Ｘｕ））かつ
（（ＹｉＳ＋ΔＹｉ）≧Ｙｕ）ａｎｄ（（ＸｉＳ＋ΔＸｉ）≧Ｘｕ））
なる条件を満たす場合、指定された座標は原稿画像中のいずれかの画像領域内に存在するので（図１２の点Ｐ１参照）、その指定された座標を含む画像領域が選択されることになる。
【００４８】
後述のユーザインターフェース部７の性能や大きさ、または入力方法によって、必ずしも原稿画像中のいずれかの画像領域の内部点を指定することができない場合は、指定点から一番近い画像領域を選択すればよい。
【００４９】
例えば、図１４に示すように、原稿画像中から抽出された複数の画像領域Ａ、Ｂ、Ｃ、Ｄがユーザインターフェース部７に提示されている場合、ユーザにより点Ｐ２が指定されたとき、点Ｐ２は、画像領域ＡとＢとの間に位置し、この２つの画像領域のうち画像領域Ａが点Ｐ２に最も近いので、画像領域Ａが選択される。
【００５０】
すなわち、点Ｐ２の座標（Ｘｐ２、Ｙｐ２）、画像領域Ａの始点（ＸａＳ、ＹａＳ）、サイズ（ΔＸａ、ΔＹａ）、画像領域Ｂの始点（ＸｂＳ、ＹｂＳ）、サイズ（ΔＸｂ、ΔＹｂ）、画像領域Ｃの始点（ＸｃＳ、ＹｃＳ）、サイズ（ΔＸｃ、ΔＹｃ）、画像領域Ｄの始点（ＸｄＳ、ＹｄＳ）、サイズ（ΔＸｄ、ΔＹｄ）とすると、画像領域の終点は（ＸａＳ＋ΔＸａ＝ＸａＥ、ＹａＳ＋ΔＹａ＝ＹａＥ）、画像領域Ｂの終点は（ＸｂＳ＋ΔＸｂ＝ＸｂＥ、ＹｂＳ＋ΔＹｂ＝ＹｂＥ）、画像領域Ｃの終点は（ＸｃＳ＋ΔＸｃ＝ＸｃＥ、ＹｃＳ＋ΔＹｃ＝ＹｃＥ）、画像領域Ｄの終点は（ＸｄＳ＋ΔＸｄ＝ＸｄＥ、ＹｄＳ＋ΔＹｄ＝ＹｄＥ）となり、
（ＹａＳ、ＹｂＳ）＜Ｙｐ２
（ＹａＥ、ＹｂＥ）＞Ｙｐ２
（ＹｃＳ、ＹｄＳ）＞Ｙｐ２
であるため点Ｐ２は、画像領域ＡとＢの間にあると判断できる。
【００５１】
また、｜（ＸａＳ−Ｘｐ１）｜と｜（ＸａＥ−Ｘｐ１）｜と｜（ＸｂＳ−Ｘｂ１）｜と｜（ＸａＥ−Ｘｐ１）｜のうち、｜（ＸａＥ−Ｘｐ１）｜が最小値であるため画像領域Ａが点Ｐ２に一番近いので、画像領域Ａが選択される。ここで｜Ｘ｜はＸの絶対値を示す。
【００５２】
ユーザにより、点Ｐ３が指定されたとき、点Ｐ３は、画像領域ＢとＤとの間に位置し、この２つの画像領域のうち画像領域Ｄが点Ｐ３に最も近いので、画像領域Ｄが選択される。
【００５３】
すなわち、点Ｐ３の座標（Ｘｐ３、Ｙｐ３）は、
（ＸｂＳ、ＸｄＳ）＜Ｘｐ３
（ＸｂＥ、ＸｄＥ）＞Ｘｐ３
（ＸａＥ、ＸｃＥ）＜Ｘｐ３
であるため、点Ｐ３は画像領域ＢとＤの間にあると判断できる。
【００５４】
また、｜（ＹｂＳ−Ｙｐ２）｜と｜（ＹｂＥ−Ｙｐ２）｜と｜（ＹｄＳ−Ｙｐ２）｜と｜（ＹｄＥ−Ｙｐ２）｜のうち、｜（ＹｄＳ−Ｙｐ２）｜が最小値であるため画像領域Ｄが点Ｐ３に一番近いので画像領域Ｄが選択される。
【００５５】
同様して、点Ｐ４が指定されたとき、画像領域Ａ、Ｂ、Ｃ、Ｄのうち、点Ｐ４から一番近い画像領域Ｃが選択される。
以上は、原稿画像上を１点指定することにより、属性として、文字領域あるいは写真領域といった何らかのコンテンツを含む属性の付された画像領域を選択する場合について説明したが、この場合に限らず、例えば、指定された座標が抽出された画像領域の内部にない場合、その指定された座標値に基づき原稿画像中のコンテンツを含まない画像領域、すなわち、空白領域（非画像領域）を選択するようにしてもよい。次に、この場合の画像領域の選択方法の一例を説明する。
【００５６】
空白領域が選択できるということは、例えば、原稿画像中のコンテンツを含まない空き領域に所望の画像を埋め込む場合に有意義な機能である。
例えば、図１５に示すように、原稿画像中から抽出された複数の画像領域Ａ、Ｂ、Ｃ、Ｄがユーザインターフェース部７に提示されている場合、ユーザにより点Ｐ２が指定されたとき、点Ｐ２は、画像領域ＡとＢとの間にある空白領域内に存在するため、画像領域ＡとＢとの間の空白領域ｗ１が選択される。例えば、空白領域ｗ１の矩形の始点（Ｘｐ２Ｓ、Ｙｐ２Ｓ）と終点（Ｘｐ２Ｅ、Ｙｐ２Ｅ）は、例えば、次のように算出される。
【００５７】
Ｘｐ２Ｓ＝ＸａＥ＋ΔＭｘ
Ｘｐ２Ｅ＝ＸｂＳ−ΔＭｘ
Ｙｐ２Ｓ＝ｍａｘ（ＹａＳ、ＹｂＳ）＋ΔＭｙ
Ｙｐ２Ｓ＝ｍｉｎ（ＹａＥ、ＹｂＥ）−ΔＭｙ
ここで、ｍａｘ（ｉ、ｊ）はｉとｊのうちの最大値を選ぶ関数で、ｍｉｎ（ｉ、ｊ）はｉとｊのうちの最初値を選ぶ関数である。また、ΔＭｘ、ΔＭｙはそれぞれｘ方向、ｙ方向のオフセット値でシステムによって予めディフォルト値が設定されていてもよいし、ユーザにより設定するようにしてもよい。
【００５８】
同様にして、点Ｐ３が指定されたとき、点Ｐ３は、画像領域ＢとＤとの間にある空白領域内に存在するため、画像領域ＢとＤとの間の空白領域ｗ２が選択される。例えば、空白領域ｗ２の矩形の始点（Ｘｐ３Ｓ、Ｙｐ３Ｓ）と終点（Ｘｐ３Ｅ、Ｙｐ３Ｅ）は、例えば、次のように算出される。
【００５９】
Ｘｐ３Ｓ＝ｍａｘ（ＸｂＳ、ＸｄＳ）＋△Ｍｘ
Ｘｐ３Ｅ＝ｍｉｎ（ＸｂＥ、ＸｄＥ）−ΔＭｘ
Ｙｐ３Ｓ＝ＹｂＥ＋ΔＭｙ
Ｙｐ３Ｅ＝ＹｄＳ−ΔＭｙ
さて、点Ｐ４が指定されたとき、点Ｐ４は、前述の点Ｐ２、点３の場合と異なり、画像領域Ａ、Ｂ、Ｃ、Ｄのうちいずれか２つの画像領域に挟まれた位置には存在しない。このとき、上記の手法に従えば、２つの空白領域ｗ３、ｗ４が抽出されることになる。
【００６０】
空白領域ｗ３：
Ｘｐ４Ｓ＝ｍａｘ（ＸａＳ、ＸｃＳ）＋ΔＭｘ
Ｘｐ４Ｅ＝ｍｉｎ（ＸｂＥ、ＸｄＥ）−ΔＭｘ
Ｙｐ４Ｓ＝ｍａｘ（ＹａＥ、ＹｂＥ）＋ΔＭｙ
Ｙｐ４Ｓ＝ｍｉｎ（ＹｃＳ、ＹｄＳ）−ΔＭｙ
空白領域ｗ４：
Ｘｐ４Ｓ＝ｍａｘ（ＸａＥ、ＸｃＥ）＋ΔＭｘ
Ｘｐ４Ｅ＝ｍｉｎ（ＸｂＳ、ＸｄＳ）−ΔＭｘ
Ｙｐ４Ｓ＝ｍａｘ（ＹａＳ、ＹｂＳ）＋ΔＭｙ
Ｙｐ４Ｅ＝ｍｉｎ（ＹｃＥ、ＹｄＥ）−ΔＭｙ
このように、指定点の位置によっては、２つ以上の領域が選択されることもあるわけだが、この場合、この選択された複数の画像領域のうち、例えば、後述する画像加工部５でユーザにより指定された情報を埋め込む加工を行う際に、その大きさなどの条件に基づき自動的にその条件に適合する画像領域を１つ選択するようにしてもよいし、また、選択された複数の画像領域をユーザインターフェース部７を介してユーザに提示し、その提示内容に基づきユーザによる所望の画像領域の選択を行うようにしてもよい。
（ユーザインターフェース部）
ユーザインターフェース部７は、例えば、キーボード、ＣＲＴ、タッチパネルを具備した液晶表示器（コントロールパネル）等の様々な入出力機器から構成できる。ここではコントロールパネルで構成されたユーザインターフェースを例にとり説明するが、本発明は、特に、コンパネに限定するものではなく、本発明の要旨を逸脱しない限りコントロールパネル以外の入出力機器を用いてもよい。
【００６１】
図１６は、コントロールパネルで構成されたユーザインタフェース部７、インターフェースコントローラ８の構成例を示したものである。ユーザインターフェース部７は主にコントロールパネル基板７１から構成され、インターフェースコントローラ８は主に制御基板７２から構成されている。
【００６２】
コントロールパネル基板７１には、液晶表示器（ＬＣＤ）７５、タッチパネルや各種操作キー７７、それらの押下状況を認識するための制御キーマイコン７８から構成され、制御キーマイコン７８は、押下状況を制御基板７２のマイコン８２に送信するようになっている。マイコン８２は、制御キーマイコン７８から通知される情報や、制御基板７２に接続されている紙センサー９２、トナー濃度センサー９５等の様々なセンサの出力に基づき、各種制御プログラム、データ等が記憶されているＲＯＭ８０、ＲＡＭ７９にデータアクセスし、情報処理した結果を液晶コントローラ８１を介してＬＣＤ７５に送信する。
【００６３】
ＲＯＭ８０には表示画面のデータやプログラムデータ等が記憶され、ＲＡＭ７９には画面切り替え時間等が記憶されている。また、ＲＡＭ７９には、内部処理、例えば領域選択部４から送られる原稿画像内から抽出された画像領域を提示するために必要な情報、あるいはその他のパラメータなどが格納され、さらに図１のシステム制御部９を通して、システム情報格納部１０に格納される。
【００６４】
原稿画像内から抽出された画像領域を提示するために必要な情報は、マイコン８２の制御のもと、ＲＡＭ７９から読み出され、それを基にＲＯＭ８０に予め格納されているプログラムに従って表示画面データが作成されると、液晶コントローラ８１を介してＬＣＤ７５に送られ、ＬＣＤ７５では、例えば図１２に示したように表示されるようになっている。
【００６５】
制御基板７２は、主に、ＬＣＤ７５とタッチパネル７７等の制御を行うもので、。同時に、状況に応じて、モータ駆動などの出力を行い、処理誤設定、紙センサー、廃トナーセンサ、トナー濃度センサなどの信号からジャム処理、トナー補合処理等の検知を行い、必要に応じてコントロールパネル上のブザー７６を鳴らす。
【００６６】
液晶コントローラ８１は、マイコン８２からの信号に基づいた信号をＬＣＤ７５へ送信し、これによってグラフィックス表示が表示される。
（画像加工部）
さて、画像加工部５では、領域選択部４で選択された画像領域について、ユーザにより指定された加工処理を施す。
【００６７】
画像の加工処理の一例を以下に説明する。
１．画像編集：画像の編集として色々考えられるが、その１つとして、例えば、選択された画像領域を切り出し、それを拡大処理することが挙げられる。その際、例えば、一般的に使われる線形補間に基づく拡大処理を行ってもよい。
【００６８】
編集機能としては、その他に、例えば、選択された領域内の所定の色を別の色に変える（黒を赤に変える）、領域内の文字を中抜きにしたり、斜体文字にしたりなど、通常のワープロ等に備わっているような一般的な各種編集機能であってもよい。
【００６９】
２．画像置き換え：選択された領域をその後入力される何らかのデータで置き換える処理である。例えば、その画像領域の始点・終点座標と置き換えるべきデータの始点・終点座標から、置き換えデータを縮小するのか拡大するのかを決定し、拡大処理あるいは縮小処理を施した後、あるいはそのまま、画像の置き換えを行う。
【００７０】
３．画像の埋め込み：画像領域内に隠し情報や、キーとなる情報を埋め込む場合もあり、その情報埋め込みを原稿全面に行うのではなく、ユーザ指定の領域に行う。情報埋め込み処理は本発明の要旨ではないので説明は省略するが、例えば特開平第号に一例が記載されている。
【００７１】
指定された領域が空白領域である場合は、隠し情報の埋め込みに限らず、画像そのものを埋め込むことも可能である。なお、空白領域に画像そのものを埋め込む場合、その空白領域の面積と埋め込む情報の大きさに基づき画像の変倍処理を行ってから画像を埋め込むこととなる。
【００７２】
ユーザは、ユーザインターフェース部７を介して所望の加工処理を選択すればよい。
画像加工部５で選択された画像領域に加工された画像領域の画像を含む原稿画像全体は、出力画像記憶部６に一時記憶される。
（出力画像記憶部）
出力画像記憶部６は、画像出力部１１を介して出力される画像を一時記憶するためのものでる。なお、例えば、複数枚の画像から１枚に情報をまとめる際にページメモリとしての機能が必要となる。また１枚の原稿から情報を消す場合、数ラインのラインバッファとしての機能で充分である。
（画像出力部）
画像出力部１１は、出力画像記憶部６に記憶された画像を出力するもので、例えば、紙上に印字するプリンタから構成されている。
（システム制御部）
システム制御部９は、本発明に関わるシステム全体の制御を司るもので、ＣＰＵ、その他の周辺機器から構成されている。上記各部にタイミング信号、クロック信号、その他の制御信号と処理用のパラメータなどを供給するようになっている。
（システム情報格納部）
システム情報格納部１０は、システム全体に必要なデータ、プログラムなどを記憶するものである。
（外部インターフェース部）
外部インターフェース部１２は、画像加工部５で加工された画像領域あるいは、その加工済みの画像領域を含む原稿画像全体を任意の通信回線を介して外部へ送信するためのもので、例えば電話回線を利用ＦＡＸモデム、あるいは特定のネットワーク接続のためのインターフェースである。
【００７３】
本実施形態に係る画像形成装置を外部インターフェース部１２を介して所定のネットワークに複数接続してシステムを構成する場合、少なくともその複数の画像形成装置のうちのいずれか１つが画像出力部１１を具備しているだけでも充分適用可能である。すなわち、画像出力部１１を具備していない画像形成装置（この場合、画像処理装置と呼ぶ）にて、選択された領域に対し所望の加工を施した後、画像出力部１１を具備する他の画像形成装置に外部インターフェース部１２を介して送信して印刷出力するといった形態が可能である。
（処理動作）
次に、以上説明した構成の画像形成装置の処理動作について、図１７に示すフローチャートを参照して説明する。
【００７４】
画像入力部１から処理対象の原稿の画像が入力すると（ステップＳ１）、入力画像記憶部２に一時記憶される。画像記憶部２に記憶された原稿画像は、画像識別部３でその内容が識別（マクロ識別）され（ステップＳ２）、識別結果がユーザインターフェース部７に表示される。このとき、原稿画像から識別された各画像領域も表示される（ステップＳ３〜ステップＳ４）。この表示内容に基づきユーザにより少なくとも１点が指定されたとき（ステップＳ５）、領域選択部４は、その点の位置座標に対応する画像領域を選択して、選択された画像領域をユーザインターフェース部７を介してユーザに明示する（ステップＳ６）。ユーザインターフェース部７に、選択された画像領域に対し「確定」、「取り消し」等の指示を入力するためのキーが具備されていれば、そのキー入力に応じて、その後の処理を実行するようになっている。例えば、「確定」のキー入力を受けたときは、該選択された画像領域に対する加工処理の選択、実行処理に進む。一方、「取り消し」のキー入力を受けたときは、再びステップＳ３に戻り、上記処理動作を繰り返す。
【００７５】
以上説明したように、上記実施形態によれば、画像識別技術を利用して原稿画像上の各領域を容易に指定でき（例えば、ワンタッチ指定）、識別結果をもとに指定内容や処理後の構成などが表示でき、その内容に何らかの修正があれば該識別結果に基づき容易に修正できる。
【００７６】
【発明の効果】
以上説明したように、本発明によれば、読み取られた原稿画像の画像識別結果に基づきユーザが容易に画像領域の指定（例えばワンタッチ指定）が行える。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像形成装置の構成例を示した図。
【図２】画像入力部の画像入力動作を説明するための図。
【図３】入力画像記憶部の記憶例を示した図。
【図４】画像識別部の構成例を示した図。
【図５】図４の特徴量算出部の構成例を示した図。
【図６】図５の全画像射影部で原稿２値化画像から求めた射影の一例を示した図。
【図７】図５の８近傍連結成分抽出部、ラベリング・グルーピング部、座標算出部における処理動作を説明するための図。
【図８】図５の８近傍連結成分抽出部の処理動作を説明するための図。
【図９】図４の特徴記憶部における特徴量の記憶例を示した図。
【図１０】図４の領域判定部の構成例を示した図。
【図１１】図４の識別結果記憶部の画像領域情報の記憶例を示した図。
【図１２】図１のユーザインターフェース部における識別結果の提示例と、画像領域の指定方法について説明するための図。
【図１３】画像領域が指定されたときの画像識別部の識別結果記憶部に記憶されている画像領域情報の記憶例を示した図。
【図１４】画像領域の指定および選択方法について説明するための図。
【図１５】画像領域の指定および選択方法の他の例（空白領域を選択する場合）について説明するための図。
【図１６】コントロールパネルで構成されたユーザインタフェース部、インターフェースコントローラ８の構成例を示した図。
【図１７】図１の画像形成装置の処理動作の概略を示したフローチャート。
【符号の説明】
１…画像入力部
２…入力画像記憶部
３…画像識別部
４…領域選択部
５…画像加工部
６…出力画像記憶部
７…ユーザインターフェース部
８…インターフェースコントローラ
９…システム制御部
１０…システム情報格納部
１１…画像出力部
１２…外部インターフェース部

Claims

原稿の画像を入力する画像入力手段と、この画像入力手段で入力された画像の特徴量を算出する特徴量算出手段と、この特徴量算出手段で算出された特徴量に基づき前記原稿画像から画像領域を抽出する抽出手段と、この抽出手段で抽出された画像領域の前記原稿画像中の位置およびその属性を提示する提示手段と、この提示手段で提示された内容に基づき１点が指定され、しかも、その指定位置が前記画像領域のいずれにも含まれないとき、該指定位置に基づき非画像領域を選択する選択手段と、この選択手段で選択された非画像領域に指定された情報を埋め込む加工を行う加工手段と、を具備したことを特徴とする画像処理装置。
原稿から読み取られた画像を印刷出力する画像形成装置において、原稿の画像を入力する画像入力手段と、この画像入力手段で入力された画像の特徴量を算出する特徴量算出手段と、この特徴量算出手段で算出された特徴量に基づき前記原稿画像から画像領域を抽出する抽出手段と、この抽出手段で抽出された画像領域の前記原稿画像中の位置およびその属性を提示する提示手段と、この提示手段で提示された内容に基づき１点が指定され、しかも、その指定位置が前記画像領域のいずれにも含まれないとき、該指定位置に基づき非画像領域を選択する選択手段と、この選択手段で選択された非画像領域に指定された情報を埋め込む加工を行う加工手段と、この加工手段で加工された画像領域を含む画像を出力する出力手段と、を具備したことを特徴とする画像形成装置。