JP4049296B2 - カラー画像情報処理方法、該方法の実行に用いるプログラム、及びカラー画像情報処理装置 - Google Patents
カラー画像情報処理方法、該方法の実行に用いるプログラム、及びカラー画像情報処理装置 Download PDFInfo
- Publication number
- JP4049296B2 JP4049296B2 JP2001112518A JP2001112518A JP4049296B2 JP 4049296 B2 JP4049296 B2 JP 4049296B2 JP 2001112518 A JP2001112518 A JP 2001112518A JP 2001112518 A JP2001112518 A JP 2001112518A JP 4049296 B2 JP4049296 B2 JP 4049296B2
- Authority
- JP
- Japan
- Prior art keywords
- distribution curve
- point
- edge
- image information
- color image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Image Communication Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、カラー画像情報の処理に関し、原稿の読み取り画像情報に発生する裏写りのような、雑音とみなされる画像情報を除去・修復する処理を行うためのカラー画像情報処理方法、該方法をコンピュータ（ＣＰＵ）に実行させるためのプログラム、該プログラムをコンピュータ読み取り可能に記録した記録媒体、及び前記プログラムを搭載したカラー画像情報処理装置に関する。
【０００２】
【従来の技術】
カラースキャナやデジタルカラー複写機で両面印刷されたカラー原稿を入力すると、原稿裏面の画像が表（おもて）面に現れ、入力したカラー画像情報に雑音として混入することがある。この現象は、原稿用紙が薄いときに、紙を通して裏面が透けて現れるもので、カラー画像を印刷した紙媒体の多様化とともに、顕著化するようになってきており、これを表面画像に「裏写り」が生じたと言う。
入力したカラー画像情報に混入する「裏写り」画像を除去する従来の方法として、両面をそれぞれ入力して得た画像情報を処理する方法と、入力した片面のみの画像情報を処理する方法が知られている。前者の方法は、裏面の画像により雑音である裏写り画像を特定し、特定した裏写り画像により表面の補正処理を行う方法であるが、両面の入力や、入力画像相互に厳密な位置合わせが必要であるといった制約があり、汎用性に問題があるとされており、ここでは、後者の片面の入力画像のみで裏写り画像を除去する方法を対象としている。
裏写り画像の除去を、片面の入力画像のみで行う方法として、これまで、濃度や色の分布を解析し、裏写りの判別を行う方法が提案されているが、複雑な画像になると必ずしも十分な精度が得られない、といった現状にある。
【０００３】
【発明が解決しようとする課題】
そこで、濃度や色の分布を解析する方法を採らずに、片面の入力画像のみで裏写り画像を除去する別の方法が先に提案された。提案された方法は、画像のエッジ部分に着目し、入力されたカラー画像情報のエッジ強度を求め、エッジ強度により画像に存在するエッジが裏写り画像のエッジであるか否かを判別する方法（以下、「エッジ強度法」という）を採用している（特開２００１−１６９０８０号、以下、これを「第１の先行例」という）。
第１の先行例では、裏写り画像のエッジであるか否かを、画像情報から求めたエッジ強度値（後述の本発明の実施例、参照）が、所定の閾値を越えるか否かにより判断している。判別精度は、この時に用いる閾値に依存することになり、この例では、閾値を、ユーザの勘と経験に基づく手動方法や判別分析方法により定めるとしている。
手動方法は、ユーザが勘と経験に基づいて、キーボード入力又はタッチパネル選択などの方法で、最適と思われる閾値を決定する方法であるが、最適値を得るまでの作業の効率低下と操作負担の増加が問題になる。他方、判別分析方法は、画像のエッジ強度ヒストグラムから統計的に最適な閾値を計算する（その原理は、ある閾値によってエッジ強度ヒストグラムが２つのクラスに分離され、クラス間の分散が最大になる閾値を選択する）という手法によっているが、計算コストが高く、計算能力の高くない機器、又は、高い処理速度が要求される機器には不適当である。
【０００４】
そこで、エッジ強度ヒストグラムの解析法を用いるという点では同じであるが、簡略化した計算処理により閾値を求めることにより、処理速度を向上させることを意図した解決方法が、さらに提案された。提案された方法は、エッジ強度ヒストグラムの分布曲線において低い分布を示す部分の曲線が単調増加（減少）であるか否かを判別し、判別結果に従い使用する閾値を選択する条件を変更するというようにし、簡単な計算式をもとにした操作を行うことにより、適正な閾値を簡略な操作により得ることを可能にしている（特願２００１−５０２９１号、以下、これを「第２の先行例」という）。
しかしながら、第２の先行例は、入力された画像（ページ画像）全体を対象として、そのエッジ強度ヒストグラムを得、閾値を求める処理を行うことを意図したものである。従って、簡略化してもなお、計算能力が高くなく、又は内部メモリの制限が厳しい機器には、不向きである。
本発明は、入力したカラー画像情報に混入した裏写りのような、雑音とみなされる（不鮮明な）画像情報を除去・修復処理を行うカラー画像情報処理方法における上記した従来技術及び先行例の問題点に鑑みてなされたものであり、その目的は、エッジ強度ヒストグラムを得、閾値を求める処理を行う場合に、処理能力、即ち計算能力や必要なメモリの容量等、を高度化しなくても、第２の先行例と同等の高速処理を行うことが可能な、エッジ強度法による前記カラー画像情報処理方法、該方法をコンピュータ等の情報処理手段に実行させるためのプログラム、該プログラムをコンピュータ読み取り可能に記録した記録媒体、及び前記プログラムを搭載したカラー画像情報処理装置を提供することにある。
【０００５】
【課題を解決するための手段】
請求項１の発明は、処理対象としての原稿画像情報から画像のエッジ強度を画素単位で検出するステップ、前記ステップで検出されたエッジ強度を所定の閾値により閾値処理することにより、各画素を裏写りエッジと非裏写りエッジとに判別するステップの各ステップよりなるカラー画像情報処理方法であって、前記判別ステップに用いる閾値を求めるためのステップとして、前記原稿画像を所定の大きさに区分した部分領域毎に、該領域に含まれる画素群のエッジ強度分布曲線を作成するステップ、前記ステップで作成したエッジ強度分布曲線の複雑度に応じた変量値をとる暫定閾値を求めるステップ、前記ステップで求めた自領域の暫定閾値と隣接領域の暫定閾値の荷重平均値を算出するステップの各ステップを実行することを特徴とする。
請求項２の発明は、請求項１に記載されたカラー画像情報処理方法において、前記エッジ強度分布曲線の複雑度に応じた変量値をとる暫定閾値を求めるステップが、エッジ強度分布曲線上の最少分布数になる点Ａと最大分布数になる点Ｂを結ぶ線分と該分布曲線との距離が最大になる該分布曲線上の点Ｃを求めるステップ、前記ステップで求めた分布曲線上の点Ａと点Ｃを結ぶ線分と該分布曲線との距離が最大になる該分布曲線上の点Ｄを求めるステップ、前記ステップで求めた分布曲線上の点Ｄと点Ｃ間のエッジ強度分布曲線が単純分布を示す場合に、分布曲線上の点Ｄが示すエッジ強度を暫定閾値として求めるステップの各ステップを実行するステップであることを特徴とする。
請求項３の発明は、請求項１又は２に記載されたカラー画像情報処理方法において、前記エッジ強度分布曲線の複雑度に応じた変量値をとる暫定閾値を求めるステップが、エッジ強度分布曲線上の最少分布数になる点Ａと最大分布数になる点Ｂを結ぶ線分と該分布曲線との距離が最大になる該分布曲線上の点Ｃを求めるステップ、前記ステップで求めた分布曲線上の点Ａと点Ｃを結ぶ線分と該分布曲線との距離が最大になる該分布曲線上の点Ｄを求めるステップ、前記ステップで求めた分布曲線上の点Ｄと点Ｃ間のエッジ強度分布曲線が単純分布を示さない場合に、分布曲線上の点Ｄと点Ｃを結ぶ線分と該分布曲線との距離が最大になる該分布曲線上の点Ｅを求めるステップ、分布曲線上の点Ｅが示すエッジ強度を暫定閾値として求めるステップの各ステップを実行するステップであることを特徴とする。
請求項４の発明は、請求項１乃至３のいずれかに記載されたカラー画像情報処理方法の各ステップをコンピュータに実行させるためのプログラムである。
請求項５の発明は、請求項４に記載されたプログラムをコンピュータ読み取り可能に記録した記録媒体である。
請求項６の発明は、請求項４に記載されたプログラムを搭載したカラー画像情報処理装置である。
【００１２】
【発明の実施の形態】
本発明を添付する図面とともに示す以下の実施例に基づき説明する。
本発明は、入力したカラー画像情報に混入した裏写りのような、雑音とみなされる（不鮮明な）画像情報をエッジ強度法により検出し、除去・修復する処理に係わり、対象ぺージ画像のみを処理し（原稿両面の画像情報を必要とする裏写り除去処理の場合と違い）、しかも、それほど処理能力が高くなく、大規模なメモリ等の処理手段を要することなく行うことを意図するものである。従って、カラー画像情報の処理手段として、汎用性が高く、裏写りのような、雑音とみなされる（不鮮明な）画像情報を処理する場面に広く適用が可能である。以下に示す実施例ではデジタルカラー複写機に組み込むことを意識しているが、例えば、スキャナ、プリンタ、文書画像解析や認識装置等のカラー画像情報処理装置が適用範囲として想定できる。
また、本発明は、エッジ強度法により除去・修復する処理に係わり、上記で先行例として示した特願平１１−３５４４１２号及び特願２００１−５０２９１号に基礎を置く。従って、本実施例の説明の一部については、先行例を参照することとする。
【００１３】
図１は、本発明の実施例に係るカラー画像情報処理装置のブロック図を示す。
この実施例装置は、装置全体の制御、入力情報の処理、出力を行うＣＰＵ３の制御下に入力インタフェース（Ｉ／Ｆ）１、出力Ｉ／Ｆ５、ＲＯＭ２、ＲＡＭ４を接続し、処理システムを構成する。
入力インタフェース（Ｉ／Ｆ）１は、スキャナ等により読み取られた処理対象のデジタル化されたカラー画像情報を、キーボード，タッチパネル又はボタンにより指示された処理パラメータ（閾値など）或いは操作モード等とともに、装置に入力するために機能する。ＲＯＭ２は、カラー画像情報の処理を実行するためのプログラムとして、所謂裏写りを除去・修復する処理プログラムを格納する。ＣＰＵ３は、入力された処理対象のカラー画像情報をＲＯＭ２に格納されたプログラムに従い処理する。処理の際、ＲＡＭ４をワークエリア、即ち入力されたカラー画像のデジタルデータやＣＰＵ３がプログラムに従い処理するデータの一時的な格納場所として用いる。出力Ｉ／Ｆ５は、処理したカラー画像情報を次の処理段（複写機の場合には、画像形成部）、或いはＰＣ（パーソナルコンピュータ）等の外部の利用機に出力する。
【００１４】
図２は、図１に示したカラー画像情報処理装置において行うカラー画像情報の裏写り補正処理手順の概要を示すフローチャートである。
図２を参照して、本実施例の処理手順の概要を説明すると、ＣＰＵ３は先ず、入力Ｉ／Ｆ１により入力した処理対象のカラー画像データを受け取る（Ｓ２１）。受け取ったカラー画像データは、複写機を例にすると、通常、原稿読み取り部で読み取ったＲＧＢ（カラー構成色）画像信号にＡ／Ｄ変換、濃度（レベル）補正などの画像処理を施した後のデジタル画像データである。
次いで、入力されたデジタルカラー画像データに対し、ノイズ除去のための平滑化などの前処理を行う（Ｓ２２）。前処理された入力カラー画像中の裏写りの可能性が高い画素とそれ以外の画素とを判別し、裏写りの可能性が高い画素を検出する（Ｓ２３）。
その後、検出した裏写りの可能性が高い画素について、除去・修復を行う裏写り補正を施す（Ｓ２４）。裏写り補正することにより得られる所望の画像を出力Ｉ／Ｆ５によって出力し（Ｓ２５）、処理フローを終了させる。
【００１５】
ここで、図２の処理フローに示した裏写りの可能性が高い画素の検出について詳細に説明する。
ここで用いる裏写り画素の検出方法は、エッジ強度法に基づいており、原稿画像情報から画像のエッジ強度を画素単位で検出し、検出されたエッジ強度を所定の閾値により閾値処理することにより、各画素を裏写りエッジと非裏写りエッジとに判別する処理を行う。この点では上記した先行例と同じ検出方法を採る。しかしながら、本発明においては、処理能力、即ち計算能力や必要なメモリの容量等、を高度化しなくても、先行例と同等の高速処理を行うことを可能にするために、原稿画像を所定の大きさに区分した部分領域毎に処理を行うという方法を採る。また、部分領域に区分して処理を行ったことにより生じる可能性のある部分領域の境界間の不連続性（エッジ分離が引き起こす）を緩和するための処理を行うようにしている。
【００１６】
本発明では、部分領域の境界間の不連続性を緩和するための処理を、裏写りエッジと非裏写りエッジの判別に実際に適用する閾値を求める場合に、領域毎に求めた閾値を暫定閾値とし、自領域の暫定閾値に隣接領域の暫定閾値を反映させ実際に適用する閾値を求めるという方法により実現する。具体的には、自領域と隣接領域の暫定閾値の荷重平均値として、適用する閾値を算出する。
ここに、上記に言う部分領域と隣接領域の概念を図４を参照して、説明する。図４に示すように、主（ｘ方向）走査・副（ｙ方向）走査により原稿面が読み取られ、その画像Iが入力されてくると仮定した場合、部分領域は走査方向に所定の矩形領域として定め、注目（自）領域s(m,n)と隣接領域{s(u,v)}の関係は、注目領域に対して、隣接領域を網掛けにて示すように、先に走査され、既に暫定閾値が求められた周辺の領域としている（詳細は、後述）。
【００１７】
次に、上記で概要を示した裏写り画素を検出するために行うエッジ判別処理について詳細に説明する
図３は、本実施例のエッジ判別処理のフローチャートを示す。
図示のフローに示す処理は、所定の大きさに区分した原稿画像の各部分領域（図４参照）に適用するものである。
図３を参照すると、先ず、注目部分領域のエッジ強度を画素毎に求め、エッジ強度の分布であるヒストグラムを作成する（Ｓ３１）。
エッジ強度は、部分領域に含まれる全ての画素について算出する。
エッジ強度の計算には、色々な方法があり、いずれの方法でも良く、例えば、「ベクトル法によるエッジ検出方法」（特願平１１−３５４４１２号、参照）を用いることが可能である。この方法によると、各色成分について計算されたエッジ強度の組み合わせにおいて、単純に二乗和の平方根をとるのではなく、成分間の相関関係も考慮する。具体的には、ｕ（ｘ，ｙ），ｖ（ｘ，ｙ），ｗ（ｘ，ｙ）を色の３成分として、画素毎に下記式(1)〜(4)に従い算出する。ここに、ｐ（式(1)），ｔ（式(2)），ｑ（式(3)）で定義すると、画素（ｘ，ｙ）でのエッジ強度は、式(4)で与えられる。なお、画素（ｘ，ｙ）は、図４に示す座標系で画像Ｉ中の画素を示す。また、上記色の３成分、ｕ（ｘ，ｙ），ｖ（ｘ，ｙ），ｗ（ｘ，ｙ）は、入力されたＲＧＢ系を成分間の独立性の高いカラー座標系に変換したものである。
【００１８】
【数１】
【００１９】
次いで、上記で求めた各画素のエッジ強度をもとに、各部分領域毎にエッジ強度分布つまりエッジ強度のヒストグラムを作成する。
この後、作成したエッジ強度分布の曲線の特性（形状）に基づいて、部分領域毎に画像に含まれるエッジを裏写りエッジと非裏写りエッジに判別するための閾値を算出し、それを暫定閾値として定める（Ｓ３２）。
図５，図６は、異なる裏写り画像を持つ部分領域のエッジ強度分布をそれぞれ示し、強度分布曲線を基に、暫定閾値を定める方法を説明するための図である。
部分領域における全画素のエッジ強度：ｅ（ｘ，ｙ）（０≦ｅ（ｘ，ｙ）≦２５５）を上記のようにして得た後、横軸にエッジ強度値、縦軸に画素（ピクセル）数：ｈ（ｉ）をとると、図５，図６に示すような、エッジ強度分布曲線：Ｈ＝｛ｈ（ｉ）｜０≦ｉ≦２５５｝が得られる。但し、図５，図６中のエッジ強度分布は、分布曲線を表示し易くするために、実際のエッジ強度を白黒逆転、つまり、ｅ'（ｘ，ｙ）＝２５５−ｅ（ｘ，ｙ）して得られたものである。
【００２０】
上のようにして得た強度分布曲線を基に暫定閾値を定める方法について、図５，図６を参照して、説明する（なお、この方法の基礎については、特願２００１−５０２９１号、参照）。
まず、分布曲線Ｈ上の最初の非ゼロエッジ強度ibgn（Ａ点）と最多分布数のエッジ強度imax（Ｂ点）を求める（各図の（ａ）、参照）。
次に、Ａ点からＢ点までの分布曲線Ｈの各点とＡ点とＢ点を結ぶ直線Ｌ１の距離を計算し、この距離が最大になる分布曲線Ｈ上の点（Ｃ点）を探し出す（各図の（ａ）、参照）。このとき、Ｃ点に対応するエッジ強度をidmax1とする。
次に、Ａ点からＣ点までの分布曲線Ｈの各点とＡ点とＣ点を結ぶ直線Ｌ２の距離を計算し、この距離が最大になる分布曲線Ｈ上の点（Ｄ点）を探し出す（各図の（ｂ）、参照）。このとき、Ｄ点に対応するエッジ強度をidmax2とする。
次に、Ｄ点からＣ点までの分布曲線Ｈの各点とＤ点とＣ点を結ぶ直線Ｌ３の距離を計算し、この距離が最大になる分布曲線Ｈ上の点（Ｅ点）を探し出す（各図の（ｂ）、参照）。このとき、Ｅ点に対応するエッジ強度をidmax3とする。
【００２１】
ここで、エッジ強度分布曲線Ｈの特性を調べる。そのために、Ａ点とＣ点の間のエッジ分布曲線Ｈの各点と線分Ｌ２の距離を示す曲線cdist、曲線cdistのｎ点移動平均曲線cdistavを生成し、曲線cdistと曲線cdistavの交点数により、エッジ強度分布曲線Ｈを複雑分布と単純分布のいずれかに分類、つまり単調な曲線であるか否かを峻別する（各図の（ｃ）、参照）。具体的には、曲線cdistと曲線cdistavの交点数が２回以上の場合、このエッジ強度分布曲線は、複雑分布とし、それ以外の場合に単純分布とする。図５（ｃ）の例では、交点数１、即ち単純分布であり、図６（ｃ）の例では、交点数２、即ち複雑分布であると分類される。
上記した手順でエッジ強度分布曲線Ｈの特性を曲線の形状（曲線cdistと曲線cdistavの交点数）によって、複雑分布か、単純分布かに峻別し、それぞれに応じたエッジ判別の閾値Thrを暫定閾値として、下記に示すように定める。
Thr=idmax2、交点数＜2 式(5)
Thr=1dmax3、交点数≧2 式(6)
例示においては、上記式(5)は、図５（ｂ）或いは（ｃ）におけるＤ点に対応するidmax2を閾値とし、上記式(6)は、図６（ｂ）或いは（ｃ）におけるＥ点に対応するidmax3を閾値とすることを意味する。なお、上記の
【００２２】
図３のフローに説明を戻すと、上記のようにして、強度分布曲線を基に各部分領域の暫定閾値を定めた後、最終的に実際に適用する閾値（以下、「適用閾値」という）を算出するステップを実行する（Ｓ３３）。このステップは、暫定閾値をそのまま採用すると部分領域の境界に不連続性を生じる虞があるからで、それを緩和するために行う。適用閾値の算出法は、算出しようとしている注目（自）部分領域の暫定閾値と隣接領域の適用閾値の荷重平均値として、その値を求めるという方法による。
ここで、適用閾値の算出法について、詳細に説明する。
先ず、注目部分領域とそれの隣接領域の概念を明らかにする。図４を参照すると、主（ｘ方向）走査・副（ｙ方向）走査により原稿面が読み取られるという前提で、図示のように、処理対象のカラー原稿読み取り画像Iにx-y座標系を設定し、画像IをX(width)×Y(height)の大きさとする。X,Yは、いずれも整数である。画像IをM×N個の部分領域に等分割する。M,Nは、いずれも整数である。上記のように分割した部分領域を座標系に沿って配列する（M×N個の配列のインデックスを(m,n)とする）と、M×N個の部分領域の単位領域s(m,n)の集合として、画像Iの全領域Sは、
S={s(m,n)|0≦m<M,0≦n<N} 式(7)
として表すことができる。
【００２３】
画像Iは主（ｘ方向）走査・副（ｙ方向）走査形式で読み取られて入力されてくるので、画像処理の順序は、図示の左から右へ、上から下へ向かう方向になるので、注目部分領域s(m,n)に対する隣接部分領域NB(s(m,n))は、s(u,v)の集合、
NB(s(m,n))={s(u,v)} 式(8)
として表すことができる。
本実施例では、u,vを下記式(9),(10)に従い定める。
max(0,m-2)≦u≦min(N-1,m+2) 但し、v<nのとき
max(0,m-2)≦u≦m 但し、v≧n 式(9)
max(0,n-2)≦v≦n 式(10)
【００２４】
図７に、このようにして定める隣接部分領域{s(u,v)}の具体例を示す。
図７に示す例では、画像Iの寸法X(width)とY(height)を（1200×2000）、つまり、横1200画素、縦2000画素とする。画像IをM(6)×N(10)個の部分領域に分割する。即ち、横6等分（従って、m=0,1,…,5）、縦10等分（従って、n=0,1,…,9）、計60個の部分領域に分割されることになり、各部分領域の画素（ピクセル）数は（200×200）個である。
ここで、注目部分領域s(m,n)に対する隣接部分領域NB(s(m,n))={s(u,v)}の関係は、例えば、図７に示すように、注目部分領域を領域s(2,4)とすると、隣接部分領域は、
となる。
つまり、注目部分領域の（左上、上、右上、左）の部分領域の集まりを隣接部分領域とする（図４の網掛け部分、参照）。この領域は、画像処理の走査方向から、隣接部分領域を注目部分領域より先に処理された部分領域の一部とすることを意味している。
【００２５】
次いで、上記具体例に示すように隣接部分領域を設定して、注目部分領域s(m,n)における適用閾値を求める手順を説明する。
適用閾値は、部分領域 s(m,n)の暫定閾値をそのまま使用すると生じうる部分領域の境界における不連続性を緩和するために採用するもので、注目部分領域s(m,n)の暫定閾値tmpthr(m,n)と隣接部分領域s(u,v)の暫定閾値tmpthr(u,v)に基づいて、それらを荷重平均することにより算出する。
その算出方法を説明すると、注目部分領域s(m,n)の暫定閾値tmpthr(m,n)の重み係数をw(m,n)、隣接部分領域s(u,v)∈NB(s(m,n))の暫定閾値tmpthr(u,v)の重み係数をw(u,v)とする。ここに、重み係数をw(m,n)、w(u,v)は、次の条件を満たす値をとる。
0<w(m,n)<1，0<w(u,v)<1；w(m,n)+Σ{w(u,v)}=1 式(12)
注目部分領域s(m,n)に用いる適用閾値thr(m,n)は、
thr(m,n)=w(m,n)・tmpthr(m,n)+Σ{w(u,v)・tmpthr(u,v)} 式(13)
とし、この値により、エッジを裏写りエッジと非裏写りエッジに判別するためのエッジ強度値の閾値処理をする（図３、ステップＳ３４）。
【００２６】
ここで、適用閾値thr(m,n)の具体的な計算例を示す。
例えば、注目部分領域s(2,4)について示す。
注目部分領域s(2,4)の隣接部分領域は、
NB(s(2,4))={s(0,2),s(1,2),s(2,2),s(3,2),s(4,2),s(0,3),s(1,3),s(2,3),s(3,3),s(4,3),s(0,4),s(1,4)}
である（図７参照）。
また、注目部分領域s(2,4)の暫定閾値を、tmpthr(2,4)=232とし、
NB(s(2,4))中の各部分領域の暫定閾値を、{tmpthr(0,2),tmpthr(1,2),tmpthr(2,2),tmpthr(3,2),tmpthr(4,2),tmpthr(0,3),tmpthr(1,3),tmpthr(2,3),tmpthr(3,3),tmpthr(4,3),tmpthr(0,4),tmpthr(1,4)}=(210,211,212,213,214,220,221,222,223,224,230,231)とし、
注目部分領域s(2,4)の重み係数を、w(2,4)=0.28とし、
隣接部分領域NB(s(2,4))中の12個の部分領域の重み係数を、全てw(u,v)=0.06とする。
この重み係数の設定では、式(12)のw(m,n)+Σ{w(u,v)}=0.28+120×0.06=1.0が満たされる。
このとき、注目部分領域s(2,4)の適用閾値は、検出した各暫定閾値、設定した重み係数を式(13)に代入し、
thr(2,4)=0.28×232+{(0.06×210)+(0.06×211)+‥‥+(0.06×231)}=224
として算出する。
【００２７】
上記した適用閾値の算出に続いて、図３のフローチャートに示すように、適用閾値thr(m,n)を部分領域s(m,n)各々に用いて部分領域毎にエッジを裏写りエッジと非裏写りエッジに判別する（Ｓ３４）。
このエッジの判別処理を行うことにより、図３に示すフローを終了するが、エッジの判別処理過程は、図２に示したステップＳ２３の「裏写りの可能性が高い画素検出」に当たるので、この後、図２のフローチャートに示すように、「裏写り除去・修復」を行う（Ｓ２４）。裏写り除去・修復処理では、エッジを裏写りエッジと非裏写りエッジに判別した結果に従い、入力された原稿読み取り画像から生成した非裏写りエッジのみのエッジ画像を用いて、同原稿読み取り画像の裏写りを除去し、所望の画像に修復する処理、即ち、「色補正処理」を行う。
「色補正処理」は、下記(1)〜(3)を行うことにより実施し得る。なお、この処理の詳細は、上記した先行例（特開２００１−１６９０８０号）中に示された方法が適用できるので、この先行例の色補正処理に関する記述を引用することとする。
(1) 領域選択的な局所的カラー閾値処理による背景色推定
非裏写りエッジの背景色を２色化処理、即ち背景の画素を２つの代表色に分類し、背景の所定処理領域を明るい方の色で置き換える。
(2) 画像の合成
エッジ周辺については原画像を、それ以外は上記(1)で推定した背景色を用いて裏写り除去画像を合成する。
(3) 多重スケールのエッジ差分解析による裏写り除去画像の修正
上記(1)での操作の副作用として原画像にない偽エッジが発生した場合に、その周囲をより小さい領域で背景色推定を行い、裏写り除去画像を修正する。
【００２８】
また、処理したカラー画像は、図２のフローチャートに示すように、この後、カラー画像情報処理装置としてのカラー複写機等に用いるために、出力する（Ｓ２５）。
複写機の場合、上記した裏写り補正処理が施された後、出力される画像情報を受け取る処理段において、さらにガンマ補正、ＭＴＦ補正等の中間調処理を行い、その後に、画像形成部に作像情報として送り込み、そこで印刷出力処理に用いる。
【００２９】
また、本発明においては、カラー画像情報処理装置としてのカラー複写機等の制御部、或いはカラー画像情報処理装置を構成するＰＣのＣＰＵに上記で示したカラー画像情報処理方法を実行するためのプログラムに従う動作を行わせることにより、目的とする機能を実現することができる。
上記した実施例装置では、カラー画像情報処理システム（図１）に備えたＲＯＭ２にこのプログラムを記憶する。通常、ハードウェアとしての装置が製造された段階或いは装置が既に使用されている段階で、ＲＯＭ２に新規書き込み又は書き換えによりインストールされる。インストールの方法は、インストールするプログラムを入力Ｉ／Ｆ１を介してホスト装置等からダウンロードするか、又はコンピュータ読み取り可能な記録媒体としてのフロッピーディスク，ＣＤ−ＲＯＭ，ＩＣカード等の記録媒体にプログラムを記録し、記録されたプログラムをドライブ（読み出し装置）により読み出し、ＲＯＭ２に書き込むという方法により行う。上記のようにしてＲＯＭ２に記憶されたプログラムを用いてＣＰＵ３は、裏写り補正処理に係わる処理を実行する。
【００３０】
【発明の効果】
（１）請求項１の発明に対応する効果
処理対象としての原稿画像情報から画像のエッジ強度を画素単位で検出するステップ、前記ステップで検出されたエッジ強度を所定の閾値により閾値処理することにより、各画素を裏写りエッジと非裏写りエッジとに判別するステップの各ステップよりなるカラー画像情報処理方法であって、前記判別ステップに用いる閾値を求めるためのステップとして、前記原稿画像を所定の大きさに区分した部分領域毎に、該領域に含まれる画素群のエッジ強度分布曲線を作成するステップ、前記ステップで作成したエッジ強度分布曲線の複雑度に応じた変量値をとる暫定閾値を求めるステップ、前記ステップで求めた自領域の暫定閾値と隣接領域の暫定閾値の荷重平均値を算出するステップの各ステップを実行するため、高度な処理能力、大規模なメモリ等を要することなく、先行例と同等の速度で処理を行うことを可能にし、暫定閾値をそのまま使用すると生じうる部分領域の境界における不連続性を緩和することができる。
（２）請求項２，３の発明に対応する効果
上記（１）の効果に加え、高度な処理能力、大規模なメモリ等を要することなく、先行例と同等の速度で処理を行うことを可能にする暫定閾値を求める手順を簡単な手順で実現でき、エッジ強度分布曲線が、単純分布を示す場合或いは単純分布を示さない場合のいずれでも、適正値を得ることが可能になる。
【００３１】
（３）請求項４，５の発明に対応する効果
カラー画像情報を処理するＣＰＵに請求項１〜３記載のカラー画像情報処理方法を実行するためのプログラムに従う動作を行わせることにより、目的とするエッジ強度法による裏写りの除去・修復に係わる処理を容易に実行することが可能になる。
（４）請求項６の発明に対応する効果
複写機、スキャナ、プリンタ、文書画像解析や認識装置等のカラー画像情報処理装置において、上記（３）の効果を実現することができ、カラー画像情報処理装置の性能の向上を図ることが可能になる。
【図面の簡単な説明】
【図１】 本発明の実施例に係るカラー画像情報処理装置のブロック図を示す。
【図２】 図１に示したカラー画像情報処理装置において行う裏写り補正処理手順の概要を示すフローチャートである。
【図３】 図２に示した裏写り画素を検出するために行うエッジ判別処理の手順を示すフローチャートである。
【図４】 処理対象の読み取りの画像に設定された部分領域、注目部分領域に対する隣接領域の概念を説明するための図である。
【図５】 裏写り画像を持つ部分領域のエッジ強度分布を示し、強度分布曲線を基に、暫定閾値を定める方法を説明するための線図である。
【図６】 図５と異なる裏写り画像を持つ部分領域のエッジ強度分布を示し、強度分布曲線を基に、暫定閾値を定める方法を説明するための線図である。
【図７】 注目部分領域s(m,n)に対する隣接部分領域NB(s(m,n))={s(u,v)}の関係の具体例にて説明するための図である。
【符号の説明】
１…入力Ｉ／Ｆ、 ２…ＲＯＭ、
３…ＣＰＵ、 ４…ＲＡＭ、
５…出力Ｉ／Ｆ I…処理対象のカラー原稿読み取り画像。
【発明の属する技術分野】
この発明は、カラー画像情報の処理に関し、原稿の読み取り画像情報に発生する裏写りのような、雑音とみなされる画像情報を除去・修復する処理を行うためのカラー画像情報処理方法、該方法をコンピュータ（ＣＰＵ）に実行させるためのプログラム、該プログラムをコンピュータ読み取り可能に記録した記録媒体、及び前記プログラムを搭載したカラー画像情報処理装置に関する。
【０００２】
【従来の技術】
カラースキャナやデジタルカラー複写機で両面印刷されたカラー原稿を入力すると、原稿裏面の画像が表（おもて）面に現れ、入力したカラー画像情報に雑音として混入することがある。この現象は、原稿用紙が薄いときに、紙を通して裏面が透けて現れるもので、カラー画像を印刷した紙媒体の多様化とともに、顕著化するようになってきており、これを表面画像に「裏写り」が生じたと言う。
入力したカラー画像情報に混入する「裏写り」画像を除去する従来の方法として、両面をそれぞれ入力して得た画像情報を処理する方法と、入力した片面のみの画像情報を処理する方法が知られている。前者の方法は、裏面の画像により雑音である裏写り画像を特定し、特定した裏写り画像により表面の補正処理を行う方法であるが、両面の入力や、入力画像相互に厳密な位置合わせが必要であるといった制約があり、汎用性に問題があるとされており、ここでは、後者の片面の入力画像のみで裏写り画像を除去する方法を対象としている。
裏写り画像の除去を、片面の入力画像のみで行う方法として、これまで、濃度や色の分布を解析し、裏写りの判別を行う方法が提案されているが、複雑な画像になると必ずしも十分な精度が得られない、といった現状にある。
【０００３】
【発明が解決しようとする課題】
そこで、濃度や色の分布を解析する方法を採らずに、片面の入力画像のみで裏写り画像を除去する別の方法が先に提案された。提案された方法は、画像のエッジ部分に着目し、入力されたカラー画像情報のエッジ強度を求め、エッジ強度により画像に存在するエッジが裏写り画像のエッジであるか否かを判別する方法（以下、「エッジ強度法」という）を採用している（特開２００１−１６９０８０号、以下、これを「第１の先行例」という）。
第１の先行例では、裏写り画像のエッジであるか否かを、画像情報から求めたエッジ強度値（後述の本発明の実施例、参照）が、所定の閾値を越えるか否かにより判断している。判別精度は、この時に用いる閾値に依存することになり、この例では、閾値を、ユーザの勘と経験に基づく手動方法や判別分析方法により定めるとしている。
手動方法は、ユーザが勘と経験に基づいて、キーボード入力又はタッチパネル選択などの方法で、最適と思われる閾値を決定する方法であるが、最適値を得るまでの作業の効率低下と操作負担の増加が問題になる。他方、判別分析方法は、画像のエッジ強度ヒストグラムから統計的に最適な閾値を計算する（その原理は、ある閾値によってエッジ強度ヒストグラムが２つのクラスに分離され、クラス間の分散が最大になる閾値を選択する）という手法によっているが、計算コストが高く、計算能力の高くない機器、又は、高い処理速度が要求される機器には不適当である。
【０００４】
そこで、エッジ強度ヒストグラムの解析法を用いるという点では同じであるが、簡略化した計算処理により閾値を求めることにより、処理速度を向上させることを意図した解決方法が、さらに提案された。提案された方法は、エッジ強度ヒストグラムの分布曲線において低い分布を示す部分の曲線が単調増加（減少）であるか否かを判別し、判別結果に従い使用する閾値を選択する条件を変更するというようにし、簡単な計算式をもとにした操作を行うことにより、適正な閾値を簡略な操作により得ることを可能にしている（特願２００１−５０２９１号、以下、これを「第２の先行例」という）。
しかしながら、第２の先行例は、入力された画像（ページ画像）全体を対象として、そのエッジ強度ヒストグラムを得、閾値を求める処理を行うことを意図したものである。従って、簡略化してもなお、計算能力が高くなく、又は内部メモリの制限が厳しい機器には、不向きである。
本発明は、入力したカラー画像情報に混入した裏写りのような、雑音とみなされる（不鮮明な）画像情報を除去・修復処理を行うカラー画像情報処理方法における上記した従来技術及び先行例の問題点に鑑みてなされたものであり、その目的は、エッジ強度ヒストグラムを得、閾値を求める処理を行う場合に、処理能力、即ち計算能力や必要なメモリの容量等、を高度化しなくても、第２の先行例と同等の高速処理を行うことが可能な、エッジ強度法による前記カラー画像情報処理方法、該方法をコンピュータ等の情報処理手段に実行させるためのプログラム、該プログラムをコンピュータ読み取り可能に記録した記録媒体、及び前記プログラムを搭載したカラー画像情報処理装置を提供することにある。
【０００５】
【課題を解決するための手段】
請求項１の発明は、処理対象としての原稿画像情報から画像のエッジ強度を画素単位で検出するステップ、前記ステップで検出されたエッジ強度を所定の閾値により閾値処理することにより、各画素を裏写りエッジと非裏写りエッジとに判別するステップの各ステップよりなるカラー画像情報処理方法であって、前記判別ステップに用いる閾値を求めるためのステップとして、前記原稿画像を所定の大きさに区分した部分領域毎に、該領域に含まれる画素群のエッジ強度分布曲線を作成するステップ、前記ステップで作成したエッジ強度分布曲線の複雑度に応じた変量値をとる暫定閾値を求めるステップ、前記ステップで求めた自領域の暫定閾値と隣接領域の暫定閾値の荷重平均値を算出するステップの各ステップを実行することを特徴とする。
請求項２の発明は、請求項１に記載されたカラー画像情報処理方法において、前記エッジ強度分布曲線の複雑度に応じた変量値をとる暫定閾値を求めるステップが、エッジ強度分布曲線上の最少分布数になる点Ａと最大分布数になる点Ｂを結ぶ線分と該分布曲線との距離が最大になる該分布曲線上の点Ｃを求めるステップ、前記ステップで求めた分布曲線上の点Ａと点Ｃを結ぶ線分と該分布曲線との距離が最大になる該分布曲線上の点Ｄを求めるステップ、前記ステップで求めた分布曲線上の点Ｄと点Ｃ間のエッジ強度分布曲線が単純分布を示す場合に、分布曲線上の点Ｄが示すエッジ強度を暫定閾値として求めるステップの各ステップを実行するステップであることを特徴とする。
請求項３の発明は、請求項１又は２に記載されたカラー画像情報処理方法において、前記エッジ強度分布曲線の複雑度に応じた変量値をとる暫定閾値を求めるステップが、エッジ強度分布曲線上の最少分布数になる点Ａと最大分布数になる点Ｂを結ぶ線分と該分布曲線との距離が最大になる該分布曲線上の点Ｃを求めるステップ、前記ステップで求めた分布曲線上の点Ａと点Ｃを結ぶ線分と該分布曲線との距離が最大になる該分布曲線上の点Ｄを求めるステップ、前記ステップで求めた分布曲線上の点Ｄと点Ｃ間のエッジ強度分布曲線が単純分布を示さない場合に、分布曲線上の点Ｄと点Ｃを結ぶ線分と該分布曲線との距離が最大になる該分布曲線上の点Ｅを求めるステップ、分布曲線上の点Ｅが示すエッジ強度を暫定閾値として求めるステップの各ステップを実行するステップであることを特徴とする。
請求項４の発明は、請求項１乃至３のいずれかに記載されたカラー画像情報処理方法の各ステップをコンピュータに実行させるためのプログラムである。
請求項５の発明は、請求項４に記載されたプログラムをコンピュータ読み取り可能に記録した記録媒体である。
請求項６の発明は、請求項４に記載されたプログラムを搭載したカラー画像情報処理装置である。
【００１２】
【発明の実施の形態】
本発明を添付する図面とともに示す以下の実施例に基づき説明する。
本発明は、入力したカラー画像情報に混入した裏写りのような、雑音とみなされる（不鮮明な）画像情報をエッジ強度法により検出し、除去・修復する処理に係わり、対象ぺージ画像のみを処理し（原稿両面の画像情報を必要とする裏写り除去処理の場合と違い）、しかも、それほど処理能力が高くなく、大規模なメモリ等の処理手段を要することなく行うことを意図するものである。従って、カラー画像情報の処理手段として、汎用性が高く、裏写りのような、雑音とみなされる（不鮮明な）画像情報を処理する場面に広く適用が可能である。以下に示す実施例ではデジタルカラー複写機に組み込むことを意識しているが、例えば、スキャナ、プリンタ、文書画像解析や認識装置等のカラー画像情報処理装置が適用範囲として想定できる。
また、本発明は、エッジ強度法により除去・修復する処理に係わり、上記で先行例として示した特願平１１−３５４４１２号及び特願２００１−５０２９１号に基礎を置く。従って、本実施例の説明の一部については、先行例を参照することとする。
【００１３】
図１は、本発明の実施例に係るカラー画像情報処理装置のブロック図を示す。
この実施例装置は、装置全体の制御、入力情報の処理、出力を行うＣＰＵ３の制御下に入力インタフェース（Ｉ／Ｆ）１、出力Ｉ／Ｆ５、ＲＯＭ２、ＲＡＭ４を接続し、処理システムを構成する。
入力インタフェース（Ｉ／Ｆ）１は、スキャナ等により読み取られた処理対象のデジタル化されたカラー画像情報を、キーボード，タッチパネル又はボタンにより指示された処理パラメータ（閾値など）或いは操作モード等とともに、装置に入力するために機能する。ＲＯＭ２は、カラー画像情報の処理を実行するためのプログラムとして、所謂裏写りを除去・修復する処理プログラムを格納する。ＣＰＵ３は、入力された処理対象のカラー画像情報をＲＯＭ２に格納されたプログラムに従い処理する。処理の際、ＲＡＭ４をワークエリア、即ち入力されたカラー画像のデジタルデータやＣＰＵ３がプログラムに従い処理するデータの一時的な格納場所として用いる。出力Ｉ／Ｆ５は、処理したカラー画像情報を次の処理段（複写機の場合には、画像形成部）、或いはＰＣ（パーソナルコンピュータ）等の外部の利用機に出力する。
【００１４】
図２は、図１に示したカラー画像情報処理装置において行うカラー画像情報の裏写り補正処理手順の概要を示すフローチャートである。
図２を参照して、本実施例の処理手順の概要を説明すると、ＣＰＵ３は先ず、入力Ｉ／Ｆ１により入力した処理対象のカラー画像データを受け取る（Ｓ２１）。受け取ったカラー画像データは、複写機を例にすると、通常、原稿読み取り部で読み取ったＲＧＢ（カラー構成色）画像信号にＡ／Ｄ変換、濃度（レベル）補正などの画像処理を施した後のデジタル画像データである。
次いで、入力されたデジタルカラー画像データに対し、ノイズ除去のための平滑化などの前処理を行う（Ｓ２２）。前処理された入力カラー画像中の裏写りの可能性が高い画素とそれ以外の画素とを判別し、裏写りの可能性が高い画素を検出する（Ｓ２３）。
その後、検出した裏写りの可能性が高い画素について、除去・修復を行う裏写り補正を施す（Ｓ２４）。裏写り補正することにより得られる所望の画像を出力Ｉ／Ｆ５によって出力し（Ｓ２５）、処理フローを終了させる。
【００１５】
ここで、図２の処理フローに示した裏写りの可能性が高い画素の検出について詳細に説明する。
ここで用いる裏写り画素の検出方法は、エッジ強度法に基づいており、原稿画像情報から画像のエッジ強度を画素単位で検出し、検出されたエッジ強度を所定の閾値により閾値処理することにより、各画素を裏写りエッジと非裏写りエッジとに判別する処理を行う。この点では上記した先行例と同じ検出方法を採る。しかしながら、本発明においては、処理能力、即ち計算能力や必要なメモリの容量等、を高度化しなくても、先行例と同等の高速処理を行うことを可能にするために、原稿画像を所定の大きさに区分した部分領域毎に処理を行うという方法を採る。また、部分領域に区分して処理を行ったことにより生じる可能性のある部分領域の境界間の不連続性（エッジ分離が引き起こす）を緩和するための処理を行うようにしている。
【００１６】
本発明では、部分領域の境界間の不連続性を緩和するための処理を、裏写りエッジと非裏写りエッジの判別に実際に適用する閾値を求める場合に、領域毎に求めた閾値を暫定閾値とし、自領域の暫定閾値に隣接領域の暫定閾値を反映させ実際に適用する閾値を求めるという方法により実現する。具体的には、自領域と隣接領域の暫定閾値の荷重平均値として、適用する閾値を算出する。
ここに、上記に言う部分領域と隣接領域の概念を図４を参照して、説明する。図４に示すように、主（ｘ方向）走査・副（ｙ方向）走査により原稿面が読み取られ、その画像Iが入力されてくると仮定した場合、部分領域は走査方向に所定の矩形領域として定め、注目（自）領域s(m,n)と隣接領域{s(u,v)}の関係は、注目領域に対して、隣接領域を網掛けにて示すように、先に走査され、既に暫定閾値が求められた周辺の領域としている（詳細は、後述）。
【００１７】
次に、上記で概要を示した裏写り画素を検出するために行うエッジ判別処理について詳細に説明する
図３は、本実施例のエッジ判別処理のフローチャートを示す。
図示のフローに示す処理は、所定の大きさに区分した原稿画像の各部分領域（図４参照）に適用するものである。
図３を参照すると、先ず、注目部分領域のエッジ強度を画素毎に求め、エッジ強度の分布であるヒストグラムを作成する（Ｓ３１）。
エッジ強度は、部分領域に含まれる全ての画素について算出する。
エッジ強度の計算には、色々な方法があり、いずれの方法でも良く、例えば、「ベクトル法によるエッジ検出方法」（特願平１１−３５４４１２号、参照）を用いることが可能である。この方法によると、各色成分について計算されたエッジ強度の組み合わせにおいて、単純に二乗和の平方根をとるのではなく、成分間の相関関係も考慮する。具体的には、ｕ（ｘ，ｙ），ｖ（ｘ，ｙ），ｗ（ｘ，ｙ）を色の３成分として、画素毎に下記式(1)〜(4)に従い算出する。ここに、ｐ（式(1)），ｔ（式(2)），ｑ（式(3)）で定義すると、画素（ｘ，ｙ）でのエッジ強度は、式(4)で与えられる。なお、画素（ｘ，ｙ）は、図４に示す座標系で画像Ｉ中の画素を示す。また、上記色の３成分、ｕ（ｘ，ｙ），ｖ（ｘ，ｙ），ｗ（ｘ，ｙ）は、入力されたＲＧＢ系を成分間の独立性の高いカラー座標系に変換したものである。
【００１８】
【数１】
次いで、上記で求めた各画素のエッジ強度をもとに、各部分領域毎にエッジ強度分布つまりエッジ強度のヒストグラムを作成する。
この後、作成したエッジ強度分布の曲線の特性（形状）に基づいて、部分領域毎に画像に含まれるエッジを裏写りエッジと非裏写りエッジに判別するための閾値を算出し、それを暫定閾値として定める（Ｓ３２）。
図５，図６は、異なる裏写り画像を持つ部分領域のエッジ強度分布をそれぞれ示し、強度分布曲線を基に、暫定閾値を定める方法を説明するための図である。
部分領域における全画素のエッジ強度：ｅ（ｘ，ｙ）（０≦ｅ（ｘ，ｙ）≦２５５）を上記のようにして得た後、横軸にエッジ強度値、縦軸に画素（ピクセル）数：ｈ（ｉ）をとると、図５，図６に示すような、エッジ強度分布曲線：Ｈ＝｛ｈ（ｉ）｜０≦ｉ≦２５５｝が得られる。但し、図５，図６中のエッジ強度分布は、分布曲線を表示し易くするために、実際のエッジ強度を白黒逆転、つまり、ｅ'（ｘ，ｙ）＝２５５−ｅ（ｘ，ｙ）して得られたものである。
【００２０】
上のようにして得た強度分布曲線を基に暫定閾値を定める方法について、図５，図６を参照して、説明する（なお、この方法の基礎については、特願２００１−５０２９１号、参照）。
まず、分布曲線Ｈ上の最初の非ゼロエッジ強度ibgn（Ａ点）と最多分布数のエッジ強度imax（Ｂ点）を求める（各図の（ａ）、参照）。
次に、Ａ点からＢ点までの分布曲線Ｈの各点とＡ点とＢ点を結ぶ直線Ｌ１の距離を計算し、この距離が最大になる分布曲線Ｈ上の点（Ｃ点）を探し出す（各図の（ａ）、参照）。このとき、Ｃ点に対応するエッジ強度をidmax1とする。
次に、Ａ点からＣ点までの分布曲線Ｈの各点とＡ点とＣ点を結ぶ直線Ｌ２の距離を計算し、この距離が最大になる分布曲線Ｈ上の点（Ｄ点）を探し出す（各図の（ｂ）、参照）。このとき、Ｄ点に対応するエッジ強度をidmax2とする。
次に、Ｄ点からＣ点までの分布曲線Ｈの各点とＤ点とＣ点を結ぶ直線Ｌ３の距離を計算し、この距離が最大になる分布曲線Ｈ上の点（Ｅ点）を探し出す（各図の（ｂ）、参照）。このとき、Ｅ点に対応するエッジ強度をidmax3とする。
【００２１】
ここで、エッジ強度分布曲線Ｈの特性を調べる。そのために、Ａ点とＣ点の間のエッジ分布曲線Ｈの各点と線分Ｌ２の距離を示す曲線cdist、曲線cdistのｎ点移動平均曲線cdistavを生成し、曲線cdistと曲線cdistavの交点数により、エッジ強度分布曲線Ｈを複雑分布と単純分布のいずれかに分類、つまり単調な曲線であるか否かを峻別する（各図の（ｃ）、参照）。具体的には、曲線cdistと曲線cdistavの交点数が２回以上の場合、このエッジ強度分布曲線は、複雑分布とし、それ以外の場合に単純分布とする。図５（ｃ）の例では、交点数１、即ち単純分布であり、図６（ｃ）の例では、交点数２、即ち複雑分布であると分類される。
上記した手順でエッジ強度分布曲線Ｈの特性を曲線の形状（曲線cdistと曲線cdistavの交点数）によって、複雑分布か、単純分布かに峻別し、それぞれに応じたエッジ判別の閾値Thrを暫定閾値として、下記に示すように定める。
Thr=idmax2、交点数＜2 式(5)
Thr=1dmax3、交点数≧2 式(6)
例示においては、上記式(5)は、図５（ｂ）或いは（ｃ）におけるＤ点に対応するidmax2を閾値とし、上記式(6)は、図６（ｂ）或いは（ｃ）におけるＥ点に対応するidmax3を閾値とすることを意味する。なお、上記の
【００２２】
図３のフローに説明を戻すと、上記のようにして、強度分布曲線を基に各部分領域の暫定閾値を定めた後、最終的に実際に適用する閾値（以下、「適用閾値」という）を算出するステップを実行する（Ｓ３３）。このステップは、暫定閾値をそのまま採用すると部分領域の境界に不連続性を生じる虞があるからで、それを緩和するために行う。適用閾値の算出法は、算出しようとしている注目（自）部分領域の暫定閾値と隣接領域の適用閾値の荷重平均値として、その値を求めるという方法による。
ここで、適用閾値の算出法について、詳細に説明する。
先ず、注目部分領域とそれの隣接領域の概念を明らかにする。図４を参照すると、主（ｘ方向）走査・副（ｙ方向）走査により原稿面が読み取られるという前提で、図示のように、処理対象のカラー原稿読み取り画像Iにx-y座標系を設定し、画像IをX(width)×Y(height)の大きさとする。X,Yは、いずれも整数である。画像IをM×N個の部分領域に等分割する。M,Nは、いずれも整数である。上記のように分割した部分領域を座標系に沿って配列する（M×N個の配列のインデックスを(m,n)とする）と、M×N個の部分領域の単位領域s(m,n)の集合として、画像Iの全領域Sは、
S={s(m,n)|0≦m<M,0≦n<N} 式(7)
として表すことができる。
【００２３】
画像Iは主（ｘ方向）走査・副（ｙ方向）走査形式で読み取られて入力されてくるので、画像処理の順序は、図示の左から右へ、上から下へ向かう方向になるので、注目部分領域s(m,n)に対する隣接部分領域NB(s(m,n))は、s(u,v)の集合、
NB(s(m,n))={s(u,v)} 式(8)
として表すことができる。
本実施例では、u,vを下記式(9),(10)に従い定める。
max(0,m-2)≦u≦min(N-1,m+2) 但し、v<nのとき
max(0,m-2)≦u≦m 但し、v≧n 式(9)
max(0,n-2)≦v≦n 式(10)
【００２４】
図７に、このようにして定める隣接部分領域{s(u,v)}の具体例を示す。
図７に示す例では、画像Iの寸法X(width)とY(height)を（1200×2000）、つまり、横1200画素、縦2000画素とする。画像IをM(6)×N(10)個の部分領域に分割する。即ち、横6等分（従って、m=0,1,…,5）、縦10等分（従って、n=0,1,…,9）、計60個の部分領域に分割されることになり、各部分領域の画素（ピクセル）数は（200×200）個である。
ここで、注目部分領域s(m,n)に対する隣接部分領域NB(s(m,n))={s(u,v)}の関係は、例えば、図７に示すように、注目部分領域を領域s(2,4)とすると、隣接部分領域は、
つまり、注目部分領域の（左上、上、右上、左）の部分領域の集まりを隣接部分領域とする（図４の網掛け部分、参照）。この領域は、画像処理の走査方向から、隣接部分領域を注目部分領域より先に処理された部分領域の一部とすることを意味している。
【００２５】
次いで、上記具体例に示すように隣接部分領域を設定して、注目部分領域s(m,n)における適用閾値を求める手順を説明する。
適用閾値は、部分領域 s(m,n)の暫定閾値をそのまま使用すると生じうる部分領域の境界における不連続性を緩和するために採用するもので、注目部分領域s(m,n)の暫定閾値tmpthr(m,n)と隣接部分領域s(u,v)の暫定閾値tmpthr(u,v)に基づいて、それらを荷重平均することにより算出する。
その算出方法を説明すると、注目部分領域s(m,n)の暫定閾値tmpthr(m,n)の重み係数をw(m,n)、隣接部分領域s(u,v)∈NB(s(m,n))の暫定閾値tmpthr(u,v)の重み係数をw(u,v)とする。ここに、重み係数をw(m,n)、w(u,v)は、次の条件を満たす値をとる。
0<w(m,n)<1，0<w(u,v)<1；w(m,n)+Σ{w(u,v)}=1 式(12)
注目部分領域s(m,n)に用いる適用閾値thr(m,n)は、
thr(m,n)=w(m,n)・tmpthr(m,n)+Σ{w(u,v)・tmpthr(u,v)} 式(13)
とし、この値により、エッジを裏写りエッジと非裏写りエッジに判別するためのエッジ強度値の閾値処理をする（図３、ステップＳ３４）。
【００２６】
ここで、適用閾値thr(m,n)の具体的な計算例を示す。
例えば、注目部分領域s(2,4)について示す。
注目部分領域s(2,4)の隣接部分領域は、
NB(s(2,4))={s(0,2),s(1,2),s(2,2),s(3,2),s(4,2),s(0,3),s(1,3),s(2,3),s(3,3),s(4,3),s(0,4),s(1,4)}
である（図７参照）。
また、注目部分領域s(2,4)の暫定閾値を、tmpthr(2,4)=232とし、
NB(s(2,4))中の各部分領域の暫定閾値を、{tmpthr(0,2),tmpthr(1,2),tmpthr(2,2),tmpthr(3,2),tmpthr(4,2),tmpthr(0,3),tmpthr(1,3),tmpthr(2,3),tmpthr(3,3),tmpthr(4,3),tmpthr(0,4),tmpthr(1,4)}=(210,211,212,213,214,220,221,222,223,224,230,231)とし、
注目部分領域s(2,4)の重み係数を、w(2,4)=0.28とし、
隣接部分領域NB(s(2,4))中の12個の部分領域の重み係数を、全てw(u,v)=0.06とする。
この重み係数の設定では、式(12)のw(m,n)+Σ{w(u,v)}=0.28+120×0.06=1.0が満たされる。
このとき、注目部分領域s(2,4)の適用閾値は、検出した各暫定閾値、設定した重み係数を式(13)に代入し、
thr(2,4)=0.28×232+{(0.06×210)+(0.06×211)+‥‥+(0.06×231)}=224
として算出する。
【００２７】
上記した適用閾値の算出に続いて、図３のフローチャートに示すように、適用閾値thr(m,n)を部分領域s(m,n)各々に用いて部分領域毎にエッジを裏写りエッジと非裏写りエッジに判別する（Ｓ３４）。
このエッジの判別処理を行うことにより、図３に示すフローを終了するが、エッジの判別処理過程は、図２に示したステップＳ２３の「裏写りの可能性が高い画素検出」に当たるので、この後、図２のフローチャートに示すように、「裏写り除去・修復」を行う（Ｓ２４）。裏写り除去・修復処理では、エッジを裏写りエッジと非裏写りエッジに判別した結果に従い、入力された原稿読み取り画像から生成した非裏写りエッジのみのエッジ画像を用いて、同原稿読み取り画像の裏写りを除去し、所望の画像に修復する処理、即ち、「色補正処理」を行う。
「色補正処理」は、下記(1)〜(3)を行うことにより実施し得る。なお、この処理の詳細は、上記した先行例（特開２００１−１６９０８０号）中に示された方法が適用できるので、この先行例の色補正処理に関する記述を引用することとする。
(1) 領域選択的な局所的カラー閾値処理による背景色推定
非裏写りエッジの背景色を２色化処理、即ち背景の画素を２つの代表色に分類し、背景の所定処理領域を明るい方の色で置き換える。
(2) 画像の合成
エッジ周辺については原画像を、それ以外は上記(1)で推定した背景色を用いて裏写り除去画像を合成する。
(3) 多重スケールのエッジ差分解析による裏写り除去画像の修正
上記(1)での操作の副作用として原画像にない偽エッジが発生した場合に、その周囲をより小さい領域で背景色推定を行い、裏写り除去画像を修正する。
【００２８】
また、処理したカラー画像は、図２のフローチャートに示すように、この後、カラー画像情報処理装置としてのカラー複写機等に用いるために、出力する（Ｓ２５）。
複写機の場合、上記した裏写り補正処理が施された後、出力される画像情報を受け取る処理段において、さらにガンマ補正、ＭＴＦ補正等の中間調処理を行い、その後に、画像形成部に作像情報として送り込み、そこで印刷出力処理に用いる。
【００２９】
また、本発明においては、カラー画像情報処理装置としてのカラー複写機等の制御部、或いはカラー画像情報処理装置を構成するＰＣのＣＰＵに上記で示したカラー画像情報処理方法を実行するためのプログラムに従う動作を行わせることにより、目的とする機能を実現することができる。
上記した実施例装置では、カラー画像情報処理システム（図１）に備えたＲＯＭ２にこのプログラムを記憶する。通常、ハードウェアとしての装置が製造された段階或いは装置が既に使用されている段階で、ＲＯＭ２に新規書き込み又は書き換えによりインストールされる。インストールの方法は、インストールするプログラムを入力Ｉ／Ｆ１を介してホスト装置等からダウンロードするか、又はコンピュータ読み取り可能な記録媒体としてのフロッピーディスク，ＣＤ−ＲＯＭ，ＩＣカード等の記録媒体にプログラムを記録し、記録されたプログラムをドライブ（読み出し装置）により読み出し、ＲＯＭ２に書き込むという方法により行う。上記のようにしてＲＯＭ２に記憶されたプログラムを用いてＣＰＵ３は、裏写り補正処理に係わる処理を実行する。
【００３０】
【発明の効果】
（１）請求項１の発明に対応する効果
処理対象としての原稿画像情報から画像のエッジ強度を画素単位で検出するステップ、前記ステップで検出されたエッジ強度を所定の閾値により閾値処理することにより、各画素を裏写りエッジと非裏写りエッジとに判別するステップの各ステップよりなるカラー画像情報処理方法であって、前記判別ステップに用いる閾値を求めるためのステップとして、前記原稿画像を所定の大きさに区分した部分領域毎に、該領域に含まれる画素群のエッジ強度分布曲線を作成するステップ、前記ステップで作成したエッジ強度分布曲線の複雑度に応じた変量値をとる暫定閾値を求めるステップ、前記ステップで求めた自領域の暫定閾値と隣接領域の暫定閾値の荷重平均値を算出するステップの各ステップを実行するため、高度な処理能力、大規模なメモリ等を要することなく、先行例と同等の速度で処理を行うことを可能にし、暫定閾値をそのまま使用すると生じうる部分領域の境界における不連続性を緩和することができる。
（２）請求項２，３の発明に対応する効果
上記（１）の効果に加え、高度な処理能力、大規模なメモリ等を要することなく、先行例と同等の速度で処理を行うことを可能にする暫定閾値を求める手順を簡単な手順で実現でき、エッジ強度分布曲線が、単純分布を示す場合或いは単純分布を示さない場合のいずれでも、適正値を得ることが可能になる。
【００３１】
（３）請求項４，５の発明に対応する効果
カラー画像情報を処理するＣＰＵに請求項１〜３記載のカラー画像情報処理方法を実行するためのプログラムに従う動作を行わせることにより、目的とするエッジ強度法による裏写りの除去・修復に係わる処理を容易に実行することが可能になる。
（４）請求項６の発明に対応する効果
複写機、スキャナ、プリンタ、文書画像解析や認識装置等のカラー画像情報処理装置において、上記（３）の効果を実現することができ、カラー画像情報処理装置の性能の向上を図ることが可能になる。
【図面の簡単な説明】
【図１】 本発明の実施例に係るカラー画像情報処理装置のブロック図を示す。
【図２】 図１に示したカラー画像情報処理装置において行う裏写り補正処理手順の概要を示すフローチャートである。
【図３】 図２に示した裏写り画素を検出するために行うエッジ判別処理の手順を示すフローチャートである。
【図４】 処理対象の読み取りの画像に設定された部分領域、注目部分領域に対する隣接領域の概念を説明するための図である。
【図５】 裏写り画像を持つ部分領域のエッジ強度分布を示し、強度分布曲線を基に、暫定閾値を定める方法を説明するための線図である。
【図６】 図５と異なる裏写り画像を持つ部分領域のエッジ強度分布を示し、強度分布曲線を基に、暫定閾値を定める方法を説明するための線図である。
【図７】 注目部分領域s(m,n)に対する隣接部分領域NB(s(m,n))={s(u,v)}の関係の具体例にて説明するための図である。
【符号の説明】
１…入力Ｉ／Ｆ、 ２…ＲＯＭ、
３…ＣＰＵ、 ４…ＲＡＭ、
５…出力Ｉ／Ｆ I…処理対象のカラー原稿読み取り画像。
Claims (6)
- 処理対象としての原稿画像情報から画像のエッジ強度を画素単位で検出するステップ、前記ステップで検出されたエッジ強度を所定の閾値により閾値処理することにより、各画素を裏写りエッジと非裏写りエッジとに判別するステップの各ステップよりなるカラー画像情報処理方法であって、前記判別ステップに用いる閾値を求めるためのステップとして、前記原稿画像を所定の大きさに区分した部分領域毎に、該領域に含まれる画素群のエッジ強度分布曲線を作成するステップ、前記ステップで作成したエッジ強度分布曲線の複雑度に応じた変量値をとる暫定閾値を求めるステップ、前記ステップで求めた自領域の暫定閾値と隣接領域の暫定閾値の荷重平均値を算出するステップの各ステップを実行することを特徴とするカラー画像情報処理方法。
- 請求項１に記載されたカラー画像情報処理方法において、前記エッジ強度分布曲線の複雑度に応じた変量値をとる暫定閾値を求めるステップが、エッジ強度分布曲線上の最少分布数になる点Ａと最大分布数になる点Ｂを結ぶ線分と該分布曲線との距離が最大になる該分布曲線上の点Ｃを求めるステップ、前記ステップで求めた分布曲線上の点Ａと点Ｃを結ぶ線分と該分布曲線との距離が最大になる該分布曲線上の点Ｄを求めるステップ、前記ステップで求めた分布曲線上の点Ｄと点Ｃ間のエッジ強度分布曲線が単純分布を示す場合に、分布曲線上の点Ｄが示すエッジ強度を暫定閾値として求めるステップの各ステップを実行するステップであることを特徴とするカラー画像情報処理方法。
- 請求項１又は２に記載されたカラー画像情報処理方法において、前記エッジ強度分布曲線の複雑度に応じた変量値をとる暫定閾値を求めるステップが、エッジ強度分布曲線上の最少分布数になる点Ａと最大分布数になる点Ｂを結ぶ線分と該分布曲線との距離が最大になる該分布曲線上の点Ｃを求めるステップ、前記ステップで求めた分布曲線上の点Ａと点Ｃを結ぶ線分と該分布曲線との距離が最大になる該分布曲線上の点Ｄを求めるステップ、前記ステップで求めた分布曲線上の点Ｄと点Ｃ間のエッジ強度分布曲線が単純分布を示さない場合に、分布曲線上の点Ｄと点Ｃを結ぶ線分と該分布曲線との距離が最大になる該分布曲線上の点Ｅを求めるステップ、分布曲線上の点Ｅが示すエッジ強度を暫定閾値として求めるステップの各ステップを実行するステップであることを特徴とするカラー画像情報処理方法。
- 請求項１乃至３のいずれかに記載されたカラー画像情報処理方法の各ステップをコンピュータに実行させるためのプログラム。
- 請求項４に記載されたプログラムをコンピュータ読み取り可能に記録した記録媒体。
- 請求項４に記載されたプログラムを搭載したカラー画像情報処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001112518A JP4049296B2 (ja) | 2001-04-11 | 2001-04-11 | カラー画像情報処理方法、該方法の実行に用いるプログラム、及びカラー画像情報処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001112518A JP4049296B2 (ja) | 2001-04-11 | 2001-04-11 | カラー画像情報処理方法、該方法の実行に用いるプログラム、及びカラー画像情報処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002314790A JP2002314790A (ja) | 2002-10-25 |
| JP4049296B2 true JP4049296B2 (ja) | 2008-02-20 |
Family
ID=18963920
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001112518A Expired - Fee Related JP4049296B2 (ja) | 2001-04-11 | 2001-04-11 | カラー画像情報処理方法、該方法の実行に用いるプログラム、及びカラー画像情報処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4049296B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4158563B2 (ja) * | 2003-03-12 | 2008-10-01 | ブラザー工業株式会社 | 両面記録装置 |
| EP1914667A3 (en) * | 2006-03-24 | 2008-05-07 | MVTec Software GmbH | System and methods for automatic parameter determination in machine vision |
| JP4936076B2 (ja) * | 2008-09-30 | 2012-05-23 | ブラザー工業株式会社 | 画像読取装置、及び画像読取方法 |
| JP6115214B2 (ja) * | 2012-05-22 | 2017-04-19 | 株式会社リコー | パターン処理装置、パターン処理方法、パターン処理プログラム |
-
2001
- 2001-04-11 JP JP2001112518A patent/JP4049296B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002314790A (ja) | 2002-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3809404B2 (ja) | 画像処理方法、装置およびシステム | |
| JP3833153B2 (ja) | 画像処理方法及び装置 | |
| JP3904840B2 (ja) | 多値画像から罫線を抽出する罫線抽出装置 | |
| JP3768052B2 (ja) | カラー画像処理方法、カラー画像処理装置、及びそのための記録媒体 | |
| US8457403B2 (en) | Method of detecting and correcting digital images of books in the book spine area | |
| US20070253040A1 (en) | Color scanning to enhance bitonal image | |
| JP3830998B2 (ja) | 罫線除去方法及びこれを用いた文字認識装置 | |
| CN102612833B (zh) | 用于检测空白页的方法以及相应的多功能机 | |
| JP3698136B2 (ja) | 画像処理装置および画像処理プログラム | |
| JP4852059B2 (ja) | 文書画像の２値化性能を改善するノイズ除去装置及びノイズ除去プログラム | |
| JP4164489B2 (ja) | 文書画像強調方法、装置及びそのための記憶媒体 | |
| JP4049296B2 (ja) | カラー画像情報処理方法、該方法の実行に用いるプログラム、及びカラー画像情報処理装置 | |
| RU2458396C1 (ru) | Способ редактирования статических цифровых комбинированных изображений, включающих в себя изображения нескольких объектов | |
| JP3830350B2 (ja) | カラー画像処理方法、カラー画像処理装置、プログラム、及び記録媒体 | |
| JP2002300404A (ja) | 画像処理方法及び画像処理装置 | |
| JP4517288B2 (ja) | 画像処理装置、画像処理方法及びそのプログラム | |
| JP3989647B2 (ja) | 画像処理方法，装置および記録媒体 | |
| JP5825142B2 (ja) | 画像処理装置、画像処理方法およびコンピュータープログラム | |
| JP2003281469A (ja) | 文書画像処理方法 | |
| JP2003046781A (ja) | 画像処理方法及び装置 | |
| JP4005243B2 (ja) | 画像処理装置 | |
| JP4517287B2 (ja) | 画像処理装置、画像処理方法及びそのプログラム | |
| JP2009223566A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP3977112B2 (ja) | カラー画像処理方法およびカラー画像処理装置 | |
| JP2002252768A (ja) | カラー画像処理装置、カラー画像処理方法、カラー画像処理プログラム、及び記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060323 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070807 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070824 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071003 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071122 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071122 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101207 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101207 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111207 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111207 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121207 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131207 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |