JP3768052B2 - カラー画像処理方法、カラー画像処理装置、及びそのための記録媒体 - Google Patents
カラー画像処理方法、カラー画像処理装置、及びそのための記録媒体 Download PDFInfo
- Publication number
- JP3768052B2 JP3768052B2 JP35441299A JP35441299A JP3768052B2 JP 3768052 B2 JP3768052 B2 JP 3768052B2 JP 35441299 A JP35441299 A JP 35441299A JP 35441299 A JP35441299 A JP 35441299A JP 3768052 B2 JP3768052 B2 JP 3768052B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- show
- edge
- color image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
- H04N1/4095—Correction of errors due to scanning a two-sided document, i.e. show-through correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Color Image Communication Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、カラー画像処理方法、該方法を実施するためのカラー画像処理装置、及び前記方法を実行させるための、又は前記装置の機能を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関し、より詳細には、両面印刷されている文書において裏面の画像が透けて表面の画像の中に混ざって入力される「裏写り」を除去することが可能なカラー画像処理方法、該方法を実施するためのカラー画像処理装置、及び前記方法を実行させるための、又は前記装置の機能を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
図４は、裏写りのあるカラー画像の例を示す図である。カラースキャナ，デジタルカメラ，デジタルカラーコピアなどのカラー画像入力機器の普及により、本，雑誌，カタログ，広告，新聞などの文書画像も、カラーで入力されるのが一般的になってきている。これらの文書では、紙の両面に印刷されていることがしばしばあるので、図４に示すように、裏面の画像が透けて、表面の画像の中に混ざって入力される「裏写り」が生じる。さらに、カラー文書の場合、背景色が一様でなかったり、絵柄、模様、写真が混在していることが多い。このため、デジタル画像処理によって、入力された画像から「裏写り」を除去する問題は、画質向上のために重要でありながら、取り扱いの難しいものとされてきた。
【０００３】
（１）これまでにも、ブックスキャナや両面スキャナなどの特殊な入力機器を中心とした、裏写り除去方法が提案されている。例えば、特開平７−８７２９５号公報、特開平８−２６５５６３号公報、特開平９−２０５５４４号公報、特開平９−２３３３１９号公報、米国特許第５９７３７９２号公報、米国特許第５９３２１３７号公報等が提案されている。
【０００４】
米国特許第５９３２１３７号公報には、画面の画像をスキャンして蓄積することを基本とした裏写り効果を緩和する画像処理方法及び装置が記載されている。本公報に記載の発明は、両面印刷されて少なくとも第１面に第２面からの裏写りがあるような原稿をスキャンして第１面と第２面の画像を蓄積し、第２面画像から第１面への裏写り成分に対応する表現を生成（鏡像変換し、位置合わせする）後、第２面画像の表現の関数として裏写りを第１面の除去して修正する（裏写り係数を使う）ことを特徴としている。さらに、裏写り効果を緩和する画像処理方法として、両面印刷されて第１面に第２面からの裏写りがあるような原稿の第１面、次に第２面をスキャンして第１面と第２面の画像を蓄積し、第２面画像から第１面へ（及び第１面画像から第２面へ）の裏写り成分に対応する表現を生成し（鏡像変換し、位置合わせする）、第２面画像（第１面画像）の表現の関数として裏写りを第１面（第２面）の除去して修正する（裏写り係数を使う）ことを特徴としている。さらに、本公報には、両面印刷されて少なくとも第１面に第２面からの裏写りがあるような原稿をスキャンして第１面と第２面の画像を蓄積するスキャナと、第２面画像から第１面への裏写り成分に対応する表現を生成する画像処理回路（鏡像変換し、位置合わせする）と、第２面画像の表現の関数として裏写りを第１面の除去し、修正する画像処理手段（裏写り係数を使う）とを具備し、裏写り効果を緩和した画像の印刷を行う裏写り効果を緩和する文書印刷システムが記載されている。
【０００５】
上述の方法では、まず、入力した紙の両面の画像を正確に位置合わせし、両面の画像を比較することによって、紙の透過係数を推定する。そして、その透過係数を利用して、裏写り成分を表の画像から差し引くことによって、裏写りを除去している。ところが、これらの方式は、両面の画像を入力・蓄積して、かつ、位置合わせが正確にできるような、特殊な入力機器・環境にしか適用できないのが問題である。
【０００６】
（２）さらに、片面の画像情報だけを用いて、画像の濃度の解析や二値化に基づく方式も提案されている。例えば、特開平１１−１８７２６６号公報、特開平１１−４１４６６号公報、「J. Sauvola, T. Seppanen, S. Haapakoski, and M. Pietikainen, "Adaptive document binarization," Proc. 4th Int. Conf. Document Analysis and Recognition (Ulm, Germany), August 18-20, 1997, pp. 142？146.」、米国特許第５６４６７４４号公報、米国特許第５８３２１３７号公報等が提案されている。しかしながら、複雑な画像になると、濃度や色の分布を用いて、表面の画像と裏写りを判別することは難しくなる。特に、背景とのコントラストが小さい文字、たとえば、白地上の黄色文字などを裏写りとして処理してしまう危険性が生じる。
【０００７】
【発明が解決しようとする課題】
上述のごとく、前記（１）の方式は、両面の画像を入力・蓄積して、かつ、位置合わせが正確にできるような、特殊な入力機器・環境にしか適用できないのが問題である。
【０００８】
また、前記（２）の方式は、複雑な画像になると、濃度や色の分布を用いて、表面の画像と裏写りを判別することは難しくなり、特に、背景とのコントラストが小さい文字、たとえば、白地上の黄色文字などを裏写りとして処理してしまう危険性が生じる。
【０００９】
本発明は、上述のごとき実情に鑑みてなされたものであり、両面印刷されて第１面に第２面からの裏写りがあるようなカラー原稿をスキャンする際、特殊な入力デバイスに依存することなく、汎用性が高く、しかも紙の片面の画像情報だけを用いて、カラー画像から裏写りを除去することが可能なカラー画像処理方法、その方法を実施するためのカラー画像処理装置、及びその方法並びにその装置の機能を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することをその目的とする。
【００１０】
【課題を解決するための手段】
本発明は、紙の両面にカラー印刷された原稿をデジタル入力して得られるデジタルカラー画像に対して、エッジ強度検出とカラー閾値処理に基づいて、裏写り成分を除去することを特徴としたものである。
【００１１】
本発明は、紙の両面にカラー印刷された原稿をデジタル入力して得られるデジタルカラー画像に対して、エッジ強度検出とカラー閾値処理に基づいて、裏写り成分を除去し、結果として得られる裏写り除去画像と原画像のエッジ分布を比較し、裏写り除去画像において、原画像に存在しないエッジの周囲について、再度カラー閾値処理を適用し、画像を修正することを特徴としたものである。
【００１２】
さらに、本発明は、カラー閾値処理は、検出されたエッジ強度を二値化して得られるエッジ分布において、エッジが存在しない部分に、予め決められる大きさのウィンドウを設定して、局所的にウィンドウ内の画素を２つの色に分類し、輝度の大きい（明るい）色で、ウィンドウ内の画素の色を置換えることを特徴としたものである。
【００１３】
さらに、本発明は、裏面の原稿の入力を必要とせずに、表の画像のエッジ強度検出とカラー閾値処理に基づいて、裏写り成分を除去することを特色としたものである。
【００１４】
さらに、本発明は、裏写り除去画像において、原画像に存在しないエッジの周囲について、再度カラー閾値処理を適用し、画像を修正する際に、請求項３におけるウィンドウの大きさを前回の処理よりも小さく設定することを特徴としたものである。
【００１５】
さらに、本発明は、裏写り除去画像と原画像のエッジ分布の比較において、各画素について、裏写り除去画像で計算されたエッジ強度から原画像で計算されたエッジ強度を差し引き、その値が予め決めた閾値以上のものを、裏写り除去画像において、原画像に存在しないエッジと決めることを特徴としたものである。
【００１８】
請求項１の発明は、紙の両面にカラー印刷された原稿の片面をデジタル入力して得られるデジタルカラー原画像に対してエッジを検出し、該検出したエッジの強度の低い部分に対する前記紙の背景色又は前記片面側の背景色画像を推定し、前記原画像において、裏写り成分である前記エッジ強度の低い部分を前記推定した背景色又は背景色画像に置き換えるカラー閾値処理を行うことにより、前記裏写り成分を除去した裏写り除去画像を生成するものであって、前記カラー閾値処理は、前記エッジ強度を二値化処理し、該エッジ強度が閾値以上の画素をｏｎ画素、前記エッジ強度が閾値より小さい画素をｏｆｆ画素として得られるエッジ分布において、前記ｏｆｆ画素の領域に対して、予め決めた大きさのウィンドウを設定して、各ウィンドウ内の画素を２つの色に分類し、該２つの色のうち輝度の大きい方の色を背景色と推定し、該推定した背景色で前記各ウィンドウ内の画素の色を置き換えることにより、前記原画像を前記背景色画像に置き換えることを特徴とする。
【００１９】
請求項２の発明は、請求項１の発明において、前記ｏｆｆ画素の領域に対して、横（又は縦）方向の各ラインにランを構成し、該横（又は縦）方向のランを用いて前記背景色又は背景色画像を推定し、さらに、該推定した横（又は縦）方向の背景色又は背景色画像に対して、縦（又は横）方向の各ラインにランを構成し、該縦（又は横）方向のランを用いて背景色又は背景色画像を推定し、前記ｏｆｆ画素に対応する前記原画像の画素を該推定した縦（又は横）方向の背景色又は背景色画像の画素で置き換えることにより、前記原画像を前記背景色又は背景色画像に置き換えることを特徴とする。
【００２０】
請求項３の発明は、請求項１又は２の発明において、前記エッジ強度の二値化処理における閾値は、前記エッジ強度の分布を統計的に解析して自動的に設定することを特徴とする。
【００２１】
請求項４の発明は、請求項１乃至３のいずれか１の発明において、前記エッジ強度の二値化処理における閾値は、ユーザが裏写りの程度や紙質に応じて設定可能であることを特徴とする。
【００２２】
請求項５の発明は、請求項１乃至４のいずれか１の発明において、前記裏写り除去画像のエッジを検出し、該検出した裏写り除去画像のエッジと前記原画像のエッジの分布を比較し、前記裏写り除去画像において、前記原画像に存在しないエッジの周囲について、再度、前記カラー閾値処理を適用し、修正した裏写り除去画像を生成することを特徴とする。
【００２３】
請求項６の発明は、請求項５の発明において、前記裏写り除去画像のエッジと前記原画像のエッジの分布の比較において、各画素について、前記裏写り除去画像で計算されたエッジ強度から前記原画像で計算されたエッジ強度を差し引き、その値が予め決めた閾値以上のものを、前記裏写り除去画像において、前記原画像に存在しないエッジと決めることを特徴とする。
【００２４】
請求項７の発明は、請求項５又は６の発明において、前記修正した裏写り除去画像を生成する際に、前記ウィンドウの大きさを前回の処理よりも小さく設定することを特徴とする。
【００２５】
請求項８の発明は、請求項１乃至７のいずれか１の発明において、前記原画像から低解像度の縮小原画像を生成し、該縮小原画像に対して前記裏写り除去画像を生成し、該裏写り除去画像と前記縮小原画像の差分を計算して裏写り領域を推定し、該推定した裏写り領域に対応する前記裏写り除去画像の画素を元の解像度の前記原画像上に割り当てることを特徴とする。
【００２９】
請求項９の発明は、紙の両面にカラー印刷された原稿の片面をデジタル入力して得られるデジタルカラー原画像に対して、エッジを検出するエッジ検出手段と、該検出したエッジの強度の低い部分に対する前記紙の背景色又は前記片面側の背景色画像を推定する背景色推定手段と、前記原画像において、裏写り成分である前記エッジ強度の低い部分を前記推定した背景色又は背景色画像に置き換える画像置き換え手段とを有し、該画像置き換え手段により前記裏写り成分を除去して前記裏写り除去画像を生成するものであって、前記エッジ検出手段は、前記エッジ強度を二値化処理する二値化処理手段を有し、前記背景色推定手段は、該エッジ強度が閾値以上の画素をｏｎ画素、前記エッジ強度が閾値より小さい画素をｏｆｆ画素として得られるエッジ分布において、前記ｏｆｆ画素の領域に対して、予め決めた大きさのウィンドウを設定するウインドウ設定手段と、該ウインドウ設定手段により設定された各ウィンドウ内の画素を２つの色に分類するカラークラスタリング手段と、該２つの色のうち輝度の大きい方の色を背景色と推定する推定手段とを有し、前記画像置き換え手段は、該推定した背景色で前記各ウィンドウ内の画素の色を置き換える画素置き換え手段を有することを特徴とする。
【００３０】
請求項１０の発明は、請求項９の発明において、前記ｏｆｆ画素の領域に対して、横方向の各ラインにランを構成する横ラン構成手段と、縦方向の各ラインにランを構成する縦ラン構成手段とを有し、前記背景色推定手段は、前記横ラン構成手段（又は縦ラン構成手段）により構成された横（又は縦）方向のランを用いて前記背景色又は背景色画像を推定し、さらに、該推定した横（又は縦）方向の背景色又は背景色画像に対して、前記縦ラン構成手段（又は横ラン構成手段）により構成された縦（又は横）方向のランを用いて背景色又は背景色画像を推定し、前記画素置き換え手段は、前記ｏｆｆ画素に対応する前記原画像の画素を前記推定した縦（又は横）方向の背景色又は背景色画像の画素で置き換えることを特徴とする。
【００３１】
請求項１１の発明は、請求項９又は１０の発明において、前記二値化処理手段は、前記閾値を前記エッジ強度の分布を統計的に解析して自動的に設定する自動閾値設定手段を有することを特徴とする。
【００３２】
請求項１２の発明は、請求項９乃至１１のいずれか１の発明において、前記二値化処理手段は、前記閾値をユーザが裏写りの程度や紙質に応じて設定する閾値設定手段を有することを特徴とする。
【００３３】
請求項１３の発明は、請求項９乃至１２のいずれか１の発明において、前記エッジ検出手段により前記裏写り除去画像のエッジを検出し、該検出した裏写り除去画像のエッジと前記原画像のエッジの分布を比較し、前記原画像に存在しないエッジを決定するエッジ決定手段と、前記裏写り除去画像において、前記原画像に存在しないエッジの周囲について、再度、裏写り除去画像を生成する反復手段とを有することを特徴とする。
【００３４】
請求項１４の発明は、請求項１３の発明において、前記エッジ決定手段は、各画素について、前記裏写り除去画像で計算されたエッジ強度から前記原画像で計算されたエッジ強度を差し引き、その値が予め決めた閾値以上のものを、前記裏写り除去画像において、前記原画像に存在しないエッジと決定することを特徴とする。
【００３５】
請求項１５の発明は、請求項１３又は１４の発明において、前記反復手段は、再度、裏写り除去画像を生成する際に、前記ウィンドウの大きさを前回の処理よりも小さく設定することを特徴とする。
【００３６】
請求項１６の発明は、請求項９乃至１５のいずれか１の発明において、前記原画像から低解像度の縮小原画像を生成する画像縮小手段と、該縮小原画像に対して生成した裏写り除去画像と前記縮小原画像の差分を計算して裏写り領域を推定する裏写り領域推定手段と、該推定した裏写り領域に対応する前記裏写り除去画像の画素を元の解像度の前記原画像上に割り当てる画素割り当て手段とを有することを特徴とする。
【００３８】
請求項１７の発明は、請求項１乃至８のいずれか１に記載のカラー画像処理方法を実行させるための、又は、請求項９乃至１６のいずれか１に記載のカラー画像処理装置の機能を実行させるための、プログラムを記録したコンピュータ読み取り可能な記録媒体とすることを特徴とする。
【００３９】
【発明の実施の形態】
実際に裏写り処理が利用される場面としては、デジタルカラーコピアへの組み込み、スキャナ，デジタルカメラのアプリケーション・ソフトウェア、カラー文書画像解析・認識システムにおける前処理のような状況・環境が想定される。このように多様な状況・環境を考慮して、本発明では、次のようなアプローチでカラー画像の裏写り対応の問題を検討した。
【００４０】
（１）裏面の画像情報を使わずに、表の画像だけを用いる方法：
両面の画像を入力し、表の画像から裏面の画像を差し引く方法は、高精度の位置合わせ技術を必要とする。一般に、光学的・機械的要因によって、入力画像には非線形の幾何学的変換が加わっていることが多いため、両面スキャナやブックスキャナ等の特殊入力機器以外では、この方法を用いることは難しい。したがって、裏面の画像情報を使わずに、表面の画像だけを用いる方法を主に探索し、その上で、片面の画像情報だけでは対処できない問題点を裏面の画像情報で補うようにした。
【００４１】
（２）局所的オペレーションによる方法：
実装方法としては、ＰＣやＷＳ上のソフトウェアと、デジタルカラーコピアなどへの組み込みが考えられる。これらの間では、ワーキングメモリ（一時に処理できるライン数）などの制約が大きく異なる。ＰＣやＷＳ上のソフトウェアでは、画像全体の情報をランダムにアクセスできる反面、組み込み装置では、局所的な情報アクセスしか許されないことが通常である。そこで、画像の局所的オペレーションによる方法を主に探索した。
【００４２】
（３）大局的オペレーションによるの処理パラメータの最適設定：
画像処理アルゴリズム／システムには必然的に演算効果を規定するパラメータの設定が付きものである。そのようなパラメータの中には、画像ごとに異なる設定を必要とするものがある。画像全体の情報の利用が可能な場合には、大局的な画像オペレーションによってパラメータを最適設定する方法を取り入れることができる。
【００４３】
上述のごときアプローチによって、特殊な入力デバイスに依存することなく、汎用性が高く、しかも、紙の片面の画像情報だけを用いて、カラー画像から裏写りを除去することが可能になる。
【００４４】
図１は、本発明の一実施形態によるカラー画像処理装置を説明するためのモジュール構成図である。本実施形態において、スキャナ，デジタルカメラ等の画像入力機器１から入力されたカラー画像は、ＲＡＭ６に蓄積される。また、後述する一連の処理は、ＲＯＭ７に蓄積されたプログラムをＣＰＵ５が読み出すことによって実行される。また、処理の途中経過や途中結果は、ＣＲＴ等の表示装置２を通してユーザに提示され、必要な場合には、キーボード３からユーザが処理に必要なパラメータを入力指定する。後述する処理の実行中に作られる中間データ（縮小カラー画像，カラー変換画像，エッジ強度画像，二値エッジ画像，背景色画像，二値エッジ差分画像，裏写り除去画像）はＲＡＭ６に蓄積され、必要に応じて、ＣＰＵ５によって読み出し、修正・書き込みが行われる。一連の処理の結果として生成された裏写り除去画像は、ＲＡＭ６から読み出されて、画像印刷機器（プリンタ）４に出力される。
【００４５】
図２は、本発明の一実施形態におけるカラー画像処理方法を説明するためのフロー図である。本発明は、主にカラーデジタルカラー複写機の中の画像処理部に相当する。本発明の処理の前には、通常通り、Ａ／Ｄ変換，濃度補正などの前処理が、後には中間調処理などが行われる。
【００４６】
スキャナ１によってカラー画像が入力されると（ステップＳ１）、まず、その画像を縮小する（ステップＳ２）。原画像を縮小して作られる画像を処理することにより、処理を高速化、ワーキングメモリの量を節約、実装を簡素化する。次に、カラー座標系を変換する（ステップＳ３）。ＲＧＢ空間は成分間の独立性が低いため、エッジ検出の精度やノイズへの頑健性を上がらないことがあるので、座標系を適当なものに変換して、エッジ検出の精度とノイズへの頑健性を向上させる。
【００４７】
続いて、エッジ強度計算を行う（ステップＳ４）。エッジ強度検出を用いることにより、結果的にテキストや線画などのカラー文書の前景部分や、裏写り部分よりも輝度が高い（色が薄い）背景部分を保持することができる。次に、二値化処理を行ってエッジを検出し（ステップＳ５）、エッジ以外の領域に対して、カラー閾値処理を実行する（ステップＳ６）。裏面の画像入力・蓄積をすることをせずに、裏写り部分を修正することができる。カラー閾値処理により、表面と裏写り部分を分別できるとともに、色を具体的に推定できる。除去する裏写り部分の大きさを、設定するウィンドウのサイズにより、明示的に指定することができる。処理が局所的演算によるために、ワーキングメモリの量の節約や実装の簡素化につながる。次に、カラー閾値処理により推定した背景色画像をもとに、裏写り除去画像を合成する（ステップＳ７）。
【００４８】
続いて、裏写り除去画像のエッジ強度を計算し（ステップＳ８）、原画像と裏写り除去画像についてエッジ差分画像を生成する（ステップＳ９）。処理結果として作られる画像と原画像を比較して、不適切な処理により画像が劣化している個所を簡単な操作により検出できる。その個所の周囲で処理を再度実行することにより、画像の劣化を防ぎ、処理結果を向上させることができる。次に、エッジ強度差分を二値化処理し（ステップＳ１０）、処理スケール（ウインドウサイズ）を縮小して、ステップＳ６と同様にカラー閾値処理して背景色画像を推定し（ステップＳ１１）、裏写り除去画像を合成する（ステップＳ１２）。小さいウィンドウサイズを用いた修正カラー閾値処理に関し、除去するべき裏写り部分の大きさは、表面の画像の局所的性質（複雑さなど）に依存するが、複雑な部分ではウィンドウのサイズによって決まる、除去する裏写り部分の大きさを小さくすることにより、表面の画像の劣化を防止することが可能である。
【００４９】
続いて、裏写り除去画像と縮小原画像の差分計算により裏写り部分を推定（判定）する（ステップＳ１３）。最後に、元の解像度の原画像での裏写り部分を除去し（ステップＳ１４）、プリンタに画像を出力する（ステップＳ１５）。
【００５０】
次に、本発明によるカラー画像処理方法の特徴を説明する。
（１）カラーエッジ強度の利用：
裏写り部分は、紙を透過してから入力されるため、ローパス・フィルタが作用していることになる。このフィルタの特性は、紙の物理的性質に依存するために、定量的に特定するのは難しいが、表の画像に比べて、裏写り部分のエッジ強度が弱いことを仮定することは自然である。また、高精度のエッジ強度計算のためには、単純にＲＧＢの各成分で計算されたエッジ強度を足しあわせるのではなく、適切なカラー座標系変換とともに、３成分を組み合わせて用いるベクトル法によるエッジ検出「A. Cumani, "Edge detection in multispectral images," Graphical Models and Image Processing, vol. 53, no. 1, pp. 40 - 51, 1991.」、「H.-C. Lee and D.R. Cok, "Detecting boundaries in a vector field," IEEE Trans. Signal Processing, vol. 39, no. 5, pp. 1181 - 1194, 1991.」を活用するのが望ましい。さらに、エッジ強度に適当な閾値処理をすることで、裏写り部分のエッジを除去することが可能である。閾値の選択に当たっては、エッジ強度の分布を統計的に解析して自動的に設定するか、或いは、予め閾値を幾通りか用意しておいて、裏写りの程度や紙質に応じてユーザが設定する。
【００５１】
（２）領域選択的な局所的カラー閾値処理による背景色推定：
裏写り部分の中でも、特に、文字や線などの高周波成分を取り除くことを考える。今、画像内にその中にエッジが存在しないようなウィンドウを設定したとする。このウィンドウの中は、（ａ）裏写りが有るか、無いか、（ｂ）表面画像が単一色から成る領域か、（ｃ）表面画像の色がなだらかに変化している領域か、（ｄ）表面画像の重要なエッジを閾値処理により除去してしまったために複数の異なる色から構成される領域か、という観点により分類できる。
【００５２】
局所的に見ると、裏写り部分は、表の画像よりも輝度が低くなるのが通常である。そこで、ウィンドウの内部を２色に分類し、輝度が高い（明るい）方の色で、そのウィンドウ内部を置換えることにする。さらに、カラークラスタリングは、通常、反復計算を必要とするが、ここでは、画像の四元数表現とモーメント保持原理に基づく、高速カラー閾値化アルゴリズム「S.C. Pei and C.M. Cheng, "Color image processing by using binary quaternion-moment-preserving thresholding technique," IEEE Trans. Image Processing, vol. 8, no. 5, pp. 614 - 628, 1999.」を用いることにより、計算の効率化をはかる。また、処理の「スケール」を決めるために、ウィンドウの最大サイズＳを指定する。この操作によって、ウィンドウ内の領域が上記（ｂ）の性質をもつ場合には、裏写りが除去されることになる。しかし、上記（ｃ）や（ｄ）の性質をもつ領域にこの操作を行った場合、Ｓが大きすぎるときには画像の劣化・歪みが生じる。これへの対処は下記（４）で考慮する。
【００５３】
（３）画像の合成：
エッジ周辺については原画像を、それ以外の部分については上記（２）で推定した背景色を用いることによって、裏写り除去画像を合成する。
【００５４】
（４）多重スケールのエッジ差分解析による裏写り除去画像の修正：
上記（１）のオペレーションから明らかなように、裏写り除去画像に含まれるエッジは、原画像のエッジの部分集合になるはずである。画素ごとにみると、裏写り除去画像でのエッジ強度が、原画像でのそれよりも強いことはありえない。もし、原画像にないエッジが裏写り除去画像にあったとすると、それは、上記（２）の操作において、処理スケール（ウィンドウの最大サイズＳ）が大きすぎたことから生じる副作用である。これを修正するために、偽のエッジの周囲で、より小さいスケールで背景色推定をやり直すことにより、裏写り除去画像を修正する。画像ごとに適切な処理スケールを適応的に決めることが望ましいが、これは実際には難しい。したがって、ｃｏａｒｓｅ−ｔｏ−ｆｉｎｅのストラテジーで、エッジ情報をもとにして、処理結果を原画像と比較しながら、適応的にスケールを決めて行く。
【００５５】
本発明の特徴は、サイズＳのウィンドウを用いた局所的カラー閾値処理にある（詳しいフロー図にて後述する）。このパラメータＳは、除去したい裏写り部分の最大サイズを意味し、大よそＳ×Ｓの矩形内のサイズの裏写り部分を検出する。また、Ｓの値は、画像が複雑な部分と滑らかな部分では異なり、適応的に調整することが必要となる。そこで、本発明では、原画像でのエッジ強度と裏写り除去画像でのエッジ強度を比較することによって、Ｓの値を調整して、局所的カラー閾値を行う処理を取り入れている。
【００５６】
さらに、もう一つの特徴は、縮小した画像（例えば、４×４画素ごとの色の平均値を１画素の色にすることによって、400dpiを100dpiに縮小）を用いることによって、処理を高速化することである。例えば、２ｍｍ程度の大きさの裏写りを除去したい場合には、100dpiへの縮小画像では、Ｓは８画素になる。
【００５７】
図３は、本発明の一実施形態におけるカラー画像処理方法を詳細に説明するためのフロー図で、図３に沿ってアルゴリズムの各部分について詳細に説明する。まず、ステップＳ３１において、スキャナ等で読み取ったカラー画像の解像度を縮小して、カラー画像Ｉ（ＲＧＢ）を出力する。
【００５８】
（カラー座標変換）
次に、カラー画像Ｉを別のカラー座標系に座標変換し、変換カラー画像Ｉ0とする（ステップＳ３２）。ＲＧＢ空間は成分間の独立性が低いため、エッジ検出の精度を上がらないことがあるので、カラー座標を、例えば、式（１）のＹＣｂＣｒ、或いは、式（２）の疑似ＫＬカラー座標系に変換する。
【００５９】
【数１】
【００６０】
（エッジ検出）
続いて、変換カラー画像Ｉ0に対してエッジ検出を行い、エッジ強度画像Ｅ0を生成する（ステップＳ３３）。カラー画像からのエッジ検出としては、各成分についてＳｏｂｅｌオペレータなどによって計算されたエッジ強度の二乗和の平方根をとるのがもっとも単純な方法である。他に、前述の文献「Edge detection in multispectral images （A. Cumani）」、「Detecting boundaries in a vector field （H.-C. Lee and D.R. Cok）」に挙げられているようなベクトル法によるエッジ検出方法があり、単純な方法よりもノイズに対する頑健性が優れていることが知られている。ベクトル法によるエッジ検出方法では、各成分について計算されたエッジ強度の組み合わせにおいて、単純に二乗和の平方根をとるのではなく、成分間の相関関係も考慮するのが特徴である。具体的には、ｕ（ｘ，ｙ），ｖ（ｘ，ｙ），ｗ（ｘ，ｙ）を色の３成分として、ｐ（式（３）），ｔ（式（４）），ｑ（式（５））で定義すると、画素（ｘ，ｙ）でのエッジ強度は、式（６）で与えられる。
【００６１】
【数２】
【００６２】
図４は裏写りのあるカラー画像の例を示す図で、図５は図４の画像に対するベクトルＳｏｂｅｌオペレータによって生成されたエッジ強度画像Ｅ0を示す図である。図５においては、強度が大きい画素を黒で表示している。
【００６３】
（エッジ強度の閾値処理及び膨張処理）
続いて、エッジ強度画像Ｅ0に対して、エッジ強度の閾値処理及び膨張処理をを施し、二値エッジ画像Ｆ0を生成する（ステップＳ３４）。エッジ強度の閾値処理における閾値は、強度分布を統計的に解析して自動的に設定するか、或いは、予め閾値を幾通りか用意しておいて、裏写りの程度や紙質に応じてユーザが設定する。
【００６４】
図６は、図５においてカラーエッジ強度の二値化処理を施した結果を示す図である。二値エッジ画像Ｆ0では、エッジ強度が閾値以上の画素がｏｎ、それ以外がｏｆｆになる。また、二値エッジ画像Ｆ0において、ｏｎの画素に対して、適宜、膨張処理を施す。
【００６５】
（局所的カラー閾値処理による背景色推定）
続いて、二値エッジ画像Ｆ0がｏｆｆの領域に対する変換カラー画像Ｉ0の局所的カラー閾値処理を行い、背景色画像Ｂ0を生成する（ステップＳ３５）。すなわち、二値エッジ画像Ｆ0上のｏｆｆの画素領域について、局所的に背景色を推定する。さらに、原画像において、二値エッジ画像Ｆ0がｏｆｆの画素をＢ0に置換することによって、裏写り除去画像Ｊ0を生成する（ステップＳ３６）。この局所的カラー閾値による背景色推定の処理をさらに詳細に説明する。
【００６６】
図７及び図８は、サイズＳのウインドウを用いた局所的カラー閾値処理を詳細に説明するためのフロー図で、図７及び図８に沿って背景色推定処理を説明する。
この局所的カラー閾値処理は、パラメータをウインドウサイズｓ，画像の幅ｗ，画像の高さｈとして、カラー原画像Ｉ及び二値エッジ画像Ｆを入力し、最終的な出力として背景色画像Ｊを生成する処理である。
【００６７】
まず、上述のパラメータ及び画像Ｉ，Ｆを入力する（ステップＳ５１）。次に画像の高さのカウント値ｈ０を０に設定する（ステップＳ５２）。ステップＳ５３において、ｈ０がｈ０＜ｈを満たしているかを判定し（ステップＳ５３）、高さｈ０がｈ以上であれば、後述するステップＳ７２に進む。ｈより小さければステップＳ５４において画像の幅のカウント値ｗ０を０に設定する。ステップＳ５５において、画像の幅ｗとｗ０を比較して、幅ｗ０がｗ以上であればｈ０を１だけインクリメントし（ステップＳ６３）、ステップＳ５３へと戻る。ｗ０がｗより小さければ次のステップＳ５６に進み、高さｈ０，幅ｗ０の二値エッジ画像Ｆ[ｈ０][ｗ０]が１、すなわちエッジをもつかを検出する。エッジが存在すれば、カラー原画像Ｉ[ｈ０][ｗ０]を背景色画像Ｊ[ｈ０][ｗ０]とし（ステップＳ５７）、ｗ０を１だけインクリメントして（ステップＳ５８）、ステップＳ５５に戻る。ステップＳ５６においてエッジが存在しなければ、カラー原画像Ｉから（ｈ０，ｗ０）を開始点として長さｔ＝ｓの横方向のランＲを抽出する（ステップＳ５９）。ただし、Ｆ［ｈ０］［ｊ］＝１（ｗ０＜ｊ＜ｗ０＋ｓ）となる画素がある場合、ｊ０をそのような画素でｊが最小のものとして、長さｔ＝ｊ０−ｗ０のランＲを抽出する。
【００６８】
次に、ランＲを二色に分類して輝度の高い方の色をｂと定義し（ステップＳ６０）、ｊ＝ｗ０，ｗ０＋１，・・・，ｗ０＋ｔ−１に対してＪ［ｈ０］［ｊ］をｂとする（ステップＳ６１）。続いて、ｗ０をｔだけインクリメントし（ステップＳ６２）、ステップＳ５５に戻る。最終的に、ｗ０＜ｗかつｈ０＜ｈを満たす間、この動作が繰り返され、以降、ステップＳ７２に続く。
【００６９】
次に、上述の横方向のランを抽出する方法と同様に、縦方向のランＲを抽出する。実際、ステップＳ５２〜Ｓ５６において縦方向と横方向の操作を入れ替えたステップＳ７２〜Ｓ７６を実行する。ステップＳ７６においてエッジが存在しなければ、背景色画像Ｊから（ｈ０，ｗ０）を開始点として長さｔ＝ｓの縦方向のランＲを抽出する（ステップＳ７９）。ただし、Ｆ［ｉ］［ｗ０］＝１（ｈ０＜ｉ＜ｈ０＋ｓ）となる画素がある場合、ｉ０をそのような画素でｉが最小のものとして、長さｔ＝ｉ０−ｈ０のランＲを抽出する。
【００７０】
次に、ランＲを二色に分類して輝度の高い方の色をｂと定義し（ステップＳ８０）、ｉ＝ｈ０，ｈ０＋１，・・・，ｈ０＋ｔ−１に対してＪ［ｉ］［ｗ０］をｂとする（ステップＳ８１）。続いて、ｈ０をｔだけインクリメントし（ステップＳ８２）、ステップＳ７５に戻る。最終的に、ｈ０＜ｈかつｗ０＜ｗを満たす間、この動作が繰り返され、その後、処理を終了する。以下に、上述のランの構成例を示す。
【００７１】
図９は、背景色を推定するためのランの構成例を示す図で、図９（Ａ）は横方向のランを、図９（Ｂ）は縦方向のランをそれぞれ示す図である。まず、図９（Ａ）に示すように、横方向の各ラインに対して、長さが最大Ｓで、その中に二値エッジ画像のｏｎ画素を含まないようなランを逐次構成する。各ランについて、ランを構成する画素を２つの代表色に分類する。このような「カラークラスタリング」は、通常、反復計算を必要とするが、ここでは、画像の四元数表現とモーメント保持原理に基づく、前述の高速カラー閾値化アルゴリズム（S.C. Pei and C.M. Cheng）を用いる。このアルゴリズムでは、２つの代表色と分類境界が、反復計算をせずに、closed-formの解として得られることが特長である。このようにして計算された２つの代表色のうち、明るい方（輝度が高い）の色を、そのランを構成する各画素の色に設定する。このように横方向のランを用いた背景色推定処理をした画像Ｂ'が選られる。
【００７２】
なお、一般的に裏写り部分（裏写り領域）のエッジは表の画像のエッジよりも弱いので、エッジを閾値処理した結果、裏写り部分は「エッジがない領域」に含まれる。裏写り部分は表の背景色より濃度が低い（暗い色）にあるので、Ｓ×Ｓの領域に対して、「二色化処理（領域内の２つの代表色を計算）」を行い、明るい方の色で、その領域を置換える処理を行う。これにより、大きさがＳ×Ｓ程度以下の裏写り部分が除去される。
【００７３】
ここで、エッジがあるために、Ｓ×Ｓの矩形をその中にエッジが入らない様に配置することは難しい。そこで、上述のごとく、まず、背景色を推定するための横方向のランを構成する（図９（Ａ））。ランの最大の長さはSで、ランの中に二値エッジ画像のｏｎ画素が入らないように、ランを構成する。各ランにおいて、「二色化処理（領域内の２つの代表色を計算）」に行い、明るい方の色で、その領域を置換える処理を行う。その結果生成された画像に対して、今度は、同様に縦方向のランを構成し、横方向の場合と同様の処理を行う（図９（Ｂ））。
【００７４】
図１０は、局所的カラー閾値処理による背景色推定処理の結果の画像を示す図で、図１０（Ａ）は図４の画像についてＳを２ｍｍにとり、横ランを用いた背景色推定処理をした結果の画像を示す図、図１０（Ｂ）は図１０（Ａ）の背景色画像に対して、さらに縦ランを用いた背景色推定処理をした結果の画像を示す図である。
【００７５】
さらに、図９（Ｂ）に示すように、縦方向のランを構成し、生成された画像Ｂ'に対して、上記のような背景色推定処理を施す。この結果生成される背景色画像Ｂ（図７及び図８におけるフロー図においては、Ｊとして説明してある）の各画素の輝度は、Ｂ'よりも高く（明るく）なる。
【００７６】
このようにして、横方向と縦方向のランに背景色推定処理を施すことにより、背景色画像Ｂ0が生成される（図３のステップＳ３５）。さらに、原画像において、二値エッジ画像Ｆ0がｏｆｆの画素をＢ0に置換することによって、裏写り除去画像Ｊ0が得られる（ステップＳ３６）。
図１１は、サイズＳを２ｍｍにとったときの図４の画像に対する裏写り除去画像Ｊ0を示す図である。
【００７７】
（多重スケールのエッジ差分解析による裏写り除去画像の修正）
図３のフローを参照して、引き続き、多重スケールのエッジ差分解析による裏写り除去画像の修正を説明する。ウインドウサイズＳを縮小（本実施形態ではＳ／２）し（ステップＳ３７）、Ｓ≧１画素かどうかを判定し（ステップＳ３８）、Ｓが１画素よりも小さければ、ステップＳ４３以降の処理に進む。Ｓ≧１であった場合、ここで説明する多重スケールのエッジ差分解析による裏写り除去画像の修正を行う。
【００７８】
各画素に対して、裏写り除去画像Ｊ0に対するエッジを検出して（ステップＳ３９）、そのエッジ強度Ｅ1から原画像のエッジ強度Ｅ0を引くことにより、エッジ差分画像を生成する（ステップＳ４０）。大半の画素では、差分（残差）が０以下の値になる。エッジ差分画像を二値化処理し、二値エッジ差分画像Ｄを生成する。差分が閾値以上の画素がｏｎ、それ以外がｏｆｆになる。
図１２は、サイズＳを２ｍｍにとったときの図１１の画像に対する二値エッジ差分画像Ｄを示す図である。図１２において、図１１における下側の円弧の部分に代表されるように、図１１の裏写り除去画像Ｊ0に対するエッジ強度Ｅ1と図５のエッジ強度画像Ｅ0の差分を二値化してエッジでないとみなされた所は、エッジとして残っていない。その逆に、エッジとして残っている部分はｏｎ画素として以下の背景色推定処理へ進む。
【００７９】
ステップＳ３７において半分にした新しいＳの値を用いて、二値エッジ差分画像Ｄでｏｎの画素の周囲に対して、背景色推定処理を実行し、背景色画像Ｂ1を生成する（ステップＳ４１）。次に、裏写り除去画像Ｊ0において、Ｄがｏｎの画素の近傍の（２Ｓ＋１）×（２Ｓ＋１）個の画素の色を、新しい背景色画像Ｂ1での色に置換える（ステップＳ４２）。
図１３は、図１２の黒画素の周囲に対してこの処理を適用した結果を示す図である。上述の修正処理は、Ｓが１画素未満になるまで、或いはエッジ差分画像の閾値処理の後、画素が残らなくなるまで、再帰的に繰り返す。
【００８０】
最終的に裏写り除去画像Ｊ0が生成されると、このカラー座標系を逆変換してＲＧＢに戻し（ステップＳ４３）、裏写り部分の同定を行う（ステップＳ４４）。裏写り部分同定は、裏写り除去画像Ｊ0と縮小原画像の差分計算によって行う。実際、画素毎に、色の３成分での差分を計算し、差分を輝度に変換、または、ユークリッド距離、Ｌａｂ色空間などの距離を計算する。その距離を閾値処理することにより、裏写り部分を検出する。
【００８１】
最後に、元の解像度の原画像で、裏写り部分と判定された画素を、裏写り除去画像での色に置き換える処理を行う（ステップＳ４５）。この置き換え処理では、縮小画像から得られた裏写り除去画像上での画素の色を、元の解像度の原画像上の対応する領域に割り当てる。例えば、100dpiの縮小画像の１画素は原画像の４×４画素に対応する。
【００８２】
図１４は、図４の画像に対する処理結果を示す図で、図１５は、除去された成分を示すために、図４と図１４の画像の差分をとったものをグレースケールで表示した図である。
【００８３】
以上、本発明のカラー画像処理方法及び装置を説明してきたが、本発明の実施形態としては、これらのカラー画像処理方法を実行させるための、或いはカラー画像処理装置として本処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体も可能である。
【００８４】
【発明の効果】
本発明によれば、以下の効果がある。
（１）エッジ強度検出を用いることにより、テキストや線画などのカラー文書の前景部分や、裏写り部分よりも輝度が高い（色が薄い）背景部分を保持することができる。
（２）カラー閾値処理により、裏面の画像入力・蓄積をすることをせずに、裏写り部分を修正することができる。さらに、表面と裏写り部分を分別できるとともに、色を具体的に推定できる。除去する裏写り部分の大きさを、設定するウィンドウのサイズにより、明示的に指定することができるとともに、処理が局所的演算によるために、ワーキングメモリの量の節約や実装の簡素化につながる。
【００８５】
（３）原画像と裏写り除去画像についてエッジ差分画像を生成することにより、すなわち、原画像と処理結果として作られる画像を比較して不適切な処理によって画像が劣化している個所を簡単な操作により検出でき、その個所の周囲で処理を再度実行することにより、画像の劣化を防ぎ、処理結果を向上させることができる。
（４）除去するべき裏写り部分の大きさは、表面の画像の局所的性質（複雑さなど）に依存するが、複雑な部分ではウィンドウのサイズによって決まる除去する裏写り部分の大きさを小さくすること（小さいウィンドウサイズを用いた修正カラー閾値処理）により、表面の画像の劣化を防止できる。
【００８６】
（５）成分間の独立性が低く、エッジ検出の精度やノイズへの頑健性を上がらないことがあるＲＧＢ空間のカラー座標系を、適当なものに変換することにより、エッジ検出の精度及びノイズへの頑健性が向上する。
（６）低解像度の画像を作って、それに裏写り除去処理を施し、原画像との比較によって裏写り部分を検出し、検出部分について色を置き換えることにより、すなわち、原画像を縮小して作られる画像を処理することにより、処理を高速化、ワーキングメモリの量を節約、実装を簡素化することが可能である。
（７）特殊な入力機器を必要としないため、汎用の画像入力機器に適用できる。
【図面の簡単な説明】
【図１】 本発明の一実施形態によるカラー画像処理装置を説明するためのモジュール構成図である。
【図２】 本発明の一実施形態におけるカラー画像処理方法を説明するための図である。
【図３】 本発明の一実施形態におけるカラー画像処理方法を詳細に説明するためのフロー図である。
【図４】 裏写りのあるカラー画像の例を示す図である。
【図５】 図４の画像に対するベクトルＳｏｂｅｌオペレータによって生成されたエッジ強度画像を示す図である。
【図６】 図５においてカラーエッジ強度の二値化処理を施した結果を示す図である。
【図７】 サイズＳのウインドウを用いた局所的カラー閾値処理を詳細に説明するためのフロー図である。
【図８】 サイズＳのウインドウを用いた局所的カラー閾値処理を詳細に説明するためのフロー図である。
【図９】 背景色を推定するためのランの構成例を示す図である。
【図１０】 局所的カラー閾値処理による背景色推定処理の結果の画像を示す図である。
【図１１】 サイズＳを２ｍｍにとったときの図４の画像に対する裏写り除去画像を示す図である。
【図１２】 サイズＳを２ｍｍにとったときの図１１の画像に対する二値エッジ差分画像を示す図である。
【図１３】 図１２の黒画素の周囲に対してこの処理を適用した結果を示す図である。
【図１４】 図４の画像に対する処理結果を示す図である。
【図１５】 除去された成分を示すために、図４と図１４の画像の差分をとり、鏡像変換したものをグレースケールで表示した図である。
【符号の説明】
１…画像入力機器（スキャナ）、２…表示装置（ＣＲＴ）、３…キーボード、４…画像印刷機器（プリンタ）、５…ＣＰＵ、６…ＲＡＭ、７…ＲＯＭ。
【発明の属する技術分野】
本発明は、カラー画像処理方法、該方法を実施するためのカラー画像処理装置、及び前記方法を実行させるための、又は前記装置の機能を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関し、より詳細には、両面印刷されている文書において裏面の画像が透けて表面の画像の中に混ざって入力される「裏写り」を除去することが可能なカラー画像処理方法、該方法を実施するためのカラー画像処理装置、及び前記方法を実行させるための、又は前記装置の機能を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
図４は、裏写りのあるカラー画像の例を示す図である。カラースキャナ，デジタルカメラ，デジタルカラーコピアなどのカラー画像入力機器の普及により、本，雑誌，カタログ，広告，新聞などの文書画像も、カラーで入力されるのが一般的になってきている。これらの文書では、紙の両面に印刷されていることがしばしばあるので、図４に示すように、裏面の画像が透けて、表面の画像の中に混ざって入力される「裏写り」が生じる。さらに、カラー文書の場合、背景色が一様でなかったり、絵柄、模様、写真が混在していることが多い。このため、デジタル画像処理によって、入力された画像から「裏写り」を除去する問題は、画質向上のために重要でありながら、取り扱いの難しいものとされてきた。
【０００３】
（１）これまでにも、ブックスキャナや両面スキャナなどの特殊な入力機器を中心とした、裏写り除去方法が提案されている。例えば、特開平７−８７２９５号公報、特開平８−２６５５６３号公報、特開平９−２０５５４４号公報、特開平９−２３３３１９号公報、米国特許第５９７３７９２号公報、米国特許第５９３２１３７号公報等が提案されている。
【０００４】
米国特許第５９３２１３７号公報には、画面の画像をスキャンして蓄積することを基本とした裏写り効果を緩和する画像処理方法及び装置が記載されている。本公報に記載の発明は、両面印刷されて少なくとも第１面に第２面からの裏写りがあるような原稿をスキャンして第１面と第２面の画像を蓄積し、第２面画像から第１面への裏写り成分に対応する表現を生成（鏡像変換し、位置合わせする）後、第２面画像の表現の関数として裏写りを第１面の除去して修正する（裏写り係数を使う）ことを特徴としている。さらに、裏写り効果を緩和する画像処理方法として、両面印刷されて第１面に第２面からの裏写りがあるような原稿の第１面、次に第２面をスキャンして第１面と第２面の画像を蓄積し、第２面画像から第１面へ（及び第１面画像から第２面へ）の裏写り成分に対応する表現を生成し（鏡像変換し、位置合わせする）、第２面画像（第１面画像）の表現の関数として裏写りを第１面（第２面）の除去して修正する（裏写り係数を使う）ことを特徴としている。さらに、本公報には、両面印刷されて少なくとも第１面に第２面からの裏写りがあるような原稿をスキャンして第１面と第２面の画像を蓄積するスキャナと、第２面画像から第１面への裏写り成分に対応する表現を生成する画像処理回路（鏡像変換し、位置合わせする）と、第２面画像の表現の関数として裏写りを第１面の除去し、修正する画像処理手段（裏写り係数を使う）とを具備し、裏写り効果を緩和した画像の印刷を行う裏写り効果を緩和する文書印刷システムが記載されている。
【０００５】
上述の方法では、まず、入力した紙の両面の画像を正確に位置合わせし、両面の画像を比較することによって、紙の透過係数を推定する。そして、その透過係数を利用して、裏写り成分を表の画像から差し引くことによって、裏写りを除去している。ところが、これらの方式は、両面の画像を入力・蓄積して、かつ、位置合わせが正確にできるような、特殊な入力機器・環境にしか適用できないのが問題である。
【０００６】
（２）さらに、片面の画像情報だけを用いて、画像の濃度の解析や二値化に基づく方式も提案されている。例えば、特開平１１−１８７２６６号公報、特開平１１−４１４６６号公報、「J. Sauvola, T. Seppanen, S. Haapakoski, and M. Pietikainen, "Adaptive document binarization," Proc. 4th Int. Conf. Document Analysis and Recognition (Ulm, Germany), August 18-20, 1997, pp. 142？146.」、米国特許第５６４６７４４号公報、米国特許第５８３２１３７号公報等が提案されている。しかしながら、複雑な画像になると、濃度や色の分布を用いて、表面の画像と裏写りを判別することは難しくなる。特に、背景とのコントラストが小さい文字、たとえば、白地上の黄色文字などを裏写りとして処理してしまう危険性が生じる。
【０００７】
【発明が解決しようとする課題】
上述のごとく、前記（１）の方式は、両面の画像を入力・蓄積して、かつ、位置合わせが正確にできるような、特殊な入力機器・環境にしか適用できないのが問題である。
【０００８】
また、前記（２）の方式は、複雑な画像になると、濃度や色の分布を用いて、表面の画像と裏写りを判別することは難しくなり、特に、背景とのコントラストが小さい文字、たとえば、白地上の黄色文字などを裏写りとして処理してしまう危険性が生じる。
【０００９】
本発明は、上述のごとき実情に鑑みてなされたものであり、両面印刷されて第１面に第２面からの裏写りがあるようなカラー原稿をスキャンする際、特殊な入力デバイスに依存することなく、汎用性が高く、しかも紙の片面の画像情報だけを用いて、カラー画像から裏写りを除去することが可能なカラー画像処理方法、その方法を実施するためのカラー画像処理装置、及びその方法並びにその装置の機能を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することをその目的とする。
【００１０】
【課題を解決するための手段】
本発明は、紙の両面にカラー印刷された原稿をデジタル入力して得られるデジタルカラー画像に対して、エッジ強度検出とカラー閾値処理に基づいて、裏写り成分を除去することを特徴としたものである。
【００１１】
本発明は、紙の両面にカラー印刷された原稿をデジタル入力して得られるデジタルカラー画像に対して、エッジ強度検出とカラー閾値処理に基づいて、裏写り成分を除去し、結果として得られる裏写り除去画像と原画像のエッジ分布を比較し、裏写り除去画像において、原画像に存在しないエッジの周囲について、再度カラー閾値処理を適用し、画像を修正することを特徴としたものである。
【００１２】
さらに、本発明は、カラー閾値処理は、検出されたエッジ強度を二値化して得られるエッジ分布において、エッジが存在しない部分に、予め決められる大きさのウィンドウを設定して、局所的にウィンドウ内の画素を２つの色に分類し、輝度の大きい（明るい）色で、ウィンドウ内の画素の色を置換えることを特徴としたものである。
【００１３】
さらに、本発明は、裏面の原稿の入力を必要とせずに、表の画像のエッジ強度検出とカラー閾値処理に基づいて、裏写り成分を除去することを特色としたものである。
【００１４】
さらに、本発明は、裏写り除去画像において、原画像に存在しないエッジの周囲について、再度カラー閾値処理を適用し、画像を修正する際に、請求項３におけるウィンドウの大きさを前回の処理よりも小さく設定することを特徴としたものである。
【００１５】
さらに、本発明は、裏写り除去画像と原画像のエッジ分布の比較において、各画素について、裏写り除去画像で計算されたエッジ強度から原画像で計算されたエッジ強度を差し引き、その値が予め決めた閾値以上のものを、裏写り除去画像において、原画像に存在しないエッジと決めることを特徴としたものである。
【００１８】
請求項１の発明は、紙の両面にカラー印刷された原稿の片面をデジタル入力して得られるデジタルカラー原画像に対してエッジを検出し、該検出したエッジの強度の低い部分に対する前記紙の背景色又は前記片面側の背景色画像を推定し、前記原画像において、裏写り成分である前記エッジ強度の低い部分を前記推定した背景色又は背景色画像に置き換えるカラー閾値処理を行うことにより、前記裏写り成分を除去した裏写り除去画像を生成するものであって、前記カラー閾値処理は、前記エッジ強度を二値化処理し、該エッジ強度が閾値以上の画素をｏｎ画素、前記エッジ強度が閾値より小さい画素をｏｆｆ画素として得られるエッジ分布において、前記ｏｆｆ画素の領域に対して、予め決めた大きさのウィンドウを設定して、各ウィンドウ内の画素を２つの色に分類し、該２つの色のうち輝度の大きい方の色を背景色と推定し、該推定した背景色で前記各ウィンドウ内の画素の色を置き換えることにより、前記原画像を前記背景色画像に置き換えることを特徴とする。
【００１９】
請求項２の発明は、請求項１の発明において、前記ｏｆｆ画素の領域に対して、横（又は縦）方向の各ラインにランを構成し、該横（又は縦）方向のランを用いて前記背景色又は背景色画像を推定し、さらに、該推定した横（又は縦）方向の背景色又は背景色画像に対して、縦（又は横）方向の各ラインにランを構成し、該縦（又は横）方向のランを用いて背景色又は背景色画像を推定し、前記ｏｆｆ画素に対応する前記原画像の画素を該推定した縦（又は横）方向の背景色又は背景色画像の画素で置き換えることにより、前記原画像を前記背景色又は背景色画像に置き換えることを特徴とする。
【００２０】
請求項３の発明は、請求項１又は２の発明において、前記エッジ強度の二値化処理における閾値は、前記エッジ強度の分布を統計的に解析して自動的に設定することを特徴とする。
【００２１】
請求項４の発明は、請求項１乃至３のいずれか１の発明において、前記エッジ強度の二値化処理における閾値は、ユーザが裏写りの程度や紙質に応じて設定可能であることを特徴とする。
【００２２】
請求項５の発明は、請求項１乃至４のいずれか１の発明において、前記裏写り除去画像のエッジを検出し、該検出した裏写り除去画像のエッジと前記原画像のエッジの分布を比較し、前記裏写り除去画像において、前記原画像に存在しないエッジの周囲について、再度、前記カラー閾値処理を適用し、修正した裏写り除去画像を生成することを特徴とする。
【００２３】
請求項６の発明は、請求項５の発明において、前記裏写り除去画像のエッジと前記原画像のエッジの分布の比較において、各画素について、前記裏写り除去画像で計算されたエッジ強度から前記原画像で計算されたエッジ強度を差し引き、その値が予め決めた閾値以上のものを、前記裏写り除去画像において、前記原画像に存在しないエッジと決めることを特徴とする。
【００２４】
請求項７の発明は、請求項５又は６の発明において、前記修正した裏写り除去画像を生成する際に、前記ウィンドウの大きさを前回の処理よりも小さく設定することを特徴とする。
【００２５】
請求項８の発明は、請求項１乃至７のいずれか１の発明において、前記原画像から低解像度の縮小原画像を生成し、該縮小原画像に対して前記裏写り除去画像を生成し、該裏写り除去画像と前記縮小原画像の差分を計算して裏写り領域を推定し、該推定した裏写り領域に対応する前記裏写り除去画像の画素を元の解像度の前記原画像上に割り当てることを特徴とする。
【００２９】
請求項９の発明は、紙の両面にカラー印刷された原稿の片面をデジタル入力して得られるデジタルカラー原画像に対して、エッジを検出するエッジ検出手段と、該検出したエッジの強度の低い部分に対する前記紙の背景色又は前記片面側の背景色画像を推定する背景色推定手段と、前記原画像において、裏写り成分である前記エッジ強度の低い部分を前記推定した背景色又は背景色画像に置き換える画像置き換え手段とを有し、該画像置き換え手段により前記裏写り成分を除去して前記裏写り除去画像を生成するものであって、前記エッジ検出手段は、前記エッジ強度を二値化処理する二値化処理手段を有し、前記背景色推定手段は、該エッジ強度が閾値以上の画素をｏｎ画素、前記エッジ強度が閾値より小さい画素をｏｆｆ画素として得られるエッジ分布において、前記ｏｆｆ画素の領域に対して、予め決めた大きさのウィンドウを設定するウインドウ設定手段と、該ウインドウ設定手段により設定された各ウィンドウ内の画素を２つの色に分類するカラークラスタリング手段と、該２つの色のうち輝度の大きい方の色を背景色と推定する推定手段とを有し、前記画像置き換え手段は、該推定した背景色で前記各ウィンドウ内の画素の色を置き換える画素置き換え手段を有することを特徴とする。
【００３０】
請求項１０の発明は、請求項９の発明において、前記ｏｆｆ画素の領域に対して、横方向の各ラインにランを構成する横ラン構成手段と、縦方向の各ラインにランを構成する縦ラン構成手段とを有し、前記背景色推定手段は、前記横ラン構成手段（又は縦ラン構成手段）により構成された横（又は縦）方向のランを用いて前記背景色又は背景色画像を推定し、さらに、該推定した横（又は縦）方向の背景色又は背景色画像に対して、前記縦ラン構成手段（又は横ラン構成手段）により構成された縦（又は横）方向のランを用いて背景色又は背景色画像を推定し、前記画素置き換え手段は、前記ｏｆｆ画素に対応する前記原画像の画素を前記推定した縦（又は横）方向の背景色又は背景色画像の画素で置き換えることを特徴とする。
【００３１】
請求項１１の発明は、請求項９又は１０の発明において、前記二値化処理手段は、前記閾値を前記エッジ強度の分布を統計的に解析して自動的に設定する自動閾値設定手段を有することを特徴とする。
【００３２】
請求項１２の発明は、請求項９乃至１１のいずれか１の発明において、前記二値化処理手段は、前記閾値をユーザが裏写りの程度や紙質に応じて設定する閾値設定手段を有することを特徴とする。
【００３３】
請求項１３の発明は、請求項９乃至１２のいずれか１の発明において、前記エッジ検出手段により前記裏写り除去画像のエッジを検出し、該検出した裏写り除去画像のエッジと前記原画像のエッジの分布を比較し、前記原画像に存在しないエッジを決定するエッジ決定手段と、前記裏写り除去画像において、前記原画像に存在しないエッジの周囲について、再度、裏写り除去画像を生成する反復手段とを有することを特徴とする。
【００３４】
請求項１４の発明は、請求項１３の発明において、前記エッジ決定手段は、各画素について、前記裏写り除去画像で計算されたエッジ強度から前記原画像で計算されたエッジ強度を差し引き、その値が予め決めた閾値以上のものを、前記裏写り除去画像において、前記原画像に存在しないエッジと決定することを特徴とする。
【００３５】
請求項１５の発明は、請求項１３又は１４の発明において、前記反復手段は、再度、裏写り除去画像を生成する際に、前記ウィンドウの大きさを前回の処理よりも小さく設定することを特徴とする。
【００３６】
請求項１６の発明は、請求項９乃至１５のいずれか１の発明において、前記原画像から低解像度の縮小原画像を生成する画像縮小手段と、該縮小原画像に対して生成した裏写り除去画像と前記縮小原画像の差分を計算して裏写り領域を推定する裏写り領域推定手段と、該推定した裏写り領域に対応する前記裏写り除去画像の画素を元の解像度の前記原画像上に割り当てる画素割り当て手段とを有することを特徴とする。
【００３８】
請求項１７の発明は、請求項１乃至８のいずれか１に記載のカラー画像処理方法を実行させるための、又は、請求項９乃至１６のいずれか１に記載のカラー画像処理装置の機能を実行させるための、プログラムを記録したコンピュータ読み取り可能な記録媒体とすることを特徴とする。
【００３９】
【発明の実施の形態】
実際に裏写り処理が利用される場面としては、デジタルカラーコピアへの組み込み、スキャナ，デジタルカメラのアプリケーション・ソフトウェア、カラー文書画像解析・認識システムにおける前処理のような状況・環境が想定される。このように多様な状況・環境を考慮して、本発明では、次のようなアプローチでカラー画像の裏写り対応の問題を検討した。
【００４０】
（１）裏面の画像情報を使わずに、表の画像だけを用いる方法：
両面の画像を入力し、表の画像から裏面の画像を差し引く方法は、高精度の位置合わせ技術を必要とする。一般に、光学的・機械的要因によって、入力画像には非線形の幾何学的変換が加わっていることが多いため、両面スキャナやブックスキャナ等の特殊入力機器以外では、この方法を用いることは難しい。したがって、裏面の画像情報を使わずに、表面の画像だけを用いる方法を主に探索し、その上で、片面の画像情報だけでは対処できない問題点を裏面の画像情報で補うようにした。
【００４１】
（２）局所的オペレーションによる方法：
実装方法としては、ＰＣやＷＳ上のソフトウェアと、デジタルカラーコピアなどへの組み込みが考えられる。これらの間では、ワーキングメモリ（一時に処理できるライン数）などの制約が大きく異なる。ＰＣやＷＳ上のソフトウェアでは、画像全体の情報をランダムにアクセスできる反面、組み込み装置では、局所的な情報アクセスしか許されないことが通常である。そこで、画像の局所的オペレーションによる方法を主に探索した。
【００４２】
（３）大局的オペレーションによるの処理パラメータの最適設定：
画像処理アルゴリズム／システムには必然的に演算効果を規定するパラメータの設定が付きものである。そのようなパラメータの中には、画像ごとに異なる設定を必要とするものがある。画像全体の情報の利用が可能な場合には、大局的な画像オペレーションによってパラメータを最適設定する方法を取り入れることができる。
【００４３】
上述のごときアプローチによって、特殊な入力デバイスに依存することなく、汎用性が高く、しかも、紙の片面の画像情報だけを用いて、カラー画像から裏写りを除去することが可能になる。
【００４４】
図１は、本発明の一実施形態によるカラー画像処理装置を説明するためのモジュール構成図である。本実施形態において、スキャナ，デジタルカメラ等の画像入力機器１から入力されたカラー画像は、ＲＡＭ６に蓄積される。また、後述する一連の処理は、ＲＯＭ７に蓄積されたプログラムをＣＰＵ５が読み出すことによって実行される。また、処理の途中経過や途中結果は、ＣＲＴ等の表示装置２を通してユーザに提示され、必要な場合には、キーボード３からユーザが処理に必要なパラメータを入力指定する。後述する処理の実行中に作られる中間データ（縮小カラー画像，カラー変換画像，エッジ強度画像，二値エッジ画像，背景色画像，二値エッジ差分画像，裏写り除去画像）はＲＡＭ６に蓄積され、必要に応じて、ＣＰＵ５によって読み出し、修正・書き込みが行われる。一連の処理の結果として生成された裏写り除去画像は、ＲＡＭ６から読み出されて、画像印刷機器（プリンタ）４に出力される。
【００４５】
図２は、本発明の一実施形態におけるカラー画像処理方法を説明するためのフロー図である。本発明は、主にカラーデジタルカラー複写機の中の画像処理部に相当する。本発明の処理の前には、通常通り、Ａ／Ｄ変換，濃度補正などの前処理が、後には中間調処理などが行われる。
【００４６】
スキャナ１によってカラー画像が入力されると（ステップＳ１）、まず、その画像を縮小する（ステップＳ２）。原画像を縮小して作られる画像を処理することにより、処理を高速化、ワーキングメモリの量を節約、実装を簡素化する。次に、カラー座標系を変換する（ステップＳ３）。ＲＧＢ空間は成分間の独立性が低いため、エッジ検出の精度やノイズへの頑健性を上がらないことがあるので、座標系を適当なものに変換して、エッジ検出の精度とノイズへの頑健性を向上させる。
【００４７】
続いて、エッジ強度計算を行う（ステップＳ４）。エッジ強度検出を用いることにより、結果的にテキストや線画などのカラー文書の前景部分や、裏写り部分よりも輝度が高い（色が薄い）背景部分を保持することができる。次に、二値化処理を行ってエッジを検出し（ステップＳ５）、エッジ以外の領域に対して、カラー閾値処理を実行する（ステップＳ６）。裏面の画像入力・蓄積をすることをせずに、裏写り部分を修正することができる。カラー閾値処理により、表面と裏写り部分を分別できるとともに、色を具体的に推定できる。除去する裏写り部分の大きさを、設定するウィンドウのサイズにより、明示的に指定することができる。処理が局所的演算によるために、ワーキングメモリの量の節約や実装の簡素化につながる。次に、カラー閾値処理により推定した背景色画像をもとに、裏写り除去画像を合成する（ステップＳ７）。
【００４８】
続いて、裏写り除去画像のエッジ強度を計算し（ステップＳ８）、原画像と裏写り除去画像についてエッジ差分画像を生成する（ステップＳ９）。処理結果として作られる画像と原画像を比較して、不適切な処理により画像が劣化している個所を簡単な操作により検出できる。その個所の周囲で処理を再度実行することにより、画像の劣化を防ぎ、処理結果を向上させることができる。次に、エッジ強度差分を二値化処理し（ステップＳ１０）、処理スケール（ウインドウサイズ）を縮小して、ステップＳ６と同様にカラー閾値処理して背景色画像を推定し（ステップＳ１１）、裏写り除去画像を合成する（ステップＳ１２）。小さいウィンドウサイズを用いた修正カラー閾値処理に関し、除去するべき裏写り部分の大きさは、表面の画像の局所的性質（複雑さなど）に依存するが、複雑な部分ではウィンドウのサイズによって決まる、除去する裏写り部分の大きさを小さくすることにより、表面の画像の劣化を防止することが可能である。
【００４９】
続いて、裏写り除去画像と縮小原画像の差分計算により裏写り部分を推定（判定）する（ステップＳ１３）。最後に、元の解像度の原画像での裏写り部分を除去し（ステップＳ１４）、プリンタに画像を出力する（ステップＳ１５）。
【００５０】
次に、本発明によるカラー画像処理方法の特徴を説明する。
（１）カラーエッジ強度の利用：
裏写り部分は、紙を透過してから入力されるため、ローパス・フィルタが作用していることになる。このフィルタの特性は、紙の物理的性質に依存するために、定量的に特定するのは難しいが、表の画像に比べて、裏写り部分のエッジ強度が弱いことを仮定することは自然である。また、高精度のエッジ強度計算のためには、単純にＲＧＢの各成分で計算されたエッジ強度を足しあわせるのではなく、適切なカラー座標系変換とともに、３成分を組み合わせて用いるベクトル法によるエッジ検出「A. Cumani, "Edge detection in multispectral images," Graphical Models and Image Processing, vol. 53, no. 1, pp. 40 - 51, 1991.」、「H.-C. Lee and D.R. Cok, "Detecting boundaries in a vector field," IEEE Trans. Signal Processing, vol. 39, no. 5, pp. 1181 - 1194, 1991.」を活用するのが望ましい。さらに、エッジ強度に適当な閾値処理をすることで、裏写り部分のエッジを除去することが可能である。閾値の選択に当たっては、エッジ強度の分布を統計的に解析して自動的に設定するか、或いは、予め閾値を幾通りか用意しておいて、裏写りの程度や紙質に応じてユーザが設定する。
【００５１】
（２）領域選択的な局所的カラー閾値処理による背景色推定：
裏写り部分の中でも、特に、文字や線などの高周波成分を取り除くことを考える。今、画像内にその中にエッジが存在しないようなウィンドウを設定したとする。このウィンドウの中は、（ａ）裏写りが有るか、無いか、（ｂ）表面画像が単一色から成る領域か、（ｃ）表面画像の色がなだらかに変化している領域か、（ｄ）表面画像の重要なエッジを閾値処理により除去してしまったために複数の異なる色から構成される領域か、という観点により分類できる。
【００５２】
局所的に見ると、裏写り部分は、表の画像よりも輝度が低くなるのが通常である。そこで、ウィンドウの内部を２色に分類し、輝度が高い（明るい）方の色で、そのウィンドウ内部を置換えることにする。さらに、カラークラスタリングは、通常、反復計算を必要とするが、ここでは、画像の四元数表現とモーメント保持原理に基づく、高速カラー閾値化アルゴリズム「S.C. Pei and C.M. Cheng, "Color image processing by using binary quaternion-moment-preserving thresholding technique," IEEE Trans. Image Processing, vol. 8, no. 5, pp. 614 - 628, 1999.」を用いることにより、計算の効率化をはかる。また、処理の「スケール」を決めるために、ウィンドウの最大サイズＳを指定する。この操作によって、ウィンドウ内の領域が上記（ｂ）の性質をもつ場合には、裏写りが除去されることになる。しかし、上記（ｃ）や（ｄ）の性質をもつ領域にこの操作を行った場合、Ｓが大きすぎるときには画像の劣化・歪みが生じる。これへの対処は下記（４）で考慮する。
【００５３】
（３）画像の合成：
エッジ周辺については原画像を、それ以外の部分については上記（２）で推定した背景色を用いることによって、裏写り除去画像を合成する。
【００５４】
（４）多重スケールのエッジ差分解析による裏写り除去画像の修正：
上記（１）のオペレーションから明らかなように、裏写り除去画像に含まれるエッジは、原画像のエッジの部分集合になるはずである。画素ごとにみると、裏写り除去画像でのエッジ強度が、原画像でのそれよりも強いことはありえない。もし、原画像にないエッジが裏写り除去画像にあったとすると、それは、上記（２）の操作において、処理スケール（ウィンドウの最大サイズＳ）が大きすぎたことから生じる副作用である。これを修正するために、偽のエッジの周囲で、より小さいスケールで背景色推定をやり直すことにより、裏写り除去画像を修正する。画像ごとに適切な処理スケールを適応的に決めることが望ましいが、これは実際には難しい。したがって、ｃｏａｒｓｅ−ｔｏ−ｆｉｎｅのストラテジーで、エッジ情報をもとにして、処理結果を原画像と比較しながら、適応的にスケールを決めて行く。
【００５５】
本発明の特徴は、サイズＳのウィンドウを用いた局所的カラー閾値処理にある（詳しいフロー図にて後述する）。このパラメータＳは、除去したい裏写り部分の最大サイズを意味し、大よそＳ×Ｓの矩形内のサイズの裏写り部分を検出する。また、Ｓの値は、画像が複雑な部分と滑らかな部分では異なり、適応的に調整することが必要となる。そこで、本発明では、原画像でのエッジ強度と裏写り除去画像でのエッジ強度を比較することによって、Ｓの値を調整して、局所的カラー閾値を行う処理を取り入れている。
【００５６】
さらに、もう一つの特徴は、縮小した画像（例えば、４×４画素ごとの色の平均値を１画素の色にすることによって、400dpiを100dpiに縮小）を用いることによって、処理を高速化することである。例えば、２ｍｍ程度の大きさの裏写りを除去したい場合には、100dpiへの縮小画像では、Ｓは８画素になる。
【００５７】
図３は、本発明の一実施形態におけるカラー画像処理方法を詳細に説明するためのフロー図で、図３に沿ってアルゴリズムの各部分について詳細に説明する。まず、ステップＳ３１において、スキャナ等で読み取ったカラー画像の解像度を縮小して、カラー画像Ｉ（ＲＧＢ）を出力する。
【００５８】
（カラー座標変換）
次に、カラー画像Ｉを別のカラー座標系に座標変換し、変換カラー画像Ｉ0とする（ステップＳ３２）。ＲＧＢ空間は成分間の独立性が低いため、エッジ検出の精度を上がらないことがあるので、カラー座標を、例えば、式（１）のＹＣｂＣｒ、或いは、式（２）の疑似ＫＬカラー座標系に変換する。
【００５９】
【数１】
（エッジ検出）
続いて、変換カラー画像Ｉ0に対してエッジ検出を行い、エッジ強度画像Ｅ0を生成する（ステップＳ３３）。カラー画像からのエッジ検出としては、各成分についてＳｏｂｅｌオペレータなどによって計算されたエッジ強度の二乗和の平方根をとるのがもっとも単純な方法である。他に、前述の文献「Edge detection in multispectral images （A. Cumani）」、「Detecting boundaries in a vector field （H.-C. Lee and D.R. Cok）」に挙げられているようなベクトル法によるエッジ検出方法があり、単純な方法よりもノイズに対する頑健性が優れていることが知られている。ベクトル法によるエッジ検出方法では、各成分について計算されたエッジ強度の組み合わせにおいて、単純に二乗和の平方根をとるのではなく、成分間の相関関係も考慮するのが特徴である。具体的には、ｕ（ｘ，ｙ），ｖ（ｘ，ｙ），ｗ（ｘ，ｙ）を色の３成分として、ｐ（式（３）），ｔ（式（４）），ｑ（式（５））で定義すると、画素（ｘ，ｙ）でのエッジ強度は、式（６）で与えられる。
【００６１】
【数２】
図４は裏写りのあるカラー画像の例を示す図で、図５は図４の画像に対するベクトルＳｏｂｅｌオペレータによって生成されたエッジ強度画像Ｅ0を示す図である。図５においては、強度が大きい画素を黒で表示している。
【００６３】
（エッジ強度の閾値処理及び膨張処理）
続いて、エッジ強度画像Ｅ0に対して、エッジ強度の閾値処理及び膨張処理をを施し、二値エッジ画像Ｆ0を生成する（ステップＳ３４）。エッジ強度の閾値処理における閾値は、強度分布を統計的に解析して自動的に設定するか、或いは、予め閾値を幾通りか用意しておいて、裏写りの程度や紙質に応じてユーザが設定する。
【００６４】
図６は、図５においてカラーエッジ強度の二値化処理を施した結果を示す図である。二値エッジ画像Ｆ0では、エッジ強度が閾値以上の画素がｏｎ、それ以外がｏｆｆになる。また、二値エッジ画像Ｆ0において、ｏｎの画素に対して、適宜、膨張処理を施す。
【００６５】
（局所的カラー閾値処理による背景色推定）
続いて、二値エッジ画像Ｆ0がｏｆｆの領域に対する変換カラー画像Ｉ0の局所的カラー閾値処理を行い、背景色画像Ｂ0を生成する（ステップＳ３５）。すなわち、二値エッジ画像Ｆ0上のｏｆｆの画素領域について、局所的に背景色を推定する。さらに、原画像において、二値エッジ画像Ｆ0がｏｆｆの画素をＢ0に置換することによって、裏写り除去画像Ｊ0を生成する（ステップＳ３６）。この局所的カラー閾値による背景色推定の処理をさらに詳細に説明する。
【００６６】
図７及び図８は、サイズＳのウインドウを用いた局所的カラー閾値処理を詳細に説明するためのフロー図で、図７及び図８に沿って背景色推定処理を説明する。
この局所的カラー閾値処理は、パラメータをウインドウサイズｓ，画像の幅ｗ，画像の高さｈとして、カラー原画像Ｉ及び二値エッジ画像Ｆを入力し、最終的な出力として背景色画像Ｊを生成する処理である。
【００６７】
まず、上述のパラメータ及び画像Ｉ，Ｆを入力する（ステップＳ５１）。次に画像の高さのカウント値ｈ０を０に設定する（ステップＳ５２）。ステップＳ５３において、ｈ０がｈ０＜ｈを満たしているかを判定し（ステップＳ５３）、高さｈ０がｈ以上であれば、後述するステップＳ７２に進む。ｈより小さければステップＳ５４において画像の幅のカウント値ｗ０を０に設定する。ステップＳ５５において、画像の幅ｗとｗ０を比較して、幅ｗ０がｗ以上であればｈ０を１だけインクリメントし（ステップＳ６３）、ステップＳ５３へと戻る。ｗ０がｗより小さければ次のステップＳ５６に進み、高さｈ０，幅ｗ０の二値エッジ画像Ｆ[ｈ０][ｗ０]が１、すなわちエッジをもつかを検出する。エッジが存在すれば、カラー原画像Ｉ[ｈ０][ｗ０]を背景色画像Ｊ[ｈ０][ｗ０]とし（ステップＳ５７）、ｗ０を１だけインクリメントして（ステップＳ５８）、ステップＳ５５に戻る。ステップＳ５６においてエッジが存在しなければ、カラー原画像Ｉから（ｈ０，ｗ０）を開始点として長さｔ＝ｓの横方向のランＲを抽出する（ステップＳ５９）。ただし、Ｆ［ｈ０］［ｊ］＝１（ｗ０＜ｊ＜ｗ０＋ｓ）となる画素がある場合、ｊ０をそのような画素でｊが最小のものとして、長さｔ＝ｊ０−ｗ０のランＲを抽出する。
【００６８】
次に、ランＲを二色に分類して輝度の高い方の色をｂと定義し（ステップＳ６０）、ｊ＝ｗ０，ｗ０＋１，・・・，ｗ０＋ｔ−１に対してＪ［ｈ０］［ｊ］をｂとする（ステップＳ６１）。続いて、ｗ０をｔだけインクリメントし（ステップＳ６２）、ステップＳ５５に戻る。最終的に、ｗ０＜ｗかつｈ０＜ｈを満たす間、この動作が繰り返され、以降、ステップＳ７２に続く。
【００６９】
次に、上述の横方向のランを抽出する方法と同様に、縦方向のランＲを抽出する。実際、ステップＳ５２〜Ｓ５６において縦方向と横方向の操作を入れ替えたステップＳ７２〜Ｓ７６を実行する。ステップＳ７６においてエッジが存在しなければ、背景色画像Ｊから（ｈ０，ｗ０）を開始点として長さｔ＝ｓの縦方向のランＲを抽出する（ステップＳ７９）。ただし、Ｆ［ｉ］［ｗ０］＝１（ｈ０＜ｉ＜ｈ０＋ｓ）となる画素がある場合、ｉ０をそのような画素でｉが最小のものとして、長さｔ＝ｉ０−ｈ０のランＲを抽出する。
【００７０】
次に、ランＲを二色に分類して輝度の高い方の色をｂと定義し（ステップＳ８０）、ｉ＝ｈ０，ｈ０＋１，・・・，ｈ０＋ｔ−１に対してＪ［ｉ］［ｗ０］をｂとする（ステップＳ８１）。続いて、ｈ０をｔだけインクリメントし（ステップＳ８２）、ステップＳ７５に戻る。最終的に、ｈ０＜ｈかつｗ０＜ｗを満たす間、この動作が繰り返され、その後、処理を終了する。以下に、上述のランの構成例を示す。
【００７１】
図９は、背景色を推定するためのランの構成例を示す図で、図９（Ａ）は横方向のランを、図９（Ｂ）は縦方向のランをそれぞれ示す図である。まず、図９（Ａ）に示すように、横方向の各ラインに対して、長さが最大Ｓで、その中に二値エッジ画像のｏｎ画素を含まないようなランを逐次構成する。各ランについて、ランを構成する画素を２つの代表色に分類する。このような「カラークラスタリング」は、通常、反復計算を必要とするが、ここでは、画像の四元数表現とモーメント保持原理に基づく、前述の高速カラー閾値化アルゴリズム（S.C. Pei and C.M. Cheng）を用いる。このアルゴリズムでは、２つの代表色と分類境界が、反復計算をせずに、closed-formの解として得られることが特長である。このようにして計算された２つの代表色のうち、明るい方（輝度が高い）の色を、そのランを構成する各画素の色に設定する。このように横方向のランを用いた背景色推定処理をした画像Ｂ'が選られる。
【００７２】
なお、一般的に裏写り部分（裏写り領域）のエッジは表の画像のエッジよりも弱いので、エッジを閾値処理した結果、裏写り部分は「エッジがない領域」に含まれる。裏写り部分は表の背景色より濃度が低い（暗い色）にあるので、Ｓ×Ｓの領域に対して、「二色化処理（領域内の２つの代表色を計算）」を行い、明るい方の色で、その領域を置換える処理を行う。これにより、大きさがＳ×Ｓ程度以下の裏写り部分が除去される。
【００７３】
ここで、エッジがあるために、Ｓ×Ｓの矩形をその中にエッジが入らない様に配置することは難しい。そこで、上述のごとく、まず、背景色を推定するための横方向のランを構成する（図９（Ａ））。ランの最大の長さはSで、ランの中に二値エッジ画像のｏｎ画素が入らないように、ランを構成する。各ランにおいて、「二色化処理（領域内の２つの代表色を計算）」に行い、明るい方の色で、その領域を置換える処理を行う。その結果生成された画像に対して、今度は、同様に縦方向のランを構成し、横方向の場合と同様の処理を行う（図９（Ｂ））。
【００７４】
図１０は、局所的カラー閾値処理による背景色推定処理の結果の画像を示す図で、図１０（Ａ）は図４の画像についてＳを２ｍｍにとり、横ランを用いた背景色推定処理をした結果の画像を示す図、図１０（Ｂ）は図１０（Ａ）の背景色画像に対して、さらに縦ランを用いた背景色推定処理をした結果の画像を示す図である。
【００７５】
さらに、図９（Ｂ）に示すように、縦方向のランを構成し、生成された画像Ｂ'に対して、上記のような背景色推定処理を施す。この結果生成される背景色画像Ｂ（図７及び図８におけるフロー図においては、Ｊとして説明してある）の各画素の輝度は、Ｂ'よりも高く（明るく）なる。
【００７６】
このようにして、横方向と縦方向のランに背景色推定処理を施すことにより、背景色画像Ｂ0が生成される（図３のステップＳ３５）。さらに、原画像において、二値エッジ画像Ｆ0がｏｆｆの画素をＢ0に置換することによって、裏写り除去画像Ｊ0が得られる（ステップＳ３６）。
図１１は、サイズＳを２ｍｍにとったときの図４の画像に対する裏写り除去画像Ｊ0を示す図である。
【００７７】
（多重スケールのエッジ差分解析による裏写り除去画像の修正）
図３のフローを参照して、引き続き、多重スケールのエッジ差分解析による裏写り除去画像の修正を説明する。ウインドウサイズＳを縮小（本実施形態ではＳ／２）し（ステップＳ３７）、Ｓ≧１画素かどうかを判定し（ステップＳ３８）、Ｓが１画素よりも小さければ、ステップＳ４３以降の処理に進む。Ｓ≧１であった場合、ここで説明する多重スケールのエッジ差分解析による裏写り除去画像の修正を行う。
【００７８】
各画素に対して、裏写り除去画像Ｊ0に対するエッジを検出して（ステップＳ３９）、そのエッジ強度Ｅ1から原画像のエッジ強度Ｅ0を引くことにより、エッジ差分画像を生成する（ステップＳ４０）。大半の画素では、差分（残差）が０以下の値になる。エッジ差分画像を二値化処理し、二値エッジ差分画像Ｄを生成する。差分が閾値以上の画素がｏｎ、それ以外がｏｆｆになる。
図１２は、サイズＳを２ｍｍにとったときの図１１の画像に対する二値エッジ差分画像Ｄを示す図である。図１２において、図１１における下側の円弧の部分に代表されるように、図１１の裏写り除去画像Ｊ0に対するエッジ強度Ｅ1と図５のエッジ強度画像Ｅ0の差分を二値化してエッジでないとみなされた所は、エッジとして残っていない。その逆に、エッジとして残っている部分はｏｎ画素として以下の背景色推定処理へ進む。
【００７９】
ステップＳ３７において半分にした新しいＳの値を用いて、二値エッジ差分画像Ｄでｏｎの画素の周囲に対して、背景色推定処理を実行し、背景色画像Ｂ1を生成する（ステップＳ４１）。次に、裏写り除去画像Ｊ0において、Ｄがｏｎの画素の近傍の（２Ｓ＋１）×（２Ｓ＋１）個の画素の色を、新しい背景色画像Ｂ1での色に置換える（ステップＳ４２）。
図１３は、図１２の黒画素の周囲に対してこの処理を適用した結果を示す図である。上述の修正処理は、Ｓが１画素未満になるまで、或いはエッジ差分画像の閾値処理の後、画素が残らなくなるまで、再帰的に繰り返す。
【００８０】
最終的に裏写り除去画像Ｊ0が生成されると、このカラー座標系を逆変換してＲＧＢに戻し（ステップＳ４３）、裏写り部分の同定を行う（ステップＳ４４）。裏写り部分同定は、裏写り除去画像Ｊ0と縮小原画像の差分計算によって行う。実際、画素毎に、色の３成分での差分を計算し、差分を輝度に変換、または、ユークリッド距離、Ｌａｂ色空間などの距離を計算する。その距離を閾値処理することにより、裏写り部分を検出する。
【００８１】
最後に、元の解像度の原画像で、裏写り部分と判定された画素を、裏写り除去画像での色に置き換える処理を行う（ステップＳ４５）。この置き換え処理では、縮小画像から得られた裏写り除去画像上での画素の色を、元の解像度の原画像上の対応する領域に割り当てる。例えば、100dpiの縮小画像の１画素は原画像の４×４画素に対応する。
【００８２】
図１４は、図４の画像に対する処理結果を示す図で、図１５は、除去された成分を示すために、図４と図１４の画像の差分をとったものをグレースケールで表示した図である。
【００８３】
以上、本発明のカラー画像処理方法及び装置を説明してきたが、本発明の実施形態としては、これらのカラー画像処理方法を実行させるための、或いはカラー画像処理装置として本処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体も可能である。
【００８４】
【発明の効果】
本発明によれば、以下の効果がある。
（１）エッジ強度検出を用いることにより、テキストや線画などのカラー文書の前景部分や、裏写り部分よりも輝度が高い（色が薄い）背景部分を保持することができる。
（２）カラー閾値処理により、裏面の画像入力・蓄積をすることをせずに、裏写り部分を修正することができる。さらに、表面と裏写り部分を分別できるとともに、色を具体的に推定できる。除去する裏写り部分の大きさを、設定するウィンドウのサイズにより、明示的に指定することができるとともに、処理が局所的演算によるために、ワーキングメモリの量の節約や実装の簡素化につながる。
【００８５】
（３）原画像と裏写り除去画像についてエッジ差分画像を生成することにより、すなわち、原画像と処理結果として作られる画像を比較して不適切な処理によって画像が劣化している個所を簡単な操作により検出でき、その個所の周囲で処理を再度実行することにより、画像の劣化を防ぎ、処理結果を向上させることができる。
（４）除去するべき裏写り部分の大きさは、表面の画像の局所的性質（複雑さなど）に依存するが、複雑な部分ではウィンドウのサイズによって決まる除去する裏写り部分の大きさを小さくすること（小さいウィンドウサイズを用いた修正カラー閾値処理）により、表面の画像の劣化を防止できる。
【００８６】
（５）成分間の独立性が低く、エッジ検出の精度やノイズへの頑健性を上がらないことがあるＲＧＢ空間のカラー座標系を、適当なものに変換することにより、エッジ検出の精度及びノイズへの頑健性が向上する。
（６）低解像度の画像を作って、それに裏写り除去処理を施し、原画像との比較によって裏写り部分を検出し、検出部分について色を置き換えることにより、すなわち、原画像を縮小して作られる画像を処理することにより、処理を高速化、ワーキングメモリの量を節約、実装を簡素化することが可能である。
（７）特殊な入力機器を必要としないため、汎用の画像入力機器に適用できる。
【図面の簡単な説明】
【図１】 本発明の一実施形態によるカラー画像処理装置を説明するためのモジュール構成図である。
【図２】 本発明の一実施形態におけるカラー画像処理方法を説明するための図である。
【図３】 本発明の一実施形態におけるカラー画像処理方法を詳細に説明するためのフロー図である。
【図４】 裏写りのあるカラー画像の例を示す図である。
【図５】 図４の画像に対するベクトルＳｏｂｅｌオペレータによって生成されたエッジ強度画像を示す図である。
【図６】 図５においてカラーエッジ強度の二値化処理を施した結果を示す図である。
【図７】 サイズＳのウインドウを用いた局所的カラー閾値処理を詳細に説明するためのフロー図である。
【図８】 サイズＳのウインドウを用いた局所的カラー閾値処理を詳細に説明するためのフロー図である。
【図９】 背景色を推定するためのランの構成例を示す図である。
【図１０】 局所的カラー閾値処理による背景色推定処理の結果の画像を示す図である。
【図１１】 サイズＳを２ｍｍにとったときの図４の画像に対する裏写り除去画像を示す図である。
【図１２】 サイズＳを２ｍｍにとったときの図１１の画像に対する二値エッジ差分画像を示す図である。
【図１３】 図１２の黒画素の周囲に対してこの処理を適用した結果を示す図である。
【図１４】 図４の画像に対する処理結果を示す図である。
【図１５】 除去された成分を示すために、図４と図１４の画像の差分をとり、鏡像変換したものをグレースケールで表示した図である。
【符号の説明】
１…画像入力機器（スキャナ）、２…表示装置（ＣＲＴ）、３…キーボード、４…画像印刷機器（プリンタ）、５…ＣＰＵ、６…ＲＡＭ、７…ＲＯＭ。
Claims (17)
- 紙の両面にカラー印刷された原稿の片面をデジタル入力して得られるデジタルカラー原画像に対してエッジを検出し、該検出したエッジの強度の低い部分に対する前記紙の背景色又は前記片面側の背景色画像を推定し、前記原画像において、裏写り成分である前記エッジ強度の低い部分を前記推定した背景色又は背景色画像に置き換えるカラー閾値処理を行うことにより、前記裏写り成分を除去した裏写り除去画像を生成するカラー画像処理方法であって、前記カラー閾値処理は、前記エッジ強度を二値化処理し、該エッジ強度が閾値以上の画素をｏｎ画素、前記エッジ強度が閾値より小さい画素をｏｆｆ画素として得られるエッジ分布において、前記ｏｆｆ画素の領域に対して、予め決めた大きさのウィンドウを設定して、各ウィンドウ内の画素を２つの色に分類し、該２つの色のうち輝度の大きい方の色を背景色と推定し、該推定した背景色で前記各ウィンドウ内の画素の色を置き換えることにより、前記原画像を前記背景色画像に置き換えることを特徴とするカラー画像処理方法。
- 請求項１に記載のカラー画像処理方法において、前記ｏｆｆ画素の領域に対して、横（又は縦）方向の各ラインにランを構成し、該横（又は縦）方向のランを用いて前記背景色又は背景色画像を推定し、さらに、該推定した横（又は縦）方向の背景色又は背景色画像に対して、縦（又は横）方向の各ラインにランを構成し、該縦（又は横）方向のランを用いて背景色又は背景色画像を推定し、前記ｏｆｆ画素に対応する前記原画像の画素を該推定した縦（又は横）方向の背景色又は背景色画像の画素で置き換えることにより、前記原画像を前記背景色又は背景色画像に置き換えることを特徴とするカラー画像処理方法。
- 請求項１又は２に記載のカラー画像処理方法において、前記エッジ強度の二値化処理における閾値は、前記エッジ強度の分布を統計的に解析して自動的に設定することを特徴とするカラー画像処理方法。
- 請求項１乃至３のいずれか１に記載のカラー画像処理方法において、前記エッジ強度の二値化処理における閾値は、ユーザが裏写りの程度や紙質に応じて設定可能であることを特徴とするカラー画像処理方法。
- 請求項１乃至４のいずれか１に記載のカラー画像処理方法において、前記裏写り除去画像のエッジを検出し、該検出した裏写り除去画像のエッジと前記原画像のエッジの分布を比較し、前記裏写り除去画像において、前記原画像に存在しないエッジの周囲について、再度、前記カラー閾値処理を適用し、修正した裏写り除去画像を生成することを特徴とするカラー画像処理方法。
- 請求項５に記載のカラー画像処理方法において、前記裏写り除去画像のエッジと前記原画像のエッジの分布の比較において、各画素について、前記裏写り除去画像で計算されたエッジ強度から前記原画像で計算されたエッジ強度を差し引き、その値が予め決めた閾値以上のものを、前記裏写り除去画像において、前記原画像に存在しないエッジと決めることを特徴とするカラー画像処理方法。
- 請求項５又は６に記載のカラー画像処理方法において、前記修正した裏写り除去画像を生成する際に、前記ウィンドウの大きさを前回の処理よりも小さく設定することを特徴とするカラー画像処理方法。
- 請求項１乃至７のいずれか１に記載のカラー画像処理方法において、前記原画像から低解像度の縮小原画像を生成し、該縮小原画像に対して前記裏写り除去画像を生成し、該裏写り除去画像と前記縮小原画像の差分を計算して裏写り領域を推定し、該推定した裏写り領域に対応する前記裏写り除去画像の画素を元の解像度の前記原画像上に割り当てることを特徴とするカラー画像処理方法。
- 紙の両面にカラー印刷された原稿の片面をデジタル入力して得られるデジタルカラー原画像に対して、エッジを検出するエッジ検出手段と、該検出したエッジの強度の低い部分に対する前記紙の背景色又は前記片面側の背景色画像を推定する背景色推定手段と、前記原画像において、裏写り成分である前記エッジ強度の低い部分を前記推定した背景色又は背景色画像に置き換える画像置き換え手段とを有し、該画像置き換え手 段により前記裏写り成分を除去した裏写り除去画像を生成するカラー画像処理装置であって、前記エッジ検出手段は、前記エッジ強度を二値化処理する二値化処理手段を有し、前記背景色推定手段は、該エッジ強度が閾値以上の画素をｏｎ画素、前記エッジ強度が閾値より小さい画素をｏｆｆ画素として得られるエッジ分布において、前記ｏｆｆ画素の領域に対して、予め決めた大きさのウィンドウを設定するウインドウ設定手段と、該ウインドウ設定手段により設定された各ウィンドウ内の画素を２つの色に分類するカラークラスタリング手段と、該２つの色のうち輝度の大きい方の色を背景色と推定する推定手段とを有し、前記画像置き換え手段は、該推定した背景色で前記各ウィンドウ内の画素の色を置き換える画素置き換え手段を有することを特徴とするカラー画像処理装置。
- 請求項９に記載のカラー画像処理装置において、前記ｏｆｆ画素の領域に対して、横方向の各ラインにランを構成する横ラン構成手段と、縦方向の各ラインにランを構成する縦ラン構成手段とを有し、前記背景色推定手段は、前記横ラン構成手段（又は縦ラン構成手段）により構成された横（又は縦）方向のランを用いて前記背景色又は背景色画像を推定し、さらに、該推定した横（又は縦）方向の背景色又は背景色画像に対して、前記縦ラン構成手段（又は横ラン構成手段）により構成された縦（又は横）方向のランを用いて背景色又は背景色画像を推定し、前記画素置き換え手段は、前記ｏｆｆ画素に対応する前記原画像の画素を前記推定した縦（又は横）方向の背景色又は背景色画像の画素で置き換えることを特徴とするカラー画像処理装置。
- 請求項９又は１０に記載のカラー画像処理装置において、前記二値化処理手段は、前記閾値を前記エッジ強度の分布を統計的に解析して自動的に設定する自動閾値設定手段を有することを特徴とするカラー画像処理装置。
- 請求項９乃至１１のいずれか１に記載のカラー画像処理装置において、前記二値化処理手段は、前記閾値をユーザが裏写りの程度や紙質に応じて設定する閾値設定手段を有することを特徴とするカラー画像処理装置。
- 請求項９乃至１２のいずれか１に記載のカラー画像処理装置において、前記エッジ検出手段により前記裏写り除去画像のエッジを検出し、該検出した裏写り除去画像のエッジと前記原画像のエッジの分布を比較し、前記原画像に存在しないエッジを決定するエッジ決定手段と、前記裏写り除去画像において、前記原画像に存在しないエッジの周囲について、再度、裏写り除去画像を生成する反復手段とを有することを特徴とするカラー画像処理装置。
- 請求項１３に記載のカラー画像処理装置において、前記エッジ決定手段は、各画素について、前記裏写り除去画像で計算されたエッジ強度から前記原画像で計算されたエッジ強度を差し引き、その値が予め決めた閾値以上のものを、前記裏写り除去画像において、前記原画像に存在しないエッジと決定することを特徴とするカラー画像処理装置。
- 請求項１３又は１４に記載のカラー画像処理装置において、前記反復手段は、再度、裏写り除去画像を生成する際に、前記ウィンドウの大きさを前回の処理よりも小さく設定することを特徴とするカラー画像処理装置。
- 請求項９乃至１５のいずれか１に記載のカラー画像処理装置において、前記原画像から低解像度の縮小原画像を生成する画像縮小手段と、該縮小原画像に対して生成した裏写り除去画像と前記縮小原画像の差分を計算して裏写り領域を推定する裏写り領域推定手段と、該推定した裏写り領域に対応する前記裏写り除去画像の画素を元の解像度の前記原画像上に割り当てる画素割り当て手段とを有することを特徴とするカラー画像処理装置。
- 請求項１乃至８のいずれか１に記載のカラー画像処理方法を実行させるための、又は、請求項９乃至１６のいずれか１に記載のカラー画像処理装置の機能を実行させるための、プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35441299A JP3768052B2 (ja) | 1999-12-14 | 1999-12-14 | カラー画像処理方法、カラー画像処理装置、及びそのための記録媒体 |
| US09/734,591 US7292375B2 (en) | 1999-12-14 | 2000-12-13 | Method and apparatus for color image processing, and a computer product |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35441299A JP3768052B2 (ja) | 1999-12-14 | 1999-12-14 | カラー画像処理方法、カラー画像処理装置、及びそのための記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001169080A JP2001169080A (ja) | 2001-06-22 |
| JP3768052B2 true JP3768052B2 (ja) | 2006-04-19 |
Family
ID=18437391
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP35441299A Expired - Fee Related JP3768052B2 (ja) | 1999-12-14 | 1999-12-14 | カラー画像処理方法、カラー画像処理装置、及びそのための記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7292375B2 (ja) |
| JP (1) | JP3768052B2 (ja) |
Families Citing this family (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0989738A1 (en) * | 1998-09-22 | 2000-03-29 | Hewlett-Packard Company | Document analysis method to detect BW/color areas and corresponding scanning device |
| JP3898075B2 (ja) * | 2002-03-18 | 2007-03-28 | 株式会社リコー | 画像処理装置、画像処理方法及び記録媒体 |
| JP4169522B2 (ja) * | 2002-03-22 | 2008-10-22 | 株式会社リコー | 画像処理装置、画像処理プログラム及びこのプログラムを記憶する記憶媒体 |
| US7209599B2 (en) * | 2002-07-12 | 2007-04-24 | Hewlett-Packard Development Company, L.P. | System and method for scanned image bleedthrough processing |
| JP4118749B2 (ja) * | 2002-09-05 | 2008-07-16 | 株式会社リコー | 画像処理装置、画像処理プログラムおよび記憶媒体 |
| US7236266B2 (en) * | 2003-01-23 | 2007-06-26 | Kabushiki Kaisha Toshiba | Image processing apparatus and image processing method |
| JP4259949B2 (ja) | 2003-08-08 | 2009-04-30 | 株式会社リコー | 画像作成装置、画像作成プログラムおよび記録媒体 |
| JP2005094666A (ja) * | 2003-09-19 | 2005-04-07 | Fuji Xerox Co Ltd | 画像出力システム、画像処理装置、方法、およびプログラム |
| US8179573B2 (en) * | 2004-12-21 | 2012-05-15 | Hewlett-Packard Development Company, L.P. | Scanning two images of media |
| US7620359B2 (en) * | 2005-05-20 | 2009-11-17 | Lexmark International, Inc. | Method for processing a duplexed document |
| US7620360B2 (en) * | 2005-05-20 | 2009-11-17 | Lexmark International, Inc. | Method for reducing show-through in a scanned duplexed document |
| US20070019242A1 (en) * | 2005-07-22 | 2007-01-25 | Kabushiki Kaisha Toshiba | Image processing apparatus and image processing method |
| JP4085337B2 (ja) * | 2006-02-13 | 2008-05-14 | コニカミノルタビジネステクノロジーズ株式会社 | 画像形成装置 |
| JP2007221282A (ja) * | 2006-02-15 | 2007-08-30 | Konica Minolta Business Technologies Inc | 画像処理装置 |
| US7619780B2 (en) * | 2006-03-29 | 2009-11-17 | Lexmark International, Inc. | Method for performing duplex copying |
| JP5276260B2 (ja) * | 2006-06-30 | 2013-08-28 | キヤノン電子株式会社 | 画像読取装置 |
| JP4683654B2 (ja) * | 2006-07-07 | 2011-05-18 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法及びプログラム |
| JP4853653B2 (ja) | 2006-07-15 | 2012-01-11 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
| JP5007850B2 (ja) * | 2006-07-15 | 2012-08-22 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
| US8098936B2 (en) * | 2007-01-12 | 2012-01-17 | Seiko Epson Corporation | Method and apparatus for detecting objects in an image |
| JP4932504B2 (ja) * | 2007-01-18 | 2012-05-16 | 富士フイルム株式会社 | 画像処理方法、装置及びプログラム並びに撮像装置 |
| JP4771087B2 (ja) | 2007-02-28 | 2011-09-14 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
| JP4821663B2 (ja) * | 2007-03-12 | 2011-11-24 | 日本電気株式会社 | 文字ノイズ除去装置、文字ノイズ除去方法、文字ノイズ除去プログラム |
| JP4860518B2 (ja) * | 2007-03-19 | 2012-01-25 | 株式会社リコー | 画像処理装置、画像形成装置、画像処理方法及びコンピュータプログラム |
| JP2009071667A (ja) | 2007-09-14 | 2009-04-02 | Oki Data Corp | 画像読取装置 |
| JP5036495B2 (ja) * | 2007-11-08 | 2012-09-26 | キヤノン株式会社 | 色処理装置および色処理方法 |
| US8682029B2 (en) * | 2007-12-14 | 2014-03-25 | Flashfoto, Inc. | Rule-based segmentation for objects with frontal view in color images |
| JP4544311B2 (ja) | 2008-01-24 | 2010-09-15 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理装置 |
| JP2009239394A (ja) * | 2008-03-26 | 2009-10-15 | Seiko Epson Corp | ぬりえ製造装置およびぬりえ製造方法 |
| US8477247B2 (en) * | 2008-09-30 | 2013-07-02 | Intel Corporation | Joint enhancement of lightness, color and contrast of images and video |
| US8411986B2 (en) * | 2009-04-13 | 2013-04-02 | Flashfoto, Inc. | Systems and methods for segmenation by removal of monochromatic background with limitied intensity variations |
| US8670615B2 (en) * | 2009-09-30 | 2014-03-11 | Flashfoto, Inc. | Refinement of segmentation markup |
| JP4803471B2 (ja) * | 2009-10-29 | 2011-10-26 | ブラザー工業株式会社 | 印刷装置および印刷制御プログラム |
| US8503733B2 (en) * | 2009-11-16 | 2013-08-06 | Xerox Corporation | Show-through measurement system and method for inks on media |
| US9311567B2 (en) | 2010-05-10 | 2016-04-12 | Kuang-chih Lee | Manifold learning and matting |
| US8600167B2 (en) | 2010-05-21 | 2013-12-03 | Hand Held Products, Inc. | System for capturing a document in an image signal |
| US9047531B2 (en) | 2010-05-21 | 2015-06-02 | Hand Held Products, Inc. | Interactive user interface for capturing a document in an image signal |
| JP5636885B2 (ja) * | 2010-11-08 | 2014-12-10 | 株式会社リコー | 画像処理装置、画像形成装置、及び画像処理システム |
| US8457426B1 (en) | 2011-05-18 | 2013-06-04 | Adobe Systems Incorporated | Method and apparatus for compressing a document using pixel variation information |
| JP5806706B2 (ja) * | 2012-10-15 | 2015-11-10 | 株式会社沖データ | 画像読み取り装置及び画像形成装置 |
| JP6053506B2 (ja) * | 2012-12-25 | 2016-12-27 | キヤノン株式会社 | 反射特性の測定装置 |
| JP6045625B2 (ja) * | 2015-03-20 | 2016-12-14 | 株式会社Pfu | 画像処理装置、領域検出方法及びコンピュータプログラム |
| US10282605B2 (en) | 2016-09-30 | 2019-05-07 | Kyocera Document Solutions Inc. | Print data semantic analyzer |
| JP7141257B2 (ja) * | 2018-06-20 | 2022-09-22 | キヤノン株式会社 | 画像処理装置、その制御方法、及びプログラム |
| JP7229723B2 (ja) * | 2018-10-30 | 2023-02-28 | キヤノン株式会社 | 画像処理装置、その制御方法、並びにプログラム |
| JP7391653B2 (ja) * | 2019-12-20 | 2023-12-05 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| CN116862807A (zh) * | 2023-07-24 | 2023-10-10 | 浙江中烟工业有限责任公司 | 一种基于元学习和颜色聚类的去包装带图像处理方法 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5280367A (en) * | 1991-05-28 | 1994-01-18 | Hewlett-Packard Company | Automatic separation of text from background in scanned images of complex documents |
| US5271064A (en) * | 1991-06-14 | 1993-12-14 | University Of Cincinnati | Apparatus and method for smoothing regions and enhancing edges in gray scale images |
| JP2800633B2 (ja) * | 1993-04-30 | 1998-09-21 | 富士ゼロックス株式会社 | 画像符号化装置 |
| JP3208947B2 (ja) | 1993-09-10 | 2001-09-17 | ミノルタ株式会社 | 複写装置 |
| EP0692767B1 (en) * | 1994-07-13 | 2003-10-08 | Canon Kabushiki Kaisha | Image processing apparatus and method |
| JP3359180B2 (ja) | 1995-03-28 | 2002-12-24 | キヤノン株式会社 | 画像読取装置及び画像読取方法 |
| JPH0940959A (ja) | 1995-05-19 | 1997-02-10 | Dainippon Printing Co Ltd | 記録表示媒体用スメクチック液晶組成物、記録表示媒体及びその使用方法 |
| US5646744A (en) | 1996-01-11 | 1997-07-08 | Xerox Corporation | Show-through correction for two-sided documents |
| JPH09205544A (ja) | 1996-01-26 | 1997-08-05 | Minolta Co Ltd | 読取り画像の修正方法及び画像読取り装置 |
| JPH09233319A (ja) | 1996-02-20 | 1997-09-05 | Fuji Xerox Co Ltd | 画像処理装置 |
| US5767945A (en) * | 1996-02-28 | 1998-06-16 | Eastman Kodak Company | Methods of changing the visibility of some characteristic or information to be included in a hard copy of a recorded image |
| US6014462A (en) * | 1996-07-08 | 2000-01-11 | Ricoh Company, Ltd. | Image processing apparatus and method for distinguishing alphanumeric symbols on a white background and those on a mesh pattern and individually processing such image data |
| US5778092A (en) * | 1996-12-20 | 1998-07-07 | Xerox Corporation | Method and apparatus for compressing color or gray scale documents |
| JPH10271336A (ja) | 1997-03-24 | 1998-10-09 | Ricoh Co Ltd | カラー画像処理装置 |
| JP3752790B2 (ja) | 1997-07-22 | 2006-03-08 | コニカミノルタビジネステクノロジーズ株式会社 | 画像読取装置 |
| JP3688100B2 (ja) | 1997-07-31 | 2005-08-24 | 株式会社リコー | 画像処理装置 |
| JP3845509B2 (ja) | 1997-12-19 | 2006-11-15 | 株式会社東芝 | 画像処理装置および画像形成装置 |
| US6044172A (en) * | 1997-12-22 | 2000-03-28 | Ricoh Company Ltd. | Method and apparatus for reversible color conversion |
| US5880858A (en) * | 1997-12-31 | 1999-03-09 | Mustek Systems Inc. | Method of auto-cropping images for scanners |
| JP3828276B2 (ja) | 1998-03-26 | 2006-10-04 | 株式会社リコー | 画像処理装置 |
| US6101283A (en) * | 1998-06-24 | 2000-08-08 | Xerox Corporation | Show-through correction for two-sided, multi-page documents |
-
1999
- 1999-12-14 JP JP35441299A patent/JP3768052B2/ja not_active Expired - Fee Related
-
2000
- 2000-12-13 US US09/734,591 patent/US7292375B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US7292375B2 (en) | 2007-11-06 |
| US20020071131A1 (en) | 2002-06-13 |
| JP2001169080A (ja) | 2001-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3768052B2 (ja) | カラー画像処理方法、カラー画像処理装置、及びそのための記録媒体 | |
| JP5566811B2 (ja) | プリントアンドスキャン文書の画像評価のためのボケ除去および監視適応的スレッショルディング | |
| JP4423298B2 (ja) | デジタル画像におけるテキスト状エッジの強調 | |
| KR100512831B1 (ko) | 이미지 처리 방법, 장치 및 프로그램 저장 매체 | |
| US6160913A (en) | Method and apparatus for digital halftone dots detection and removal in business documents | |
| JP4396324B2 (ja) | ハーフトーン領域を判定する方法、及びコンピュータプログラム | |
| JP3904840B2 (ja) | 多値画像から罫線を抽出する罫線抽出装置 | |
| KR100542365B1 (ko) | 영상 화질 개선 장치 및 그 방법 | |
| JP2009535899A (ja) | 走査されたカラー画像からの複調画像の生成 | |
| US6317223B1 (en) | Image processing system for reducing vertically disposed patterns on images produced by scanning | |
| JPH10191062A (ja) | カラー画像の黒点および白点の検出システムおよび方法 | |
| JP3830350B2 (ja) | カラー画像処理方法、カラー画像処理装置、プログラム、及び記録媒体 | |
| US8224112B2 (en) | Fuzzy method to detect thin lines in scanned image | |
| JP2001222683A (ja) | 画像処理方法、画像処理装置、文字認識方法、文字認識装置及び記憶媒体 | |
| JP4084537B2 (ja) | 画像処理装置、画像処理方法および記録媒体並びに画像形成装置 | |
| Boiangiu et al. | Bitonal image creation for automatic content conversion | |
| JP4324532B2 (ja) | 画像処理装置および記憶媒体 | |
| KR20140063378A (ko) | 화상형성장치, 화상형성방법 및 컴퓨터 판독가능 기록매체 | |
| JP3877535B2 (ja) | カラー画像処理方法、カラー画像処理装置、カラー画像処理プログラム、及び記録媒体 | |
| JP2001291056A (ja) | 文書画像認識装置及び記録媒体 | |
| JP4143273B2 (ja) | カラー画像処理装置、カラー画像処理方法、プログラムおよび記録媒体 | |
| KR20040092564A (ko) | 경계선 분포를 이용한 스캔 영상의 상역 분리 방법 | |
| JP2002290748A (ja) | カラー画像処理装置、カラー画像処理方法、プログラムおよび記録媒体 | |
| JP2003259105A (ja) | カラー画像処理方法、カラー画像処理装置、及びそのための記録媒体 | |
| JP2004228745A (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040513 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051011 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051208 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060131 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060131 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140210 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |