Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4019692B2 - Color conversion device - Google Patents
[go: Go Back, main page]

JP4019692B2 - Color conversion device - Google Patents

Color conversion device Download PDF

Info

Publication number
JP4019692B2
JP4019692B2 JP2001344227A JP2001344227A JP4019692B2 JP 4019692 B2 JP4019692 B2 JP 4019692B2 JP 2001344227 A JP2001344227 A JP 2001344227A JP 2001344227 A JP2001344227 A JP 2001344227A JP 4019692 B2 JP4019692 B2 JP 4019692B2
Authority
JP
Japan
Prior art keywords
color
image data
color conversion
unit
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001344227A
Other languages
Japanese (ja)
Other versions
JP2003153017A (en
Inventor
貴行 須長
俊之 山田
洋実 北
秀美 金子
努 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2001344227A priority Critical patent/JP4019692B2/en
Publication of JP2003153017A publication Critical patent/JP2003153017A/en
Application granted granted Critical
Publication of JP4019692B2 publication Critical patent/JP4019692B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、色変換装置に係わり、特に、複数の色材を用いて画像を出力する画像出力装置へ複数の色材各々に対応する各色成分の濃度値で示した画像データを画像処理して出力するときに、カラー画像の画像データを入力して実時間内に任意の色座標変換、色変換をする色変換装置に関する。
【0002】
【従来の技術】
従来より、Y(イエロー)M(マジェンダ)C(シアン)K(ブラック)などの複数の色材を用いてカラー画像を形成する複写機、FAX、プリンタ、及びこれらのうちの複数の機能を備えた複合機などの画像出力装置が普及している。このような画像出力装置を利用するためには、画像を生成したときの表色系から画像出力装置の表色系に画像データを変換する必要がある。
【0003】
すなわち、例えばRGB表色系で生成された画像データを画像出力装置から出力するためには、RGBの画像データをYMCKの画像データに変換しなければならない。この場合、画像データの補正に適したL***などの表色系に一旦変換することが一般的である。
【0004】
RGBの画像データをL***などの表色系の画像データに変換することは広く知られているが、L***などの表色系の画像データを、YMCKの画像データに変換する場合、デバイス依存性が高いため、色信号変換を簡単かつ高速に行う手法として三次元補間法によるルックアップテーブル法を用いて変換することが知られている。三次元補間法は、色空間を複数の単位補間立体群に分割し、入力色が含まれる単位補間立体を選択し、該単位補間立体の複数頂点での出力値を用いて色空間全域にわたって任意の色変換を連続性を確保して補間するものである。このような3次元ルックアップテーブル(DLUT:Direct Lookup Table)などのルックアップテーブルを用いて、RGBやL***で表された色からプリンタの色材に対応したYMCK表色系への色変換処理を行う。そして、プリンタなどの画像出力装置では、YMCK表色系に変換後の画像データに従って、各色材を重ねて色を再現する。
【0005】
ところで、DLUTを用いて補間する場合、RGB各色の入力濃度のうち最小の値を黒として出力するMIN演算を使用すると、補間区間内にて補間結果が連続性を保ったまま凹状にたるんで波打つ形状に補間されてしまう。
【0006】
これを解消するために、特開平7−99587号公報に記載の技術では、三原色入力色信号で作られる三次元空間を複数の単位立方体領域に分割し、該空間の対角軸方向に沿って互いに隣接する各単位立方体の上底と下底を形成する頂点にて構成される斜三角柱もしくは平行六面体を想定し、前記入力色空間全域を前記斜行立体群にて包含するように設定し、任意の入力色に対応する出力値を、前記斜行立体の各頂点での出力値を用いて補間する。これによって、色変換において多用されるMIN演算による問題すなわち連続性を保ったまま凹状にたるんで波打つ形状に補間されることを無彩色方向に限らず入力色空間内の任意方向で回避することができる。
【0007】
【発明が解決しようとする課題】
しかしながら、従来の技術では、ハイライト部分では急激な濃度変動が生じ、立ち上がり特性が急峻になる。
【0008】
本発明は上記問題点を解消するためになされたもので、緩やかな濃度変動で変換特性を供給することができる色変換装置を提供することを目的とする。
【0009】
【課題を解決するための手段】
上記目的を達成するため本発明は、入力される画像の色に関する三次元空間を複数の単位立方体や単位直方体などの直方体に分割した後、該当する直方体を補間立体とする。この補間立体において補間手段により三次元補間する。このとき、色空間内で予め定めた複数の格子点を含むときに、該当する格子点に対応する出力値を予め定めた出力値に設定することで、緩やかな濃度変動の変換特性を得る。
【0010】
特に補間では、入力される画像の色に関する三次元空間を複数の単位立方体や単位直方体などの直方体に分割した後、該当する直方体を6個の三角錐に分割してこれを補間立体とすることができる。そして、画像データの入力色がいずれの三角錐に含まれるかを定めて、補間手段により三角錐の各頂点での出力値を用いる三角錐補間を行うこともできる。このとき、色空間内で予め定めた複数の格子点を含むときに、該当する格子点に対応する出力値を予め定めた出力値に設定することも可能である。
【0011】
詳細には、複数の色材を用いて画像を出力する画像出力装置へ画像データを入力するために、第1の表色系の画像データから前記複数の色材各々に対応する各色成分の濃度値で示した第2の表色系の画像データに変換する色変換装置であって、前記第1の表色系の色空間を複数に分割した直方体の格子点位置の画像データに前記第2の表色系の画像データの出力値を対応させた色変換テーブル記憶手段、前記第1の表色系の画像データが入力されると共に、前記画像データの上位ビットである上位データと前記画像データの下位ビットである下位データとに分離する入力手段と、前記第1の表色系の画像データから第2の表色系の画像データに変換するための色変換テーブルを指定するために、前記上位データに基づいて前記第1の表色系の画像データが属する前記直方体の位置を定めると共に、定めた直方体の格子点を指定する指定手段と、前記指定手段で定めた直方体の格子点が前記色空間内で濃度なしの格子点を含むときに、該当する格子点を含む色平面上でかつ前記該当する格子点の周囲の格子点について前記色変換テーブル記憶手段の出力値を予め定めた負数の出力値に設定する強制設定手段と、前記画像データの下位データ、及び前記色変換テーブル記憶手段からの出力値に基づいて三次元補間を行いかつ補間結果を出力する補間手段と、を備えることを特徴とする。
【0012】
前記色変換装置は、前記直方体を6つの三角錐に分割し、前記下位データに基づいて前記画像データが属する三角錐を選択する選択手段をさらに備え、前記指定手段は、前記選択手段で選択された三角錐の頂点を含む格子点をさらに指定し、前記補間手段は、前記画像データの下位データ、前記三角錐選択手段からの選択信号、及び前記色変換テーブル記憶手段からの出力値に基づいて三角錐補間を行いかつ補間結果を出力することを特徴とする。
【0013】
本発明の色変換装置は、複数の色材を用いて画像を出力する画像出力装置へ画像データを入力するために、第1の表色系の画像データから前記複数の色材各々に対応する各色成分の濃度値で示した第2の表色系の画像データに変換するためのものであり、色変換テーブル記憶手段を備えている。
【0014】
なお、第1の表色系は、L***表色系を採用することができる。また、第2の表色系は、YMC表色系やYMCK表色系を採用することができる。
【0015】
色変換テーブル記憶手段は、第1の表色系の色空間を複数に分割した直方体の格子点位置の画像データに第2の表色系の画像データの出力値を対応させたものである。この変換にあたって、入力手段には、第1の表色系の画像データが入力されると共に、入力手段は入力された画像データの上位ビットである上位データと前記画像データの下位ビットである下位データとに分離する。
【0016】
入力された画像データが、色空間内のどの位置に存在するのかを特定するために、指定手段において前記上位データに基づいて第1の表色系の画像データが属する前記直方体の位置を定める。
【0017】
定められた直方体により、第1の表色系の画像データから第2の表色系の画像データに変換するための色変換テーブルを指定するために、指定手段は、定めた直方体の格子点を指定する。ここで、格子点が、濃度なしの位置すなわち色の表現がなされていない位置である場合、濃度の出力値が存在すると変換特性が急峻になる。
【0018】
そこで、強制設定手段は、指定手段で定めた直方体の格子点が前記色空間内で予め定めた複数の格子点の少なくとも1つを含むときに、該当する格子点に対応する色変換テーブル記憶手段の出力値を予め定めた出力値に設定する。補間手段は、画像データの下位データ、及び色変換テーブル記憶手段からの出力値に基づいて三次元補間を行いかつ補間結果を出力する。
【0019】
三次元補間では、格子点に対応する色変換テーブル記憶手段の出力値を演算することで補間結果を得るが、直方体の格子点が色空間内で予め定めた複数の格子点の少なくとも1つを含む場合、すなわち白色に相当する色領域内の格子点である場合、濃度を有するように補間結果が得られることは好ましくない。このため、その格子点に対応する出力値を予め定めた出力値となるようにする。この出力値は、前記色変換テーブル記憶手段の予め定めた出力値は、予め定めた負数を採用することができる。この予め定めた出力値は、補間演算に作用し、滑らかな濃度変化となる変換特性の出力値を得ることができる。
【0020】
前記補間には、三角錐補間を採用することができる。この場合、選択手段は、前記直方体を6つの三角錐に分割し、前記下位データに基づいて画像データが属する三角錐を選択する。これら直方体や三角錐により、第1の表色系の画像データから第2の表色系の画像データに変換するための色変換テーブルを指定するために、指定手段は、定めた直方体の格子点でかつ選択手段で選択された三角錐の頂点を含む格子点を指定する。ここで、格子点が、濃度なしの位置すなわち色の表現がなされていない位置である場合、濃度の出力値が存在すると変換特性が急峻になる。
【0021】
そこで、強制設定手段は、指定手段で定めた直方体の格子点が前記色空間内で予め定めた複数の格子点の少なくとも1つを含むときに、該当する格子点に対応する色変換テーブル記憶手段の出力値を予め定めた出力値に設定する。三角錐補間手段は、画像データの下位データ、三角錐選択手段からの選択信号、及び色変換テーブル記憶手段からの出力値に基づいて三角錐補間を行いかつ補間結果を出力する。
【0022】
三角錐補間では、三角錐の頂点に対応する色変換テーブル記憶手段の出力値を演算することで補間結果を得るが、直方体の格子点が色空間内で予め定めた複数の格子点の少なくとも1つを含む場合、すなわち白色に相当する色領域内の格子点である場合、濃度を有するように補間結果が得られることは好ましくない。このため、その格子点に対応する出力値を予め定めた出力値となるようにする。この出力値は、前記色変換テーブル記憶手段の予め定めた出力値は、予め定めた負数を採用することができる。この予め定めた出力値は、補間演算に作用し、滑らかな濃度変化となる変換特性の出力値を得ることができる。
【0023】
なお、前記色変換テーブル記憶手段は前記対応と異なる予め定めた出力値のテーブルを更に備え、前記強制設定手段は、前記テーブルを設定することができる。また、色変換テーブルを異なる色変換処理ごとに複数プレーン備え、使用する色変換テーブルを画素単位に切り替えることを可能とし、さらに外部からの変更信号により、色変換テーブルを画素ごとに切り替えることを可能とする構成にすることもできる。
【0025】
また、前記色変換テーブル記憶手段は、前記直方体の格子点の各々について独立したテーブルを備え、少なくとも前記三角錐の頂点に対応する格子点のテーブルに同時にアクセスすることができる。
【0026】
【発明の実施の形態】
次に、図面を参照して本発明にかかる実施の形態を詳細に説明する。なお、以下では、本発明を複写機に適用した場合を例に説明する。
【0027】
図1に示すように、複写機10は、原稿から画像を読み取って画像データを取得する画像入力部(IIT:Image Input Terminal)12と、画像入力部12で取得された画像データに対して各種画像処理を施す画像処理部14と、画像データに基づいて、YMCKの色材を用いて、記録紙などの画像記録媒体に画像を記録して出力するプリンタ部16とで構成されている。
【0028】
画像入力部12は、複数のCCD(Charge-Coupled Devices)によって原稿を光学的に読み取るCCDセンサ18と、CCDセンサによって読み取られた画像データをデジタル信号に変換するA/D変換器20と、デジタル化された画像データにシェーディング補正を施す補正部22とを備えている。なお、一般にCCDセンサ18では、R(赤)G(緑)B(青)の色成分毎に原稿を読み取るので、画像入力部12から画像処理部14へは、各画素の色をRGB表色系で表した画像データ、すなわちRGB各色成分の濃度値を示す信号が出力される。
【0029】
画像処理部14は、画像入力部12から入力された画像データを色変換する色変換回路24と、色変換後の画像データに対して各種画像処理を施す画像処理回路26と、プリンタ部16で出力するために画像処理後の画像データをYMCK表色系に変換してプリンタ部16へ出力する色変換装置としての色変換回路28とを備えている。
【0030】
色変換回路24では、予め設定されているCCDセンサ18のデバイス特性を示すデータを用いるなどして、デバイスに依存するRGB表色系の画像データを、デバイスに依存しない表色系、本実施の形態では一例として、L***表色系に色変換する。従って、色変換回路24からは、各画素の色をL***表色系で表した画像データ、すなわちL***の各刺激値を示す信号が出力される。
【0031】
画像処理回路26は、L***表色系に変換された画像データに対して、プリント指示に応じた拡大・縮小処理、MTF(Modulation Transfer Function/Factor)補正などの先鋭化処理、及び原稿の種類(藁半紙、再生紙、色紙等)に応じた地肌成分を除去する地肌除去処理などの各種画像処理を施して、後段の色変換回路28へ出力する。
【0032】
図2に示すように、色変換回路28は、DLUT回路30を含んで構成されており、画像処理回路26から入力された画像処理後のL***表色系の画像データは、DLUT回路30に入力されるようになっている。
【0033】
DLUT回路30は、詳細な構成は後述するがL***表色系の画像データとYMCK表色系の画像データの対応を示す変換テーブルとして、L***の各刺激値の組合せで表される各色について、該色と略同等の色を表現するためのYMCKの各色成分の濃度値の組合せを示す3次元ルックアップテーブル(DLUT)が予め内部メモリに記憶されている。DLUT回路30は、この3次元ルックアップテーブルを用いて、画像処理回路26から入力された画像処理後のL***表色系の画像データをL***表色系からYMCK表色系に色変換し、各画素の色をYMCK表色系で表した画像データ、すなわちYMCKの各色成分の濃度値を示す信号を出力する。
【0034】
すなわち、DLUT回路30は、L***の各刺激値を示す3つの信号が入力され(3入力)、YMCKの各色成分の濃度値を示す4つの信号が出力される(4出力)ようになっている。
【0035】
なお、本実施の形態では、YMCKの4つの色材を用いるプリンタ部16を例に説明したため、DLUT回路30からはプリンタ部16で用いられる各色材に対応して4出力が得られるようになっているが、本発明はこれに限定されるものではない。プリンタ部がN色の色材を用いる場合は、これに対応して、DLUT回路30からはN出力が得られるように構成可能なことは勿論である。また、ディスプレイなどの表色系(例えばRGB表色系)の出力が得られるように構成することも容易である。
【0036】
図2に示すように、プリンタ部16は、画像処理部14すなわちDLUT回路30を含んで構成された色変換回路28から入力された画像データに対して階調補正を施す階調補正LUT回路34、及びYMCK各色の色材を用いて、階調補正後の画像データに基づく画像を記録紙などの画像出力媒体に形成して出力する画像出力部(IOT:Image Output Terminal)38を備えて構成されている。
【0037】
階調補正LUT回路34は、YMCK各色成分の各濃度値について、該濃度値に対応する所定の濃度を実際に該プリンタ部で再現するための濃度値を示すルックアップテーブルが予め内部メモリ(図示省略)に記憶されている。なお、ルックアップテーブルは、予め、プリンタ部16で所定パターンのテストプリントを出力するなどによってプリンタ部16の出力特性を求め、該出力特性に基づいて予め設定されている。
【0038】
階調補正LUT回路34は、このルックアップテーブルを用いて、入力された画像データの各画素について、YMCK各色成分の濃度値Y、M、C、Kの各々に対応する所定の濃度が実際に再現されるように各々の濃度値を補正(階調補正)する。なお、以下では、階調補正LUT回路34の階調補正後の濃度値をY’、M’、C’、K’と示す。
【0039】
画像出力部38は、YMCKのトナーやインクなどの色材を用いて、画像データをプリントする、すなわち画像データに基づく画像を画像記録媒体としての記録紙に記録して出力する機能を備えていればよい。本実施の形態では、一例として、画像出力部38は、YMCKの各色毎に感光体を備え、且つ色材にトナーを用い、総量規制条件回路36からの画像データをYMCKの各色成分毎の濃度値を示す画像データに分割し、各々対応する色の画像データに基づいて各感光体に静電潜像を記録し、静電潜像を各々対応する色のトナーを用いて現像して各色成分毎のトナー像を形成し、形成した各色成分毎のトナー像像を直接或いは中間転写体を介して画像記録媒体である記録紙に重ね合わせて転写して出力する。
【0040】
なお、上記では、プリンタ部16の外部に色変換回路28を設け、プリンタ部16の内部に階調補正LUT回路34を設けた場合を例に説明したが、画像入力側から順番に色変換回路28、及び階調補正LUT回路34を画像出力部38の手前に設ければよく、プリンタ部16内に設けても外部に設けてもよい。
【0041】
次に、色変換回路28に含まれるDLUT回路30を説明する。
【0042】
図3に示すように、DLUT回路30は、L***表色系の画像データを色変換してYMCK表色系で表した画像データ(YMCKの各色成分の濃度値を示す信号)を出力する。
【0043】
DLUT回路30は、入力部40,メモリ指定部42、三角錐選択部44、入力値強制設定部46、色変換テーブルメモリ48、及び三角錐型補間演算部50から構成されている。入力部40はL***表色系の画像データが入力されるように構成されており、入力部40の出力は、画像データとして入力される所定ビット(本実施の形態では8ビットを一例として説明する)のうち所定の上位ビット(本実施の形態では、上位4ビットを一例として説明する)がメモリ指定部42に入力されるように構成されている。また、入力部40の出力で、下位ビット(本実施の形態では、下位4ビットを一例として説明する)が三角錐選択部44に入力されるように構成されている。
【0044】
メモリ指定部42は、入力値強制設定部46、及び色変換テーブルメモリ48を解して三角錐型補間演算部50へ接続されている。この三角錐型補間演算部50は、YMCK表色系で表した画像データ(YMCKの各色成分の濃度値を示す信号)を出力する構成である。また、三角錐選択部44は、メモリ指定部42及び三角錐型補間演算部50に接続されている。
【0045】
なお、入力値強制設定部46には、モード設定52からの設定指示信号が入力されるように構成されている。
【0046】
本実施の形態では、色変換テーブルメモリ48は、単位立方体の8つの頂点数、さらに詳細には、後述する三角錐の4つの頂点数に対応したテーブルを同時にアクセス可能に構成している。この色変換テーブルメモリ48では、8つのテーブルから選択された4つのテーブルを1組として1種類の色変換の出力値を得る構成に相当する。すなわち、色変換テーブルメモリ48は、後述する三角錐の頂点の指示値に対応するYMCKの色成分の濃度値の各々を出力する。
【0047】
このDLUT回路30では、画像データL***はカラー画像を表現する8ビットデジタル信号として入力部40へ入力される。これらの信号はメモリ指定部42及び三角錐選択部44に入力される前に上位4ビットと下位4ビットの信号に分離される。
【0048】
DLUT回路30では、色空間を単位立方体で分割したものとして考える。L***表色系の画像データからYMCK表色系で表した画像データへの色変換は、上位4ビットの画像データを用いて、色空間内のどの単位立方体に属するかを求め、属する単位立方体の格子点に対応する色変換テーブルメモリのデータについて、下位4ビットの画像データで補間することによって、行われる。
【0049】
上記入力部40は本発明の入力手段に相当し、メモリ指定部42は本発明の指定手段に相当する。また、三角錐選択部44は本発明の選択手段に相当し、入力値強制設定部46は本発明の強制設定手段に相当する。また、色変換テーブルメモリ48は本発明の色変換テーブル記憶手段に相当し、三角錐型補間演算部50は、本発明の補間手段に相当し、特に、本発明の補間手段に三角錐補間を適用した構成に相当する。
【0050】
図4に示すように、L***色空間におけるL*,a*,b*の各軸を、上位信号により各々4、4、4ビットにて指定される分割領域、すなわち16、16、16領域に分割する結果、全色空間を4096個の立方体領域に分割する。分割された立方体の頂点にあたる格子点数では各軸17、17、17点の計4913点となる。この格子点の座標値は画像が8ビット入力で各軸とも(0、16、32、48、64、80、96、112、128、144、160、176、192、208、224、240、256)である。分割領域はすべて格子点からつぎの(格子点座標値−1)までの区間と定義する。
【0051】
従って座標値256などの最大格子点は仮想的に存在しているだけで最大分割領域に入る実際の入力信号としては255という数値が最大となる。この格子点上での出力値を色変換テーブルに記憶している。画像データが8ビットの場合、0から15までの分割領域が領域番号0、16から31までが領域番号1、となって最後に240から256までが領域番号15となる。すなわち領域は番号0から7までの8個になる。従って、3次元空間では領域番号(0、0、0)から(15、15、15)、まで4096個存在する。このアドレスによって色変換色変換テーブルメモリが読みだされる。すなわち、メモリ指定部42では、3次元空間の領域番号が指定され、色変換テーブルメモリ48を読み出すためのデータが出力される。なお、このとき、詳細は後述するが、画像データがL*=a*=b*=0近傍の場合、入力値強制設定部46により色変換テーブルメモリ48の設定が強制的に変更される。
【0052】
画像データの上位ビットがメモリ指定部42に入力されると同時に下位ビットが三角錐選択部44へ入力される。また下位ビットは3種類すべてが三角錐型補間演算部50に入力される。三角錐選択部44からの出力である選択信号はメモリ指定部42、及び三角錐型補間演算部50へ入力される。
【0053】
以上の構成により、画像データの上位ビットにて図4の立方体群から1個の立方体(以下単位立方体という)が選択される。
【0054】
図5に示すように、単位立方体54は、8つの格子点56A,56B,56C,56D,56E,56F,56G,56Hを有している。この単位立方体54は6つの三角錐54A,54B,54C,54D,54E,54Fに分割したものより構成される。三角錐選択部44では図5に示す単位立方体を6つに分割した三角錐54A〜54Fを想定し、入力された画像データの下位ビットが6つの三角錐54A〜54Fの何れかに含まれるかを決定し、それを表すデータを出力する。
【0055】
メモリ指定部42では、上述のように3次元空間の領域番号(0、0、0)〜(15、15、15)の何れかで、三角錐選択部44で選択された三角錐の頂点を表すデータが出力される。
【0056】
入力値強制設定部46は、入力された設定信号によって色変換テーブルとして出力される出力値を予め定めた設定値で出力するために、入力値を強制的に設定するための設定部であり、画像のハイライト領域で滑らかに濃度変換が行われるようにDLUTを調整するためのものである。
【0057】
すなわち、本実施の形態では、画像のハイライト部分において急激な濃度変動が生じることを抑制してそのハイライト領域で滑らかに濃度変換が行われるようにするために、色変換テーブルメモリ48からの出力値を強制的に負数と設定して出力するようにしている。
【0058】
入力値強制設定部46では、メモリ指定部42から出力された三角錐の頂点が、L*=a*=b*=0の格子点を含む単位立方体の頂点である場合、色変換テーブルとして出力される出力値を予め定めた設定値で出力するように、色変換テーブルメモリ48へデータを出力する。
【0059】
図6には、L***色空間においてL*=0の色領域を示している。図4では画像データの扱い上、色空間をL*軸、a*軸、b*軸で分断した1つの象限に存在するようにしているが、色を扱うa**範囲を考えると、その中心が明るさのみ(a*=b*=0)の軸となる。すなわち、L*=0でかつa*=b*=0(以下、原点62という)周辺が白であり、L*=255でかつa*=b*=0周辺が黒である。この白色を扱うL*=0の色平面(以下、対象色領域60という)では、濃度の出現する位置によって、ハイライト領域での濃度変動に応じて、得られる画像の再現度合いが左右する。
【0060】
そこで、本実施の形態では、対象色領域60において、色変換されたときの濃度値を強制的に負数に設定する。すなわち、色空間は、単位立方体54が敷き詰められるので、原点62の格子点P1の周辺には、8つの格子点P2,P3,P4,P5,P6,P7,P8,P9が位置することになる。この対象色領域60では、色領域Area_Aが白色域であり、この色領域Area_Aでは、濃度値は「0」であるべきである。
【0061】
本来、原点62では濃度「0」となるべきであるが、図7(A)に示すように、補間処理などによって、濃度が出現する場合があり、急激な濃度変化に至る場合がある。
【0062】
このため、従来、格子点P1は濃度「0」となるべく色変換テーブルメモリ48を設定したり、格子点P1の周辺の格子点P2〜P9の9つの頂点(以下、9頂点という)が濃度「0」となるべく色変換テーブルメモリ48を設定したりしていた。
【0063】
ところが、格子点P1で濃度「0」となるべく色変換テーブルメモリ48を設定すると、図7(C)に示すように、格子点P1すなわち原点62から僅かにずれると濃度が出現し、濃度変化による色味の変化が画像によってまちまちになる。また、9頂点で濃度「0」となるべく色変換テーブルメモリ48を設定すると、図7(B)に示すように、9頂点内の色領域Area_Bでは濃度「0」であるがこの範囲を超えた色領域Area_Cに移動する範囲で急激な濃度変化になる。
【0064】
本発明者は、強制的に「0」に設定するのではなく、補間演算を行うことを考慮し、9頂点に負数を設定することを想起した。これは、濃度で負数が設定されても、存在しないものであるため、「0」となり、その「0」からの立ち上がり、すなわち濃度の出現が演算によって現れると考えたためである。本実施の形態では、9頂点全てに「−1.5」を設定する。
【0065】
例えば、格子点P1を「−1.5」に設定すると、図7(D)に示すように、その次の格子点に至る途中で濃度が現れることになる。従って、9頂点全てに「−1.5」を設定することで、色領域Area_B内では、濃度「0」が保たれ、色領域Area_Cで濃度が出現し、かつ原点から離間するに従って徐々に濃度が高くなる特性を得ることができる。
【0066】
従って、メモリ指定部42では、対象となる画像データについて、三角錐選択部44で選択された単位立方体54の三角錐54A〜54Fに属する格子点(56A〜56Gの何れか4個)が、単位立方体54を表すデータと共に出力される。入力値強制設定部46では、入力された格子点が上述の9頂点に該当するか否かを判定し、該当する格子点が存在する場合、濃度の出力が「−1.5」となるように、色変換テーブルメモリ48を設定する。
【0067】
この場合、色変換テーブルメモリ48は、濃度の出力が「−1.5」となるべく独立してテーブルメモリを有しても良く、また、テーブル内に濃度の出力が「−1.5」となる領域を含めても良い。本実施の形態では、三角錐型補間演算部50が色変換テーブルメモリ48からデータを読み出す構成であるため、色変換テーブルメモリ48は独立した色変換テーブルメモリを備え、入力値強制設定部46は、その独立した色変換テーブルメモリ48を強制的に設定する。すなわち、入力値強制設定部46は、三角錐選択部44で選択された単位立方体54の格子点に対応しかつ上述の9頂点に該当する格子点に対応する色変換テーブルを、濃度の出力が「−1.5」となるべく独立したテーブルメモリが読み出されるように設定する。
【0068】
三角錐型補間演算部50は、三角錐選択部44から入力される対象となる画像データについて選択された単位立方体54の三角錐54A〜54Fの何れかに属する4つの格子点(56A〜56Gの何れか4個)に対応する出力値を、色変換テーブルメモリ48から読み取る。読み取った出力値に画像データの下位ビットから定まる係数を乗算し、それぞれを加算して、最終的な濃度値を得る。この処理をYMCKの各々について実施し、色変換された画像データを得る。
【0069】
従って、三角錐型補間演算部50では、色変換テーブルメモリ48からの出力値と三角錐選択部44からの選択信号すなわち三角錐の種類、及び画像データの下位ビットの信号が入力されて三角錐補間を行い補間出力値を生成し、出力する。本実施の形態では、色変換出力は1回の色変換補間演算において3入力1出力で構成しておりLab信号からYMCK信号へ変換する場合などの3入力4出力の場合、変換後のYMCKのいずれか1種類の信号のみを生成する。なお、色変換テーブルメモリ48と三角錐型補間演算部50を3種類、あるいは4種類搭載することによって様々な表色系への変換に対応できることはもちろんである。
【0070】
なお、三角錐型補間演算部50における補間演算は、本出願人が先に提案した特開平2−187374号公報、特開平5−110840号公報、特開平7−212583号公報などに記載の技術を用いることができる。
【0071】
ここで、入力値強制設定部46には、モード設定52からモード設定信号が入力される構成になっている。このモード設定52からの信号は、入力値強制設定部46を動作させることを指示するための信号である。すなわち、上述のようにDLUTを調整することによって、画像のハイライト領域で滑らかに濃度変換が行われる。ところが、画像によっては、このような色変換処理の調整が不要な場合もある。従って、上述の9頂点の強制的な色変換テーブルの設定を選択的に適用可能とする構成が必要である。
【0072】
本実施の形態では、モード設定52で設定されたモードにより入力値強制設定部46の作動の可否が選択可能である。このモード設定52は、複写機内部の図示しないCPUが設定してもよく、ユーザの指示操作によって入力された設定でもよい。例えば、ハイライト領域で滑らかに濃度変換が要求される写真画像を含む画像の場合に、入力値強制設定部46が動作するように設定することによって、上述の作動が施され、滑らかに濃度変換が行われる。
【0073】
次に、複写機10の全体の流れを説明する。複写機10は、図示しないユーザインタフェースに設けられたスタートボタンが押圧されるなどにより、コピージョブが入力されると、画像入力部12において、CCDセンサ18で原稿をRGBの各色成分毎に読み取って画像データを取得し、取得した画像データをA/D変換器20でデジタルデータに変換し、補正部22でシェーディング補正を施した後、画像処理部14へ出力する。これにより、画像処理部14には、各画素の色をRGB表色系で表した画像データ、すなわちRGB各色成分の濃度値を示す信号が入力される。
【0074】
画像処理部14に入力された画像データは、まず、色変換回路24によってRGB表色系からL***表色系へ色変換して、各画素の色をL***表色系で表した画像データに変換され、画像処理回路26で各種の画像処理が施された後、色変換回路28でL***表色系からプリンタ部16の色材に対応したYMCK表色系に変換される。
【0075】
この色変換回路28では、ハイライト領域で滑らかに濃度変換を行うために、入力値強制設定部46において色変換テーブルメモリ48を強制的に設定する。この設定によって、白色に対応する9頂点のデータが負数に設定され、補間処理による出力値が滑らかな勾配となる特性となり、急峻な濃度変化になることが抑制され、徐々に濃度変化が行われる色変換となる。
【0076】
YMCK表色系に変換された画像データは、階調補正LUT回路34によって階調補正が施され、その階調補正された画像データは、画像出力部38へ出力されてプリントされる。
【0077】
このように、本実施の形態では、対象色領域60内の濃度「0」となるべき色領域Area_Aに属する単位立方体54の9つの格子点(9頂点)の全てに、予め定めた負数(例えば、−1.5)を設定するので、得られる濃度特性は、緩やかな立ち上がりの特性(図7(D)参照)が得られる。このため、地図原稿などのようなハイライト領域を含む画像の色再現や濃度再現の再現性向上する。
【0078】
なお、本発明は、複写機以外にも、複数の色材を用いて画像を出力する装置であれば適用可能である。例えば、FAXや、PCと接続されて用いられるプリンタや、複写機、FAX、及びプリンタのうちの少なくとも2つ以上の機能を備えた複合機などに適用してもよい。
【0079】
【発明の効果】
上記に示したように、本発明によれば、直方体の格子点が色空間内で予め定めた複数の格子点の少なくとも1つを含む場合例えば白色に相当する色領域内の格子点である場合、その格子点に対応する出力値を予め定めた出力値となるようにすることによって、滑らかな濃度変化となる変換特性の出力値を得ることができる、という優れた効果を有する。
【図面の簡単な説明】
【図1】 本発明の実施の形態に係わる複写機の概略構成図である。
【図2】 色変換回路及びプリンタ部の詳細構成図である。
【図3】 DLUT回路の概念構成を示すブロック図である。
【図4】 単位立方体で構成される色空間を示す斜視図である。
【図5】 単位立方体及び三角錐を示す線図である。
【図6】 緩やかな立ち上がりの特性を得るための対象色領域を説明するための説明図である。
【図7】 色変換回路による変換特性を示し、(A)は無調整のとき、(B)は9頂点を全て「0」に設定したとき、(C)は1頂点のみ「0」に設定したとき、(D)は本実施の形態による9頂点を負数に設定したときを示している。
【符号の説明】
Area_A…色領域
P1〜P9…格子点
10…複写機
28…色変換回路
30…DLUT回路
40…入力部
42…メモリ指定部
44…三角錐選択部
46…入力値強制設定部
48…色変換テーブルメモリ
50…三角錐型補間演算部
52…モード設定
54…単位立方体
54A…三角錐
56A…格子点
60…対象色領域
62…原点
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a color conversion device, and in particular, performs image processing on image data indicated by density values of each color component corresponding to each of a plurality of color materials to an image output device that outputs an image using the plurality of color materials. The present invention relates to a color conversion apparatus that inputs image data of a color image and performs arbitrary color coordinate conversion and color conversion in real time when outputting.
[0002]
[Prior art]
Conventionally, a copying machine, a FAX, and a printer that form a color image using a plurality of color materials such as Y (yellow), M (magenta), C (cyan), and K (black), and a plurality of these functions are provided. Image output devices such as multifunction peripherals have become widespread. In order to use such an image output device, it is necessary to convert the image data from the color system when the image is generated to the color system of the image output device.
[0003]
That is, for example, in order to output image data generated in the RGB color system from the image output device, the RGB image data must be converted into YMCK image data. In this case, L suitable for correction of image data * a * b * It is common to convert the color system once.
[0004]
RGB image data L * a * b * It is well known to convert to color system image data such as * a * b * When converting color image data such as image data to YMCK image data, it is highly device-dependent, so as a simple and fast method of color signal conversion, conversion is performed using a look-up table method based on three-dimensional interpolation. It is known to do. In the three-dimensional interpolation method, a color space is divided into a plurality of unit interpolation solid groups, a unit interpolation solid including an input color is selected, and an output value at a plurality of vertices of the unit interpolation solid is arbitrarily used over the entire color space. The color conversion is interpolated while ensuring continuity. Using a lookup table such as a three-dimensional lookup table (DLUT), RGB and L * a * b * The color conversion processing from the color represented by the above to the YMCK color system corresponding to the color material of the printer is performed. In an image output apparatus such as a printer, colors are reproduced by overlapping each color material in accordance with the image data converted into the YMCK color system.
[0005]
By the way, when interpolation is performed using DLUT, if the MIN operation is used to output the minimum value of the RGB input colors as black, the interpolation result sags in a concave shape while maintaining continuity within the interpolation interval. Interpolated to shape.
[0006]
In order to solve this problem, the technique described in Japanese Patent Application Laid-Open No. Hei 7-99587 divides a three-dimensional space created by three primary color input color signals into a plurality of unit cube regions, and along the diagonal direction of the space. Assuming an oblique triangular prism or parallelepiped composed of the vertices forming the upper and lower bases of each unit cube adjacent to each other, the entire input color space is set to be included in the oblique solid group, The output value corresponding to an arbitrary input color is interpolated using the output value at each vertex of the oblique solid. As a result, it is possible to avoid a problem caused by the MIN operation frequently used in color conversion, that is, interpolation in a undulating shape while maintaining continuity in any direction in the input color space, not just the achromatic color direction. it can.
[0007]
[Problems to be solved by the invention]
However, in the conventional technique, a rapid density fluctuation occurs in the highlight portion, and the rising characteristics become steep.
[0008]
SUMMARY An advantage of some aspects of the invention is that it provides a color conversion apparatus that can supply conversion characteristics with a gradual density fluctuation.
[0009]
[Means for Solving the Problems]
In order to achieve the above object, the present invention divides a three-dimensional space related to the color of an input image into a plurality of rectangular parallelepipeds such as a unit cube and a unit rectangular parallelepiped, and then makes the corresponding rectangular parallelepiped an interpolation solid. In this interpolation solid, three-dimensional interpolation is performed by an interpolation means. At this time, when a plurality of predetermined grid points are included in the color space, an output value corresponding to the corresponding grid point is set to a predetermined output value, thereby obtaining a moderate density fluctuation conversion characteristic.
[0010]
In particular, in interpolation, a three-dimensional space related to the color of an input image is divided into a plurality of unit cubes and unit cubes, and then the corresponding cube is divided into six triangular pyramids to form an interpolation solid. Can do. Then, it is also possible to determine which triangular pyramid the input color of the image data is included in and perform triangular pyramid interpolation using the output value at each vertex of the triangular pyramid by the interpolation means. At this time, when a plurality of predetermined lattice points are included in the color space, an output value corresponding to the corresponding lattice point can be set to a predetermined output value.
[0011]
Specifically, in order to input image data to an image output apparatus that outputs an image using a plurality of color materials, the density of each color component corresponding to each of the plurality of color materials from the image data of the first color system A color conversion device that converts image data of a second color system represented by values into image data at lattice point positions of a rectangular parallelepiped obtained by dividing the color space of the first color system into a plurality of colors. A color conversion table storage means corresponding to the output value of the image data of the color system, the image data of the first color system is inputted, and the image data Upper bit The upper data and the image data Low order bit Based on the higher order data, the input means for separating the lower order data and the color conversion table for converting the first color system image data into the second color system image data. The position of the rectangular parallelepiped to which the image data of the first color system belongs is determined, designation means for designating a grid point of the defined rectangular parallelepiped, and grid points of the rectangular parallelepiped defined by the designation means are within the color space Grid points without density The corresponding grid point The grid points around the corresponding grid point on the color plane including The output value of the color conversion table storage means Predetermined negative number Compulsory setting means for setting an output value; and interpolation means for performing three-dimensional interpolation on the basis of output data from the lower order data of the image data and the color conversion table storage means and outputting an interpolation result. Features.
[0012]
The color conversion device further includes a selection unit that divides the rectangular parallelepiped into six triangular pyramids and selects a triangular pyramid to which the image data belongs based on the lower data, and the designation unit is selected by the selection unit. A grid point including the apex of the triangular pyramid is further specified, and the interpolation means is based on the lower data of the image data, the selection signal from the triangular pyramid selection means, and the output value from the color conversion table storage means Triangular pyramid interpolation is performed and an interpolation result is output.
[0013]
In order to input image data to an image output device that outputs an image using a plurality of color materials, the color conversion device of the present invention corresponds to each of the plurality of color materials from the image data of the first color system. This is for conversion into image data of the second color system indicated by the density value of each color component, and is provided with a color conversion table storage means.
[0014]
The first color system is L * a * b * A color system can be adopted. The second color system can be a YMC color system or a YMCK color system.
[0015]
The color conversion table storage means associates the output value of the second color system image data with the image data at the grid point positions of the rectangular parallelepiped obtained by dividing the color space of the first color system. In this conversion, the image data of the first color system is input to the input unit, and the input unit stores the input image data. Upper bit The upper data and the image data Low order bit Separated into lower data.
[0016]
In order to specify the position in the color space where the input image data exists, the position of the rectangular parallelepiped to which the first color system image data belongs is determined based on the higher order data in the specifying means.
[0017]
In order to designate a color conversion table for converting the image data of the first color system to the image data of the second color system by the defined rectangular parallelepiped, the designation means sets the grid points of the defined rectangular parallelepiped specify. Here, when the grid point is a position where there is no density, that is, a position where the color is not expressed, the conversion characteristic becomes steep when the output value of density exists.
[0018]
Therefore, the compulsory setting means includes a color conversion table storage means corresponding to a corresponding grid point when the rectangular grid point determined by the specifying means includes at least one of a plurality of grid points predetermined in the color space. Is set to a predetermined output value. The interpolation means performs three-dimensional interpolation based on the lower order data of the image data and the output value from the color conversion table storage means, and outputs the interpolation result.
[0019]
In the three-dimensional interpolation, the interpolation result is obtained by calculating the output value of the color conversion table storage means corresponding to the lattice point. At least one of a plurality of lattice points determined in advance in the color space is a rectangular parallelepiped lattice point. If it is included, that is, if it is a grid point in the color region corresponding to white, it is not preferable to obtain an interpolation result having a density. For this reason, the output value corresponding to the lattice point is set to a predetermined output value. As this output value, a predetermined negative value can be adopted as the predetermined output value of the color conversion table storage means. This predetermined output value acts on the interpolation calculation, and an output value of conversion characteristics that results in a smooth density change can be obtained.
[0020]
Triangular pyramid interpolation can be employed for the interpolation. In this case, the selection unit divides the rectangular parallelepiped into six triangular pyramids, and selects the triangular pyramid to which the image data belongs based on the lower data. In order to designate a color conversion table for converting the image data of the first color system to the image data of the second color system by using these rectangular parallelepipeds or triangular pyramids, And a grid point including the apex of the triangular pyramid selected by the selection means is designated. Here, when the grid point is a position where there is no density, that is, a position where no color is expressed, the conversion characteristic becomes steep when there is an output value of density.
[0021]
Therefore, the compulsory setting means is a color conversion table storage means corresponding to a corresponding grid point when the grid point of the rectangular parallelepiped determined by the specifying means includes at least one of a plurality of grid points predetermined in the color space. Is set to a predetermined output value. The triangular pyramid interpolation means performs triangular pyramid interpolation and outputs the interpolation result based on the lower order data of the image data, the selection signal from the triangular pyramid selection means, and the output value from the color conversion table storage means.
[0022]
In the triangular pyramid interpolation, the interpolation result is obtained by calculating the output value of the color conversion table storage means corresponding to the apex of the triangular pyramid, but the rectangular grid point is at least one of a plurality of grid points determined in advance in the color space. In other words, it is not preferable that an interpolation result is obtained so as to have a density when it includes two points, that is, when it is a grid point in a color region corresponding to white. For this reason, the output value corresponding to the lattice point is set to a predetermined output value. As this output value, a predetermined negative value can be adopted as the predetermined output value of the color conversion table storage means. This predetermined output value acts on the interpolation calculation, and an output value of conversion characteristics that results in a smooth density change can be obtained.
[0023]
The color conversion table storage means further includes a table of predetermined output values different from the correspondence, and the forcible setting means can set the table. In addition, multiple color conversion tables are provided for each different color conversion process, and the color conversion table to be used can be switched for each pixel, and the color conversion table can be switched for each pixel by a change signal from the outside. It can also be set as the structure.
[0025]
The color conversion table storage means includes an independent table for each of the rectangular parallelepiped lattice points, and can simultaneously access a table of lattice points corresponding to at least the apexes of the triangular pyramid.
[0026]
DETAILED DESCRIPTION OF THE INVENTION
Next, embodiments of the present invention will be described in detail with reference to the drawings. Hereinafter, a case where the present invention is applied to a copying machine will be described as an example.
[0027]
As shown in FIG. 1, the copying machine 10 includes an image input unit (IIT) 12 that reads an image from a document and acquires image data, and various types of image data acquired by the image input unit 12. An image processing unit 14 that performs image processing and a printer unit 16 that records and outputs an image on an image recording medium such as recording paper using YMCK color material based on the image data.
[0028]
The image input unit 12 includes a CCD sensor 18 that optically reads an original with a plurality of CCDs (Charge-Coupled Devices), an A / D converter 20 that converts image data read by the CCD sensor into a digital signal, and a digital And a correction unit 22 that performs shading correction on the converted image data. In general, the CCD sensor 18 reads a document for each of R (red), G (green), and B (blue) color components, so that the color of each pixel is represented by RGB color from the image input unit 12 to the image processing unit 14. Image data expressed in a system, that is, a signal indicating the density value of each of the RGB color components is output.
[0029]
The image processing unit 14 includes a color conversion circuit 24 that performs color conversion on the image data input from the image input unit 12, an image processing circuit 26 that performs various image processing on the color-converted image data, and a printer unit 16. A color conversion circuit 28 is provided as a color conversion device that converts image data after image processing into a YMCK color system for output to the printer unit 16 for output.
[0030]
In the color conversion circuit 24, data indicating the device characteristics of the RGB sensor color system depending on the device is converted from the data indicating the device characteristics of the CCD sensor 18 in advance. In the form, as an example, L * a * b * Color conversion to the color system. Therefore, the color conversion circuit 24 changes the color of each pixel to L. * a * b * Image data expressed in a color system, that is, L * a * b * A signal indicating each stimulation value is output.
[0031]
The image processing circuit 26 is L * a * b * For image data converted to the color system, enlargement / reduction processing according to the print instruction, sharpening processing such as MTF (Modulation Transfer Function / Factor) correction, and the type of original (semi-half paper, recycled paper, colored paper, etc.) ), And performs various image processing such as background removal processing for removing the background component, and outputs it to the color conversion circuit 28 at the subsequent stage.
[0032]
As shown in FIG. 2, the color conversion circuit 28 includes a DLUT circuit 30, and the L after image processing input from the image processing circuit 26. * a * b * The color system image data is input to the DLUT circuit 30.
[0033]
Although the detailed configuration of the DLUT circuit 30 will be described later, L * a * b * As a conversion table showing the correspondence between the color system image data and the YMCK color system image data, * a * b * A three-dimensional look-up table (DLUT) indicating a combination of density values of each color component of YMCK for expressing a color substantially equivalent to the color is stored in the internal memory in advance for each color represented by the combination of each stimulus value. Has been. The DLUT circuit 30 uses the three-dimensional look-up table to perform the image processing L input from the image processing circuit 26. * a * b * L color image data * a * b * Color conversion from the color system to the YMCK color system is performed, and image data in which the color of each pixel is expressed in the YMCK color system, that is, a signal indicating the density value of each color component of YMCK is output.
[0034]
That is, the DLUT circuit 30 has an L * a * b * Are input (three inputs), and four signals indicating the density values of each color component of YMCK are output (four outputs).
[0035]
In the present embodiment, the printer unit 16 using four colorants of YMCK has been described as an example, so that the DLUT circuit 30 can obtain four outputs corresponding to each color material used in the printer unit 16. However, the present invention is not limited to this. When the printer unit uses N color materials, it is needless to say that the N output can be obtained from the DLUT circuit 30 correspondingly. It is also easy to configure so that an output of a color system such as a display (for example, RGB color system) can be obtained.
[0036]
As shown in FIG. 2, the printer unit 16 includes a gradation correction LUT circuit 34 that performs gradation correction on image data input from an image processing unit 14, that is, a color conversion circuit 28 including a DLUT circuit 30. And an image output terminal (IOT) 38 for forming and outputting an image based on the image data after gradation correction on an image output medium such as recording paper using color materials of YMCK and YMCK. Has been.
[0037]
In the gradation correction LUT circuit 34, for each density value of each color component of YMCK, a lookup table indicating density values for actually reproducing a predetermined density corresponding to the density value in the printer unit is stored in advance in an internal memory (illustrated). (Omitted). Note that the look-up table is set in advance based on the output characteristics of the printer unit 16 obtained by, for example, outputting a test print of a predetermined pattern from the printer unit 16.
[0038]
The tone correction LUT circuit 34 actually uses the lookup table to obtain a predetermined density corresponding to each of the density values Y, M, C, and K of the YMCK color components for each pixel of the input image data. Each density value is corrected (tone correction) to be reproduced. Hereinafter, the density values after the gradation correction of the gradation correction LUT circuit 34 are indicated as Y ′, M ′, C ′, and K ′.
[0039]
The image output unit 38 has a function of printing image data using color materials such as YMCK toner and ink, that is, recording and outputting an image based on the image data on a recording sheet as an image recording medium. That's fine. In this embodiment, as an example, the image output unit 38 includes a photoconductor for each color of YMCK, uses toner as a color material, and converts the image data from the total amount regulation condition circuit 36 into the density for each color component of YMCK. Each of the color components is divided into image data indicating values, and electrostatic latent images are recorded on the respective photoconductors based on the image data of the corresponding colors, and the electrostatic latent images are developed using the corresponding color toners. A toner image for each color component is formed, and the formed toner image for each color component is transferred to a recording paper as an image recording medium, directly or via an intermediate transfer member, and output.
[0040]
In the above description, the case where the color conversion circuit 28 is provided outside the printer unit 16 and the gradation correction LUT circuit 34 is provided inside the printer unit 16 has been described as an example, but the color conversion circuit is sequentially arranged from the image input side. 28 and the gradation correction LUT circuit 34 may be provided in front of the image output unit 38, and may be provided inside or outside the printer unit 16.
[0041]
Next, the DLUT circuit 30 included in the color conversion circuit 28 will be described.
[0042]
As shown in FIG. 3, the DLUT circuit 30 includes an LUT * a * b * Color data of the color system image data is converted, and image data expressed in the YMCK color system (a signal indicating the density value of each color component of YMCK) is output.
[0043]
The DLUT circuit 30 includes an input unit 40, a memory designation unit 42, a triangular pyramid selection unit 44, an input value forced setting unit 46, a color conversion table memory 48, and a triangular pyramid interpolation calculation unit 50. The input unit 40 is L * a * b * The color system image data is input, and the output of the input unit 40 is a predetermined bit out of predetermined bits (8 bits will be described as an example in the present embodiment) input as image data. The high-order bits (in this embodiment, the high-order 4 bits will be described as an example) are configured to be input to the memory designating unit 42. Further, at the output of the input unit 40, the lower bits (in the present embodiment, the lower 4 bits will be described as an example) are input to the triangular pyramid selection unit 44.
[0044]
The memory designation unit 42 is connected to the triangular pyramid interpolation calculation unit 50 through the input value forced setting unit 46 and the color conversion table memory 48. This triangular pyramid interpolation calculation unit 50 is configured to output image data (signal indicating the density value of each color component of YMCK) expressed in the YMCK color system. Further, the triangular pyramid selection unit 44 is connected to the memory designation unit 42 and the triangular pyramid interpolation calculation unit 50.
[0045]
The input value forced setting unit 46 is configured to receive a setting instruction signal from the mode setting 52.
[0046]
In the present embodiment, the color conversion table memory 48 is configured to be able to simultaneously access a table corresponding to the number of eight vertices of a unit cube, more specifically, the number of four vertices of a triangular pyramid described later. The color conversion table memory 48 corresponds to a configuration in which one set of four tables selected from eight tables is used to obtain one type of color conversion output value. That is, the color conversion table memory 48 outputs each density value of the YMCK color component corresponding to the indication value of the apex of the triangular pyramid described later.
[0047]
In this DLUT circuit 30, the image data L * a * b * Is input to the input unit 40 as an 8-bit digital signal representing a color image. These signals are separated into upper 4 bits and lower 4 bits before being input to the memory designation unit 42 and the triangular pyramid selection unit 44.
[0048]
The DLUT circuit 30 considers that the color space is divided into unit cubes. L * a * b * The color conversion from the color system image data to the image data represented in the YMCK color system uses the upper 4 bits of image data to determine which unit cube in the color space belongs, and the grid of the unit cube to which it belongs This is performed by interpolating the data of the color conversion table memory corresponding to the point with the lower 4 bits of image data.
[0049]
The input unit 40 corresponds to the input unit of the present invention, and the memory designation unit 42 corresponds to the designation unit of the present invention. The triangular pyramid selection unit 44 corresponds to the selection unit of the present invention, and the input value forced setting unit 46 corresponds to the forced setting unit of the present invention. Further, the color conversion table memory 48 corresponds to the color conversion table storage means of the present invention, and the triangular pyramid-type interpolation calculation unit 50 corresponds to the interpolation means of the present invention. In particular, the interpolation means of the present invention performs triangular pyramid interpolation. It corresponds to the applied configuration.
[0050]
As shown in FIG. * a * b * L in color space * , A * , B * Are divided into divided areas designated by 4, 4 and 4 bits, that is, 16, 16, and 16 areas, respectively, so that the entire color space is divided into 4096 cubic areas. In terms of the number of lattice points corresponding to the vertices of the divided cubes, there are a total of 4913 points of 17, 17 and 17 axes. The coordinate value of the grid point is an 8-bit input image, and each axis (0, 16, 32, 48, 64, 80, 96, 112, 128, 144, 160, 176, 192, 208, 224, 240, 256) ). All the divided areas are defined as a section from a grid point to the next (grid point coordinate value −1).
[0051]
Therefore, the maximum grid point such as the coordinate value 256 is virtually present, and the value of 255 is the maximum as the actual input signal that enters the maximum divided area. Output values on the grid points are stored in the color conversion table. When the image data is 8 bits, the divided area from 0 to 15 is area number 0, 16 to 31 is area number 1, and finally 240 to 256 is area number 15. That is, there are 8 areas from 0 to 7. Therefore, in the three-dimensional space, there are 4096 areas number (0, 0, 0) to (15, 15, 15). The color conversion color conversion table memory is read by this address. In other words, the memory designating unit 42 designates an area number in the three-dimensional space and outputs data for reading the color conversion table memory 48. At this time, although details will be described later, the image data is L * = A * = B * In the vicinity of = 0, the input value forced setting unit 46 forcibly changes the setting of the color conversion table memory 48.
[0052]
The upper bits of the image data are input to the memory designation unit 42 and the lower bits are input to the triangular pyramid selection unit 44 at the same time. Further, all three types of lower bits are input to the triangular pyramid interpolation calculation unit 50. A selection signal that is an output from the triangular pyramid selection unit 44 is input to the memory designation unit 42 and the triangular pyramid interpolation calculation unit 50.
[0053]
With the above configuration, one cube (hereinafter referred to as a unit cube) is selected from the cube group of FIG.
[0054]
As shown in FIG. 5, the unit cube 54 has eight lattice points 56A, 56B, 56C, 56D, 56E, 56F, 56G, and 56H. The unit cube 54 is composed of six triangular pyramids 54A, 54B, 54C, 54D, 54E, and 54F. The triangular pyramid selection unit 44 assumes triangular pyramids 54A to 54F obtained by dividing the unit cube shown in FIG. 5 into six, and whether the lower bits of the input image data are included in any of the six triangular pyramids 54A to 54F. And data representing it are output.
[0055]
In the memory designating unit 42, as described above, the apex of the triangular pyramid selected by the triangular pyramid selecting unit 44 in any of the region numbers (0, 0, 0) to (15, 15, 15) in the three-dimensional space. The data to represent is output.
[0056]
The input value forcible setting unit 46 is a setting unit for forcibly setting the input value in order to output an output value output as a color conversion table in accordance with an input setting signal with a predetermined setting value. This is for adjusting the DLUT so that the density conversion is smoothly performed in the highlight area of the image.
[0057]
That is, in the present embodiment, in order to suppress abrupt density fluctuations in the highlight portion of the image and to perform density conversion smoothly in the highlight area, the color conversion table memory 48 is used. The output value is forcibly set as a negative number and output.
[0058]
In the input value forced setting unit 46, the apex of the triangular pyramid output from the memory designating unit 42 is L * = A * = B * If the vertex of a unit cube including a grid point of = 0, data is output to the color conversion table memory 48 so that an output value output as a color conversion table is output with a predetermined setting value.
[0059]
In FIG. * a * b * L in color space * = 0 color area. In FIG. 4, the color space is set to L for handling image data. * Axis, a * Axis, b * It exists in one quadrant divided by the axis, but handles color a * b * Considering the range, its center is only brightness (a * = B * = 0). That is, L * = 0 and a * = B * = 0 (hereinafter referred to as origin 62) is white, L * = 255 and a * = B * = Around 0 is black. L that handles this white * In the color plane of = 0 (hereinafter referred to as the target color region 60), the degree of reproduction of the obtained image depends on the density variation in the highlight region depending on the position where the density appears.
[0060]
Therefore, in the present embodiment, in the target color region 60, the density value when color conversion is performed is forcibly set to a negative number. That is, since the unit cube 54 is spread in the color space, eight lattice points P2, P3, P4, P5, P6, P7, P8, P9 are located around the lattice point P1 of the origin 62. . In the target color region 60, the color region Area_A is a white region, and in this color region Area_A, the density value should be “0”.
[0061]
Originally, the density should be “0” at the origin 62, but as shown in FIG. 7A, the density may appear due to an interpolation process or the like, resulting in a sudden density change.
[0062]
Therefore, conventionally, the color conversion table memory 48 is set so that the density of the grid point P1 is “0”, or the 9 vertices (hereinafter referred to as 9 vertices) of the grid points P2 to P9 around the grid point P1 are the density “ The color conversion table memory 48 is set to “0” as much as possible.
[0063]
However, when the color conversion table memory 48 is set so that the density becomes “0” at the grid point P1, as shown in FIG. 7C, the density appears when the color conversion table memory 48 slightly deviates from the grid point P1, that is, the origin 62. The change in color varies depending on the image. When the color conversion table memory 48 is set so that the density is “0” at 9 vertices, as shown in FIG. 7B, the density is “0” in the color area Area_B within the 9 vertices, but this range is exceeded. The density changes suddenly in the range moving to the color area Area_C.
[0064]
The present inventor recalled setting a negative number at 9 vertices in consideration of performing an interpolation operation instead of forcibly setting to “0”. This is because even if a negative number is set for the density, it does not exist, so it is “0”, and the rise from “0”, that is, the appearance of the density appears to appear by the calculation. In the present embodiment, “−1.5” is set for all nine vertices.
[0065]
For example, when the lattice point P1 is set to “−1.5”, the density appears on the way to the next lattice point as shown in FIG. Therefore, by setting “−1.5” to all nine vertices, the density “0” is maintained in the color area Area_B, the density appears in the color area Area_C, and the density gradually increases as the distance from the origin increases. Can be obtained.
[0066]
Therefore, in the memory designating unit 42, for the target image data, lattice points (any four of 56A to 56G) belonging to the triangular pyramids 54A to 54F of the unit cube 54 selected by the triangular pyramid selecting unit 44 are unit. It is output together with data representing the cube 54. The input value forced setting unit 46 determines whether or not the input grid point corresponds to the above nine vertices, and if there is a corresponding grid point, the output of the density is “−1.5”. Next, the color conversion table memory 48 is set.
[0067]
In this case, the color conversion table memory 48 may have a table memory as independent as possible so that the density output is “−1.5”, and the density output is “−1.5” in the table. May be included. In the present embodiment, since the triangular pyramid interpolation calculation unit 50 reads data from the color conversion table memory 48, the color conversion table memory 48 includes an independent color conversion table memory, and the input value forced setting unit 46 includes The independent color conversion table memory 48 is forcibly set. That is, the input value compulsory setting unit 46 outputs a color conversion table corresponding to the lattice points of the unit cube 54 selected by the triangular pyramid selection unit 44 and corresponding to the lattice points corresponding to the above nine vertices. “−1.5” is set so that an independent table memory is read as much as possible.
[0068]
The triangular pyramid interpolation calculation unit 50 includes four lattice points (56A to 56G) belonging to any of the triangular pyramids 54A to 54F of the unit cube 54 selected for the target image data input from the triangular pyramid selection unit 44. The output value corresponding to any four) is read from the color conversion table memory 48. The read output value is multiplied by a coefficient determined from the lower bits of the image data, and added to obtain a final density value. This process is performed for each of the YMCKs to obtain color-converted image data.
[0069]
Therefore, in the triangular pyramid interpolation calculation unit 50, the output value from the color conversion table memory 48, the selection signal from the triangular pyramid selection unit 44, that is, the type of the triangular pyramid, and the low-order bit signal of the image data are input, and the triangular pyramid. Interpolate to generate and output an interpolation output value. In this embodiment, the color conversion output is composed of three inputs and one output in a single color conversion interpolation operation. In the case of three inputs and four outputs such as when converting from a Lab signal to a YMCK signal, the converted YMCK is converted. Only one type of signal is generated. Of course, by installing three or four types of color conversion table memory 48 and triangular pyramid interpolation calculation unit 50, conversion to various color systems can be supported.
[0070]
Note that the interpolation calculation in the triangular pyramid interpolation calculation unit 50 is a technique described in JP-A-2-187374, JP-A-5-110840, JP-A-7-212583, etc. previously proposed by the present applicant. Can be used.
[0071]
Here, the input value forced setting unit 46 is configured to receive a mode setting signal from the mode setting 52. The signal from the mode setting 52 is a signal for instructing to operate the input value forced setting unit 46. That is, by adjusting the DLUT as described above, the density conversion is smoothly performed in the highlight area of the image. However, depending on the image, such adjustment of the color conversion process may not be necessary. Therefore, it is necessary to have a configuration in which the setting of the forcible color conversion table for the nine vertices described above can be selectively applied.
[0072]
In the present embodiment, whether or not the input value forced setting unit 46 can be operated can be selected according to the mode set in the mode setting 52. This mode setting 52 may be set by a CPU (not shown) inside the copying machine, or may be a setting input by a user's instruction operation. For example, in the case of an image including a photographic image that requires smooth density conversion in the highlight area, the above-described operation is performed by setting the input value forced setting unit 46 to operate, and smooth density conversion is performed. Is done.
[0073]
Next, the overall flow of the copying machine 10 will be described. When a copy job is input, such as when a start button provided on a user interface (not shown) is pressed, the copying machine 10 reads a document for each RGB color component by the CCD sensor 18 in the image input unit 12. Image data is acquired, the acquired image data is converted into digital data by the A / D converter 20, shading correction is performed by the correction unit 22, and then output to the image processing unit 14. As a result, the image processing unit 14 receives image data representing the color of each pixel in the RGB color system, that is, a signal indicating the density value of each RGB color component.
[0074]
The image data input to the image processing unit 14 is first converted from the RGB color system by the color conversion circuit 24 to L. * a * b * Convert the color to the color system and change the color of each pixel to L * a * b * After being converted into image data expressed in a color system and subjected to various types of image processing by the image processing circuit 26, the color conversion circuit 28 outputs L * a * b * The color system is converted to the YMCK color system corresponding to the color material of the printer unit 16.
[0075]
In the color conversion circuit 28, the input value forced setting unit 46 forcibly sets the color conversion table memory 48 in order to perform density conversion smoothly in the highlight region. With this setting, the data of nine vertices corresponding to white is set to a negative number, and the output value obtained by the interpolation processing has a characteristic that has a smooth gradient. This suppresses a steep density change and gradually changes the density. Color conversion.
[0076]
The image data converted into the YMCK color system is subjected to tone correction by the tone correction LUT circuit 34, and the tone-corrected image data is output to the image output unit 38 and printed.
[0077]
Thus, in the present embodiment, a negative number (for example, a predetermined number) is set for all nine lattice points (9 vertices) of the unit cube 54 belonging to the color area Area_A that should have a density “0” in the target color area 60. , −1.5) is set, so that the obtained density characteristic is a gentle rising characteristic (see FIG. 7D). This improves the reproducibility of color reproduction and density reproduction of an image including a highlight area such as a map document.
[0078]
The present invention can be applied to any apparatus that outputs an image using a plurality of color materials in addition to a copying machine. For example, the present invention may be applied to a FAX, a printer used by being connected to a PC, a copier, a FAX, and a multifunction machine having at least two functions of a printer.
[0079]
【The invention's effect】
As described above, according to the present invention, when the rectangular grid point includes at least one of a plurality of predetermined grid points in the color space, for example, the grid point in the color region corresponding to white By setting the output value corresponding to the lattice point to a predetermined output value, there is an excellent effect that the output value of the conversion characteristic that causes a smooth density change can be obtained.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram of a copying machine according to an embodiment of the present invention.
FIG. 2 is a detailed configuration diagram of a color conversion circuit and a printer unit.
FIG. 3 is a block diagram showing a conceptual configuration of a DLUT circuit.
FIG. 4 is a perspective view showing a color space composed of unit cubes.
FIG. 5 is a diagram showing a unit cube and a triangular pyramid.
FIG. 6 is an explanatory diagram for explaining a target color region for obtaining a gentle rise characteristic;
FIG. 7 shows the conversion characteristics of the color conversion circuit. (A) is no adjustment, (B) is when all nine vertices are set to “0”, and (C) is set to “0” for only one vertex. (D) shows the case where nine vertices according to the present embodiment are set to negative numbers.
[Explanation of symbols]
Area_A Color area
P1 to P9 ... Lattice points
10 ... Copier
28: Color conversion circuit
30 ... DLUT circuit
40 ... Input section
42 ... Memory specification section
44 ... Triangular pyramid selector
46: Input value forced setting section
48 ... Color conversion table memory
50 ... Triangular pyramid interpolation calculation unit
52 ... Mode setting
54 ... Unit cube
54A ... Triangular pyramid
56A ... Lattice points
60 ... Target color area
62 ... Origin

Claims (5)

複数の色材を用いて画像を出力する画像出力装置へ画像データを入力するために、第1の表色系の画像データから前記複数の色材各々に対応する各色成分の濃度値で示した第2の表色系の画像データに変換する色変換装置であって、
前記第1の表色系の色空間を複数に分割した直方体の格子点位置の画像データに前記第2の表色系の画像データの出力値を対応させた色変換テーブル記憶手段、
前記第1の表色系の画像データが入力されると共に、前記画像データの上位ビットである上位データと前記画像データの下位ビットである下位データとに分離する入力手段と、
前記第1の表色系の画像データから第2の表色系の画像データに変換するための色変換テーブルを指定するために、前記上位データに基づいて前記第1の表色系の画像データが属する前記直方体の位置を定めると共に、定めた直方体の格子点を指定する指定手段と、
前記指定手段で定めた直方体の格子点が前記色空間内で濃度なしの格子点を含むときに、該当する格子点を含む色平面上でかつ前記該当する格子点の周囲の格子点について前記色変換テーブル記憶手段の出力値を予め定めた負数の出力値に設定する強制設定手段と、
前記画像データの下位データ、及び前記色変換テーブル記憶手段からの出力値に基づいて三次元補間を行いかつ補間結果を出力する補間手段と、
を備えることを特徴とする色変換装置。
In order to input image data to an image output apparatus that outputs an image using a plurality of color materials, the density value of each color component corresponding to each of the plurality of color materials is indicated from the first color system image data. A color conversion device that converts image data of a second color system,
Color conversion table storage means for associating an output value of the image data of the second color system with image data of lattice point positions of a rectangular parallelepiped obtained by dividing the color space of the first color system
Input means for inputting the image data of the first color system and separating the upper data as the upper bits of the image data and the lower data as the lower bits of the image data;
In order to designate a color conversion table for converting from the first color system image data to the second color system image data, the first color system image data based on the higher order data Specifying the position of the rectangular parallelepiped to which the
When the rectangular grid points determined by the specifying means include grid points having no density in the color space, the color of the grid points on the color plane including the corresponding grid points and around the corresponding grid points. a force setting means for setting the negative of the output value determined in advance an output value of the conversion table storing means,
Interpolation means for performing three-dimensional interpolation based on the lower order data of the image data and the output value from the color conversion table storage means and outputting the interpolation result;
A color conversion device comprising:
前記直方体を6つの三角錐に分割し、前記下位データに基づいて前記画像データが属する三角錐を選択する選択手段をさらに備え、
前記指定手段は、前記選択手段で選択された三角錐の頂点を含む格子点をさらに指定し、
前記補間手段は、前記画像データの下位データ、前記三角錐選択手段からの選択信号、及び前記色変換テーブル記憶手段からの出力値に基づいて三角錐補間を行いかつ補間結果を出力する
ことを特徴とする請求項1に記載の色変換装置。
The cuboid is further divided into six triangular pyramids, further comprising selection means for selecting a triangular pyramid to which the image data belongs based on the lower data,
The designation means further designates a lattice point including the apex of the triangular pyramid selected by the selection means,
The interpolation means performs triangular pyramid interpolation and outputs an interpolation result based on lower order data of the image data, a selection signal from the triangular pyramid selection means, and an output value from the color conversion table storage means. The color conversion apparatus according to claim 1.
前記第1の表色系は、L***であることを特徴とする請求項1または請求項2に記載の色変換装置。The color conversion apparatus according to claim 1, wherein the first color system is L * a * b * . 前記色変換テーブル記憶手段は前記対応と異なる予め定めた出力値のテーブルを更に備え、前記強制設定手段は、前記テーブルを設定することを特徴とする請求項1乃至請求項3の何れか1項に記載の色変換装置。  4. The color conversion table storage unit further includes a table of predetermined output values different from the correspondence, and the forcible setting unit sets the table. The color conversion device described in 1. 前記色変換テーブル記憶手段は、前記直方体の格子点の各々について独立したテーブルを備え、少なくとも前記三角錐の頂点に対応する格子点のテーブルに同時にアクセスすることを特徴とする請求項2に記載の色変換装置 The said color conversion table memory | storage means is provided with the table independent about each of the grid point of the said rectangular parallelepiped, and accesses simultaneously the table of the grid point corresponding to the vertex of the said triangular pyramid at least simultaneously. Color conversion device .
JP2001344227A 2001-11-09 2001-11-09 Color conversion device Expired - Fee Related JP4019692B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001344227A JP4019692B2 (en) 2001-11-09 2001-11-09 Color conversion device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001344227A JP4019692B2 (en) 2001-11-09 2001-11-09 Color conversion device

Publications (2)

Publication Number Publication Date
JP2003153017A JP2003153017A (en) 2003-05-23
JP4019692B2 true JP4019692B2 (en) 2007-12-12

Family

ID=19157782

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001344227A Expired - Fee Related JP4019692B2 (en) 2001-11-09 2001-11-09 Color conversion device

Country Status (1)

Country Link
JP (1) JP4019692B2 (en)

Also Published As

Publication number Publication date
JP2003153017A (en) 2003-05-23

Similar Documents

Publication Publication Date Title
JP3209402B2 (en) Image processing device
JPH10136216A (en) Color image processing equipment
EP0679019A2 (en) Image processing apparatus and method
JP2004180013A (en) Color conversion device and color conversion method
JP2003338939A (en) Image processing apparatus, image processing method, and image processing program
KR20190013657A (en) Image processing apparatus, image processing method, and storage medium
JP4062924B2 (en) Color image processing method and color image processing apparatus
JPH10271344A (en) Color image processing equipment
JP3236167B2 (en) Image forming apparatus, image processing apparatus, and image processing method
JP3957350B2 (en) Color image forming apparatus
JPH09168095A (en) Color correction method and color image processing apparatus
JP4252748B2 (en) Conversion table generation method, program, color copier
JP7297547B2 (en) Image processing device, image forming device
US10778870B2 (en) Black generation to optimize color gamut volume and quality within limits on colorant usage
JPH1117963A (en) Image processing unit
JP4019692B2 (en) Color conversion device
JP5159565B2 (en) Color processing apparatus and method
JP2006121530A (en) Color conversion apparatus, image forming apparatus, color conversion method, and computer program
JPH09270925A (en) Image processing apparatus and method
JP2007194810A (en) Image processing device
JP2721173B2 (en) How to extract black ink from color information
JPH10224648A (en) Image processing apparatus and method
JP2005167503A (en) Image processing apparatus and image forming apparatus having the same
JP2001119591A (en) Color image processing equipment
JP4261720B2 (en) Image processing apparatus, image processing method, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040915

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070109

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070917

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101005

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111005

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121005

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121005

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131005

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees