Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP3846524B2 - 画像データの下地判定方法、画像データの下地判定装置および画像データの下地判定プログラムを記録した媒体 - Google Patents
[go: Go Back, main page]

JP3846524B2 - 画像データの下地判定方法、画像データの下地判定装置および画像データの下地判定プログラムを記録した媒体 - Google Patents

画像データの下地判定方法、画像データの下地判定装置および画像データの下地判定プログラムを記録した媒体 Download PDF

Info

Publication number
JP3846524B2
JP3846524B2 JP05428599A JP5428599A JP3846524B2 JP 3846524 B2 JP3846524 B2 JP 3846524B2 JP 05428599 A JP05428599 A JP 05428599A JP 5428599 A JP5428599 A JP 5428599A JP 3846524 B2 JP3846524 B2 JP 3846524B2
Authority
JP
Japan
Prior art keywords
image data
background
image
frequency distribution
background determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP05428599A
Other languages
English (en)
Other versions
JP2000253250A (ja
Inventor
英邦 守屋
直樹 鍬田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP05428599A priority Critical patent/JP3846524B2/ja
Priority to PCT/JP2000/001216 priority patent/WO2000052922A1/ja
Priority to US09/674,638 priority patent/US7099041B1/en
Priority to DE60042257T priority patent/DE60042257D1/de
Priority to EP00906615A priority patent/EP1085747B1/en
Priority to AT00906615T priority patent/ATE432589T1/de
Publication of JP2000253250A publication Critical patent/JP2000253250A/ja
Application granted granted Critical
Publication of JP3846524B2 publication Critical patent/JP3846524B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像データ下地判定方法、画像データ下地判定装置および画像データ下地判定制御プログラムを記録した媒体に関し、特に、画像における下地の有無を同画像を構成する画像データの所定の度数分布に基づいて判定する画像データ下地判定方法、画像データ下地判定装置および画像データ下地判定制御プログラムを記録した媒体に関する。
【0002】
【従来の技術】
コンピュータなどで画像を扱う際には、スキャナやデジタルカメラなどの画像入力機器から取得した入力画像の画像データをドットマトリクス状の画素で表現し、各画素を階調値で表している。かかる場合、コンピュータのCRT画面で水平方向に640ドット、垂直方向に480ドットの画素で画像を表示することが多い。また、各画素ごとに色や明るさを階調値で表わしたデータを持つことになるため、このデータを変化させて画像処理が行われている。この画像処理として、文書画像などに対しては、下地を除去する画像処理が行われている。ここで、文書画像の下地とは、文書用紙の紙の領域を表わす画素の集合を指し、背景や裏うつりともいう。また、下地の除去とは、紙の領域を表わす画素の階調を最大に変化させることをいう。すなわち、この画像処理後に文書画像を印刷する場合、上述したように階調を最大にした画素は印刷されず、この画素の部分は紙の地のままになる。従って、見かけ上、紙の領域を表わす部分の画素が除去されたようになり、下地と文字とにおいてメリハリのある印刷物を得ることが可能になる。かかる場合、下地の有無に関わらず、一律に所定のしきい値以上の階調を有する画素の階調を最大にしている。適用事例として、両面に印刷が施された文書用紙をスキャナで読み取った場合に、この文書画像の表面の画像データに裏面の画像データが裏映りしまうことを防止するために利用されている。この裏映りは、表面の何も印刷されないはずの領域に表れるため、この領域の画素の階調を最大にしてしまうことにより、裏映りを除去している。
【0003】
【発明が解決しようとする課題】
上述した従来の下地を除去する画像処理においては、次のような課題がある。すなわち、この下地除去処理は、下地の有無に関わらず、下地があると仮定して画像全体に対して一律に画像処理を実施する。従って、入力した画像に下地があり、この下地の輝度の階調が比較的低い場合は、下地部分を除去することができないという課題がある。また、この下地除去処理を実施しても、一律の画像処理であるため、入力する画像ごとに最適な下地除去処理を実施することがでないため、下地部分が残ったり、下地と下地以外の画像にめりはりがなくなったりするという課題がある。
【0004】
本発明は、上記課題にかんがみてなされたもので、画像における下地の有無を同画像を構成する画像データの所定の度数分布に基づいて判定するとともに、下地があると、下地に応じた所定の画像データ修整処理を実施し、画像データにより再生される画像の下地と下地以外の画像とのめりはりをつけることが可能な画像データ下地判定方法、画像データ下地判定装置および画像データ下地判定制御プログラムを記録した媒体の提供を目的とする。
【0005】
【課題を解決するための手段】
上記目的を達成するため、請求項1にかかる発明は、画像における下地を構成する領域を画像データの所定の度数分布に基づいて判定する画像データ下地判定方法であって、画像をドットマトリクス状の画素で多階調表現した画像データを取得する画像データ取得工程と、上記画像データ取得工程にて取得した画像データの各画素について階調を集計し、度数分布を作成する度数分布作成工程と、上記度数分布の最頻値が属する所定幅の領域の相対度数が所定のしきい値以上である場合、上記画像に下地を構成する領域が存在すると判定する下地判定工程とを行う構成としてある。
【0006】
上記のように構成した請求項1にかかる発明において、画像下地判定方法は、画像における下地を構成する領域を画像データを構成する各画素により所定の度数分布に基づいて判定する。かかる場合、画像データ取得工程は、画像をドットマトリクス状の画素で多階調表現した画像データを取得する。次に、度数分布作成工程は、画像データ取得工程にて取得した画像データの各画素が備える画像データを解析し、各画素の画像データについての階調を集計する。そして、集計結果を階調と、各階調の度数とによる度数分布を作成する。ここで、下地判定工程は、上述した度数分布において、最頻値が属する所定幅の領域の特性を表示する相対度数を算出する。そして、この相対度数が所定のしきい値以上である場合、上記画像に下地が存在すると判定する。すなわち、画像データを構成する各画素の階調の度数分布から最頻値が属する所定幅の領域の特性を表示する相対度数を算出し、この相対度数が所定のしきい値以上であれば、入力した画像に下地が存在すると判定する。具体的には、この所定の階調にて区分した領域の相対度数が所定のしきい値以上であり圧倒的に大きい場合に下地が存在すると判定する。上述した相対度数が圧倒的に大きい場合とは、下地とみなせる範囲において圧倒的に大きいことを示し、数値的な感覚から捕らえられる圧倒的な大きさとは異なることは言うまでもない。例えば、所定の階調にて区分された領域の相対度数が15パーセントであっても、画像を構成する部分から判断すると圧倒的に大きいと捕らえる場合もある。この所定のしきい値は、所定の固定値であってもよいし、入力した画像の画像データの階調の度数分布に応じて適宜変更してもよい。ここで、上述した入力画像における下地とは、例えば、入力画像が文書画像である場合、文書用紙の領域を表わす画素の集合、すなわち、下地や裏うつりのことを指すものである。また、下地の色成分は、上述したように判定する下地に応じて適宜変更されるため、特に限定されない。
【0007】
画像データ取得工程は、画像をドットマトリクス状の画素で多階調表現した画像データを取得することができればよい。従って、画像の入力元は、スキャナであってもよいし、デジタルカメラであってもよく、ドットマトリクス状の画素で多階調表現した画像データを取得可能であれば、適宜変更可能である。また、度数分布作成工程は、上記画像データ取得工程にて取得した画像データの各画素について階調を集計し、画像の階調傾向を認識できる度数分布を作成することが可能であればよい。従って、階調を集計する画素は、入力した画像の全画素について実施してもよいし、適宜サンプリングして実施してもよい。むろん、サンプリングを利用すれば、計算時間の短縮を図ることが可能になることはいうまでもない。また、かかる場合、上述した画像データ取得工程の段階においてサンプリング画像を取得するようにしてもよい。下地判定工程は、度数分布作成工程にて作成した度数分布の最頻値が属する所定幅の領域の相対度数を算出し、この相対度数に基づいて画像データ取得工程にて取得した画像に存在する下地を判定することができればよい。
【0008】
各画素は、入力画像がカラー画像であれば、R(赤)G(緑)B(青)ごとの階調値をデータとして備え、二値画像であれば、濃淡の階調値をデータとして備えている。度数分布作成工程は、前者であれば、各画素のRGBの階調値を階調ごとに集計し、度数分布を作成するし、後者であれば、各画素の輝度の階調を集計し、度数分布を作成する。また、RGBのカラー画像についてもRGBのデータから輝度を算出し、輝度の階調を集計し度数分布を作成してもよい。ここで、後者の一例として、請求項2にかかる発明は、請求項1に記載の画像データ下地判定方法において、上記度数分布作成工程は、各画素の輝度を算出するとともに、同輝度の階調を集計し、度数分布を作成する構成としてある。上記のように構成した請求項2にかかる発明において、度数分布作成工程は、入力した画像がカラー画像であれば、各画素のRGBのデータから各画素の輝度を算出し、濃淡を示す階調値を取得する。また、入力した画像が二値画像であれば、画素の濃淡を示す階調値を取得する。そして、各輝度の階調を集計し、度数分布を作成する。
【0009】
上述した度数分布を作成する前者の一例として、請求項3にかかる発明は、上記請求項1に記載の画像データ下地判定方法において、上記度数分布作成工程は、各画素の色合いを示す各要素色の濃度階調を集計し、各要素色ごとの濃度階調の度数分布を作成する構成としてある。上記のように構成した請求項3にかかる発明において、度数分布作成工程は、入力したカラー画像の各画素を要素色、すなわち、各画素の画像データをRGBの要素色に色分解するとともに、各要素色ごとに階調を集計し、度数分布を作成する。
【0010】
ここで、下地判定工程は、上述した方法によって作成された画像データを構成する各画素の輝度または要素色の階調による度数分布に基づいて、画像に下地が存在するか否かを判定する。
【0011】
【0012】
【0013】
【0014】
ここで、度数分布には入力した画像に含まれるノイズ成分の画素の階調についても度数に表れるため、統計量の算出結果に、このノイズ成分が影響を及ぼすことが有り得る。そこで、この度数分布に入り込んだノイズ成分を低減することができる好適な手法として、請求項4にかかる発明は、請求項1〜請求項3のいずれかに記載の画像データ下地判定方法において、上記下地判定工程は、度数分布の所定の階調にて区分された領域の統計値を算出するにあたり、同度数分布に対して平滑化処理を実施する構成としてある。上記のように構成した請求項4にかかる発明において、下地判定工程は、度数分布の所定の階調にて区分された領域の統計値を算出するにあたり、同度数分布に対して平滑化処理を実施する。これによって、ノイズ成分を除去した度数分布に基づいて統計量を算出するため、算出結果がノイズ成分に影響を受けない。
【0015】
このように、判定された下地を構成する各画素に対して所定の画像処理を施すことによって、下地と下地以外の画像についてめりはりをつけることが可能になる。そこで、請求項5にかかる発明は、上記請求項1〜請求項4に記載の画像データ下地判定方法において、上記下地判定工程が画像に下地を構成する領域が存在すると判定した場合、同下地を構成する領域に属する画素の階調の平均値に応じた補正曲線により各画素の階調を補正する修整処理を実施する画像データ修整工程を備える構成としてある。上記のように構成した請求項5にかかる発明において、画像データ修整工程は、上記下地判定工程が画像に下地を構成する領域が存在すると判定した場合、同下地を構成する領域に属する画素の階調の平均値に応じた補正曲線により各画素の階調を補正する。また、請求項6にかかる発明は、上記請求項1〜請求項5に記載の画像データ下地判定方法において、上記下地判定工程が画像に下地を構成する領域が存在すると判定した場合、同下地を構成する領域に属する画素の階調のばらつきに応じた補正曲線により各画素の階調を補正する修整処理を実施する画像データ修整工程を備える構成としてある。
【0016】
【0017】
【0018】
このように、画像における下地を構成する領域の存在を画像データの所定の度数分布に基づいて判定する手法は必ずしも方法に限られる必要はなく、その方法を実体に組み込んで動作させることにより、機能を実現する装置として利用することが可能なことは容易に理解できる。このため、請求項7にかかる発明は、画像における下地を構成する領域を画像データの所定の度数分布に基づいて判定する画像データ下地判定装置であって、画像をドットマトリクス状の画素で多階調表現した画像データを取得する画像データ取得手段と、上記画像データ取得手段にて取得した画像データの各画素について階調を集計し、度数分布を作成する度数分布作成手段と、上記度数分布の最頻値が属する所定幅の領域の相対度数が所定のしきい値以上である場合、上記画像に下地を構成する領域が存在すると判定する下地判定手段とを具備する構成としてある。すなわち、必ずしも方法に限定されず実体のある装置としても有効であることに相違はない。
【0019】
ところで、このような画像における下地を構成する領域の存在を画像データの所定の度数分布に基づいて判定する画像データ下地判定装置は単独で存在する場合もあるし、ある機器に組み込まれた状態で利用されることもあるなど、発明の思想としてはこれに限らず、各種の態様を含むものである。従って、ソフトウェアであったりハードウェアであったりするなど、適宜変更可能である。発明の思想の具現化例として画像における下地を構成する領域を画像データの所定の度数分布に基づいて判定する画像データ下地判定装置のソフトウェアとなる場合には、かかるソフトウェアを記録した記録媒体上においても当然に存在し、利用されるといわざるをえない。
【0020】
その一例として、請求項8にかかる発明は、画像における下地を構成する領域を画像データの所定の度数分布に基づいて判定する機能をコンピュータに実行させる画像データ下地判定制御プログラムを記録した媒体であって、画像をドットマトリクス状の画素で多階調表現した画像データを取得する画像データ取得機能と、上記画像データ取得機能にて取得した画像データの各画素について階調を集計し、度数分布を作成する度数分布作成機能と、上記度数分布の最頻値が属する所定幅の領域の相対度数が所定のしきい値以上である場合、上記画像に下地を構成する領域が存在すると判定する下地判定機能とをコンピュータに実行させる構成としてある。
【0021】
むろん、その記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。その他、供給方法として通信回線を利用して行なう場合でも本発明が利用されていることにはかわりない。さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものではなく、一部を記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。
【0022】
【発明の効果】
以上説明したように本発明は、画像における下地を構成する領域を画像データの所定の度数分布に基づいて判定するとともに、下地の領域が存在すると、下地に応じた所定の修整処理を実施し、画像データにより再生される画像の下地と下地以外の画像とのめりはりをつけることが可能な画像データ下地判定方法を提供することができる。
【0023】
【0024】
【発明の実施の形態】
以下、図面にもとづいて本発明の実施形態を説明する。図1は、本発明の一実施形態にかかる画像データ下地判定方法のクレーム対応図を示している。同図において、本画像データ下地判定方法は、概略、画像における下地を構成する領域の存在を、同画像を構成する画像データの所定の度数分布に基づいて判定する。具体的には、画像データ取得工程A1において、下地判定の対象となる画像をドットマトリクス状の画素で多階調表現した画像データを取得する。次に、度数分布作成工程A2は、画像データ取得工程A1にて取得した画像データの各画素について階調を集計し、度数分布を作成する。そして、下地判定工程A3は、度数分布の所定の階調により区分された領域の特性を表示する統計量を算出し、同統計量が下地を構成するに十分な値を示す場合、上記画像に下地を構成する領域が存在すると判定する。ここで、下地判定工程A3は、画像の高階調付近に下地を構成する領域が存在する場合、同下地を構成する領域に応じて各画素の画像データを修整する修整処理を実施する画像データ修整工程A4を備える。この画像データ修整工程A4は、上記高階調付近、すなわち、略白色を形成する各画素の階調を最大階調、すなわち、白色にするパラメータを備えた補正曲線を生成し、同補正曲線に基づいて画像データ取得工程にて取得した各画素の階調を補正する。
【0025】
次に、本画像データ下地判定方法を実体化した画像データ下地判定装置を構成するために適用したカラー複写装置の外観斜視図を図2に示す。本カラー複写装置10は、カラースキャナ20と、コピーサーバ30と、カラープリンタ40とから構成されており、コピーサーバ30による制御に基づいてカラースキャナ20にて画像をスキャンすると、スキャンにより読み込まれた画像データに対して同コピーサーバ30が画像処理を実施して印刷データを生成し、この印刷データに基づいてカラープリンタ40が印刷を行う。
【0026】
図3はカラースキャナ20の概略構成を示しており、フラットベッドタイプを採用している。同図において、スキャン対象物を載置する透明板材21の下方には照明ランプ22とラインセンサ23とが往復スライド移動可能に支持されるとともに、これらを駆動するための駆動ベルト24aとプーリ24bと駆動モータ24cとが配置され、制御回路25に接続されている。画像を読み込むときには、制御回路25からの制御信号に基づいて照明ランプ22が点灯すると、透明板材21を介してスキャン対象物を照明するので、同スキャン対象物からの反射光が同透明板材21を介してラインセンサ23に照射される。
【0027】
ここで、ラインセンサ23には光の三原色に対応するRGBフィルタとCCD素子とが一色につき一列、通常三列配置されており、この三列のCCD素子によりスキャン対象物の水平方向にわたる一列分の色配置を読み込み、画像データとして出力する。一方、制御回路25は駆動モータ24cを駆動させることにより、これらの照明ランプ22とラインセンサ24とを一体的にスキャン対象物の垂直方向に向かって移動させ、微少距離分だけ移動させる毎にラインセンサ23から画像データを取得して出力する。これにより、外部的にはスキャン対象物を水平方向に主走査しながら垂直方向に副走査し二次元の画像データを生成していくことになる。
【0028】
図4および図5はコピーサーバ30を概略ブロック図により示している。同コピーサーバ30は概略的にはコンピュータと同等であり、CPU31のバス32に対してRAM33とROM34と操作パネル35とハードディスク36とI/F37とが接続される構成になっている。ここで、カラースキャナ20やカラープリンタ40はI/F37を介して接続されている。また、ROM34には基本的な演算プログラムや変換テーブルが書き込まれており、CPU31はRAM33をワークエリアとして使用しながら同演算プログラムを実行するし、必要に応じて上記変換テーブルを参照する。本実施形態においてはI/F37を特定していないが、同I/F37はカラースキャナ20やカラープリンタ40をコピーサーバ30に接続可能であればよく、LPTポートにより接続する形態であってもよいし、USBポートやSCSIにより接続する形態であっても構わない。
【0029】
また、ハードディスク36は、カラースキャナ20を駆動するスキャナドライバ38aやプリンタ40を駆動するプリンタドライバ38bを備え、同スキャナドライバ38aはカラースキャナ20から画像データを同プリンタドライバ38bはカラープリンタ40へ画像データをそれぞれ入出力可能になっている。そして、ハードディスク36はこの画像データを一時的に蓄えるようなバッファとして使用したり、スキャナドライバ38aが入力した画像データを読み込み、同画像データに含まれる下地を構成する領域を検出し、この検出した下地の領域に対応する画像データ修整処理を実施するとともに、この画像データ修整処理を実施した画像データをプリンタドライバ38bに出力し、カラープリンタ40に印刷を実行させる画像データ下地判定制御プログラム39などを格納している。この他、操作パネル35にはスキャン開始ボタン35aであるとか、印刷枚数を入力したり、画像を修整する項目を設定するテンキー35bなどの各種の操作ボタンとともに、操作情報を確認するための液晶表示器35cなども備えられ、CPU31はバス32を介して同操作パネル35の操作状況を監視可能となっている。
【0030】
図6はカラープリンタ40の構成を概略的に示しており、記録紙上に対してドットマトリクス状に色インクを吐出して印字を行うインクジェット方式を採用している。より詳細には、三つの印字ヘッドユニット41aからなる印字ヘッド41と、この印字ヘッド41を制御する印字ヘッドコントローラ42と、同印字ヘッド41を桁方向に移動させる印字ヘッド桁移動モータ43と、印字用紙を行方向に送る紙送りモータ44と、これらの印字ヘッドコントローラ42と印字ヘッド桁移動モータ43と紙送りモータ44における外部機器とのインターフェイスにあたるプリンタコントローラ45とから構成されている。
【0031】
このカラープリンタ40は印字インクとして四色の色インクを使用するものであり、各印字ヘッドユニット41aにはそれぞれ独立した二列の印字ノズルが形成されている。供給する色インクは印字ノズルの列単位で変えることができ、この場合は図示左方の印字ヘッドユニット41aについては二列とも黒色インク(K)を供給し、図示右方の印字ヘッドユニット41aについては左列にマゼンタ色インク(M)を供給するとともに右列にイエロー色インク(Y)を供給し、図示真ん中の印字ヘッドユニット41aについては左列にシアン色インク(C)を供給するとともに右列は不使用としている。
【0032】
なお、本実施形態においては、四色の色インクを使用しているが、三つの印字ヘッドユニット41aにおける二列の印字ノズルを最大限に利用して六色の色インクを使用することも可能である。この場合、シアンとマゼンタについては濃色インクと淡色インクとを使用するものとし、さらにイエローとブラックとを使用して合計六色とすることができる。本実施形態においては、このようなコピーサーバ30を核とする一体型に形成した専用のカラー複写装置10として本画像データ下地判定装置を適用しているが、図6に示すようなカラースキャナ51とカラープリンタ52を備えたパソコン53によって、カラー複写システムを採用したとしても同様に実現できることはいうまでもない。
【0033】
図8は、上述したコピーサーバ30が実行するカラー複写処理のうち、本発明にかかる画像データ下地判定処理の処理内容について概略をフローチャートにより示している。同図において、本カラー複写装置10の操作者は、カラースキャナ20のフラットベッド21にスキャン対象物の文書を載置すると、操作パネル35aにてスキャン開始ボタン35aを押し下げる。これによりカラースキャナ20はスキャンを開始する。最初に、上記文書の画像を含むフラットベッド21全体の画像について低解像度の画素からなる画像データを生成するために、プレスキャンを実行する(ステップS100)。そして、生成された画像データから所定の手法に基づいて文書画像の画像データに下地を構成する領域が存在するか否かを判定する(ステップS200)。次に、カラースキャナ20は、判定結果に基づいて後述する所定の画像データ修整処理を実行するために、フラットベッド21を動作させ、上記文書画像の詳細な画像データを取得する高解像度の本スキャンを開始する(ステップS300)。そして、この本スキャンによって読み込まれた画像データに対して、ステップS200にて下地と判定した領域の所定の統計値に基づく補正曲線により画像データ修整処理を実行する(ステップS400)。この画像データ修整処理が完了すると、カラープリンタ40に出力する印刷データを生成する画像データ変換処理を実行する(ステップS500)。これにより上記ステップS100にて入力した文書画像の画像データに対して同文書画像の下地の領域を考慮した画像データ修整処理を実行することになる。
【0034】
本実施形態においては、ステップS100においてプレスキャン処理を実行し、低解像度のサンプリング画像データに基づいてステップS200にて画像の下地を構成する領域を判定し、ステップS300の本スキャン処理にて取得した詳細な画像データに対してステップS400の画像データ修整処理を実行する構成を採用しているが、むろん、ステップS100のプレスキャン処理を取り外し、本スキャン処理によって取得した画像データに基づいて画像の下地を構成する領域を判定するとともに、画像データ修整処理を実行する構成を採用してもかまわない。
【0035】
次に、ステップS100〜S500の各処理について、より具体的な処理内容を図9〜図17のフローチャートを使用して説明する。図9のフローチャートはステップS100のプレスキャン処理の処理内容を示している。上述したように本カラー複写装置の操作者がフラットベッド21に文書をスキャン対象物として載置し、スキャナ開始ボタン35aを押し下げると、I/O37を介してカラースキャナ20に対して画像読み取り指令が送出されスキャンが開始される(ステップS101)。そして、操作者がテンキー35bにて設定したプレスキャンの解像度を読み出す(ステップS105)。ここで、カラースキャナ20の制御回路25は照明ランプ22を点灯させ、駆動モータ24cに駆動指令を出力して同照明ランプ22とラインセンサ23とをスライド移動させることにより画像の走査を開始する(ステップS110)。そして、所定距離分を移動するごとに制御回路25は、ラインセンサ23が読み取った画像を解像度により分割された画素の画像データを生成し(ステップS115)、コピーサーバ30に送信する。コピーサーバ30の側ではこの画像データをI/F37を介して受け取り、ハードディスク36にスプールする。ここで、上記分割された画素について全ての走査が終了したと判定すると(ステップS120)、上記スプールされた画像データをハードディスク36に格納する(ステップS125)。
【0036】
従って、このように低解像度のスキャンを実行して画像データを取得しつつ格納するプレスキャン処理は、画像データ取得工程A1を構成する。本実施形態においては、プレスキャンを所定の低解像度により実行する構成を採用しているが、具体的な解像度は50dpiであってもよく、60dpiであってもよい。また、同解像度は予めRAM34やROM35やハードディスク36に格納されているものであってもよいし、上述したように操作パネル35あるいはパソコン53が備えるキーボードやマウスから所定の方法により適宜設定可能であってもよい。
【0037】
そして、この画像データから図10に示すステップS200の下地判定処理のフローチャートに従って同画像データに含まれる各画素の度数分布を作成し、同度数分布より画像の下地の領域の存在を判定する。同図において、最初に、ステップS125にてハードディスク36に格納された画像データを読み出す(ステップS201)。ここで、同画像データの各画素の色あいを構成するR(赤)G(緑)B(青)データの色成分を抽出する。各色成分は、階調0〜255の濃度を備えているため、各画素について、このRGBデータの階調0〜255を次式(1)に代入し、輝度Yを算出する(ステップS205)。
Y=0.30R+0.59G+0.11B ・・・(1)
この式(1)により画像データの全画素について輝度を算出すると、輝度の階調0〜255ごとに画素数を集計し、図11に示す度数分布を作成する。次に、各階調0〜255における相対度数を算出する。各階調の度数Iは次式(2)にて表わされる。
I=f(n) n=0〜255 ・・・(2)
従って、各階調における相対度数は、次式(3)によって算出することができる(ステップS210)。
Figure 0003846524
そして、この度数分布において画像の下地を構成する領域である下地分布の抽出区間を設定する(ステップS215)。この下地分布の区間を設定するにあたり、最初に、同度数分布における最大度数を次式(4)によって決定する。
fmod=max[f(n)]n=0〜255 ・・・(4)
そして、この最大度数fmodに該当する階調を最頻値nmodとする。この最頻値nmodは、図11に示すように度数分布の最頂部を形成する階調となる。そして、この最頻値nmodを利用して下地分布の抽出区間を決定する階調M1およびM2を次式(5)に基づいて算出する。
【0038】
M1=nmod−N N<=nmod =0
N>nmod ・・・(5)
M2=nmod+N−1 N<=256−nmod
=255 N>256−nmod
ここで、定数Nは、予め決められた正の整数とする。具体的には、Nは10前後であればよい。この階調M1およびM2により、図11に示すように下地分布の抽出区間が区間[M1,M2]に決定される。次に、上記のように決定した下地分布の抽出区間における各画素の相対度数の累積を算出する(ステップS220)。この相対度数は、上記式(3)を利用して、次式(6)により算出することができる。
Figure 0003846524
この相対度数Rは、図11に示す区間[M1,M2]と度数分布によって囲まれる斜線部分の面積によって示すことができる。このように、算出された下地分布の抽出区間における相対度数Rと、度数分布における最頻値nmodを使用して、下地分布の存在を判定する(ステップS225)。かかる場合、次式(7)の条件を満たすときに、画像に下地を構成する領域が存在すると判定する。
【0039】
R>Rth かつ nmod>nth ・・・(7)
ここで、Rthおよびnthは予め決められた正の整数であって、所定のしきい値を構成する。具体的には、Rthは、0.15程度となるとともに、nthは、180程度となる。むろん、これらの数値は、一例にすぎず、適宜変更可能である。このようにして、下地を構成する領域が存在するか否かが判定される。本実施形態においては、輝度を算出し、略白色を構成する部分を下地と判定する処理を構成しているが、各色成分の度数分布に基づいて各色成分について本処理を実施し、それぞれの度数分布の傾向を考慮すれば、各色やその混合色によって形成される下地を判定することも可能である。従って、各画素の色成分を形成する階調より輝度を算出し、画像データの度数分布を作成するとともに、同度数分布より画像の下地を構成する領域を判定する下地分布を作成し、この下地分布の所定の統計量に基づいて画像に下地が存在するか否かを判定することから、ステップS210〜S225の下地判定処理が度数分布作成工程A2および下地判定工程A3を構成する。
【0040】
次に、画像に下地、すなわち、所定量の文書の用紙の紙の地により形成される略白色の領域が存在すると判定された場合に、この下地の領域に対応して後述する画像データ修整処理を実施するため、カラースキャナ20に載置されているスキャン対象物の文書画像について本スキャン処理を実行する。この本スキャン処理の処理内容を図12のフローチャートに示す。最初に、操作者がテンキー35bにて設定した本スキャンの解像度を読み出す(ステップS301)。かかる解像度は上述したプレスキャン処理の解像度より密なものに設定されることは言うまでもない。そして、カラースキャナ20の制御回路25は照明ランプ22を点灯させ、駆動モータ24cに駆動指令を出力して同照明ランプ22とラインセンサ23とをスライド移動させることにより画像の走査を開始し(ステップS305)、所定距離分を移動するごとに制御回路25はラインセンサ23は読み取った画像を解像度により分割された画素の画像データを生成し(ステップS310)、コピーサーバ30に送信する。コピーサーバ30の側ではこの画像データをI/F37を介して受け取り、ハードディスク36にスプールする。ここで、上記分割された画素について全ての走査が終了したと判定すると(ステップS315)、上記スプールされた画像データをハードディスク36に格納する(ステップS320)。従って、このように高解像度による本スキャンを実行して文書画像の画像データを取得しつつ格納する本スキャン処理は、上記プレスキャン処理とともに画像データ取得工程A1を構成する。
【0041】
このように、下地を構成する領域が存在すると判定された場合、略白色付近の各画素を画像データ修整処理において、白色、つまり、最大階調にクランプする。すると、このクランプした部分は、カラープリンタ40の印刷において、インクが印刷媒体に塗布されないため、白色の紙の地のままの領域となる。従って、文書の画像においては、下地の紙の領域と文字の黒色部分のコントラストがはっきりとするようになり、めりはりの有る見栄えの良い画像に修整することが可能になる。
【0042】
次に、図13のフローチャートに示した上記画像データ修整処理の概略処理内容を説明するとともに、以下、各処理について詳細を説明する。同図において、最初に、画像データの各画素に対して修整を実施する対応関係を示す補正曲線を決定する補正曲線決定処理を実行し(ステップS401)、次に、この補正曲線に基づいて各画素の各色成分の階調を順次修整し(ステップS450)、画像データを生成する。
【0043】
図14は、ステップS401にて実行する補正曲線決定処理の処理内容をフローチャートにより示している。同図において、式(4)にて決定した度数分布の最頻値nmodを取得する(ステップS405)。そして、この最頻値nmodの階調が階調255、すなわち、最大階調であるか否かを判定する(ステップS410)。次に、下地分布の統計量を算出する区間を設定する(ステップS415)。ここで設定する下地分布は、上記区間[M1,M2]であってもよいし、下地とする領域を略白色部分とする場合は、領域を区分する階調について、一方を階調255に設定し、他方を次式(8)より算出して設定してもよい。
A=nmod−B*(255−nmod) ・・・(8)
ここで、定数Bは、予め決定された変数で、次式(9)の条件を満たすように決定されている。
0<B<nmod/(255−nmod) ・・・(9)
この変数Bは、具体的に、2前後であればよい。以上より下地分布の統計量を算出する区間は、区間[A,255]と決定される。次に、この区間[A,255]における平均値naveを次式(10)により算出するとともに、標準偏差nstdを次式(11)により算出する(ステップS420)。
Figure 0003846524
Figure 0003846524
【0044】
そして、この平均値naveおよび標準偏差nstdを利用して、補正曲線のしきい値Tを次式(12)に基づいて算出する(ステップS425)。
T=nave−Cnstd ・・・(12)
ここで、定数Cは、次式(13)の条件を満たすように設定される。
C=C2 1−R>=Cth2 ・・・(13)
=C1 Cth1<=1−R<Cth2
また、このC1およびC2は、予め決定された正の整数であり、Cth1は、Rthを利用して次式(14)によって設定されている。
Cth2=1−Rth ・・・(14)
【0045】
本実施形態においては、C1は4程度に、C2は2程度に、そして、Cth1は0.7程度に設定されている。このようにして、しきい値Tが算出されると、補正曲線が決定される。本実施形態において、補正曲線は、図15に示すように、しきい値T以降の入力階調を出力階調255にクランプするとともに、入力階調0〜Tの間を傾き255/Tを有する一次直線によって形成している。むろん、しきい値Tから階調255の入力階調を出力階調255にクランプすることができればよく、入力階調0〜Tの間を二次曲線にして良いし、傾きが異なる一次直線にしてもよく、適宜変更可能である。この補正曲線をRGBデータごとに作成する。また、ステップS410にて最頻値nmodが255であった場合は、入力階調と出力階調において(0,0)と(255,255)を結ぶ傾き1の一次直線を生成させる。すなわち、しきい値Tの階調を255にする。
【0046】
次に、ステップS450の画像データ修整処理の処理内容を図16のフローチャートにより示す。同図において、最初に、本スキャン処理によって生成された画像データを取得する(ステップS455)。そして、画像データの各画素を走査し、各画素の備える各色成分の階調を入力階調とし、補正曲線に代入し、出力階調を算出する(ステップS460)。ステップS455にて取得した画像データの全画素について補正曲線に基づく修整処理が完了しているか否かを判定し(ステップS465)、完了していない場合は、ステップS460に戻り次の画素を走査して順次補正曲線に基づいて修整処理を実行する。全画素について修整処理が完了していれば、出力階調から構成される画像データをハードディスク36に格納する(ステップS470)。
【0047】
このように画像データ修整処理が実施され生成された画像データは、色変換処理などが施されてカラープリンタ40に送出され印刷が実行される。ここで、修整後の画像データに対してカラープリンタ40に送出される前に実行される画像データ変換処理の処理内容を図17のフローチャートに示す。同図において、最初に、画像データ修整処理が実行され、各画素が出力階調により構成されている画像データを入力し(ステップS501)、色変換する(ステップS505)。画像データが一般的なRGB256階調であるとするとプリンタ50ではCMYK2階調の印刷用色画像データが必要となるので、色変換と階調変換が必要になる。従って、ステップ505では、RGB256階調の色画像データをCMYK256階調の色画像データに変換する。このとき標準的は手法に基づいてLUTを利用して色変換処理を実行すればよい。次に、CMYK256階調をCMYK2階調へとハーフトーン化し(ステップS510)、ハーフトーン化したデータをパラレル通信でパソコン10からプリンタ50へと送信する(ステップS515)。
【0048】
ここで、画像データ修整処理における実行前と実行後との画像データの状態の変化を図18に示す。実行前の画像データは図18(a)に示し、実行後の画像データは図18(b)に示す。なお、同図は、各小区画によって画像データを構成する各画素を示し、階調0の画素は画像において黒色となる箇所を示している。一方、階調255の画素は画像において白色、すなわち、文書画像の紙の領域を示している。ここで、図18(a)においては、黒色の部分と、紙の領域の境界に斜線で示したグレーの画素が存在していることが分かる。かかる画素があるために黒色と白色部分の境界があいまいになり、図19(a)に示すように、文書を表示した画像において、めりはりのない画像になってしまう。一方、上述した画像データ修整処理を実行した場合、図18(b)に示すように、このグレーの部分を最大階調255にクランプするため、黒色と白色部分についてはっきりと境界を作ることができ、図19(b)に示すようにめりはりの付いた画像になることが分かる。
【0049】
このように、文書をカラースキャナ40にてスキャンし、同文書の画像における下地を構成する紙の地の領域、すなわち、略白色の領域を、同画像を構成する画像データの所定の度数分布に基づいて判定することが可能になる。また、下地の存在を判定すると、補正曲線により略白色の下地領域を画像データ修整処理によって白色、すなわち、最大階調に修整するため、画像データにより再生される画像の下地と下地以外の画像とのめりはりをつけることができ、裏うつりなど下地に表れるノイズ成分を除去することが可能になる。
【図面の簡単な説明】
【図1】 本発明の一実施形態にかかる画像データ下地判定方法のクレーム対応図である。
【図2】 本画像データ下地判定方法を実体化するために適用したカラー複写装置の概略外観図である。
【図3】 本カラー複写装置のスキャナの構成を示した概略図である。
【図4】 本カラー複写装置のコピーサーバの構成を示した概略ブロック図である。
【図5】 同コピーサーバの構成を示した概略ブロック図である。
【図6】 本カラー複写装置のカラープリンタの構成を示した概略図である。
【図7】 本カラー複写装置の変形例を示したコンピュータシステムの概略外観図である。
【図8】 同コピーサーバが実行するカラー複写処理の概略の処理内容を示したフローチャートである。
【図9】 同コピーサーバが実行するプレスキャン処理の処理内容を示したフローチャートである。
【図10】 同コピーサーバが実行する下地判定処理の処理内容を示したフローチャートである。
【図11】 同下地判定処理により作成された画像データの度数分布を示した図である。
【図12】 同コピーサーバが実行する本スキャン処理の処理内容を示したフローチャートである。
【図13】 同コピーサーバが実行する画像データ修整処理の処理内容を示したフローチャートである。
【図14】 同コピーサーバが実行する補正曲線決定処理の処理内容を示したフローチャートある。
【図15】 同補正曲線決定処理にて決定された補正曲線の一例を示した図である。
【図16】 同コピーサーバが実行する画像データ修整処理の処理内容を示したフローチャートである。
【図17】 同コピーサーバが実行する画像データ変換処理の処理内容を示したフローチャートである。
【図18】 同画像データ修整処理によって修整される画像データ修整処理の実行前と実行後の画素の構成を示した図である。
【図19】 同画像データ修整処理によってめりはりが付いた画像になる様子を示した図である。
【符号の説明】
A1…画像データ取得工程
A2…度数分布作成工程
A3…下地判定工程
A4…画像データ修整工程

Claims (8)

  1. 画像における下地を構成する領域を画像データの所定の度数分布に基づいて判定する画像データ下地判定方法であって、
    画像をドットマトリクス状の画素で多階調表現した画像データを取得する画像データ取得工程と、
    上記画像データ取得工程にて取得した画像データの各画素について階調を集計し、度数分布を作成する度数分布作成工程と、
    上記度数分布の最頻値が属する所定幅の領域の相対度数が所定のしきい値以上である場合、上記画像に下地を構成する領域が存在すると判定する下地判定工程とを行うことを特徴とする画像データ下地判定方法。
  2. 上記請求項1に記載の画像データの下地判定方法において、上記度数分布作成工程は、各画素の輝度を算出するとともに、同輝度の階調を集計し、度数分布を作成することを特徴とする画像データ下地判定方法。
  3. 上記請求項1に記載の画像データ下地判定方法において、上記度数分布作成工程は、各画素の色合いを示す各要素色の濃度階調を集計し、各要素色ごとの濃度階調の度数分布を作成することを特徴とする画像データ下地判定方法。
  4. 上記請求項1〜請求項3のいずれかに記載の画像データ下地判定方法において、上記下地判定工程は、上記度数分布の最頻値が属する所定幅の領域の相対度数を算出するにあたり、同度数分布に対して平滑化処理を実施することを特徴とする画像データ下地判定方法。
  5. 上記請求項1〜請求項4に記載の画像データ下地判定方法において、上記下地判定工程が画像に下地を構成する領域が存在すると判定した場合、同下地を構成する領域に属する画素の階調の平均値に応じた補正曲線により各画素の階調を補正する修整処理を実施する画像データ修整工程を備えることを特徴とする画像データ下地判定方法。
  6. 上記請求項1〜請求項5に記載の画像データ下地判定方法において、上記下地判定工程が画像に下地を構成する領域が存在すると判定した場合、同下地を構成する領域に属する画素の階調のばらつきに応じた補正曲線により各画素の階調を補正する修整処理を実施する画像データ修整工程を備えることを特徴とする画像データ下地判定方法。
  7. 画像における下地を構成する領域を画像データの所定の度数分布に基づいて判定する画像データ下地判定装置であって、
    画像をドットマトリクス状の画素で多階調表現した画像データを取得する画像データ取得手段と、
    上記画像データ取得手段にて取得した画像データの各画素について階調を集計し、度数分布を作成する度数分布作成手段と、
    上記度数分布の最頻値が属する所定幅の領域の相対度数が所定のしきい値以上である場合、上記画像に下地を構成する領域が存在すると判定する下地判定手段とを具備することを特徴とする画像データ下地判定装置。
  8. 画像における下地を構成する領域を画像データの所定の度数分布に基づいて判定する機能をコンピュータに実行させる画像データ下地判定制御プログラムを記録した媒体であって、
    画像をドットマトリクス状の画素で多階調表現した画像データを取得する画像データ取得機能と、
    上記画像データ取得機能にて取得した画像データの各画素について階調を集計し、度数分布を作成する度数分布作成機能と、
    上記度数分布の最頻値が属する所定幅の領域の相対度数が所定のしきい値以上である場合、上記画像に下地を構成する領域が存在すると判定する下地判定機能とをコンピュータに実行させることを特徴とする画像データ下地判定制御プログラムを記録した媒体。
JP05428599A 1999-03-02 1999-03-02 画像データの下地判定方法、画像データの下地判定装置および画像データの下地判定プログラムを記録した媒体 Expired - Fee Related JP3846524B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP05428599A JP3846524B2 (ja) 1999-03-02 1999-03-02 画像データの下地判定方法、画像データの下地判定装置および画像データの下地判定プログラムを記録した媒体
PCT/JP2000/001216 WO2000052922A1 (fr) 1999-03-02 2000-03-02 Dispositif et procede permettant d'evaluer l'arriere-plan de donnees d'image, et support d'enregistrement destine au programme de commande de l'evaluation de l'arriere-plan de donnees d'image
US09/674,638 US7099041B1 (en) 1999-03-02 2000-03-02 Image data background determining apparatus image data background determining method, and medium recording thereon image data background determination control program
DE60042257T DE60042257D1 (de) 1999-03-02 2000-03-02 Beurteilsungsvorrichtung für hintergrundbilddaten, beurteilungsverfahren für hintergrundbilddaten und medium in welchem ein steuerprogramm für hintergrundbilddaten aufgezeichnet wird
EP00906615A EP1085747B1 (en) 1999-03-02 2000-03-02 Image data background judging device, image data background judging method, and medium on which image data background judging control program is recorded
AT00906615T ATE432589T1 (de) 1999-03-02 2000-03-02 Beurteilsungsvorrichtung für hintergrundbilddaten,beurteilungsverfahren für hintergrundbilddaten und medium in welchem ein steuerprogramm für hintergrundbilddaten aufgezeichnet wird

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP05428599A JP3846524B2 (ja) 1999-03-02 1999-03-02 画像データの下地判定方法、画像データの下地判定装置および画像データの下地判定プログラムを記録した媒体

Publications (2)

Publication Number Publication Date
JP2000253250A JP2000253250A (ja) 2000-09-14
JP3846524B2 true JP3846524B2 (ja) 2006-11-15

Family

ID=12966304

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05428599A Expired - Fee Related JP3846524B2 (ja) 1999-03-02 1999-03-02 画像データの下地判定方法、画像データの下地判定装置および画像データの下地判定プログラムを記録した媒体

Country Status (1)

Country Link
JP (1) JP3846524B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007295260A (ja) * 2006-04-25 2007-11-08 Fujifilm Corp 画像処理方法およびデジタルカメラ
JP2008124693A (ja) * 2006-11-10 2008-05-29 Nec Access Technica Ltd 画像処理装置、複写機およびホワイトボード用画像処理プログラム
JP4967866B2 (ja) * 2007-07-06 2012-07-04 富士ゼロックス株式会社 画像形成装置
JP4967867B2 (ja) * 2007-07-06 2012-07-04 富士ゼロックス株式会社 画像形成装置及び画像処理装置
JP5262877B2 (ja) * 2009-03-17 2013-08-14 セイコーエプソン株式会社 ノイズ成分除去装置、ノイズ成分除去プログラムを記録した媒体
JP5942546B2 (ja) * 2012-03-30 2016-06-29 ブラザー工業株式会社 画像処理装置
JP6308496B2 (ja) * 2014-02-19 2018-04-11 学校法人東京理科大学 画像復元装置、方法、及びプログラム
JP6182092B2 (ja) * 2014-03-10 2017-08-16 キヤノン株式会社 画像処理装置および画像処理方法
JP6341085B2 (ja) 2014-12-26 2018-06-13 ブラザー工業株式会社 画像処理装置、および、コンピュータプログラム

Also Published As

Publication number Publication date
JP2000253250A (ja) 2000-09-14

Similar Documents

Publication Publication Date Title
US8237991B2 (en) Image processing apparatus, image processing method, and program
US8482804B2 (en) Image processing apparatus and image processing method
US8040569B2 (en) Image processing apparatus and method for contrast processing and intermediate color removal
JP3855800B2 (ja) 画像処理装置および画像処理方法
US20230110982A1 (en) Image processing apparatus, image processing method, and storage medium
WO2000052922A1 (fr) Dispositif et procede permettant d'evaluer l'arriere-plan de donnees d'image, et support d'enregistrement destine au programme de commande de l'evaluation de l'arriere-plan de donnees d'image
CN102318330A (zh) 用于处理数字图像的图像处理系统和处理数字图像的图像处理方法
JP3846524B2 (ja) 画像データの下地判定方法、画像データの下地判定装置および画像データの下地判定プログラムを記録した媒体
JP6821418B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20100014121A1 (en) Printing Apparatus, Printing Method, and Recording Medium
EP1079601B1 (en) Image data correcting device, image data correcting method, medium on which image data correcting program is recorded
JP5146942B2 (ja) スキャナによって獲得されるデジタル画像を変換する変換方法、装置、およびコンピュータプログラム
JP3962890B2 (ja) 画像データ修整装置、画像データ修整方法および画像データ修整プログラムを記録したコンピュータ読み取り可能な記録媒体
JP7034742B2 (ja) 画像形成装置、その方法およびプログラム
JP2009089266A (ja) 画像処理装置、画素の属性の判定方法
EP2571244A2 (en) Image processing apparatus, method, image forming apparatus, and storage medium
JP3664351B2 (ja) 画像処理装置、カラー印刷装置、及び画像処理方法、並びに記録媒体
JP4407317B2 (ja) 印刷装置、メディアへの印刷方法及び印刷システム
JP3664371B2 (ja) 画像データ取得方法、画像データ取得装置および画像データ取得処理プログラムを記録した媒体
JP4259254B2 (ja) 画像データ処理装置およびそれを備えた印刷データ作成装置、インクジェット記録装置、画像データ処理プログラム及び画像データ処理方法
JP2000253251A (ja) 画像データ下地領域設定方法、画像データ下地領域設定装置および画像データ下地領域設定制御プログラムを記録した媒体
CN113002177B (zh) 生产喷墨打印机的方法、以及喷墨打印机
JPH1042156A (ja) カラー画像処理装置及び方法
JP3810619B2 (ja) 画像処理装置,印刷装置および画像処理方法
JP2000201273A (ja) 画像データ生成プログラムを記録した媒体、画像データ生成装置および画像データ生成方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060215

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060331

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060815

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090901

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100901

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100901

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110901

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120901

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130901

Year of fee payment: 7

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees