JP4760541B2 - Buffer control module, image processing apparatus, and program - Google Patents
Buffer control module, image processing apparatus, and program Download PDFInfo
- Publication number
- JP4760541B2 JP4760541B2 JP2006152429A JP2006152429A JP4760541B2 JP 4760541 B2 JP4760541 B2 JP 4760541B2 JP 2006152429 A JP2006152429 A JP 2006152429A JP 2006152429 A JP2006152429 A JP 2006152429A JP 4760541 B2 JP4760541 B2 JP 4760541B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image processing
- band
- buffer control
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
本発明は、処理対象の画像データを複数のバンドに分割して画像処理を施す技術に関する。 The present invention relates to a technique for performing image processing by dividing image data to be processed into a plurality of bands.
複写機やプリンタ装置などの画像処理装置のなかには、1ページ分の画像データを一括して読み込んで処理するページ処理方式のものと、1ページ分の画像データを副走査方向に複数ラインずつのブロック(以下、バンドと呼ぶ)に分割しそのバンド単位で読み込みで処理するバンド処理方式(例えば、特許文献1参照)のものとがあり、画像処理の対象である画像データを蓄積するために実装するべきメモリ量が少なくて済むといった利点から後者の方が主流になってきている。
ところで、複写機やプリンタ装置などの画像処理装置は、処理対象の画像に対して色変換処理や拡大/縮小処理、回転処理などの処理毎にその処理を実行する専用のモジュールを有し、これらモジュールを予め定められた順番で作動させることによって画像処理を実現するように構成されていることが一般的である。なお、以下では、上記各モジュールの組み合わせを「パイプライン」とも呼ぶ。 By the way, image processing apparatuses such as copiers and printer apparatuses have dedicated modules that execute processing for each processing such as color conversion processing, enlargement / reduction processing, and rotation processing on an image to be processed. In general, image processing is realized by operating the modules in a predetermined order. Hereinafter, the combination of the modules is also referred to as a “pipeline”.
上記パイプラインのなかに、フィルタ処理のように例えば3×3画素からなるウィンドウの中心に位置する画素に施す処理内容をその周辺に位置する8個の画素の画素値に応じて決定するウィンドウベースの処理を実行するモジュールが含まれていると、その処理実行後に有効画素数が減少(以下、有効画素の縮退と呼ぶ)してしまう場合がある。ページ処理方式の画像処理装置においては、図9(a)に示すように、ページの最外郭のみで上記有効画素の縮退(図9(a)では縮退する画素をハッチングで示している。図9(b)でも同様)が発生するのであるが、バンド処理方式の画像処理装置においては、図9(b)に示すように各バンドの最外郭で有効画素の縮退が発生してしまう。つまり、バンド処理方式の画像処理装置では、ウィンドウベースの処理による有効画素の縮退がページ処理方式の画像処理装置よりも顕著であり、この点は、バンド処理方式の画像処理装置の大きな問題点となっている。 In the above pipeline, a window base for determining processing contents to be applied to a pixel located at the center of a window composed of, for example, 3 × 3 pixels in accordance with the pixel values of eight pixels located in the vicinity thereof as in the filter processing. If the module for executing the process is included, the number of effective pixels may be reduced after the process is executed (hereinafter referred to as degeneration of the effective pixels). In the image processing apparatus of the page processing method, as shown in FIG. 9A, the effective pixels are degenerated only in the outermost outline of the page (in FIG. 9A, the degenerate pixels are hatched. The same applies to (b)). However, in the image processing apparatus of the band processing method, as shown in FIG. 9B, degeneration of effective pixels occurs in the outermost contour of each band. In other words, in the band processing type image processing apparatus, the reduction of effective pixels due to window-based processing is more conspicuous than the page processing type image processing apparatus. This is a major problem of the band processing type image processing apparatus. It has become.
一般に、パイプラインによる画像処理の前後で、有効画素の数は一致していることが必要であるため、上記有効画素の縮退に対処するための方策が従来より種々提案されており、その一例としては、一括オーバラップ付与方式と分割オーバラップ付与方式の2つの方法が挙げられる。 In general, since the number of effective pixels needs to match before and after image processing by a pipeline, various measures for dealing with the degeneration of the effective pixels have been proposed in the past. There are two methods, a batch overlap grant method and a divided overlap grant method.
一括オーバラップ付与方式とは、パイプラインの先頭で全画像処理に必要なオーバラップ画素(有効画素の縮退を考量して付加する画素)を一括して付与する方法である。例えば、上記パイプラインが、ウィンドウサイズが7×7であるフィルタ処理を行うモジュールとウィンドウサイズが3×3であるフィルタ処理を行うモジュールで構成されている場合には、そのパイプラインによる画像処理で処理対象の画像データ(1ページ分または1バンド分の画像データ)の最外郭の4画素分の有効画素の縮退が発生してしまう。このため、一括オーバラップ付与方式では、その画像データの外側に4画素分のオーバラップを付与し、図10(a)に示すように7×7のフィルタ処理を行い、その後、図10(b)に示すように3×3のフィルタ処理を行う。なお、図10(a)および図10(b)では、本来の処理対象である画像データがハッチングで示されている(図11についても同様)。 The batch overlap assigning method is a method of collectively assigning overlap pixels (pixels that are added considering the degeneracy of effective pixels) necessary for all image processing at the beginning of the pipeline. For example, if the pipeline is composed of a module that performs a filter process with a window size of 7 × 7 and a module that performs a filter process with a window size of 3 × 3, image processing by the pipeline Degeneration of the effective pixels for the outermost four pixels of the image data to be processed (image data for one page or one band) occurs. Therefore, in the collective overlap providing method, an overlap of 4 pixels is given to the outside of the image data, 7 × 7 filter processing is performed as shown in FIG. 10A, and then FIG. 3 × 3 filter processing is performed as shown in FIG. In FIGS. 10A and 10B, the image data that is the original processing target is indicated by hatching (the same applies to FIG. 11).
一方、分割オーバラップ方式とは、各フィルタ処理の直前にその処理で縮退する有効画素数に応じたオーバラップ画素を付与する方式である。具体的には、上記パイプラインが、ウィンドウサイズが7×7であるフィルタ処理を行うモジュールとウィンドウサイズが3×3であるフィルタ処理を行うモジュールで構成されている場合には、7×7のフィルタ処理の直前に図11(a)に示すように3画素分のオーバラップが付与され、3×3のフィルタ処理の直前に図11(b)に示すように1画素分のオーバラップが付与される。 On the other hand, the divided overlap method is a method in which an overlap pixel corresponding to the number of effective pixels to be degenerated by the process is given immediately before each filter process. Specifically, in the case where the pipeline includes a module that performs a filter process with a window size of 7 × 7 and a module that performs a filter process with a window size of 3 × 3, Immediately before the filter processing, an overlap of 3 pixels is given as shown in FIG. 11A, and an overlap of 1 pixel is given just before the 3 × 3 filter processing as shown in FIG. 11B. Is done.
図11(a)および(b)においては、一括オーバラップ付与方式で付与されるオーバラップとの差分が点線で示されている。この図11(a)および(b)を参照すれば明らかなように、分割オーバラップ付与方式は、一括オーバラップ付与方式に比較してオーバラップの数が少なくて済むといった特徴がある。パイプラインへ投入される画素数が増加することは、画像処理の生産性(例えば、単位時間当たりに画像処理可能な紙文書の枚数)の低下を招く一因となってしまうため、この観点からは、分割オーバラップ付与方式の方が優れていると言える。しかしながら、分割オーバラップ付与方式では、各フィルタ処理モジュールの前段でそのフィルタ処理モジュールのウィンドウサイズに応じたオーバラップの付与を行う必要があるため、処理対象の画像データをバンドバッファから読み出す際のアドレス制御が繁雑になってしまうといった問題点がある。
本発明は、上記課題に鑑みて為されたものであり、簡便にオーバラップ画像の付与を行うことができ、かつ、バンド単位で画像処理を行う場合にも生産性の低下を招くことのないオーバラップ画素付与技術を提供することを目的としている。
In FIGS. 11A and 11B, the difference from the overlap applied by the collective overlap applying method is indicated by a dotted line. As is clear from FIGS. 11A and 11B, the divided overlap providing method has a feature that the number of overlaps is smaller than the collective overlap providing method. From this point of view, an increase in the number of pixels input into the pipeline causes a decrease in image processing productivity (for example, the number of paper documents that can be processed per unit time). Can be said to be superior to the split overlap method. However, in the divided overlap addition method, it is necessary to add overlap according to the window size of the filter processing module in the previous stage of each filter processing module, so the address when reading the image data to be processed from the band buffer There is a problem that the control becomes complicated.
The present invention has been made in view of the above problems, and can easily apply an overlap image and does not cause a decrease in productivity even when image processing is performed in band units. An object of the present invention is to provide an overlap pixel providing technique.
上記課題を解決するために、本発明の第1の態様に係るバッファ制御モジュールは、1ページ分の画像データを複数のバンドに分割しバンド毎に異なるバンドバッファへ書き込む書き込み制御手段と、前記バンドバッファの何れかから1バンド分の画像データを読み出し、各々異なる画像処理を実行する複数の画像処理モジュールを含むパイプラインへその画像データを出力する読み出し制御手段と、を備え、前記読み出し制御手段は、前記複数の画像処理モジュールにウィンドウ処理を行うモジュールが複数含まれている場合には、該複数のウィンドウ処理モジュールのうちで最大のウィンドウサイズを有するモジュールにて縮退する有効画素数に応じた数のオーバラップを付与して前記パイプラインへ供給することを特徴としている。 In order to solve the above-described problem, the buffer control module according to the first aspect of the present invention includes a write control unit that divides image data for one page into a plurality of bands and writes the data to a different band buffer for each band; Read control means for reading image data for one band from any of the buffers and outputting the image data to a pipeline including a plurality of image processing modules for executing different image processing, wherein the read control means When the plurality of image processing modules include a plurality of modules for performing window processing, the number corresponding to the number of effective pixels to be reduced in the module having the largest window size among the plurality of window processing modules It is characterized in that it is supplied to the pipeline with an overlap of.
また、上記課題を解決するために、本発明の第2の態様に係る画像処理装置は、複数のバンドバッファと、各々異なる画像処理を実行する複数の画像処理モジュールを含むとともに、前記複数の画像処理モジュールにウィンドウ処理を行うモジュールが複数含まれているパイプラインと、1ページ分の画像データを複数のバンドに分割しバンド毎に異なるバンドバッファへ書き込む書き込み制御と、前記バンドバッファの何れかから1バンド分の画像データを読み出し前記パイプラインへその画像データを出力する読み出し制御手段とを行うバッファ制御モジュールと、を備え、前記バッファ制御モジュールは、前記パイプラインへ画像データを供給する際に、前記ウィンドウ処理を行う前記複数のモジュールのうちで最大のウィンドウサイズを有するモジュールにて縮退する有効画素数に応じた数のオーバラップを付与して供給することを特徴としている。 In order to solve the above problem, an image processing apparatus according to a second aspect of the present invention includes a plurality of band buffers and a plurality of image processing modules that execute different image processing, and the plurality of images. A pipeline including a plurality of modules for performing window processing in a processing module, a writing control for dividing image data for one page into a plurality of bands and writing to different band buffers for each band, and any of the band buffers A buffer control module that reads out image data for one band and outputs the image data to the pipeline, and a buffer control module for supplying the image data to the pipeline. The largest window size among the plurality of modules performing the window processing. Is characterized by supplying to impart several overlap in accordance with the number of effective pixels degenerate in module having.
また、上記課題を解決するために、本発明の第3の態様に係るプログラムは、コンピュータ装置を、1ページ分の画像データを複数のバンドに分割しバンド毎に異なるバンドバッファへ書き込む書き込み制御手段と、前記バンドバッファの何れかから1バンド分の画像データを読み出し、各々異なる画像処理を実行する複数の画像処理モジュールを含むパイプラインへその画像データを出力する読み出し制御手段として機能させ、前記読み出し制御手段は、前記複数の画像処理モジュールにウィンドウ処理を行うモジュールが複数含まれている場合には、該複数のウィンドウ処理モジュールのうちで最大のウィンドウサイズを有するモジュールにて縮退する有効画素数に応じた数のオーバラップを付与して前記パイプラインへ供給することを特徴としている。 In order to solve the above-described problem, a program according to the third aspect of the present invention is a program for controlling a computer device to divide image data for one page into a plurality of bands and write the data into different band buffers for each band. And reading the image data for one band from any one of the band buffers, and functioning as a read control means for outputting the image data to a pipeline including a plurality of image processing modules each performing different image processing, When the plurality of image processing modules include a plurality of modules for performing window processing, the control means sets the effective pixel number to be reduced by the module having the largest window size among the plurality of window processing modules. To supply the pipeline with a corresponding number of overlaps. It is a symptom.
本発明によれば、簡便にオーバラップ画像の付与を行うことができ、かつ、バンド単位で画像処理を行う場合にも生産性の低下を招くことがない、といった効果を奏する。 According to the present invention, it is possible to easily apply an overlap image, and there is an effect that productivity is not reduced even when image processing is performed in band units.
以下、本発明を電子写真方式の複写機へ適用した場合の実施例について図面を参照しつつ説明する。
(A:構成)
図1は、本発明の1実施形態に係る画像処理装置10の構成例を示すブロック図である。
図1に示すように、画像処理装置10は、入力部110、ASIC120、出力部130およびSDRAMで構成された記憶部140を有している。
入力部110は、処理対象の画像を光学的に読み取ってその画像に対応する画像信号を出力するCCDセンサや、その出力信号をサンプルフォールドしてアナログ/ディジタル変換を施し画像データを生成する信号処理回路(何れも図示省略)などを含んでいる。この入力部110は、上記のようにして生成した画像データをASIC120へ引き渡す。
Hereinafter, an embodiment in which the present invention is applied to an electrophotographic copying machine will be described with reference to the drawings.
(A: Configuration)
FIG. 1 is a block diagram illustrating a configuration example of an
As shown in FIG. 1, the
The
ASIC120は、入力部110から引き渡された画像データに対して、記憶部140をワークエリアとして用いて色変換処理や拡大/縮小、回転処理などの各種画像処理を施し、その処理結果を出力部130へ引き渡すものである。このASIC120は、図1に示すように、バッファ制御部1210a、1210bおよび1210cと、画像処理部1220aおよび1220bを含んでいる。なお、以下では、上記3つのバッファ制御部を互いに区別する必要がない場合には、「バッファ制御部1210」と表記する。同様に、上記2つの画像処理部についても、互いに区別する必要がない場合には、「画像処理部1220」と表記する。
The ASIC 120 performs various image processing such as color conversion processing, enlargement / reduction, and rotation processing on the image data delivered from the
画像処理部1220は、その前段に位置するバッファ制御部1210から引き渡された画像データに対して所定のウィンドウサイズのフィルタ処理を施し、その後段に位置するバッファ制御部1210へ引き渡すものである。本実施形態では、画像処理部1220bは、3×3のウィンドウサイズのフィルタ処理を行う画像処理モジュールであり、図2に示すような構成を有している。一方、画像処理部1220aは、7×7のウィンドウサイズのフィルタ処理を行う画像処理モジュールである。
The image processing unit 1220 performs a filtering process of a predetermined window size on the image data delivered from the buffer control unit 1210 located at the preceding stage, and delivers the filtered data to the buffer control unit 1210 located at the subsequent stage. In the present embodiment, the image processing unit 1220b is an image processing module that performs filter processing with a 3 × 3 window size, and has a configuration as shown in FIG. On the other hand, the
図1に示すように、ASIC120の内部では、各々異なるフィルタ処理を実行する画像処理部1220aと1220bとがバッファ制御部1210bを介して直列に配列されており、入力部110から引き渡された画像データはバッファ制御部1210aを介して画像処理部1220aに供給され、画像処理部1220bから出力される画像データは、バッファ制御部1210cを介して出力部130へ供給されるようになっている。つまり、ASIC120の内部においては、画像処理部1220aおよび1220bにより2段階のパイプラインが形成されている。このように、図1に示す画像処理装置10は、処理対象である画像データに対してパイプライン方式の画像処理を実行する画像処理装置である。
As shown in FIG. 1, in the
バッファ制御部1210は、その前段から引き渡される画像データを複数のバンドに分割して記憶部140へ書き込む一方、このようにして書き込んだ画像データをバンド単位で読み出してその後段に位置するモジュールへ引き渡すものである。例えば、バッファ制御部1210aは、入力部110から引き渡される1ページ分の画像データを、図3(a)に示すように3つのバンドに分割して記憶部140へ書き込む一方、これら3つのバンドの画像データを各バンド単位で読み出して画像処理部1220aに引き渡す。バッファ制御部1210bは、画像処理部1220aから上記バンド単位で引き渡される画像データを記憶部140へ書き込む一方、このようにして書き込んだ画像データをバンド単位で読み出し画像処理部1220bへ引き渡す。そして、バッファ制御部1210cは、画像処理部1220bから上記バンド単位で引き渡される画像データを記憶部140へ書き込む一方、このようにして書き込んだ画像データをバンド単位で読み出し出力部130へ引き渡す。このバッファ制御部1210は、CPUやROM、RAMなどにより構成
さており、ROMには記憶部140への画像データの書き込み制御およびその画像データの読み出し制御をCPUに実行させるための制御プログラムが予め記憶されている。一方、上記RAMは、その制御プログラムの実行過程で使用されるReadカウンタやWriteカウンタ、Readリセットフラグなどの各種変数が格納される。なお、これら変数については、後に詳細に説明する。
The buffer control unit 1210 divides the image data delivered from the previous stage into a plurality of bands and writes it to the
加えて、バッファ制御部1210は、ウィンドウ処理にて有効画素の縮退が発生することに対処するために、そのウィンドウ処理の処理対象である1バンド分の画像データにオーバラップ画素およびリプリケーション画素を付与する機能も備えている。ただし、バッファ制御部1210が実行するオーバラップ付与処理が、従来のオーバラップ付与処理(前述した一括オーバラップ付与処理や分割オーバラップ付与処理)と異なっている点は、常に一定量のオーバラップ画素を付与する点である。なお、この一定量のオーバラップ画素の数を示すデータは上記ROMに予め記憶されている。 In addition, the buffer control unit 1210 adds an overlap pixel and a replication pixel to the image data for one band, which is the processing target of the window processing, in order to cope with the occurrence of the degeneration of effective pixels in the window processing. It also has a function to do. However, the overlap providing process executed by the buffer control unit 1210 is different from the conventional overlap providing process (the above-described collective overlap providing process or divided overlap providing process) in that a certain amount of overlap pixels is always provided. It is a point to give. Note that data indicating the number of overlap pixels of a certain amount is stored in advance in the ROM.
より詳細に説明すると、バッファ制御部1210は、パイプラインを形成する複数の画像処理部のうち、最も有効画素の縮退が大きい画像処理モジュール(すなわち、最も大きなウィンドウサイズでウィンドウ処理を行う画像処理モジュール)にて縮退する画素数に応じた数分のオーバラップ画素を付与する。本実施形態においては、画像処理部1220aにおけるウィンドウ処理のウィンドウサイズは7×7(すなわち、最外郭の3画素分が縮退する)であり、画像処理部1220bにおけるウィンドウ処理のウィンドウサイズは3×3(すなわち、最外郭の1画素分が縮退する)であるから、バッファ制御部1210は、3画素分のオーバラップ画素を付与する。具体的には、バッファ制御部1210は、図3(b)に示す第2バンドエリアに格納されている画像データを読み出す際には、図3(b)に示すように、第1バンドエリアの底から3ライン分の画像データを上部オーバラップとして読み出すとともに、第3バンドエリアの上端から3ライン分の画像データを下部オーバラップとして読み出す。なお、図では、リプリケーション画素の読み出し態様については図示を省略したが、上記上部オーバラップ、第2バンドエリアおよび下部オーバラップの主走査方向の両端の3画素を重複して読み出すようにすれば良い。
More specifically, the buffer control unit 1210 is an image processing module having the largest degenerated effective pixel among the plurality of image processing units forming the pipeline (that is, an image processing module that performs window processing with the largest window size). The number of overlap pixels corresponding to the number of pixels to be degenerated is given in (). In the present embodiment, the window size of window processing in the
ここで、図4を参照すれば明らかなように、本実施形態に係るバッファ制御部1210により付与されるオーバラップ画素の数は、7×7および3×3のフィルタ処理を直列に行うパイプラインに対して一括オーバラップ付与方式で付与されるオーバラップ画素の数に比較してその最外郭の1画素分少ない。このため、本実施形態に係るバッファ制御部1210によれば、従来の一括オーバラップ付与方式に比較して生産性の低下が少なくなる。また、本実施形態に係るバッファ制御部1210によれば、常に一定量のオーバラップ画素を付与するため、従来の分割オーバラップ付与方式に比較して、簡単なアドレス制御でオーバラップ画素を付与することが可能になる。 Here, as apparent from FIG. 4, the number of overlap pixels given by the buffer control unit 1210 according to the present embodiment is a pipeline that performs 7 × 7 and 3 × 3 filter processing in series. As compared with the number of overlap pixels assigned by the collective overlap assigning method, the outermost one pixel is smaller. For this reason, according to the buffer control unit 1210 according to the present embodiment, the decrease in productivity is reduced as compared with the conventional batch overlap method. In addition, according to the buffer control unit 1210 according to the present embodiment, since a certain amount of overlap pixels is always given, the overlap pixels are given by simple address control as compared with the conventional divided overlap grant method. It becomes possible.
そして、出力部130は、ASIC120から引き渡される画像データ(すなわち、ASIC120内の各画像処理部によりパイプライン方式の画像処理が施された画像データ)に応じた画像を、印刷用紙などの記録材上に電子写真方式で形成して出力するものである。なお、本実施形態では、出力部130が電子写真方式で画像形成を行う場合について説明するが、例えばインクジェット方式などの他の方式で画像形成を行うとしても良いことは勿論である。
以上が、画像処理装置10の構成である。
Then, the
The above is the configuration of the
(B:動作)
以下、バッファ制御部1210が行う動作について図面を参照しつつ説明する。
(B−1:オーバラップ付与処理)
図5は、バッファ制御部1210が自身のROMに記憶されている制御プログラムにしたがって実行するオーバラップ付与処理の流れを示すフローチャートである。
図5に示すように、バッファ制御部1210は、まず、読み取り対象であるバンドバッファに対する上部オーバラップの書き込みが完了しているか否かを判定し(ステップSA100)、その判定結果が“No”である間は、ステップSA100の処理を繰り返し実行する。なお、バンドバッファへの画像データの書き込み制御については、後に詳細に説明する。
(B: Operation)
Hereinafter, operations performed by the buffer control unit 1210 will be described with reference to the drawings.
(B-1: Overlapping process)
FIG. 5 is a flowchart showing the flow of the overlap providing process executed by the buffer control unit 1210 according to the control program stored in its own ROM.
As shown in FIG. 5, the buffer control unit 1210 first determines whether or not the upper overlap has been written to the band buffer to be read (step SA100), and the determination result is “No”. While there is, the process of step SA100 is repeatedly executed. Note that the writing control of image data to the band buffer will be described in detail later.
ステップSA100の判定結果が“Yes”である場合には、バッファ制御部1210は、読み取り対象であるバンドバッファに対する下部オーバラップの書き込みが完了しているか否かを判定し(ステップSA110)、その判定結果が“No”である間は、ステップSA110の処理を繰り返し実行する。 If the determination result in step SA100 is “Yes”, the buffer control unit 1210 determines whether or not lower overlap writing to the band buffer to be read has been completed (step SA110). While the result is “No”, the process of step SA110 is repeatedly executed.
ステップSA110の判定結果が“Yes”である場合には、バッファ制御部1210は、図3(b)に示す様に、読み出し対象エリアを設定し、その読み出し対象エリアに蓄積されている画像データを1画素分づつ読み出す(ステップSA120)。ここで、読み出し対象エリアを設定するとは、その読み出し対象エリアから画像データを読み出す際の読み出し位置を規定する変数であるReadカウンタの取り得る値の範囲の下限に、その読み出し対象エリアの先頭アドレス(すなわち、上部オーバラップの先頭アドレス)をセットし、その上限に上記読み出し対象エリアの末尾のアドレス(すなわち、下部オーバラップの末尾のアドレス)をセットすることにより為される。
このように読み出し対象エリアを設定しその読み出し対象エリアから画像データを読み出すことによって、図4に示されるように、画像処理部1220へ引き渡される画像データには、図4に示すように常に一定量のオーバラップが付与されることになる。
If the determination result in step SA110 is “Yes”, the buffer control unit 1210 sets a read target area as shown in FIG. 3B, and sets the image data stored in the read target area. Read one pixel at a time (step SA120). Here, setting the read target area means that the start address of the read target area (at the lower limit of the range of values that can be taken by the Read counter, which is a variable that defines the read position when reading image data from the read target area ( That is, the top address of the upper overlap is set, and the end address of the read target area (that is, the end address of the lower overlap) is set as the upper limit.
By setting the read target area and reading the image data from the read target area in this way, as shown in FIG. 4, the image data delivered to the image processing unit 1220 always has a certain amount as shown in FIG. Will be added.
(B−2:画像データ書き込み処理)
図6は、バッファ制御部1210が、自身のROMに記憶されている制御プログラムにしたがって、前段に位置するモジュールから引き渡される画像データを記憶部140へ書き込む際に行う書き込み制御処理の流れを示すフローチャートである。
図6に示すように、バッファ制御部1210は、まず、Readカウンタの値を初期化し(ステップSB100)、次いで、Writeカウンタの値を初期化する(ステップSB110)。ここで、Readカウンタは、前述した読み出し対象エリア(図3(b)参照)から画像データを読み出す際の読み出し位置(アドレス)を示す変数であり、Writeカウンタは、画像データの書き出し先であるバンドエリアにてその書き出し位置(アドレス)を示す変数である。そして、Readカウンタを初期化するとは、そのReadカウンタに上記読み出し対象エリアの先頭アドレスをセットすることであり、Writeカウンタを初期化するとは、そのWriteカウンタに上記書き出し先であるバンドエリアの先頭アドレスをセットすることである。
(B-2: Image data writing process)
FIG. 6 is a flowchart showing a flow of a write control process performed when the buffer control unit 1210 writes the image data delivered from the module positioned in the previous stage to the
As shown in FIG. 6, the buffer control unit 1210 first initializes the value of the Read counter (Step SB100), and then initializes the value of the Write counter (Step SB110). Here, the Read counter is a variable indicating a reading position (address) when reading image data from the above-described reading target area (see FIG. 3B), and the Write counter is a band that is a destination of writing image data. This is a variable indicating the write position (address) in the area. To initialize the Read counter is to set the start address of the read target area to the Read counter, and to initialize the Write counter to the start address of the band area that is the write destination to the Write counter. Is to set.
次いで、バッファ制御部1210は、画像データの供給元(例えば、バッファ制御部1210に関しては入力部110)から、書き込み要求信号を受取ったか否かを判定し(ステップSB120)、その判定結果が“Yes”である場合には、ステップSB130以降の処理を実行する。逆に、ステップSB120の判定結果が“No”である場合には、バッファ制御部1210は、その判定結果が“Yes”になるまでステップSB120の処理を繰り返し実行する。
Next, the buffer control unit 1210 determines whether a write request signal has been received from the image data supply source (for example, the
ステップSB120の判定結果が“Yes”である場合に後続して実行されるステップSB130においては、バッファ制御部1210は、書き込み先であるバンドエリアに空きがあるか否かを判定する。具体的には、バッファ制御部1210は、Writeカウンタの値が上記バンドエリアの末尾を示すアドレス値以下である場合には、空きがあると判定し、逆に、上記アドレス値を超えている場合には、空きはないと判定する。 In step SB130, which is subsequently executed when the determination result in step SB120 is "Yes", the buffer control unit 1210 determines whether or not there is a vacancy in the band area that is the write destination. Specifically, the buffer control unit 1210 determines that there is a space when the value of the write counter is equal to or less than the address value indicating the end of the band area, and conversely, when the address value exceeds the address value. Is determined to be free.
ステップSB130の判定結果が“Yes”である場合(すなわち、書き込み先であるバンドエリアに空きがあると判定した場合)には、バッファ制御部1210は、Writeカウンタで示されるエリアに、入力部110から引き渡された1画素分の画像データを書き込み(ステップSB140)、さらに、Writeカウンタの値を1画素分だけ歩進(ステップSB150)して、ステップSB120以降の処理を繰り返し実行する。
When the determination result of step SB130 is “Yes” (that is, when it is determined that there is a free band area as the write destination), the buffer control unit 1210 enters the
逆に、ステップSB130の判定結果が“No”である場合(すなわち、書き込み先であるバンドエリアに空きはないと判定した場合)には、バッファ制御部1210は、そのバンドエリアへ格納されている画像データの読み出しが完了しているか否かを判定する(ステップSB160)。具体的には、バッファ制御部1210は、Readリセットフラグの値が“ON”(すなわち、1)である場合には、上記バンドバッファに格納されている画像データの読み出しが完了したと判定し、逆に、Readリセットフラグの値が“OFF”(すなわち、0)である場合には、その読み出しが完了していないと判定する。 On the other hand, when the determination result in step SB130 is “No” (that is, when it is determined that there is no space in the band area as the write destination), the buffer control unit 1210 is stored in the band area. It is determined whether or not the reading of the image data has been completed (step SB160). Specifically, when the value of the Read reset flag is “ON” (that is, 1), the buffer control unit 1210 determines that reading of the image data stored in the band buffer has been completed, On the contrary, when the value of the Read reset flag is “OFF” (that is, 0), it is determined that the reading is not completed.
そして、バッファ制御部1210は、ステップSB160の判定結果が“Yes”である場合(すなわち、読み出しが完了していると判定した場合)には、前述したステップSB110以降の処理を繰り返し実行し、逆に、ステップSB160の判定結果が“No”である場合には、オーバフロー処理を実行する(ステップSB170)。ここで、オーバフロー処理とは、バッファ制御部1210に対する画像データの供給元(例えば、バッファ制御部1210aに関しては入力部110)へ所定のオーバフロー信号を送信する処理である。このオーバフロー信号を受信すると、上記供給元は、バッファ制御部1210への画像データの供給を停止する。なお、上記ステップSB160の判定結果が“No”である場合に上述したオーバフロー処理を実行する理由は、そのような状況下で画像データの書き込みを継続してしまうと、後段モジュールにより画像処理が為されていない画像データが上書きされてしまう虞があり、所望の画像処理結果を得られなくなる虞があるからである。
Then, when the determination result in step SB160 is “Yes” (that is, when it is determined that the reading has been completed), the buffer control unit 1210 repeatedly executes the processing after step SB110 described above, and reversely On the other hand, if the determination result in step SB160 is “No”, an overflow process is executed (step SB170). Here, the overflow process is a process of transmitting a predetermined overflow signal to the image data supply source (for example, the
以上が、バッファ制御部1210が実行する書き込み制御処理である。以上に説明したように、バッファ制御部1210が実行する書き込み制御処理の流れは、基本的に従来のバッファ制御モジュールが行う書き込み制御処理の流れと同一であるが、Readカウンタの初期化処理にて本発明に特徴的な読み出し対象エリアの先頭アドレスをそのReadカウンタの初期値として設定する点が、従来のバッファ制御モジュールが行う書き込み制御処理と異なっている。 The above is the write control processing executed by the buffer control unit 1210. As described above, the flow of the write control process executed by the buffer control unit 1210 is basically the same as the flow of the write control process performed by the conventional buffer control module. This is different from the write control process performed by the conventional buffer control module in that the start address of the read target area, which is characteristic of the present invention, is set as the initial value of the Read counter.
(B−3:画像データ読み出し処理)
次いで、上記書き込み制御処理にて記憶部140へ書き込んだ画像データを読み出す際に、バッファ制御部1210が制御プログラムにしたがって行う読み出し制御処理について図7を参照しつつ説明する。
図7は、バッファ制御部1210が行う読み出し制御処理の流れを示すフローチャートである。
図7に示すように、バッファ制御部1210は、画像データの供給先(例えば、バッファ制御部1210aに関しては画像処理部1220a)から読み出し要求信号を受信したか否かを判定し(ステップSC100)、その判定結果が“Yes”になるまで、ステップSC100の処理を繰り返し実行する。逆に、ステップSC100の判定結果が“Yes”である場合には、バッファ制御部1210aは、図3(b)に示すように設定した読み出し対象エリアから全ての画像データの読み出しを完了したか否かを判定する(ステップSC110)。具体的には、バッファ制御部1210は、前述したReadカウンタの値が上記読み出し対象エリアの末尾のアドレス値以下である場合には、読み出しを完了していないと判定し、逆に、そのアドレス値を超えている場合には、読み出しを完了したと判定する。
(B-3: Image data reading process)
Next, a reading control process performed by the buffer control unit 1210 according to the control program when reading the image data written to the
FIG. 7 is a flowchart showing the flow of read control processing performed by the buffer control unit 1210.
As shown in FIG. 7, the buffer control unit 1210 determines whether or not a read request signal has been received from the image data supply destination (for example, the
ステップSC110の判定結果が“Yes”である場合(すなわち、読み出しを完了したと判定した場合)には、バッファ制御部1210は、Readカウンタの値を初期化するとともにReadリセットフラグに1をセットして(ステップSC120)、ステップSC100以降の処理を繰り返し実行する。例えば、読み出し対象エリアが第2バンドエリアとその上部および下部オーバラップとで構成されていた場合には、新たに、第3バンドエリアとその上部および下部オーバラップとを読み出し対象エリアとして設定し、その読み出し対象エリアの先頭アドレスでReadカウンタの値を初期化する。
一方、ステップSC110の判定結果が“No”である場合(すなわち、読み出しを完了していないと判定した場合)には、バッファ制御部1210は、Readカウンタの値がWriteカウンタの値未満であるか否かを判定する(ステップSC130)。
When the determination result in step SC110 is “Yes” (that is, when it is determined that reading has been completed), the buffer control unit 1210 initializes the value of the Read counter and sets the Read reset flag to 1. (Step SC120), the processes after Step SC100 are repeatedly executed. For example, when the read target area is composed of the second band area and its upper and lower overlaps, the third band area and its upper and lower overlaps are newly set as the read target areas, The value of the Read counter is initialized with the head address of the read target area.
On the other hand, when the determination result in step SC110 is “No” (that is, when it is determined that reading has not been completed), the buffer control unit 1210 determines whether the value of the Read counter is less than the value of the Write counter. It is determined whether or not (step SC130).
ステップSC130の判定結果が“No”である場合には、バッファ制御部1210は、アンダフロー処理を実行し(ステップSC140)、ステップSC100以降の処理を繰り返し実行する。ここで、アンダフロー処理とは、画像データの供給先(例えば、バッファ制御部1210aに関しては、画像処理部1220a)へ所定のアンダフロー信号を送信する処理である。このアンダフロー信号を受信すると、上記供給先は、画像処理の実行を停止する。なお、上記ステップSC130の判定結果が“No”である場合に上述したアンダフロー処理を実行する理由は、上記供給先へ供給するべき画像データの読み出し対象エリアへの書き込みが完了しておらず、そのような状況下で画像データの読み出し継続してしまうと、後段モジュールにて所望の画像処理結果を得られなくなる虞があるからである。
If the determination result in step SC130 is “No”, the buffer control unit 1210 executes an underflow process (step SC140), and repeatedly executes the processes after step SC100. Here, the underflow process is a process of transmitting a predetermined underflow signal to an image data supply destination (for example, the
一方、ステップSC130の判定結果が“Yes”である場合には、バッファ制御部1210は、読み出し対象であるバンドバッファ内のReadカウンタで示されるエリアから1画素分の画像データを読み出して上記供給先へ引き渡し(ステップSC150)、さらに、Readカウンタの値を1画素分だけ歩進(ステップSC160)して、ステップSC100以降の処理を繰り返し実行する。 On the other hand, if the determination result in step SC130 is “Yes”, the buffer control unit 1210 reads the image data for one pixel from the area indicated by the Read counter in the band buffer to be read, and supplies the above-mentioned supply destination. (Step SC150), the value of the Read counter is incremented by one pixel (Step SC160), and the processes after Step SC100 are repeatedly executed.
以上が、バッファ制御部1210が実行する読み出し制御処理である。以上に説明したように、バッファ制御部1210が実行する読み出し制御処理の流れは、基本的に従来のバッファ制御モジュールが行う読み出し制御処理の流れと同一であるが、Readカウンタの初期化処理にて本発明に特徴的な読み出し対象エリアの先頭アドレスをそのReadカウンタの初期値として設定する点、および、そのReadカウンタの取り得る値の上限として、前述した読み出し対象エリアの末尾のアドレス値を設定する点が、従来のバッファ制御モジュールが行う読み出し制御処理と異なっている。 The read control processing executed by the buffer control unit 1210 has been described above. As described above, the flow of the read control process performed by the buffer control unit 1210 is basically the same as the flow of the read control process performed by the conventional buffer control module. The above-mentioned address value at the end of the read target area is set as the initial value of the read counter, and the upper limit of the value that can be taken by the read counter. This is different from the read control process performed by the conventional buffer control module.
(C:変形)
以上、本発明の1実施形態について説明したが、係る実施形態に以下に述べるような変形を加えても良いことは勿論である。
(1)上述した実施形態では、複写機に本発明を適用する場合について説明したが、本発明の適用対象は、複写機に限定されるものではなく、プリンタ装置やスキャナ装置であっても勿論良い。例えば、プリンタ装置に本発明を適用する場合には、図1に示す構成において、入力部110を他のコンピュータ装置から送信された画像データを受信するための通信インタフェース(例えば、Network Interface Card)で構成するようにすれば良い。同様に、スキャナ装置に本発明を適用する場合には、出力部130を上記通信インタフェースで構成すれば良い。
(C: deformation)
Although one embodiment of the present invention has been described above, it is needless to say that the embodiment may be modified as described below.
(1) In the above-described embodiment, the case where the present invention is applied to a copying machine has been described. However, the application target of the present invention is not limited to a copying machine, and may of course be a printer device or a scanner device. good. For example, when the present invention is applied to a printer apparatus, in the configuration shown in FIG. 1, the
(2)上述した実施形態では、2つの画像処理部によりパイプラインが形成されている場合について説明したが、3つ以上の画像処理部によってパイプラインが形成されているとしても勿論良い。また、上述した実施形態では、ウィンドウ処理を行う画像処理部のみでパイプラインが形成されている場合について説明したが、ウィンドウ処理を行う複数の画像処理モジュールと、ウィンドウ処理以外の画像処理を行う少なくとも1つの画像処理部とでパイプラインが形成されているとしても勿論良い。 (2) In the above-described embodiment, the case where a pipeline is formed by two image processing units has been described, but it is needless to say that a pipeline may be formed by three or more image processing units. In the above-described embodiment, the case where the pipeline is formed only by the image processing unit that performs window processing has been described. However, a plurality of image processing modules that perform window processing and at least image processing other than window processing are performed. Of course, a pipeline may be formed with one image processing unit.
(3)上述した実施形態では、本発明に特徴的なバッファ書き込み制御およびバッファ読み出し制御をバッファ制御部1210に実行させるための制御プログラムを予めそのバッファ制御部1210のROMに書き込んでおく場合について説明したが、コンピュータ装置読取り可能な記録媒体に上記プログラムを書き込んで配布し、その記録媒体を用いてバッファ制御部の不揮発性メモリへインストールするようにしても勿論良い。
また、上述した実施形態では、本発明に特徴的なバッファ書き込み処理およびバッファ読み出し処理をソフトウェアモジュールで実現する場合について説明したが、ハードウェアモジュールで実現するようにしても勿論良い。具体的には、図8(a)に示す構成を有するバッファ書き込み制御回路と図8(b)に示す構成を有するバッファ読み出し制御回路とを組み合わせてバッファ制御部を構成するようにしても勿論良い。
(3) In the above-described embodiment, a case where a control program for causing the buffer control unit 1210 to execute buffer write control and buffer read control characteristic of the present invention is written in the ROM of the buffer control unit 1210 in advance is described. However, the program may be written and distributed on a computer-readable recording medium, and installed in the nonvolatile memory of the buffer control unit using the recording medium.
In the above-described embodiment, the case where the buffer writing process and the buffer reading process characteristic of the present invention are realized by a software module has been described. However, it is needless to say that the buffer module may be realized by a hardware module. Specifically, the buffer control unit may be configured by combining the buffer write control circuit having the configuration shown in FIG. 8A and the buffer read control circuit having the configuration shown in FIG. .
10…画像処理装置、110…入力部、120…ASIC、1210,1210a,1210b、1210c…バッファ制御モジュール、1220,1220a,1220b…画像処理部、130…出力部、140…記憶部。
DESCRIPTION OF
Claims (3)
前記バンドバッファの何れかから1バンド分の画像データを読み出し、各々異なる画像処理を実行する複数の画像処理モジュールを含むパイプラインへその画像データを出力する読み出し制御手段と、を備え、
前記読み出し制御手段は、
前記複数の画像処理モジュールにウィンドウ処理を行うモジュールが複数含まれている場合には、該複数のウィンドウ処理モジュールのうちで最大のウィンドウサイズを有するモジュールにて縮退する有効画素数に応じた数のオーバラップを付与して前記パイプラインへ供給する
ことを特徴とするバッファ制御モジュール。 Write control means for dividing image data for one page into a plurality of bands and writing the data into different band buffers for each band;
Read control means for reading image data for one band from any one of the band buffers and outputting the image data to a pipeline including a plurality of image processing modules for executing different image processing,
The read control means includes
If the plurality of image processing modules include a plurality of modules that perform window processing, the number of effective pixels reduced by the module having the largest window size among the plurality of window processing modules A buffer control module characterized by providing an overlap and supplying the pipeline to the pipeline.
各々異なる画像処理を実行する複数の画像処理モジュールを含むとともに、前記複数の画像処理モジュールにウィンドウ処理を行うモジュールが複数含まれているパイプラインと、
1ページ分の画像データを複数のバンドに分割しバンド毎に異なるバンドバッファへ書き込む書き込み制御と前記バンドバッファの何れかから1バンド分の画像データを読み出し前記パイプラインへその画像データを出力する読み出し制御とを行うバッファ制御モジュールと、を備え、
前記バッファ制御モジュールは、
前記パイプラインへ画像データを供給する際に、前記ウィンドウ処理を行う前記複数のモジュールのうちで最大のウィンドウサイズを有するモジュールにて縮退する有効画素数に応じた数のオーバラップを付与して供給する
ことを特徴とする画像処理装置。 Multiple band buffers,
A pipeline including a plurality of image processing modules for executing different image processing, and a plurality of modules for performing window processing in the plurality of image processing modules;
Write control that divides image data for one page into a plurality of bands and writes to different band buffers for each band, and reads out image data for one band from one of the band buffers and outputs the image data to the pipeline A buffer control module for performing control, and
The buffer control module includes:
When supplying image data to the pipeline, the number of overlaps corresponding to the number of effective pixels to be degenerated in the module having the largest window size among the plurality of modules performing the window processing is supplied. An image processing apparatus.
1ページ分の画像データを複数のバンドに分割しバンド毎に異なるバンドバッファへ書き込む書き込み制御手段と、
前記バンドバッファの何れかから1バンド分の画像データを読み出し、各々異なる画像処理を実行する複数の画像処理モジュールを含むパイプラインへその画像データを出力する読み出し制御手段として機能させ、
前記読み出し制御手段は、
前記複数の画像処理モジュールにウィンドウ処理を行うモジュールが複数含まれている場合には、該複数のウィンドウ処理モジュールのうちで最大のウィンドウサイズを有するモジュールにて縮退する有効画素数に応じた数のオーバラップを付与して前記パイプラインへ供給する
ことを特徴とするプログラム。 Computer equipment,
Write control means for dividing image data for one page into a plurality of bands and writing the data into different band buffers for each band;
Read image data for one band from any one of the band buffers, and function as read control means for outputting the image data to a pipeline including a plurality of image processing modules that execute different image processing,
The read control means includes
If the plurality of image processing modules include a plurality of modules that perform window processing, the number of effective pixels reduced by the module having the largest window size among the plurality of window processing modules A program characterized by providing an overlap and supplying to the pipeline.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006152429A JP4760541B2 (en) | 2006-05-31 | 2006-05-31 | Buffer control module, image processing apparatus, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006152429A JP4760541B2 (en) | 2006-05-31 | 2006-05-31 | Buffer control module, image processing apparatus, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007323335A JP2007323335A (en) | 2007-12-13 |
| JP4760541B2 true JP4760541B2 (en) | 2011-08-31 |
Family
ID=38856090
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006152429A Expired - Fee Related JP4760541B2 (en) | 2006-05-31 | 2006-05-31 | Buffer control module, image processing apparatus, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4760541B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4992753B2 (en) * | 2008-02-25 | 2012-08-08 | セイコーエプソン株式会社 | Image processing apparatus and image processing method |
| US8754895B2 (en) | 2008-09-09 | 2014-06-17 | Sony Corporation | Pipelined image processing engine |
| JP5151999B2 (en) * | 2009-01-09 | 2013-02-27 | セイコーエプソン株式会社 | Image processing apparatus and image processing method |
| JP5449791B2 (en) | 2009-02-02 | 2014-03-19 | オリンパス株式会社 | Data processing apparatus and image processing apparatus |
| JP5121978B2 (en) * | 2010-08-30 | 2013-01-16 | キヤノン株式会社 | Image processing apparatus and control method thereof |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11112753A (en) * | 1997-10-02 | 1999-04-23 | Ricoh Co Ltd | Image processing device |
| JP2000251065A (en) * | 1999-03-02 | 2000-09-14 | Fuji Xerox Co Ltd | Image processor |
| JP2000351242A (en) * | 1999-04-05 | 2000-12-19 | Seiko Epson Corp | Image forming device |
-
2006
- 2006-05-31 JP JP2006152429A patent/JP4760541B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007323335A (en) | 2007-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10762401B2 (en) | Image processing apparatus controlling the order of storing decompressed data, and method thereof | |
| JP3733826B2 (en) | Image processing device | |
| JP4760541B2 (en) | Buffer control module, image processing apparatus, and program | |
| US9172839B2 (en) | Image forming apparatus, control method and storage medium | |
| JP6904697B2 (en) | Information processing device and communication control method | |
| JP4968930B2 (en) | Image processing apparatus, image correction method, image processing method, and program | |
| US9195160B2 (en) | Image forming apparatus and image forming method for correcting registration deviation | |
| JP2005092737A (en) | Image processing device, image forming device and program thereof | |
| JP7040058B2 (en) | Encoding device | |
| JP7025241B2 (en) | Print data generator, print data generation method, and print data generation program | |
| JP7447519B2 (en) | Image processing device, program, and image processing method | |
| JP4136347B2 (en) | System controller, image forming apparatus having system controller, and DMA transfer method | |
| JP2012227598A (en) | Image processor, image forming apparatus, image processing method, image processing program and recording medium | |
| JP4228028B2 (en) | Image input / output device | |
| US12088774B2 (en) | Signal processing apparatus and non-transitory computer readable medium | |
| JP6414554B2 (en) | Image forming apparatus and data processing program | |
| JP4132564B2 (en) | Image input / output device | |
| JP5245803B2 (en) | Image processing apparatus and image processing module | |
| JP7428583B2 (en) | printing device | |
| JP4316476B2 (en) | Image processing apparatus and image forming apparatus | |
| JP2024087384A (en) | Image Processing Module | |
| JP7249504B2 (en) | Image processing device | |
| JP4455566B2 (en) | DMA transfer method | |
| JP2009265776A (en) | Image processor | |
| JP3912372B2 (en) | Color image processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090210 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110510 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110523 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140617 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4760541 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |