JP3785166B2 - Image reproducing apparatus and image reproducing method - Google Patents
Image reproducing apparatus and image reproducing method Download PDFInfo
- Publication number
- JP3785166B2 JP3785166B2 JP2003323361A JP2003323361A JP3785166B2 JP 3785166 B2 JP3785166 B2 JP 3785166B2 JP 2003323361 A JP2003323361 A JP 2003323361A JP 2003323361 A JP2003323361 A JP 2003323361A JP 3785166 B2 JP3785166 B2 JP 3785166B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pattern
- image signal
- color difference
- recorded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Record Information Processing For Printing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
本発明は画像処理装置に係り、特に主たる画像に別の付加的な画像が重畳記録された画像からその付加的な画像を再生するための再生装置に関する。 The present invention relates to an image processing apparatus, and more particularly to a reproducing apparatus for reproducing an additional image from an image in which another additional image is superimposed and recorded on a main image.
ある画像に他の付加情報(主として画像)を重畳して、付加情報を見えない状態で画像と共に記録する技術は、例えば顔写真などの画像が記録されたIDカード、ロゴマークや印影などが画像として記録された書類その他の記録物の改竄、偽造を防止する上で有効である。記録画像に付加情報を重畳する方法として、以下の文献に示される方式が知られている。 The technology that superimposes other additional information (mainly images) on an image and records the additional information together with the image in an invisible state is, for example, an ID card on which an image such as a face photograph is recorded, a logo mark, or a seal image. It is effective in preventing falsification and forgery of documents and other recorded items recorded as. As a method for superimposing additional information on a recorded image, methods shown in the following documents are known.
非特許文献1には、擬似階調表現されたディジタル画像に情報を重畳する方法が開示されている。この方式では濃度を擬似階調表現する際に、同じ濃度を複数通りの階調パターンで表現できる自由度を利用して付加情報を重畳する。
Non-Patent
非特許文献2では、第2の画像に所定の変換を施したものを第1の画像にディジタル的に重畳する。この方法では、第2の画像の低周波数成分を高周波数成分に変換することにより、第2の画像は人間には見えないか、ノイズ状の無意味なものとして観測される。これら第1の画像と第2の画像の重畳画像に所定の第2の変換を施すことにより、第2の画像を復元できる。
In
特許文献1では、カラー複写機のハードコピー出力から、記録した複写機などを特定できる方式について開示している。この方式では、ハードコピー出力に重ねて黄色の小さいドットパターンを記録する。このドットパターンは複写機の型番などの条件に応じた形状となっている。このハードコピー出力をスキャナなどで読み取り、重ねて記録したドットパターンを抽出して所定の信号処理を行うことにより、記録した複写機を同定できる。 Japanese Patent Application Laid-Open No. 2004-228561 discloses a method that can specify a recorded copying machine or the like from a hard copy output of a color copying machine. In this method, a small yellow dot pattern is recorded on the hard copy output. This dot pattern has a shape corresponding to conditions such as the model number of the copying machine. By reading the hard copy output with a scanner or the like, extracting the dot pattern recorded in an overlapping manner and performing predetermined signal processing, the recorded copying machine can be identified.
特許文献2は、付加情報をカラー画像に高周波数の色差信号として重畳する方法を開示している。この方式では付加情報をコード化し、コードに対応した高空間周波数ピークを持つ色差成分を原画像に重畳して記録している。高空間周波数の色差成分は人間に見えにくいので、重畳した付加情報はほとんど原画像を劣化させない。また、一般の画像には高周波の色差成分はほとんど含まれないので、記録画像を読み取り、信号処理によって高周波の色差成分を抽出することにより、重畳した付加情報を再生することができる。
非特許文献3は、画像への付加情報の重畳ではないが、類似の例として知られている方式である。この方式は2つのランダムな画像を形成し、これらを重ねると有意な画像が現れるというものである。しかし、有意な画像の上に目に見えない形の情報を重畳するものではない。
Non-Patent
非特許文献4では、ある画像を擬似階調表現するに際し、特定の領域だけ互いに異なる濃度階調表現のパターンを持つような2枚の画像を作成し、2枚の画像を重ねると特定の領域が濃く表われるという方式を提案している。
以上に挙げた公知技術のうち、非特許文献1および非特許文献2の技術はディジタル画像に別の付加情報を重畳するものであるが、ディジタル信号上で重畳操作を行うものであり、ハードコピー出力を対象としたものではない。また、重畳した付加情報を抽出するのに複雑な信号処理や演算処理が必要となり、簡易に付加情報を再生することは難しい。さらに、これらの方式で作成した画像をハードコピー記録を組み合わせることは可能であるが、記録と読み取りの動作を行うことにより、重畳した付加情報は著しく劣化してしまい、付加情報の復元は困難である。
Among the known techniques mentioned above, the techniques of Non-Patent
特許文献1および特許文献2の技術は、ハードコピー画像を対象としたものであるが、重畳した付加情報の再生を行うために、画像の読取りと信号処理や演算を行う必要があり、やはり重畳した付加情報を簡易に再生することは困難であった。
The techniques of
非特許文献3の技術では、記録物上にシートを重ねることにより、情報を簡易に再生することはできるが、これは単独ではランダムな画像であり、有意な画像に別の情報を重畳することに用いることはできない。
In the technique of Non-Patent
非特許文献4の技術では、重ねる2枚の画像が対になっており、対になっていない画像を重ねないと情報を再生することができない。すなわち、複数の画像に対して情報を再現しようとすると、その枚数分の対応する画像を用意しておく必要がある。
In the technique of Non-Patent
本発明は、複雑な信号処理を必要としない簡易な操作により、ハードコピーに重畳記録された画像を再生するための画像再生装置を提供することを目的とする。 An object of the present invention is to provide an image reproduction apparatus for reproducing an image superimposed and recorded on a hard copy by a simple operation that does not require complicated signal processing.
本発明に係る画像再生装置は、所定の色差量に与えるゲインの情報が画像単位毎に表されたパターンを有する色差パターン画像信号に対し第1の画像信号により変調を施して得られるパターン変調画像信号を所定の色差量を乗じた後に第2の画像信号に重畳した画像信号が画像として記録された記録物から前記第1の画像信号を可視画像として再生するための画像再生装置であって、前記色差パターン画像信号のパターンと同一パターンの透過率分布を有し、前記記録物上に配置されるシートを備えることを特徴とする。 An image reproduction apparatus according to the present invention is a pattern-modulated image obtained by modulating a color difference pattern image signal having a pattern in which gain information given to a predetermined color difference amount is represented for each image unit using a first image signal. An image reproducing apparatus for reproducing the first image signal as a visible image from a recorded matter in which an image signal superimposed on a second image signal after being multiplied by a predetermined color difference amount is recorded as an image, A sheet having a transmittance distribution of the same pattern as the pattern of the color difference pattern image signal and provided on the recorded matter is provided.
また、本発明に係る画像再生装置は、所定の色差量に与えるゲインの情報が画像単位毎に表されたパターンを有する色差パターン画像信号に対し第1の画像信号により変調を施して得られるパターン変調画像信号を所定の色差量を乗じた後に第2の画像信号に重畳した画像信号が画像として記録された記録物から前記第1の画像信号を可視画像として再生するための画像再生装置であって、前記色差パターン画像信号のパターンと同一パターンの厚み分布を有し、前記記録物上に配置される光学素子を備えることを特徴とする。
The image reproduction apparatus according to the present invention also provides a pattern obtained by modulating a color difference pattern image signal having a pattern in which gain information given to a predetermined color difference amount is represented for each image unit using a first image signal. An image reproduction apparatus for reproducing a first image signal as a visible image from a recorded matter in which an image signal obtained by multiplying a modulated image signal by a predetermined color difference amount and superimposed on a second image signal is recorded as an image. And an optical element having the same thickness distribution as the pattern of the color difference pattern image signal and disposed on the recorded matter.
第1の画像を第2の画像の上に埋込んだ合成画像の再生時に、複雑な信号処理を必要とすることなく、容易に埋込み画像を再生することができる。 When a composite image in which the first image is embedded on the second image is reproduced, the embedded image can be easily reproduced without requiring complicated signal processing.
(第1の実施形態)
以下、本発明を画像合成記録/再生装置に適用した第1の実施形態について説明する。本装置は、2つの画像を合成して記録し、再生する装置である。さらに詳しくいうと、2つの画像の合成は第1の画像を第2の画像に埋め込むことによって行われる。そして、記録される合成画像は、通常の方法で人間が観察すると、ほぼ第2の画像と同様に見えて第1の画像は見えず、特殊な装置や方法によってのみ第1の画像が再生されて見えるようにする。以下の説明では、便宜上、このように画像合成を行うことを第1の画像を第2の画像に「埋め込む」と表現し、第1の画像を「埋込み画像」、第2の画像を「被埋込み画像」とそれぞれ呼ぶことにする。また、埋込み画像を人間が見えるようにする操作を「再生する」と表現するものとする。
(First embodiment)
A first embodiment in which the present invention is applied to an image composition recording / reproducing apparatus will be described below. This apparatus is an apparatus that synthesizes and records two images and reproduces them. More specifically, the two images are combined by embedding the first image in the second image. Then, when a synthesized image to be recorded is viewed by a human in a normal manner, it looks almost the same as the second image, the first image cannot be seen, and the first image is reproduced only by a special device or method. Make it visible. In the following description, for convenience, performing image synthesis in this way is expressed as “embedding” the first image in the second image, the first image is “embedded image”, and the second image is “covered”. These will be called “embedded images”. In addition, an operation of making an embedded image visible to a human is expressed as “playing”.
図1に、本実施形態に係る画像合成記録装置の構成を示す。この画像合成記録装置はCPU101、画像メモリ102、画像入力部103、プログラムメモリ104および画像記録部105よりなり、これらは全てバス106により接続されている。CPU101、画像メモリ102、画像入力部103およびプログラムメモリ104によって画像処理部107が構成される。
FIG. 1 shows a configuration of an image composition recording apparatus according to the present embodiment. The image composition recording apparatus includes a CPU 101, an
この画像合成記録装置の動作を簡単に説明すると、まず画像入力部103を通して被埋込み画像および埋込み画像を画像メモリ102の所定の領域にそれぞれ書込む。そして、以下に示すアルゴリズムに基づき、これらの画像に計算処理を施して合成画像を作成し、この合成画像を画像記録部105でカラーハードコピーとして記録する。
The operation of this image composition recording apparatus will be briefly described. First, the embedded image and the embedded image are written into predetermined areas of the
これら一連の処理は、全てプログラムメモリ104内に格納されたプログラムに従ってCPU101により行われる。なお、処理には専用の装置を用いてもよいが、パーソナルコンピュータなどの汎用の計算機を用いてもよい。この場合、画像メモリ102とプログラムメモリ104は同一のメモリを領域を分けて利用するのが一般的である。
These series of processes are all performed by the CPU 101 in accordance with a program stored in the
次に、本装置の入力画像である被埋込み画像および埋込み画像の構成と、画像処理の内容や意味について詳細に説明する。 Next, the configuration of the embedded image and the embedded image, which are input images of the present apparatus, and the contents and meaning of image processing will be described in detail.
入力画像は通常、計算機での表現に用いられるのと同様に、直交座標系の各格子点上で濃度の定義されたディジタル情報として表現される。ここでは、直交座標系の2軸をx軸、y軸とし、便宜上それぞれ横、縦と表現する。 The input image is usually expressed as digital information having a defined density on each grid point in the Cartesian coordinate system in the same manner as used for expression in a computer. Here, the two axes of the orthogonal coordinate system are the x-axis and the y-axis, and are expressed as horizontal and vertical for convenience.
本実施形態では、埋込み画像は図形や文字などのモノクロ2値画像を用いる。画素(x,y)の濃度値をR(x,y)と表わす。一方、被埋込み画像にはフルカラー画像を用い、R,G,Bの各色成分の画素値をPr(x,y),Pg(x,y),Pb(x,y)と表わす。これらの画素値はPr=0,Pg=0,Pb=0の場合に黒、Pr=1,Pg=1,Pb=1の場合に白をそれぞれ表わすことにする。 In the present embodiment, a monochrome binary image such as a figure or a character is used as the embedded image. The density value of the pixel (x, y) is represented as R (x, y). On the other hand, a full-color image is used as an embedded image, and pixel values of R, G, and B color components are expressed as Pr (x, y), Pg (x, y), and Pb (x, y). These pixel values represent black when Pr = 0, Pg = 0, and Pb = 0, and white when Pr = 1, Pg = 1, and Pb = 1.
次に、本実施形態における画像処理のアルゴリズムについて詳細に説明する。処理手順を図2のフローチャートに示す。 Next, an image processing algorithm in the present embodiment will be described in detail. The processing procedure is shown in the flowchart of FIG.
[第1ステップ(パターン発生)]
まず、第1ステップS11でパターン画像Q(x,y)を発生する。パターン画像は、埋込み画像により変調されて被埋込み画像に重畳される画像であり、人間の目に感じにくい空間周波数の高い画像であることが望ましい。
[First step (pattern generation)]
First, a pattern image Q (x, y) is generated in the first step S11. The pattern image is an image that is modulated by the embedded image and superimposed on the embedded image, and is preferably an image with a high spatial frequency that is difficult to be felt by human eyes.
本実施形態では、パターン画像Q(x,y)として図3に示すような市松模様のパターン画像を用いる。ここでは、パターン画像Q(x,y)の各画素を1または−1という数値で表わしているが、その物理的意味は、各画素毎に所定の色差量(Vr,Vg,Vb)に与えるゲインである。このようなパターン画像Q (x,y)を色差パターン画像という。図3に示すパターン画像Q(x,y)は、ゲイン1およびゲイン−1の画素を(4×4)画素を単位として市松状に配列したパターン画像であり、その生成式を式(1)に示す。
In the present embodiment, a checkered pattern image as shown in FIG. 3 is used as the pattern image Q (x, y). Here, each pixel of the pattern image Q (x, y) is represented by a numerical value of 1 or −1, but its physical meaning is given to a predetermined color difference amount (Vr, Vg, Vb) for each pixel. It is gain. Such a pattern image Q (x, y) is referred to as a color difference pattern image. The pattern image Q (x, y) shown in FIG. 3 is a pattern image in which pixels of
(int(x/2)+int(y/2))mod2=0
ならばQ(x,y)=−1
(int(x/2)+int(y/2))mod2=1
ならばQ(x,y)=1 (1)
ここで、int(x)はxの整数部分をとる演算、x mod yはxをyで割ったときの剰余を表わす演算である。このパターン画像Q(x,y)は直流成分が0で、低周波成分も小さい画像、すなわち空間周波数の高い画像となる。
(Int (x / 2) + int (y / 2))
Then Q (x, y) =-1
(Int (x / 2) + int (y / 2))
Then Q (x, y) = 1 (1)
Here, int (x) is an operation that takes an integer part of x, and x mod y is an operation that represents a remainder when x is divided by y. The pattern image Q (x, y) is an image having a direct current component of 0 and a small low frequency component, that is, an image having a high spatial frequency.
[第2ステップ(パターン変調)]
次に、第2ステップS12で埋込み画像R(x,y)によってパターン画像Q(x,y)に変調を施す。この際、まず埋込み画像R(x,y)を式(2)に従って平滑化フィルタにより処理し、平滑化埋込み画像R′(x,y)を得る。
Next, in the second step S12, the pattern image Q (x, y) is modulated by the embedded image R (x, y). At this time, the embedded image R (x, y) is first processed by the smoothing filter according to the equation (2) to obtain a smoothed embedded image R ′ (x, y).
ただし、xi,yi,Aiは平滑化フィルタのカーネルを表わす。本実施形態では、図4(a)に示すようなカーネルの(5×5)画素の平滑化フィルタを用いる。すなわち、−2≦xi,yi≦2であり、A(xi,yi)=1/25である。 Here, xi, yi, and Ai represent the smoothing filter kernel. In the present embodiment, a smoothing filter of (5 × 5) pixels of the kernel as shown in FIG. That is, −2 ≦ xi, yi ≦ 2, and A (xi, yi) = 1/25.
この平滑化埋込み画像R′(x,y)によって、式(3)に従いパターン画像Q′(x,y)の変調を行い、パターン変調画像Q′(x,y)を得る。 With this smoothed embedded image R ′ (x, y), the pattern image Q ′ (x, y) is modulated according to the equation (3) to obtain the pattern modulated image Q ′ (x, y).
Q′(x,y)=Q(x,y)・(−2・R′(x,y)+1) (3)
この処理により、パターン変調画像Q′(x,y)として、R′=1の領域ではパターン画像Q(x,y)の−1倍、すなわちパターン画像Q(x,y)を反転した画像が得られ、R′=0の領域ではパターン画像Q(x,y)そのものがパターン変調画像となる。R′が1と0の間の値をとる領域では、パターン変調画像Q′(x,y)はこれらの間の中間的な値となる。R′は平滑化された信号なので、埋込み画像R(x,y)のエッジ領域で1と0の間をとる。従って、以上の処理により埋込み画像R(x,y)の画素値に応じて振幅の極性が反転し、エッジ部では振幅がなだらかに変化する画像がパターン変調画像Q′(x,y)として得られる。
Q ′ (x, y) = Q (x, y) · (−2 · R ′ (x, y) +1) (3)
As a result of this processing, a pattern-modulated image Q ′ (x, y) is obtained by −1 times the pattern image Q (x, y) in the region R ′ = 1, that is, an image obtained by inverting the pattern image Q (x, y). As a result, in the region where R ′ = 0, the pattern image Q (x, y) itself is a pattern modulation image. In the region where R ′ takes a value between 1 and 0, the pattern-modulated image Q ′ (x, y) has an intermediate value between them. Since R ′ is a smoothed signal, it takes between 1 and 0 in the edge region of the embedded image R (x, y). Therefore, by the above processing, the polarity of the amplitude is inverted according to the pixel value of the embedded image R (x, y), and an image in which the amplitude changes gently at the edge portion is obtained as the pattern modulation image Q ′ (x, y). It is done.
図5に、埋込み画像R(x,y)、平滑化埋込み画像R′(x,y)、パターン画像Q(x,y)およびパターン変調画像Q′(x,y)の関係を示す。ただし、図5では便宜上、画像を1次元で表わしている。 FIG. 5 shows the relationship among the embedded image R (x, y), the smoothed embedded image R ′ (x, y), the pattern image Q (x, y), and the pattern-modulated image Q ′ (x, y). However, in FIG. 5, for convenience, the image is represented in one dimension.
なお、上記説明ではパターン画像Q(x,y)に対して平滑化埋込み画像R′(x,y)により振幅変調を施したが、他の例として式(4−1)で表されるような位相変調を用いてもよい。 In the above description, the amplitude modulation is performed on the pattern image Q (x, y) by the smoothed embedded image R ′ (x, y). However, as another example, it is expressed by the equation (4-1). Phase modulation may be used.
Q′(x,y)=Q(x+g(R′(x,y)),y) (4−1)
ただし、g(x)はx=0の場合に0、x=1の場合に3、0<x<1の場合に1をとる関数である。
Q ′ (x, y) = Q (x + g (R ′ (x, y)), y) (4-1)
However, g (x) is a function that takes 0 when x = 0, 3 when x = 1, and 1 when 0 <x <1.
このように位相変調を行った場合、R′=1の領域ではパターン画像Q(x,y)が4画素だけx軸方向にシフトし、R′=0の領域ではパターン画像Q(x,y)そのものがパターン変調画像Q′(x,y)となる。パターン画像Q(x,y)は4画素を周期とするx軸対称な周期画像なので、4画素シフトと振幅の−1倍は同じ意味となる。従って、この位相変調による処理結果と先に示した振幅変調による処理結果は、R′が0,1の部分では等価となり、R′の値が中間値をとる埋込み画像R(x,y)のエッジ部分だけ異なることになる。この位相変調処理では、エッジ部分で位相がなだらかに変化する画像が得られる。 When phase modulation is performed in this way, the pattern image Q (x, y) is shifted by 4 pixels in the x-axis direction in the region of R ′ = 1, and the pattern image Q (x, y) in the region of R ′ = 0. ) Itself becomes a pattern-modulated image Q ′ (x, y). Since the pattern image Q (x, y) is an x-axis symmetric periodic image with a period of 4 pixels, a 4-pixel shift and −1 times the amplitude have the same meaning. Therefore, the processing result by the phase modulation and the processing result by the amplitude modulation described above are equivalent in the portion where R ′ is 0 or 1, and the embedded image R (x, y) in which the value of R ′ takes an intermediate value. Only the edge part will be different. In this phase modulation processing, an image in which the phase changes gently at the edge portion is obtained.
図6は、この位相変調処理の場合の埋込み画像R(x,y)、平滑化埋込み画像R′(x,y)、パターン画像Q(x,y)およびパターン変調画像Q′(x,y)の関係を図5と同様に1次元で表わした図である。 FIG. 6 shows an embedded image R (x, y), a smoothed embedded image R ′ (x, y), a pattern image Q (x, y), and a pattern modulated image Q ′ (x, y) in the case of this phase modulation processing. 6) is a one-dimensional representation of the relationship in FIG.
また、上記説明はx軸方向への位相変調の例であるが、式(4−2)に示すようにy軸方向への位相変調を行ってもよい。 Further, the above description is an example of phase modulation in the x-axis direction, but phase modulation in the y-axis direction may be performed as shown in Expression (4-2).
Q′(x,y)=Q(x,y+g(R′(x,y))) (4−2)
埋込み画像R(x,y)の平滑化は、図4(a)に示したような(5×5)画素の縦横対称な2次元の参照領域による平滑化に限るものではない。例えば、図4(b)(c)(d)に示すように、参照領域が縦横非対称な矩形や1次元の矩形、矩形でない形でもよい。さらに、図4(e)に示すような重みつき平滑化でもよい。特に、この処理を後述するパイプライン方式のハードウェアで行う場合は、少ない容量のラインメモリで構成できる図4(b)(c)などの方式で平滑化を行う方が回路コストを低くできる。
Q ′ (x, y) = Q (x, y + g (R ′ (x, y))) (4-2)
The smoothing of the embedded image R (x, y) is not limited to the smoothing by the two-dimensional reference area of (5 × 5) pixels that is vertically and horizontally symmetric as shown in FIG. For example, as shown in FIGS. 4B, 4C, and 4D, the reference area may be an asymmetric rectangle, a one-dimensional rectangle, or a non-rectangular shape. Furthermore, weighted smoothing as shown in FIG. In particular, when this processing is performed by pipeline-type hardware described later, the circuit cost can be reduced by performing smoothing by a method such as that shown in FIGS. 4B and 4C that can be configured with a small-capacity line memory.
[第3ステップ(パターン重畳)]
次に、第3ステップS13でパターン変調画像Q′(x,y)を被埋込み画像に重畳する。本実施形態ではこの重畳処理として単純な加算演算を行っている。前述したように、パターン画像Q(x,y)は色差量(Vr,Vg,Vb)に与えるゲインなので、被埋込み画像をPi(x,y)(i=r,g,b)とし、パターン変調画像Q′(x,y)を色差量(Vr,Vg,Vb)を乗じてから被埋込み画像をPi(x,y)に加算する。ここで、色差量(Vr,Vg,Vb)は明度が0または概略0になり、強度が概略人間の視覚限界以下になるように設定する。例えば、(Vr,Vg,Vb)=(0.2,0.2,−0.4)という値を用いる。これについては後で詳しく述べる。そして、加算結果が濃度値の定義範囲(0,1)を越える場合は、定義範囲の最小値または最大値にクリッピングする。
[Third step (pattern superposition)]
Next, in the third step S13, the pattern modulation image Q ′ (x, y) is superimposed on the embedded image. In the present embodiment, a simple addition operation is performed as the superimposition process. As described above, since the pattern image Q (x, y) is a gain given to the color difference amounts (Vr, Vg, Vb), the embedded image is Pi (x, y) (i = r, g, b), and the pattern After the modulated image Q ′ (x, y) is multiplied by the color difference amounts (Vr, Vg, Vb), the embedded image is added to Pi (x, y). Here, the color difference amounts (Vr, Vg, Vb) are set so that the brightness is 0 or approximately 0, and the intensity is approximately below the human visual limit. For example, a value of (Vr, Vg, Vb) = (0.2, 0.2, −0.4) is used. This will be described in detail later. When the addition result exceeds the density value definition range (0, 1), clipping is performed to the minimum value or the maximum value of the definition range.
この第3ステップS13での重畳処理を式(5)に示す。ただし、重畳結果であるパターン重畳画像をOi(x,y)(i=r,g,b)と表わす。 Expression (5) shows the superimposition process in the third step S13. However, the pattern superimposition image which is a superimposition result is represented as Oi (x, y) (i = r, g, b).
Or(x,y)=Pr(x,y)+Q′(x,y)・Vr
Og(x,y)=Pg(x,y)+Q′(x,y)・Vg
Ob(x,y)=Pb(x,y)+Q′(x,y)・Vb
もしOr(x,y)≧1ならば、Or(x,y)=1
もしOr(x,y)<0ならば、Or(x,y)=0
Og,Obも同様 (5)
[第4ステップ(色補正)]
次に、第4ステップS14において、RGBの色成分で表現されたパターン重畳画像Oi(x,y)を画像記録部105でC,M,Y3色のインク量を制御するために用いるインク量信号OC,OM,OYに変換する。この変換は、従来より色修正技術として広く知られている。ここでは、式(6−1)(6−2)に従って色修正処理を行う。式(6−1)中のマトリクスAcr,Acg,Acb,Amr,Amg,Amb,Ayr,Ayg,Aybは、画像記録部105で使用する各インクの色度に依存する値であり、画像記録部105に適した値に選ばれる。
Og (x, y) = Pg (x, y) + Q ′ (x, y) · Vg
Ob (x, y) = Pb (x, y) + Q ′ (x, y) · Vb
If Or (x, y) ≧ 1, Or (x, y) = 1
If Or (x, y) <0, Or (x, y) = 0
Same for Og and Ob (5)
[Fourth Step (Color Correction)]
Next, in the fourth step S14, the ink amount signal used for controlling the ink amounts of the C, M, Y3 colors by the
なお、最初からYMCベースで処理を行えば、この第4ステップS14の処理は省くことができる。 If the process is performed on a YMC basis from the beginning, the process of the fourth step S14 can be omitted.
以上が本実施形態における画像合成の一連の処理であり、この処理の後、画像記録部105でインク量信号OC,OM,OYに応じてカラー画像をハードコピーとして記録する。これにより、パターン重畳画像Or′,Og′,Ob′とほぼ同じRGB成分を持つカラー画像が所定の記録物(記録紙)上に記録される。画像記録部105としては、例えば昇華型の熱転写方式プリンタが用いられる。昇華型熱転写方式は、画素毎に100階調以上に濃度制御ができ、容易にフルカラー記録が可能である。
The above is a series of image composition processing in this embodiment. After this processing, the
画像記録部105には、これ以外にも例えば銀塩写真方式を用いてもよいし、インクジェット方式、溶融型の熱転写方式などの2値記録に適した記録系を用いてもよい。ただし、2値記録プリンタを用いる場合は、階調を表現するために誤差拡散法や組織ディザ法などの擬似階調処理を行う必要がある。これらの処理を行うと、プリンタの記録密度に近い高空間周波数の画像情報は乱れたり欠落するので、パターン画像の空間周波数よりも十分に記録密度の高い記録系を用いる必要がある。
In addition to this, for example, a silver salt photographic system may be used for the
以上の説明では、一連の画像合成処理をソフトウェア処理で実現したが、ハードウェアで実現することも可能である。 In the above description, a series of image composition processing is realized by software processing, but it can also be realized by hardware.
図7に、前述した一連の画像合成処理をハードウェアで実現する画像合成記録装置の構成を示す。画像処理部は、埋込み画像と被埋込み画像を格納する2つの画像メモリ701,702、パターン発生部703、パターン変調部704およびパターン重畳部705からなり、これらに画像記録部706が組み合わせられて画像合成記録装置が構成される。
FIG. 7 shows a configuration of an image composition recording apparatus that implements the above-described series of image composition processing by hardware. The image processing unit includes two
まず、パターン発生部703からパターン画像信号として例えば色差パターン画像信号753が発生される。そして、パターン変調部704において第1の画像メモリ701から出力された埋込み画像信号751に従って、色差パターン画像753に例えば式(4−1)または(4−2)で示される位相変調が施されることにより、パターン変調画像信号754が生成される。次に、パターン重畳部705によりパターン変調画像信号754が第2の画像メモリ702から出力された被埋込み画像信号752に重畳され、パターン重畳画像信号755が生成される。そして、このパターン重畳画像信号755が色修正部706によってインク量信号756に変換された後、画像記録部707に入力され、ハードコピー画像が出力される。
First, for example, a color difference
この画像合成記録装置の動作をさらに詳しく説明すると、まず第1および第2の画像メモリ701,702には埋込み画像R(x,y)および被埋込み画像P(x,y)がそれぞれ記憶されている。第1の画像メモリ701に記憶されている埋込み画像R(x,y)は2値画像であり、1画素当たり1ビットで表わされる。第2の画像メモリ701に記憶される被埋込み画像P(x,y)はRGB各8ビットのフルカラー画像であり、1画素につき計24ビットで表わされる。
The operation of this image composition recording apparatus will be described in more detail. First, an embedded image R (x, y) and an embedded image P (x, y) are stored in the first and
パターン発生部703は、パターン画像信号753を発生する。パターン画像は前述した通り色差パターン画像信号であり、式(1)に従って発生される。
The
パターン変調部704は、例えば3本のラインメモリ711、15個のラッチ群712、加算器713および2つの乗算器714,715よりなる。第1の画像メモリ701から出力された埋込み画像信号751は、ラインメモリ711およびラッチ群712で遅延される。ラッチ群712の各ラッチ出力は(5×3)画素の矩形領域内の信号であり、これらが加算器713で加算された後、第1の乗算器714に入力され、パターン画像信号753に乗じられる。この第1の乗算器714の乗算出力に対して、さらに第2の乗算器715で3つのパラメータの組Vr,Vg,Vbが乗じられる。ここでは、1つの画素の信号につき3回の乗算が行われ、これら3つの乗算結果が時系列のRGB信号からなるパターン変調画像信号754としてパターン重畳部706へ出力される。
The
パターン重畳部706は、加算器716とクリッピング回路717よりなる。まず、加算器716によってパターン変調部704からのパターン変調画像信号754に第2の画像メモリ702からの被埋込み画像信号752が加算される。パターン変調画像信号754および被埋込み画像信号752は共にRGBの時系列信号であり、加算器716では同じ成分同士がそれぞれ加算される。この加算器716の加算結果がクリッピング回路717によりクリッピングされ、パターン重畳画像信号755として出力される。すなわち、クリッピング回路717は加算器716の加算結果が0より小さい場合は出力を0に、255より大きい場合は出力を255にする操作を行う。
The
パターン重畳部705から出力されたパターン重畳画像信号755はRGBの3色成分を持つ信号であり、色修正部706により画像記録部707でのインク量を表わすインク量信号756に変換される。色修正部706は、例えばルックアップテーブルを用いる。このテーブルは式(6−1),(6−2)に従って予め計算され、メモリに格納されている。
The pattern superimposed
このようにハードウェアによっても、容易に前記の画像合成処理を実現することが可能である。ハードウェアを用いると比較的高速に信号処理を行うことができるので、短時間で大量の枚数の画像を作成する場合、特に有効である。 As described above, the image composition processing can be easily realized by hardware. When hardware is used, signal processing can be performed at a relatively high speed, which is particularly effective when creating a large number of images in a short time.
次に、以上の処理によって記録された被埋込み画像と埋込み画像との合成画像(パターン重畳画像)の性質について説明する。この合成画像は、視覚的にはほぼ被埋込み画像と同じに見える画像となり、埋込み画像の情報は全くもしくはほとんど見えない情報となっている。 Next, the property of the composite image (pattern superimposed image) of the embedded image and the embedded image recorded by the above processing will be described. This synthesized image is an image that visually looks almost the same as the embedded image, and the information of the embedded image is information that is completely or hardly visible.
被埋込み画像のRGB色成分をPr(x,y),Pg(x,y),Pb(x,y)とし、埋込み画像をR(x,y)、平滑化埋込み画像をR′(x,y)(=R(x,y)*LPF(x,y))とすると、合成画像のRGB成分Or(x,y),Og(x,y),Ob(x,y)は、式(7)で表わされる。 The RGB color components of the embedded image are Pr (x, y), Pg (x, y), and Pb (x, y), the embedded image is R (x, y), and the smoothed embedded image is R ′ (x, y). If y) (= R (x, y) * LPF (x, y)), the RGB components Or (x, y), Og (x, y), Ob (x, y) of the composite image are expressed by the formula ( 7).
Or(x,y)=Pr(x,y)
+Q(x,y)・Vr・(−2・R′(x,y)+1)
Og(x,y)=Pg(x,y)
+Q(x,y)・Vg・(−2・R′(x,y)+1)
Ob(x,y)=Pb(x,y)
+Q(x,y)・Vb・(−2・R′(x,y)+1)
(7)
次に、このようにして記録された合成画像の明度成分Oyおよび色差成分Ocを考える。ここでは明度成分Oy、色差成分Ocを式(8)で定義する。
Or (x, y) = Pr (x, y)
+ Q (x, y) .Vr. (-2.R '(x, y) +1)
Og (x, y) = Pg (x, y)
+ Q (x, y) .Vg. (-2.R '(x, y) +1)
Ob (x, y) = Pb (x, y)
+ Q (x, y) .Vb. (-2.R '(x, y) +1)
(7)
Next, consider the brightness component Oy and the color difference component Oc of the composite image recorded in this way. Here, the brightness component Oy and the color difference component Oc are defined by equation (8).
Oy(x,y)=Kr・Or(x,y)+Kg・Og(x,y)+Kb・Ob(x,y)
Oc(x,y)=Or(x,y)−Og(x,y) (8)
明度成分Oyは明るさを表わし、色差成分Ocは色の強さを表わす。色差成分Ocには独立な2種類の成分があるが、ここでは一方の成分のみを扱っている。(Kr,Kg,Kb)はRGB成分のそれぞれの明度を表わす係数であり、(Kr,Kg,Kb)=(0.18,0.81,0.01)である。
Oy (x, y) = Kr.Or (x, y) + Kg.Og (x, y) + Kb.Ob (x, y)
Oc (x, y) = Or (x, y) −Og (x, y) (8)
The lightness component Oy represents brightness, and the color difference component Oc represents color intensity. The color difference component Oc includes two independent components, but only one component is handled here. (Kr, Kg, Kb) is a coefficient representing the lightness of each RGB component, and (Kr, Kg, Kb) = (0.18, 0.81, 0.01).
これら明度成分Oyおよび色差成分OcのスペクトルFoy(fx,fy)、Foc(fx,fy)は、式(9−1)(9−2)で表わされる。 The spectra Foy (fx, fy) and Foc (fx, fy) of the lightness component Oy and the color difference component Oc are expressed by the equations (9-1) and (9-2).
Foy(fx,fy)
=Fpy(fx,fy)+Vy・Fq(fx,fy)*(−2Fr′(fx、fy)+δ(fx、fy)) (9−1)
Foc(fx,fy)
=Fpc(fx,fy)+Vc・Fq(fx,fy)*(−2Fr′(fx、fy)+δ(fx、fy)) (9−2)
ただし、fx,fyはそれぞれx軸方向、y軸方向の空間周波数を表わす。またFr′,Fq,Fpy,Fpcは、それぞれ平滑化埋込み画像R′、パターン画像Q、被埋込み画像Pの明度成分と色差成分のフーリエ変換である。さらに、Vy,Vcは前述した色差量の明度成分、色差成分である。
Foy (fx, fy)
= Fpy (fx, fy) + Vy · Fq (fx, fy) * (− 2Fr ′ (fx, fy) + δ (fx, fy)) (9-1)
Foc (fx, fy)
= Fpc (fx, fy) + Vc · Fq (fx, fy) * (− 2Fr ′ (fx, fy) + δ (fx, fy)) (9-2)
However, fx and fy represent the spatial frequencies in the x-axis direction and the y-axis direction, respectively. Fr ′, Fq, Fpy, and Fpc are Fourier transforms of the brightness component and the color difference component of the smoothed embedded image R ′, the pattern image Q, and the embedded image P, respectively. Furthermore, Vy and Vc are the brightness component and the color difference component of the color difference amount described above.
ここで、色差量Vの明度成分Vyは0または0に十分近くなるように設定してあるので、式(9−1)の第2項は0または略0となる。 Here, since the lightness component Vy of the color difference amount V is set to be 0 or sufficiently close to 0, the second term of the equation (9-1) is 0 or substantially 0.
図8(a)(b)(c)(d)は、式(9−2)上のFpc,Fr′,Fq,Focを模式的に表わした図である。通常の画像の色差成分のスペクトルFpc(fx,fy)は、図8(a)に示すように低周波数成分にパワーが集中しており、高周波数成分は極めて低い。一方、図8(b)の実線で示すように平滑化埋込み画像R′は、同破線で示すように埋込み画像Rの高周波数成分が削られている。パターン画像Qは、図8(c)に示すように高周波数成分のみを持つ。従って、式(9−2)で表わされる合成画像の色差成分のスペクトルは、図8(d)に示すように低周波数成分が中心である第1項と高周波数成分が中心である第2項に分離される。 8A, 8B, 8C, and 8D are diagrams schematically showing Fpc, Fr ′, Fq, and Foc in the equation (9-2). In the spectrum Fpc (fx, fy) of the color difference component of a normal image, the power is concentrated on the low frequency component as shown in FIG. 8A, and the high frequency component is extremely low. On the other hand, as shown by the solid line in FIG. 8B, in the smoothed embedded image R ′, the high frequency component of the embedded image R is cut as shown by the broken line. The pattern image Q has only a high frequency component as shown in FIG. Therefore, as shown in FIG. 8D, the spectrum of the color difference component of the composite image represented by Expression (9-2) has a first term centered on the low frequency component and a second term centered on the high frequency component. Separated.
また、図9(テレビジョン画像工学ハンドブック第1編3章の図1・76より引用)に示すように、人間の視覚特性は特に高周波数の色差成分については感度が低いことが知られている。従って、式(9−2)の第2項はほとんど人間には見えない。このため合成画像は明度成分、色差成分とも式(9)の第1項のみが観測される。すなわち、合成画像は被埋込み画像に等しく見える。
Further, as shown in FIG. 9 (quoted from FIGS. 1 and 76 in
このように本実施形態によって合成され記録される画像は、視覚的には被埋込み画像とほぼ同じ画像で、埋込み画像の成分は高空間周波数の色差成分になるため、ほとんど目に見えなくなる。また、埋込み画像の平滑化処理により通常の画像の色差成分Fp1(fx,fy)の高周波数成分が低下するため、埋込み画像とパターン画像との畳込みにより低周波数へシフトする成分がなくなる。 Thus, the image synthesized and recorded by the present embodiment is visually the same image as the embedded image, and the embedded image component becomes a high-spatial-frequency color difference component, so that it is almost invisible. Further, since the high frequency component of the color difference component Fp1 (fx, fy) of the normal image is reduced by the smoothing process of the embedded image, there is no component that shifts to a low frequency due to the convolution of the embedded image and the pattern image.
次に、上述のようにして記録した合成画像から埋込み画像を再生する再生装置について、具体的に説明する。 Next, a reproduction apparatus that reproduces an embedded image from the composite image recorded as described above will be specifically described.
図10は、再生装置の一構成例を示した図である。合成画像が記録された記録物(記録紙)1100を再生装置本体1000に、記録物1100の上端と右端が再生装置本体1000の装填部上端1001と右端1002に接触するように装填して固定する。これにより、再生用シート1003と記録物1100上の画像とが所定の位置関係に保持される。そして、再生装置本体1000に連結された再生用シート1003を記録物1100の上に重ね、このシート1003を通して記録物1100上の画像を観察することにより、埋込み画像が被埋込み画像の上に重なって見えるように構成されている。
FIG. 10 is a diagram illustrating a configuration example of a playback device. The recorded material (recording paper) 1100 on which the composite image is recorded is loaded and fixed to the reproducing apparatus
なお、再生装置は図10に示したような構成に限られず、記録物1100上の合成画像と再生用シート1003の相対位置を固定できれば、どのような構造でもよい。また、再生用シート1003を記録物1100に対して固定せずに、1次元または2次元に自由に手で動かせるようにして、記録物1100上の埋め込み画像を再生したい位置にシート1003を合わせるような構造でもよい。さらに、再生用シート1003と記録物1100との間隙が大きいと、埋込み画像の再生コントラストが低くなるので、間隙が例えば1mm以内になるように再生用シート1003を上から剛性のある透明板で押さえる構造にしてもよい。
Note that the reproducing apparatus is not limited to the configuration shown in FIG. 10, and may have any structure as long as the relative position between the synthesized image on the recorded
次に、再生用シート1003の構成と埋込み画像の再生の原理について説明する。再生用シート1003は、例えばプラスチックなどの透明なフィルム状の薄い媒体よりなり、その媒体上に所定のパターンが形成されている。
Next, the configuration of the
この再生用シート1003上のパターンとしては、合成画像作成時のパターン、すなわち図2の第1ステップS11で発生されるパターン画像のパターン(図7のパターン発生部703で発生されるパターン画像のパターン)に対応して適当な透過率分布をもたせたものを用いる。再生用シート1003のRGB透過率分布Tr(x,y),Tg(x,y),Tb(x,y)を式(10)に示す。ここで、(Wr0,Wg0,Wb0)および(Wr1,Wg1,Wb1)は、それぞれ対応するパターン画像Q(x,y)の値が1および−1の画素のRGB透過率を表わし、本実施形態では式(11−1)に示すように白(透明)と黒の2色を用いている。
As a pattern on the
Tr(x,y)=0.5(Wr0−Wr1)・Q(x,y)+0.5(Wr0+Wr1)
Tg(x,y)=0.5(Wr0−Wg1)・Q(x,y)+0.5(Wr0+Wg1)
Tb(x,y)=0.5(Wr0−Wb1)・Q(x,y)+0.5(Wr0+Wb1)
(10)
(Wr0,Wg0,Wb0)=(0,0,0)
(Wr1,Wg1,Wb1)=(1,1,1) (11−1)
図11に、この再生用シート1003の透過率分布パターンを示す。図でWは透明の部分、Kは不透明の部分を表わし、WおよびKの部分はそれぞれ図3に示したパターン画像Q(x,y)のゲイン−1およびゲイン1の画素に対応している。このような透過率パターンを持つ再生用シート1003を記録物1100の上に重ねることにより、シート1003上のパターンと記録物1100上の合成画像のパターン画像Q(x,y)の成分との干渉が起こり、埋込み画像は被埋込み画像に重畳した黄/青の色差画像として観察される。
Tr (x, y) = 0.5 (Wr0−Wr1) · Q (x, y) +0.5 (Wr0 + Wr1)
Tg (x, y) = 0.5 (Wr0−Wg1) · Q (x, y) +0.5 (Wr0 + Wg1)
Tb (x, y) = 0.5 (Wr0−Wb1) · Q (x, y) +0.5 (Wr0 + Wb1)
(10)
(Wr0, Wg0, Wb0) = (0, 0, 0)
(Wr1, Wg1, Wb1) = (1,1,1) (11-1)
FIG. 11 shows the transmittance distribution pattern of the
また、再生用シート1003の他の例として、式(11−2)に示すように図11のW,Kの部分をそれぞれY,Bの色を透過させる部分に置き換えた構成とてもよい。この場合、埋込み画像は被埋込み画像に重畳したモノクロの濃淡画像として観察される。
Further, as another example of the
(Wr0,Wg0,Wb0)=(1,1,0)
(Wr1,Wg1,Wb1)=(0,0,1) (11−2)
このような再生用シート1003は、前述した画像合成記録装置の記録系で作成してもよいし、全く独立した記録系で作成してもよい。ただし、記録系によって記録密度に差がある場合もあるので、画像合成記録装置と同じ記録系で再生用シート1003を作成した方が精度が得られやすい。
(Wr0, Wg0, Wb0) = (1, 1, 0)
(Wr1, Wg1, Wb1) = (0, 0, 1) (11-2)
Such a
上述した再生用シート1003を記録物1100上に重ねると、埋込み画像として埋込まれた高周波数の色差情報が低周波領域にシフトし、人間の目に見えるようなる。以下、この理由について具体的に説明する。
When the
合成画像のRGB反射率Or,Og,Obは、前述の式(7)で表わされる。従って、記録物1100上に再生用シート1003を重ねることにより観測される画像のRGB反射率をSr,Sg,Sbとすると、これらは式(12)で表わされる。ただし、G成分およびB成分はR成分と同様なので省略した。
The RGB reflectances Or, Og, Ob of the composite image are expressed by the above-described equation (7). Accordingly, assuming that the RGB reflectances of the image observed by superimposing the
Sr=Or・Tr
=Pr(x,y)・Tr(x,y)+Q(x,y)・Vr・(−2・R′(x,y)+1)・Tr(x,y)
=Pr(x,y)・Tr(x,y)+Q(x,y)・Vr・(−2・R′(x,y)+1)・(0.5(Wr0−Wr1)・Q(x,y)+(0.5(Wr0+Wr1))
=Pr(x,y)・Tr(x,y)+0.5・Vr・(Wr0−Wr1)・Q(x,y)2 ・(−2・R′(x,y)+1)+0.5・Vr・(Wr0+Wr1)・Q(x,y)・(−2・R′(x,y)+1)
=Pr(x,y)・Tr(x,y)+0.5・Vr・(Wr0−Wr1)・(−2・R′(x,y)+1)+0.5・Vr・(Wr0+Wr1)・Q(x,y)・(−2・R′(x,y)+1)
g,b成分も同様 (12)
ここで、式(12)の第1項、第2項および第3項のスペクトル分布の模式図を図12(a)(b)および(c)にそれぞれ示す。第1項は被埋込み画像そのものに再生用シート1003を重ねた画像と等価な画像であり、第3項は高周波数の色差成分となるので、視覚的には見えない。一方、第2項は埋込み画像に色度(Vr・(Wr0−Wr1),Vg・(Wg0−Wg1),Vb(Wb0−Wb1))を乗じたものである。本実施形態ではこれは色差成分であるが、埋込み画像と同じ周波数に復調されているので、目に見える画像となる。従って、第1項である被埋込み画像に埋込み画像で色度変調された画像を加算した画像が観察されることになる。
Sr = Or · Tr
= Pr (x, y) .Tr (x, y) + Q (x, y) .Vr. (-2.R '(x, y) +1) .Tr (x, y)
= Pr (x, y) .Tr (x, y) + Q (x, y) .Vr. (-2.R '(x, y) +1). (0.5 (Wr0-Wr1) .Q (x , Y) + (0.5 (Wr0 + Wr1))
= Pr (x, y) .Tr (x, y) + 0.5.Vr. (Wr0-Wr1) .Q (x, y) 2. (-2.R '(x, y) +1) +0.5 * Vr * (Wr0 + Wr1) * Q (x, y) * (-2 * R '(x, y) +1)
= Pr (x, y) .Tr (x, y) + 0.5.Vr. (Wr0-Wr1). (-2.R '(x, y) +1) + 0.5.Vr. (Wr0 + Wr1) .Q (X, y) · (−2 · R ′ (x, y) +1)
Same for g and b components (12)
Here, FIGS. 12A, 12B, and 12C show schematic diagrams of the spectrum distributions of the first term, the second term, and the third term of the formula (12), respectively. The first term is an image equivalent to an image in which the
また、再生用シート1003として、式(11−2)で表されるパターンのシートを用いた場合には、(Vr・(Wr0−Wr1),Vg・(Wg0−Wg1),Vb・(Wb0−Wb1))はモノクロ成分となるので、被埋込み画像に埋込み画像で濃度変調されたパターン変調画像を加算した画像が観察されることになる。
Further, when a sheet having a pattern represented by the expression (11-2) is used as the
以上述べたように、本実施形態の画像合成記録装置によると、被埋込み画像と視覚的にほぼ同じで、画質劣化なしに別の画像(埋込み画像)を埋込んだ合成画像を記録することができ、さらにこの合成画像が記録された記録物上に所定の再生用シートを重ねることにより、複雑な信号処理を必要とすることなく、埋込み画像を簡単に視覚的に認識できるように再生することが可能となる。 As described above, according to the image composition recording apparatus of the present embodiment, it is possible to record a composite image that is visually the same as the embedded image and in which another image (embedded image) is embedded without deterioration in image quality. In addition, by overlaying a predetermined playback sheet on the recorded material on which the composite image is recorded, it is possible to reproduce the embedded image so that it can be easily visually recognized without the need for complicated signal processing. Is possible.
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。第1の実施形態ではパターン画像および再生用シートとして規則パターンを用いたのに対し、本実施形態は不規則パターンを用いている点が異なる。本実施形態による画像合成記録装置の基本構成は第1の実施形態と同じであるが、処理手順がやや異なっている。
(Second Embodiment)
Next, a second embodiment of the present invention will be described. In the first embodiment, the regular pattern is used as the pattern image and the reproduction sheet, but the present embodiment is different in that the irregular pattern is used. The basic configuration of the image composition recording apparatus according to this embodiment is the same as that of the first embodiment, but the processing procedure is slightly different.
以下、第1の実施形態との相違点を中心に、第2の実施形態による画像合成記録装置の処理手順を図13に示すフローチャートにより説明する。 Hereinafter, the processing procedure of the image composition recording apparatus according to the second embodiment will be described with reference to the flowchart shown in FIG. 13 with a focus on differences from the first embodiment.
[第1ステップ(パターン発生)]
まず、第1ステップS21でパターン画像Q(x,y)を発生する。第1の実施形態では、パターン画像Q(x,y)は規則的な構造のパターン画像であったが、本実施形態では不規則パターン画像またはこれを拡大した画像を用いる。
[First step (pattern generation)]
First, a pattern image Q (x, y) is generated in the first step S21. In the first embodiment, the pattern image Q (x, y) is a pattern image having a regular structure, but in this embodiment, an irregular pattern image or an image obtained by enlarging the irregular pattern image is used.
不規則パターン画像としては、(1) 直流分および低周波数スペクトルが0で、高周波数成分の強度が強いこと、(2) 埋込み画像から容易にパターン画像の構造を推定できないこと、の二つの条件を満たしていることが望ましい。本実施形態では、以下に示すように2次元マルコフ確率過程により不規則パターン画像を生成する。すなわち、注目画素(x,y)の周囲の既に決定した画素値Q(x+axi,y+ayi)の関数fとして推移確率Probを定義し、この確率Probでパターン画像Q(x,y)の値を1または−1に決める。これを式(13)に示す。ただし、Prob[Q(x,y),a]は、Q(x,y)=aとなる確率である。 The irregular pattern image has the following two conditions: (1) DC component and low frequency spectrum are 0, high frequency component is strong, and (2) the pattern image structure cannot be estimated easily from the embedded image. It is desirable to satisfy In this embodiment, as shown below, an irregular pattern image is generated by a two-dimensional Markov probability process. That is, the transition probability Prob is defined as a function f of the pixel value Q (x + axi, y + ayi) already determined around the pixel of interest (x, y), and the value of the pattern image Q (x, y) is set to 1 with this probability Prob. Or decide to -1. This is shown in equation (13). However, Prob [Q (x, y), a] is a probability that Q (x, y) = a.
Prob[Q(x,y),1]=f(Q(x+axi,y+ayi))
Prob[Q(x,y),−1]=1−f(Q(x+axi,y+ayi))
(13)
(x,y)を適当に走査しながら、この処理を繰り返すことによって、2値の不規則パターン画像Q(x,y)の全画像を発生する。本実施形態で用いた関数fを式(14)に示す。
Prob [Q (x, y),-1] = 1-f (Q (x + axi, y + ayi))
(13)
By repeating this process while appropriately scanning (x, y), all images of the binary irregular pattern image Q (x, y) are generated. The function f used in this embodiment is shown in Expression (14).
図14(a)(b)に、こうして生成された2値の不規則パターン画像Q(x,y)の自己相関関数およびパワースペクトルを示す。ただし、図14では簡単のためにx軸方向の成分のみを表わしている。同図に示すように、このパターン画像Q(x,y)は低い空間周波数ではパワーがほぼ0で、高い周波数にパワーが集中した画像となる。 FIGS. 14A and 14B show the autocorrelation function and power spectrum of the binary irregular pattern image Q (x, y) generated in this way. However, in FIG. 14, only the component in the x-axis direction is shown for simplicity. As shown in the figure, the pattern image Q (x, y) has an almost zero power at a low spatial frequency and is an image in which the power is concentrated at a high frequency.
ここでは計算機上で確率画像を生成するために、M系列などの疑似乱数を用いる。すなわち、0からN−1までの範囲の値を一様な確率でとる疑似乱数Dを1画素に1つずつ発生させ、式(15)によりパターン画像Q(x,y)の値を決定すればよい。 Here, in order to generate a probability image on a computer, a pseudo-random number such as an M series is used. That is, one pseudo-random number D that takes a value in the range from 0 to N−1 with a uniform probability is generated for each pixel, and the value of the pattern image Q (x, y) is determined by equation (15). That's fine.
D/N≧ProbならばQ(x,y)=1
D/N<ProbならばQ(x,y)=−1 (15)
この場合、疑似乱数の種と関数fだけを記憶しておけば、一意に同じパターン画像を発生でき、パターン画像Q(x,y)そのものを記憶しておく必要はなくなる。
If D / N ≧ Prob, Q (x, y) = 1
If D / N <Prob, Q (x, y) = − 1 (15)
In this case, if only the seed of the pseudo random number and the function f are stored, the same pattern image can be generated uniquely, and it is not necessary to store the pattern image Q (x, y) itself.
なお、上記説明ではパターン画像Q(x,y)をマルコフ過程により生成しているため、計算量が多くなる。そこで、乱数を直接用いてパターン画像Q(x,y)の画素値を決定してもよい。また、誤差拡散処理により生ずるパターンを用いてもよい。前者はホワイトノイズとなり、その直流分や低い周波数成分が必ずしも小さい値にならないが、パターン画像Q(x,y)の生成の計算が非常に簡易になる。また、後者では低周波成分が小さくなるとともに、決定論的に画像を計算できるため、乱数の発生処理が不要となる。 In the above description, since the pattern image Q (x, y) is generated by the Markov process, the amount of calculation increases. Therefore, the pixel value of the pattern image Q (x, y) may be determined using a random number directly. A pattern generated by error diffusion processing may be used. The former is white noise, and the direct current component and low frequency components are not necessarily small values, but the calculation of generating the pattern image Q (x, y) becomes very simple. In the latter case, the low frequency component is reduced and the image can be calculated deterministically, so that random number generation processing is not required.
[第2ステップ(パターン変調)]
[第3ステップ(パターン重畳)]
[第4ステップ(色修正]
次に、第2ステップS22、第3ステップS23および第4ステップS24でパターンの変調、パターンの重畳および色修正を順次行い、最後に得られた合成画像を記録するが、これらの処理は第1の実施形態と同じであるので、説明は省略する。ただし、パターンは不規則であり、周期性をもたないので、パターン変調処理では第1の実施形態で例示したような周期パターンを前提とした位相変調は用いない。
[Second step (pattern modulation)]
[Third step (pattern superposition)]
[Fourth Step (Color Correction)
Next, in the second step S22, the third step S23, and the fourth step S24, pattern modulation, pattern superimposition, and color correction are sequentially performed, and the finally obtained composite image is recorded. Since this is the same as the embodiment, the description is omitted. However, since the pattern is irregular and does not have periodicity, the phase modulation based on the periodic pattern as exemplified in the first embodiment is not used in the pattern modulation processing.
以上の処理によって、被埋込み画像と埋込み画像を合成した合成画像が記録される。第1の実施形態と同様に、この合成画像は視覚的にはほぼ被埋込み画像と同じに見える画像となり、埋込み画像の情報は全く、もしくはほとんど見えない情報となっている。 Through the above processing, a combined image obtained by combining the embedded image and the embedded image is recorded. Similar to the first embodiment, this synthesized image is visually an image that looks almost the same as the embedded image, and the information of the embedded image is information that is completely or hardly visible.
次に、本実施形態で得られる合成画像の性質について具体的に説明する。
合成画像のRGB各色成分Or(x,y),Og(x,y),Ob(x,y)とその明度成分Oy(x,y)および色差成分Oc(x,y)は、第1の実施形態と同様に式(7)(8)で表わされる。また、明度成分Oy(x,y)、色差成分Oc(x,y)のスペクトルFoy(fx,fy),Foc(fx,fy)は、式(9−1)(9−2)で表わされる。パターン画像Q(x,y)のスペクトルFqの内容のみが実施形態1と異なっている。
Next, the properties of the composite image obtained in the present embodiment will be specifically described.
The RGB color components Or (x, y), Og (x, y), Ob (x, y), the lightness component Oy (x, y) and the color difference component Oc (x, y) of the composite image are the first Similar to the embodiment, it is expressed by equations (7) and (8). The spectra Foy (fx, fy) and Foc (fx, fy) of the lightness component Oy (x, y) and the color difference component Oc (x, y) are expressed by equations (9-1) and (9-2). . Only the content of the spectrum Fq of the pattern image Q (x, y) is different from that of the first embodiment.
第1の実施形態と同様に、色差量Vの明度成分VYは0または0に十分近くなるように設定してあるので、式(9−1)の第2項は0となる。また、図14に示すようにFqも低周波数成分が小さく設計してあるので、FqとFr+δの畳込みである式(9−2)の第2項は低い周波数成分の極めて弱い信号となる。すなわち、合成画像の色差成分の低周波成分への式(9−2)の第2項の寄与は極めて小さい。前述したように、高周波数の色差成分は視覚感度が低いので、合成画像にはほとんど第1項の成分、すなわち被埋込み画像しか観測されない。 Similar to the first embodiment, the lightness component VY of the color difference amount V is set to be 0 or sufficiently close to 0, so the second term of the equation (9-1) is 0. Further, as shown in FIG. 14, Fq is also designed to have a low low frequency component, so the second term of the equation (9-2), which is a convolution of Fq and Fr + δ, is a very weak signal with a low frequency component. That is, the contribution of the second term of Equation (9-2) to the low frequency component of the color difference component of the composite image is very small. As described above, since the high-frequency color difference component has low visual sensitivity, only the component of the first term, that is, the embedded image is observed in the synthesized image.
図15(a)(b)(c)(d)に、式(9−2)のFpc,Fr′,FqおよびFocのスペクトル分布を示す。 FIGS. 15A, 15B, 15C, and 15D show spectral distributions of Fpc, Fr ′, Fq, and Foc in the formula (9-2).
本実施形態ではFqの低周波成分が完全には0でないので、第1の実施形態に比べ埋込み画像R(x,y)の低い周波数成分への寄与は大きくなるが、作成するパターン画像Q(x,y)である不規則パターンの低周波成分は関数fにより制御できるので、これを適当に設定することにより、十分見えなくなるように設計することが可能である。一方、規則パターンの乱れは検知されやすいので、この面ではパターン画像Q(x,y)に不規則パターンを用いることにより、この影響は小さくなる。 In this embodiment, since the low-frequency component of Fq is not completely zero, the contribution of the embedded image R (x, y) to the low-frequency component is larger than that in the first embodiment, but the pattern image Q ( Since the low-frequency component of the irregular pattern x, y) can be controlled by the function f, it can be designed so as not to be seen sufficiently by setting it appropriately. On the other hand, since disorder of the regular pattern is easily detected, this influence is reduced by using an irregular pattern in the pattern image Q (x, y) in this aspect.
次に、第2の実施形態で記録された合成画像から埋込み画像を再生する方法について説明する。本実施形態においても第1の実施形態と同様な方法で埋込み情報の再生を行う。ただし、再生用シート1003としては第1の実施形態とは異なり、第2の実施形態の画像合成記録装置で用いたパターン画像と全く同じ構造のシートを用いる。
Next, a method for reproducing an embedded image from the composite image recorded in the second embodiment will be described. Also in this embodiment, embedded information is reproduced by the same method as in the first embodiment. However, unlike the first embodiment, the
本実施形態で用いる再生用シート1003のRGB透過率分布Tr(x,y),Tg(x,y),Tb(x,y)を式(16)に示す。これは第1の実施形態で示した式(10)と同じ形であるが、パターン画像Q(x,y)が異なるため、その内容は異なる。
Expression (16) shows the RGB transmittance distributions Tr (x, y), Tg (x, y), and Tb (x, y) of the
Tr(x,y)=0.5(Wr0−Wr1)・Q(x,y)+0.5(Wr0+Wr1)
Tg(x,y)=0.5(Wg0−Wg1)・Q(x,y)+0.5(Wg0+Wg1)
Tb(x,y)=0.5(Wb0−Wb1)・Q(x,y)+0.5(Wb0+Wb1)
(16)
また、パラメータWr0,Wr1,Wg0,Wg1,Wb0,Wb1の値およびその変形例を式(17−1)(17−2)に示す。
Tr (x, y) = 0.5 (Wr0−Wr1) · Q (x, y) +0.5 (Wr0 + Wr1)
Tg (x, y) = 0.5 (Wg0-Wg1) .Q (x, y) +0.5 (Wg0 + Wg1)
Tb (x, y) = 0.5 (Wb0−Wb1) · Q (x, y) +0.5 (Wb0 + Wb1)
(16)
Also, the values of parameters Wr0, Wr1, Wg0, Wg1, Wb0, Wb1 and their modifications are shown in equations (17-1) and (17-2).
(Wr0,Wg0,Wb0)=(0,0,0)
(Wr1,Wg1,Wb1)=(1,1,1) (17−1)
(Wr0,Wg0,Wb0)=(1,1,0)
(Wr1,Wg1,Wb1)=(0,0,1) (17−2)
第1の実施形態と同様に、このような再生用シート1003を図10に示したように記録物1100上に重ねることによりパターン同士の干渉が起こり、埋込み画像が被埋込み画像に重畳した黄/青の色差画像として観察される。
(Wr0, Wg0, Wb0) = (0, 0, 0)
(Wr1, Wg1, Wb1) = (1,1,1) (17-1)
(Wr0, Wg0, Wb0) = (1, 1, 0)
(Wr1, Wg1, Wb1) = (0, 0, 1) (17-2)
Similar to the first embodiment, such a
次に、本の実施形態における埋込み画像の再生原理について説明する。合成画像が記録された記録物上に再生用シート1003を重ねた場合の合成したRGB反射率をSr,Sg,Sbとすると、これらは第1の実施形態と同様に表わされる。本実施形態においてもQ(x,y)2 は常に1なので、Sr(x,y)は式(12)と同様に式(18)で表わされる。
Next, the reproduction principle of the embedded image in the present embodiment will be described. Assuming that the combined RGB reflectance when the
Sr=Or・Tr
=Pr(x,y)・Tr(x,y)
+0.5・Vr・(Wr0−Wr1)
・(−2・R′(x,y)+1)
+0.5・Vr・(Wr0+Wr1)
・Q(x,y)・(−2・R′(x,y)+1) (18)
図16(a)(b)(c)に、式(18)の第1項、第2項、第3項のスペクトル分布を示す。第1の実施形態と同様に、第1項は被埋込み画像そのものに再生用シート1003を重ねた画像と等価な画像となり、第3項は高周波数の色差成分となるので視覚的には見えない。一方、第2項は埋込み画像に色度(Vr・(Wr0−Wr1),Vg・(Wg0−Wg1),Vb・(Wb0−Wb1))をかけたものであり、目に見える画像となる。従って、第1項である被埋込み画像に埋込み画像で色度変調された画像が加算した画像が観察される。
Sr = Or · Tr
= Pr (x, y) · Tr (x, y)
+ 0.5 · Vr · (Wr0-Wr1)
・ (−2 ・ R ′ (x, y) +1)
+ 0.5 · Vr · (Wr0 + Wr1)
・ Q (x, y) ・ (−2 ・ R ′ (x, y) +1) (18)
FIGS. 16A, 16B, and 16C show the spectral distributions of the first term, the second term, and the third term in Expression (18). As in the first embodiment, the first term is an image equivalent to an image in which the
また、再生用シート1003として式(11−2)で表されるパターンのシートを用いた場合には、(Vr・(Wr0−Wr1),Vg・(Wg0−Wg1),Vb・(Wb0−Wb1))はモノクロ成分となるので、被埋込み画像に埋込み画像で濃度変調された画像を加算した画像が観察されることになる。
Further, when a sheet having a pattern represented by the expression (11-2) is used as the
このように本実施形態においても、第1の実施形態と同様に、被埋込み画像と視覚的にほぼ同じで、画質劣化なしに別の画像(埋込み画像)を埋込んだ合成画像を記録することができる。さらに、この合成画像が記録された記録物上に所定の再生用シートを重ねることにより、複雑な信号処理を必要とすることなく、簡単に視覚的に認識できるように再生することができる。 As described above, in this embodiment as well, as in the first embodiment, a synthesized image in which another image (embedded image) is embedded without being deteriorated in image quality is visually similar to the embedded image. Can do. Further, by superimposing a predetermined reproduction sheet on the recorded material on which the composite image is recorded, it is possible to reproduce the image so that it can be easily recognized visually without requiring complicated signal processing.
本実施形態は、さらに第1の実施形態にはない以下の利点として、パターン画像に不規則パターン画像を用いることから、合成画像から埋込み画像のパターンを推定することが困難であるため、第三者が合成画像からパターン情報を推定して、独自に合成画像の作成や、埋込み画像の再生を行うことが困難となる。従って、本実施形態は特定の人間だけに画像合成や再生を許容するような用途に適している。 This embodiment further has the following advantages over the first embodiment. Since an irregular pattern image is used as the pattern image, it is difficult to estimate the pattern of the embedded image from the synthesized image. It becomes difficult for a person to estimate pattern information from a composite image and create a composite image or reproduce an embedded image. Therefore, the present embodiment is suitable for an application in which image synthesis and reproduction are allowed only for a specific person.
(第3の実施形態)
次に、本発明に係る第3の実施形態について説明する。第1および第2の実施形態では、パターン変調画像の埋込みを加算処理により行っているのに対し、本実施形態は疑似階調処理により埋込みを行っている点が異なる。また、本実施形態では画像記録系に2値記録系であるインクジェットプリンタを用いている。
(Third embodiment)
Next, a third embodiment according to the present invention will be described. In the first and second embodiments, the embedding of the pattern modulation image is performed by addition processing, whereas the present embodiment is different in that embedding is performed by pseudo gradation processing. In this embodiment, an ink jet printer that is a binary recording system is used as the image recording system.
本実施形態の画像合成記録装置も第1の実施形態と基本的に同じ構成であり、処理手順のみ異なる。以下、図17に示すフローチャートを用いて処理手順について詳しく説明する。 The image composition recording apparatus of the present embodiment is basically the same as that of the first embodiment, and only the processing procedure is different. Hereinafter, the processing procedure will be described in detail with reference to the flowchart shown in FIG.
[第1ステップ(パターン発生)]
まず、第1ステップS31でパターン画像Q(x,y)を作成する。このパターン画像Q(x,y)としては、第2の実施形態と同様な不規則パターンを作成する。
[First step (pattern generation)]
First, a pattern image Q (x, y) is created in the first step S31. As this pattern image Q (x, y), an irregular pattern similar to that of the second embodiment is created.
[第2ステップ(パターン変調]
次に、第2ステップS32で埋込み画像によるパターン画像の変調を行う。この点も第2の実施形態と同じであるので、詳細は省略する。
[Second step (pattern modulation)
Next, in the second step S32, the pattern image is modulated by the embedded image. Since this point is the same as that of the second embodiment, details are omitted.
[第3ステップ(色修正)]
本実施形態では、次に第3ステップS33でRGBで表現された被埋込み画像Pr,Pg,PbをC(シアン),M(マゼンタ),Y(イエロー)3色のカラーインクの制御量を表わすインク濃度信号Pc,Pm,Pyに変換する色修正処理を行う。この色修正処理の変換は第1の実施形態の色修正処理と同様であり、式(19−1)(19−2)に従って行われる。
In the present embodiment, the embedded images Pr, Pg, and Pb expressed in RGB in the third step S33 represent control amounts of three color inks of C (cyan), M (magenta), and Y (yellow). Color correction processing for converting the ink density signals Pc, Pm, and Py is performed. The conversion of the color correction process is the same as the color correction process of the first embodiment, and is performed according to equations (19-1) and (19-2).
[第4ステップ(パターン重畳)]
次の第4ステップS34では、色修正処理により得られたインク濃度信号Pc,Pm,Pyに基づき、誤差拡散法によりパターン変調画像の重畳を行う。このパターン重畳処理は第1および第2の実施形態と大きく異なるので、詳しく説明する。この処理は従来の誤差拡散法などに代表されする疑似階調法と類似している。ただし、疑似階調特有のパターン構造が前記の画像パターンと近くなるように制御する。
[Fourth step (pattern superposition)]
In the next fourth step S34, the pattern-modulated image is superimposed by the error diffusion method based on the ink density signals Pc, Pm, Py obtained by the color correction process. Since this pattern superimposition process is significantly different from the first and second embodiments, it will be described in detail. This process is similar to the pseudo gradation method represented by the conventional error diffusion method. However, control is performed so that the pattern structure peculiar to the pseudo gradation is close to the image pattern.
第4ステップS34では、インク濃度信号のY成分Py、M成分PmおよびC成分Pcについて同じ処理を行うので、ここでは代表してY成分Pyについてのみ説明を行う。第4ステップS34は、以下の4つのサブステップS34−1,S34−2,S34−3,S34−4からなる。 In the fourth step S34, the same processing is performed for the Y component Py, the M component Pm, and the C component Pc of the ink density signal, so only the Y component Py will be described as a representative here. The fourth step S34 includes the following four substeps S34-1, S34-2, S34-3, and S34-4.
[サブステップS34−1]
まず、式(20)に示すように、被埋込み画像Py(x,y)に累積誤差信号E′Y(x,y)を加算する。累積誤差信号E′Y(x,y)は2値化による量子化誤差を補正するためのもので、その生成法については後述する。
[Substep S34-1]
First, as shown in Expression (20), the accumulated error signal E′Y (x, y) is added to the embedded image Py (x, y). The accumulated error signal E′Y (x, y) is for correcting a quantization error due to binarization, and a generation method thereof will be described later.
P′Y(x,y)=PY(x,y)+E′Y(x,y) (20)
[サブステップS34−2]
次に、加算結果PY′を式(21)に従い、2値化する。
if PY′(x,y)+(2・P(x,y)−1)・Vy
≧0.5 OY(x,y)=1
if PY′(x,y)+(2・P(x,y)−1)・Vy
<0.5 OY(x,y)=0 (21)
ここで、Vyは重畳する色差強度を決めるパラメータであり、M成分、C成分の場合はそれぞれVm、Vcを用いる。本実施形態では、(Vm,Vc,Vc)=(+0.2,−0.12,−0.12)という値を用いている。第4ステップS34の誤差拡散法によるパターン重畳処理は、このサブステップS34−2の部分において従来の誤差拡散法と異なっている。
P′Y (x, y) = PY (x, y) + E′Y (x, y) (20)
[Substep S34-2]
Next, the addition result PY ′ is binarized according to the equation (21).
if PY ′ (x, y) + (2 · P (x, y) −1) · Vy
≧ 0.5 OY (x, y) = 1
if PY ′ (x, y) + (2 · P (x, y) −1) · Vy
<0.5 OY (x, y) = 0 (21)
Here, Vy is a parameter for determining the color difference intensity to be superimposed, and Vm and Vc are used for the M component and C component, respectively. In the present embodiment, values (Vm, Vc, Vc) = (+ 0.2, −0.12, −0.12) are used. The pattern superimposition process by the error diffusion method in the fourth step S34 is different from the conventional error diffusion method in the sub-step S34-2.
[サブステップS34−3]
次に、式(22)の誤差計算を行う。
EY(x,y)=PY′(x、y)−Oy(x,y) (22)
EY(x,y)は2値化による量子化誤差を表わし、この誤差成分を入力信号にフィードバックすることにより、量子化誤差が補償される。
[Sub-step S34-3]
Next, the error calculation of Expression (22) is performed.
EY (x, y) = PY ′ (x, y) −Oy (x, y) (22)
EY (x, y) represents a quantization error due to binarization, and the error is compensated by feeding back this error component to the input signal.
[サブステップS34−4]
次に、式(23)により累積誤差の計算を行う。
Next, the cumulative error is calculated by equation (23).
ここで、a(xi,yi)は誤差の分配係数であり、表1の値を用いる。
以上の処理を画素を走査しながら繰り返すことにより、全画像について処理を行う。また、M成分、C成分についても同様の計算を行うことにより、誤差拡散によって2値化した画像O′y,O′m,O′cが得られる。 By repeating the above processing while scanning the pixels, the processing is performed for all the images. Further, by performing the same calculation for the M component and the C component, binarized images O′y, O′m, and O′c are obtained by error diffusion.
なお、ここでは誤差拡散法を用いたが、誤差拡散法に代えてディザ法などでもよい。 Although the error diffusion method is used here, a dither method or the like may be used instead of the error diffusion method.
以上が画像合成の一連の処理であり、最後に画像記録部で2値化出力画像O′Y,O′M,O′Cに従って画像記録を行う。すなわち、Oy(x,y)=1の場合は画素(x,y)にY色インクの印字を行い、Oy(x,y)=0の場合は印字を行わない。これにより、マクロな領域で平均化した濃度がO′y,O′m,O′cで表わされる濃度とほぼ同じ画像が再現される。 The above is a series of image composition processing. Finally, the image recording unit records an image according to the binarized output images O′Y, O′M, and O′C. That is, when Oy (x, y) = 1, Y color ink is printed on the pixel (x, y), and when Oy (x, y) = 0, printing is not performed. As a result, an image in which the density averaged in the macro area is almost the same as the density represented by O′y, O′m, and O′c is reproduced.
なお、このとき墨加刷処理を行ってもよい。墨加刷処理はYMC全ての色を記録する画素をK(黒)インクに置換する処理であり、インク量の低減による印字コストの低減、インクのにじみの低減、黒インクを用いることによる濃度向上などの効果がある。具体的な処理としては種々の方式が提案されているが、例えば以下の処理を行い、墨加刷処理画像のO″Y,O″M,O″C,O″Kに従って記録を行えばよい。この場合、画像記録部はYMCKの4色の記録ができることが必要となる。 At this time, the black printing process may be performed. Ink reprinting is a process that replaces all YMC pixels that record colors with K (black) ink, reducing printing costs by reducing the amount of ink, reducing ink bleeding, and improving density by using black ink. There are effects such as. Various methods have been proposed as specific processing. For example, the following processing may be performed and recording may be performed in accordance with O ″ Y, O ″ M, O ″ C, and O ″ K of the blackened image. . In this case, the image recording unit needs to be able to record four colors of YMCK.
if(O′Y=1かつO′M=1かつO′C=1)
OY″=0 OM″=0 OC″=0 OK″=1
else OY″=OY OM″=OM OC″=OC OK″=0
(24)
以上の一連の処理により、誤差拡散パターンとしてパターン変調画像が埋込まれる。この処理によって得られる記録画像(合成画像)は、以下のような性質を持つ。すなわち、誤差拡散処理により濃度が補償されることにより、合成画像としてマクロ的には被埋込み画像の色度とほぼ同じ色度をもつ画像が記録される。また、第2の実施形態と同様に変調パターン画像成分は視覚的に感度の低い高周波数成分が強い色差信号である。また、僅かに存在する低周波成分も、誤差拡散による濃度補償作用によりさらに低下する。このため、埋込み画像により変調されたパターン変調画像の成分はほとんど視覚的には観測できない。
if (O′Y = 1 and O′M = 1 and O′C = 1)
OY ″ = 0 OM ″ = 0 OC ″ = 0 OK ″ = 1
else OY ″ = OY OM ″ = OM OC ″ = OC OK ″ = 0
(24)
Through the series of processes described above, a pattern-modulated image is embedded as an error diffusion pattern. A recorded image (synthesized image) obtained by this processing has the following properties. That is, by compensating the density by error diffusion processing, an image having substantially the same chromaticity as that of the embedded image is recorded as a synthesized image in a macro manner. Similarly to the second embodiment, the modulation pattern image component is a color difference signal having a high frequency component with low visual sensitivity. Further, the low-frequency component that is slightly present is further reduced by the density compensation effect by error diffusion. For this reason, the component of the pattern modulation image modulated by the embedded image can hardly be visually observed.
合成画像は誤差拡散過程の中で、パターン変調画像の強度が付加された後に2値化されているので、2値化画像はパターン変調画像との相関が極めて高くなっている。すなわち、変調パラメータ(Vy,Vm,Vc)の値に応じて、パラメータが正の場合は正の相関、負の場合は負の相関を持つ。また、パラメータの絶対値が大きいほど相関が高くなる。ここではVy≧0,Vm<0,Vc<0なので、Y成分はパターン変調画像と正の相関が高く、M,C成分はパターン変調画像と負の相関が高くなる。 Since the synthesized image is binarized after the intensity of the pattern modulation image is added in the error diffusion process, the binarized image has a very high correlation with the pattern modulation image. That is, according to the value of the modulation parameter (Vy, Vm, Vc), a positive correlation is obtained when the parameter is positive, and a negative correlation is obtained when the parameter is negative. Further, the correlation increases as the absolute value of the parameter increases. Here, since Vy ≧ 0, Vm <0, and Vc <0, the Y component has a high positive correlation with the pattern modulation image, and the M and C components have a high negative correlation with the pattern modulation image.
一方、パターン変調画像はパターン画像を埋込み画像により反転したものである。このため、埋込み画像の画像値が1の画素ではこの相関の正負が反転する。すなわち、埋込み画像の画素値が0の領域では、パターン変調画像は合成画像のY成分は正の相関を持ち、M,C成分とは負の相関を持つ。また、埋込み画像の画素値が1の領域ではパターン変調画像は合成画像のY成分と負の相関を持ち、M,C成分とは正の相関を持つ。 On the other hand, the pattern modulation image is an inversion of the pattern image by the embedded image. For this reason, the positive / negative of this correlation is reversed at a pixel whose image value is 1 in the embedded image. In other words, in the region where the pixel value of the embedded image is 0, the pattern-modulated image has a positive correlation with the Y component of the composite image and a negative correlation with the M and C components. In the region where the pixel value of the embedded image is 1, the pattern-modulated image has a negative correlation with the Y component of the composite image, and has a positive correlation with the M and C components.
次に、第3の実施形態によって記録された合成画像から埋込み画像を再生する方法について説明する。本実施形態においても、第2の実施形態と同様に図10に示すように不規則パターン画像Q(x,y)に対応した透過率分布を持つ透明な再生用シート1003を合成画像が記録された記録物1100上に重ねることにより、埋込み画像の再生を行う。本実施形態では、再生用シート1003として第2の実施形態で示したものと同じものを用いる。すなわち、再生用シート1003の透過率分布Tr(x,y),Tg(x,y),Tb(x,y)は前記の式(16)で表わされる。この再生用シート1003を記録物1100上に重ねることにより、埋込み画像がY−Bの色差信号として再生される。
Next, a method for reproducing an embedded image from the composite image recorded according to the third embodiment will be described. Also in this embodiment, as in the second embodiment, a composite image is recorded on a
このような再生用シート1003を記録物1100上に重ねることにより、埋込み画像が再生される原理について説明する。上述したように、埋込み画像の画素値が0の領域では、パターン変調画像は合成画像のY成分と正の相関を持ち、M,C成分とは負の相関を持つ。また、埋込み画像の画素値が1の領域では、パターン変調画像は合成画像のY成分と負の相関を持ち、M,C成分とは正の相関を持つ。
The principle of reproducing the embedded image by superimposing such a
従って、上述した再生用シート1003を記録物1100上に重ねることにより、埋込み画像の画素値が0の領域ではYインクの印字されている画素が再生用シート1003の黒画素と重なりやすくなり、またMインクおよびCインクの印字されている画素は再生用シート1003の白(透明)画素と重なりやすくなる。すなわち、マクロ的にみると埋込み画像の画素値が0の領域では、色がM、Cの合成色であるBの方にシフトする。一方、埋込み画像の画素値が1の領域では、同様の理由でYの方にシフトする。このため再生用シート1003を重ねることにより、埋込み画像の画素値に応じて画像の色度がYもしくはB方向にシフトするので、埋込み画像はY−Bの色差に変調された情報として再生される。
Therefore, by superimposing the above-described
以上説明したように、第3の実施形態においても第1および第2の実施形態と同様に、被埋込み画像と視覚的にほぼ同じで、画質劣化なしに別の画像(埋込み画像)を埋込んだ合成画像を記録することができる。また、この合成画像が記録された記録物上に所定の再生用シートを重ねることにより、複雑な信号処理を必要とすることなく、簡単に視覚的に認識できるように再生することができる。しかも、実施形態ではパターン画像に不規則パターンを用いているので、第2の実施形態と同様に合成画像から埋込んだパターンを推定することが困難であるという特徴を持つ。 As described above, in the third embodiment, as in the first and second embodiments, it is visually the same as the embedded image, and another image (embedded image) is embedded without deterioration in image quality. A composite image can be recorded. Further, by superimposing a predetermined reproduction sheet on the recorded material on which the composite image is recorded, it is possible to reproduce the image so that it can be easily recognized visually without requiring complicated signal processing. In addition, since the irregular pattern is used in the pattern image in the embodiment, it is difficult to estimate the embedded pattern from the synthesized image, as in the second embodiment.
さらに、本実施形態では第1および第2の実施形態にない特徴として、2値記録で合成画像を記録することから、インクジェット記録方式のような画素毎の多値濃度の制御が容易でない記録方式のプリンタを用いた場合にも容易に適用が可能であるという利点を有する。 Furthermore, in this embodiment, as a feature not in the first and second embodiments, since a composite image is recorded by binary recording, a recording method in which control of multi-value density for each pixel is not easy as in an ink jet recording method. This printer has the advantage that it can be easily applied even when the printer is used.
(第4の実施形態)
次に、本発明に係る第4の実施形態について説明する。第1〜第3の実施形態では、透過率分布を持った再生用シートを記録物上に重ねることにより、埋込み画像の再生を行ったのに対し、本実施形態は厚み分布を持った光学素子により再生を行うことができるようにした点が異なる。
(Fourth embodiment)
Next, a fourth embodiment according to the present invention will be described. In the first to third embodiments, an embedded image is reproduced by superimposing a reproduction sheet having a transmittance distribution on a recorded material, whereas this embodiment is an optical element having a thickness distribution. The difference is that playback can be performed.
まず、本実施形態に係る画像合成記録装置について説明する。本実施形態における画像合成記録装置の構成および処理手順は第1の実施形態と基本的に同じであり、パターン画像の構成のみがやや異なる。以下、本実施形態における処理手順を図18に示すフローチャートを用いて説明する。 First, the image composition recording apparatus according to the present embodiment will be described. The configuration and processing procedure of the image composition recording apparatus in this embodiment are basically the same as those in the first embodiment, and only the configuration of the pattern image is slightly different. Hereinafter, the processing procedure in the present embodiment will be described with reference to the flowchart shown in FIG.
[第1ステップ(パターン発生)]
まず、第1ステップS41でパターン画像Q(x,y)を発生する。本実施形態では、このパターン画像Q(x,y)として図19に示すようなストライプ状のパターン画像を用いる。このパターン画像Q(x,y)は、色差量(Vr,Vg,Vb)に与えるゲインが−1の画素と1の画素をストライプ状に配列したものであり、図19の例ではゲイン−1の画素をy軸方向に2列並べたものと、ゲイン1の画素をy軸方向に2列並べたものを交互に、すなわちx軸方向に4画素の周期で配列して構成されている。このパターン画像Q(x,y)の生成式を式(25)に示す。
[First step (pattern generation)]
First, a pattern image Q (x, y) is generated in the first step S41. In the present embodiment, a stripe pattern image as shown in FIG. 19 is used as the pattern image Q (x, y). This pattern image Q (x, y) is obtained by arranging pixels having a gain of −1 and pixels having a gain of −1 to a color difference amount (Vr, Vg, Vb) in a stripe shape. In the example of FIG. The pixels are arranged in two rows in the y-axis direction and the pixels in which the
もし(int(x/2)mod2=0ならば、Q(x,y)=−1
もし(int(x/2)mod2=1ならば、Q(x,y)=1
(25)
[第2ステップ(パターン変調)]
[第3ステップ(パターン重畳)]
[第4ステップ(色修正]
次に、第2ステップS42、第3ステップS43および第4ステップS44でパターンの変調、パターンの重畳および色修正を順次行い、最後に得られた合成画像を記録するが、これらの処理は第1の実施形態と全く同じであるので、説明は省略する。
If (int (x / 2)
If (int (x / 2)
(25)
[Second step (pattern modulation)]
[Third step (pattern superposition)]
[Fourth Step (Color Correction)
Next, in the second step S42, the third step S43, and the fourth step S44, pattern modulation, pattern superimposition, and color correction are sequentially performed, and the finally obtained composite image is recorded. Since it is exactly the same as the embodiment, the description is omitted.
本実施形態においても、第1の実施形態と同様に被埋込み画像と埋込み画像を合成した合成画像が記録される。この合成画像は視覚的にほぼ被埋込み画像と同じに見える画像となり、埋込み画像の情報は全く、もしくはほとんど見えない情報となる。 Also in the present embodiment, a composite image obtained by combining the embedded image and the embedded image is recorded as in the first embodiment. This synthesized image is an image that looks visually the same as the embedded image, and the information of the embedded image is information that is completely or hardly visible.
次に、本実施形態で記録される合成画像から埋込み画像を再生する方法について説明する。本実施形態では埋込み画像の再生に円柱レンズアレイ、いわゆるレンティキュラーレンズをシート状に構成した光学系を用いる。 Next, a method for reproducing an embedded image from a composite image recorded in the present embodiment will be described. In this embodiment, an optical system in which a cylindrical lens array, a so-called lenticular lens, is formed into a sheet shape is used for reproducing an embedded image.
図20はレンティキュラーレンズ2000の構成を示したもので、複数の円柱レンズを平行に並べた構造となっている。各円柱レンズの焦点は、底面2001上にある。また、円柱レンズのピッチはパターン画像Q(x,y)のx軸方向の周期(本実施形態では4画素)と等しくなっている。
FIG. 20 shows the configuration of the
図21に、レンティキュラーレンズ2000を記録物2002上の合成画像の上に重ねた場合の模式図を示す。合成画像の上に円柱レンズの円柱軸(図21で紙面に垂直方向)と合成画像のx軸方向、すなわちパターン画像Q(x,y)の周期方向が直交するように重ね、さらに対応するパターン画像のQ(x,y)=1の部分の中心が各円柱レンズの中心軸上に乗るように位置を合わせる。そして、レンティキュラーレンズ2000の上面から観測することにより、埋込み画像が再生される。
FIG. 21 is a schematic diagram when the
本実施形態における埋込み画像の再生原理を図21を用いて説明する。パターン画像のQ(x,y)=1の部分が円柱レンズの中心軸と合っているので、円柱レンズ面に対して垂直方向から画像を観察すると、光は全てパターン画像のQ (x,y)=1の中心部分に集まる。このため、パターン画像のQ(x,y)=1の部分の画像が見え、Q(x,y)=−1の部分の画像は全く観察画像には寄与しなくなる。このため、埋込み画像の画素値R(x,y)が0の領域では(Vr,Vg,Vb)が加算した画像が見え、R(x,y)=1の領域では(Vr,Vg,Vb)を減算した画像が見える。従って、埋込み画像に応じて色差がシフトした画像が観察される。 The reproduction principle of the embedded image in this embodiment will be described with reference to FIG. Since the Q (x, y) = 1 portion of the pattern image is aligned with the central axis of the cylindrical lens, when the image is observed from the direction perpendicular to the cylindrical lens surface, all the light is Q (x, y) of the pattern image. ) = 1. For this reason, the image of the part of Q (x, y) = 1 of the pattern image is seen, and the image of the part of Q (x, y) = − 1 does not contribute to the observation image at all. For this reason, an image in which (Vr, Vg, Vb) is added can be seen in the region where the pixel value R (x, y) of the embedded image is 0, and (Vr, Vg, Vb) in the region where R (x, y) = 1. ) Is subtracted. Therefore, an image in which the color difference is shifted according to the embedded image is observed.
ここで、第1の実施形態では埋込み画像のR(x,y)=1の部分は再生用シートの黒部分に重なって見えなかったのに対し、本実施形態ではR(x,y)=1の部分も色差シフトした色として見えるため、第1の実施形態に比べ2倍の色差コントラストが得られる。また、被埋込み画像成分はシートの黒画素により遮られることがないので、埋込み画像成分は本来の明るさで観察される。
Here, in the first embodiment, the portion of R (x, y) = 1 in the embedded image did not overlap with the black portion of the reproduction sheet, whereas in this embodiment, R (x, y) = Since the
また、第1の実施形態では再生用シートと合成画像の位置を所定の関係に合わないと埋込み画像を再生することができなかったのに対し、本実施形態では再生用光学素子であるレンティキュラーレンズ2000が合成画像に対して所定の位置関係からずれていても、視点を動かすことにより埋込み画像を再生することができる。すなわち、例えば図22に示すようにパターン画像のQ(x,y)=1の部分が中心軸2201から少し右にずれている場合を考える。このような場合は、矢印2202の方向から観察するように視点を移すことにより、焦点位置はQ(x,y)=1の位置にシフトし、正しく埋込み画像を再生できる。
In the first embodiment, the embedded image cannot be reproduced unless the positions of the reproduction sheet and the composite image match a predetermined relationship. In the present embodiment, the lenticular, which is a reproduction optical element, cannot be reproduced. Even if the
本実施形態においても、第1の実施形態と同様に被埋込み画像と視覚的にほぼ同じであり、埋込み画像を記録できる。また、レンティキュラーレンズのような所定のシート状の再生用光学素子を重ねることにより、この埋込み画像を被埋込み画像への重畳画像として容易に再生し、視覚的に確認することができる。 Also in this embodiment, it is visually almost the same as the embedded image as in the first embodiment, and the embedded image can be recorded. In addition, by overlaying a predetermined sheet-shaped reproducing optical element such as a lenticular lens, the embedded image can be easily reproduced as a superimposed image on the embedded image and visually confirmed.
また、本実施形態では再生用光学素子にレンティキュラーレンズを用いているため、(1) 第1の実施形態と比べて再生コントラストが約2倍になる、(2) 再生用光学素子と合成画像の位相がずれていても、視点をずらすことにより再生コントラストが最大の位置を求めることができる、(3) 被埋込め画像もそのままの明るさで観察できる、などの優れた利点を有する。 In this embodiment, since a lenticular lens is used for the reproducing optical element, (1) the reproduction contrast is about twice that of the first embodiment. (2) the reproducing optical element and the composite image. Even if the phase is shifted, the position where the reproduction contrast is maximum can be obtained by shifting the viewpoint, and (3) the embedded image can be observed with the same brightness.
101…CPU、102…画像メモリ、103…画像入力部、104…プログラムメモリ、105…画像記録部、106…バス、107…画像処理部、701…画像メモリ、702…画像メモリ、703…パターン発生部、704…パターン変調部、705…パターン重畳部、706…色修正部、707…画像記録部、1000…画像再生装置本体、1003…再生用シート、1100…記録物、2000…レンティキュラーレンズ(再生用光学素子)、2002…記録物。
DESCRIPTION OF SYMBOLS 101 ... CPU, 102 ... Image memory, 103 ... Image input part, 104 ... Program memory, 105 ... Image recording part, 106 ... Bus, 107 ... Image processing part, 701 ... Image memory, 702 ... Image memory, 703 ...
Claims (4)
前記色差パターン画像信号のパターンと同一パターンの透過率分布を有し、前記記録物上に配置されるシートを備えることを特徴とする画像再生装置。 Gain information given to a predetermined color difference amount is multiplied by a predetermined color difference amount by a pattern modulated image signal obtained by modulating a color difference pattern image signal having a pattern expressed for each image unit with a first image signal . after the image signal superimposed on the second image signal is an image reproducing apparatus for reproducing the first image signal as a visible image from the recorded matter recorded as an image,
An image reproducing apparatus comprising: a sheet having a transmittance distribution of the same pattern as the pattern of the color difference pattern image signal and disposed on the recorded matter.
前記色差パターン画像信号のパターンと同一パターンの厚み分布を有し、前記記録物上に配置される光学素子を備えることを特徴とする画像再生装置。 Gain information given to a predetermined color difference amount is multiplied by a predetermined color difference amount by a pattern modulated image signal obtained by modulating a color difference pattern image signal having a pattern expressed for each image unit with a first image signal . after the image signal superimposed on the second image signal is an image reproducing apparatus for reproducing the first image signal as a visible image from the recorded matter recorded as an image,
An image reproducing apparatus comprising: an optical element having a thickness distribution of the same pattern as the pattern of the color difference pattern image signal and disposed on the recorded matter.
前記色差パターン画像信号のパターンと同一パターンの透過率分布を有するシートを前記記録物上に配置することにより、当該シートを通じて前記記録物から前記第1の画像信号を可視画像として再生できるようにしたことを特徴とする画像再生方法。By arranging a sheet having a transmittance distribution of the same pattern as the pattern of the color difference pattern image signal on the recorded material, the first image signal can be reproduced as a visible image from the recorded material through the sheet. An image reproduction method characterized by the above.
前記色差パターン画像信号のパターンと同一パターンの厚み分布を有する光学素子を前記記録物上に配置することにより、当該光学素子を通じて前記記録物から前記第1の画像信号を可視画像として再生できるようにしたことを特徴とする画像再生方法。By arranging an optical element having the same thickness distribution as the pattern of the color difference pattern image signal on the recorded material, the first image signal can be reproduced as a visible image from the recorded material through the optical element. An image reproduction method characterized by that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003323361A JP3785166B2 (en) | 2003-09-16 | 2003-09-16 | Image reproducing apparatus and image reproducing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003323361A JP3785166B2 (en) | 2003-09-16 | 2003-09-16 | Image reproducing apparatus and image reproducing method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05752996A Division JP3547892B2 (en) | 1996-03-14 | 1996-03-14 | Image recording apparatus and image recording method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004048800A JP2004048800A (en) | 2004-02-12 |
| JP3785166B2 true JP3785166B2 (en) | 2006-06-14 |
Family
ID=31712722
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003323361A Expired - Lifetime JP3785166B2 (en) | 2003-09-16 | 2003-09-16 | Image reproducing apparatus and image reproducing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3785166B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5725818B2 (en) * | 2010-12-01 | 2015-05-27 | 富士フイルム株式会社 | Transparent conductive sheet manufacturing method, transparent conductive sheet and program |
-
2003
- 2003-09-16 JP JP2003323361A patent/JP3785166B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004048800A (en) | 2004-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3547892B2 (en) | Image recording apparatus and image recording method | |
| US6095566A (en) | Image recorded product, image recording system, image reproducing system, and recording medium for use to superimpose-record/reproduce additional information | |
| US6721440B2 (en) | Low visibility watermarks using an out-of-phase color | |
| JP4712054B2 (en) | Method and system for simulating images with differential gloss | |
| KR100701907B1 (en) | Image processing apparatus | |
| US7961905B2 (en) | Encoding invisible electronic information in a printed document | |
| JP3720747B2 (en) | Image forming system, image forming apparatus, and image forming method | |
| JP4227048B2 (en) | Image processing system | |
| US7072522B2 (en) | Image processing apparatus and method | |
| KR100547794B1 (en) | Image processing method | |
| US8520261B2 (en) | Controller and halftone dot signal generating method capable of controlling glossiness of image | |
| JP4807414B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| Pei et al. | Data hiding in halftone images with noise-balanced error diffusion | |
| JP3785166B2 (en) | Image reproducing apparatus and image reproducing method | |
| JP4290681B2 (en) | Image processing apparatus, image processing method, image processing program, machine-readable recording medium recording image processing program, and printed matter | |
| JPH11355554A (en) | Image information processing method and forgery prevention method for certificates etc. | |
| JP4038956B2 (en) | Image generation system and image generation method | |
| JP4345221B2 (en) | Image generation system, recorded image, and image recording medium | |
| JP2001103282A (en) | Image processing method and apparatus | |
| JP2006303807A (en) | Digital watermark embedding apparatus, digital watermark embedding method, program for implementing the method on a computer, machine-readable recording medium recording the program, and printed matter | |
| JP4746663B2 (en) | Image processing apparatus and image processing method | |
| JP2000078391A (en) | Printing method and device and recording medium thereof | |
| JP2007150799A (en) | Apparatus and method for creating image information | |
| JP2001103285A (en) | Image processing method and apparatus | |
| JP2009065364A (en) | Image processing method, image processing apparatus, and recorded material |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050524 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050531 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050801 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060314 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060316 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100324 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100324 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110324 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120324 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130324 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130324 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140324 Year of fee payment: 8 |
|
| EXPY | Cancellation because of completion of term |