Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP3785166B2 - Image reproducing apparatus and image reproducing method - Google Patents
[go: Go Back, main page]

JP3785166B2 - Image reproducing apparatus and image reproducing method - Google Patents

Image reproducing apparatus and image reproducing method Download PDF

Info

Publication number
JP3785166B2
JP3785166B2 JP2003323361A JP2003323361A JP3785166B2 JP 3785166 B2 JP3785166 B2 JP 3785166B2 JP 2003323361 A JP2003323361 A JP 2003323361A JP 2003323361 A JP2003323361 A JP 2003323361A JP 3785166 B2 JP3785166 B2 JP 3785166B2
Authority
JP
Japan
Prior art keywords
image
pattern
image signal
color difference
recorded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003323361A
Other languages
Japanese (ja)
Other versions
JP2004048800A (en
Inventor
直史 山本
秀和 関沢
晴子 川上
和彦 樋口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2003323361A priority Critical patent/JP3785166B2/en
Publication of JP2004048800A publication Critical patent/JP2004048800A/en
Application granted granted Critical
Publication of JP3785166B2 publication Critical patent/JP3785166B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Record Information Processing For Printing (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は画像処理装置に係り、特に主たる画像に別の付加的な画像が重畳記録された画像からその付加的な画像を再生するための再生装置に関する。   The present invention relates to an image processing apparatus, and more particularly to a reproducing apparatus for reproducing an additional image from an image in which another additional image is superimposed and recorded on a main image.

ある画像に他の付加情報(主として画像)を重畳して、付加情報を見えない状態で画像と共に記録する技術は、例えば顔写真などの画像が記録されたIDカード、ロゴマークや印影などが画像として記録された書類その他の記録物の改竄、偽造を防止する上で有効である。記録画像に付加情報を重畳する方法として、以下の文献に示される方式が知られている。   The technology that superimposes other additional information (mainly images) on an image and records the additional information together with the image in an invisible state is, for example, an ID card on which an image such as a face photograph is recorded, a logo mark, or a seal image. It is effective in preventing falsification and forgery of documents and other recorded items recorded as. As a method for superimposing additional information on a recorded image, methods shown in the following documents are known.

非特許文献1には、擬似階調表現されたディジタル画像に情報を重畳する方法が開示されている。この方式では濃度を擬似階調表現する際に、同じ濃度を複数通りの階調パターンで表現できる自由度を利用して付加情報を重畳する。   Non-Patent Document 1 discloses a method of superimposing information on a digital image expressed in pseudo gradation. In this method, when the density is expressed by pseudo gradation, additional information is superimposed using a degree of freedom that allows the same density to be expressed by a plurality of gradation patterns.

非特許文献2では、第2の画像に所定の変換を施したものを第1の画像にディジタル的に重畳する。この方法では、第2の画像の低周波数成分を高周波数成分に変換することにより、第2の画像は人間には見えないか、ノイズ状の無意味なものとして観測される。これら第1の画像と第2の画像の重畳画像に所定の第2の変換を施すことにより、第2の画像を復元できる。   In Non-Patent Document 2, a second image subjected to a predetermined conversion is digitally superimposed on the first image. In this method, by converting the low-frequency component of the second image into the high-frequency component, the second image cannot be seen by humans or is observed as noise-like meaningless. The second image can be restored by applying a predetermined second conversion to the superimposed image of the first image and the second image.

特許文献1では、カラー複写機のハードコピー出力から、記録した複写機などを特定できる方式について開示している。この方式では、ハードコピー出力に重ねて黄色の小さいドットパターンを記録する。このドットパターンは複写機の型番などの条件に応じた形状となっている。このハードコピー出力をスキャナなどで読み取り、重ねて記録したドットパターンを抽出して所定の信号処理を行うことにより、記録した複写機を同定できる。   Japanese Patent Application Laid-Open No. 2004-228561 discloses a method that can specify a recorded copying machine or the like from a hard copy output of a color copying machine. In this method, a small yellow dot pattern is recorded on the hard copy output. This dot pattern has a shape corresponding to conditions such as the model number of the copying machine. By reading the hard copy output with a scanner or the like, extracting the dot pattern recorded in an overlapping manner and performing predetermined signal processing, the recorded copying machine can be identified.

特許文献2は、付加情報をカラー画像に高周波数の色差信号として重畳する方法を開示している。この方式では付加情報をコード化し、コードに対応した高空間周波数ピークを持つ色差成分を原画像に重畳して記録している。高空間周波数の色差成分は人間に見えにくいので、重畳した付加情報はほとんど原画像を劣化させない。また、一般の画像には高周波の色差成分はほとんど含まれないので、記録画像を読み取り、信号処理によって高周波の色差成分を抽出することにより、重畳した付加情報を再生することができる。   Patent Document 2 discloses a method of superimposing additional information on a color image as a high-frequency color difference signal. In this method, additional information is coded, and a color difference component having a high spatial frequency peak corresponding to the code is superimposed and recorded on the original image. Since the color difference component of high spatial frequency is difficult to be seen by humans, the superimposed additional information hardly degrades the original image. In addition, since a general image contains almost no high-frequency color difference component, the superimposed additional information can be reproduced by reading the recorded image and extracting the high-frequency color difference component by signal processing.

非特許文献3は、画像への付加情報の重畳ではないが、類似の例として知られている方式である。この方式は2つのランダムな画像を形成し、これらを重ねると有意な画像が現れるというものである。しかし、有意な画像の上に目に見えない形の情報を重畳するものではない。   Non-Patent Document 3 is a method known as a similar example, although it is not the superimposition of additional information on an image. In this method, two random images are formed, and when these are overlapped, a significant image appears. However, invisible information is not superimposed on a significant image.

非特許文献4では、ある画像を擬似階調表現するに際し、特定の領域だけ互いに異なる濃度階調表現のパターンを持つような2枚の画像を作成し、2枚の画像を重ねると特定の領域が濃く表われるという方式を提案している。
特開平4−294862号公報 特開平7−123244号公報 「カラー濃度パターンによる画像へのテキストデータの合成符号化法」、画像電子学会誌、17−4(1988),pp194−198 小松他:「文書画像通信におけるディジタル透かしの提案と署名への応用」、信学論J72−B−1,pp208−218 六浦:「復号処理の簡易な画像暗号化方式」、信学論J72−B−1,12 岡:「情報の視覚的暗号化」、1995年電子情報通信学会基礎・境界ソサイエティ大会予稿A−123
In Non-Patent Document 4, when a certain image is represented by pseudo gradation, two images having different density gradation expression patterns are created only in a specific region, and when the two images are overlapped, the specific region is obtained. Has proposed a method that makes the color appear dark.
JP-A-4-294862 JP-A-7-123244 “Synthetic coding method of text data to image by color density pattern”, Journal of the Institute of Image Electronics Engineers of Japan, 17-4 (1988), pp194-198 Komatsu et al .: "Proposal of digital watermarking in document image communication and its application to signature", IEICE J72-B-1, pp208-218. Mutsuura: “Simple image encryption method for decryption”, IEICE J72-B-1,12 Oka: "Visual Encryption of Information", 1995 IEICE Fundamental / Boundary Society Conference Preliminary Proposal A-123

以上に挙げた公知技術のうち、非特許文献1および非特許文献2の技術はディジタル画像に別の付加情報を重畳するものであるが、ディジタル信号上で重畳操作を行うものであり、ハードコピー出力を対象としたものではない。また、重畳した付加情報を抽出するのに複雑な信号処理や演算処理が必要となり、簡易に付加情報を再生することは難しい。さらに、これらの方式で作成した画像をハードコピー記録を組み合わせることは可能であるが、記録と読み取りの動作を行うことにより、重畳した付加情報は著しく劣化してしまい、付加情報の復元は困難である。   Among the known techniques mentioned above, the techniques of Non-Patent Document 1 and Non-Patent Document 2 superimpose other additional information on a digital image, but perform superimposing operation on a digital signal, and hard copy It is not intended for output. Moreover, complicated signal processing and arithmetic processing are required to extract the superimposed additional information, and it is difficult to easily reproduce the additional information. Furthermore, it is possible to combine hard copy recording with images created by these methods, but by performing the recording and reading operations, the superimposed additional information is significantly degraded, and it is difficult to restore the additional information. is there.

特許文献1および特許文献2の技術は、ハードコピー画像を対象としたものであるが、重畳した付加情報の再生を行うために、画像の読取りと信号処理や演算を行う必要があり、やはり重畳した付加情報を簡易に再生することは困難であった。   The techniques of Patent Document 1 and Patent Document 2 are intended for hard copy images, but in order to reproduce the superimposed additional information, it is necessary to perform image reading, signal processing, and computation. It was difficult to easily reproduce the additional information.

非特許文献3の技術では、記録物上にシートを重ねることにより、情報を簡易に再生することはできるが、これは単独ではランダムな画像であり、有意な画像に別の情報を重畳することに用いることはできない。   In the technique of Non-Patent Document 3, information can be easily reproduced by stacking sheets on a recorded material, but this is a random image by itself, and superimposing other information on a significant image. It cannot be used for.

非特許文献4の技術では、重ねる2枚の画像が対になっており、対になっていない画像を重ねないと情報を再生することができない。すなわち、複数の画像に対して情報を再現しようとすると、その枚数分の対応する画像を用意しておく必要がある。   In the technique of Non-Patent Document 4, two images to be superimposed are paired, and information cannot be reproduced unless images that are not paired are superimposed. That is, if information is to be reproduced for a plurality of images, it is necessary to prepare corresponding images for the number of images.

本発明は、複雑な信号処理を必要としない簡易な操作により、ハードコピーに重畳記録された画像を再生するための画像再生装置を提供することを目的とする。   An object of the present invention is to provide an image reproduction apparatus for reproducing an image superimposed and recorded on a hard copy by a simple operation that does not require complicated signal processing.

本発明に係る画像再生装置は、所定の色差量に与えるゲインの情報が画像単位毎に表されたパターンを有する色差パターン画像信号に対し第1の画像信号により変調を施して得られるパターン変調画像信号を所定の色差量を乗じた後に第2の画像信号に重畳した画像信号が画像として記録された記録物から前記第1の画像信号を可視画像として再生するための画像再生装置であって、前記色差パターン画像信号のパターンと同一パターンの透過率分布を有し、前記記録物上に配置されるシートを備えることを特徴とする。 An image reproduction apparatus according to the present invention is a pattern-modulated image obtained by modulating a color difference pattern image signal having a pattern in which gain information given to a predetermined color difference amount is represented for each image unit using a first image signal. An image reproducing apparatus for reproducing the first image signal as a visible image from a recorded matter in which an image signal superimposed on a second image signal after being multiplied by a predetermined color difference amount is recorded as an image, A sheet having a transmittance distribution of the same pattern as the pattern of the color difference pattern image signal and provided on the recorded matter is provided.

また、本発明に係る画像再生装置は、所定の色差量に与えるゲインの情報が画像単位毎に表されたパターンを有する色差パターン画像信号に対し第1の画像信号により変調を施して得られるパターン変調画像信号を所定の色差量を乗じた後に第2の画像信号に重畳した画像信号が画像として記録された記録物から前記第1の画像信号を可視画像として再生するための画像再生装置であって、前記色差パターン画像信号のパターンと同一パターンの厚み分布を有し、前記記録物上に配置される光学素子を備えることを特徴とする。
The image reproduction apparatus according to the present invention also provides a pattern obtained by modulating a color difference pattern image signal having a pattern in which gain information given to a predetermined color difference amount is represented for each image unit using a first image signal. An image reproduction apparatus for reproducing a first image signal as a visible image from a recorded matter in which an image signal obtained by multiplying a modulated image signal by a predetermined color difference amount and superimposed on a second image signal is recorded as an image. And an optical element having the same thickness distribution as the pattern of the color difference pattern image signal and disposed on the recorded matter.

第1の画像を第2の画像の上に埋込んだ合成画像の再生時に、複雑な信号処理を必要とすることなく、容易に埋込み画像を再生することができる。   When a composite image in which the first image is embedded on the second image is reproduced, the embedded image can be easily reproduced without requiring complicated signal processing.

(第1の実施形態)
以下、本発明を画像合成記録/再生装置に適用した第1の実施形態について説明する。本装置は、2つの画像を合成して記録し、再生する装置である。さらに詳しくいうと、2つの画像の合成は第1の画像を第2の画像に埋め込むことによって行われる。そして、記録される合成画像は、通常の方法で人間が観察すると、ほぼ第2の画像と同様に見えて第1の画像は見えず、特殊な装置や方法によってのみ第1の画像が再生されて見えるようにする。以下の説明では、便宜上、このように画像合成を行うことを第1の画像を第2の画像に「埋め込む」と表現し、第1の画像を「埋込み画像」、第2の画像を「被埋込み画像」とそれぞれ呼ぶことにする。また、埋込み画像を人間が見えるようにする操作を「再生する」と表現するものとする。
(First embodiment)
A first embodiment in which the present invention is applied to an image composition recording / reproducing apparatus will be described below. This apparatus is an apparatus that synthesizes and records two images and reproduces them. More specifically, the two images are combined by embedding the first image in the second image. Then, when a synthesized image to be recorded is viewed by a human in a normal manner, it looks almost the same as the second image, the first image cannot be seen, and the first image is reproduced only by a special device or method. Make it visible. In the following description, for convenience, performing image synthesis in this way is expressed as “embedding” the first image in the second image, the first image is “embedded image”, and the second image is “covered”. These will be called “embedded images”. In addition, an operation of making an embedded image visible to a human is expressed as “playing”.

図1に、本実施形態に係る画像合成記録装置の構成を示す。この画像合成記録装置はCPU101、画像メモリ102、画像入力部103、プログラムメモリ104および画像記録部105よりなり、これらは全てバス106により接続されている。CPU101、画像メモリ102、画像入力部103およびプログラムメモリ104によって画像処理部107が構成される。   FIG. 1 shows a configuration of an image composition recording apparatus according to the present embodiment. The image composition recording apparatus includes a CPU 101, an image memory 102, an image input unit 103, a program memory 104, and an image recording unit 105, all of which are connected by a bus 106. The CPU 101, the image memory 102, the image input unit 103, and the program memory 104 constitute an image processing unit 107.

この画像合成記録装置の動作を簡単に説明すると、まず画像入力部103を通して被埋込み画像および埋込み画像を画像メモリ102の所定の領域にそれぞれ書込む。そして、以下に示すアルゴリズムに基づき、これらの画像に計算処理を施して合成画像を作成し、この合成画像を画像記録部105でカラーハードコピーとして記録する。   The operation of this image composition recording apparatus will be briefly described. First, the embedded image and the embedded image are written into predetermined areas of the image memory 102 through the image input unit 103, respectively. Then, based on the algorithm shown below, these images are subjected to calculation processing to create a composite image, and this composite image is recorded as a color hard copy by the image recording unit 105.

これら一連の処理は、全てプログラムメモリ104内に格納されたプログラムに従ってCPU101により行われる。なお、処理には専用の装置を用いてもよいが、パーソナルコンピュータなどの汎用の計算機を用いてもよい。この場合、画像メモリ102とプログラムメモリ104は同一のメモリを領域を分けて利用するのが一般的である。   These series of processes are all performed by the CPU 101 in accordance with a program stored in the program memory 104. A dedicated device may be used for the processing, but a general-purpose computer such as a personal computer may be used. In this case, the image memory 102 and the program memory 104 generally use the same memory in divided areas.

次に、本装置の入力画像である被埋込み画像および埋込み画像の構成と、画像処理の内容や意味について詳細に説明する。   Next, the configuration of the embedded image and the embedded image, which are input images of the present apparatus, and the contents and meaning of image processing will be described in detail.

入力画像は通常、計算機での表現に用いられるのと同様に、直交座標系の各格子点上で濃度の定義されたディジタル情報として表現される。ここでは、直交座標系の2軸をx軸、y軸とし、便宜上それぞれ横、縦と表現する。   The input image is usually expressed as digital information having a defined density on each grid point in the Cartesian coordinate system in the same manner as used for expression in a computer. Here, the two axes of the orthogonal coordinate system are the x-axis and the y-axis, and are expressed as horizontal and vertical for convenience.

本実施形態では、埋込み画像は図形や文字などのモノクロ2値画像を用いる。画素(x,y)の濃度値をR(x,y)と表わす。一方、被埋込み画像にはフルカラー画像を用い、R,G,Bの各色成分の画素値をPr(x,y),Pg(x,y),Pb(x,y)と表わす。これらの画素値はPr=0,Pg=0,Pb=0の場合に黒、Pr=1,Pg=1,Pb=1の場合に白をそれぞれ表わすことにする。   In the present embodiment, a monochrome binary image such as a figure or a character is used as the embedded image. The density value of the pixel (x, y) is represented as R (x, y). On the other hand, a full-color image is used as an embedded image, and pixel values of R, G, and B color components are expressed as Pr (x, y), Pg (x, y), and Pb (x, y). These pixel values represent black when Pr = 0, Pg = 0, and Pb = 0, and white when Pr = 1, Pg = 1, and Pb = 1.

次に、本実施形態における画像処理のアルゴリズムについて詳細に説明する。処理手順を図2のフローチャートに示す。   Next, an image processing algorithm in the present embodiment will be described in detail. The processing procedure is shown in the flowchart of FIG.

[第1ステップ(パターン発生)]
まず、第1ステップS11でパターン画像Q(x,y)を発生する。パターン画像は、埋込み画像により変調されて被埋込み画像に重畳される画像であり、人間の目に感じにくい空間周波数の高い画像であることが望ましい。
[First step (pattern generation)]
First, a pattern image Q (x, y) is generated in the first step S11. The pattern image is an image that is modulated by the embedded image and superimposed on the embedded image, and is preferably an image with a high spatial frequency that is difficult to be felt by human eyes.

本実施形態では、パターン画像Q(x,y)として図3に示すような市松模様のパターン画像を用いる。ここでは、パターン画像Q(x,y)の各画素を1または−1という数値で表わしているが、その物理的意味は、各画素毎に所定の色差量(Vr,Vg,Vb)に与えるゲインである。このようなパターン画像Q (x,y)を色差パターン画像という。図3に示すパターン画像Q(x,y)は、ゲイン1およびゲイン−1の画素を(4×4)画素を単位として市松状に配列したパターン画像であり、その生成式を式(1)に示す。   In the present embodiment, a checkered pattern image as shown in FIG. 3 is used as the pattern image Q (x, y). Here, each pixel of the pattern image Q (x, y) is represented by a numerical value of 1 or −1, but its physical meaning is given to a predetermined color difference amount (Vr, Vg, Vb) for each pixel. It is gain. Such a pattern image Q (x, y) is referred to as a color difference pattern image. The pattern image Q (x, y) shown in FIG. 3 is a pattern image in which pixels of gain 1 and gain −1 are arranged in a checkered pattern with (4 × 4) pixels as a unit, and the generation equation thereof is expressed by equation (1). Shown in

(int(x/2)+int(y/2))mod2=0
ならばQ(x,y)=−1
(int(x/2)+int(y/2))mod2=1
ならばQ(x,y)=1 (1)
ここで、int(x)はxの整数部分をとる演算、x mod yはxをyで割ったときの剰余を表わす演算である。このパターン画像Q(x,y)は直流成分が0で、低周波成分も小さい画像、すなわち空間周波数の高い画像となる。
(Int (x / 2) + int (y / 2)) mod 2 = 0
Then Q (x, y) =-1
(Int (x / 2) + int (y / 2)) mod 2 = 1
Then Q (x, y) = 1 (1)
Here, int (x) is an operation that takes an integer part of x, and x mod y is an operation that represents a remainder when x is divided by y. The pattern image Q (x, y) is an image having a direct current component of 0 and a small low frequency component, that is, an image having a high spatial frequency.

[第2ステップ(パターン変調)]
次に、第2ステップS12で埋込み画像R(x,y)によってパターン画像Q(x,y)に変調を施す。この際、まず埋込み画像R(x,y)を式(2)に従って平滑化フィルタにより処理し、平滑化埋込み画像R′(x,y)を得る。

Figure 0003785166
[Second step (pattern modulation)]
Next, in the second step S12, the pattern image Q (x, y) is modulated by the embedded image R (x, y). At this time, the embedded image R (x, y) is first processed by the smoothing filter according to the equation (2) to obtain a smoothed embedded image R ′ (x, y).
Figure 0003785166

ただし、xi,yi,Aiは平滑化フィルタのカーネルを表わす。本実施形態では、図4(a)に示すようなカーネルの(5×5)画素の平滑化フィルタを用いる。すなわち、−2≦xi,yi≦2であり、A(xi,yi)=1/25である。   Here, xi, yi, and Ai represent the smoothing filter kernel. In the present embodiment, a smoothing filter of (5 × 5) pixels of the kernel as shown in FIG. That is, −2 ≦ xi, yi ≦ 2, and A (xi, yi) = 1/25.

この平滑化埋込み画像R′(x,y)によって、式(3)に従いパターン画像Q′(x,y)の変調を行い、パターン変調画像Q′(x,y)を得る。   With this smoothed embedded image R ′ (x, y), the pattern image Q ′ (x, y) is modulated according to the equation (3) to obtain the pattern modulated image Q ′ (x, y).

Q′(x,y)=Q(x,y)・(−2・R′(x,y)+1) (3)
この処理により、パターン変調画像Q′(x,y)として、R′=1の領域ではパターン画像Q(x,y)の−1倍、すなわちパターン画像Q(x,y)を反転した画像が得られ、R′=0の領域ではパターン画像Q(x,y)そのものがパターン変調画像となる。R′が1と0の間の値をとる領域では、パターン変調画像Q′(x,y)はこれらの間の中間的な値となる。R′は平滑化された信号なので、埋込み画像R(x,y)のエッジ領域で1と0の間をとる。従って、以上の処理により埋込み画像R(x,y)の画素値に応じて振幅の極性が反転し、エッジ部では振幅がなだらかに変化する画像がパターン変調画像Q′(x,y)として得られる。
Q ′ (x, y) = Q (x, y) · (−2 · R ′ (x, y) +1) (3)
As a result of this processing, a pattern-modulated image Q ′ (x, y) is obtained by −1 times the pattern image Q (x, y) in the region R ′ = 1, that is, an image obtained by inverting the pattern image Q (x, y). As a result, in the region where R ′ = 0, the pattern image Q (x, y) itself is a pattern modulation image. In the region where R ′ takes a value between 1 and 0, the pattern-modulated image Q ′ (x, y) has an intermediate value between them. Since R ′ is a smoothed signal, it takes between 1 and 0 in the edge region of the embedded image R (x, y). Therefore, by the above processing, the polarity of the amplitude is inverted according to the pixel value of the embedded image R (x, y), and an image in which the amplitude changes gently at the edge portion is obtained as the pattern modulation image Q ′ (x, y). It is done.

図5に、埋込み画像R(x,y)、平滑化埋込み画像R′(x,y)、パターン画像Q(x,y)およびパターン変調画像Q′(x,y)の関係を示す。ただし、図5では便宜上、画像を1次元で表わしている。   FIG. 5 shows the relationship among the embedded image R (x, y), the smoothed embedded image R ′ (x, y), the pattern image Q (x, y), and the pattern-modulated image Q ′ (x, y). However, in FIG. 5, for convenience, the image is represented in one dimension.

なお、上記説明ではパターン画像Q(x,y)に対して平滑化埋込み画像R′(x,y)により振幅変調を施したが、他の例として式(4−1)で表されるような位相変調を用いてもよい。   In the above description, the amplitude modulation is performed on the pattern image Q (x, y) by the smoothed embedded image R ′ (x, y). However, as another example, it is expressed by the equation (4-1). Phase modulation may be used.

Q′(x,y)=Q(x+g(R′(x,y)),y) (4−1)
ただし、g(x)はx=0の場合に0、x=1の場合に3、0<x<1の場合に1をとる関数である。
Q ′ (x, y) = Q (x + g (R ′ (x, y)), y) (4-1)
However, g (x) is a function that takes 0 when x = 0, 3 when x = 1, and 1 when 0 <x <1.

このように位相変調を行った場合、R′=1の領域ではパターン画像Q(x,y)が4画素だけx軸方向にシフトし、R′=0の領域ではパターン画像Q(x,y)そのものがパターン変調画像Q′(x,y)となる。パターン画像Q(x,y)は4画素を周期とするx軸対称な周期画像なので、4画素シフトと振幅の−1倍は同じ意味となる。従って、この位相変調による処理結果と先に示した振幅変調による処理結果は、R′が0,1の部分では等価となり、R′の値が中間値をとる埋込み画像R(x,y)のエッジ部分だけ異なることになる。この位相変調処理では、エッジ部分で位相がなだらかに変化する画像が得られる。   When phase modulation is performed in this way, the pattern image Q (x, y) is shifted by 4 pixels in the x-axis direction in the region of R ′ = 1, and the pattern image Q (x, y) in the region of R ′ = 0. ) Itself becomes a pattern-modulated image Q ′ (x, y). Since the pattern image Q (x, y) is an x-axis symmetric periodic image with a period of 4 pixels, a 4-pixel shift and −1 times the amplitude have the same meaning. Therefore, the processing result by the phase modulation and the processing result by the amplitude modulation described above are equivalent in the portion where R ′ is 0 or 1, and the embedded image R (x, y) in which the value of R ′ takes an intermediate value. Only the edge part will be different. In this phase modulation processing, an image in which the phase changes gently at the edge portion is obtained.

図6は、この位相変調処理の場合の埋込み画像R(x,y)、平滑化埋込み画像R′(x,y)、パターン画像Q(x,y)およびパターン変調画像Q′(x,y)の関係を図5と同様に1次元で表わした図である。   FIG. 6 shows an embedded image R (x, y), a smoothed embedded image R ′ (x, y), a pattern image Q (x, y), and a pattern modulated image Q ′ (x, y) in the case of this phase modulation processing. 6) is a one-dimensional representation of the relationship in FIG.

また、上記説明はx軸方向への位相変調の例であるが、式(4−2)に示すようにy軸方向への位相変調を行ってもよい。   Further, the above description is an example of phase modulation in the x-axis direction, but phase modulation in the y-axis direction may be performed as shown in Expression (4-2).

Q′(x,y)=Q(x,y+g(R′(x,y))) (4−2)
埋込み画像R(x,y)の平滑化は、図4(a)に示したような(5×5)画素の縦横対称な2次元の参照領域による平滑化に限るものではない。例えば、図4(b)(c)(d)に示すように、参照領域が縦横非対称な矩形や1次元の矩形、矩形でない形でもよい。さらに、図4(e)に示すような重みつき平滑化でもよい。特に、この処理を後述するパイプライン方式のハードウェアで行う場合は、少ない容量のラインメモリで構成できる図4(b)(c)などの方式で平滑化を行う方が回路コストを低くできる。
Q ′ (x, y) = Q (x, y + g (R ′ (x, y))) (4-2)
The smoothing of the embedded image R (x, y) is not limited to the smoothing by the two-dimensional reference area of (5 × 5) pixels that is vertically and horizontally symmetric as shown in FIG. For example, as shown in FIGS. 4B, 4C, and 4D, the reference area may be an asymmetric rectangle, a one-dimensional rectangle, or a non-rectangular shape. Furthermore, weighted smoothing as shown in FIG. In particular, when this processing is performed by pipeline-type hardware described later, the circuit cost can be reduced by performing smoothing by a method such as that shown in FIGS. 4B and 4C that can be configured with a small-capacity line memory.

[第3ステップ(パターン重畳)]
次に、第3ステップS13でパターン変調画像Q′(x,y)を被埋込み画像に重畳する。本実施形態ではこの重畳処理として単純な加算演算を行っている。前述したように、パターン画像Q(x,y)は色差量(Vr,Vg,Vb)に与えるゲインなので、被埋込み画像をPi(x,y)(i=r,g,b)とし、パターン変調画像Q′(x,y)を色差量(Vr,Vg,Vb)を乗じてから被埋込み画像をPi(x,y)に加算する。ここで、色差量(Vr,Vg,Vb)は明度が0または概略0になり、強度が概略人間の視覚限界以下になるように設定する。例えば、(Vr,Vg,Vb)=(0.2,0.2,−0.4)という値を用いる。これについては後で詳しく述べる。そして、加算結果が濃度値の定義範囲(0,1)を越える場合は、定義範囲の最小値または最大値にクリッピングする。
[Third step (pattern superposition)]
Next, in the third step S13, the pattern modulation image Q ′ (x, y) is superimposed on the embedded image. In the present embodiment, a simple addition operation is performed as the superimposition process. As described above, since the pattern image Q (x, y) is a gain given to the color difference amounts (Vr, Vg, Vb), the embedded image is Pi (x, y) (i = r, g, b), and the pattern After the modulated image Q ′ (x, y) is multiplied by the color difference amounts (Vr, Vg, Vb), the embedded image is added to Pi (x, y). Here, the color difference amounts (Vr, Vg, Vb) are set so that the brightness is 0 or approximately 0, and the intensity is approximately below the human visual limit. For example, a value of (Vr, Vg, Vb) = (0.2, 0.2, −0.4) is used. This will be described in detail later. When the addition result exceeds the density value definition range (0, 1), clipping is performed to the minimum value or the maximum value of the definition range.

この第3ステップS13での重畳処理を式(5)に示す。ただし、重畳結果であるパターン重畳画像をOi(x,y)(i=r,g,b)と表わす。   Expression (5) shows the superimposition process in the third step S13. However, the pattern superimposition image which is a superimposition result is represented as Oi (x, y) (i = r, g, b).

Or(x,y)=Pr(x,y)+Q′(x,y)・Vr
Og(x,y)=Pg(x,y)+Q′(x,y)・Vg
Ob(x,y)=Pb(x,y)+Q′(x,y)・Vb
もしOr(x,y)≧1ならば、Or(x,y)=1
もしOr(x,y)<0ならば、Or(x,y)=0
Og,Obも同様 (5)
[第4ステップ(色補正)]
次に、第4ステップS14において、RGBの色成分で表現されたパターン重畳画像Oi(x,y)を画像記録部105でC,M,Y3色のインク量を制御するために用いるインク量信号OC,OM,OYに変換する。この変換は、従来より色修正技術として広く知られている。ここでは、式(6−1)(6−2)に従って色修正処理を行う。式(6−1)中のマトリクスAcr,Acg,Acb,Amr,Amg,Amb,Ayr,Ayg,Aybは、画像記録部105で使用する各インクの色度に依存する値であり、画像記録部105に適した値に選ばれる。

Figure 0003785166
Or (x, y) = Pr (x, y) + Q ′ (x, y) · Vr
Og (x, y) = Pg (x, y) + Q ′ (x, y) · Vg
Ob (x, y) = Pb (x, y) + Q ′ (x, y) · Vb
If Or (x, y) ≧ 1, Or (x, y) = 1
If Or (x, y) <0, Or (x, y) = 0
Same for Og and Ob (5)
[Fourth Step (Color Correction)]
Next, in the fourth step S14, the ink amount signal used for controlling the ink amounts of the C, M, Y3 colors by the image recording unit 105 using the pattern superimposed image Oi (x, y) expressed by the RGB color components. Convert to OC, OM, OY. This conversion has been widely known as a color correction technique. Here, color correction processing is performed in accordance with equations (6-1) and (6-2). The matrix Acr, Acg, Acb, Amr, Amg, Amb, Ayr, Ayg, Ayb in the equation (6-1) is a value depending on the chromaticity of each ink used in the image recording unit 105, and is an image recording unit. A value suitable for 105 is selected.
Figure 0003785166

なお、最初からYMCベースで処理を行えば、この第4ステップS14の処理は省くことができる。   If the process is performed on a YMC basis from the beginning, the process of the fourth step S14 can be omitted.

以上が本実施形態における画像合成の一連の処理であり、この処理の後、画像記録部105でインク量信号OC,OM,OYに応じてカラー画像をハードコピーとして記録する。これにより、パターン重畳画像Or′,Og′,Ob′とほぼ同じRGB成分を持つカラー画像が所定の記録物(記録紙)上に記録される。画像記録部105としては、例えば昇華型の熱転写方式プリンタが用いられる。昇華型熱転写方式は、画素毎に100階調以上に濃度制御ができ、容易にフルカラー記録が可能である。   The above is a series of image composition processing in this embodiment. After this processing, the image recording unit 105 records a color image as a hard copy in accordance with the ink amount signals OC, OM, OY. As a result, a color image having substantially the same RGB components as the pattern superimposed images Or ′, Og ′, Ob ′ is recorded on a predetermined recording material (recording paper). As the image recording unit 105, for example, a sublimation type thermal transfer printer is used. The sublimation thermal transfer method can control the density to 100 gradations or more for each pixel, and can easily perform full-color recording.

画像記録部105には、これ以外にも例えば銀塩写真方式を用いてもよいし、インクジェット方式、溶融型の熱転写方式などの2値記録に適した記録系を用いてもよい。ただし、2値記録プリンタを用いる場合は、階調を表現するために誤差拡散法や組織ディザ法などの擬似階調処理を行う必要がある。これらの処理を行うと、プリンタの記録密度に近い高空間周波数の画像情報は乱れたり欠落するので、パターン画像の空間周波数よりも十分に記録密度の高い記録系を用いる必要がある。   In addition to this, for example, a silver salt photographic system may be used for the image recording unit 105, or a recording system suitable for binary recording such as an ink jet system or a melt type thermal transfer system may be used. However, when a binary recording printer is used, it is necessary to perform pseudo gradation processing such as an error diffusion method or a tissue dither method in order to express gradation. When these processes are performed, image information with a high spatial frequency close to the recording density of the printer is disturbed or lost, so it is necessary to use a recording system having a recording density sufficiently higher than the spatial frequency of the pattern image.

以上の説明では、一連の画像合成処理をソフトウェア処理で実現したが、ハードウェアで実現することも可能である。   In the above description, a series of image composition processing is realized by software processing, but it can also be realized by hardware.

図7に、前述した一連の画像合成処理をハードウェアで実現する画像合成記録装置の構成を示す。画像処理部は、埋込み画像と被埋込み画像を格納する2つの画像メモリ701,702、パターン発生部703、パターン変調部704およびパターン重畳部705からなり、これらに画像記録部706が組み合わせられて画像合成記録装置が構成される。   FIG. 7 shows a configuration of an image composition recording apparatus that implements the above-described series of image composition processing by hardware. The image processing unit includes two image memories 701 and 702 for storing an embedded image and an embedded image, a pattern generating unit 703, a pattern modulating unit 704, and a pattern superimposing unit 705, and an image recording unit 706 is combined with these images. A composite recording apparatus is configured.

まず、パターン発生部703からパターン画像信号として例えば色差パターン画像信号753が発生される。そして、パターン変調部704において第1の画像メモリ701から出力された埋込み画像信号751に従って、色差パターン画像753に例えば式(4−1)または(4−2)で示される位相変調が施されることにより、パターン変調画像信号754が生成される。次に、パターン重畳部705によりパターン変調画像信号754が第2の画像メモリ702から出力された被埋込み画像信号752に重畳され、パターン重畳画像信号755が生成される。そして、このパターン重畳画像信号755が色修正部706によってインク量信号756に変換された後、画像記録部707に入力され、ハードコピー画像が出力される。   First, for example, a color difference pattern image signal 753 is generated from the pattern generation unit 703 as a pattern image signal. Then, according to the embedded image signal 751 output from the first image memory 701 in the pattern modulation unit 704, for example, phase modulation represented by the equation (4-1) or (4-2) is performed on the color difference pattern image 753. As a result, a pattern-modulated image signal 754 is generated. Next, the pattern superimposing unit 705 superimposes the pattern-modulated image signal 754 on the embedded image signal 752 output from the second image memory 702 to generate a pattern superimposed image signal 755. The pattern superimposed image signal 755 is converted into an ink amount signal 756 by the color correction unit 706, and then input to the image recording unit 707 to output a hard copy image.

この画像合成記録装置の動作をさらに詳しく説明すると、まず第1および第2の画像メモリ701,702には埋込み画像R(x,y)および被埋込み画像P(x,y)がそれぞれ記憶されている。第1の画像メモリ701に記憶されている埋込み画像R(x,y)は2値画像であり、1画素当たり1ビットで表わされる。第2の画像メモリ701に記憶される被埋込み画像P(x,y)はRGB各8ビットのフルカラー画像であり、1画素につき計24ビットで表わされる。   The operation of this image composition recording apparatus will be described in more detail. First, an embedded image R (x, y) and an embedded image P (x, y) are stored in the first and second image memories 701 and 702, respectively. Yes. The embedded image R (x, y) stored in the first image memory 701 is a binary image and is represented by 1 bit per pixel. The embedded image P (x, y) stored in the second image memory 701 is a full-color image of 8 bits for each of RGB, and is represented by a total of 24 bits per pixel.

パターン発生部703は、パターン画像信号753を発生する。パターン画像は前述した通り色差パターン画像信号であり、式(1)に従って発生される。   The pattern generator 703 generates a pattern image signal 753. The pattern image is a color difference pattern image signal as described above, and is generated according to the equation (1).

パターン変調部704は、例えば3本のラインメモリ711、15個のラッチ群712、加算器713および2つの乗算器714,715よりなる。第1の画像メモリ701から出力された埋込み画像信号751は、ラインメモリ711およびラッチ群712で遅延される。ラッチ群712の各ラッチ出力は(5×3)画素の矩形領域内の信号であり、これらが加算器713で加算された後、第1の乗算器714に入力され、パターン画像信号753に乗じられる。この第1の乗算器714の乗算出力に対して、さらに第2の乗算器715で3つのパラメータの組Vr,Vg,Vbが乗じられる。ここでは、1つの画素の信号につき3回の乗算が行われ、これら3つの乗算結果が時系列のRGB信号からなるパターン変調画像信号754としてパターン重畳部706へ出力される。   The pattern modulation unit 704 includes, for example, three line memories 711, 15 latch groups 712, an adder 713, and two multipliers 714 and 715. The embedded image signal 751 output from the first image memory 701 is delayed by the line memory 711 and the latch group 712. Each latch output of the latch group 712 is a signal in a rectangular area of (5 × 3) pixels. These signals are added by an adder 713 and then input to a first multiplier 714 to be multiplied by a pattern image signal 753. It is done. The multiplication output of the first multiplier 714 is further multiplied by a set of three parameters Vr, Vg, and Vb by the second multiplier 715. Here, multiplication is performed three times for the signal of one pixel, and the result of these three multiplications is output to the pattern superimposing unit 706 as a pattern modulation image signal 754 composed of time-series RGB signals.

パターン重畳部706は、加算器716とクリッピング回路717よりなる。まず、加算器716によってパターン変調部704からのパターン変調画像信号754に第2の画像メモリ702からの被埋込み画像信号752が加算される。パターン変調画像信号754および被埋込み画像信号752は共にRGBの時系列信号であり、加算器716では同じ成分同士がそれぞれ加算される。この加算器716の加算結果がクリッピング回路717によりクリッピングされ、パターン重畳画像信号755として出力される。すなわち、クリッピング回路717は加算器716の加算結果が0より小さい場合は出力を0に、255より大きい場合は出力を255にする操作を行う。   The pattern superimposing unit 706 includes an adder 716 and a clipping circuit 717. First, the adder 716 adds the embedded image signal 752 from the second image memory 702 to the pattern modulation image signal 754 from the pattern modulation unit 704. The pattern modulation image signal 754 and the embedded image signal 752 are both RGB time-series signals, and the adder 716 adds the same components to each other. The addition result of the adder 716 is clipped by the clipping circuit 717 and output as a pattern superimposed image signal 755. That is, the clipping circuit 717 performs an operation of setting the output to 0 when the addition result of the adder 716 is smaller than 0, and setting the output to 255 when larger than 255.

パターン重畳部705から出力されたパターン重畳画像信号755はRGBの3色成分を持つ信号であり、色修正部706により画像記録部707でのインク量を表わすインク量信号756に変換される。色修正部706は、例えばルックアップテーブルを用いる。このテーブルは式(6−1),(6−2)に従って予め計算され、メモリに格納されている。   The pattern superimposed image signal 755 output from the pattern superimposing unit 705 is a signal having RGB three-color components, and is converted into an ink amount signal 756 representing the ink amount in the image recording unit 707 by the color correcting unit 706. The color correction unit 706 uses a lookup table, for example. This table is calculated in advance according to equations (6-1) and (6-2) and stored in the memory.

このようにハードウェアによっても、容易に前記の画像合成処理を実現することが可能である。ハードウェアを用いると比較的高速に信号処理を行うことができるので、短時間で大量の枚数の画像を作成する場合、特に有効である。   As described above, the image composition processing can be easily realized by hardware. When hardware is used, signal processing can be performed at a relatively high speed, which is particularly effective when creating a large number of images in a short time.

次に、以上の処理によって記録された被埋込み画像と埋込み画像との合成画像(パターン重畳画像)の性質について説明する。この合成画像は、視覚的にはほぼ被埋込み画像と同じに見える画像となり、埋込み画像の情報は全くもしくはほとんど見えない情報となっている。   Next, the property of the composite image (pattern superimposed image) of the embedded image and the embedded image recorded by the above processing will be described. This synthesized image is an image that visually looks almost the same as the embedded image, and the information of the embedded image is information that is completely or hardly visible.

被埋込み画像のRGB色成分をPr(x,y),Pg(x,y),Pb(x,y)とし、埋込み画像をR(x,y)、平滑化埋込み画像をR′(x,y)(=R(x,y)*LPF(x,y))とすると、合成画像のRGB成分Or(x,y),Og(x,y),Ob(x,y)は、式(7)で表わされる。   The RGB color components of the embedded image are Pr (x, y), Pg (x, y), and Pb (x, y), the embedded image is R (x, y), and the smoothed embedded image is R ′ (x, y). If y) (= R (x, y) * LPF (x, y)), the RGB components Or (x, y), Og (x, y), Ob (x, y) of the composite image are expressed by the formula ( 7).

Or(x,y)=Pr(x,y)
+Q(x,y)・Vr・(−2・R′(x,y)+1)
Og(x,y)=Pg(x,y)
+Q(x,y)・Vg・(−2・R′(x,y)+1)
Ob(x,y)=Pb(x,y)
+Q(x,y)・Vb・(−2・R′(x,y)+1)
(7)
次に、このようにして記録された合成画像の明度成分Oyおよび色差成分Ocを考える。ここでは明度成分Oy、色差成分Ocを式(8)で定義する。
Or (x, y) = Pr (x, y)
+ Q (x, y) .Vr. (-2.R '(x, y) +1)
Og (x, y) = Pg (x, y)
+ Q (x, y) .Vg. (-2.R '(x, y) +1)
Ob (x, y) = Pb (x, y)
+ Q (x, y) .Vb. (-2.R '(x, y) +1)
(7)
Next, consider the brightness component Oy and the color difference component Oc of the composite image recorded in this way. Here, the brightness component Oy and the color difference component Oc are defined by equation (8).

Oy(x,y)=Kr・Or(x,y)+Kg・Og(x,y)+Kb・Ob(x,y)
Oc(x,y)=Or(x,y)−Og(x,y) (8)
明度成分Oyは明るさを表わし、色差成分Ocは色の強さを表わす。色差成分Ocには独立な2種類の成分があるが、ここでは一方の成分のみを扱っている。(Kr,Kg,Kb)はRGB成分のそれぞれの明度を表わす係数であり、(Kr,Kg,Kb)=(0.18,0.81,0.01)である。
Oy (x, y) = Kr.Or (x, y) + Kg.Og (x, y) + Kb.Ob (x, y)
Oc (x, y) = Or (x, y) −Og (x, y) (8)
The lightness component Oy represents brightness, and the color difference component Oc represents color intensity. The color difference component Oc includes two independent components, but only one component is handled here. (Kr, Kg, Kb) is a coefficient representing the lightness of each RGB component, and (Kr, Kg, Kb) = (0.18, 0.81, 0.01).

これら明度成分Oyおよび色差成分OcのスペクトルFoy(fx,fy)、Foc(fx,fy)は、式(9−1)(9−2)で表わされる。   The spectra Foy (fx, fy) and Foc (fx, fy) of the lightness component Oy and the color difference component Oc are expressed by the equations (9-1) and (9-2).

Foy(fx,fy)
=Fpy(fx,fy)+Vy・Fq(fx,fy)*(−2Fr′(fx、fy)+δ(fx、fy)) (9−1)
Foc(fx,fy)
=Fpc(fx,fy)+Vc・Fq(fx,fy)*(−2Fr′(fx、fy)+δ(fx、fy)) (9−2)
ただし、fx,fyはそれぞれx軸方向、y軸方向の空間周波数を表わす。またFr′,Fq,Fpy,Fpcは、それぞれ平滑化埋込み画像R′、パターン画像Q、被埋込み画像Pの明度成分と色差成分のフーリエ変換である。さらに、Vy,Vcは前述した色差量の明度成分、色差成分である。
Foy (fx, fy)
= Fpy (fx, fy) + Vy · Fq (fx, fy) * (− 2Fr ′ (fx, fy) + δ (fx, fy)) (9-1)
Foc (fx, fy)
= Fpc (fx, fy) + Vc · Fq (fx, fy) * (− 2Fr ′ (fx, fy) + δ (fx, fy)) (9-2)
However, fx and fy represent the spatial frequencies in the x-axis direction and the y-axis direction, respectively. Fr ′, Fq, Fpy, and Fpc are Fourier transforms of the brightness component and the color difference component of the smoothed embedded image R ′, the pattern image Q, and the embedded image P, respectively. Furthermore, Vy and Vc are the brightness component and the color difference component of the color difference amount described above.

ここで、色差量Vの明度成分Vyは0または0に十分近くなるように設定してあるので、式(9−1)の第2項は0または略0となる。   Here, since the lightness component Vy of the color difference amount V is set to be 0 or sufficiently close to 0, the second term of the equation (9-1) is 0 or substantially 0.

図8(a)(b)(c)(d)は、式(9−2)上のFpc,Fr′,Fq,Focを模式的に表わした図である。通常の画像の色差成分のスペクトルFpc(fx,fy)は、図8(a)に示すように低周波数成分にパワーが集中しており、高周波数成分は極めて低い。一方、図8(b)の実線で示すように平滑化埋込み画像R′は、同破線で示すように埋込み画像Rの高周波数成分が削られている。パターン画像Qは、図8(c)に示すように高周波数成分のみを持つ。従って、式(9−2)で表わされる合成画像の色差成分のスペクトルは、図8(d)に示すように低周波数成分が中心である第1項と高周波数成分が中心である第2項に分離される。   8A, 8B, 8C, and 8D are diagrams schematically showing Fpc, Fr ′, Fq, and Foc in the equation (9-2). In the spectrum Fpc (fx, fy) of the color difference component of a normal image, the power is concentrated on the low frequency component as shown in FIG. 8A, and the high frequency component is extremely low. On the other hand, as shown by the solid line in FIG. 8B, in the smoothed embedded image R ′, the high frequency component of the embedded image R is cut as shown by the broken line. The pattern image Q has only a high frequency component as shown in FIG. Therefore, as shown in FIG. 8D, the spectrum of the color difference component of the composite image represented by Expression (9-2) has a first term centered on the low frequency component and a second term centered on the high frequency component. Separated.

また、図9(テレビジョン画像工学ハンドブック第1編3章の図1・76より引用)に示すように、人間の視覚特性は特に高周波数の色差成分については感度が低いことが知られている。従って、式(9−2)の第2項はほとんど人間には見えない。このため合成画像は明度成分、色差成分とも式(9)の第1項のみが観測される。すなわち、合成画像は被埋込み画像に等しく見える。   Further, as shown in FIG. 9 (quoted from FIGS. 1 and 76 in Chapter 1 of Chapter 3 of the Television Image Engineering Handbook), it is known that human visual characteristics have low sensitivity especially for high-frequency color difference components. . Therefore, the second term of Equation (9-2) is hardly visible to humans. For this reason, only the first term of Expression (9) is observed in the lightness component and the color difference component in the composite image. That is, the composite image looks equal to the embedded image.

このように本実施形態によって合成され記録される画像は、視覚的には被埋込み画像とほぼ同じ画像で、埋込み画像の成分は高空間周波数の色差成分になるため、ほとんど目に見えなくなる。また、埋込み画像の平滑化処理により通常の画像の色差成分Fp1(fx,fy)の高周波数成分が低下するため、埋込み画像とパターン画像との畳込みにより低周波数へシフトする成分がなくなる。   Thus, the image synthesized and recorded by the present embodiment is visually the same image as the embedded image, and the embedded image component becomes a high-spatial-frequency color difference component, so that it is almost invisible. Further, since the high frequency component of the color difference component Fp1 (fx, fy) of the normal image is reduced by the smoothing process of the embedded image, there is no component that shifts to a low frequency due to the convolution of the embedded image and the pattern image.

次に、上述のようにして記録した合成画像から埋込み画像を再生する再生装置について、具体的に説明する。   Next, a reproduction apparatus that reproduces an embedded image from the composite image recorded as described above will be specifically described.

図10は、再生装置の一構成例を示した図である。合成画像が記録された記録物(記録紙)1100を再生装置本体1000に、記録物1100の上端と右端が再生装置本体1000の装填部上端1001と右端1002に接触するように装填して固定する。これにより、再生用シート1003と記録物1100上の画像とが所定の位置関係に保持される。そして、再生装置本体1000に連結された再生用シート1003を記録物1100の上に重ね、このシート1003を通して記録物1100上の画像を観察することにより、埋込み画像が被埋込み画像の上に重なって見えるように構成されている。   FIG. 10 is a diagram illustrating a configuration example of a playback device. The recorded material (recording paper) 1100 on which the composite image is recorded is loaded and fixed to the reproducing apparatus main body 1000 so that the upper end and the right end of the recorded material 1100 are in contact with the upper loading portion 1001 and the right end 1002 of the reproducing apparatus main body 1000. . As a result, the reproduction sheet 1003 and the image on the recorded material 1100 are held in a predetermined positional relationship. Then, a reproduction sheet 1003 connected to the reproduction apparatus main body 1000 is overlaid on the recorded material 1100, and an image on the recorded material 1100 is observed through the sheet 1003, so that the embedded image is superimposed on the embedded image. It is configured to be visible.

なお、再生装置は図10に示したような構成に限られず、記録物1100上の合成画像と再生用シート1003の相対位置を固定できれば、どのような構造でもよい。また、再生用シート1003を記録物1100に対して固定せずに、1次元または2次元に自由に手で動かせるようにして、記録物1100上の埋め込み画像を再生したい位置にシート1003を合わせるような構造でもよい。さらに、再生用シート1003と記録物1100との間隙が大きいと、埋込み画像の再生コントラストが低くなるので、間隙が例えば1mm以内になるように再生用シート1003を上から剛性のある透明板で押さえる構造にしてもよい。   Note that the reproducing apparatus is not limited to the configuration shown in FIG. 10, and may have any structure as long as the relative position between the synthesized image on the recorded material 1100 and the reproducing sheet 1003 can be fixed. In addition, the reproduction sheet 1003 is not fixed to the recorded material 1100, and can be freely moved by one hand in one or two dimensions, so that the sheet 1003 is aligned with the position where the embedded image on the recorded material 1100 is to be reproduced. It may be a simple structure. Furthermore, if the gap between the reproduction sheet 1003 and the recorded material 1100 is large, the reproduction contrast of the embedded image is lowered. Therefore, the reproduction sheet 1003 is pressed from above with a rigid transparent plate so that the gap is within 1 mm, for example. It may be structured.

次に、再生用シート1003の構成と埋込み画像の再生の原理について説明する。再生用シート1003は、例えばプラスチックなどの透明なフィルム状の薄い媒体よりなり、その媒体上に所定のパターンが形成されている。   Next, the configuration of the playback sheet 1003 and the principle of playback of the embedded image will be described. The reproduction sheet 1003 is made of a transparent thin film medium such as plastic, and a predetermined pattern is formed on the medium.

この再生用シート1003上のパターンとしては、合成画像作成時のパターン、すなわち図2の第1ステップS11で発生されるパターン画像のパターン(図7のパターン発生部703で発生されるパターン画像のパターン)に対応して適当な透過率分布をもたせたものを用いる。再生用シート1003のRGB透過率分布Tr(x,y),Tg(x,y),Tb(x,y)を式(10)に示す。ここで、(Wr0,Wg0,Wb0)および(Wr1,Wg1,Wb1)は、それぞれ対応するパターン画像Q(x,y)の値が1および−1の画素のRGB透過率を表わし、本実施形態では式(11−1)に示すように白(透明)と黒の2色を用いている。   As a pattern on the reproduction sheet 1003, a pattern at the time of creating a composite image, that is, a pattern image pattern generated in the first step S11 in FIG. 2 (a pattern image pattern generated in the pattern generation unit 703 in FIG. 7). ) Using an appropriate transmittance distribution. The RGB transmittance distributions Tr (x, y), Tg (x, y), and Tb (x, y) of the reproduction sheet 1003 are shown in Expression (10). Here, (Wr0, Wg0, Wb0) and (Wr1, Wg1, Wb1) represent the RGB transmittances of the pixels whose corresponding pattern image Q (x, y) has a value of 1 and −1, respectively. In this case, two colors of white (transparent) and black are used as shown in Expression (11-1).

Tr(x,y)=0.5(Wr0−Wr1)・Q(x,y)+0.5(Wr0+Wr1)
Tg(x,y)=0.5(Wr0−Wg1)・Q(x,y)+0.5(Wr0+Wg1)
Tb(x,y)=0.5(Wr0−Wb1)・Q(x,y)+0.5(Wr0+Wb1)
(10)
(Wr0,Wg0,Wb0)=(0,0,0)
(Wr1,Wg1,Wb1)=(1,1,1) (11−1)
図11に、この再生用シート1003の透過率分布パターンを示す。図でWは透明の部分、Kは不透明の部分を表わし、WおよびKの部分はそれぞれ図3に示したパターン画像Q(x,y)のゲイン−1およびゲイン1の画素に対応している。このような透過率パターンを持つ再生用シート1003を記録物1100の上に重ねることにより、シート1003上のパターンと記録物1100上の合成画像のパターン画像Q(x,y)の成分との干渉が起こり、埋込み画像は被埋込み画像に重畳した黄/青の色差画像として観察される。
Tr (x, y) = 0.5 (Wr0−Wr1) · Q (x, y) +0.5 (Wr0 + Wr1)
Tg (x, y) = 0.5 (Wr0−Wg1) · Q (x, y) +0.5 (Wr0 + Wg1)
Tb (x, y) = 0.5 (Wr0−Wb1) · Q (x, y) +0.5 (Wr0 + Wb1)
(10)
(Wr0, Wg0, Wb0) = (0, 0, 0)
(Wr1, Wg1, Wb1) = (1,1,1) (11-1)
FIG. 11 shows the transmittance distribution pattern of the reproduction sheet 1003. In the figure, W represents a transparent portion, K represents an opaque portion, and W and K portions correspond to gain-1 and gain-1 pixels of the pattern image Q (x, y) shown in FIG. . By overlapping the reproduction sheet 1003 having such a transmittance pattern on the recorded material 1100, interference between the pattern on the sheet 1003 and the component of the pattern image Q (x, y) of the composite image on the recorded material 1100. The embedded image is observed as a yellow / blue color difference image superimposed on the embedded image.

また、再生用シート1003の他の例として、式(11−2)に示すように図11のW,Kの部分をそれぞれY,Bの色を透過させる部分に置き換えた構成とてもよい。この場合、埋込み画像は被埋込み画像に重畳したモノクロの濃淡画像として観察される。   Further, as another example of the reproduction sheet 1003, a configuration in which the portions W and K in FIG. 11 are replaced with portions that transmit the colors Y and B, respectively, as shown in Expression (11-2) is very good. In this case, the embedded image is observed as a monochrome grayscale image superimposed on the embedded image.

(Wr0,Wg0,Wb0)=(1,1,0)
(Wr1,Wg1,Wb1)=(0,0,1) (11−2)
このような再生用シート1003は、前述した画像合成記録装置の記録系で作成してもよいし、全く独立した記録系で作成してもよい。ただし、記録系によって記録密度に差がある場合もあるので、画像合成記録装置と同じ記録系で再生用シート1003を作成した方が精度が得られやすい。
(Wr0, Wg0, Wb0) = (1, 1, 0)
(Wr1, Wg1, Wb1) = (0, 0, 1) (11-2)
Such a reproduction sheet 1003 may be created by the recording system of the above-described image composition recording apparatus, or may be created by a completely independent recording system. However, since the recording density may vary depending on the recording system, it is easier to obtain accuracy when the reproducing sheet 1003 is created in the same recording system as the image composition recording apparatus.

上述した再生用シート1003を記録物1100上に重ねると、埋込み画像として埋込まれた高周波数の色差情報が低周波領域にシフトし、人間の目に見えるようなる。以下、この理由について具体的に説明する。   When the reproduction sheet 1003 described above is overlaid on the recorded material 1100, the high-frequency color difference information embedded as an embedded image is shifted to the low-frequency region and becomes visible to the human eye. Hereinafter, this reason will be specifically described.

合成画像のRGB反射率Or,Og,Obは、前述の式(7)で表わされる。従って、記録物1100上に再生用シート1003を重ねることにより観測される画像のRGB反射率をSr,Sg,Sbとすると、これらは式(12)で表わされる。ただし、G成分およびB成分はR成分と同様なので省略した。   The RGB reflectances Or, Og, Ob of the composite image are expressed by the above-described equation (7). Accordingly, assuming that the RGB reflectances of the image observed by superimposing the reproduction sheet 1003 on the recorded material 1100 are Sr, Sg, and Sb, these are expressed by Expression (12). However, since the G component and the B component are the same as the R component, they are omitted.

Sr=Or・Tr
=Pr(x,y)・Tr(x,y)+Q(x,y)・Vr・(−2・R′(x,y)+1)・Tr(x,y)
=Pr(x,y)・Tr(x,y)+Q(x,y)・Vr・(−2・R′(x,y)+1)・(0.5(Wr0−Wr1)・Q(x,y)+(0.5(Wr0+Wr1))
=Pr(x,y)・Tr(x,y)+0.5・Vr・(Wr0−Wr1)・Q(x,y)2 ・(−2・R′(x,y)+1)+0.5・Vr・(Wr0+Wr1)・Q(x,y)・(−2・R′(x,y)+1)
=Pr(x,y)・Tr(x,y)+0.5・Vr・(Wr0−Wr1)・(−2・R′(x,y)+1)+0.5・Vr・(Wr0+Wr1)・Q(x,y)・(−2・R′(x,y)+1)
g,b成分も同様 (12)
ここで、式(12)の第1項、第2項および第3項のスペクトル分布の模式図を図12(a)(b)および(c)にそれぞれ示す。第1項は被埋込み画像そのものに再生用シート1003を重ねた画像と等価な画像であり、第3項は高周波数の色差成分となるので、視覚的には見えない。一方、第2項は埋込み画像に色度(Vr・(Wr0−Wr1),Vg・(Wg0−Wg1),Vb(Wb0−Wb1))を乗じたものである。本実施形態ではこれは色差成分であるが、埋込み画像と同じ周波数に復調されているので、目に見える画像となる。従って、第1項である被埋込み画像に埋込み画像で色度変調された画像を加算した画像が観察されることになる。
Sr = Or · Tr
= Pr (x, y) .Tr (x, y) + Q (x, y) .Vr. (-2.R '(x, y) +1) .Tr (x, y)
= Pr (x, y) .Tr (x, y) + Q (x, y) .Vr. (-2.R '(x, y) +1). (0.5 (Wr0-Wr1) .Q (x , Y) + (0.5 (Wr0 + Wr1))
= Pr (x, y) .Tr (x, y) + 0.5.Vr. (Wr0-Wr1) .Q (x, y) 2. (-2.R '(x, y) +1) +0.5 * Vr * (Wr0 + Wr1) * Q (x, y) * (-2 * R '(x, y) +1)
= Pr (x, y) .Tr (x, y) + 0.5.Vr. (Wr0-Wr1). (-2.R '(x, y) +1) + 0.5.Vr. (Wr0 + Wr1) .Q (X, y) · (−2 · R ′ (x, y) +1)
Same for g and b components (12)
Here, FIGS. 12A, 12B, and 12C show schematic diagrams of the spectrum distributions of the first term, the second term, and the third term of the formula (12), respectively. The first term is an image equivalent to an image in which the reproduction sheet 1003 is superimposed on the embedded image itself, and the third term is a high-frequency color difference component, so it cannot be visually seen. On the other hand, the second term is obtained by multiplying the embedded image by chromaticity (Vr · (Wr0−Wr1), Vg · (Wg0−Wg1), Vb (Wb0−Wb1)). In the present embodiment, this is a color difference component, but since it is demodulated to the same frequency as the embedded image, it becomes a visible image. Therefore, an image obtained by adding the image to be embedded, which is the first term, to the image that has been chromatically modulated by the embedded image is observed.

また、再生用シート1003として、式(11−2)で表されるパターンのシートを用いた場合には、(Vr・(Wr0−Wr1),Vg・(Wg0−Wg1),Vb・(Wb0−Wb1))はモノクロ成分となるので、被埋込み画像に埋込み画像で濃度変調されたパターン変調画像を加算した画像が観察されることになる。   Further, when a sheet having a pattern represented by the expression (11-2) is used as the reproduction sheet 1003, (Vr · (Wr0−Wr1), Vg · (Wg0−Wg1), Vb · (Wb0−) Since Wb1)) is a monochrome component, an image obtained by adding a pattern-modulated image density-modulated by the embedded image to the embedded image is observed.

以上述べたように、本実施形態の画像合成記録装置によると、被埋込み画像と視覚的にほぼ同じで、画質劣化なしに別の画像(埋込み画像)を埋込んだ合成画像を記録することができ、さらにこの合成画像が記録された記録物上に所定の再生用シートを重ねることにより、複雑な信号処理を必要とすることなく、埋込み画像を簡単に視覚的に認識できるように再生することが可能となる。   As described above, according to the image composition recording apparatus of the present embodiment, it is possible to record a composite image that is visually the same as the embedded image and in which another image (embedded image) is embedded without deterioration in image quality. In addition, by overlaying a predetermined playback sheet on the recorded material on which the composite image is recorded, it is possible to reproduce the embedded image so that it can be easily visually recognized without the need for complicated signal processing. Is possible.

(第2の実施形態)
次に、本発明の第2の実施形態について説明する。第1の実施形態ではパターン画像および再生用シートとして規則パターンを用いたのに対し、本実施形態は不規則パターンを用いている点が異なる。本実施形態による画像合成記録装置の基本構成は第1の実施形態と同じであるが、処理手順がやや異なっている。
(Second Embodiment)
Next, a second embodiment of the present invention will be described. In the first embodiment, the regular pattern is used as the pattern image and the reproduction sheet, but the present embodiment is different in that the irregular pattern is used. The basic configuration of the image composition recording apparatus according to this embodiment is the same as that of the first embodiment, but the processing procedure is slightly different.

以下、第1の実施形態との相違点を中心に、第2の実施形態による画像合成記録装置の処理手順を図13に示すフローチャートにより説明する。   Hereinafter, the processing procedure of the image composition recording apparatus according to the second embodiment will be described with reference to the flowchart shown in FIG. 13 with a focus on differences from the first embodiment.

[第1ステップ(パターン発生)]
まず、第1ステップS21でパターン画像Q(x,y)を発生する。第1の実施形態では、パターン画像Q(x,y)は規則的な構造のパターン画像であったが、本実施形態では不規則パターン画像またはこれを拡大した画像を用いる。
[First step (pattern generation)]
First, a pattern image Q (x, y) is generated in the first step S21. In the first embodiment, the pattern image Q (x, y) is a pattern image having a regular structure, but in this embodiment, an irregular pattern image or an image obtained by enlarging the irregular pattern image is used.

不規則パターン画像としては、(1) 直流分および低周波数スペクトルが0で、高周波数成分の強度が強いこと、(2) 埋込み画像から容易にパターン画像の構造を推定できないこと、の二つの条件を満たしていることが望ましい。本実施形態では、以下に示すように2次元マルコフ確率過程により不規則パターン画像を生成する。すなわち、注目画素(x,y)の周囲の既に決定した画素値Q(x+axi,y+ayi)の関数fとして推移確率Probを定義し、この確率Probでパターン画像Q(x,y)の値を1または−1に決める。これを式(13)に示す。ただし、Prob[Q(x,y),a]は、Q(x,y)=aとなる確率である。   The irregular pattern image has the following two conditions: (1) DC component and low frequency spectrum are 0, high frequency component is strong, and (2) the pattern image structure cannot be estimated easily from the embedded image. It is desirable to satisfy In this embodiment, as shown below, an irregular pattern image is generated by a two-dimensional Markov probability process. That is, the transition probability Prob is defined as a function f of the pixel value Q (x + axi, y + ayi) already determined around the pixel of interest (x, y), and the value of the pattern image Q (x, y) is set to 1 with this probability Prob. Or decide to -1. This is shown in equation (13). However, Prob [Q (x, y), a] is a probability that Q (x, y) = a.

Prob[Q(x,y),1]=f(Q(x+axi,y+ayi))
Prob[Q(x,y),−1]=1−f(Q(x+axi,y+ayi))
(13)
(x,y)を適当に走査しながら、この処理を繰り返すことによって、2値の不規則パターン画像Q(x,y)の全画像を発生する。本実施形態で用いた関数fを式(14)に示す。

Figure 0003785166
Prob [Q (x, y), 1] = f (Q (x + axi, y + ayi))
Prob [Q (x, y),-1] = 1-f (Q (x + axi, y + ayi))
(13)
By repeating this process while appropriately scanning (x, y), all images of the binary irregular pattern image Q (x, y) are generated. The function f used in this embodiment is shown in Expression (14).
Figure 0003785166

図14(a)(b)に、こうして生成された2値の不規則パターン画像Q(x,y)の自己相関関数およびパワースペクトルを示す。ただし、図14では簡単のためにx軸方向の成分のみを表わしている。同図に示すように、このパターン画像Q(x,y)は低い空間周波数ではパワーがほぼ0で、高い周波数にパワーが集中した画像となる。   FIGS. 14A and 14B show the autocorrelation function and power spectrum of the binary irregular pattern image Q (x, y) generated in this way. However, in FIG. 14, only the component in the x-axis direction is shown for simplicity. As shown in the figure, the pattern image Q (x, y) has an almost zero power at a low spatial frequency and is an image in which the power is concentrated at a high frequency.

ここでは計算機上で確率画像を生成するために、M系列などの疑似乱数を用いる。すなわち、0からN−1までの範囲の値を一様な確率でとる疑似乱数Dを1画素に1つずつ発生させ、式(15)によりパターン画像Q(x,y)の値を決定すればよい。   Here, in order to generate a probability image on a computer, a pseudo-random number such as an M series is used. That is, one pseudo-random number D that takes a value in the range from 0 to N−1 with a uniform probability is generated for each pixel, and the value of the pattern image Q (x, y) is determined by equation (15). That's fine.

D/N≧ProbならばQ(x,y)=1
D/N<ProbならばQ(x,y)=−1 (15)
この場合、疑似乱数の種と関数fだけを記憶しておけば、一意に同じパターン画像を発生でき、パターン画像Q(x,y)そのものを記憶しておく必要はなくなる。
If D / N ≧ Prob, Q (x, y) = 1
If D / N <Prob, Q (x, y) = − 1 (15)
In this case, if only the seed of the pseudo random number and the function f are stored, the same pattern image can be generated uniquely, and it is not necessary to store the pattern image Q (x, y) itself.

なお、上記説明ではパターン画像Q(x,y)をマルコフ過程により生成しているため、計算量が多くなる。そこで、乱数を直接用いてパターン画像Q(x,y)の画素値を決定してもよい。また、誤差拡散処理により生ずるパターンを用いてもよい。前者はホワイトノイズとなり、その直流分や低い周波数成分が必ずしも小さい値にならないが、パターン画像Q(x,y)の生成の計算が非常に簡易になる。また、後者では低周波成分が小さくなるとともに、決定論的に画像を計算できるため、乱数の発生処理が不要となる。   In the above description, since the pattern image Q (x, y) is generated by the Markov process, the amount of calculation increases. Therefore, the pixel value of the pattern image Q (x, y) may be determined using a random number directly. A pattern generated by error diffusion processing may be used. The former is white noise, and the direct current component and low frequency components are not necessarily small values, but the calculation of generating the pattern image Q (x, y) becomes very simple. In the latter case, the low frequency component is reduced and the image can be calculated deterministically, so that random number generation processing is not required.

[第2ステップ(パターン変調)]
[第3ステップ(パターン重畳)]
[第4ステップ(色修正]
次に、第2ステップS22、第3ステップS23および第4ステップS24でパターンの変調、パターンの重畳および色修正を順次行い、最後に得られた合成画像を記録するが、これらの処理は第1の実施形態と同じであるので、説明は省略する。ただし、パターンは不規則であり、周期性をもたないので、パターン変調処理では第1の実施形態で例示したような周期パターンを前提とした位相変調は用いない。
[Second step (pattern modulation)]
[Third step (pattern superposition)]
[Fourth Step (Color Correction)
Next, in the second step S22, the third step S23, and the fourth step S24, pattern modulation, pattern superimposition, and color correction are sequentially performed, and the finally obtained composite image is recorded. Since this is the same as the embodiment, the description is omitted. However, since the pattern is irregular and does not have periodicity, the phase modulation based on the periodic pattern as exemplified in the first embodiment is not used in the pattern modulation processing.

以上の処理によって、被埋込み画像と埋込み画像を合成した合成画像が記録される。第1の実施形態と同様に、この合成画像は視覚的にはほぼ被埋込み画像と同じに見える画像となり、埋込み画像の情報は全く、もしくはほとんど見えない情報となっている。   Through the above processing, a combined image obtained by combining the embedded image and the embedded image is recorded. Similar to the first embodiment, this synthesized image is visually an image that looks almost the same as the embedded image, and the information of the embedded image is information that is completely or hardly visible.

次に、本実施形態で得られる合成画像の性質について具体的に説明する。
合成画像のRGB各色成分Or(x,y),Og(x,y),Ob(x,y)とその明度成分Oy(x,y)および色差成分Oc(x,y)は、第1の実施形態と同様に式(7)(8)で表わされる。また、明度成分Oy(x,y)、色差成分Oc(x,y)のスペクトルFoy(fx,fy),Foc(fx,fy)は、式(9−1)(9−2)で表わされる。パターン画像Q(x,y)のスペクトルFqの内容のみが実施形態1と異なっている。
Next, the properties of the composite image obtained in the present embodiment will be specifically described.
The RGB color components Or (x, y), Og (x, y), Ob (x, y), the lightness component Oy (x, y) and the color difference component Oc (x, y) of the composite image are the first Similar to the embodiment, it is expressed by equations (7) and (8). The spectra Foy (fx, fy) and Foc (fx, fy) of the lightness component Oy (x, y) and the color difference component Oc (x, y) are expressed by equations (9-1) and (9-2). . Only the content of the spectrum Fq of the pattern image Q (x, y) is different from that of the first embodiment.

第1の実施形態と同様に、色差量Vの明度成分VYは0または0に十分近くなるように設定してあるので、式(9−1)の第2項は0となる。また、図14に示すようにFqも低周波数成分が小さく設計してあるので、FqとFr+δの畳込みである式(9−2)の第2項は低い周波数成分の極めて弱い信号となる。すなわち、合成画像の色差成分の低周波成分への式(9−2)の第2項の寄与は極めて小さい。前述したように、高周波数の色差成分は視覚感度が低いので、合成画像にはほとんど第1項の成分、すなわち被埋込み画像しか観測されない。   Similar to the first embodiment, the lightness component VY of the color difference amount V is set to be 0 or sufficiently close to 0, so the second term of the equation (9-1) is 0. Further, as shown in FIG. 14, Fq is also designed to have a low low frequency component, so the second term of the equation (9-2), which is a convolution of Fq and Fr + δ, is a very weak signal with a low frequency component. That is, the contribution of the second term of Equation (9-2) to the low frequency component of the color difference component of the composite image is very small. As described above, since the high-frequency color difference component has low visual sensitivity, only the component of the first term, that is, the embedded image is observed in the synthesized image.

図15(a)(b)(c)(d)に、式(9−2)のFpc,Fr′,FqおよびFocのスペクトル分布を示す。   FIGS. 15A, 15B, 15C, and 15D show spectral distributions of Fpc, Fr ′, Fq, and Foc in the formula (9-2).

本実施形態ではFqの低周波成分が完全には0でないので、第1の実施形態に比べ埋込み画像R(x,y)の低い周波数成分への寄与は大きくなるが、作成するパターン画像Q(x,y)である不規則パターンの低周波成分は関数fにより制御できるので、これを適当に設定することにより、十分見えなくなるように設計することが可能である。一方、規則パターンの乱れは検知されやすいので、この面ではパターン画像Q(x,y)に不規則パターンを用いることにより、この影響は小さくなる。   In this embodiment, since the low-frequency component of Fq is not completely zero, the contribution of the embedded image R (x, y) to the low-frequency component is larger than that in the first embodiment, but the pattern image Q ( Since the low-frequency component of the irregular pattern x, y) can be controlled by the function f, it can be designed so as not to be seen sufficiently by setting it appropriately. On the other hand, since disorder of the regular pattern is easily detected, this influence is reduced by using an irregular pattern in the pattern image Q (x, y) in this aspect.

次に、第2の実施形態で記録された合成画像から埋込み画像を再生する方法について説明する。本実施形態においても第1の実施形態と同様な方法で埋込み情報の再生を行う。ただし、再生用シート1003としては第1の実施形態とは異なり、第2の実施形態の画像合成記録装置で用いたパターン画像と全く同じ構造のシートを用いる。   Next, a method for reproducing an embedded image from the composite image recorded in the second embodiment will be described. Also in this embodiment, embedded information is reproduced by the same method as in the first embodiment. However, unlike the first embodiment, the reproduction sheet 1003 is a sheet having the same structure as the pattern image used in the image composition recording apparatus of the second embodiment.

本実施形態で用いる再生用シート1003のRGB透過率分布Tr(x,y),Tg(x,y),Tb(x,y)を式(16)に示す。これは第1の実施形態で示した式(10)と同じ形であるが、パターン画像Q(x,y)が異なるため、その内容は異なる。   Expression (16) shows the RGB transmittance distributions Tr (x, y), Tg (x, y), and Tb (x, y) of the reproduction sheet 1003 used in this embodiment. This is the same form as Expression (10) shown in the first embodiment, but the pattern image Q (x, y) is different, so the contents are different.

Tr(x,y)=0.5(Wr0−Wr1)・Q(x,y)+0.5(Wr0+Wr1)
Tg(x,y)=0.5(Wg0−Wg1)・Q(x,y)+0.5(Wg0+Wg1)
Tb(x,y)=0.5(Wb0−Wb1)・Q(x,y)+0.5(Wb0+Wb1)
(16)
また、パラメータWr0,Wr1,Wg0,Wg1,Wb0,Wb1の値およびその変形例を式(17−1)(17−2)に示す。
Tr (x, y) = 0.5 (Wr0−Wr1) · Q (x, y) +0.5 (Wr0 + Wr1)
Tg (x, y) = 0.5 (Wg0-Wg1) .Q (x, y) +0.5 (Wg0 + Wg1)
Tb (x, y) = 0.5 (Wb0−Wb1) · Q (x, y) +0.5 (Wb0 + Wb1)
(16)
Also, the values of parameters Wr0, Wr1, Wg0, Wg1, Wb0, Wb1 and their modifications are shown in equations (17-1) and (17-2).

(Wr0,Wg0,Wb0)=(0,0,0)
(Wr1,Wg1,Wb1)=(1,1,1) (17−1)
(Wr0,Wg0,Wb0)=(1,1,0)
(Wr1,Wg1,Wb1)=(0,0,1) (17−2)
第1の実施形態と同様に、このような再生用シート1003を図10に示したように記録物1100上に重ねることによりパターン同士の干渉が起こり、埋込み画像が被埋込み画像に重畳した黄/青の色差画像として観察される。
(Wr0, Wg0, Wb0) = (0, 0, 0)
(Wr1, Wg1, Wb1) = (1,1,1) (17-1)
(Wr0, Wg0, Wb0) = (1, 1, 0)
(Wr1, Wg1, Wb1) = (0, 0, 1) (17-2)
Similar to the first embodiment, such a reproduction sheet 1003 is superimposed on the recorded material 1100 as shown in FIG. 10 to cause interference between patterns, so that the embedded image is superimposed on the embedded image. Observed as a blue color difference image.

次に、本の実施形態における埋込み画像の再生原理について説明する。合成画像が記録された記録物上に再生用シート1003を重ねた場合の合成したRGB反射率をSr,Sg,Sbとすると、これらは第1の実施形態と同様に表わされる。本実施形態においてもQ(x,y)2 は常に1なので、Sr(x,y)は式(12)と同様に式(18)で表わされる。 Next, the reproduction principle of the embedded image in the present embodiment will be described. Assuming that the combined RGB reflectance when the reproduction sheet 1003 is superimposed on the recorded material on which the composite image is recorded is Sr, Sg, Sb, these are expressed in the same manner as in the first embodiment. Also in this embodiment, since Q (x, y) 2 is always 1, Sr (x, y) is expressed by equation (18) as in equation (12).

Sr=Or・Tr
=Pr(x,y)・Tr(x,y)
+0.5・Vr・(Wr0−Wr1)
・(−2・R′(x,y)+1)
+0.5・Vr・(Wr0+Wr1)
・Q(x,y)・(−2・R′(x,y)+1) (18)
図16(a)(b)(c)に、式(18)の第1項、第2項、第3項のスペクトル分布を示す。第1の実施形態と同様に、第1項は被埋込み画像そのものに再生用シート1003を重ねた画像と等価な画像となり、第3項は高周波数の色差成分となるので視覚的には見えない。一方、第2項は埋込み画像に色度(Vr・(Wr0−Wr1),Vg・(Wg0−Wg1),Vb・(Wb0−Wb1))をかけたものであり、目に見える画像となる。従って、第1項である被埋込み画像に埋込み画像で色度変調された画像が加算した画像が観察される。
Sr = Or · Tr
= Pr (x, y) · Tr (x, y)
+ 0.5 · Vr · (Wr0-Wr1)
・ (−2 ・ R ′ (x, y) +1)
+ 0.5 · Vr · (Wr0 + Wr1)
・ Q (x, y) ・ (−2 ・ R ′ (x, y) +1) (18)
FIGS. 16A, 16B, and 16C show the spectral distributions of the first term, the second term, and the third term in Expression (18). As in the first embodiment, the first term is an image equivalent to an image in which the reproduction sheet 1003 is superimposed on the embedded image itself, and the third term is a high-frequency color difference component, so it cannot be visually seen. . On the other hand, the second term is obtained by multiplying the embedded image by chromaticity (Vr · (Wr0−Wr1), Vg · (Wg0−Wg1), Vb · (Wb0−Wb1)), and becomes a visible image. Therefore, an image obtained by adding an image that has been chromatically modulated with the embedded image to the embedded image that is the first term is observed.

また、再生用シート1003として式(11−2)で表されるパターンのシートを用いた場合には、(Vr・(Wr0−Wr1),Vg・(Wg0−Wg1),Vb・(Wb0−Wb1))はモノクロ成分となるので、被埋込み画像に埋込み画像で濃度変調された画像を加算した画像が観察されることになる。   Further, when a sheet having a pattern represented by the expression (11-2) is used as the reproduction sheet 1003, (Vr · (Wr0−Wr1), Vg · (Wg0−Wg1), Vb · (Wb0−Wb1) Since ()) is a monochrome component, an image obtained by adding an image whose density is modulated with an embedded image to the embedded image is observed.

このように本実施形態においても、第1の実施形態と同様に、被埋込み画像と視覚的にほぼ同じで、画質劣化なしに別の画像(埋込み画像)を埋込んだ合成画像を記録することができる。さらに、この合成画像が記録された記録物上に所定の再生用シートを重ねることにより、複雑な信号処理を必要とすることなく、簡単に視覚的に認識できるように再生することができる。   As described above, in this embodiment as well, as in the first embodiment, a synthesized image in which another image (embedded image) is embedded without being deteriorated in image quality is visually similar to the embedded image. Can do. Further, by superimposing a predetermined reproduction sheet on the recorded material on which the composite image is recorded, it is possible to reproduce the image so that it can be easily recognized visually without requiring complicated signal processing.

本実施形態は、さらに第1の実施形態にはない以下の利点として、パターン画像に不規則パターン画像を用いることから、合成画像から埋込み画像のパターンを推定することが困難であるため、第三者が合成画像からパターン情報を推定して、独自に合成画像の作成や、埋込み画像の再生を行うことが困難となる。従って、本実施形態は特定の人間だけに画像合成や再生を許容するような用途に適している。   This embodiment further has the following advantages over the first embodiment. Since an irregular pattern image is used as the pattern image, it is difficult to estimate the pattern of the embedded image from the synthesized image. It becomes difficult for a person to estimate pattern information from a composite image and create a composite image or reproduce an embedded image. Therefore, the present embodiment is suitable for an application in which image synthesis and reproduction are allowed only for a specific person.

(第3の実施形態)
次に、本発明に係る第3の実施形態について説明する。第1および第2の実施形態では、パターン変調画像の埋込みを加算処理により行っているのに対し、本実施形態は疑似階調処理により埋込みを行っている点が異なる。また、本実施形態では画像記録系に2値記録系であるインクジェットプリンタを用いている。
(Third embodiment)
Next, a third embodiment according to the present invention will be described. In the first and second embodiments, the embedding of the pattern modulation image is performed by addition processing, whereas the present embodiment is different in that embedding is performed by pseudo gradation processing. In this embodiment, an ink jet printer that is a binary recording system is used as the image recording system.

本実施形態の画像合成記録装置も第1の実施形態と基本的に同じ構成であり、処理手順のみ異なる。以下、図17に示すフローチャートを用いて処理手順について詳しく説明する。   The image composition recording apparatus of the present embodiment is basically the same as that of the first embodiment, and only the processing procedure is different. Hereinafter, the processing procedure will be described in detail with reference to the flowchart shown in FIG.

[第1ステップ(パターン発生)]
まず、第1ステップS31でパターン画像Q(x,y)を作成する。このパターン画像Q(x,y)としては、第2の実施形態と同様な不規則パターンを作成する。
[First step (pattern generation)]
First, a pattern image Q (x, y) is created in the first step S31. As this pattern image Q (x, y), an irregular pattern similar to that of the second embodiment is created.

[第2ステップ(パターン変調]
次に、第2ステップS32で埋込み画像によるパターン画像の変調を行う。この点も第2の実施形態と同じであるので、詳細は省略する。
[Second step (pattern modulation)
Next, in the second step S32, the pattern image is modulated by the embedded image. Since this point is the same as that of the second embodiment, details are omitted.

[第3ステップ(色修正)]
本実施形態では、次に第3ステップS33でRGBで表現された被埋込み画像Pr,Pg,PbをC(シアン),M(マゼンタ),Y(イエロー)3色のカラーインクの制御量を表わすインク濃度信号Pc,Pm,Pyに変換する色修正処理を行う。この色修正処理の変換は第1の実施形態の色修正処理と同様であり、式(19−1)(19−2)に従って行われる。

Figure 0003785166
[Third step (color correction)]
In the present embodiment, the embedded images Pr, Pg, and Pb expressed in RGB in the third step S33 represent control amounts of three color inks of C (cyan), M (magenta), and Y (yellow). Color correction processing for converting the ink density signals Pc, Pm, and Py is performed. The conversion of the color correction process is the same as the color correction process of the first embodiment, and is performed according to equations (19-1) and (19-2).
Figure 0003785166

[第4ステップ(パターン重畳)]
次の第4ステップS34では、色修正処理により得られたインク濃度信号Pc,Pm,Pyに基づき、誤差拡散法によりパターン変調画像の重畳を行う。このパターン重畳処理は第1および第2の実施形態と大きく異なるので、詳しく説明する。この処理は従来の誤差拡散法などに代表されする疑似階調法と類似している。ただし、疑似階調特有のパターン構造が前記の画像パターンと近くなるように制御する。
[Fourth step (pattern superposition)]
In the next fourth step S34, the pattern-modulated image is superimposed by the error diffusion method based on the ink density signals Pc, Pm, Py obtained by the color correction process. Since this pattern superimposition process is significantly different from the first and second embodiments, it will be described in detail. This process is similar to the pseudo gradation method represented by the conventional error diffusion method. However, control is performed so that the pattern structure peculiar to the pseudo gradation is close to the image pattern.

第4ステップS34では、インク濃度信号のY成分Py、M成分PmおよびC成分Pcについて同じ処理を行うので、ここでは代表してY成分Pyについてのみ説明を行う。第4ステップS34は、以下の4つのサブステップS34−1,S34−2,S34−3,S34−4からなる。   In the fourth step S34, the same processing is performed for the Y component Py, the M component Pm, and the C component Pc of the ink density signal, so only the Y component Py will be described as a representative here. The fourth step S34 includes the following four substeps S34-1, S34-2, S34-3, and S34-4.

[サブステップS34−1]
まず、式(20)に示すように、被埋込み画像Py(x,y)に累積誤差信号E′Y(x,y)を加算する。累積誤差信号E′Y(x,y)は2値化による量子化誤差を補正するためのもので、その生成法については後述する。
[Substep S34-1]
First, as shown in Expression (20), the accumulated error signal E′Y (x, y) is added to the embedded image Py (x, y). The accumulated error signal E′Y (x, y) is for correcting a quantization error due to binarization, and a generation method thereof will be described later.

P′Y(x,y)=PY(x,y)+E′Y(x,y) (20)
[サブステップS34−2]
次に、加算結果PY′を式(21)に従い、2値化する。
if PY′(x,y)+(2・P(x,y)−1)・Vy
≧0.5 OY(x,y)=1
if PY′(x,y)+(2・P(x,y)−1)・Vy
<0.5 OY(x,y)=0 (21)
ここで、Vyは重畳する色差強度を決めるパラメータであり、M成分、C成分の場合はそれぞれVm、Vcを用いる。本実施形態では、(Vm,Vc,Vc)=(+0.2,−0.12,−0.12)という値を用いている。第4ステップS34の誤差拡散法によるパターン重畳処理は、このサブステップS34−2の部分において従来の誤差拡散法と異なっている。
P′Y (x, y) = PY (x, y) + E′Y (x, y) (20)
[Substep S34-2]
Next, the addition result PY ′ is binarized according to the equation (21).
if PY ′ (x, y) + (2 · P (x, y) −1) · Vy
≧ 0.5 OY (x, y) = 1
if PY ′ (x, y) + (2 · P (x, y) −1) · Vy
<0.5 OY (x, y) = 0 (21)
Here, Vy is a parameter for determining the color difference intensity to be superimposed, and Vm and Vc are used for the M component and C component, respectively. In the present embodiment, values (Vm, Vc, Vc) = (+ 0.2, −0.12, −0.12) are used. The pattern superimposition process by the error diffusion method in the fourth step S34 is different from the conventional error diffusion method in the sub-step S34-2.

[サブステップS34−3]
次に、式(22)の誤差計算を行う。
EY(x,y)=PY′(x、y)−Oy(x,y) (22)
EY(x,y)は2値化による量子化誤差を表わし、この誤差成分を入力信号にフィードバックすることにより、量子化誤差が補償される。
[Sub-step S34-3]
Next, the error calculation of Expression (22) is performed.
EY (x, y) = PY ′ (x, y) −Oy (x, y) (22)
EY (x, y) represents a quantization error due to binarization, and the error is compensated by feeding back this error component to the input signal.

[サブステップS34−4]
次に、式(23)により累積誤差の計算を行う。

Figure 0003785166
[Sub-step S34-4]
Next, the cumulative error is calculated by equation (23).
Figure 0003785166

ここで、a(xi,yi)は誤差の分配係数であり、表1の値を用いる。

Figure 0003785166
Here, a (xi, yi) is an error distribution coefficient, and the value shown in Table 1 is used.
Figure 0003785166

以上の処理を画素を走査しながら繰り返すことにより、全画像について処理を行う。また、M成分、C成分についても同様の計算を行うことにより、誤差拡散によって2値化した画像O′y,O′m,O′cが得られる。   By repeating the above processing while scanning the pixels, the processing is performed for all the images. Further, by performing the same calculation for the M component and the C component, binarized images O′y, O′m, and O′c are obtained by error diffusion.

なお、ここでは誤差拡散法を用いたが、誤差拡散法に代えてディザ法などでもよい。   Although the error diffusion method is used here, a dither method or the like may be used instead of the error diffusion method.

以上が画像合成の一連の処理であり、最後に画像記録部で2値化出力画像O′Y,O′M,O′Cに従って画像記録を行う。すなわち、Oy(x,y)=1の場合は画素(x,y)にY色インクの印字を行い、Oy(x,y)=0の場合は印字を行わない。これにより、マクロな領域で平均化した濃度がO′y,O′m,O′cで表わされる濃度とほぼ同じ画像が再現される。   The above is a series of image composition processing. Finally, the image recording unit records an image according to the binarized output images O′Y, O′M, and O′C. That is, when Oy (x, y) = 1, Y color ink is printed on the pixel (x, y), and when Oy (x, y) = 0, printing is not performed. As a result, an image in which the density averaged in the macro area is almost the same as the density represented by O′y, O′m, and O′c is reproduced.

なお、このとき墨加刷処理を行ってもよい。墨加刷処理はYMC全ての色を記録する画素をK(黒)インクに置換する処理であり、インク量の低減による印字コストの低減、インクのにじみの低減、黒インクを用いることによる濃度向上などの効果がある。具体的な処理としては種々の方式が提案されているが、例えば以下の処理を行い、墨加刷処理画像のO″Y,O″M,O″C,O″Kに従って記録を行えばよい。この場合、画像記録部はYMCKの4色の記録ができることが必要となる。   At this time, the black printing process may be performed. Ink reprinting is a process that replaces all YMC pixels that record colors with K (black) ink, reducing printing costs by reducing the amount of ink, reducing ink bleeding, and improving density by using black ink. There are effects such as. Various methods have been proposed as specific processing. For example, the following processing may be performed and recording may be performed in accordance with O ″ Y, O ″ M, O ″ C, and O ″ K of the blackened image. . In this case, the image recording unit needs to be able to record four colors of YMCK.

if(O′Y=1かつO′M=1かつO′C=1)
OY″=0 OM″=0 OC″=0 OK″=1
else OY″=OY OM″=OM OC″=OC OK″=0
(24)
以上の一連の処理により、誤差拡散パターンとしてパターン変調画像が埋込まれる。この処理によって得られる記録画像(合成画像)は、以下のような性質を持つ。すなわち、誤差拡散処理により濃度が補償されることにより、合成画像としてマクロ的には被埋込み画像の色度とほぼ同じ色度をもつ画像が記録される。また、第2の実施形態と同様に変調パターン画像成分は視覚的に感度の低い高周波数成分が強い色差信号である。また、僅かに存在する低周波成分も、誤差拡散による濃度補償作用によりさらに低下する。このため、埋込み画像により変調されたパターン変調画像の成分はほとんど視覚的には観測できない。
if (O′Y = 1 and O′M = 1 and O′C = 1)
OY ″ = 0 OM ″ = 0 OC ″ = 0 OK ″ = 1
else OY ″ = OY OM ″ = OM OC ″ = OC OK ″ = 0
(24)
Through the series of processes described above, a pattern-modulated image is embedded as an error diffusion pattern. A recorded image (synthesized image) obtained by this processing has the following properties. That is, by compensating the density by error diffusion processing, an image having substantially the same chromaticity as that of the embedded image is recorded as a synthesized image in a macro manner. Similarly to the second embodiment, the modulation pattern image component is a color difference signal having a high frequency component with low visual sensitivity. Further, the low-frequency component that is slightly present is further reduced by the density compensation effect by error diffusion. For this reason, the component of the pattern modulation image modulated by the embedded image can hardly be visually observed.

合成画像は誤差拡散過程の中で、パターン変調画像の強度が付加された後に2値化されているので、2値化画像はパターン変調画像との相関が極めて高くなっている。すなわち、変調パラメータ(Vy,Vm,Vc)の値に応じて、パラメータが正の場合は正の相関、負の場合は負の相関を持つ。また、パラメータの絶対値が大きいほど相関が高くなる。ここではVy≧0,Vm<0,Vc<0なので、Y成分はパターン変調画像と正の相関が高く、M,C成分はパターン変調画像と負の相関が高くなる。   Since the synthesized image is binarized after the intensity of the pattern modulation image is added in the error diffusion process, the binarized image has a very high correlation with the pattern modulation image. That is, according to the value of the modulation parameter (Vy, Vm, Vc), a positive correlation is obtained when the parameter is positive, and a negative correlation is obtained when the parameter is negative. Further, the correlation increases as the absolute value of the parameter increases. Here, since Vy ≧ 0, Vm <0, and Vc <0, the Y component has a high positive correlation with the pattern modulation image, and the M and C components have a high negative correlation with the pattern modulation image.

一方、パターン変調画像はパターン画像を埋込み画像により反転したものである。このため、埋込み画像の画像値が1の画素ではこの相関の正負が反転する。すなわち、埋込み画像の画素値が0の領域では、パターン変調画像は合成画像のY成分は正の相関を持ち、M,C成分とは負の相関を持つ。また、埋込み画像の画素値が1の領域ではパターン変調画像は合成画像のY成分と負の相関を持ち、M,C成分とは正の相関を持つ。   On the other hand, the pattern modulation image is an inversion of the pattern image by the embedded image. For this reason, the positive / negative of this correlation is reversed at a pixel whose image value is 1 in the embedded image. In other words, in the region where the pixel value of the embedded image is 0, the pattern-modulated image has a positive correlation with the Y component of the composite image and a negative correlation with the M and C components. In the region where the pixel value of the embedded image is 1, the pattern-modulated image has a negative correlation with the Y component of the composite image, and has a positive correlation with the M and C components.

次に、第3の実施形態によって記録された合成画像から埋込み画像を再生する方法について説明する。本実施形態においても、第2の実施形態と同様に図10に示すように不規則パターン画像Q(x,y)に対応した透過率分布を持つ透明な再生用シート1003を合成画像が記録された記録物1100上に重ねることにより、埋込み画像の再生を行う。本実施形態では、再生用シート1003として第2の実施形態で示したものと同じものを用いる。すなわち、再生用シート1003の透過率分布Tr(x,y),Tg(x,y),Tb(x,y)は前記の式(16)で表わされる。この再生用シート1003を記録物1100上に重ねることにより、埋込み画像がY−Bの色差信号として再生される。   Next, a method for reproducing an embedded image from the composite image recorded according to the third embodiment will be described. Also in this embodiment, as in the second embodiment, a composite image is recorded on a transparent reproduction sheet 1003 having a transmittance distribution corresponding to the irregular pattern image Q (x, y) as shown in FIG. The embedded image is reproduced by being superimposed on the recorded material 1100. In this embodiment, the same sheet as that shown in the second embodiment is used as the reproduction sheet 1003. That is, the transmittance distributions Tr (x, y), Tg (x, y), and Tb (x, y) of the reproduction sheet 1003 are expressed by the above equation (16). By superimposing the reproduction sheet 1003 on the recorded material 1100, the embedded image is reproduced as a Y-B color difference signal.

このような再生用シート1003を記録物1100上に重ねることにより、埋込み画像が再生される原理について説明する。上述したように、埋込み画像の画素値が0の領域では、パターン変調画像は合成画像のY成分と正の相関を持ち、M,C成分とは負の相関を持つ。また、埋込み画像の画素値が1の領域では、パターン変調画像は合成画像のY成分と負の相関を持ち、M,C成分とは正の相関を持つ。   The principle of reproducing the embedded image by superimposing such a reproduction sheet 1003 on the recorded material 1100 will be described. As described above, in the region where the pixel value of the embedded image is 0, the pattern modulation image has a positive correlation with the Y component of the composite image and a negative correlation with the M and C components. In the region where the pixel value of the embedded image is 1, the pattern-modulated image has a negative correlation with the Y component of the composite image, and has a positive correlation with the M and C components.

従って、上述した再生用シート1003を記録物1100上に重ねることにより、埋込み画像の画素値が0の領域ではYインクの印字されている画素が再生用シート1003の黒画素と重なりやすくなり、またMインクおよびCインクの印字されている画素は再生用シート1003の白(透明)画素と重なりやすくなる。すなわち、マクロ的にみると埋込み画像の画素値が0の領域では、色がM、Cの合成色であるBの方にシフトする。一方、埋込み画像の画素値が1の領域では、同様の理由でYの方にシフトする。このため再生用シート1003を重ねることにより、埋込み画像の画素値に応じて画像の色度がYもしくはB方向にシフトするので、埋込み画像はY−Bの色差に変調された情報として再生される。   Therefore, by superimposing the above-described reproduction sheet 1003 on the recorded material 1100, the pixel on which Y ink is printed easily overlaps the black pixel of the reproduction sheet 1003 in the area where the pixel value of the embedded image is 0, Pixels printed with M ink and C ink tend to overlap with white (transparent) pixels of the reproduction sheet 1003. That is, when viewed in a macro manner, in a region where the pixel value of the embedded image is 0, the color is shifted toward B, which is a composite color of M and C. On the other hand, in the area where the pixel value of the embedded image is 1, it shifts to Y for the same reason. Therefore, since the chromaticity of the image is shifted in the Y or B direction according to the pixel value of the embedded image by overlapping the reproduction sheet 1003, the embedded image is reproduced as information modulated by the Y-B color difference. .

以上説明したように、第3の実施形態においても第1および第2の実施形態と同様に、被埋込み画像と視覚的にほぼ同じで、画質劣化なしに別の画像(埋込み画像)を埋込んだ合成画像を記録することができる。また、この合成画像が記録された記録物上に所定の再生用シートを重ねることにより、複雑な信号処理を必要とすることなく、簡単に視覚的に認識できるように再生することができる。しかも、実施形態ではパターン画像に不規則パターンを用いているので、第2の実施形態と同様に合成画像から埋込んだパターンを推定することが困難であるという特徴を持つ。   As described above, in the third embodiment, as in the first and second embodiments, it is visually the same as the embedded image, and another image (embedded image) is embedded without deterioration in image quality. A composite image can be recorded. Further, by superimposing a predetermined reproduction sheet on the recorded material on which the composite image is recorded, it is possible to reproduce the image so that it can be easily recognized visually without requiring complicated signal processing. In addition, since the irregular pattern is used in the pattern image in the embodiment, it is difficult to estimate the embedded pattern from the synthesized image, as in the second embodiment.

さらに、本実施形態では第1および第2の実施形態にない特徴として、2値記録で合成画像を記録することから、インクジェット記録方式のような画素毎の多値濃度の制御が容易でない記録方式のプリンタを用いた場合にも容易に適用が可能であるという利点を有する。   Furthermore, in this embodiment, as a feature not in the first and second embodiments, since a composite image is recorded by binary recording, a recording method in which control of multi-value density for each pixel is not easy as in an ink jet recording method. This printer has the advantage that it can be easily applied even when the printer is used.

(第4の実施形態)
次に、本発明に係る第4の実施形態について説明する。第1〜第3の実施形態では、透過率分布を持った再生用シートを記録物上に重ねることにより、埋込み画像の再生を行ったのに対し、本実施形態は厚み分布を持った光学素子により再生を行うことができるようにした点が異なる。
(Fourth embodiment)
Next, a fourth embodiment according to the present invention will be described. In the first to third embodiments, an embedded image is reproduced by superimposing a reproduction sheet having a transmittance distribution on a recorded material, whereas this embodiment is an optical element having a thickness distribution. The difference is that playback can be performed.

まず、本実施形態に係る画像合成記録装置について説明する。本実施形態における画像合成記録装置の構成および処理手順は第1の実施形態と基本的に同じであり、パターン画像の構成のみがやや異なる。以下、本実施形態における処理手順を図18に示すフローチャートを用いて説明する。   First, the image composition recording apparatus according to the present embodiment will be described. The configuration and processing procedure of the image composition recording apparatus in this embodiment are basically the same as those in the first embodiment, and only the configuration of the pattern image is slightly different. Hereinafter, the processing procedure in the present embodiment will be described with reference to the flowchart shown in FIG.

[第1ステップ(パターン発生)]
まず、第1ステップS41でパターン画像Q(x,y)を発生する。本実施形態では、このパターン画像Q(x,y)として図19に示すようなストライプ状のパターン画像を用いる。このパターン画像Q(x,y)は、色差量(Vr,Vg,Vb)に与えるゲインが−1の画素と1の画素をストライプ状に配列したものであり、図19の例ではゲイン−1の画素をy軸方向に2列並べたものと、ゲイン1の画素をy軸方向に2列並べたものを交互に、すなわちx軸方向に4画素の周期で配列して構成されている。このパターン画像Q(x,y)の生成式を式(25)に示す。
[First step (pattern generation)]
First, a pattern image Q (x, y) is generated in the first step S41. In the present embodiment, a stripe pattern image as shown in FIG. 19 is used as the pattern image Q (x, y). This pattern image Q (x, y) is obtained by arranging pixels having a gain of −1 and pixels having a gain of −1 to a color difference amount (Vr, Vg, Vb) in a stripe shape. In the example of FIG. The pixels are arranged in two rows in the y-axis direction and the pixels in which the gain 1 pixels are arranged in two columns in the y-axis direction are alternately arranged, that is, arranged in a cycle of 4 pixels in the x-axis direction. A formula for generating the pattern image Q (x, y) is shown in Formula (25).

もし(int(x/2)mod2=0ならば、Q(x,y)=−1
もし(int(x/2)mod2=1ならば、Q(x,y)=1
(25)
[第2ステップ(パターン変調)]
[第3ステップ(パターン重畳)]
[第4ステップ(色修正]
次に、第2ステップS42、第3ステップS43および第4ステップS44でパターンの変調、パターンの重畳および色修正を順次行い、最後に得られた合成画像を記録するが、これらの処理は第1の実施形態と全く同じであるので、説明は省略する。
If (int (x / 2) mod 2 = 0, Q (x, y) = − 1
If (int (x / 2) mod 2 = 1, Q (x, y) = 1
(25)
[Second step (pattern modulation)]
[Third step (pattern superposition)]
[Fourth Step (Color Correction)
Next, in the second step S42, the third step S43, and the fourth step S44, pattern modulation, pattern superimposition, and color correction are sequentially performed, and the finally obtained composite image is recorded. Since it is exactly the same as the embodiment, the description is omitted.

本実施形態においても、第1の実施形態と同様に被埋込み画像と埋込み画像を合成した合成画像が記録される。この合成画像は視覚的にほぼ被埋込み画像と同じに見える画像となり、埋込み画像の情報は全く、もしくはほとんど見えない情報となる。   Also in the present embodiment, a composite image obtained by combining the embedded image and the embedded image is recorded as in the first embodiment. This synthesized image is an image that looks visually the same as the embedded image, and the information of the embedded image is information that is completely or hardly visible.

次に、本実施形態で記録される合成画像から埋込み画像を再生する方法について説明する。本実施形態では埋込み画像の再生に円柱レンズアレイ、いわゆるレンティキュラーレンズをシート状に構成した光学系を用いる。   Next, a method for reproducing an embedded image from a composite image recorded in the present embodiment will be described. In this embodiment, an optical system in which a cylindrical lens array, a so-called lenticular lens, is formed into a sheet shape is used for reproducing an embedded image.

図20はレンティキュラーレンズ2000の構成を示したもので、複数の円柱レンズを平行に並べた構造となっている。各円柱レンズの焦点は、底面2001上にある。また、円柱レンズのピッチはパターン画像Q(x,y)のx軸方向の周期(本実施形態では4画素)と等しくなっている。   FIG. 20 shows the configuration of the lenticular lens 2000, which has a structure in which a plurality of cylindrical lenses are arranged in parallel. The focal point of each cylindrical lens is on the bottom surface 2001. Further, the pitch of the cylindrical lenses is equal to the cycle (4 pixels in the present embodiment) in the x-axis direction of the pattern image Q (x, y).

図21に、レンティキュラーレンズ2000を記録物2002上の合成画像の上に重ねた場合の模式図を示す。合成画像の上に円柱レンズの円柱軸(図21で紙面に垂直方向)と合成画像のx軸方向、すなわちパターン画像Q(x,y)の周期方向が直交するように重ね、さらに対応するパターン画像のQ(x,y)=1の部分の中心が各円柱レンズの中心軸上に乗るように位置を合わせる。そして、レンティキュラーレンズ2000の上面から観測することにより、埋込み画像が再生される。   FIG. 21 is a schematic diagram when the lenticular lens 2000 is overlaid on the composite image on the recorded material 2002. On the composite image, the cylindrical axis of the cylindrical lens (perpendicular to the paper surface in FIG. 21) and the x-axis direction of the composite image, that is, the periodic direction of the pattern image Q (x, y) are overlapped, and further corresponding patterns The positions are adjusted so that the center of the Q (x, y) = 1 portion of the image is on the central axis of each cylindrical lens. Then, by observing from the upper surface of the lenticular lens 2000, the embedded image is reproduced.

本実施形態における埋込み画像の再生原理を図21を用いて説明する。パターン画像のQ(x,y)=1の部分が円柱レンズの中心軸と合っているので、円柱レンズ面に対して垂直方向から画像を観察すると、光は全てパターン画像のQ (x,y)=1の中心部分に集まる。このため、パターン画像のQ(x,y)=1の部分の画像が見え、Q(x,y)=−1の部分の画像は全く観察画像には寄与しなくなる。このため、埋込み画像の画素値R(x,y)が0の領域では(Vr,Vg,Vb)が加算した画像が見え、R(x,y)=1の領域では(Vr,Vg,Vb)を減算した画像が見える。従って、埋込み画像に応じて色差がシフトした画像が観察される。   The reproduction principle of the embedded image in this embodiment will be described with reference to FIG. Since the Q (x, y) = 1 portion of the pattern image is aligned with the central axis of the cylindrical lens, when the image is observed from the direction perpendicular to the cylindrical lens surface, all the light is Q (x, y) of the pattern image. ) = 1. For this reason, the image of the part of Q (x, y) = 1 of the pattern image is seen, and the image of the part of Q (x, y) = − 1 does not contribute to the observation image at all. For this reason, an image in which (Vr, Vg, Vb) is added can be seen in the region where the pixel value R (x, y) of the embedded image is 0, and (Vr, Vg, Vb) in the region where R (x, y) = 1. ) Is subtracted. Therefore, an image in which the color difference is shifted according to the embedded image is observed.

ここで、第1の実施形態では埋込み画像のR(x,y)=1の部分は再生用シートの黒部分に重なって見えなかったのに対し、本実施形態ではR(x,y)=1の部分も色差シフトした色として見えるため、第1の実施形態に比べ2倍の色差コントラストが得られる。また、被埋込み画像成分はシートの黒画素により遮られることがないので、埋込み画像成分は本来の明るさで観察される。   Here, in the first embodiment, the portion of R (x, y) = 1 in the embedded image did not overlap with the black portion of the reproduction sheet, whereas in this embodiment, R (x, y) = Since the portion 1 also appears as a color-shifted color, twice the color-difference contrast can be obtained compared to the first embodiment. Further, since the embedded image component is not blocked by the black pixels of the sheet, the embedded image component is observed with the original brightness.

また、第1の実施形態では再生用シートと合成画像の位置を所定の関係に合わないと埋込み画像を再生することができなかったのに対し、本実施形態では再生用光学素子であるレンティキュラーレンズ2000が合成画像に対して所定の位置関係からずれていても、視点を動かすことにより埋込み画像を再生することができる。すなわち、例えば図22に示すようにパターン画像のQ(x,y)=1の部分が中心軸2201から少し右にずれている場合を考える。このような場合は、矢印2202の方向から観察するように視点を移すことにより、焦点位置はQ(x,y)=1の位置にシフトし、正しく埋込み画像を再生できる。   In the first embodiment, the embedded image cannot be reproduced unless the positions of the reproduction sheet and the composite image match a predetermined relationship. In the present embodiment, the lenticular, which is a reproduction optical element, cannot be reproduced. Even if the lens 2000 deviates from the predetermined positional relationship with respect to the composite image, the embedded image can be reproduced by moving the viewpoint. That is, for example, as shown in FIG. 22, consider a case where the pattern image Q (x, y) = 1 portion is slightly shifted to the right from the central axis 2201. In such a case, by shifting the viewpoint so as to observe from the direction of the arrow 2202, the focal position is shifted to a position of Q (x, y) = 1, and the embedded image can be correctly reproduced.

本実施形態においても、第1の実施形態と同様に被埋込み画像と視覚的にほぼ同じであり、埋込み画像を記録できる。また、レンティキュラーレンズのような所定のシート状の再生用光学素子を重ねることにより、この埋込み画像を被埋込み画像への重畳画像として容易に再生し、視覚的に確認することができる。   Also in this embodiment, it is visually almost the same as the embedded image as in the first embodiment, and the embedded image can be recorded. In addition, by overlaying a predetermined sheet-shaped reproducing optical element such as a lenticular lens, the embedded image can be easily reproduced as a superimposed image on the embedded image and visually confirmed.

また、本実施形態では再生用光学素子にレンティキュラーレンズを用いているため、(1) 第1の実施形態と比べて再生コントラストが約2倍になる、(2) 再生用光学素子と合成画像の位相がずれていても、視点をずらすことにより再生コントラストが最大の位置を求めることができる、(3) 被埋込め画像もそのままの明るさで観察できる、などの優れた利点を有する。   In this embodiment, since a lenticular lens is used for the reproducing optical element, (1) the reproduction contrast is about twice that of the first embodiment. (2) the reproducing optical element and the composite image. Even if the phase is shifted, the position where the reproduction contrast is maximum can be obtained by shifting the viewpoint, and (3) the embedded image can be observed with the same brightness.

第1の実施形態に係る画像合成記録/再生システムの構成を示すブロック図1 is a block diagram showing the configuration of an image composition recording / reproducing system according to a first embodiment. 第1の実施形態における画像処理手順を示すフローチャートThe flowchart which shows the image processing procedure in 1st Embodiment. 第1の実施形態で用いる市松状パターン画像の構成を示す図The figure which shows the structure of the checkered pattern image used in 1st Embodiment. 第1の実施形態における被埋込み画像を平滑化するための平滑化フィルタのカーネルを示す図The figure which shows the kernel of the smoothing filter for smoothing the embedding image in 1st Embodiment. 第1の実施形態における埋込み画像、平滑化埋込み画像、パターン画像およびパターン変調画像の関係の一例を示す図The figure which shows an example of the relationship of the embedded image in 1st Embodiment, the smoothing embedded image, a pattern image, and a pattern modulation image 第1の実施形態における埋込み画像、平滑化埋込み画像、パターン画像およびパターン変調画像の関係の関係の他の例を示す図The figure which shows the other example of the relationship of the relationship between the embedding image in 1st Embodiment, a smoothing embedding image, a pattern image, and a pattern modulation image. 第1の実施形態に係る画像合成記録装置の画像処理系をハードウェアにより実現した例を示すブロック図1 is a block diagram showing an example in which an image processing system of an image composition recording apparatus according to a first embodiment is realized by hardware. 第1の実施形態における被埋込み画像、平滑化埋込み画像、パターン画像および合成画像の色差成分の周波数スペクトルを示す図The figure which shows the frequency spectrum of the color difference component of the to-be-embedded image, the smooth | blunt embedded image, a pattern image, and a synthesized image in 1st Embodiment. 視覚の色度空間周波数特性を示す図Diagram showing visual chromaticity spatial frequency characteristics 第1の実施形態に係る再生装置の構成を示す斜視図The perspective view which shows the structure of the reproducing | regenerating apparatus concerning 1st Embodiment. 図10における再生用シートのパターン構成を示す図The figure which shows the pattern structure of the sheet | seat for reproduction | regeneration in FIG. 第1の実施形態において再生用シートを記録物上に重ねた画像の周波数スペクトルを示す図The figure which shows the frequency spectrum of the image which piled up the sheet | seat for reproduction | regeneration on the recorded matter in 1st Embodiment 第2の実施形態における画像処理手順を示すフローチャートThe flowchart which shows the image processing procedure in 2nd Embodiment. 第2の実施形態で用いる不規則パターン画像の自己相関係数とパワースペクトルを示す図The figure which shows the autocorrelation coefficient and power spectrum of the irregular pattern image used by 2nd Embodiment 第2の実施形態における被埋込み画像、平滑化埋込み画像、パターン画像および合成画像の色差成分の周波数スペクトルを示す図The figure which shows the frequency spectrum of the color difference component of the to-be-embedded image in the 2nd Embodiment, a smoothing embedded image, a pattern image, and a synthesized image. 第2の実施形態において再生用シートを記録物上に重ねた画像の周波数スペクトルを示す図The figure which shows the frequency spectrum of the image which piled up the sheet | seat for reproduction | regeneration on the recorded material in 2nd Embodiment 第3の実施形態における画像処理手順を示すフローチャートA flowchart showing an image processing procedure in the third embodiment. 第4の実施形態における画像処理手順を示すフローチャートThe flowchart which shows the image processing procedure in 4th Embodiment 第4の実施形態で用いるパターン画像のパターン構成を示す図The figure which shows the pattern structure of the pattern image used in 4th Embodiment. 第4の実施形態におけるシート状の再生用光学素子であるレンティキュラーレンズの構成を示す図The figure which shows the structure of the lenticular lens which is a sheet-like reproduction | regeneration optical element in 4th Embodiment. 第4の実施形態における埋込み画像の再生原理を示す図The figure which shows the reproduction | regeneration principle of the embedded image in 4th Embodiment 第4の実施形態において再生用光学素子と記録物上の合成画像中のパターン画像の位相がずれた場合の再生状態を示す図The figure which shows the reproduction | regeneration state when the phase of the pattern image in the synthetic | combination image on the reproduction | regeneration optical element and a recorded material has shifted | deviated in 4th Embodiment.

符号の説明Explanation of symbols

101…CPU、102…画像メモリ、103…画像入力部、104…プログラムメモリ、105…画像記録部、106…バス、107…画像処理部、701…画像メモリ、702…画像メモリ、703…パターン発生部、704…パターン変調部、705…パターン重畳部、706…色修正部、707…画像記録部、1000…画像再生装置本体、1003…再生用シート、1100…記録物、2000…レンティキュラーレンズ(再生用光学素子)、2002…記録物。   DESCRIPTION OF SYMBOLS 101 ... CPU, 102 ... Image memory, 103 ... Image input part, 104 ... Program memory, 105 ... Image recording part, 106 ... Bus, 107 ... Image processing part, 701 ... Image memory, 702 ... Image memory, 703 ... Pattern generation 704... Pattern modulating unit 705... Pattern superimposing unit 706... Color correcting unit 707... Image recording unit 1000 1000 Image reproducing device main body 1003. Reproducing optical element), 2002 ... recorded matter.

Claims (4)

所定の色差量に与えるゲインの情報が画像単位毎に表されたパターンを有する色差パターン画像信号に対し第1の画像信号により変調を施して得られるパターン変調画像信号を所定の色差量を乗じた後に第2の画像信号に重畳した画像信号が画像として記録された記録物から前記第1の画像信号を可視画像として再生するための画像再生装置であって、
前記色差パターン画像信号のパターンと同一パターンの透過率分布を有し、前記記録物上に配置されるシートを備えることを特徴とする画像再生装置。
Gain information given to a predetermined color difference amount is multiplied by a predetermined color difference amount by a pattern modulated image signal obtained by modulating a color difference pattern image signal having a pattern expressed for each image unit with a first image signal . after the image signal superimposed on the second image signal is an image reproducing apparatus for reproducing the first image signal as a visible image from the recorded matter recorded as an image,
An image reproducing apparatus comprising: a sheet having a transmittance distribution of the same pattern as the pattern of the color difference pattern image signal and disposed on the recorded matter.
所定の色差量に与えるゲインの情報が画像単位毎に表されたパターンを有する色差パターン画像信号に対し第1の画像信号により変調を施して得られるパターン変調画像信号を所定の色差量を乗じた後に第2の画像信号に重畳した画像信号が画像として記録された記録物から前記第1の画像信号を可視画像として再生するための画像再生装置であって、
前記色差パターン画像信号のパターンと同一パターンの厚み分布を有し、前記記録物上に配置される光学素子を備えることを特徴とする画像再生装置。
Gain information given to a predetermined color difference amount is multiplied by a predetermined color difference amount by a pattern modulated image signal obtained by modulating a color difference pattern image signal having a pattern expressed for each image unit with a first image signal . after the image signal superimposed on the second image signal is an image reproducing apparatus for reproducing the first image signal as a visible image from the recorded matter recorded as an image,
An image reproducing apparatus comprising: an optical element having a thickness distribution of the same pattern as the pattern of the color difference pattern image signal and disposed on the recorded matter.
所定の色差量に与えるゲインの情報が画像単位毎に表されたパターンを有する色差パターン画像信号に対し第1の画像信号により変調を施して得られるパターン変調画像信号を所定の色差量を乗じた後に第2の画像信号に重畳した画像信号が画像として記録された記録物から前記第1の画像信号を可視画像として再生する画像再生方法であって、Gain information given to a predetermined color difference amount is multiplied by a predetermined color difference amount by a pattern modulated image signal obtained by modulating the color difference pattern image signal having a pattern expressed for each image unit with the first image signal. An image reproduction method for reproducing the first image signal as a visible image from a recorded matter in which an image signal superimposed on the second image signal is recorded as an image later,
前記色差パターン画像信号のパターンと同一パターンの透過率分布を有するシートを前記記録物上に配置することにより、当該シートを通じて前記記録物から前記第1の画像信号を可視画像として再生できるようにしたことを特徴とする画像再生方法。By arranging a sheet having a transmittance distribution of the same pattern as the pattern of the color difference pattern image signal on the recorded material, the first image signal can be reproduced as a visible image from the recorded material through the sheet. An image reproduction method characterized by the above.
所定の色差量に与えるゲインの情報が画像単位毎に表されたパターンを有する色差パターン画像信号に対し第1の画像信号により変調を施して得られるパターン変調画像信号を所定の色差量を乗じた後に第2の画像信号に重畳した画像信号が画像として記録された記録物から前記第1の画像信号を可視画像として再生する画像再生方法であって、Gain information given to a predetermined color difference amount is multiplied by a predetermined color difference amount by a pattern modulated image signal obtained by modulating a color difference pattern image signal having a pattern expressed for each image unit with a first image signal. An image reproduction method for reproducing the first image signal as a visible image from a recorded material in which an image signal superimposed on the second image signal is recorded as an image,
前記色差パターン画像信号のパターンと同一パターンの厚み分布を有する光学素子を前記記録物上に配置することにより、当該光学素子を通じて前記記録物から前記第1の画像信号を可視画像として再生できるようにしたことを特徴とする画像再生方法。By arranging an optical element having the same thickness distribution as the pattern of the color difference pattern image signal on the recorded material, the first image signal can be reproduced as a visible image from the recorded material through the optical element. An image reproduction method characterized by that.
JP2003323361A 2003-09-16 2003-09-16 Image reproducing apparatus and image reproducing method Expired - Lifetime JP3785166B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003323361A JP3785166B2 (en) 2003-09-16 2003-09-16 Image reproducing apparatus and image reproducing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003323361A JP3785166B2 (en) 2003-09-16 2003-09-16 Image reproducing apparatus and image reproducing method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP05752996A Division JP3547892B2 (en) 1996-03-14 1996-03-14 Image recording apparatus and image recording method

Publications (2)

Publication Number Publication Date
JP2004048800A JP2004048800A (en) 2004-02-12
JP3785166B2 true JP3785166B2 (en) 2006-06-14

Family

ID=31712722

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003323361A Expired - Lifetime JP3785166B2 (en) 2003-09-16 2003-09-16 Image reproducing apparatus and image reproducing method

Country Status (1)

Country Link
JP (1) JP3785166B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5725818B2 (en) * 2010-12-01 2015-05-27 富士フイルム株式会社 Transparent conductive sheet manufacturing method, transparent conductive sheet and program

Also Published As

Publication number Publication date
JP2004048800A (en) 2004-02-12

Similar Documents

Publication Publication Date Title
JP3547892B2 (en) Image recording apparatus and image recording method
US6095566A (en) Image recorded product, image recording system, image reproducing system, and recording medium for use to superimpose-record/reproduce additional information
US6721440B2 (en) Low visibility watermarks using an out-of-phase color
JP4712054B2 (en) Method and system for simulating images with differential gloss
KR100701907B1 (en) Image processing apparatus
US7961905B2 (en) Encoding invisible electronic information in a printed document
JP3720747B2 (en) Image forming system, image forming apparatus, and image forming method
JP4227048B2 (en) Image processing system
US7072522B2 (en) Image processing apparatus and method
KR100547794B1 (en) Image processing method
US8520261B2 (en) Controller and halftone dot signal generating method capable of controlling glossiness of image
JP4807414B2 (en) Image processing apparatus, image processing method, and image processing program
Pei et al. Data hiding in halftone images with noise-balanced error diffusion
JP3785166B2 (en) Image reproducing apparatus and image reproducing method
JP4290681B2 (en) Image processing apparatus, image processing method, image processing program, machine-readable recording medium recording image processing program, and printed matter
JPH11355554A (en) Image information processing method and forgery prevention method for certificates etc.
JP4038956B2 (en) Image generation system and image generation method
JP4345221B2 (en) Image generation system, recorded image, and image recording medium
JP2001103282A (en) Image processing method and apparatus
JP2006303807A (en) Digital watermark embedding apparatus, digital watermark embedding method, program for implementing the method on a computer, machine-readable recording medium recording the program, and printed matter
JP4746663B2 (en) Image processing apparatus and image processing method
JP2000078391A (en) Printing method and device and recording medium thereof
JP2007150799A (en) Apparatus and method for creating image information
JP2001103285A (en) Image processing method and apparatus
JP2009065364A (en) Image processing method, image processing apparatus, and recorded material

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050531

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060316

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100324

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100324

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110324

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120324

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130324

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130324

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140324

Year of fee payment: 8

EXPY Cancellation because of completion of term