JP5063645B2 - Digital watermark detection apparatus and digital watermark detection program - Google Patents
Digital watermark detection apparatus and digital watermark detection program Download PDFInfo
- Publication number
- JP5063645B2 JP5063645B2 JP2009163682A JP2009163682A JP5063645B2 JP 5063645 B2 JP5063645 B2 JP 5063645B2 JP 2009163682 A JP2009163682 A JP 2009163682A JP 2009163682 A JP2009163682 A JP 2009163682A JP 5063645 B2 JP5063645 B2 JP 5063645B2
- Authority
- JP
- Japan
- Prior art keywords
- digital watermark
- error detection
- image
- bit
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
本発明は、紙上や電子的に表示された文書や画像に対し電子透かしを埋め込んでおき、後にその電子透かしを検出することで、それら文書や画像が改ざんされたかどうかを検出する電子透かし検出装置及び電子透かし検出プログラムに関するものである。 The present invention is, with respect to paper and electronically displayed document or image is embedded an electronic watermark, later that by detecting the electronic watermark, electronic watermark you detect whether they document or image has been tampered The present invention relates to a detection device and a digital watermark detection program.
従来より、紙上や電子的に表示された文書や画像に対し電子透かしを埋め込んでおき、後にその電子透かしを検出することで、それら文書や画像が改ざんされたかどうかを検出する手法が存在する。
例えば、特許文献1には、原画像データのハッシュ値を計算して電子透かしなどを利用して保存しておき、後にスキャン画像データから得られたハッシュ値と比較して、改ざん検出する手法が開示されている。また、非特許文献1には、原画像と複数のランダムガウス信号との相関の正負によりビジュアルハッシュと称するビットを生成して電子透かしなどを利用して保存しておき、後にスキャン画像と上記と同じ複数のランダムガウス信号との相関の正負から得られたビジュアルハッシュビットと比較することで、改ざんを検出する手法が開示されている。
Conventionally, there has been a technique for detecting whether or not a document or image has been tampered with by embedding a digital watermark in a document or image displayed on paper or electronically and detecting the digital watermark later.
For example, Patent Document 1 discloses a technique for calculating a hash value of original image data and storing it using a digital watermark or the like, and comparing it with a hash value obtained from scanned image data later to detect falsification. It is disclosed. In Non-Patent Document 1, a bit called a visual hash is generated by using positive and negative correlations between an original image and a plurality of random Gaussian signals and stored using a digital watermark or the like. There has been disclosed a technique for detecting tampering by comparing with visual hash bits obtained from positive and negative correlations with the same plurality of random Gaussian signals.
しかしながら、例えば、従来の特許文献1に記載されているような画像検証装置では、原画像を印刷し、更にスキャンする際に生じるアナログ変換ノイズの介在により、改ざんがない場合でも原画像とスキャン画像のそれぞれのハッシュ値が必ずしも一致するとは限らず、効果的に改ざんを検出できないという課題があった。
また、非特許文献1に記載されているような電子透かし埋め込み方法では、相関を計算したランダムガウス信号の数だけビジュアルハッシュと称するビット列をつくって保存しておく必要があるが、精度を上げるには、相関を計算するランダムガウス信号の数を増やす必要がある。改ざんを検出するためには、それらのビジュアルハッシュビットは電子透かしで埋め込んで保存する必要があり、そのため電子透かしとしての埋め込みビット数が増大してしまうという課題があった。
However, for example, in the conventional image verification apparatus as described in Patent Document 1, the original image and the scanned image are printed even when there is no alteration due to the analog conversion noise generated when the original image is printed and further scanned. There is a problem in that the respective hash values do not always match and it is not possible to effectively detect tampering.
In addition, in the digital watermark embedding method as described in Non-Patent Document 1, it is necessary to create and store bit strings called visual hashes as many as the number of random Gaussian signals for which the correlation is calculated. Needs to increase the number of random Gaussian signals for which the correlation is calculated. In order to detect tampering, it is necessary to embed and store these visual hash bits with a digital watermark, which increases the number of embedded bits as a digital watermark.
この発明は上記のような課題を解決するためになされたもので、効果的に改ざんを検出することができ、かつ、電子透かしとしての埋め込みビット数を小さくすることのできる電子透かし検出装置及び電子透かし検出プログラムを得ることを目的とする。 The present invention has been made to solve the above problems, it is possible to effectively detect tampering, and child watermark detection apparatus and electrodeposition can be reduced the number of embedded bits as an electronic watermark An object is to obtain a digital watermark detection program.
この発明に係る電子透かし検出装置は、互いに異なる信号から形成された複数の参照画像を生成する参照画像生成手段と、参照画像生成手段で生成された参照画像と、電子透かし埋め込み済み画像をスキャンしたスキャン画像との関係を示す数値を計算し、その数値により、参照画像に対応する情報ビット値を0または1に決定する情報ビット決定手段と、
スキャン画像から電子透かしを検出して、電子透かしとして埋め込まれていたサムチェックビットを検出するサムチェックビット検出手段と、情報ビット決定手段から得られた情報ビットと、サムチェックビット検出手段から得られたサムチェックビットとを用いて、誤り検出訂正復号を行う誤り検出訂正復号手段と、誤り検出訂正復号手段の誤り検出訂正結果からスキャン画像の改ざんの有無を判定する改ざん判定手段とを備えたものである。
The digital watermark detection apparatus according to the present invention scans a reference image generation unit that generates a plurality of reference images formed from different signals, a reference image generated by the reference image generation unit, and a digital watermark embedded image Information bit determining means for calculating a numerical value indicating a relationship with the scanned image and determining an information bit value corresponding to the reference image to 0 or 1 based on the numerical value;
Sum check bit detection means for detecting a digital watermark from the scanned image and detecting the sum check bit embedded as the digital watermark, the information bit obtained from the information bit determination means, and the sum check bit detection means Error detection / correction decoding means for performing error detection / correction decoding using the sum check bit and tampering determination means for determining whether the scanned image has been falsified from the error detection / correction result of the error detection / correction decoding means It is.
この発明の電子透かし検出装置は、原画像と参照画像との関係に基づく0または1の情報ビットを誤り検出訂正符号化し、この誤り検出訂正符号化手段で符号化されたサムチェックビットを、電子透かしを用いて原画像に埋め込むようにしたので、その電子透かしに基づいて、効果的に改ざんの有無を検出することができる。 The digital watermark detection apparatus of the present invention performs error detection / correction encoding on 0 or 1 information bits based on the relationship between an original image and a reference image, and converts the sum check bits encoded by the error detection / correction encoding means into electronic Since the watermark is used to embed the original image, the presence / absence of tampering can be detected effectively based on the digital watermark.
実施の形態1.
図1は、この発明の実施の形態1による電子透かし埋め込み装置を示す構成図である。
図1に示す電子透かし埋め込み装置は、ガウス雑音画像生成部1、原画像取得部2、ベクトル内積計算部3、情報ビット値算出部4、ビットパディング部5、誤り検出訂正符号化部6、サムチェックビット取得部7、電子透かし埋め込み部8を備えている。
Embodiment 1 FIG.
FIG. 1 is a block diagram showing a digital watermark embedding device according to Embodiment 1 of the present invention.
1 includes a Gaussian noise image generation unit 1, an original image acquisition unit 2, a vector inner
ガウス雑音画像生成部1は、互いに異なる信号から形成された複数の画像を生成する参照画像生成手段である。原画像取得部2は、紙上や電子的に表示された文書や画像(以下原画像と称す)を取得する手段であり、文書データのインタフェースやスキャナ等で構成されている。ベクトル内積計算部3は、ガウス雑音画像生成部1で生成したそれぞれのガウス雑音画像と原画像取得部2で取得した原画像とのベクトル内積を計算する手段である。情報ビット値算出部4は、ベクトル内積計算部3で計算された内積値から1か0の情報ビットを算出する情報ビット決定手段である。ビットパディング部5は、情報ビット値算出部4で算出された情報ビットにゼロパディングを行う(値が0であるビットをあるビット数だけ付加する)手段である。誤り検出訂正符号化部6は、ビットパディング部5でゼロパディングされた情報ビットの誤り検出訂正符号化を行う誤り検出訂正符号化手段である。サムチェックビット取得部7は、誤り検出訂正符号化部6で誤り検出訂正符号化した際のサムチェックビットを取得する手段である。電子透かし埋め込み部8は、サムチェックビット取得部7で取得されたサムチェックビットを、原画像取得部2で取得された原画像に対して電子透かしとして埋め込みを行い、電子透かし埋込済画像100を出力する電子透かし埋め込み手段である。
The Gaussian noise image generation unit 1 is a reference image generation unit that generates a plurality of images formed from different signals. The original image acquisition unit 2 is a means for acquiring a document or image (hereinafter referred to as an original image) displayed on paper or electronically, and includes a document data interface, a scanner, and the like. The vector inner
次に、実施の形態1の電子透かし埋め込み装置の動作を説明する。
電子透かし埋め込み装置における動作の概略は次の通りである。即ち、互いに異なる複数のガウス雑音画像と1つの原画像との間でベクトル内積計算を行って、ガウス雑音画像の数と同じビット数の情報ビットを生成する。その情報ビットにゼロパディングした上で、誤り検出訂正符号化を行って、あるビット数のサムチェックビットを得る。そのように得られたサムチェックビットを電子透かしを用いて原画像に埋め込んだ画像を生成した上で、電子透かし埋込済画像100を生成する。
Next, the operation of the digital watermark embedding apparatus according to the first embodiment will be described.
The outline of the operation in the digital watermark embedding apparatus is as follows. That is, vector inner product calculation is performed between a plurality of different Gaussian noise images and one original image to generate information bits having the same number of bits as the number of Gaussian noise images. The information bits are zero-padded and then subjected to error detection and correction coding to obtain a certain number of sum check bits. An image in which the sum check bit thus obtained is embedded in an original image using a digital watermark is generated, and then a digital watermark embedded
以下、電子透かし埋め込み装置における電子透かし埋め込み処理の詳細を図2のフローチャートを用いて説明する。
原画像取得部2は、例えばワープロ文書などから電子的に生成した印刷画像データを取得した後、A画素×B画素(印刷された場合の大きさ(長さ)ではLA×LB:単位mm)の部分画像をN個に分割する(ステップST101,ST102)。
ガウス雑音画像生成部1は、例えば、画素値をガウス雑音を用いて決定した、ガウス雑音画像をM個生成する(ステップST103)。画像の大きさは、A画素×B画素とする。画素値をガウス雑音で決定するには、例えば計算機プログラムであるガウス雑音発生関数などを使用してもよい。その際、画像ごとに、ガウス雑音発生関数の初期値をランダムに変えることによって、それ以降発生するガウス雑音の値は、M個のガウス雑音画像に対し、互いに異なるようにする。
Details of the digital watermark embedding process in the digital watermark embedding apparatus will be described below with reference to the flowchart of FIG.
For example, the original image acquisition unit 2 acquires print image data generated electronically from, for example, a word processing document, and then A pixel × B pixel (L A × L B in the size (length) when printed): unit mm) partial images are divided into N (steps ST101 and ST102).
For example, the Gaussian noise image generation unit 1 generates M Gaussian noise images in which pixel values are determined using Gaussian noise (step ST103). The size of the image is A pixel × B pixel. In order to determine the pixel value with Gaussian noise, for example, a Gaussian noise generation function that is a computer program may be used. At that time, the initial value of the Gaussian noise generation function is randomly changed for each image so that the Gaussian noise values generated thereafter are different from each other for the M Gaussian noise images.
ベクトル内積計算部3は、原画像取得部2で取得されたN個の部分画像の1個ずつに対し、ガウス雑音画像生成部1で生成したM個のガウス雑音画像とのベクトル内積を計算する(ステップST104)。そのやり方は例えば、原画像の部分画像に対して全画素値の平均値を求め、その平均値と現在の各画素値との差分を新たな画素値とする。例えば、画素値の平均値は128である部分画像において、100であった画素値は−28に、また200であった画素値は72に変換されることになる。同様にして、M個のガウス雑音画像に対してもそれぞれ平均値を算出して画素値を変換する。このようにして生成されたガウス雑音画像の画素値(A×B個)を[A×B]次元のベクトルと考えて、(X0,X1,X2,…,XA×B−1)と考える。同じように部分画像の画素値(A×B個)を[A×B]次元のベクトルと考えて、(Y0,Y1,Y2,…,YA×B−1)と考える。このとき、ガウス雑音画像mと原画像の部分画像とのベクトル内積の計算結果をSとすると、Sm=[X0×Y0+X1×Y1+X2×Y2+…+XA×B−1×YA×B−1]となる。
The vector dot
情報ビット値算出部4は、例えば、M個のガウス雑音画像mのベクトル内積値Sm>0ならば1を、またSm<0ならば0を、情報ビット値として算出する。これを、1つの部分画像nに対してM個のガウス雑音画像と行うことで、M個の情報ビット値T0,T1,T2,…,TM−1を生成する(ステップST105)。
ビットパディング部5は、M個の情報ビット値T0,T1,T2,…,TM−1に対し、値が0であるC個のビット値UCを付加して、[M+C]個の符号化ビット列T0,T1,T2,…・TM−1,U0,U1,…,UC−1を生成する(但しU0,U1,…,UC−1=0)(ステップST106)。
For example, the information bit
The bit padding unit 5 adds C bit values U C having a value of 0 to the M information bit values T 0 , T 1 , T 2 ,. coded bits sequence T 0, T 1, T 2 , ... · T M-1,
誤り検出訂正符号化部6は、[M+C]個のビット列T0,T1,T2,…,TM−1,U0,U1,…,UC−1に対して誤り検出訂正符号化を行い、D個のサムチェックビットV0,V1,…,VD−1を算出する(ステップST107)。
サムチェックビット取得部7は、D個のサムチェックビットV0,V1,…,VD−1を取得する。
電子透かし埋め込み部8は、上記D個のサムチェックビットV0,V1,…,VD−1を、例えば原画像内の部分画像nの領域に、電子透かし技術を用いて埋め込むことにより、部分画像から変換された画像データを生成する(ステップST108)。これを例えば、原画像内の全ての部分画像N個に対して行って(ステップST109)、電子透かし埋込済画像100を生成する。
The sum check
The digital watermark embedding unit 8 embeds the D sum check bits V 0 , V 1 ,..., V D-1 , for example, in the region of the partial image n in the original image by using a digital watermark technique. Image data converted from the partial image is generated (step ST108). This is performed, for example, for all N partial images in the original image (step ST109), and the digital watermark embedded
以上説明したように、電子透かし埋め込み装置では、原画像とガウス雑音との相関の正負を情報ビット0/1に変換する。この情報ビットには、アナログノイズ程度の微小な画像変動ではほとんどビット反転は起こらず、人為的改ざんで想定される大幅な画像変動の場合は少なからぬビット反転が発生する、という性質がある(例えば、非特許文献1参照)。そこで、サムチェックビットによる誤り訂正能力の設定値として「アナログノイズで発生する微小なビット反転は完全に訂正できるが、人為的改ざんで発生する程度のビット反転は訂正しきれない」という値に決定する。この値は必要とされる改ざん検出の精度等に基づいて適宜決定する。このように、誤り訂正能力の設定値を適切な値とすることにより、改ざんの検出を誤り訂正の成否で判断することができる。
As described above, the digital watermark embedding apparatus converts the sign of the correlation between the original image and Gaussian noise into
次に、実施の形態1における電子透かし検出装置について説明する。
図3は、実施の形態1の電子透かし検出装置を示す構成図である。
図3に示す電子透かし検出装置は、ガウス雑音画像生成部1、スキャン画像取得部2a、ベクトル内積計算部3、情報ビット値算出部4、ビットパディング部5、誤り検出訂正復号部6a、サムチェックビット取得部7、電子透かし検出部9、パディングビット抽出部10、改ざん判定部11を備えている。
Next, the digital watermark detection apparatus in Embodiment 1 will be described.
FIG. 3 is a configuration diagram illustrating the digital watermark detection apparatus according to the first embodiment.
3 includes a Gaussian noise image generation unit 1, a scan
ガウス雑音画像生成部1は、電子透かし埋め込み装置のガウス雑音画像生成部1と同様に、互いに異なる信号から形成された複数の参照画像を生成する参照画像生成手段である。スキャン画像取得部2aは、電子透かし埋込済画像100をスキャンしたスキャン画像を取得する手段である。ベクトル内積計算部3は、電子透かし埋め込み装置のベクトル内積計算部3と同様の機能を有し、ガウス雑音画像生成部1で生成された参照画像と、スキャン画像取得部2aで得たスキャン画像との関係を示す数値を計算する手段である。情報ビット値算出部4及びビットパディング部5は、それぞれ電子透かし埋め込み装置の情報ビット値算出部4及びビットパディング部5と同様の機能を有する手段である。誤り検出訂正復号部6aは、ビットパディング部5でビットパディングされた情報ビットと、サムチェックビット取得部7から得られたサムチェックビットとを用いて、誤り検出訂正復号を行う誤り検出訂正復号手段である。
The Gaussian noise image generation unit 1 is a reference image generation unit that generates a plurality of reference images formed from signals different from each other, like the Gaussian noise image generation unit 1 of the digital watermark embedding apparatus. The scanned
また、電子透かし検出部9は、スキャン画像取得部2aで取得したスキャン画像から電子透かしを検出する手段であり、サムチェックビット取得部7は、電子透かし検出部9から出力されたサムチェックビットを取得するサムチェックビット検出手段である。パディングビット抽出部10は、誤り検出訂正復号部6aで誤り検出訂正復号された情報ビットからパディングビットを抽出する手段である。改ざん判定部11は、パディングビット抽出部10で抽出されたパディングビットに基づいて、スキャン画像の改ざんの有無を判定する改ざん判定手段である。
The digital
尚、電子透かし検出装置および上述した電子透かし埋め込み装置は、それぞれコンピュータで実現され、電子透かし埋め込み装置におけるガウス雑音画像生成部1〜電子透かし埋め込み部8や、電子透かし検出装置におけるガウス雑音画像生成部1〜改ざん判定部11は、それぞれの機能に対応したソフトウェアとこれらソフトウェアを実行するためのCPUやメモリといったハードウェアから構成されている。あるいは、電子透かし埋め込み装置および電子透かし検出装置の一部または全ての機能部をハードウェアで構成してもよい。 The digital watermark detection apparatus and the digital watermark embedding apparatus described above are each realized by a computer, and the Gaussian noise image generation unit 1 to the digital watermark embedding unit 8 in the digital watermark embedding apparatus or the Gaussian noise image generation unit in the digital watermark detection apparatus. 1 to falsification determination unit 11 includes software corresponding to each function and hardware such as a CPU and a memory for executing the software. Alternatively, some or all of the functional units of the digital watermark embedding device and the digital watermark detection device may be configured by hardware.
次に、実施の形態1の電子透かし検出装置の動作について説明する。
図4は、電子透かし検出処理を示すフローチャートである。
スキャン画像取得部2aは、電子透かし埋め込み装置の原画像取得部2が原画像を取得して部分画像を生成するのに対し、紙媒体の印刷物などをスキャナでスキャンしたスキャン画像を取得し、それを部分画像に分割する(ステップST201,ST202)。このとき、スキャン画像が、電子透かし埋め込み装置で生成された電子透かし埋込済画像100と同じ大きさであるとすると、スキャン画像取得部2aが生成する部分画像の位置と数は、図1の原画像取得部2で生成された部分画像の位置と数とに等しい。
ガウス雑音画像生成部1は、図1のガウス雑音画像生成部1と同一の動作を行い、ガウス雑音画像をM個生成する(ステップST203)。
Next, the operation of the digital watermark detection apparatus according to the first embodiment will be described.
FIG. 4 is a flowchart showing digital watermark detection processing.
The scan
The Gaussian noise image generation unit 1 performs the same operation as the Gaussian noise image generation unit 1 in FIG. 1 to generate M Gaussian noise images (step ST203).
ベクトル内積計算部3は、図1の電子透かし埋め込み装置のベクトル内積計算部3においては原画像取得部2が生成した原画像の部分画像を入力の1つとするのに対し、図3のベクトル内積計算部3においては、スキャン画像取得部2aが生成する部分画像を入力の1つとする点を除き、同一の動作を行う。即ち、1つの部分画像に対し、M個のガウス雑音画像とのベクトル内積計算を行う(ステップST204)。また、それぞれの部分画像の画素数は同一である。
The vector inner
情報ビット値算出部4は、ベクトル内積計算部3で算出されたガウス雑音画像とスキャン画像とから、電子透かし埋め込み装置の情報ビット値算出部4と同様の手順により、1つの部分画像nに対して行うことで、[A×B]個の情報ビット値W0,W1,W2,…,WA×B−1を決定する(ステップST205)。また、ビットパディング部5は、図1のビットパディング部5と同様、[A×B]個の情報ビット値W0,W1,W2,…,WA×B−1に対し、値が0であるC個のビット値QCを付加して、[A×B+C]個の符号化ビット列W0,W1,W2,…,WA×B−1,Q0,Q1,…,QC−1を生成する(但しQ0,Q1,…,QC−1=0)(ステップST206)。
The information bit
電子透かし検出部9は、スキャン画像取得部2aから部分画像を取得し、そこから電子透かしを検出する(ステップST207)。サムチェックビット取得部7は、電子透かし検出部9が部分画像から電子透かしを検出することで、D個のサムチェックビットR0,R1,…,RD−1を得る(ステップST208)。
誤り検出訂正復号部6aは、ビットパディング部5でビットパディングされた情報ビット列W0,W1,W2,…,WA×B−1,Q0,Q1,…,QC−1に、サムチェックビット取得部7で取得したD個のサムチェックビットR0,R1,…,RD−1を付加して、ビット列W0,W1,W2,…,WA×B−1,Q0,Q1,…,QC−1、R0,R1,…,RD−1を生成した上で、誤り検出訂正復号し、復号されたビット列W’0,W’1,W’2,…,W’A×B−1,Q’0,Q’1,…,Q’C−1、R’0,R’1,…,R’D−1を出力する(ステップST209)。
The digital
ECC decoding section 6a, the
パディングビット抽出部10は、誤り検出訂正復号部6aで誤り検出訂正復号されたビット列W’0,W’1,W’2,…,W’A×B−1,Q’0,Q’1,…,Q’C−1、R’0,R’1,…,R’D−1から、パディングビットR’0,R’1,…,R’D−1を抽出する(ステップST210)。
改ざん判定部11は、パディングビット抽出部10で抽出されたパディングビットR’0,R’1,…,R’D−1に対し、=0か、≠0かを判定し、もし=0であれば、部分画像nは改ざんされていないと判定する。そして、このような処理を全ての部分画像の処理が完了するまで行い(ステップST212)、全ての部分画像の処理が完了した場合は、電子透かし埋込済画像100は改ざんされていないと判定する(ステップST213)。一方、ステップST211において、≠0であった場合、部分画像nが改ざんされていると判定する(ステップST214)。
The padding
The tampering determination unit 11 determines whether the padding bits R ′ 0 , R ′ 1 ,..., R ′ D−1 extracted by the padding
図5は、このような電子透かし埋め込み装置と電子透かし検出装置による改ざん検出の動作を示したものである。
また、図6は、電子透かし埋め込み装置と電子透かし検出装置によるゼロパディングを用いた誤訂正の検出の例である。
以下、図5中の括弧内の数字に対応させてその説明を行う。
(1)は、電子透かし埋め込み装置の原画像取得部2で取得された原画像である。
(3)は、ガウス雑音画像生成部1で生成されたガウス雑音画像である。
(2)は、ベクトル内積計算部3で行われるベクトル内積計算である。
(4)は、情報ビット値算出部4とビットパディング部5で行われる情報ビットの算出とゼロパディングである。
(5)は、誤り検出訂正符号化部6で行われる誤り検出訂正符号化演算を示す。
(6)は、電子透かし埋め込み部8で行われるサムチェックビットの電子透かし埋め込みを示す。
以下、(7)以降の動作は電子透かし検出装置によるものである。
FIG. 5 shows an alteration detection operation by such a digital watermark embedding device and a digital watermark detection device.
FIG. 6 is an example of detection of erroneous correction using zero padding by the digital watermark embedding apparatus and the digital watermark detection apparatus.
Hereinafter, the description will be made in correspondence with the numbers in parentheses in FIG.
(1) is an original image acquired by the original image acquisition unit 2 of the digital watermark embedding apparatus.
(3) is a Gaussian noise image generated by the Gaussian noise image generator 1.
(2) is a vector dot product calculation performed by the vector dot
(4) is information bit calculation and zero padding performed by the information bit
(5) shows an error detection / correction encoding operation performed by the error detection /
(6) shows digital watermark embedding of the sum check bit performed by the digital watermark embedding unit 8.
Hereinafter, the operations after (7) are performed by the digital watermark detection apparatus.
(8)は、電子透かし検出装置におけるスキャン画像取得部2aで取得されたスキャン画像である。
(10)は、ガウス雑音画像生成部1で生成されたガウス雑音画像である。
(9)は、ベクトル内積計算部3で行われるベクトル内積計算である。
(11)は、情報ビット値算出部4、ビットパディング部5で行われる情報ビットの算出と0のパディングである。
(7)は、電子透かし検出部9で行われる電子透かしの検出と、サムチェックビット取得部7におけるサムチェックビットの取得を示す。
(12)は、誤り検出訂正復号部6aで行われる誤り検出訂正復号を示す。
(13)は、パディングビット抽出部10で行われる誤り検出訂正復号結果のビット列からのパディングビットの抽出と、改ざん判定部11で行われる改ざん判定を示す。正しく訂正された場合は「改ざんなし」と判定し、誤訂正の場合は「改ざんあり」と判定する。即ち、図6の復号結果に示すように、誤り検出訂正復号部6aにおいて訂正が正しくない場合はパディングビットに≠0ではないビットが存在する。これにより、改ざんが行われたと判定することができる。
(8) is a scan image acquired by the scan
(10) is a Gaussian noise image generated by the Gaussian noise image generator 1.
(9) is a vector dot product calculation performed by the vector dot
(11) is information bit calculation and 0 padding performed by the information bit
(7) shows detection of a digital watermark performed by the digital
(12) indicates error detection / correction decoding performed by the error detection / correction decoding unit 6a.
(13) shows extraction of padding bits from the bit string of the error detection / correction decoding result performed by the padding
尚、上記実施の形態では、ビットパディング部5におけるパディングビットとして0を用いたが、全て1を付加するようにしてもよい。この場合は、電子透かし検出装置において、パディングビット抽出部10で抽出されるパディングビットが≠1でない場合、改ざん判定部11は改ざんが行われたと判定する。
In the above embodiment, 0 is used as the padding bit in the bit padding unit 5, but 1 may be added to all. In this case, in the digital watermark detection apparatus, when the padding bits extracted by the padding
以上のように、実施の形態1の電子透かし埋め込み装置によれば、互いに異なる信号から形成された複数の画像を生成する参照画像生成手段と、原画像と、参照画像生成手段で生成された参照画像との関係を示す数値の計算結果に基づき、参照画像に対応する情報ビットを0または1に決定する情報ビット決定手段と、情報ビット決定手段で決定された複数の情報ビットを誤り検出訂正符号化する誤り検出訂正符号化手段と、誤り検出訂正符号化手段で符号化されたサムチェックビットを、電子透かしを用いて原画像に埋め込み、透かし埋め込み済み画像を生成する電子透かし埋め込み手段とを備えたので、効果的に改ざんを検出することができ、かつ、電子透かしとしての埋め込みビット数を小さくすることができる。 As described above, according to the digital watermark embedding device of the first embodiment, the reference image generation unit that generates a plurality of images formed from different signals, the original image, and the reference generated by the reference image generation unit Based on the calculation result of the numerical value indicating the relationship with the image, information bit determining means for determining the information bit corresponding to the reference image to 0 or 1, and a plurality of information bits determined by the information bit determining means for error detection and correction code Error detection / correction encoding means, and a digital watermark embedding means for embedding a sum check bit encoded by the error detection / correction encoding means in an original image using a digital watermark to generate a watermark embedded image Therefore, tampering can be detected effectively, and the number of embedded bits as a digital watermark can be reduced.
また、実施の形態1の電子透かし検出装置によれば、互いに異なる信号から形成された複数の参照画像を生成する参照画像生成手段と、参照画像生成手段で生成された参照画像と、電子透かし埋め込み済み画像をスキャンしたスキャン画像との関係を示す数値を計算し、その数値により、参照画像に対応する情報ビット値を0または1に決定する情報ビット決定手段と、スキャン画像から電子透かしを検出して、電子透かしとして埋め込まれていたサムチェックビットを検出するサムチェックビット検出手段と、情報ビット決定手段から得られた情報ビットと、サムチェックビット検出手段から得られたサムチェックビットとを用いて、誤り検出訂正復号を行う誤り検出訂正復号手段と、誤り検出訂正復号手段の誤り検出訂正結果からスキャン画像の改ざんの有無を判定する改ざん判定手段とを備えたので、実施の形態1の電子透かし埋め込み装置で埋め込まれた電子透かしに基づいて、確実に改ざんの有無を検出することができる。 Further, according to the digital watermark detection apparatus of the first embodiment, the reference image generation unit that generates a plurality of reference images formed from different signals, the reference image generated by the reference image generation unit, and the digital watermark embedding A numerical value indicating a relationship with the scanned image obtained by scanning the completed image, and an information bit determining means for determining an information bit value corresponding to the reference image to 0 or 1 based on the numerical value, and detecting a digital watermark from the scanned image The sum check bit detecting means for detecting the sum check bit embedded as the digital watermark, the information bit obtained from the information bit determining means, and the sum check bit obtained from the sum check bit detecting means The error detection / correction decoding means for performing error detection / correction decoding and the error detection / correction result of the error detection / correction decoding means Since a tamper determining unit determines the presence or absence of falsification of the image can be based on the electronic watermark embedded by the electronic watermark embedding apparatus of the first embodiment, to detect the presence or absence of reliable tamper.
また、実施の形態1の電子透かし埋め込み装置によれば、情報ビット決定手段は、原画像と複数のランダムガウス信号との相関を計算し、その正負により情報ビットを0または1に決定するようにしたので、効果的な改ざん検出のための情報ビットとすることができる。 In addition, according to the digital watermark embedding device of the first embodiment, the information bit determining means calculates the correlation between the original image and a plurality of random Gaussian signals, and determines the information bit to be 0 or 1 based on the sign. Therefore, information bits for effective tampering detection can be obtained.
また、実施の形態1の電子透かし検出装置によれば、情報ビット決定手段は、スキャン画像とランダムガウス信号との相関を計算し、その正負により情報ビットを0または1に決定するようにしたので、効果的な改ざん検出のための情報ビットとすることができる。 Also, according to the digital watermark detection apparatus of the first embodiment, the information bit determining means calculates the correlation between the scanned image and the random Gaussian signal, and determines the information bit to be 0 or 1 based on the sign. It can be an information bit for effective tampering detection.
また、実施の形態1の電子透かし埋め込み装置によれば、誤り検出訂正符号化手段は、情報ビット決定手段で決定された複数の情報ビットに、全て0または全て1の複数ビットを付加してから、誤り検出訂正符号化するようにしたので、改ざん判定の精度を向上させることができる。 Further, according to the digital watermark embedding apparatus of the first embodiment, the error detection / correction encoding means adds a plurality of bits of all 0s or all 1s to a plurality of information bits determined by the information bit determination means. Since the error detection / correction encoding is performed, the accuracy of the falsification determination can be improved.
また、実施の形態1の電子透かし検出装置によれば、誤り検出訂正復号手段は、情報ビット決定手段から得られた情報ビットに全て0または全て1の複数ビットを付加してから、サムチェックビット検出手段から得られたサムチェックビットを用いて、誤り検出訂正復号を行うようにしたので、改ざん判定の精度を向上させることができる。 Further, according to the digital watermark detection apparatus of the first embodiment, the error detection / correction decoding unit adds a plurality of bits of all 0s or all 1s to the information bits obtained from the information bit determination unit, and then adds the sum check bits. Since the error detection correction decoding is performed using the sum check bit obtained from the detection means, the accuracy of tampering determination can be improved.
また、実施の形態1の電子透かし埋め込みプログラムによれば、原画像に電子透かしを埋め込むコンピュータを、互いに異なる信号から形成された複数の画像を生成する参照画像生成手段と、原画像と、参照画像生成手段で生成された参照画像との関係を示す数値の計算結果に基づき、参照画像に対応する情報ビットを0または1に決定する情報ビット決定手段と、情報ビット決定手段で決定された複数の情報ビットを誤り検出訂正符号化する誤り検出訂正符号化手段と、誤り検出訂正符号化手段で符号化されたサムチェックビットを、電子透かしを用いて原画像に埋め込み、透かし埋め込み済み画像を生成する電子透かし埋め込み手段として機能させるようにしたので、効果的に改ざんを検出することができ、かつ、電子透かしとしての埋め込みビット数を小さくすることができる電子透かし埋め込み装置をコンピュータ上に実現することができる。 Further, according to the digital watermark embedding program of the first embodiment, the computer that embeds the digital watermark in the original image, the reference image generation means for generating a plurality of images formed from different signals, the original image, and the reference image Based on the calculation result of the numerical value indicating the relationship with the reference image generated by the generating means, an information bit determining means for determining the information bit corresponding to the reference image to 0 or 1, and a plurality of information bits determined by the information bit determining means Error detection / correction encoding means for error detection / correction encoding of information bits and sum check bits encoded by the error detection / correction encoding means are embedded in the original image using a digital watermark to generate a watermark embedded image Since it is made to function as a digital watermark embedding means, tampering can be detected effectively, and embedding as a digital watermark is possible. The electronic watermark embedding apparatus which can reduce the number of write bits can be realized on a computer.
また、実施の形態1の電子透かし検出プログラムによれば、電子透かし埋め込み済み画像から電子透かしを検出するコンピュータを、互いに異なる信号から形成された複数の参照画像を生成する参照画像生成手段と、参照画像生成手段で生成された参照画像と、電子透かし埋め込み済み画像をスキャンしたスキャン画像との関係を示す数値を計算し、その数値により、参照画像に対応する情報ビット値を0または1に決定する情報ビット決定手段と、スキャン画像から電子透かしを検出して、電子透かしとして埋め込まれていたサムチェックビットを検出するサムチェックビット検出手段と、情報ビット決定手段から得られた情報ビットと、サムチェックビット検出手段から得られたサムチェックビットとを用いて、誤り検出訂正復号を行う誤り検出訂正復号手段と、誤り検出訂正復号手段の誤り検出訂正結果からスキャン画像の改ざんの有無を判定する改ざん判定手段として機能させるようにしたので、実施の形態1の電子透かし埋め込みプログラムで実現された電子透かし埋め込み装置で埋め込まれた電子透かしに基づいて、確実に改ざんの有無を検出することができる電子透かし検出装置をコンピュータ上に実現することができる。 Further, according to the digital watermark detection program of the first embodiment, the computer that detects the digital watermark from the digital watermark embedded image, the reference image generation unit that generates a plurality of reference images formed from different signals, and the reference A numerical value indicating the relationship between the reference image generated by the image generating means and the scanned image obtained by scanning the digital watermark embedded image is calculated, and the information bit value corresponding to the reference image is determined to be 0 or 1 based on the numerical value. Information bit determination means, sum check bit detection means for detecting a digital watermark from the scanned image and detecting a checksum bit embedded as the digital watermark, information bits obtained from the information bit determination means, and sum check Perform error detection / correction decoding using sum check bit obtained from bit detection means This is realized by the digital watermark embedding program according to the first embodiment because it functions as a falsification determination unit that determines whether or not a scanned image has been falsified from the error detection correction result of the error detection / correction decoding unit. An electronic watermark detection apparatus that can reliably detect the presence or absence of tampering based on the electronic watermark embedded by the electronic watermark embedding apparatus can be realized on a computer.
実施の形態2.
実施の形態1では、電子透かし埋め込み装置で0または1のビットをパディングしてから誤り検出訂正符号化して生成されたサムチェックビットを電子透かしで埋め込み、また電子透かし検出装置では、0または1のビットをパディングビットと、電子透かしから検出したサムチェックビットとから誤り検出訂正復号し、パディングしたビットが訂正されていれば、その部分画像に改ざんがあったと判定していた。これに対し、実施の形態2では、電子透かし埋め込み装置において、情報ビットに対しCRC(Cyclic Redundancy Check)演算を行って、そのCRC出力値を求めた上で、情報ビットとCRC出力値を合わせたビット列に対して、誤り検出訂正符号化を行ってサムチェックビットを求め、CRC出力値と誤り検出訂正符号化のサムチェックビットの両方を電子透かしで埋め込むようにしたものである。
また、実施の形態2の電子透かし検出装置では、電子透かしから抽出したCRC出力値と誤り検出訂正符号化のサムチェックビットを、情報ビットに付加した上で誤り検出訂正復号し、さらに訂正された情報ビットとCRC出力値を用いて、CRC演算を行うことで、情報ビットとCRC出力値が正しく訂正されているか否かを判定する。
Embodiment 2. FIG.
In the first embodiment, the digital watermark embedding device embeds the sum check bit generated by padding 0 or 1 bit and then performing error detection and correction coding with the digital watermark, and the digital watermark detection device uses the 0 or 1 bit. Bits were subjected to error detection correction decoding from the padding bits and the sum check bits detected from the digital watermark, and if the padded bits were corrected, it was determined that the partial image was falsified. On the other hand, in the second embodiment, the digital watermark embedding apparatus performs CRC (Cyclic Redundancy Check) operation on the information bits to obtain the CRC output value, and then combines the information bit and the CRC output value. The bit string is subjected to error detection / correction encoding to obtain a sum check bit, and both the CRC output value and the error detection / correction encoding sum check bit are embedded with a digital watermark.
In the digital watermark detection apparatus of the second embodiment, the CRC output value extracted from the digital watermark and the sum check bit of error detection / correction encoding are added to the information bit, and then error detection / correction decoding is performed, and further correction is performed. It is determined whether or not the information bits and the CRC output value are correctly corrected by performing a CRC operation using the information bits and the CRC output value.
図7は、実施の形態2の電子透かし埋め込み装置を示す構成図である。
図示の電子透かし埋め込み装置は、ガウス雑音画像生成部1、原画像取得部2、ベクトル内積計算部3、情報ビット値算出部4、誤り検出訂正符号化部6b、サムチェックビット/CRCビット取得部7a、電子透かし埋め込み部8a、CRC演算部12を備えている。ここで、ガウス雑音画像生成部1〜情報ビット値算出部4は、実施の形態1の電子透かし埋め込み装置の構成と同様であるため、ここでの説明は省略する。
FIG. 7 is a configuration diagram illustrating the digital watermark embedding apparatus according to the second embodiment.
The illustrated digital watermark embedding device includes a Gaussian noise image generation unit 1, an original image acquisition unit 2, a vector inner
CRC演算部12は、情報ビット値算出部4で決定された複数の情報ビットに対し、CRC演算を行って、そのCRC出力値を求めるCRC演算手段である。誤り検出訂正符号化部6bは、情報ビット値算出部4で決定された情報ビットとCRC演算部12で演算したCRC出力値とを合わせたビット列に対して、誤り検出訂正符号化を行ってサムチェックビットを求める誤り検出訂正符号化手段である。サムチェックビット/CRCビット取得部7aは、誤り検出訂正符号化部6bが求めたサムチェックビットとCRC演算部12が演算したCRC演算値を取得する手段である。電子透かし埋め込み部8aは、サムチェックビット/CRCビット取得部7aで取得された、誤り検出訂正符号化部6bで符号化されたサムチェックビットとCRC出力値とを電子透かしを用いて原画像取得部2で取得された原画像に埋め込んで、電子透かし埋込済画像101を生成する電子透かし埋め込み手段である。
The
次に、実施の形態2の電子透かし埋め込み装置の動作を説明する。
情報ビット値算出部4で複数(M個とする)の情報ビット値を求めるまでの動作は実施の形態1の電子透かし埋め込み装置と同様であるため、その説明は省略する。CRC演算部12は、M個の情報ビット値T0,T1,T2,…,TM−1に対しCRC演算を行って、cビットのCRC出力値u0,u1,…,uC−1を得る。次に、誤り検出訂正符号化部6bでは、[M+c]個のビット列t0,t1,t2,…,tM−1,u0,u1,…,uC−1に対して誤り検出訂正符号化を行い、d個のサムチェックビットv0,v1,…,vd−1を算出する。サムチェックビット/CRCビット取得部7aは、c個のCRC出力値u0,u1,…,uC−1と、d個のサムチェックビットv0,v1,…,vd−1を取得する。電子透かし埋め込み部8aは、上記c個のCRC出力値u0,u1,…,uC−1と、d個のサムチェックビットv0,v1,…,vd−1を、例えば原画像内の部分画像nの領域に、電子透かし技術を用いて埋め込むことにより、部分画像から変換された画像データを生成する。これを例えば、原画像内の全ての部分画像N個に対して行って、電子透かし埋込済画像101を生成する。
Next, the operation of the digital watermark embedding apparatus according to the second embodiment will be described.
Since the operation until the information bit
次に、実施の形態2における電子透かし検出装置について説明する。
図8は、実施の形態2の電子透かし検出装置を示す構成図である。
図示の電子透かし検出装置は、ガウス雑音画像生成部1、スキャン画像取得部2a、ベクトル内積計算部3、情報ビット値算出部4、誤り検出訂正復号部6c、サムチェックビット/CRCビット取得部7b、電子透かし検出部9、CRC演算部12a、改ざん判定部11aを備えている。
Next, a digital watermark detection apparatus according to Embodiment 2 will be described.
FIG. 8 is a configuration diagram illustrating the digital watermark detection apparatus according to the second embodiment.
The illustrated digital watermark detection apparatus includes a Gaussian noise image generation unit 1, a scan
ここで、ガウス雑音画像生成部1〜情報ビット値算出部4および電子透かし検出部9は、実施の形態1の電子透かし検出装置と同様の構成であるため、ここでの説明は省略する。サムチェックビット/CRCビット取得部7aは、電子透かし検出部9で検出された電子透かしから、サムチェックビットとCRC出力値を得る手段である。誤り検出訂正復号部6cは、情報ビット値算出部4から得られた情報ビットと、サムチェックビット/CRCビット取得部7aで得られたサムチェックビットおよびCRC出力値とを用いて誤り検出訂正復号を行う誤り検出訂正復号手段である。CRC演算部12aは、誤り検出訂正復号部6cで誤り検出訂正された情報ビットとCRC出力値を用いて行われたCRC演算の演算結果に基づいて、誤り検出訂正復号部6cにおける情報ビットとCRC出力値が正しく訂正されているか否かを判定する訂正判定手段である。改ざん判定部11aは、CRC演算部12aの判定結果により、スキャン画像の改ざんの有無を判定する改ざん判定手段である。
Here, since the Gaussian noise image generation unit 1 to the information bit
尚、実施の形態2における電子透かし埋め込み装置および電子透かし検出装置においても、それぞれがコンピュータで実現され、電子透かし埋め込み装置におけるガウス雑音画像生成部1〜電子透かし埋め込み部8aや、電子透かし検出装置におけるガウス雑音画像生成部1〜改ざん判定部11aは、それぞれの機能に対応したソフトウェアとこれらソフトウェアを実行するためのCPUやメモリといったハードウェアから構成されている。あるいは、電子透かし埋め込み装置および電子透かし検出装置の一部または全ての機能部をハードウェアで構成してもよい。
Note that each of the digital watermark embedding device and the digital watermark detection device according to the second embodiment is also realized by a computer, and the Gaussian noise image generation unit 1 to the digital watermark embedding unit 8a in the digital watermark embedding device or the digital watermark detection device. The Gaussian noise image generation unit 1 to
以下、実施の形態2の電子透かし検出装置の動作について説明する。
ガウス雑音画像生成部1における複数(M個とする)のガウス雑音画像の生成は実施の形態1の電子透かし検出装置の動作と同様である。また、スキャン画像取得部2aにおける動作も実施の形態1の電子透かし検出装置や実施の形態2の電子透かし埋め込み装置と同様である。即ち、スキャン画像取得部2aは、図7の原画像取得部2が原画像を取得して部分画像を生成するのに対し、紙媒体の印刷物などをスキャナでスキャンしたスキャン画像を取得し、それを部分画像に分割する。このとき、スキャン画像が、図7の電子透かし埋め込み装置で生成された電子透かし埋込済画像101と同じ大きさであるとすると、スキャン画像取得部2aが生成する部分画像の位置と数は、図7の原画像取得部2で生成された部分画像の位置と数とに等しい。
The operation of the digital watermark detection apparatus according to the second embodiment will be described below.
The generation of a plurality (M) of Gaussian noise images in the Gaussian noise image generation unit 1 is the same as the operation of the digital watermark detection apparatus of the first embodiment. The operation of the scanned
ベクトル内積計算部3は、図7のベクトル内積計算部3においては原画像取得部2が生成した原画像の部分画像を入力の1つとするのに対し、スキャン画像取得部2aが生成する部分画像を入力の1つとするものであり、この点を除いて動作は同一である。また、それぞれの部分画像の画素数は同一である。
情報ビット値算出部4は、ベクトル内積計算部3で算出されたガウス雑音画像とスキャン画像とから、図7の情報ビット値算出部4と同様の手順により、1つの部分画像nに対して行うことで、[A×B]個の情報ビット値W0,W1,W2,…,WA×B−1を決定する。
The vector inner
The information bit
電子透かし検出部9は、実施の形態1の電子透かし検出装置と同様にスキャン画像取得部2aで取得した画像から電子透かしを検出する。
サムチェックビット/CRCビット取得部7aは、電子透かし検出部9が部分画像から電子透かしを検出することで、d個のサムチェックビットr0,r1,・・・rd−1と、cビットのCRC出力値u0,u1,・・・uC−1を得る。
誤り検出訂正復号部6cは、情報ビット値算出部4で算出された情報ビット列W0,W1,W2,…,WA×B−1に、サムチェックビット/CRCビット取得部7aで取得されたCRC出力値u0,u1,…,uC−1およびサムチェックビットr0,r1,…,rd−1とから、ビット列W0,W1,W2,…,WA×B−1,u0,u1,…,uC−1,r0,r1,…,rd−1を生成した上で、誤り検出訂正復号し、復号されたビット列w’0,w’1,w’2,…,w’A×B−1,q’0,q’1,…,q’C−1、r’0,r’1,…,r’d−1を生成する。
The digital
Checksum bits / CRC
The error detection /
CRC演算部12aは、誤り検出訂正復号部6cで誤り検出訂正復号されたw’0,w’1,w’2,…,w’A×B−1,q’0,q’1,…,q’C−1、r’0,r’1,…,r’d−1から、情報ビット値に由来するw’0,w’1,w’2,…,w’A×B−1を抽出してCRC演算を行い、生成したCRC出力値q”0,q”1,…,q”C−1を算出する。この生成したCRC出力値q”0,q”1,…,q”C−1を、誤り検出訂正復号部6cで算出されたq’0,q’1,…,q’C−1と比較し、一致すれば誤り検出訂正復号部6cで正しく訂正されたと判断する。また一致しなければ正しく訂正されなかったと判断する。
改ざん判定部11aは、CRC演算部12aで正しく訂正されたと判断された場合は改ざんがなかったと判断する。またも正しく訂正されなかったと判断された場合は改ざんがあったと判定する。
The
The
図9は、この発明の実施の形態2の電子透かし埋め込み装置と電子透かし検出装置とにおけるCRC演算を用いた誤訂正の検出の例を示す。図示のように、情報ビット中に誤りが含まれる場合は、そのCRC出力値が一致せず、このような場合に改ざん判定部11aは改ざんがあったと判定する。
FIG. 9 shows an example of error correction detection using CRC calculation in the digital watermark embedding apparatus and the digital watermark detection apparatus according to the second embodiment of the present invention. As shown in the figure, when an error is included in information bits, the CRC output values do not match, and in such a case, the
実施の形態2では、電子透かしを用いて埋め込むビット数は、サムチェックビットの全てのビットおよびCRC出力値の全てのビットであるが、情報ビットを電子透かしで埋め込むより、少ないビット数で済むという効果を奏する。
また、電子透かしを検出することで抽出するビット数は、サムチェックビットの全てのビットおよびCRC出力値の全てのビットであるが、情報ビットを電子透かしで検出するより、少ないビット数で済むという効果を奏する。
In the second embodiment, the number of bits to be embedded using the digital watermark is all the bits of the sum check bit and all the bits of the CRC output value. However, the number of bits is smaller than that of embedding the information bits with the digital watermark. There is an effect.
Further, the number of bits extracted by detecting the digital watermark is all the bits of the sum check bits and all the bits of the CRC output value. However, the number of bits can be reduced as compared with the case where the information bits are detected by the digital watermark. There is an effect.
また、この実施の形態2では、電子透かし埋め込み装置において情報ビット値とCRC出力値を合わせたビット列に対して誤り検出訂正符号化を行い、電子透かし検出装置において電子透かしから抽出した情報ビット値とCRC出力値を誤り検出訂正復号した後で、情報ビット値に対してCRC演算を行い、上記抽出したCRC出力値と比較するので、誤り検出訂正復号によって情報ビット値が正しく復号されたか、精度よく判断できるという効果を奏する。 In the second embodiment, the digital watermark embedding apparatus performs error detection / correction coding on the bit string that is a combination of the information bit value and the CRC output value, and the digital watermark detection apparatus extracts the information bit value extracted from the digital watermark. After the CRC output value is subjected to error detection / correction decoding, a CRC operation is performed on the information bit value and compared with the extracted CRC output value. Therefore, whether or not the information bit value has been correctly decoded by error detection / correction decoding is accurately determined. There is an effect that it can be judged.
更に、情報ビットを電子透かしで埋め込むより、少ないビット数を電子透かしで埋め込めばよいので、電子透かしを埋め込んだ画像の画質が劣化しにくいという効果を有する。また、電子透かしで埋め込んだり、検出するビット数が少なくて済むので、比較的簡単な電子透かし技術で実現できるという効果を奏する。また検出するビット数が少なくて済むので、検出する精度を向上させることができるという効果を奏する。 Furthermore, since it is sufficient to embed a small number of bits with a digital watermark rather than embedding information bits with a digital watermark, the image quality of an image embedded with a digital watermark is less likely to deteriorate. In addition, since the number of bits to be embedded or detected with a digital watermark can be reduced, there is an effect that it can be realized with a relatively simple digital watermark technique. In addition, since the number of bits to be detected is small, the detection accuracy can be improved.
尚、上記実施の形態2において、画像に埋め込むCRC出力値については、CRC演算部12で生成した全てのビットを埋め込む場合だけでなく、その一部のビットのみを埋め込んでもよい。その場合、電子透かし検出装置では、CRC演算により得られたCRC出力値と画像から検出されたCRC出力値の比較は、一部のビットのみに限られることになり、正しく訂正されたかどうかの判断の精度は落ちる可能性があるが、画像に埋め込むビットが少なくて済むという利点を有する。
In the second embodiment, the CRC output value embedded in the image may be embedded not only in the case of embedding all the bits generated by the
以上のように、実施の形態2の電子透かし埋め込み装置によれば、互いに異なる信号から形成された複数の画像を生成する参照画像生成手段と、原画像と、参照画像生成手段で生成された参照画像との関係を示す数値の計算結果に基づき、参照画像に対応する情報ビットを0または1に決定する情報ビット決定手段と、情報ビット決定手段で決定された複数の情報ビットに対し、CRC演算を行って、そのCRC出力値を求めるCRC演算手段と、情報ビットとCRC出力値とを合わせたビット列に対して、誤り検出訂正符号化を行ってサムチェックビットを求める誤り検出訂正符号化手段と、誤り検出訂正符号化手段で符号化されたサムチェックビットと、CRC出力値の少なくとも一部とを電子透かしを用いて原画像に埋め込み、透かし埋め込み済み画像を生成する電子透かし埋め込み手段とを備えたので、効果的に改ざんを検出することができ、かつ、電子透かしとしての埋め込みビット数を小さくすることができる。 As described above, according to the digital watermark embedding device of the second embodiment, the reference image generation unit that generates a plurality of images formed from different signals, the original image, and the reference generated by the reference image generation unit CRC calculation for a plurality of information bits determined by the information bit determination means, information bit determination means for determining the information bit corresponding to the reference image to 0 or 1 based on the calculation result of the numerical value indicating the relationship with the image And CRC calculation means for obtaining the CRC output value, and error detection correction coding means for obtaining the sum check bit by performing error detection and correction coding on the bit string obtained by combining the information bits and the CRC output value; The sum check bit encoded by the error detection / correction encoding means and at least a part of the CRC output value are embedded in the original image using a digital watermark, Since a digital watermark embedding means for generating an order inclusive completed image, it is possible to effectively detect tampering, and can reduce the number of embedded bits as an electronic watermark.
また、実施の形態2の電子透かし検出装置によれば、互いに異なる信号から形成された複数の参照画像を生成する参照画像生成手段と、参照画像生成手段で生成された参照画像と、電子透かし埋め込み済み画像をスキャンしたスキャン画像との関係を示す数値を計算し、その数値により、参照画像に対応する情報ビット値を0または1に決定する情報ビット決定手段と、スキャン画像から電子透かしを検出して、電子透かしとして埋め込まれていたサムチェックビットとCRC出力値を検出する電子透かし検出手段と、情報ビット決定手段から得られた情報ビットと、電子透かし検出手段から得られたサムチェックビットおよびCRC出力値とを用いて誤り検出訂正復号を行う誤り検出訂正復号手段と、誤り検出訂正復号手段で誤り検出訂正された情報ビットとCRC出力値を用いて行われたCRC演算の演算結果に基づいて、誤り検出訂正復号手段で情報ビットとCRC出力値とが正しく訂正されているか否かを判定する訂正判定手段と、訂正判定手段の判定結果に基づいてスキャン画像の改ざんの有無を判定する改ざん判定手段とを備えたので、実施の形態2の電子透かし埋め込み装置で埋め込まれた電子透かしに基づいて、確実に改ざんの有無を検出することができる。 In addition, according to the digital watermark detection apparatus of the second embodiment, the reference image generation unit that generates a plurality of reference images formed from different signals, the reference image generated by the reference image generation unit, and the digital watermark embedding A numerical value indicating a relationship with the scanned image obtained by scanning the completed image, and an information bit determining means for determining an information bit value corresponding to the reference image to 0 or 1 based on the numerical value, and detecting a digital watermark from the scanned image Digital watermark detection means for detecting the sum check bit and CRC output value embedded as the digital watermark, information bits obtained from the information bit determination means, sum check bits and CRC obtained from the digital watermark detection means Error detection / correction decoding means for performing error detection / correction decoding using the output value and error detection / correction decoding means Correction determination means for determining whether or not the information bits and the CRC output value are correctly corrected by the error detection and correction decoding means based on the calculation result of the CRC calculation performed using the information bits and the CRC output value And a falsification determination unit that determines whether or not the scanned image has been falsified based on the determination result of the correction determination unit, so that it is ensured based on the digital watermark embedded by the digital watermark embedding device of the second embodiment. The presence or absence of tampering can be detected.
また、実施の形態2の電子透かし埋め込み装置によれば、情報ビット決定手段は、原画像と複数のランダムガウス信号との相関を計算し、その正負により情報ビットを0または1に決定するようにしたので、効果的な改ざん検出のための情報ビットとすることができる。 In addition, according to the digital watermark embedding device of the second embodiment, the information bit determining means calculates the correlation between the original image and a plurality of random Gaussian signals, and determines the information bit to be 0 or 1 based on the sign. Therefore, information bits for effective tampering detection can be obtained.
また、実施の形態2の電子透かし検出装置によれば、改ざん判定手段は、誤り検出訂正復号手段で、正常に誤り検出訂正が終了したと判断されたとき、スキャン画像の改ざんがなかったと判定し、正常に誤り検出訂正が終了しなかったと判断されたとき、スキャン画像の改ざんがあったと判定するようにしたので、改ざん判定の精度を向上させることができる。 Further, according to the digital watermark detection apparatus of the second embodiment, the falsification determination unit determines that the scan image has not been falsified when the error detection / correction decoding unit determines that the error detection / correction has been normally completed. When it is determined that the error detection / correction has not ended normally, it is determined that the scanned image has been tampered with, so that the accuracy of the tampering determination can be improved.
また、実施の形態2の電子透かし埋め込みプログラムによれば、原画像に電子透かしを埋め込むコンピュータを、互いに異なる信号から形成された複数の画像を生成する参照画像生成手段と、原画像と、参照画像生成手段で生成された参照画像との関係を示す数値の計算結果に基づき、参照画像に対応する情報ビットを0または1に決定する情報ビット決定手段と、情報ビット決定手段で決定された複数の情報ビットに対し、CRC演算を行って、そのCRC出力値を求めるCRC演算手段と、情報ビットとCRC出力値とを合わせたビット列に対して、誤り検出訂正符号化を行ってサムチェックビットを求める誤り検出訂正符号化手段と、誤り検出訂正符号化手段で符号化されたサムチェックビットと、CRC出力値の少なくとも一部とを電子透かしを用いて原画像に埋め込み、透かし埋め込み済み画像を生成する電子透かし埋め込み手段として機能させるようにしたので、効果的に改ざんを検出することができ、かつ、電子透かしとしての埋め込みビット数を小さくすることができる電子透かし埋め込み装置をコンピュータ上に実現することができる。 Further, according to the digital watermark embedding program of the second embodiment, the computer that embeds the digital watermark in the original image, the reference image generation means for generating a plurality of images formed from different signals, the original image, and the reference image Based on the calculation result of the numerical value indicating the relationship with the reference image generated by the generating means, an information bit determining means for determining the information bit corresponding to the reference image to 0 or 1, and a plurality of information bits determined by the information bit determining means CRC calculation means for performing CRC operation on the information bits and obtaining the CRC output value, and error detection correction coding is performed on the bit string combining the information bits and the CRC output value to obtain the sum check bit. Error detection / correction encoding means, sum check bit encoded by error detection / correction encoding means, and at least part of CRC output value Since it is embedded in the original image using a child watermark and functions as a digital watermark embedding means for generating a watermark embedded image, tampering can be detected effectively, and the number of embedded bits as a digital watermark can be reduced. A digital watermark embedding apparatus that can be made small can be realized on a computer.
また、実施の形態2の電子透かし検出装置によれば、電子透かし埋め込み済み画像から電子透かしを検出するコンピュータを、互いに異なる信号から形成された複数の参照画像を生成する参照画像生成手段と、参照画像生成手段で生成された参照画像と、電子透かし埋め込み済み画像をスキャンしたスキャン画像との関係を示す数値を計算し、その数値により、参照画像に対応する情報ビット値を0または1に決定する情報ビット決定手段と、スキャン画像から電子透かしを検出して、電子透かしとして埋め込まれていたサムチェックビットとCRC出力値を検出する電子透かし検出手段と、情報ビット決定手段から得られた情報ビットと、電子透かし検出手段から得られたサムチェックビットおよびCRC出力値とを用いて誤り検出訂正復号を行う誤り検出訂正復号手段と、誤り検出訂正復号手段で誤り検出訂正された情報ビットとCRC出力値を用いて行われたCRC演算の演算結果に基づいて、誤り検出訂正復号手段で情報ビットとCRC出力値とが正しく訂正されているか否かを判定する訂正判定手段と、正判定手段の判定結果に基づいてスキャン画像の改ざんの有無を判定する改ざん判定手段として機能させるようにしたので、実施の形態2の電子透かし埋め込みプログラムで実現された電子透かし埋め込み装置で埋め込まれた電子透かしに基づいて、確実に改ざんの有無を検出することができる電子透かし検出装置をコンピュータ上に実現することができる。 Further, according to the digital watermark detection apparatus of the second embodiment, a computer that detects a digital watermark from a digital watermark embedded image, a reference image generation unit that generates a plurality of reference images formed from different signals, and a reference A numerical value indicating the relationship between the reference image generated by the image generating means and the scanned image obtained by scanning the digital watermark embedded image is calculated, and the information bit value corresponding to the reference image is determined to be 0 or 1 based on the numerical value. Information bit determination means, digital watermark detection means for detecting a digital watermark from the scanned image and detecting the sum check bit and CRC output value embedded as the digital watermark, and information bits obtained from the information bit determination means , Using the sum check bit and CRC output value obtained from the digital watermark detection means, Error detection and correction decoding means for performing error detection and correction decoding means, and information bits corrected and detected by the error detection and correction decoding means, and information bits obtained by the error detection and correction decoding means based on the result of CRC calculation performed using the CRC output value The correction determination means for determining whether or not the CRC output value is correctly corrected, and the falsification determination means for determining whether the scanned image has been falsified based on the determination result of the correct determination means. An electronic watermark detection apparatus that can reliably detect the presence / absence of tampering can be realized on a computer based on the electronic watermark embedded by the electronic watermark embedding apparatus realized by the electronic watermark embedding program of Embodiment 2. .
1 ガウス雑音画像生成部、2 原画像取得部、2a スキャン画像取得部、3 ベクトル内積計算部、4 情報ビット値算出部、5 ビットパディング部、6,6b 誤り検出訂正符号化部、6a,6c 誤り検出訂正復号部、7 サムチェックビット取得部、7a サムチェックビット/CRCビット取得部、8,8a 電子透かし埋め込み部、9 電子透かし検出部、10 パディングビット抽出部、11,11a 改ざん判定部、12,12a CRC演算部、100,101 電子透かし埋込済画像。 1 Gaussian noise image generation unit, 2 original image acquisition unit, 2a scan image acquisition unit, 3 vector inner product calculation unit, 4 information bit value calculation unit, 5 bit padding unit, 6, 6b error detection correction encoding unit, 6a, 6c Error detection correction decoding unit, 7 sum check bit acquisition unit, 7a sum check bit / CRC bit acquisition unit, 8, 8a digital watermark embedding unit, 9 digital watermark detection unit, 10 padding bit extraction unit, 11, 11a falsification determination unit, 12, 12a CRC calculation unit, 100, 101 Digital watermark embedded image.
Claims (7)
前記参照画像生成手段で生成された参照画像と、電子透かし埋め込み済み画像をスキャンしたスキャン画像との関係を示す数値を計算し、その数値により、当該参照画像に対応する情報ビット値を0または1に決定する情報ビット決定手段と、 A numerical value indicating the relationship between the reference image generated by the reference image generating means and the scanned image obtained by scanning the digital watermark embedded image is calculated, and the information bit value corresponding to the reference image is set to 0 or 1 depending on the numerical value. Information bit determining means for determining
前記スキャン画像から電子透かしを検出して、電子透かしとして埋め込まれていたサムチェックビットを検出するサムチェックビット検出手段と、 Sum check bit detection means for detecting a digital watermark from the scanned image and detecting a sum check bit embedded as the digital watermark;
前記情報ビット決定手段から得られた情報ビットと、前記サムチェックビット検出手段から得られたサムチェックビットとを用いて、誤り検出訂正復号を行う誤り検出訂正復号手段と、 Error detection correction decoding means for performing error detection correction decoding using the information bits obtained from the information bit determination means and the sum check bits obtained from the sum check bit detection means;
前記誤り検出訂正復号手段の誤り検出訂正結果からスキャン画像の改ざんの有無を判定する改ざん判定手段とを備えた電子透かし検出装置。 An electronic watermark detection apparatus comprising: a tamper determination unit that determines whether a scan image has been tampered with based on an error detection correction result of the error detection correction decoding unit.
前記参照画像生成手段で生成された参照画像と、電子透かし埋め込み済み画像をスキャンしたスキャン画像との関係を示す数値を計算し、その数値により、当該参照画像に対応する情報ビット値を0または1に決定する情報ビット決定手段と、 A numerical value indicating the relationship between the reference image generated by the reference image generating means and the scanned image obtained by scanning the digital watermark embedded image is calculated, and the information bit value corresponding to the reference image is set to 0 or 1 depending on the numerical value. Information bit determining means for determining
前記スキャン画像から電子透かしを検出して、電子透かしとして埋め込まれていたサムチェックビットとCRC出力値を検出する電子透かし検出手段と、 Digital watermark detection means for detecting a digital watermark from the scanned image and detecting a sum check bit and a CRC output value embedded as the digital watermark;
前記情報ビット決定手段から得られた情報ビットと、前記電子透かし検出手段から得られたサムチェックビットおよびCRC出力値とを用いて誤り検出訂正復号を行う誤り検出訂正復号手段と、 Error detection / correction decoding means for performing error detection / correction decoding using the information bits obtained from the information bit determination means and the sum check bits and CRC output values obtained from the digital watermark detection means;
前記誤り検出訂正復号手段で誤り検出訂正された情報ビットと前記CRC出力値を用いて行われたCRC演算の演算結果に基づいて、前記誤り検出訂正復号手段で情報ビットとCRC出力値とが正しく訂正されているか否かを判定する訂正判定手段と、 Based on the calculation result of the CRC calculation performed using the information bits corrected and detected by the error detection and correction decoding means and the CRC output value, the information bits and the CRC output value are correctly set by the error detection and correction decoding means. Correction determination means for determining whether correction has been made,
前記訂正判定手段の判定結果に基づいて前記スキャン画像の改ざんの有無を判定する改ざん判定手段とを備えた電子透かし検出装置。 An electronic watermark detection apparatus comprising: a falsification determination unit that determines whether the scanned image has been falsified based on a determination result of the correction determination unit.
互いに異なる信号から形成された複数の参照画像を生成する参照画像生成手段と、 Reference image generation means for generating a plurality of reference images formed from different signals;
前記参照画像生成手段で生成された参照画像と、前記電子透かし埋め込み済み画像をスキャンしたスキャン画像との関係を示す数値を計算し、その数値により、当該参照画像に対応する情報ビット値を0または1に決定する情報ビット決定手段と、 A numerical value indicating a relationship between the reference image generated by the reference image generating means and a scanned image obtained by scanning the digital watermark embedded image is calculated, and an information bit value corresponding to the reference image is set to 0 or 0 based on the numerical value. Information bit determining means for determining 1;
前記スキャン画像から電子透かしを検出して、電子透かしとして埋め込まれていたサムチェックビットを検出するサムチェックビット検出手段と、 Sum check bit detection means for detecting a digital watermark from the scanned image and detecting a sum check bit embedded as the digital watermark;
前記情報ビット決定手段から得られた情報ビットと、前記サムチェックビット検出手段から得られたサムチェックビットとを用いて、誤り検出訂正復号を行う誤り検出訂正復号手段と、 Error detection correction decoding means for performing error detection correction decoding using the information bits obtained from the information bit determination means and the sum check bits obtained from the sum check bit detection means;
前記誤り検出訂正復号手段の誤り検出訂正結果からスキャン画像の改ざんの有無を判定する改ざん判定手段として機能させるための電子透かし検出プログラム。 An electronic watermark detection program for functioning as a falsification determination unit that determines whether a scan image has been falsified from an error detection correction result of the error detection correction decoding unit.
互いに異なる信号から形成された複数の参照画像を生成する参照画像生成手段と、 Reference image generation means for generating a plurality of reference images formed from different signals;
前記参照画像生成手段で生成された参照画像と、前記電子透かし埋め込み済み画像をスキャンしたスキャン画像との関係を示す数値を計算し、その数値により、当該参照画像に対応する情報ビット値を0または1に決定する情報ビット決定手段と、 A numerical value indicating a relationship between the reference image generated by the reference image generating means and a scanned image obtained by scanning the digital watermark embedded image is calculated, and an information bit value corresponding to the reference image is set to 0 or 0 based on the numerical value. Information bit determining means for determining 1;
前記スキャン画像から電子透かしを検出して、電子透かしとして埋め込まれていたサムチェックビットとCRC出力値を検出する電子透かし検出手段と、 Digital watermark detection means for detecting a digital watermark from the scanned image and detecting a sum check bit and a CRC output value embedded as the digital watermark;
前記情報ビット決定手段から得られた情報ビットと、前記電子透かし検出手段から得られたサムチェックビットおよびCRC出力値とを用いて誤り検出訂正復号を行う誤り検出訂正復号手段と、 Error detection / correction decoding means for performing error detection / correction decoding using the information bits obtained from the information bit determination means and the sum check bits and CRC output values obtained from the digital watermark detection means;
前記誤り検出訂正復号手段で誤り検出訂正された情報ビットと前記CRC出力値を用いて行われたCRC演算の演算結果に基づいて、前記誤り検出訂正復号手段で情報ビットとCRC出力値とが正しく訂正されているか否かを判定する訂正判定手段と、 Based on the calculation result of the CRC calculation performed using the information bits corrected and detected by the error detection and correction decoding means and the CRC output value, the information bits and the CRC output value are correctly set by the error detection and correction decoding means. Correction determination means for determining whether correction has been made,
前記訂正判定手段の判定結果に基づいて前記スキャン画像の改ざんの有無を判定する改ざん判定手段として機能させるための電子透かし検出プログラム。 An electronic watermark detection program for functioning as a falsification determination unit that determines whether the scanned image has been falsified based on a determination result of the correction determination unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009163682A JP5063645B2 (en) | 2009-07-10 | 2009-07-10 | Digital watermark detection apparatus and digital watermark detection program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009163682A JP5063645B2 (en) | 2009-07-10 | 2009-07-10 | Digital watermark detection apparatus and digital watermark detection program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011019162A JP2011019162A (en) | 2011-01-27 |
| JP5063645B2 true JP5063645B2 (en) | 2012-10-31 |
Family
ID=43596602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009163682A Expired - Fee Related JP5063645B2 (en) | 2009-07-10 | 2009-07-10 | Digital watermark detection apparatus and digital watermark detection program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5063645B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101946304B1 (en) * | 2017-06-16 | 2019-02-11 | 주식회사더즈텍 | Descrambler having fast recovery function |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009130911A (en) * | 2007-11-28 | 2009-06-11 | Digital Information Technologies Kk | Paper and paper generation method |
| JP4964221B2 (en) * | 2008-12-26 | 2012-06-27 | 三菱電機株式会社 | Tamper detection device and tamper detection method |
| JP4964263B2 (en) * | 2009-03-10 | 2012-06-27 | 三菱電機株式会社 | Tamper detection information generation device, image generation device, and tamper detection device |
-
2009
- 2009-07-10 JP JP2009163682A patent/JP5063645B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011019162A (en) | 2011-01-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4269861B2 (en) | Printed material processing system, watermarked document printing device, watermarked document reading device, printed material processing method, information reading device, and information reading method | |
| US8315427B2 (en) | Adaptive prediction filtering for encoding/decoding digital signals in media content | |
| US7159118B2 (en) | Methods and apparatus for embedding and recovering watermarking information based on host-matching codes | |
| US8422043B2 (en) | Watermarked document reading apparatus with improved error processing | |
| US20080301815A1 (en) | Detecting Unauthorized Changes to Printed Documents | |
| US9239966B2 (en) | Method and device for watermarking a sequence of images, method and device for authenticating a sequence of watermarked images and corresponding computer program | |
| US7965838B2 (en) | Watermark generating circuit and related method thereof | |
| JP5063645B2 (en) | Digital watermark detection apparatus and digital watermark detection program | |
| US8504901B2 (en) | Apparatus, method, and computer program product for detecting embedded information | |
| US20080049259A1 (en) | Image processing method carrying out verification of correctness of embedment data and identification of embedment data, data detection method, image processing apparatus, and recording medium recording computer program therefor | |
| CN114186252A (en) | Data watermark generation method and device and data source tracing method and device | |
| Tefas et al. | Multi-bit image watermarking robust to geometric distortions | |
| Sharma et al. | Watermark synchronization: Perspectives and a new paradigm | |
| WO2006035677A1 (en) | Image processing method and image processing device | |
| JP4829891B2 (en) | Method and apparatus for reading digital watermarks, computer program product and corresponding storage means | |
| JP3949029B2 (en) | Digital watermark detection apparatus and program | |
| JP4410217B2 (en) | Digital watermark method | |
| JP4144469B2 (en) | Digital watermark verification apparatus and digital watermark verification method | |
| Cedillo-Hernandez et al. | Multipurpose Block-Based Fragile Watermarking for Ownership Authentication, Tamper Detection and Self-Recovery of Digital Images | |
| Zhang et al. | Digital image authentication based on error-correction codes | |
| JP4625406B2 (en) | Information embedding device, information extracting device, information embedding method, information extracting method, information embedding program, information extracting program, and information storage medium | |
| CN108492240B (en) | Reversible image digital watermark overflow solution method | |
| JP2004356802A (en) | Data processing method and data processing apparatus | |
| JP4192906B2 (en) | Watermark information detection apparatus and watermark information detection method | |
| JP5273014B2 (en) | Image processing apparatus, image processing method, and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120417 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120615 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120710 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120807 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150817 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |