JP3476121B2 - 情報検出装置および情報検出方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、情報検出装置およ
び情報検出方法に関し、特に、画像に埋め込まれた付加
情報を有する画像を処理する情報検出装置および情報検
出方法に関する。

【０００２】

【従来の技術】特定の画像データ（静止画像あるいは動
画像シーケンス）に対して、それに付加する情報を画像
データ中に付加し、再生時にその付加情報を検出して利
用する技術がある。この代表的な例として、著作権情報
の付加が挙げられる。

【０００３】不特定の利用者が特定の画像データを利用
することが可能である場合、その画像に対して著作権を
持つ者が、その権利を主張するためには、あらかじめ著
作権情報を画像データ中に付加しておく必要がある。著
作権情報を付加することにより、画像の再生装置あるい
は再生方法の処理手順の中で、その画像データを表示不
可とすべき著作権情報が検出された場合には、その画像
データの表示を行わない等の対策を講じることが可能と
なる。

【０００４】上述の著作権情報の付加、あるいは検出
は、現在、ビデオテープの不正コピー防止等でよく利用
されている。近頃は、ビデオテープのレンタルを行う店
も多いが、多くの利用者が、店から低価格で借りたビデ
オテープを不正にコピーして楽しんだ場合、そのビデオ
テープの著作権を持つ者およびビデオテープのレンタル
を行う店の損害は甚大である。

【０００５】ビデオテープには、画像データがアナログ
的に記録されているため、コピーを行なった場合に画質
が劣化する。そのため、コピーが複数回繰り返された場
合、元々保持されていた画質を維持することは非常に困
難となる。

【０００６】これに対し、最近普及しつつあるデジタル
的に画像データを記録し、再生する機器等においては、
不正コピーによる損害はさらに大きなものとなる。それ
は、画像データをデジタル的に扱う機器では、原理的に
コピーによって画質が劣化することがないためである。
そのため、デジタル的に処理を行う機器における不正コ
ピー防止は、アナログの装置の場合と比べてはるかに重
要である。

【０００７】画像データに付加する情報をその画像デー
タ中に付加する方法は、主に２通りある。

【０００８】第１の方法は、画像データの補助部分に付
加する方法である。例えばビデオテープでは、図１１に
示したように、その画像データの補助的情報が、表示画
面１には実質的に表示されない画面上部（補助部分）２
に記録されている。この領域の一部を利用して、付加情
報を付加することが可能である。

【０００９】第２の方法は、画像データの主要部分（実
質的に表示される部分）に付加する方法である。これ
は、図１２に示したように、ある特定のパターン（ウォ
ータマーク（Water Mark）パターン）（図１２では、パ
ーソナルコンピュータの画像ＷＭ）を、視覚的に感知で
きない程度に、画像の全体あるいは一部に付加するもの
である。この具体例として、乱数やＭ系列等を用いて発
生させた鍵パターンを利用して、情報の付加あるいは検
出を行うスペクトラム拡散等がある。

【００１０】以下では、ウォータマークパターンを用い
た場合の画像データの主要部分への付加情報の付加ある
いは検出の一例を述べる。図１３乃至図１６にこの具体
例を示した。

【００１１】各画素について、プラスまたはマイナスの
２つのシンボルのいずれかを取る、図１３に示されるよ
うな、４ｎ×４ｎ個の画素に対応するウォータマークパ
ターンを用いると仮定する。ウォータマークパターン
は、２つのシンボルのいずれかをランダムに取る方が望
ましく、その領域の形状、大きさは任意で構わない。

【００１２】付加情報を付加する際には、付加を行う対
象となる画像上で、ウォータマークパターンの領域と等
しい大きさの領域を設定する。設定された領域とウォー
タマークパターンを重ねて照らし合わせ、プラスのシン
ボルが対応する画素には値ａを加算し、マイナスのシン
ボルが対応する画素からは値ｂを減算する。ａ，ｂ共
に、任意の値で構わないが、そのウォータマークパター
ンを通じて一定にするべきである。

【００１３】図１４乃至図１６の例では、ａ＝１，ｂ＝
１に設定しており、図１４に示すように、付加を行う対
象となる領域の画素値が全て１００の場合には、ウォー
タマークパターンに対応する埋め込み操作により、プラ
スの領域では画素値が１０１とされ、マイナス領域では
画素値がとされる。

【００１４】付加情報を検出する際には、検出を行う対
象となる画像上で、ウォータマークパターンの領域と等
しい大きさの領域を設定する。この領域の画素値の全て
を合計した値が評価値として用いられる。画素値の全て
を合計する際には、設定された領域とウォータマークパ
ターンを重ねて照らし合わせ、プラスのシンボルが対応
する画素については加算、マイナスのシンボルが対応す
る画素については減算を適用する。図１５の例では、画
素値１０１の画素が加算されて、値１０１×２ｎ×４ｎ
が得られ、画素値９９の画素が減算されて、値（−９９
×２ｎ×４ｎ）が得られ、それらの演算結果が加算され
て、値２×２ｎ×４ｎが得られる。この時、付加情報を
付加する際に用いたウォータマークパターンと同じパタ
ーンを用いなければ、付加情報を正しく検出することは
できない。このような検出操作により、例えば図１５に
示すように、付加情報が付加されている場合の評価値は
（４ｎ）＾２（領域に含まれる画素数の数と同じ）にな
り、図１６に示すように、付加情報が付加されていない
場合の評価値は０（＝１００×４ｎ×２ｎ−１００×４
ｎ×２ｎ）となる。

【００１５】ウォータマークパターンの領域が充分に広
く、かつウォータマークパターンが充分にランダムであ
る場合、付加情報が付加されていない場合の評価値は常
にほぼ０となる。そのため、評価値がある一定の閾値を
超えた場合には、付加情報が付加されていると判別する
ことができる。上記の手順により、１ビットの付加情報
を付加することが可能となる。より多くの情報を付加し
たい場合には、画像全体をｋ個の領域に分けて、それぞ
れ上記の操作を行う等の処理方法により、２＾ｋ通り
（ｋビット）の情報を付加することができる。

【００１６】ウォータマークパターンは、例えばＭ系列
を用いて生成したものを利用することができる。Ｍ系列
（最長符号系列）は、０と１の２値のシンボルからなる
数列で、０と１の統計的分布は一定であり、符号相関は
原点で１、その他では符号長に反比例するものである。
もちろん、Ｍ系列以外の方法でウォータマークパターン
を生成しても構わない。

【００１７】ところで、画像をデジタル信号で記録し、
再生する場合、そのままでは非常に情報量が多いため、
画像は、圧縮されるのが一般的である。画像を圧縮する
方法として、カラー静止画像符号化方式であるJPEG(Joi
nt Photographic Experts Group)、あるいはカラー動画
像符号化方式であるMPEG(Moving Picture Experts Grou
p)等の高能率符号化方式が、国際的に標準化され、実用
化に至っている。これらの高能率符号化方式によって圧
縮されたデータは、ビットストリームデータ、あるいは
単にビットストリームと称される。また、対比する表現
として、圧縮する前の画像、および復号した後の画像
は、ベースバンド画像、あるいは単にベースバンドと称
される。

【００１８】ウォータマークパターンが付加されたベー
スバンド画像が、そのままベースバンドで配布されて
も、またはJPEG,MPEGなどの高能率符号化を行なった後
のビットストリームとして配布されても、どちらの場合
でも、簡単にウォータマークパターンが検出できれば好
都合である。

【００１９】これを実現する方法として、本出願人は、
特願平９−２５２８１９号にて、ウォータマークパター
ンをビットストリーム中のDC（Direct Current：直流）
成分から検出できるように付加する方式を提案してい
る。この方式では、８×８画素のDCT（Discrete Cosine
Transformation：離散コサイン変換）ブロックなどの
符号化ブロックのDC成分に反映されるようにウォータマ
ークパターンがベースバンド画像に付加される。前述の
ウォータマークパターンの付加の説明における付加単位
である「画素」を、「符号化ブロックのDC成分」に置き
換えれば、ウォータマークパターンの符号化ブロックの
DC成分への付加が可能になる。

【００２０】このようなウォータマークパターンが付加
された画像は、ベースバンド画像のまま配布されても、
MPEGなどで高能率符号化されたビットストリームとして
配布されても、容易にウォータマークパターンが検出さ
れる。すなわち、ベースバンドの画像からの検出の場
合、その符号化ブロックに相当する領域毎に画素値の平
均値を求め、求められた平均値とウォータマークパター
ンの相関をとればウォータマークパターンが検出され
る。ビットストリームからの検出の場合、ビットストリ
ームを走査してその符号化ブロック毎のDC成分の値を復
号し、DC成分の値とウォータマークパターンとの相関を
とればウォータマークパターンが検出される。

【００２１】また、MPEG2のような符号化方式では、フ
レームモードとフィールドモードの２つのモードのDCT
が適応的に使用される。図１７は、フレームDCTを行な
うブロックを示す。フレームDCTを行なうとき、図１７
（Ａ）に示される１６×１６画素のマクロブロック１１
は、図１７（Ｂ）に示されるトップフィールドおよびボ
トムフィールドが交互に配置される８×８画素のフレー
ムモードブロック１２乃至１５に分割される。他方、フ
ィールドDCTを行なうとき、図１８（Ａ）に示される１
６×１６画素のマクロブロック１１は、図１８（Ｂ）に
示されるトップフィールドから構成されるフィールドモ
ードブロック２１および２２、並びにボトムフィールド
から構成される８×８画素のフィールドモードブロック
２３および２４に分割される。

【００２２】図１７および図１８で表されるように、フ
レームモードブロック１２乃至１５、またはフィールド
モードブロック２１乃至２４の占める画素の範囲は異な
る。そこで縦に２つのDCTブロックを合わせた８×１６
画素の領域を１つの単位としてそのDC成分にウォータマ
ークパターンを付加する。これにより、フレームとフィ
ールドのどちらのモードでDCTが行なわれた場合でも、
その２つのブロックのDC成分を復号して平均することに
より８×１６画素の領域のDC成分を計算し、ウォータマ
ークパターンの検出ができる。

【００２３】ところで、図１９に示されるように、画像
のアスペクト比（画像の大きさの横と縦の比）は、通
常、NTSC(National Television Systems Committee)方
式のビデオの画像２６（図１９（Ａ））は４：３である
が、映画などの画像２７（図１９（Ｂ））は、横長で１
６：９となっている。このようにビデオと映画によって
アスペクト比が異なるため、映画の画像をビデオに記録
する方法として、主に次の２つの方法が使用されてい
る。

【００２４】第１の方法は、図２０（Ａ）に示される映
画などの画像２７を、図２０（Ｃ）に示されるように、
ビデオの画像の上下を余らせ、中央部分の１６：９の領
域に画像２７を表示する方法である。上下に余った部分
は、通常、黒で埋められる。この表示方法は、レターボ
ックス（letter box）表示と称され、その画像はレター
ボックス画像２９と称される。

【００２５】第２の方法は、図２０（Ｂ）に示されるよ
うに、画像２７を、横方向に３／４倍に縮小してビデオ
画像の全域（４：３の領域）に表示する方法である。ビ
デオ画像２７は横方向に縮められ、この表示方法はスク
イズ（squeeze）表示と称され、その画像はスクイズ画
像２８と称される。

【００２６】スクイズ画像２８からレターボックス画像
２９への変換は、レターボックス変換と称される。レタ
ーボックス変換は、図２０（Ａ）および図２０（Ｂ）で
示されるように、スクイズ画像２８を縦方向に３／４倍
に縮小する変換である。スクイズ画像２８は、横方向に
縮められており、画像上に表現される物体は、実際より
も細く表現される。このため、画像を観賞するとき、ス
クイズ画像２８は、このレターボックス変換される。レ
ターボックス画像２９は、そのまま表示すれば観賞でき
る利点を有する。一方、スクイズ画像２８は、ビデオの
画枠の縦方向の解像度が有効に使われている分、画質が
よいという利点を有する。これに対し、レターボックス
画像２９は、上下に有効に使われていない画素がある
為、スクイズ画像２８に比較し、画質は劣る。

【００２７】映画の画像は、ビデオに記録するとき、画
質のよいスクイズ画像２８で記録することが多い。MPEG
などで符号化するとき、映画の画像から作成されたスク
イズ画像２８は、そのままスクイズ画像２８として符号
化することも、復号後にそのまま表示して観賞できるよ
うにレターボックス変換を行なってレターボックス画像
２９として符号化することもある。

【００２８】ここで、ウォータマークパターンが付加さ
れて、記録されたスクイズ画像２８は、スクイズ画像２
８として符号化されたときも、レターボックス変換が行
なわれた後で、レターボックス画像２９として符号化さ
れたときも、ビットストリームからウォータマークパタ
ーンを検出できれば取り扱いが容易である。

【００２９】従来、図２１に表されるウォータマークパ
ターンを利用した、符号化装置３１および復号装置３２
からなる、不正利用防止システムが実現されている。符
号化装置３１は、レターボックス画像２９であるベース
バンド画像が入力される。ウォータマークパターンを付
加する必要がないとき、入力されたベースバンド画像
は、切替部４３を介して、符号化部４４に供給される。
ウォータマークパターンを付加する必要があるとき、ベ
ースバンド画像は、ウォータマークパターン付加部４１
に入力されてウォータマークパターンが付加される。レ
ターボックス変換されないとき、ウォータマークパター
ンが付加されたベースバンド画像は、切替部４３を介し
て、そのまま符号化部４４に送られる。レターボックス
変換されるとき、ウォータマークパターンが付加された
ベースバンド画像は、縦方向の縮小フィルタであるレタ
ーボックス変換部４２でレターボックス変換され、切替
部４３を介して、符号化部４４に供給される。符号化部
４４は、入力されたベースバンド画像を符号化し、得ら
れたビットストリームを出力する。符号化装置３１から
出力されたビットストリームは、所定の伝送経路を介し
て、復号装置３２に供給される。

【００３０】復号装置３２のウォータマークパターン検
出部５２は、符号化装置３１から出力されたビットスト
リームを受けとり、ビットストリームの画像に付加され
ているウォータマークパターンから情報を検出し、検出
された情報に基づいた信号を出力制御部５１に出力す
る。出力制御部５１は、ウォータマークパターン検出部
５２からの信号に基づき、復号部５３への符号化装置３
１から供給されたビットストリームの供給を制御する。
復号部５３は、入力されたビットストリームを復号し、
ベースバンド画像を出力する。

【００３１】以下では、図２１に表されるウォータマー
クパターンを利用した、符号化装置３１および復号装置
３２からなる、不正利用防止システムにおいて行なわれ
る処理についてより詳細に説明する。

【００３２】図２２（Ａ）に示されるように、スクイズ
画像２８においてウォータマークパターンがそのDC係数
に付加される付加ブロック６１−１乃至６１−ｎは、図
２２（Ｂ）に示されるように、レターボックス変換され
た後のレターボックス画像２９において縦方向に３／４
に潰れた領域６２−１乃至６２−ｎになる。そのため、
レターボックス画像２９の付加ブロックは、スクイズ画
像２８の付加ブロック６１−１乃至６１−ｎとずれ、ス
クイズ画像２８の付加ブロック６１−１乃至６１−ｎの
DC係数に付加したウォータマークパターンは、レターボ
ックス画像２９の付加ブロックのＤＣ係数に直接反映さ
れない。そこでレターボックス変換を行なう前に符号化
を行なった場合、ビットストリームからウォータマーク
パターンを検出できるスクイズ画像２８用のウォータマ
ークパターンと、レターボックス変換を行なった後に符
号化を行なった場合、ビットストリームからウォータマ
ークパターンを検出できるレターボックス画像用のウォ
ータマークパターンの双方を、ベースバンドの画像に付
加することが考えられていた。

【００３３】スクイズ画像２８用のウォータマークパタ
ーンの付加ブロック６１−１乃至６１−ｎは、図２２
（Ａ）に示されるように、通常のウォータマークパター
ンの付加ブロックと同じ８×１６画素の領域である。こ
れに対して、図２３（Ａ）に示されるように、レターボ
ックス画像２９用のウォータマークパターンの付加ブロ
ック７１−１乃至７１−ｎは、８×21.333...（＝16×4
/3）画素から構成される。付加ブロック７１−１乃至７
１−ｎは、レターボックス変換された後、図２３（Ｂ）
の８×１６画素のブロック７２−１乃至７２−ｎとな
る。

【００３４】 図２１の従来の不正利用防止システムで
行なわれる処理は、この２つのウォータマークパターン
を付加する処理であり、図２４および２５の両方の処理
を逐次に行なったものである。なお、付加の処理の順番
は、どちらが先であっても構わない。

【００３５】図２４は、通常の（スクイズ画像２８用
の）ウォータマークパターンを付加する処理を説明する
フローチャートである。まず、ステップＳ１１におい
て、ウォータマークパターン付加部４１は、ウォータマ
ークパターンを設定するとともに、付加量a,bの設定を
行なう。ステップＳ１２において、ウォータマークパタ
ーン付加部４１は、通常のウォータマークパターン付加
ブロックに対応する８×１６画素のブロックを１つ読み
込む。ステップＳ１３において、ウォータマークパター
ン付加部４１は、そのブロックがウォータマークパター
ンを付加すべきブロックであるか否かを判定し、そのブ
ロックがウォータマークパターンを付加すべきブロック
であると判定された場合、ステップＳ１４に進む。

【００３６】ステップＳ１４において、ウォータマーク
パターン付加部４１は、読み込んだブロックが加算する
ブロックであるか否かを判定し、読み込んだブロックが
加算するブロックであると判定された場合、ステップＳ
１５に進み、ブロックのＤＣ値にaを加算し、ステップ
Ｓ１７に進む。ステップＳ１４において、読み込んだブ
ロックがウォータマークを減算するブロックであると判
定された場合、ステップＳ１６に進み、ウォータマーク
パターン付加部４１は、読み込んだブロックのＤＣ値か
らｂだけ減算し、ステップＳ１７に進む。ステップＳ１
７において、ウォータマークパターン付加部４１は、全
てのブロックの処理を終了したか否かを判定し、全ての
ブロックの処理をまだ終了していないと判定された場
合、ステップＳ１２に戻り、処理を継続する。

【００３７】ステップＳ１３において、そのブロックが
ウォータマークパターンを付加するブロックではないと
判定された場合、ステップＳ１７に進む。

【００３８】ステップＳ１７において、全てのブロック
の処理を終了したと判定された場合、ウォータマークパ
ターン付加部４１は、処理を終了する。

【００３９】図２５は、レターボックス画像２９用のウ
ォータマークパターンを付加する処理を説明するフロー
チャートである。ステップＳ２１において、ウォータマ
ークパターン付加部４１は、レターボックス用のウォー
タマークパターンを設定するとともに、付加量aおよびb
の設定を行なう。ステップＳ２２において、ウォータマ
ークパターン付加部４１は、レターボックス用のウォー
タマークパターン付加ブロックに対応する８×21.33
3...画素のブロックを１つ読み込む。以下のステップＳ
２３乃至ステップＳ２７の手続は、ステップＳ１３乃至
ステップＳ１７と、同様であり、その説明は省略する。

【００４０】図２４および図２５に示された手続におい
て、通常のウォータマークパターンを付加すべきブロッ
クとレターボックス用のウォータマークパターンを付加
すべきブロックの選択方法には、以下の２つの方法があ
る。

【００４１】第１の方法は、２つのウォータマークパタ
ーンを空間的または時間的に別の符号化ブロックのDC成
分に付加する方法である。例えば、空間的に別の符号化
ブロックのDC成分に付加する方法として、画像の右半分
にスクイズ画像２８用のウォータマークパターンを、左
半分にレターボックス画像２９用のウォータマークパタ
ーンを、それぞれ付加する方法がある。時間的に別の符
号化ブロックのDC成分に付加する方法として、偶数番目
のフレームにスクイズ画像２８用のウォータマークパタ
ーンを、奇数番目のフレームにレターボックス画像２９
用のウォータマークパターンを、それぞれ付加する方法
がある。

【００４２】第２の方法は、２つのウォータマークパタ
ーンを空間的にも時間的にも同一のDC成分に付加する方
法である。この方法は、どちらのウォータマークパター
ンも画像の全域に付加するが、スクイズ画像２８用とレ
ターボックス画像２９用とで、別々のウォータマークパ
ターンを用いる必要がある。

【００４３】図２６は、検出の処理を説明するフローチ
ャートである。まず、ステップＳ３１において、ウォー
タマークパターン検出部５２は、W[x,y]にスクイズ画像
２８用のウォータマークパターンを設定し、 WL[x,y]に
レターボックス画像２９用のウォータマークパターンを
設定し、スクイズ画像２８のウォータマークパターンの
検出のための評価値sum、およびレターボックス画像２
９のウォータマークパターンの検出のための評価値sumL
を0に初期化するとともに、スクイズ画像２８のウォー
タマークパターンの検出の閾値th、およびレターボック
ス画像２９のウォータマークパターンの検出の閾値thL
を設定する。ステップＳ３２において、ウォータマーク
パターン検出部５２は、ビットストリームを簡易復号
し、８×１６画素のブロックのDC成分を I[x,y]に代入
する。ここで、I[x,y]は画像中で上から y 番目、左か
ら x 番目のブロックのDC成分である。ステップＳ３３
において、ウォータマークパターン検出部５２は、sum
に I[x,y]×W[x,y]を加算し、sumL に I[x,y]×WL[x,y]
を加算する。ステップＳ３４おいて、ウォータマークパ
ターン検出部５２は、すべてのI[x,y]について処理を実
行したか否かを判定し、すべてのI[x,y]について処理を
実行していないと判定された場合、手続は、ステップＳ
３３に戻り、処理を繰り返す。

【００４４】ステップＳ３４おいて、すべてのI[x,y]に
ついて処理を実行したと判定された場合、ステップＳ３
５に進み、ウォータマークパターン検出部５２は、sum
がthより大きいか否かを判定し、sumがthより大きくな
いと判定された場合、ステップＳ３６に進む。ステップ
Ｓ３６おいて、ウォータマークパターン検出部５２は、
sumLがthLより大きいか否かを判定し、sumLがthLより大
きくないと判定された場合、手続は、ステップＳ３７に
進み、ウォータマークパターン検出部５２は、ウォータ
マークパターンが付加されていないときの処理を実行
し、処理を終了する。

【００４５】ステップＳ３５において、sumがthより大
きいと判定された場合、およびステップＳ３６おいて、
sumLがthLより大きいと判定された場合、ウォータマー
クパターン検出部５２は、ステップＳ３８においてウォ
ータマークパターンが付加されているときの処理を実行
し、処理を終了する。

【００４６】各ブロックにどちらのウォータマークパタ
ーンが入っているかは、ウォータマークパターンを検出
する前は分からないので、どちらのウォータマークパタ
ーンについてもすべてのブロックと相関をとる必要があ
る。

【００４７】

【発明が解決しようとする課題】従来の第１の方法は、
ウォータマークパターンを検出するのに用いるDC成分を
取り出す符号化ブロックを、レターボックス画像２９か
らの検出用の符号化ブロックおよびスクイズ画像２８か
らの検出用の符号化ブロックの２つの用途に分けて用い
るため、レターボックス画像２９（またはスクイズ画像
２８）のみを対象にしての検出と検出時間を同じにする
には、検出に使えるDC成分の数が半分になり、検出精度
が悪くなる。逆に、レターボックス画像２９（またはス
クイズ画像２８）のみを対象にしての検出と検出精度を
同じにするには、レターボックス画像２９およびスクイ
ズ画像２８で検出に使えるＤＣ成分の数を別々に確保す
るために検出時間が２倍必要になる。

【００４８】また、従来の第２の方法は、２つのウォー
タマークパターンの信号が画像に重ねて加えられるた
め、ウォータマークパターンのパターンが本来の画像に
加えられたノイズとして見えやすくなり、画質が劣化す
る。

【００４９】本発明はこのような状況に鑑みてなされた
ものであり、検出精度の低下、検出時間の増加、画質の
劣化、または検出の処理量の増加なしにウォータマーク
パターンを検出することを目的とする。

【００５０】

【課題を解決するための手段】請求項１に記載の情報検
出装置は、解像度変換もしくは画枠変換に対応して、ウ
ォータマークパターンを変換し、解像度変換または画枠
変換された画像における符号化ブロックと解像度変換も
しくは画枠変換されたウォータマークパターンとの間で
相互に対応する部分の積和演算を行うことにより、評価
値を生成する演算手段と、評価値と所定の閾値とを比較
してウォータマークが付加されているか否かを判定する
判定手段とを備え、演算手段は、変換されたウォータマ
ークパターンと、解像度変換もしくは画枠変換された画
像における符号化ブロックとの対応付けられる画素数が
ある所定の割合より小さい場合には、評価値に対応しな
い部分のウォータマークパターンの演算を省略すること
を特徴とする。

【００５１】 請求項３に記載の情報検出方法は、解像
度変換もしくは画枠変換に対応して、ウォータマークパ
ターンを変換し、解像度変換または画枠変換された画像
における符号化ブロックと解像度変換もしくは画枠変換
されたウォータマークパターンとの間で相互に対応する
部分の積和演算を行うことにより、評価値を生成し、評
価値と所定の閾値とを比較してウォータマークが付加さ
れているか否かを判定し、評価値を演算する場合、変換
されたウォータマークパターンと、解像度変換もしくは
画枠変換された画像における符号化ブロックとの対応付
けられる画素数がある所定の割合より小さいときには、
評価値に対応しない部分のウォータマークパターンの演
算を省略することを特徴とする。

【００５２】

【００５３】 請求項１に記載の情報検出装置および請
求項３に記載の情報検出方法においては、解像度変換も
しくは画枠変換に対応して、ウォータマークパターンを
変換し、解像度変換または画枠変換された画像における
符号化ブロックと解像度変換もしくは画枠変換されたウ
ォータマークパターンとの間で相互に対応する部分の積
和演算を行うことにより、評価値が生成され、評価値と
所定の閾値とを比較してウォータマークが付加されてい
るか否かが判定され、評価値を演算する場合、変換され
たウォータマークパターンと、解像度変換もしくは画枠
変換された画像における符号化ブロックとの対応付けら
れる画素数がある所定の割合より小さいときには、評価
値に対応しない部分のウォータマークパターンの演算が
省略される。

【００５４】

【００５５】

【００５６】

【発明の実施の形態】 以下、フレームとフィールドのDC
Tを適応的に使うMPEG2を想定し、ウォータマークパター
ンの付加または検出を行なうブロックとして８×１６画
素のブロックを用いて記述する。

【００５７】本発明の不正利用防止システムの構成は、
図２１に示した不正利用防止システムの構成と同様であ
る。

【００５８】図１は、レターボックス変換のとき、スク
イズ画像２８を縦方向に縮小した後、画面の上部をつめ
て余白を下部のみにとった場合の図である。図１（Ａ）
は、スクイズ画像２８でウォータマークパターンを付加
する、８×１６画素の付加ブロック８１（水平方向にｘ
番目、垂直方向にｙ番目のブロック）を示す図である。
付加ブロック８１を含むスクイズ画像２８をレターボッ
クス変換すると（縦方向に3/4倍すると）、付加ブロッ
ク８１は、図１（Ｂ）に示すレターボックス画像２９上
の８×１２画素の付加ブロック８２となる。また、図１
（Ｃ）は、レターボックス画像２９を符号化するとき
の、８×１６画素の符号化ブロック８３−１乃至８３−
３を示す図である。なお、図中のy'は、整数を表してい
る。

【００５９】図２は、レターボックス変換のとき、スク
イズ画像２８を縦方向に縮小した後、余白を画面の上下
にとったときの図である。図２（Ａ）は、スクイズ画像
２８でウォータマークパターンを付加する、８×１６画
素の付加ブロック８１を示す図である。ブロック８１を
含むスクイズ画像２８をレターボックス変換すると、付
加ブロック８１は、図２（Ｂ）に示すレターボックス画
像２９上の８×１２画素の付加ブロック８２となる。ま
た、図２（Ｃ）は、レターボックス画像２９を符号化す
るときの、８×１６画素の符号化ブロック８３−１乃至
８３−３を示す図である。

【００６０】以下、図１の場合について、ウォータマー
クパターンの検出方法を図３を用いて説明する。図３
は、図１に示された画像から、１つの縦方向の付加ブロ
ック８１の列を取り出して示したものである。図３
（Ａ）は、スクイズ画像２８でのウォータマークパター
ンが付加される付加ブロック８１−１乃至８１−４を示
し、８×１６画素毎に区切られた付加ブロック８１−１
乃至８１−４のDC成分には、それぞれにウォータマーク
パターンのシンボルが割り当てられる。W[x,y]は、ウォ
ータマークパターンの座標x,y（ブロックの座標であ
り、そのｘ座標は画素のｘ座標で割ったときの整数部
で、また、そのｙ座標は、画素のｙ座標を１６で割った
ときの整数部で、それぞれ表される）の部分のシンボル
を表す。座標は画面の左上を原点とし、縦横とも０から
はじまる。例えば、画面の左上の８×１６画素のブロッ
クに対応するウォータマークパターンのシンボルは、W
[0,0]であり、その下のブロックに対応するウォータマ
ークパターンのシンボルは、W[0,1]である。

【００６１】スクイズ画像２８がレターボックス変換さ
れると、縦の解像度は３／４になる。そのため、図１
（Ａ）または図２（Ａ）におけるスクイズ画像２８での
ウォータマークの付加ブロック８１は、図３（Ｂ）で表
される８×１２画素のウォータマークの付加ブロック８
２−１乃至８２−４に変換される（ブロックのｙ座標
は、画素のｙ座標を１２で割ったときの整数部とな
る）。

【００６２】レターボックス画像２９を符号化すると、
レターボックス画像２９の８×１６画素毎にフレームモ
ードのDCTが２回か、またはフィールドモードのDCTが２
回行なわれる（それぞれ、８×８画素毎にDCTが行われ
るので）。いま、図３（Ｃ）に示された、符号化ブロッ
ク８３−１乃至８３−３の２回のDCTのDC係数の平均値
を、I[x,y] で表すものとする。すなわち、I[x,y]は、
８×１６画素毎のブロックの、座標 x,y の部分のDCT係
数のDCの値を表すものとする。

【００６３】この例では、図３（Ｂ）に示された付加ブ
ロック８２−１乃至８２−４と、図３（Ｃ）に示された
符号化ブロック８３−１乃至８３−３の間で、相互に対
応する部分を積和演算し、ウォータマークパターンの検
出が行なわれる。すなわち、ウォータマークパターンの
成分は、次の式（１）で算出される。

【００６４】 sum＝Σ(I[x,0]×W[x,0])＋Σ(I[x,0]×W[x,1]) ＋Σ(I[x,1]×W[x,1])＋Σ(I[x,1]×W[x,2]) ＋Σ(I[x,2]×W[x,2])＋Σ(I[x,2]×W[x,3]) （１） 上記式において、Σは、すべてのxについての積和演算
を意味する。

【００６５】符号化ブロック８３−１に含まれる画素の
うち全体の12/16の画素が、ウォータマークシンボルW
[x,0]によって影響を受け、全体の4/16の画素がウォー
タマークシンボルW[x,1] によって影響を受けた結果、
スクイズ画像２８のDC成分の値I0[x,y]がI[x,y]に変化
したものとすると、I[x,0]は、 I[x,0] ＝ I0[x,0]＋12/16×W[x,0]＋4/16×Ｗ［ｘ，
１］ と表現できる。従って、式（１）の第１項は、式（２）
のように変形できる。

【００６６】 Σ(I[x,0]×W[x,0]) ＝Σ((I0[x,0]＋12/16×W[x,0]＋4/16×W[x,1])×W[x,0]) ≒Σ((12/16×W[x,0]＋4/16×W[x,1])×W[x,0]) ≒Σ(12/16×W[x,0]×W[x,0]) ＝3/4 Σ (W[x,0]×W[x,0]) （２）

【００６７】Σ((12/16×W[x,0]＋4/16×W[x,1])×W[x,
0])への変形は、ΣI0[x,0]×W[x,0]≒0が成立するこ
と、すなわち、画像のDC成分とウォータマークは一般的
に相関がないことに基ずくものである。また、Σ(12/16
×W[x,0]×W[x,0])への変形は、ΣW[x,1]×W[x,0]≒0、
つまり、ウォータマークは位相をずらしたウォータマー
クと相関がないことに基ずくものである。

【００６８】同様に、式（１）の他の項も、変形する
と、式（３）が得られる。

【００６９】 sum ＝ Σ(I[x,0]＊W[x,0]) ＋Σ(I[x,0]＊W[x,1]) ＋Σ(I[x,1]＊W[x,1]) ＋Σ(I[x,1]＊W[x,2]) ＋Σ(I[x,2]＊W[x,2]) ＋Σ(I[x,2]＊W[x,3])≒ 3/4Σ(W[x,0]＊W[x,0]) ＋1/4Σ(W[x,1]＊W[x,1]) ＋1/2Σ(W[x,1]＊W[x,1]) ＋1/2Σ(W[x,2]＊W[x,2]) ＋1/4Σ(W[x,2]＊W[x,2]) ＋3/4Σ(W[x,3]＊W[x,3]) ＝ 3/4Σ(W[x,0]＊W[x,0]) ＋3/4Σ(W[x,1]＊W[x,1]) ＋3/4Σ(W[x,2]＊W[x,2]) ＋3/4Σ(W[x,3]＊W[x,3]) （３）

【００７０】以上のように、付加したウォータマークパ
ターンの評価値は、各符号化ブロック８３−１乃至８３
−３について、そのDC成分と、その符号化ブロック８３
−１乃至８３−３の少なくとも一部分に付加がなされて
いるウォータマークパターンのシンボルとの積をとって
総和する（積和演算を行う）ことにより得られる。ウォ
ータマークの評価値が３／４に減少しているのは、レタ
ーボックス変換により縦に ３／４に縮小されているた
めである。

【００７１】続いて、図２の場合、すなわち、レターボ
ックス変換のときに縦方向に３／４に縮小した後、画面
の上下に余白をとった場合のウォータマークの評価値の
算出について説明する。図２（Ｂ）に示されるように、
画面上部の余白の画素数はy0であるとする。図４（Ａ）
は、レターボックス画像２９でのウォータマークの付加
ブロック８２である。図４（Ｂ）は、この付加ブロック
８２の縦１列の画素９１を取り出したものを示す図であ
る。

【００７２】レターボックス画像２９の１つの付加ブロ
ック８２に含まれる、縦１列の画素９１のｙ座標は、y0
+12y から y0+12y+11 の範囲である。図４（Ｃ）は、レ
ターボックス画像２９として符号化するときの符号化ブ
ロック８３−１乃至８３−３の範囲の画素を表す図であ
る。縦１列の画素９１は、符号化ブロック８３−１乃至
８３−３が８×１６画素から構成されるため、縦方向に
１６画素毎に異なる符号化ブロック８３−１乃至８３−
３に含まれる。そのため、例えば、ｙ座標（画素座標）
がy0+12yである画素は、ｙ座標（ブロック座標）が(y0+
12y)//16の符号化ブロック８３に含まれる。また、ｙ座
標が、y0+12y+11である画素は、ｙ座標が(y0+12y+11)//
16 の符号化ブロック８３に含まれる。ここで // は、
小数点以下を切り捨てる除算を表す。

【００７３】符号化ブロック８３の大きさが縦方向に１
６画素の広がりを持つのに対して、同一の値のウォータ
マークシンボル W[x,y] が付加されている付加ブロック
の画素は縦方向に１２画素しか連続していないため、ｙ
座標がy0+12yからy0+12y+11の間の付加ブロックの画素
は、ｙ座標が(y0+12y)//16の符号化ブロック８３か、ま
たはｙ座標が(y0+12y+11)//16の符号化ブロック８３に
含まれる。したがって、W[x,y]と相関をとるべき符号化
ブロック８３のDC成分は、(y0+12y)//16=(y0+12y+11)//
16である（１個の付加ブロックが１個の符号化ブロック
に対応する）ならば、I[x,(y0+12y)//16]のみであり、
(y0+12y)//16≠(y0+12y+11)//16である（１個の付加ブ
ロックが２個の符号化ブロックに対応する）ならば、I
[x,(y0+12y)//16]とI[x,(y0+12y+11)//16]の２つであ
る。

【００７４】次に、ウォータマークパターンの付加の処
理、および検出の処理を説明する。図２４および図２５
のフローチャートに示される従来例では、スクイズ画像
２８用とレターボックス画像２９用の２つの異なるウォ
ータマークを付加したのに対し、本発明は、ただ１つの
ウォータマークを付加する点で簡略化されており、どち
らのウォータマークを付加するかの判断をする必要がな
い点も、簡略化されている。

【００７５】図５は、ウォータマークパターンの付加の
処理を説明するフローチャートである。ステップＳ４１
において、ウォータマークパターン付加部４１は、ウォ
ータマークパターンを設定するとともに、付加量a,bの
設定を行なう。ステップＳ４２において、ウォータマー
クパターン付加部４１は、通常のウォータマークパター
ン付加ブロックに対応する８×１６画素のブロックを１
つ読み込む。ステップＳ４３において、ウォータマーク
パターン付加部４１は、読み込んだブロックがウォータ
マークを加算するブロックであるか否かを判定し、読み
込んだブロックがウォータマークを加算するブロックで
あると判定された場合、ステップＳ４４に進み、ブロッ
クのDC値にaを加算し、ステップＳ４６に進む。

【００７６】ステップＳ４３において、読み込んだブロ
ックがウォータマークを減算するブロックであると判定
された場合、ステップＳ４５に進み、ウォータマークパ
ターン付加部４１は、読み込んだブロックのDC値をｂだ
け減算し、ステップＳ４６に進む。ステップＳ４６にお
いて、ウォータマークパターン付加部４１は、全てのブ
ロックの処理を終了したか否かを判定し、全てのブロッ
クの処理をまだ終了していないと判定された場合、ステ
ップＳ４２に戻り、処理を継続する。

【００７７】ステップＳ４６において、全てのブロック
の処理を終了したと判定された場合、ウォータマークパ
ターン付加部４１は、処理を終了する。

【００７８】図６は、ウォータマーク検出の処理を説明
するフローチャートである。まず、ステップＳ５１にお
いて、ウォータマークパターン検出部５２は、ウォータ
マークパターンをW[x,y]に設定し、スクイズ画像２８の
ウォータマークパターンの検出のための評価値sum、お
よびレターボックス画像２９のウォータマークパターン
の検出のための評価値sumLを0に初期化するとともに、
スクイズ画像２８のウォータマークパターンの検出の閾
値th、およびレターボックス画像２９のウォータマーク
パターンの検出の閾値thLを設定する。ステップＳ５２
において、ウォータマークパターン検出部５２は、ビッ
トストリームを簡易復号し、８×１６画素のブロックの
DC成分を I[x,y]に代入する。ステップＳ５３におい
て、ウォータマークパターン検出部５２は、最初の(x,
y)の組として(0,0)を選択し、sumにI[x,y]×W[x,y]を加
算し、sumLにI[x,(y0+12y)//16]×W[x,y]を加算する。
いま、y0=0であるとすれば、これにより、図３のI[x,0]
×W[x,0]が演算される。

【００７９】ステップＳ５４において、ウォータマーク
パターン検出部５２は、(y0+12y)//16が(y0+12y+11)//1
6と等しいか否かを判定し、(y0+12y)//16が(y0+12y+11)
//16と等しくないと判定された場合（すなわち、１個の
付加ブロック８２が２個の符号化ブロックに対応する場
合）、ステップＳ５５に進み、sumLにI[x,(y0+12y+11)/
/16]×W[x,y]を加算し、ステップＳ５６に進む。

【００８０】ステップＳ５４において、(y0+12y)//16が
(y0+12y+11)//16と等しいと判定された場合（すなわ
ち、１個の付加ブロック８２が１個の符号化ブロックに
対応する場合）、ステップＳ５６に進む。

【００８１】ステップＳ５６おいて、ウォータマークパ
ターン検出部５２は、すべての組について処理を実行し
たか否かを判定し、まだ処理していない組が存在すると
判定された場合、手続は、ステップＳ５３に戻り、それ
以降の処理を繰り返す。図３の例の場合、ステップＳ５
４で、式の左右の項の値がいずれも0であるのでYESの判
定が行われ、ステップＳ５６において、y=1とされ（xの
インクリメントの処理についてはここでは省略する）、
ステップＳ５３で、I[x,0]×W[x,1]が、sumLに加算され
る（sumの処理の説明もここでは省略する）。ステップ
Ｓ５４で、式の左の項の値が0、かつ、右の項の値が1な
るので、NOの判定が行われ、ステップＳ５５で、I[x,1]
×W[x,1]が、sumLに加算される

【００８２】ステップＳ５６おいて、すべての(x,y)の
組について処理を実行したと判定された場合、ステップ
Ｓ５７に進み、ウォータマークパターン検出部５２は、
sumがthより大きいか否かを判定し、sumがthより大きく
ないと判定された場合、ステップＳ５８に進む。ステッ
プＳ５８おいて、ウォータマークパターン検出部５２
は、sumLがthLより大きいか否かを判定し、sumLがthLよ
り大きくないと判定された場合、手続は、ステップＳ５
９に進み、ウォータマークパターン検出部５２は、ウォ
ータマークパターンが付加されていないときの処理を実
行し、処理を終了する。

【００８３】ステップＳ５７において、sumがthより大
きいと判定された場合、およびステップＳ５８おいて、
sumLがthLより大きいと判定された場合、ウォータマー
クパターン検出部５２は、ウォータマークパターンが付
加されているときの処理を実行し、処理を終了する。

【００８４】以上のように、本発明では、スクイズ画像
２８に１個のウォータマークを付加するだけで、スクイ
ズ画像からも、レターボックス画像からもウォータマー
クを検出することができる。従って、２つのウォータマ
ークを空間的または時間的に別の符号化ブロックのDC成
分に付加する必要がない。また、本発明では、ウォータ
マークを検出するのに用いるDC成分を取り出す符号化ブ
ロック８３を、レターボックス画像２９からの検出用の
符号化ブロック８３、およびスクイズ画像２８からの検
出用の符号化ブロック８３の２つに分ける必要が無く、
検出精度の低下、および検出時間の増加がほとんどな
い。さらに、２つのウォータマークを同一のDC成分に付
加する必要がないので、画質が劣化しない。

【００８５】図６の、アルゴリズムにパラメータkを付
加することで、より処理を簡略することができる。 図
７を用いて、このパラメータkを利用したアルゴリズム
について説明する。

【００８６】図７の処理のステップは、ステップＳ６
１、ステップＳ６３、ステップＳ６４、およびステップ
Ｓ６５を除き、図６のフローチャートにおける番号の下
一桁が同じステップと処理内容が同じであり、その説明
は省略し、以下に図６の処理と異なる部分についてのみ
説明する。ステップＳ６１において、ウォータマークパ
ターン検出部５２は、ステップＳ５１の処理に加え、k
パラメータを設定する。ステップＳ６３において、ウォ
ータマークパターン検出部５２は、sumにI[x,y]×W[x,
y]を加算し、sumLにI[x,(y0+12y+k)//16]×W[x,y]を加
算する。

【００８７】ステップＳ６４において、ウォータマーク
パターン検出部５２は、(y0+12y+k)//16が(y0+12y+11-
k)//16と等しいか否かを判定し、(y0+12y+k)//16が(y0+
12y+11-k)//16と等しくないと判定された場合（すなわ
ち、１個の付加ブロック８２が２個の符号化ブロック８
３と対応する場合）、ステップＳ６５に進み、sumLにI
[x,(y0+12y+11-k)//16]×W[x,y]を加算し、ステップＳ
６６に進む。

【００８８】ステップＳ６４において、(y0+12y+k)//16
が(y0+12y+11-k)//16と等しいと判定された場合（すな
わち、１個の付加ブロック８２が１個の符号化ブロック
と対応する場合）、ステップＳ６６に進む。

【００８９】このアルゴリズムでは、例えばk=2と設定
した場合、比較される画素の属する符号化ブロック８３
は、式（４）、および式（５）で算出される。 (y0+12y+k)//16=(16i+15)//16=i （４） (y0+12y+11-k)//16=(16(i+1)+6)//16=i+1 （５）

【００９０】この場合、図８（Ｂ）に図示されているｙ
座標がyである付加ブロックと相関をとるのに使われる
のは、図８（Ｃ）の右上がりの斜線で示されているｙ座
標がi の符号化ブロック８３のDC成分と、図８（Ｃ）の
右下がりの斜線で示されているｙ座標がi+1 の符号化ブ
ロック８３のDC成分となる。

【００９１】また、k=3 と設定した場合、比較される画
素の属する符号化ブロック８３は、式（６）、および式
（７）で算出される。 (y0+12y+k)//16=16(i+1)//16=i+1 （６） (y0+12y+11-k)//16=(16(i+1)+5)//16=i+1 （７）

【００９２】すなわち、この場合、ｙ座標がyである付
加ブロックと相関をとるのに使われるのは、図８（Ｃ）
の右上がりの斜線で示されているｙ座標がi+1の符号化
ブロックのDC成分のみとなり、この符号化ブロックのDC
成分は相関値の演算に用いられなくなる。

【００９３】図９は、k=3 と設定したときの、付加ブロ
ック８２−１乃至８２−４と、符号化ブロック８３−１
乃至８３−４の間の積和演算を説明する図である。この
例において、符号化ブロック８３−１乃至８３−４は、
付加ブロック８２−１乃至８２−４に対して、上に１画
素ずれている。付加ブロック８２−２と符号化ブロック
８３−１が重なる部分についての積和演算I[x,0]×W[x,
1]は、省略される。同様に、付加ブロック８２−４と符
号化ブロック８３−４が重なる部分についての積和演算
I[x,3]×W[x,3]も、省略される。

【００９４】kが他の値の場合についても同様に、ｙ座
標がyである付加ブロック８２（図８（Ｂ）の付加ブロ
ック）と、ｙ座標がiである符号化ブロック８３（図８
（Ｃ）の画素16i+12乃至16i+15が属する符号化ブロッ
ク）のDC成分との相関を求めるのは、kが２以下のとき
である。図８の例で、ｙ座標がyである付加ブロック８
２と、ｙ座標がiである符号化ブロック８３で対応する
（重なる）画素の数は、３画素（16i+13,16i+14,16i+1
5）である。換言すると、付加ブロック８２の画素と符
号化ブロック８３の画素で対応する画素の数がパラメー
タkの値以下であるとき、その画素は対応していない
（重なっていない）ものとされ、相関を求めるのに使用
されないようになされる。

【００９５】ウォータマークの成分は、符号化ブロック
８３中の付加ブロックと重なる画素だけが有する。kパ
ラメータを利用する場合、符号化ブロック８３の中でk/
16以下の画素にしかウォータマークの成分を持たない場
合、相関の計算を実行しないようにすることで、ウォー
タマークの成分を検出する可能性の少ない部分につい
て、相関を計算する処理を省くことができ、算出される
相関値をほとんど変化させずに処理量を減らすことがで
きる。

【００９６】例えば、k=6と設定すれば、付加ブロック
８２の半分以上の部分が符号化ブロック８３と対応して
いるときにのみ、相関の計算が行なわれることになる。

【００９７】このように、kパラメータを利用した処理
は、ウォータマークの成分を検出する可能性の少ない部
分について、相関を計算する処理を省き、算出される相
関値をほとんど変化させずに処理量を減らすことができ
る。

【００９８】図１０は、図６のフローチャートに示され
る処理に、正規化処理を加えたウォータマークの成分を
検出する処理を説明するフローチャートである。この処
理は、符号化ブロック８３中のk/16の割合の画素にし
か、ウォータマークの成分が含まれない場合に、検出値
にk/16を乗じるというものである。図１０の処理のステ
ップは、ステップＳ７３、およびステップＳ７５を除
き、図６のフローチャートにおける番号の下一桁が同じ
ステップと処理内容が同じであり、その説明は省略し、
以下に図６の処理と異なる部分についてのみ説明する。

【００９９】ステップＳ７３において、ウォータマーク
パターン検出部５２は、sumにI[x,y]×W[x,y]を加算
し、sumLにI[x,(y0+12y)//16]×W[x,y]×NOTMAX(12,16-
(y0+12y)％16)/16を加算する。ステップＳ７５におい
て、ウォータマークパターン検出部５２は、sumLに I
[x,(y0+12y+11)//16]×W[x,y]×((y0+12y+11)％16+1)/1
6を加算する。なお、NOTMAX(A,B)は、AとBのうち、大き
くない方を表し、%は、除算したときの余りを表す。

【０１００】以上のように、図１０の処理は、ウォータ
マークとDC成分の相関を計算して得られるウォータマー
クの評価値を、符号化ブロック８３の付加ブロックとの
重なりの割合によって補正することにより、より信頼度
の高い検出を可能にする。また、レターボックス画像２
９用の評価値sumLを求めるときに加える各値は、必ず１
６で除されているので、あらかじめ閾値を１６倍に設定
しておけば、１６で割るという操作は不要である。

【０１０１】図４からも明らかなように、ある付加ブロ
ック８２と対応している符号化ブロック８３の画素の割
合は、符号化ブロック８３の 1/16 から 12/16 の間の
値である。付加ブロック８２と対応している符号化ブロ
ック８３の画素の割合が、符号化ブロック８３の1/16で
あるときと12/16であるときとでは、相関をとったとき
に取り出せるウォータマークの成分の量は１２倍の差が
ある。このため、付加ブロック８２と対応している符号
化ブロック８３の画素の割合が、符号化ブロック８３の
1/16であるとき、ノイズの影響が大きくなり、判定が困
難となる。そこで、この処理例では、付加ブロック８２
に対応している符号化ブロック８３の画素の割合を、そ
の符号化ブロック８３との相関で得られた値に乗ずる。
これにより、付加ブロックと対応している符号化ブロッ
クの画素の割合によって、ウォータマークの成分の信頼
度が異なるのを補正することができる。

【０１０２】以上の説明では、符号化ブロックの大きさ
および、スクイズ画像での付加ブロック８３の大きさ
を、８×１６画素としたが、他の画素数にしてもよい。
例えば、ブロックの大きさを４×１６画素にするには、
画像にウォータマークを付加するときには、８×１６画
素でなく４×１６画素の領域毎に付加処理を行い、そし
て、画像のウォータマークを検出するときには、DCに加
えて、横方向についてのみ最低次のAC（Alternating Cu
rrent: 交流）係数（DC成分の右横の係数であり、８×
１６画素のブロックの右半分と左半分の平均値の差に対
応している）を復号することで、ウォータマークの検出
をすることができる。

【０１０３】また、ブロックの大きさを８×８画素にす
るには、ウォータマークは、８×８画素の領域毎に付加
するようにする。そして、検出時においては、フィール
ドモードのDCTのブロックについては、DCに加えて、縦
方向についてのみ最低次のAC係数（DC係数の下に位置す
る係数で、ブロックの上半分と下半分の平均値の差に対
応している）を復号し、８×８画素の範囲のDC値を求れ
ばよい。フレームモードのDCTブロックについては、８
×８画素の領域毎にDC値があるので特別な処理は必要な
い。

【０１０４】ウォータマークの付加を行なう単位（付加
ブロックの大きさ）は、従来のレターボックス変換が行
なわれてもウォータマークを検出できるような方式で、
スクイズ画像２８用のウォータマークを付加する場合の
単位と同じである。そのため、従来のレターボックス変
換が行なわれてもウォータマークを検出できるような方
式でウォータマークの付加を行なった画像は、本発明の
画像処理装置および方法で検出ができ、互換性がある。

【０１０５】従って、従来の方式でレターボックス変換
が行なわれ、ウォータマークが付加してある画像には、
ウォータマークを再び付加し直す必要がないという利点
がある。

【０１０６】ウォータマークのシンボルは、＋１、−１
以外にもどのようなシンボルを用いても構わない。ま
た、２種類ではなく、３種類以上のシンボルを用いても
構わない。例えば、＋１、０、−１の３種類のシンボル
を用い、ウォータマークパターンとの照合を行なった際
にシンボルが０である画素については、評価値sumに影
響を与えない（その画素値を評価値 sum に足しも引き
もしない）ようにするなど、各シンボルにどのような意
味を与えても良い。

【０１０７】ウォータマークパターンを画像上に付加す
る領域は、任意の形状及び範囲で構わない。また、付加
したウォータマークパターンとの整合が取れている限
り、検出時に評価値を求める領域の形状及び範囲は任意
で構わない。更に、空間的あるいは時間的に広い範囲の
情報を用いて、付加あるいは検出を行なうことにしても
構わない。すなわち、フレーム内の前後や左右との相関
を用いても構わないし、時間的に前後のフレームを用い
ても構わない。

【０１０８】なお、本明細書において、システムとは、
複数の装置により構成される装置全体を表すものとす
る。

【０１０９】また、上記したような処理を行うコンピュ
ータプログラムをユーザに提供する提供媒体としては、
磁気ディスク、CD-ROM、固体メモリなどの記録媒体の
他、ネットワーク、衛星などの通信媒体を利用すること
ができる。

【０１１０】

【発明の効果】請求項１に記載の情報検出装置および請
求項３に記載の情報検出方法によれば、解像度変換もし
くは画枠変換に対応して、ウォータマークパターンを変
換し、解像度変換または画枠変換された画像における符
号化ブロックと解像度変換もしくは画枠変換されたウォ
ータマークパターンとの間で相互に対応する部分の積和
演算を行うことにより、評価値が生成され、評価値と所
定の閾値とを比較してウォータマークが付加されている
か否かが判定され、評価値を演算する場合、変換された
ウォータマークパターンと、解像度変換もしくは画枠変
換された画像における符号化ブロックとの対応付けられ
る画素数がある所定の割合より小さいときには、評価値
に対応しない部分のウォータマークパターンの演算が省
略されるようにしたので、検出精度の低下、検出時間の
増加、画質の劣化、または検出の処理量の増加なしにウ
ォータマークパターンを検出することができる。

【図面の簡単な説明】

【図１】レターボックス変換された画像を説明する図で
ある。

【図２】レターボックス変換された画像を説明する図で
ある。

【図３】付加ブロックと符号化ブロックの関係を説明す
る図である。

【図４】付加ブロックと符号化ブロックの画素の関係を
説明する図である。

【図５】ウォータマークパターンの付加の処理を説明す
るフローチャートである。

【図６】ウォータマーク検出の処理を説明するフローチ
ャートである。

【図７】ウォータマーク検出の処理を説明するフローチ
ャートである。

【図８】付加ブロックと符号化ブロックの画素の関係を
説明する図である。

【図９】付加ブロックと符号化ブロックの関係を説明す
る図である。

【図１０】ウォータマーク検出の処理を説明するフロー
チャートである。

【図１１】画像への付加情報を説明する図である。

【図１２】画像への付加情報を説明する図である。

【図１３】ウォータマークパターンを説明する図であ
る。

【図１４】ウォータマークパターンの付加を説明する図
である。

【図１５】ウォータマークパターンの検出を説明する図
である。

【図１６】ウォータマークパターンの検出を説明する図
である。

【図１７】画像の符号化の範囲を説明する図である。

【図１８】画像の符号化の範囲を説明する図である。

【図１９】画像のアスペクト比を説明する図である。

【図２０】画像のアスペクト比の変換を説明する図であ
る。

【図２１】従来の不正利用防止システムの構成例を説明
する図である。

【図２２】ウォータマークパターンの付加ブロックを説
明する図である。

【図２３】ウォータマークパターンの付加ブロックを説
明する図である。

【図２４】従来のウォータマークパターンの付加の処理
を説明するフローチャートである。

【図２５】従来のウォータマークパターンの検出の処理
を説明するフローチャートである。

【図２６】従来のウォータマークパターンの検出の処理
を説明するフローチャートである。

【符号の説明】

２８ スクイズ画像， ２９ レターボックス画像，
４１ ウォータマークパターン付加部， ５２ ウォー
タマークパターン検出部， ８１ 付加ブロック， ８
２ 付加ブロック， ８３ 符号化ブロック

フロントページの続き (56)参考文献 特開 平10−191017（ＪＰ，Ａ) Ｗａｌｔｅｒ Ｂｅｎｄｅｒ， Ｄａ ｎｉｅｌ Ｇｒｕｈｌ， 森本 典繁, Ａｎｔｈｏｎｙ Ｌｕ，電子透かしを 支えるデータ・ハイディング技術 （上），日経エレクトロニクス，日本, 1997年 ２月24日，Ｎｏ．683，ｐ．149 −162 (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/00 - 7/088 H04N 1/38 - 1/393 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 画像の一部の縦×横＝Ｍ×Ｎ（Ｍ，Ｎは
   正の整数）個の画素からなる小領域毎にウォータマーク
   パターンと画像とを照合し、前記ウォータマークパター
   ンに基づいて、情報をウォータマークとして埋め込んだ
   画像に対して、解像度変換もしくは画枠変換を施して構
   成された画像から、前記解像度変換もしくは画枠変換さ
   れた情報を検出する情報検出装置において、 前記解像度変換もしくは画枠変換に対応して、前記ウォ
   ータマークパターンを変換し、前記解像度変換または画
   枠変換された画像における符号化ブロックと前記解像度
   変換もしくは画枠変換されたウォータマークパターンと
   の間で相互に対応する部分の積和演算を行うことによ
   り、評価値を生成する演算手段と、 前記評価値と所定の閾値とを比較してウォータマークが
   付加されているか否かを判定する判定手段と を備え、 前記演算手段は、前記変換されたウォータマークパター
   ンと、前記解像度変換もしくは画枠変換された画像にお
   ける符号化ブロックとの対応付けられる画素数がある所
   定の割合より小さい場合には、評価値に対応しない部分
   のウォータマークパターンの演算を省略することを特徴
   とする情報検出装置。
2. 【請求項２】 請求項１に記載の情報検出装置におい
   て、 前記演算手段は、前記変換されたウォータマークパター
   ンと、前記解像度変換もしくは画枠変換された画像にお
   ける符号化ブロックとの対応付けられる画素の割合を前
   記評価値に乗じることを特徴とする情報検出装置。
3. 【請求項３】 画像の一部の縦×横＝Ｍ×Ｎ（Ｍ，Ｎは
   正の整数）個の画素からなる小領域毎にウォータマーク
   パターンと画像とを照合し、前記ウォータマークパター
   ンに基づいて、情報をウォータマークとして埋め込んだ
   画像に対して、解像度変換もしくは画枠変換を施して構
   成された画像から、前記解像度変換もしくは画枠変換さ
   れた情報を検出する情報検出方法において、 前記解像度変換もしくは画枠変換に対応して、前記ウォ
   ータマークパターンを変換し、前記解像度変換または画
   枠変換された画像における符号化ブロックと前記解像度
   変換もしくは画枠変換されたウォータマークパターンと
   の間で相互に対応する部分の積和演算を行うことによ
   り、評価値を生成し、 前記評価値と所定の閾値とを比較してウォータマークが
   付加されているか否かを判定し、 前記評価値を演算する場合、前記変換されたウォータマ
   ークパターンと、前記解像度変換もしくは画枠変換され
   た画像における符号化ブロックとの対応付けられる画素
   数がある所定の割合より小さいときには、評価値に対応
   しない部分のウォータマークパターンの演算を省略する
   ことを特徴とする情報検出方法。