JP4293766B2 - データ処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像の歪みを検出するデータ処理装置及びデータ処理方法に関する。更に、本発明は、画像の歪みを修正することができるデータ処理装置及びデータ処理方法に関する。本発明はまた、画像を表すデータ信号の複数の周波数帯域にテンプレート信号を埋め込むことが可能なデータ処理装置及びデータ処理方法に関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】
画像を処理する際、画像に歪みが生じることがある。例えば、画像を表すデータ信号を記録又は伝送する場合、画像は、この記録又は伝送のための処理により歪むことがある。更に、雑音、フェージング、干渉等の自然現象により、望ましくない外乱が画像に導入されることもある。
【０００３】
【課題を解決するための手段】
本発明に係るデータ処理装置では、互いに所定の関係を有する第１及び第２のテンプレート信号をそれぞれ画像を表すデータ信号の第１及び第２の周波数帯域に埋め込む。第１及び第２のテンプレート信号は、データ信号の歪みにより、これらの第１及び第２のテンプレート信号間の相対的な周波数に変化が生じるように、データ信号の第１及び第２の周波数帯域に埋め込まれる。
【０００４】
周波数帯域という用語は、画像を表すデータ信号を構成する周波数の全範囲の一部となる周波数の範囲を指す。
【０００５】
本発明に係るデータ処理装置は、少なくとも第１及び第２の周波数帯域に互いに所定の関係を有するテンプレート信号が埋め込まれた画像に生じた非線形歪みを検出する。このデータ処理装置は、画像の選択された各部分に適用された線形変換を表す少なくとも１つの線形変換パラメータを生成する変換検出プロセッサと、画像の少なくとも２つの部分の線形変換パラメータから画像に生じた非線形歪みを表す非線形変換のパラメータを推定する非線形変換プロセッサとを備える。
【０００６】
テンプレート信号をデータ信号の異なる周波数帯域に挿入することにより、データ信号に生じた歪みは、これらの異なる各周波数帯域におけるテンプレート信号の周波数間の周波数の相対的な変化により判定することができる。幾つかの具体例においては、各異なる周波数帯域に挿入されるテンプレート信号は、同一の信号であってもよい。また、テンプレート信号は、例えば疑似ランダム雑音信号であってもよい。更に、他の具体例においては、複数の周波数帯域の１つにおけるテンプレート信号は、画像信号における他の周波数帯域の成分のバージョンから生成した信号であってもよい。
【０００７】
ここで、テンプレート信号という用語は、歪みを判定するために使用される（テンプレート）信号と、歪みを判定すべきデータ信号とを区別するために用いられる。すなわち、「テンプレート」という用語は、基準、ガイド、トレーニング効果等の意味を含み、「テンプレート」に代えてこれらの用語又は他の用語を用いてもよい。テンプレート信号は、互いに所定の関係を有する信号とされ、これにより、周波数帯域から復元されたテンプレート信号の周波数成分を比較することにより、テンプレート信号の成分間の周波数の相対的な変化を判定することができる。この変化は、データ信号に生じた歪みを示している。
【０００８】
画像の歪みは、歪みを表す線形変換のパラメータによって評価できることが知られている。本発明の好適な具体例においては、この線形変換は、アフィン変換である。アフィン変換のパラメータを第１及び第２の周波数帯域から復元されたテンプレート信号のバージョン間の周波数の変化量を表す２次元座標に関連付けることにより、線形変換を判定することができる。本発明の具体例では、画像に生じた非線形歪みの量を判定することもできる。この歪みは、非線形変換のパラメータを判定することによって判定できる。この判定は、画像を複数の部分に分割することによって行われる。画像の部分の寸法を、この画像の部分に生じた歪みを線形変換に近似できる程度に十分小さくすることにより、画像の異なる部分からの線形変換パラメータを結合することによって、非線形変換パラメータを推定することができる。すなわち、画像全体の非線形歪みは、画像の異なる部分に関する線形変換パラメータを生成し、所定の関係に基づいて非線形変換パラメータを判定することにより判定できる。
【０００９】
後述するように、例えばアフィン変換と透視変換との間のパラメータ間の所定の関係は、アフィン変換パラメータを透視変換パラメータにマッピングすることにより推定できる。このマッピングは、画像の各部分のアフィン変換パラメータを透視変換パラメータにあてはめる多項関数に基づいて実行される。
【００１０】
本発明の一具体例においては、テンプレート信号は、ウェーブレット変換器によって画像をウェーブレット領域に変換し、テンプレート信号を第１及び第２のウェーブレット領域に埋め込み、画像を空間領域に再変換することによって、第１及び第２の帯域に埋め込まれる。これに対応して、テンプレート信号は、ウェーブレット変換器を用いて画像をウェーブレット領域に変換することによって、画像信号の第１及び第２帯域から復元することができる。
【００１１】
文献［１］に開示されているように、データは、例えばビデオマテリアル等のマテリアルに埋め込まれるデータであってもよい。埋め込まれるデータは、マテリアルのコンテンツを識別するメタデータであってもよい。他の具体例においては、データは、マテリアルを識別し、マテリアルの所有者がマテリアルに関する知的所有権を主張するために使用される固有の又は実質的に固有の識別子であってもよい。
【００１２】
本発明は、例えば、マテリアルに埋め込まれているデータを復元するための技術に適用することができる。マテリアルが例えば何らかの原因で歪みが生じたビデオマテリアルである場合、この歪みにより、埋め込まれているデータが正しく復元される可能性が低下する。例えば、映画館で上映されている映画をビデオカメラを用いて録画することにより、映画の海賊版が作成される。ビデオカメラにより映画を撮影することにより、ビデオカメラとスクリーンの相対的な位置関係によって、録画されたデータ信号に歪みが生じる。この歪みにより、データ信号に埋め込まれているデータを正しく復元する可能性が低下し、例えば、映像の所有権者が自らの所有権及び知的所有権を正当に主張することができなくなることがある。
【００１３】
また、本発明に係るデータ処理装置は、少なくとも第１及び第２の周波数帯域に互いに所定の関係を有するテンプレート信号が埋め込まれたマテリアルに埋め込まれたデータを検出する。このデータ処理装置は、マテリアルの歪みを表す非線形歪みのパラメータを判定する歪み検出データプロセッサと、この歪み検出データプロセッサによって判定された非線形変換を表すパラメータ及びマテリアルを表すデータを受け取り、マテリアルの歪みを逆変換する逆変換プロセッサと、マテリアルに埋め込まれているデータをマテリアルから復元するデータ検出器とを備える。
【００１４】
幾つかの具体例においては、画像に生じた歪みを表すとみなすことができる変換は、アフィン変換等の線形変換であり、パラメータデータは、少なくとも４つのパラメータを表す。他の具体例においては、この変換は、例えば透視変換等の非線形変換であり、この場合、変換は６つのパラメータにより表現される。アフィン変換の詳細については、文献［２］に開示されている。
【００１５】
本発明の様々な側面及び特徴は、添付の請求の範囲に定義されている。
【００１６】
【発明の実施の形態】
本発明の具体例として、あらゆるデータベアリング信号（data-bearing signal）における歪みを検出する手法を開示する。更に、本発明の具体例では、このような歪みを修正することもできる。
【００１７】
本発明の利点を明らかにするために、画像データの歪みを検出し、この歪みを修正する具体例を用いて本発明を説明する。本発明の特定の用途は、例えば、マテリアルの所有権を検出及び／又は保護するためにマテリアルにデータを埋め込むウォータマーク処理の分野である。
【００１８】
ビデオカメラ又はカムコーダを用いて、映画又はビデオマテリアルを録画することにより、映画又はビデオマテリアルの海賊版（不正なコピー：pirate copies）が作成されてしまうことがある。海賊版を作成しようとする者（以下、侵害者という。）は、例えば図１に示すように、映画館に入り、映写機２からスクリーン１に映写された映画を録画する。ここで、通常、侵害者Ｐは、スクリーン１に対して正面ではない角度を有する位置に座るため、ビデオカメラＣに録画される画像Ｉ’は、元の画像Ｉに対して歪んでいる。
【００１９】
画像Ｉを正面ではない角度から見て録画した場合、録画された画像Ｉ’を再生すると歪みが生じる。多くの画像システムにおいて、画像Ｉを録画するカメラのシーンに対する位置の結果、録画された画像Ｉ’に歪みが生じることがある。すなわち、カメラの位置は、シーンの見かけ上の幾何学的寸法を変更してしまうことがある。このような歪みは、画像に導入される不自然な遠近感（perspective irregularities）と表現することもできる。
【００２０】
歪みは、通常、４つのパラメータを有するアフィン変換（Affine transform）（文献［２］）として表現できる。このアフィン変換のパラメータを判定し、判定したパラメータに基づいてアフィン変換の逆の処理を行うことにより、画像においてアフィン変換として表現される範囲の歪みを修正することができる。
【００２１】
本発明の具体例では、画像自体からアフィン変換の程度（degree）検出する。これにより、アフィン変換により表される歪みを修正できる。この結果、画像に埋め込まれているはずのデータをより正しく復元することができる。
【００２２】
本発明の具体例では、画像に適用されたアフィン歪みを検出及び判定するために、歪みを検出すべきデータ信号の周波数帯域とは異なる周波数帯域に所定のテンプレート信号を挿入する。また、一具体例においては、所定のテンプレート信号は、各帯域毎に異なるものであってもよく、この場合、テンプレート信号が互いに所定の関係を有するようにする。後述するように、所定の関係とは、テンプレート信号の周波数成分間の周波数の相対的な変化を検出できる関係をいう。
【００２３】
１次元データ信号
図２は、本発明の具体例として、本発明に基づいて歪みが検出及び修正されるデータ信号の時間と振幅の関係を示すグラフである。データ信号は、例えばオーディオ信号であってもよく、オーディオ信号は適切な変換処理により変換領域に変換され、変換領域において高い周波数帯域と低い周波数帯域とが区別され、個々に表現される。このような変換としては、例えばウェーブレット変換、又はデータ信号が時間的に離散的にサンプリングされたデジタル信号である場合は、離散ウェーブレット変換（Discrete Wavelet Transform：ＤＷＴ）等がある。ウェーブレット変換の結果、変換領域においてＨ帯域とＬ帯域の成分が分離される。
【００２４】
ウェーブレット変換領域において、各帯域にテンプレート信号ＴＳが付加される。好ましい具体例においては、このテンプレート信号ＴＳとして、例えば疑似ランダムビットシーケンス（Pseudo-Random Bit Sequence：ＰＲＢＳ）から生成される疑似ランダム雑音信号を用いる。各ウェーブレット帯域にテンプレート信号ＴＳが付加されたウェーブレット変換領域の信号は、逆変換Ｔ^−１により時間領域に変換される。テンプレート信号ＴＳは、例えば文献［１］に説明され、及び後述するように、テンプレート信号ＴＳをウェーブレット変換領域に埋め込むことにより、ウェーブレット変換領域に付加される。
【００２５】
疑似ランダム雑音信号をテンプレート信号ＴＳとして使用することにより、テンプレート信号ＴＳが検出されてしまうことが防止され、或いは少なくともテンプレート信号ＴＳが検出されてしまう可能性が低減される。例えば、データ信号がオーディオ信号である場合、テンプレート信号ＴＳとして非雑音信号を用いるより、疑似ランダム信号を用いた方が、聴取者がテンプレート信号ＴＳを知覚してしまう可能性を低減できる。
【００２６】
本発明は、データベアリング信号（data bearing signal：以下、データ信号ともいう。）が歪むことにより、各帯域に付加されているテンプレート信号の相対的周波数がそれぞれ異なる変化を呈するという現象を利用する。すなわち、データベアリング信号が歪んだ後、テンプレート信号の各周波数における周波数成分の違いを測定し、相対的な歪みを示す情報（indication）を得る。
【００２７】
図２に示す１次元データ信号Ｄ＿ＳＩＧ’に対する歪み検出処理について、図３を用いて説明する。この具体例では、図３に示すように、データ信号Ｄ＿ＳＩＧ’を再びウェーブレット変換領域に変換し、Ｈ帯域及びＬ帯域のテンプレート信号を検出及び復元できるようにする。データ信号Ｄ＿ＳＩＧ’の歪みを判定するために、テンプレート信号の各周波数成分の違いを測定する。
【００２８】
この違いを効率的に判定する手法としては、各帯域のテンプレート信号の各サンプルを乗算し、これにより生成されたサンプルの積を周波数領域に変換する手法がある。図３に示す具体例では、乗算器Ｍにより、各帯域のテンプレート信号からの信号サンプルをそれぞれ乗算し、この積を示す信号に対し、高速フーリエ変換（Fast Fourier Transform：ＦＦＴ）を施している。
【００２９】
周知の通り、sinAsinBは、sin(A-B)+sin(A+B)に比例する。したがって、時間領域におけるテンプレート信号の積を周波数領域に変換することにより、異なる周波数（difference frequency）に比例する成分を有する信号が生成される。このＦＦＴ処理により、図３に示すように、出力信号ＦＰ_Ｌ，Ｈが出力される。周波数領域において最も大きな振幅ＦＰ＾_Ｌ，Ｈを有する出力信号の信号サンプルは、データ信号に生じた歪みを示している。
【００３０】
２次元データ信号
図４は、画像等の２次元信号について、テンプレート信号を２次元画像に埋め込むデータプロセッサの構成を示すブロック図である。また、図４に示すデータプロセッサの各要素の働きを図５に示す。
【００３１】
図４に示すように、データプロセッサ１０には、画像Ｉを表す信号が入力される。この画像Ｉを表す信号は、まず、変換プロセッサ２０に供給される。変換プロセッサ２０は、画像Ｉを表す信号に対し、離散ウェーブレット変換処理を施し、垂直周波数Ｖ及び水平周波数Ｈに関して定義された４つの帯域からなるレベル１のウェーブレット変換画像Ｉ＿ＷＴを生成する（図５）。すなわち、変換プロセッサ２０は、４つの帯域ｌＨ_１ｌＶ_１，ｈＨ_１ｌＶ_１，ｌＨ_１ｈＶ_１，ｈＨ_１ｈＶ_１からなる１次ウェーブレット変換データを生成する。離散ウェーブレット変換された画像は、結合器３０に供給される。結合器３０には、疑似ランダム雑音発生器４０から疑似ランダム雑音信号も供給されている。疑似ランダム雑音発生器４０が発生する疑似ランダム雑音信号は、疑似ランダムビットシーケンス（Pseudo Random Bit Sequence：ＰＲＢＳ）から生成される。ＰＲＢＳから雑音に類する性質を有する信号が生成されるが、この信号は予め定められた信号であり、したがって、受信機側において予測可能な信号である。この具体例においては、疑似ランダム雑音信号は、テンプレート信号ＰＮ＿ＴＳとして使用される。結合器３０は、疑似ランダム雑音信号であるテンプレート信号ＰＮ＿ＴＳをウェーブレット変換画像Ｉ＿ＷＴの３つの帯域ｈＨ_１ｌＶ_１，ｌＨ_１ｈＶ_１，ｈＨ_１ｈＶ_１に結合し、図５に示すように、疑似ランダム雑音信号であるテンプレート信号ＰＮ＿ＴＳを含むウェーブレット変換画像Ｉ＿ＷＴ’のバージョンを生成する。逆変換プロセッサ５０は、このウェーブレット変換画像Ｉ＿ＷＴ’が供給され、ウェーブレット変換画像Ｉ＿ＷＴ’に対し、逆ウェーブレット変換処理を施し、３つの帯域にテンプレート信号ＰＮ＿ＴＳが導入された画像Ｉ’のバージョンを再生する。
【００３２】
テンプレート信号は、テンプレート信号ＰＮ＿ＴＳ内の対応するビットの符号に応じて、帯域内の対応するウェーブレット係数に係数αを加算又は減算することにより、各帯域に導入される。ビデオマテリアル等のデータ信号にデータをどのように埋め込むかについては、後に説明する。
【００３３】
１次元データ信号に関連して既に説明したように、疑似ランダム雑音信号をテンプレート信号として使用することにより、処理された画像Ｉ’からテンプレート信号の存在が検出される可能性を低減することができる。
【００３４】
この具体例においては、疑似ランダム雑音信号は、低い水平周波数及び低い垂直周波数を有する周波数帯域ｌＨ_１ｌＶ_１には付加されていない。これは、この帯域が画像の低い周波数成分を含んでいるためである。画像の低い周波数成分は、画像の高い周波数成分よりも視覚的に知覚されやすい。したがって、この周波数帯域ｌＨ_１ｌＶ_１に雑音を付加すると、画像Ｉ’の時間領域のバージョンにおいて、雑音が顕著になってしまう虞がある。
【００３５】
エイリアス及びウェーブレット
以下の段落では、異なる帯域に付加されたテンプレート信号の周波数の相対的なシフトによりデータ信号の歪みを推定するための数学的分析について説明する。
【００３６】
一次元データ信号の具体例に関しては、サンプリング周波数ｆ_ｓの離散サンプルＳ_ｘに対して定義された周波数ｆ_１及び位相ｐのコサイン波について考察する。
【００３７】
【数１】

【００３８】
ここで、周知の通り、
【００３９】
【数２】

【００４０】
であるため、次のような式が成り立つ。
S_ｘ=exp(xkf_２+ip)+exp-(xkf_２+ip)
ここで、全ての整数ｓに対して、
f_２=f_１+sf_ｓ
である。
【００４１】
ｆ_２の値は、ｆ_１のエイリアス周波数であり、ｆ_ｓで離散サンプリングされるとｆ_１と同じ値が得られる異なる周波数である。以下に示すように、全てのｆ_１について、最大１つの固有のエイリアス周波数ｆ_２が存在する。
|f_２|<|f_ｓ/2|
【００４２】
２次元ウェーブレット周波数の分析
２次元データ信号に対して方形のサンプリンググリッドを使用した場合、周波数は、通常、次のような式で表すことができる。
【００４３】
【数３】

【００４４】
したがって、２次元周波数は、２次元のエイリアス周波数のファミリを有する。すなわち、全ての整数ｓ，ｔについて、
f_２ｘ=f_１ｘ+sf_ｓｘ、f_ｓｙ=f_１ｙ+tf_ｓｙ
である。更に、以下に示すように、最大１対の固有のエイリアス周波数ｆ_２ｘ，ｆ_２ｙが存在する。
|f_２ｘ|<f_ｓｘ/2 及び |f_２ｙ|<f_ｓｙ/2
２次元の具体例においては、周波数成分ｘ，ｙの符号（sign）の変化が周波数に影響するため、これらの符号を監視することが重要である。
【００４５】
以下、本発明に基づくデータプロセッサの動作について説明する。
【００４６】
上述の通り、１次元データ信号に対するレベル１のウェーブレット変換信号は、２つの帯域Ｈ、Ｌから構成される。周波数が低い帯域Ｌは、例えば、入力信号に対し、ｆ_ｓ／４での低域通過フィルタリング処理を施し、フィルタリングされた信号を２のファクタ（factor of two）によってサブサンプリングすることにより生成される。周波数が高い帯域Ｈは、高域通過フィルタリング処理の後、２のファクタ（by two）によってサブサンプリングすることにより生成される。
【００４７】
ここで、｜ｆ｜＜ｆ_ｓ／４として、画像に対する、周波数ｆ、位相ｐを有する低域通過ウェーブレットフィルタの動作は、以下の通りである。
S_ｘ=exp(kfx+p)+exp-(kfx+p) ここで、|f|<f_ｓ /4
低域通過フィルタは、データ信号のコンテンツに影響を与えるべきではない。２のファクタによるサブサンプリングにより、サンプリング周波数が倍になる。
T_ｘ=S_２ｘ （２のファクタによるサブサンプリング）
Tx=exp(2kfx+p)+exp-(2kfx+p)
｜２ｆ｜＜ｆ_ｓ／２の条件では、エイリアスは観察されない。したがって、離散ウェーブレット変換の低域は周波数ｆを写す（map）。
DWT_Ｌ(f,p)=(2f,p) |f|<f_ｓ/4
ここで、画像の高い周波数成分に対する高域通過ウェーブレットフィルタの動作は以下の通りである。
S_ｘ=exp(kfx+p)+exp-(kfx+p) ここで、f_ｓ/4<f<f_ｓ/2
ｆ_ｓ／４での高域通過フィルタリングは、この周波数に影響を与えるべきではない。２のファクタによるサブサンプリングにより、サンプリング周波数が倍になる。
Tx =exp(2kfx+p)+exp-(2kfx+p)
なお、ｆ_ｓ／２＜｜２ｆ｜＜ｆ_ｓの場合、観察される周波数は、エイリアス２ｆ−ｆ_ｓとなる。
|2f-f_ｓ|<f_ｓ/2
したがって、離散ウェーブレット変換の高域は、正の周波数ｆを写す。
DWT_Ｈ(f,p)=(2f-f_ｓ,p) f_ｓ/4<f<f_ｓ/2
同様に、負のｆに対しては以下のようになる。
DWT_Ｈ(f,p)=(2f+f_ｓ,p) f_ｓ/4<-f<f_ｓ/2
なお、正の高域ウェーブレット周波数は、負の画像周波数に対応している。また、１次元信号については、ウェーブレット周波数の符号は、実質的な影響を有さない。一方、２次元信号については、水平周波数成分及び垂直周波数成分の符号は、信号波形に影響を与える。
【００４８】
上述の関係から、逆ウェーブレット変換に相当する関数を以下のように表すことができる。

図４及び図５に示す具体例において、変換プロセッサ２０により実行される２次元離散ウェーブレット変換は、画素の列に対する１次元変換を施し、続いてこれにより得られる行に対する１次元変換を施すことにより実行される。これにより、図５に示すように、ｌＨ_１ｌＶ_１，ｈＨ_１ｌＶ_１，ｌＨ_１ｈＶ_１，ｈＨ_１ｈＶ_１のラベルが付された４つの帯域が生成される。
【００４９】
上述の関数を２次元周波数成分を有する画像等のデータ信号に適用することにより、以下の式に示すように、２次元離散ウェーブレット変換を行うことができる。
S_ｎｍ=exp(k_ｘf_ｘn+k_ｙf_ｙm+p)+exp-(k_ｘf_ｘn+k_ｙf_ｙm+p)
DWT_ＬＬ(f_ｘ,f_ｙ,p)=(DWT_Ｌ(f_ｘ),DWT_Ｌ(f_ｙ),p)
DWT_ＨＬ(f_ｘ,f_ｙ,p)=(DWT_Ｈ(f_ｘ),DWT_Ｌ(f_ｙ),p)
DWT_ＬＨ(f_ｘ,f_ｙ,p)=(DWT_Ｌ(f_ｘ),DWT_Ｈ(f_ｙ),p)
DWT_ＨＨ(f_ｘ,f_ｙ,p)=(DWT_Ｈ(f_ｘ),DWT_Ｈ(f_ｙ),p)
次の式は、ウェーブレット変換領域におけるテンプレート信号に対する逆ウェーブレット変換の効果を表している。
IDWT_ＬＬ(f_ｘ,f_ｙ,p)=(IDWT_Ｌ(f_ｘ),IDWT_Ｌ(f_ｙ),p)
IDWT_ＨＬ(f_ｘ,f_ｙ,p)=(IDWT_Ｈ(f_ｘ),IDWT_Ｌ(f_ｙ),p)
IDWT_ＬＨ(f_ｘ,f_ｙ,p)=(IDWT_Ｌ(f_ｘ),IDWT_Ｈ(f_ｙ),p)
IDWT_ＨＨ(f_ｘ,f_ｙ,p)=(IDWT_Ｈ(f_ｘ),IDWT_Ｈ(f_ｙ),p)
【００５０】
アフィン変換の検出及び逆変換
上述のように、画像の歪みは、アフィン変換に近似する。この具体例では、画像は、例えば、図１に示すような、不正コピーを目的として映画をカムコーダにより録画した場合のビデオ信号の一部である。このように記録された画像Ｉに埋め込まれたデータを復元できる可能性を高めるために、データプロセッサは、歪んだ画像を分析し、歪みを示すパラメータを推定する。このパラメータは、特に、画像のアフィン変換を表すパラメータであってもよい。
【００５１】
歪みを修正し、埋め込まれたデータを復元するデータプロセッサの構成を図６に示す。図６に示すように、歪んだ画像を表す信号は、変換検出プロセッサ１１０に入力される。変換検出プロセッサ１１０は、画像の歪みを表す変換パラメータを判定する。画像と変換検出プロセッサ１１０により判定された変換パラメータは、それぞれ第１及び第２の入力チャンネル１１２、１１４を介して、逆変換プロセッサ１２０に供給される。逆変換プロセッサ１２０は、変換検出プロセッサ１１０により生成された変換パラメータを用いて、変換パラメータにより表される画像Ｉの歪みを修正する。この逆変換プロセッサ１２０により修正された歪みのない画像は、復元プロセッサ１３０に供給される。
【００５２】
復元プロセッサ１３０は、画像の所有権者を特定するために画像に埋め込まれているデータを復元する。画像に埋め込まれたデータの復元については、後に詳細に説明する。
【００５３】
変換検出プロセッサ１１０は、画像に適用された変換を表すパラメータを検出及び生成する。変換検出プロセッサ１１０の詳細な構成を図７に示し、再生された画像に対する対応する効果を図８に示す。なお、包括的に言えば、２次元信号に対する処理は、図３を用いて上述した１次元信号における歪みを検出する処理と実質的に対応している。
【００５４】
図７に示す具体例では、画像信号は、例えば図１に示すように映写された映画をカムコーダにより捕捉及び録画して得られた元の画像から復元されるものであってもよい。画像信号は、映写スクリーンに対するカムコーダの位置関係に基づいて画像に施された変換処理として表現される歪みを修正するように処理される。
【００５５】
画像信号Ｉ’は、変換検出プロセッサ１１０内の変換プロセッサ２００に供給される。変換プロセッサ２００は、離散ウェーブレット変換処理により画像をウェーブレット変換領域に変換する。この具体例においては、図８に示すように、レベル１の変換データが生成される。図８に示すように、画像Ｉ’は、図５に示すウェーブレット変換表現に対応するウェーブレット変換領域のウェーブレット変換画像Ｉ＿ＷＴ”に変換される。変換プロセッサ２００は、このウェーブレット変換画像Ｉ＿ＷＴ”を検出プロセッサ２１５に供給する。検出プロセッサ２１５は、乗算プロセッサ（product forming processor）２１０と、フーリエ変換プロセッサ２２０と、変換パラメータプロセッサ２３０とを備える。
【００５６】
１次元信号に関連して先に説明したように、この具体例では、乗算プロセッサ２１０は、ウェーブレット変換画像の３つの帯域のうちの２つの帯域に付加されているテンプレート信号の各信号サンプルを乗算する。なお、テンプレート信号は、３つの帯域に埋め込まれているので、これらの３つの帯域から２つの帯域を選んで、その２つの帯域の信号サンプルを乗算する場合、乗算の組合せは３通りある。そこで、図８に示すように、乗算プロセッサ２１０は、それぞれウェーブレット変換画像Ｉ＿ＷＴ”の３つの帯域のうちの１つの値域のサンプルが入力される２つの入力端子を備える３つの乗算器２１０．１、２１０．２、２１０．３を備える。各乗算器２１０．１、２１０．２、２１０．３は、それぞれの入力端子に供給される２つの帯域のテンプレート信号における対応するサンプルを乗算する。これにより、乗算プロセッサ２１０は、３つの帯域の可能な組合せに基づく３つの信号サンプル積（product signal samples）を算出する。信号サンプル積は、フーリエ変換プロセッサ２２０に供給される。フーリエ変換プロセッサ２２０は、離散フーリエ変換を行い、信号サンプル積の周波数領域における表現を生成する。
【００５７】
フーリエ変換プロセッサ２２０は、図８に示すように、フーリエ変換器２２０．１、２２０．２、２２０．３を備え、各フーリエ変換器２２０．１、２２０．２、２２０．３は、各帯域からのテンプレート信号の信号サンプルをそれぞれ乗算することにより生成された垂直及び水平信号サンプル積に対して２次元フーリエ変換を実行する。
【００５８】
図８に示すように、フーリエ変換により算出された周波数領域の信号２２８は、一対の点に対応する、水平周波数及び垂直周波数のある値におけるピークを有する。この一対の点は、２次元周波数領域においてＸで表され、この一対の点は、水平周波数及び垂直周波数座標を示し、この座標は画像に生じた歪みを表している。
【００５９】
歪みを表す３つの２次元周波数領域の表現は、変換パラメータプロセッサ２３０に供給される。変換パラメータプロセッサ２３０は、フーリエ変換プロセッサ２２０により生成された信号サンプルのピークに対応する水平周波数及び垂直周波数の値からアフィン変換パラメータを推定する。なお、ここで、周波数座標の各対を組み合わせて使用することにより、アフィン変換パラメータの推定値の精度を高めることができる。
【００６０】
変換パラメータプロセッサ２３０は、アフィン変換パラメータを２×２の行列として表現することにより、２次元周波数信号サンプル値から２次元アフィン変換のパラメータの推定値を算出する。
【００６１】
アフィン変換周波数分析
２次元周波数ピーク信号サンプルからアフィン変換パラメータを推定する変換パラメータプロセッサ２３０の動作について、図９Ａ、図９Ｂ及び図９Ｃを用いて説明する。図９Ａは、帯域ｈＶ_１ｌＨ_１×ｈＶ_１ｈＨ_１（ＨＬ×ＬＨ）から２次元周波数領域のサンプル積について、信号サンプルの値の水平周波数及び垂直周波数の値をＸ１及びＸ２の符号が付されたピーク値により示している。
【００６２】
ここで、２次元周波数ピーク値からアフィン変換パラメータを推定する方法について説明する。２次元アフィン変換は、通常、２×２の行列として表現することができる。変換結果を変換座標で表現すると以下のようになる。
【００６３】
【数４】

【００６４】
ここで、ｕ及びｖは、変換された点の画素座標を表し、ａ、ｂ及びｃ、ｄは、アフィン変換に対応する４つのパラメータを表す。
【００６５】
ここで、元の画素をシフトさせる効果を有する追加的なベクトルを変換処理に含ませてもよい。
[uv]^Ｔ=M_ｆ[xy]^Ｔ+[o_ｘｆo_ｙｆ]^Ｔ
ここで、ｏ_ｘｆ、ｏ_ｙｆは、元の画素に対する画素のシフトを表す追加的ベクトルを表している。行列が正則行列である場合、逆変換のための他の行列及びベクトルが存在する。
[xy]^Ｔ=M_ｉ[uv]^Ｔ+[o_ｘｉo_ｙｉ]^Ｔ
ここで
【００６６】
【数５】

【００６７】
であり、ａ_ｉ、ｂ_ｉ、ｃ_ｉ、ｄ_ｉは、画像又は画素に生じた歪みを表すアフィン変換を逆変換するためのアフィン変換パラメータを表している。
【００６８】
ここで、テンプレート信号の周波数成分の１つとみなすことができる２次元コサイン波に対する上述の変換の効果を検討する。
【００６９】
【数６】

【００７０】
したがって、アフィン変換は画像コサイン波を異なる周波数のコサイン波に写す。
【００７１】
【数７】

【００７２】
AFFINE_Ｍ(f_ｘ,f_ｙ,P)=((a_ｉf_ｘ+c_ｉf_ｙ),(b_ｉf_ｘ+d_ｉf_ｙ),do_ｘf_ｘ/f_ｓｘ+do_ｙf_ｙ/f_ｓｙ+p)
【００７３】
ウェーブレット変換データ信号のアフィン変換
以下に示すウェーブレット帯域の１つの周波数成分について考察する。
f_ｘ,f_ｙ,p、0<f_ｘ<f_ｓｘ/2、0<f_ｙ<f_ｓｙ/2
上述のように、画像の歪みを表すアフィン変換パラメータは、アフィン変換が周波数成分をそれぞれ異なる度合いで変化させるという特徴を利用している。したがって、テンプレート信号は、そのテンプレート信号が含まれているウェーブレット帯域に応じて変化し、この変化の差分は、帯域の初期の周波数からは独立している。
【００７４】
まず、ｌＨ_１ｌＶ_１帯域の成分信号が離散ウェーブレット変換により変換されたとする。これは以下のようにして表すことができる。
DWT_ＬＬ(AFFINE_Ｍ(IDWT_ＬＬ(f_ｘ,f_ｙ,p)))
この関数は、以下のように展開される。
【００７５】
【数８】

【００７６】
同様に、他の帯域については以下のようになる。
【００７７】
【数９】

【００７８】
なお、出力される４つの周波数は全て非常に類似している。したがって、包括的なウェーブレット帯域ＢＢに対する包括的な１つの表現を用いることができる。すなわち、ＤＷＴにより変換された周波数成分信号は以下のように表される。
DWT_ＢＢ(AFFINE_Ｍ(IDWT_ＢＢ(f_ｘ,f_ｙ,p))) =((C^Ｘ+D^Ｘ _ＢＢ),(C^Ｙ+D^Ｙ _ＢＢ),C^Ｐ+D^ｐ _ＢＢ)
ここで、
【００７９】
【数１０】

【００８０】
上述の式及び分析から明らかなように、ウェーブレット変換領域において、アフィン変換の効果は、２次元周波数ｆ_ｘ、ｆ_ｙの周波数成分信号の値により、個別に除去（resolved）することができる。
【００８１】
変換ウェーブレット帯域の積
得られた画像にアフィン変換が適用された場合、これにより歪んだ画像は、上述のウェーブレット領域の３つの帯域における周波数を有する。
【００８２】
ここで、以下のように、１つのウェーブレット帯域のサンプルと、他のウェーブレット帯域の対応するサンプルとをそれぞれ乗算して算出されたウェーブレット帯域の積について考察する。
HLxLH=HL x LH
HHxLH=HH x LH
HLxHH=HL x HH
変換画像（transformed image）のウェーブレット帯域は、以下のような周波数を含んでいる。
HL; C^Ｘ+D^Ｘ _ＨＬ,C^Ｙ+D^Ｙ _ＨＬ,C^Ｐ
LH; C^Ｘ+D^Ｘ _ＬＨ,C^Ｙ+D^Ｙ _ＬＨ,C^Ｐ
HH; C^Ｘ+D^Ｘ _ＨＨ,C^Ｙ+D^Ｙ _ＨＨ,C^Ｐ
積は、sin(A)sin(B)=sin(A+B)+sin(A-B)の定理を用いて以下のように表される。
HLxLH; D^Ｘ _ＨＬ-D^Ｘ _ＬＨ,D^Ｙ _ＨＬ-D^Ｙ _ＬＨ,D^Ｐ _ＨＬ-D^Ｐ _ＬＨ
HHxLH; D^Ｘ _ＨＨ-D^Ｘ _ＬＨ,D^Ｙ _ＨＨ-D^Ｙ _ＬＨ,D^Ｐ _ＨＨ-D^Ｐ _ＬＨ
HLxHH; D^Ｘ _ＨＬ-D^Ｘ _ＨＨ,D^Ｙ _ＨＬ-D^Ｙ _ＨＨ ,D^Ｐ _ＨＬ-D^Ｐ _ＨＨ
これらを展開すると以下のようになる。
【００８３】
【数１１】

【００８４】
したがって、３つのウェーブレット帯域内に同じ周波数を設け、逆ウェーブレット変換を行い、アフィン変換（transform）及び／又はトランスレーション（translation）を行い、ウェーブレット変換を行い、上述の積を算出することにより、アフィン変換に依存する周波数を得ることができる。この周波数成分は、テンプレート信号の実際の周波数と、変換処理が施された画像の位相及びシフト量からは独立している。
【００８５】
図９Ａは、ＨＬ×ＬＨ帯域における一対の周波数ピーク値の具体例を示している。図９Ａに示すグラフの横軸は、フーリエ変換領域における０からｆ_ｓｈの水平周波数、すなわち水平方向のサンプリング周波数を示している。一方、図９Ａに示すグラフの縦軸は、フーリエ変換領域における０からｆ_ｓｖの垂直周波数、すなわち垂直方向のサンプリング周波数を示している。したがって、各軸の中点は、それぞれ水平サンプリング周波数及び垂直サンプリング周波数の１／２であるｆ_ｓｈ／２、ｆ_ｓｖ／２を示している。したがって、水平及び垂直周波数成分の両方の周波数値は、水平及び垂直サンプリング周波数の半分の周波数の両側にエイリアシングする（alias）。このため、ピーク値を表す点Ｘ１は、点Ｘ２の垂直及び水平サンプリング周波数の半分に対応する値を反映している。したがって、点の対Ｘ１、Ｘ２は、帯域の対の積HLxLHの２次元周波数変換領域に現れる。同様に、図９Ｂ及び図９Ｃに示す他の２つの帯域の対の積における２次元周波数のピーク値は、垂直及び水平サンプリング周波数の半分の周波数の両側の値として対になっている。
【００８６】
図９Ａに示すように、水平及び垂直周波数のピーク値Ｘ１、Ｘ２は、画像の歪みを表すアフィン変換のパラメータに対応する水平及び垂直次元の座標に対応している。ＨＬ×ＬＨ帯域の対の積については、２次元周波数ピーク値は、上述の式に基づき、ｆ_ｖ＝ｄ−ｂ−１，ｆ_ｈ＝１−ａ＋ｃに対応する。一方、図９Ｂ及び図９Ｃに示す他の帯域の積HHxLH、HLxHHにおける水平及び垂直周波数ピーク値は、上述の式に基づき、それぞれ、ｆ_ｖ＝−ｂ，ｆ_ｈ＝１−ａ及びｆ_ｖ＝ｄ−１，ｆ_ｈ＝ｃに対応する。したがって、３組の帯域の対の積における各水平及び垂直周波数ピーク点の値を測定することにより、上述の式の解を求め、アフィン変換のパラメータａ，ｂ，ｃ，ｄを算出することができる。この演算は、様々な手法で実行することができる。一具体例においては、パラメータａ，ｂ，ｃ，ｄを全ての可能な値に亘って及び各値の組に対して変化させ、２次元周波数点に対応する水平及び垂直周波数値を３組の帯域の対の積に加算する。そして、合計値が最大となるパラメータの値を画像の歪みを表すアフィン変換パラメータと決定する。
【００８７】
変換パラメータが決定されると、図６に示す逆変換プロセッサ１２０は、アフィン変換の逆処理を行い、元の画像を復元する。このため、復元プロセッサ１３０が画像に埋め込まれているデータを正しく復元できる可能性が高くなる。
【００８８】
図７に示すデータプロセッサは、画像に生じた歪みを表すアフィン変換の逆変換を行う。なお、画像には、透視変換（perspective transform）により表されるより深刻な歪みが生じることがある。上述のように、アフィン変換は４つのパラメータを有するが、透視変換は、６つのパラメータを有する。
【００８９】
透視変換として表される画像の歪みは、画像の異なる部分に対する異なるアフィン変換パラメータとしても表現することができる。すなわち、図１０に示すように、画像Ｉ２の異なる部分は、パラメータが異なるアフィン変換により歪み、この結果、画像Ｉ２全体に対して透視変換が施されたことになる。この現象は、画像Ｉ２内のグリッドである画像Ｉ２の部分ＩＡ、ＩＢにより示されている。異なる部分ＩＡ、ＩＢの辺同士を比べることにより、これらの部分に対して、それぞれパラメータが異なるアフィン変換が施されていることがわかる。ここで、図１０に示すこれらの部分ＩＡ、ＩＢからわかるように、各部分の対向する辺はそれぞれ平行のままであり、したがって、画像の部分に局所的に生じる歪みは、アフィン変換により表現できる。
【００９０】
本発明の具体例では、画像に生じた歪みをモデル化する透視変換のパラメータを推定する。ここでは、例えば自己相関平面（autocorrelation surface）等の画像全体のプロパティに基づくのではなく、画像を十分に小さな部分に分割し、各部分に生じる局所的な歪みをアフィン変換とみなす。この局所的なアフィン変換は、画像内の他の部分に対するアフィン変換とともに、画像の包括的透視マップ（global perspective map）を近似的に表現する。したがって、透視変換は、対応するパラメータとして表現され、この逆変換を行うことができる。
【００９１】
画像に生じた歪みを表す透視変換パラメータを分析及び推定するデータ処理装置の構成を図１１に示す。図１１に示すように、画像分割プロセッサ３００には、画像Ｉ’が供給される。画像分割プロセッサ３００は、図１０に示すように、画像を局所的な小さな領域に分割する。例えば、最初に画像の最も端に位置する各コーナ部が抽出及び分析され、画像に透視変換に相当する歪みが生じているか否かが判定される。この判定は、これらの領域について検出されたアフィン変換パラメータの違いに基づいて行われる。続いて、抽出された局所的領域は、図７を用いて説明したものと同様の変換検出プロセッサ１１０に供給される。なお、図１１に示す変換検出プロセッサ１１０は、画像分割プロセッサ３００から供給された画像の部分に生じた歪みに対応するアフィン変換パラメータを生成する。これらの局所的領域の歪みに対応するアフィン変換パラメータは、透視変換プロセッサ３１０に供給される。透視変換プロセッサ３１０は、後述する手法により、局所的なアフィン変換パラメータから、透視変換パラメータを推定する。
【００９２】
アフィン変換推定器の透視変換への適用
以下、局所的なアフィン変換を用いて、包括的透視マップ（global perspective map）を近似的に表現する手法について説明する。
【００９３】
透視変換の導関数
一般的な透視変換は、以下の式によって表される。
x=(Au+Bu+C)/(Gu+Hv+1)
y=(Dv+Ev+F)/(Gu+Hv+1)
ここで、ｕ，ｖは目的位置（destination location）を表し、ｘ，ｙはソース位置（source location）を表す。したがって、アフィン変換とは異なり、透視変換は、６つのパラメータを必要とする。縦及び横の微少角度（angles of pitch and yaw）に対する１次偏導関数は、以下のように近似される。
dx/du(u,v)=A(1~Gu~Hv)+(Au+Bv+C)(~G)
dx/dv(u,v)=B(1~Gu~Hv)+(Au+Bv+C)(~H)
dy/du(u,v)=D(1~Gu~Hv)+(Du+Ev+F)(~G)
dy/dv(u,v)=E(1~Gu~Hv)+(Du+Ev+F)(~H)
更なる微分よって、以下のような６個の２次偏導関数が得られる。
d^２x/du2=~2AG
d^２x/dvdu=~AH~BG
d^２x/dv2=~2BH
d^２x/du2=~2DG
d^２x/dvdu=~DH~EG
d^２x/dv2=~2EH
透視変換プロセッサ３１０は、まず、画像分割プロセッサ３００から供給された、入力画像の小さなタイルに対応する、画像の局所的な部分のアフィン変換パラメータを算出する。これにより、目的画素位置ｕ，ｖの関数であるＭ（ｕ，ｖ）が得られる。
【００９４】
【数１２】

【００９５】
ｕ，ｖに関してアフィン変換を微分する。
[xy]T=M [uv]T+[o_ｘo_ｙ]T ここで、
【００９６】
【数１３】

【００９７】
これにより、以下のようなアフィン変換パラメータが得られる。
dx/du=a
dx/dv=b
dy/du=c
dy/dv=d
この結果、近似された局所的なアフィン変換パラメータａ，ｂ，ｃ，ｄは、ｕ，ｖの関数として、これらの１次偏導関数の近似値を提供する。透視変換に対応する変化率は、アフィン変換パラメータの変化に反映される。これは、以下に示す平面への曲線あてはめ（curve fitting）によりモデル化される。
a(u,v)=a_０+ua_ｕ+va_ｖ
b(u,v)=b_０+ub_ｕ+vb_ｖ
c(u,v)=c_０+uc_ｕ+vc_ｖ
d(u,v)=d_０+ud_ｕ+vd_ｖ
アフィン検出アルゴリズムの結果に関する上述の分析からわかるように、パラメータａ，ｂ，ｃ，ｄは、ｕ，ｖに関するｘ，ｙの２次偏導関数の近似値を提供する。
a0=dx/du(0,0) b0=dx/dv(0,0) c0=dy/du(0,0) d0=dy/dv(0,0)
a_ｕ=d^２x/du^２ b_ｕ=d^２x/dvdu c_ｕ=dy^２/du^２ d_ｕ=d^２y/dudv
a_ｖ=d^２x/dudv b_ｖ=d^２x/dv^２ c_ｖ=dy^２/dudv d_ｖ=d^２y/dv^２
したがって、これらの式から透視変換を決定することができる。上述した結果と、先の章の説明から、透視変換パラメータＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈに関する以下のような連立方程式を得ることができる。これにより、画像の局所的領域のアフィン変換パラメータに基づく曲線あてはめから、透視変換パラメータを検出することができる。
a_０=A~CG
b_０=B~CH
c_０=D~FG
d_０=E~FH
a_ｕ=~2AG
a_ｖ=b_ｕ=~AH~BG
b_ｖ=~2BH
c_ｕ=-2DG
c_ｖ=d_ｕ=~DH~EG
d_ｖ=~2EH
これらの１０個の等式の左辺の値は、局所的なアフィン変換に基づいて算出される。すなわち、８個の未知数より多い１０個の方程式からなる連立方程式が得られる。したがって、この連立方程式は解くことができ、この解は、画像に適用された透視変換のパラメータに対応する。これらのパラメータに基づき、透視変換の逆変換を行うことにより、元の画像に近似する信号を得ることができ、この信号から埋め込まれているデータを復号することもできる。
【００９８】
なお、カムコーダにより録画されたビデオ画像のシーケンスについては、適用された透視変換のパラメータが急速に変化する可能性は極めて低い。したがって、復号処理の際、変換パラメータをフレーム毎に個別に算出する必要はない。更に、変換パラメータが変化したとしても、これらのパラメータが先に検出されたパラメータから大きく相異する可能性は低い。このような事実に基づき、パラメータ検出処理の負担を低減することができる。
【００９９】
図１２に示すように、画像に適用された透視変換に応じて、画像の他の部分に関して局所的なアフィン変換パラメータの推定値を更に算出する必要がある場合もある。このため、この具体例では、画像分割プロセッサ３００及び変換検出プロセッサ１１０に制御信号を供給するフィードバックチャンネル３１２、３１４を設け、画像の他の局所的部分のアフィン変換パラメータを推定している。このように、透視変換プロセッサ３１０は、既に分析されている局所的部分のアフィン変換パラメータの変化の量に基づいて、画像の局所的部分のアフィン変換の更なるサンプルを生成することができる。
【０１００】
透視変換パラメータが全て算出されると、この透視変換に対応する逆変換を行うことができる。図１１に示すように、逆透視変換器３２０の第１の入力端子には、画像Ｉ’が供給され、第２の入力端子には、透視変換パラメータが供給される。画像Ｉ’に対して透視変換の逆変換が実行された後は、復元プロセッサ１３０は、画像に埋め込まれているデータを復元することができる。
【０１０１】
図１１に示すデータプロセッサは、より深刻な歪みを修正することもできる。例えば、図１０に示す画像は、図１２に示すように、深刻な歪みによってゆがんだ画像となることがある。図１２に示す画像のような歪みを逆変換するために、透視変換プロセッサ３１０は、画像の局所的な各部分について判定されたアフィン変換パラメータに対する曲線あてはめ処理を実行する。
【０１０２】
平面上で特定された点をあてはめるために多項式の係数を適応化する曲線あてはめの手法は、当業者にとって周知である。これにより、局所的に判定された画像の歪みに対応する点を特定するアフィン変換パラメータによって、多項式の係数を推定し、ゆがんだ透視歪みを定義するパラメータを推定することができる。曲線あてはめアルゴリズムを用いてこれらのパラメータが推定された後は、逆透視変換器３２０は、上述と同様に、画像の歪みを除去する逆変換を実行することができる。
【０１０３】
繰返し処理
図１１に示すデータ処理装置が透視変換の推定されたパラメータに基づいて歪みを修正する処理を１回行うと、修正されたバージョンの画像が生成される。データ処理装置は、更に、この修正された画像の透視変換パラメータを再計算するように構成してもよい。再計算された透視変換パラメータは、修正された画像に対する逆変換に使用され、これにより、第２の修正されたバージョンの画像が生成される。このように、データ処理装置は、修正された画像に関する透視変換パラメータを繰返し算出し、残っている歪みを表す再計算されたパラメータに基づいて、透視変換の逆変換を実行することにより、透視歪みを繰返し修正することができる。このため、図１１に示す透視変換プロセッサ３１０には、制御チャンネル３１６を介して、修正された画像が供給される。修正された画像の現在のバージョンは、この修正された画像を生成するために使用された透視変換パラメータのコピーとともにデータメモリ３１８にも保存される。透視変換プロセッサ３１０による制御の下、修正された画像は、変換検出プロセッサ１１０にフィードバックされる。修正された画像を元の画像とは異なる方式で分割する場合は、修正された画像を画像分割プロセッサ３００にもフィードバックする。画像分割プロセッサ３００、検出プロセッサ１１０及び透視変換プロセッサ３１０は、修正された画像に対する透視変換パラメータの更なる組を算出するための処理を繰返し実行する。修正された画像は、透視変換プロセッサ３１０の制御により、データメモリ３１８から読み出され、逆透視変換器３２０に供給される。逆透視変換器３２０には、上述のように、透視変換パラメータの更なる組も供給される。
【０１０４】
このように、透視変換の修正は、繰返し実行することができる。透視変換プロセッサ３１０は、修正された画像の最新のバージョンに対する透視変換パラメータと、先のバージョンの画像とともにデータメモリ３１８に保存されている以前に修正された画像のバージョンの透視変換パラメータとを比較するように構成してもよい。修正された画像の現在のバージョンの変換パラメータと以前のバージョンの変換パラメータとを比較することにより、透視変換プロセッサ３１０は、修正された画像の現在のバージョンに残っている歪みの量が所定の許容値の範囲内であるか否かを判定することができる。所定の許容値は、例えば、更なる繰返し処理によっては画像に残っている歪みを除去することができないレベルに設定することができる。
【０１０５】
歪んだ画像が静止画像であれば、図１１に示すデータ処理装置は、算出された透視変換パラメータによって判定される残の歪みの量が所定の許容値以下となるまで、上述の歪み修正処理を繰り返すように構成してもよい。画像が動画の１以上のフレームを表す画像である場合、データ処理装置は、異なるフレームに対応する画像に対して処理を繰り返してもよい。
【０１０６】
上述のように、動画は、複数の画像フレームから構成され、画像に生じた歪みは、通常、連続するフレーム間で大きく異なることはない。このような理由から、及びビデオ画像の歪みを修正するために必要な処理量を低減するために、まず、先行する画像フレームについて推定された透視変換パラメータに基づく逆変換によって現在の画像フレームの歪みを修正する。次に、現在の画像フレームについて透視変換パラメータを再計算し、画像のパラメータに大きな差異が存在する場合のみ、先の変換とは異なる透視変換の逆変換を行って歪みを除去する。これに代えて、所定数のフレームに対して同じ透視変換パラメータを使用し、この後、先の変換パラメータを用いて修正された画像フレームについて、透視変換パラメータの更なる組を算出してもよい。これにより、ビデオ画像を修正するために必要な処理パワーを低減することができ、又は使用可能な処理パワーをより効率的に活用することができる。
【０１０７】
更なる具体例
上述のように、本発明は、データ信号の歪みの検出及びこの歪みの修正の両方に適用することができる。更に、本発明は、マテリアルに埋め込まれたデータをより正確に復元する装置にも適用することができる。例えば、マテリアルがビデオマテリアルであり、このマテリアルが何らかの原因で歪んでいる場合、この歪みにより、マテリアルに埋め込まれたデータが正しく復元される可能性が低くなる。
【０１０８】
図１に示すように、映画館で上映されている映画をビデオカメラで録画することにより、映画の海賊版が作成されてしまうことがある。ビデオカメラを用いて映画を録画すると、ビデオカメラと映画のスクリーンとの位置関係に応じて、録画された映画に歪みが生じる。この歪みにより、映画に埋め込まれているデータを正しく復元できる可能性が低くなる。
【０１０９】
このようなデータは、文献［１］に示すように、例えばビデオマテリアルに埋め込まれたものであってもよい。埋め込まれたデータは、マテリアルのコンテンツを識別するためのメタデータであってもよい。他の具体例においては、埋め込まれたデータは、マテリアルを識別し、マテリアルの所有者がマテリアルに関する知的所有権を主張するために使用される固有の又は実質的に固有の識別子であってもよい。
【０１１０】
本発明の一具体例においては、画像データは、周波数帯域にアクセスできる形式を既に有するデータであってもよい。この具体例では、データ信号の第１及び第２の周波数帯域から復元されたテンプレート信号のバージョン間の周波数の相対的な変化に基づいてデータ信号の歪みを識別する検出プロセッサを設けることができる。
【０１１１】
データの埋込及び復元
以下、マテリアルにデータを埋め込み、及びマテリアルからデータを復元する方法について説明する。この技術の詳細については、文献［１］に開示されている。
【０１１２】
データを埋め込む装置の構成は、通常、疑似ランダムシーケンス発生器、変調器、ウェーブレット変換器、結合器及び逆ウェーブレット変換器を備える。
【０１１３】
疑似ランダムシーケンス発生器は、疑似ランダムビットシーケンス（Pseudo Random Bit Sequence：ＰＲＢＳ）を生成し、変調器に供給する。変調器は、埋め込むべきペイロードデータにより各ＰＲＢＳを変調する。好ましい具体例においては、ＰＲＢＳの各ビットの値をバイポーラ（１を＋１とし、０を−１とする）で表現し、ＰＲＢＳにおけるこれらの各ビットを、ペイロードデータの対応するビットが０のときは極性を反転させ、ペイロードデータの対応するビットが１のときは極性をそのままにすることによりＰＲＢＳを変調する。そして、変調ＰＲＢＳは、周波数領域においてマテリアルに埋め込まれる。ウェブレット変換器は、画像をウェーブレット領域に変換する。結合器は、変調ＰＲＢＳの各ビット値に応じて、変調ＰＲＢＳの各ビットに±１により換算された係数αを加算することにより、画像にペイロードデータを埋め込む。ウェーブレット領域画像の所定の領域の各係数は、以下の式に基づいて符号化される。
Ｘ’_ｉ＝Ｘ_ｉ＋α_ｎＷ_ｎ
ここで、Ｘ_ｉはｉ番目のウェーブレット係数を表し、α_ｎはｎ番目のＰＲＢＳの強度（strength）を表し、Ｗ_ｎはバイポーラの形で埋め込むべきペイロードデータのｎ番目のビットを表す。したがって、画像は空間領域からウェーブレット変換領域に変換され、結合器は、適用強度αに応じて、ウェーブレット変換領域の画像にＰＲＢＳ変調データを付加し、この後、画像は逆ウェーブレット変換される。
【０１１４】
変調ＰＲＢＳは、ペイロードデータを表すスペクトル拡散信号を効果的に形成する。変調ＰＲＢＳがスペクトル拡散信号であるため、画像に埋め込まれるデータの強さが低減される。変調ＰＲＢＳが付加された変換領域の画像内のデータとＰＲＢＳのコピーとを相互相関（cross-correlating）することにより、所謂相関コーディングゲイン（correlation coding gain）と呼ばれる相関出力信号が生成され、この相関出力信号により、変調データビットを検出及び判定することができる。このような方法により、画像に付加されるデータの強度を低減することができ、したがって、空間領域の画像において、埋め込まれた画像が知覚されないようにすることができる。また、スペクトル拡散信号を用いることにより、データは、変換領域におけるより多数のデータシンボルに亘って拡散されるため、画像のロバストネスを向上させることができる。
【０１１５】
画像に埋め込まれたデータを画像から復元するために、ウェーブレット変換器は、ウォータマークが埋め込まれた画像を変換領域に変換する。次に、ウェーブレット帯域から、結合器によりＰＲＢＳ変調データが付加されたウェーブレット係数を読み出す。そして、これらのウェーブレット係数は、データを埋め込むために使用された対応するＰＲＢＳにより相関される。この相関処理は、通常、Ｘ_ｎをｎ番目のウェーブレット係数とし、Ｒ_ｎを疑似ランダムシーケンス発生器により生成されたＰＲＢＳのｎ番目のビットビットとして、以下の式で表すことができる。
【０１１６】
【数１４】

【０１１７】
相関結果Ｃ_ｎの相対的符号は、埋込器（embedder）においてビットを表現するために使用された符号に対応する埋め込まれたデータのビット値を示している。
【０１１８】
また、データ信号又は画像にデータを埋め込む手法と同様の手法により、テンプレート信号をデータ信号に埋め込み及びデータ信号からテンプレート信号を検出することができる。
【０１１９】
本発明の範囲から逸脱することなく、上述の実施の形態に基づいて様々な具体例を想到することができる。特に、本発明は、時間に対する振幅として表される１次元データ信号のみではなく、例えば画像又は他のマテリアルを表す２次元信号にも適用することができる。
参考文献
［１］同時に係属中の英国特許出願番号００２９８５９．６号、００２９８５８．８号、００２９８６３．８号、００２９８６５．３号、００２９８６６．１号、００２９８６７．９.号
［２］ウェブサイトwww.dai.ed.ac.uk/HIPR2/affine.htm「アフィン変換（Affine Transformation）」
【図面の簡単な説明】
【図１】映画をビデオカメラで録画することにより、映画の海賊版が作成される状況を説明する図である。
【図２】 データ信号の異なる周波数帯域に挿入されたテンプレート信号に対する歪みの作用を説明する図である。
【図３】異なる周波数帯域からのテンプレート信号の積を周波数領域に変換することにより生成された周波数領域のサンプルの大きさを視覚的に示す図である。
【図４】データ信号の異なる周波数帯域にテンプレート信号を挿入するデータ処理装置の構成を示す図である。
【図５】図４に示すデータ処理装置により実行される画像に対する処理を説明する図である。
【図６】画像に生じた歪みを決定するデータ処理装置の構成を示すブロック図である。
【図７】図６に示す変換検出プロセッサの構成を詳細に示すブロック図である。
【図８】図７に示す変換検出プロセッサにより実行される画像に対する処理を説明する図である。
【図９Ａ】ＨＬ×ＬＨウェーブレット帯域からのテンプレート信号の積を周波数領域に変換し、得られる水平及び垂直周波数領域のサンプルを２次元的に示す図である。
【図９Ｂ】ＨＨ×ＬＨ帯域の積に対する水平及び垂直周波数領域のサンプルを２次元的に示す図である。
【図９Ｃ】ＨＬ×ＨＨ帯域の積に対する水平及び垂直周波数領域のサンプルを２次元的に示す図である。
【図１０】透視変換によって歪んだ画像を表す図である。
【図１１】透視変換によって歪んだ画像の歪みを検出及び修正するデータ処理装置の構成を示すブロック図である。
【図１２】非線形歪みによって歪んだ画像を表す図である。

Claims (34)

1. 少なくとも第１及び第２の周波数帯域に互いに所定の関係を有するテンプレート信号が埋め込まれた画像に生じた非線形歪みを検出するデータ処理装置において、
   上記画像の選択された部分を表すデータを生成する画像分割プロセッサと、
   上記生成されたデータの第１及び第２の周波数帯域から復元されたテンプレート信号間の周波数の変化を検出し、当該検出された周波数の変化との座標上の関係に基づいて、上記画像の上記選択された各部分に適用された線形変換を表す少なくとも１つの線形変換パラメータを生成する変換検出プロセッサと、
   上記画像の少なくとも２つの部分の線形変換パラメータを結合して、当該結合された線形変換パラメータから上記画像に生じた非線形歪みを表す非線形変換のパラメータを推定する非線形変換プロセッサと
   を備えるデータ処理装置。
2. 上記非線形変換プロセッサは、
   上記画像の少なくとも２つの部分の線形変換パラメータを比較し、
   上記線形変換パラメータの差が所定の量より大きい場合、上記画像分割プロセッサ及び上記変換検出プロセッサを制御して上記画像の少なくとも１つの更なる部分を表すデータを生成し、
   上記画像の少なくとも１つの更なる部分に生じた線形歪みを表す線形変換パラメータを推定し、
   上記画像の少なくとも１つの更なる部分に生じた線形歪みを表す線形変換パラメータと、上記画像の少なくとも２つの部分について既に判定している線形変換パラメータとに基づいて、非線形歪みを推定することを特徴とする請求項１記載のデータ処理装置。
3. 上記非線形変換プロセッサは、上記線形変換パラメータから予測された非線形変換を表す関係に基づいて、上記画像の異なる部分について判定された線形変換パラメータを変換することにより、非線形変換のパラメータを推定することを特徴とする請求項１又は２記載のデータ処理装置。
4. 上記非線形歪みは、上記画像に適用された透視変換を表し、
   上記非線形変換プロセッサは、上記所定の関係に基づいて上記画像の部分の線形変換パラメータから予測された非線形変換パラメータに基づき、上記画像に適用された透視変換の少なくとも６個のパラメータを推定することを特徴とする請求項３記載のデータ処理装置。
5. 上記非線形歪みは、上記画像に適用された多項変換を表し、
   上記非線形変換プロセッサは、上記所定の関係に基づいて上記画像の部分の線形変換パラメータから予測された非線形変換パラメータに基づき、上記画像に適用された多項変換のｎ個のパラメータを推定することを特徴とする請求項３記載のデータ処理装置。
6. 上記線形変換はアフィン変換であり、
   上記変換検出プロセッサは、上記画像の各部分に適用された線形歪みを表す少なくとも４個の変換パラメータを判定することを特徴とする請求項３乃至５いずれか１項記載のデータ処理装置。
7. 上記変換検出プロセッサは、上記画像の周波数成分が提供される変換領域に上記画像を変換することにより、上記画像の第１及び第２の周波数帯域の周波数成分を表すデータを生成する周波数成分プロセッサを備えることを特徴とする請求項３乃至５いずれか１項記載のデータ処理装置。
8. 上記変換は、離散ウェーブレット変換であり、
   上記周波数帯域は、ウェーブレット帯域として提供されることを特徴とする請求項７記載のデータ処理装置。
9. 上記変換検出プロセッサは、
   上記第１及び第２の周波数帯域から復元されたテンプレート信号を表すデータを生成し、
   上記第１の周波数帯域から復元されたテンプレート信号のサンプルと、上記第２の周波数帯域から復元されたテンプレート信号の対応するサンプルとを乗算して信号サンプル積を生成し、
   上記信号サンプル積を周波数領域に変換し、
   上記周波数領域の信号サンプル積のうち、他の信号サンプル積より大きな値を有する少なくとも１つの信号サンプル積から上記周波数の相対的な変化を決定し、
   ２次元周波数成分における上記より大きな値を有する信号サンプル積の座標から上記変換パラメータの値を算出することを特徴とする請求項１乃至８いずれか１項記載のデータ処理装置。
10. 上記歪みを表すパラメータデータと上記画像を表す信号とが供給され、上記データ画像歪みを逆変換する逆変換プロセッサを備える請求項１乃至９いずれか１項記載のデータ処理装置。
11. 上記非線形変換プロセッサは、変換検出プロセッサに接続され、
    上記逆変換プロセッサは、
    上記画像の修正されたバージョンを表すデータを受け取り、
    上記変換検出プロセッサと協働して、該変換検出プロセッサによって生成された更なる線形変換パラメータから、上記修正された画像の残の歪みを表す第２の透視変換パラメータを生成し、該第２の透視変換パラメータに基づいて上記修正された画像の歪みを逆変換することによって修正された画像の第２のバージョンを生成することを特徴とする請求項１０記載のデータ処理装置。
12. データメモリを備え、
    上記非線形変換プロセッサは、上記画像の修正されたバージョンを生成するために判定した上記非線形変換パラメータを上記データメモリに保存し、上記第２の非線形変換パラメータと上記データメモリに保存されている非線形変換パラメータとを比較し、該比較に基づいて、上記変換検出プロセッサと協働して、第３の非線形変換パラメータを生成し、該第３の非線形変換パラメータを用いて、上記画像の第２の修正されたバージョンの歪みを逆変換することにより、上記画像の第２の修正されたバージョンの歪みを修正することを特徴とする請求項１１記載のデータ処理装置。
13. 上記比較は、上記少なくとも１つの非線形変換パラメータと、上記少なくとも１つの第２の非線形変換パラメータとの間の差を算出し、該差と所定の閾値とを比較し、該差が該閾値より大きい場合、上記画像の第２のバージョンを修正する上記第３のパラメータを生成し、該差が該閾値以下の場合、上記第３のパラメータを生成しないことを特徴とする請求項１２記載のデータ処理装置。
14. 上記画像を表す信号は、複数の画像フレームからなるビデオ信号であり、
    上記非線形変換プロセッサは、上記変換検出プロセッサ及び上記逆変換プロセッサと協働して、上記画像フレームの１つの修正されたバージョンを生成し、所定数の画像フレームの後、後続する画像フレームから該後続する画像フレームの上記第２の修正されたバージョンを生成することを特徴とする請求項１１乃至１３いずれか１項記載のデータ処理装置。
15. データメモリを備え、
    上記画像を表す信号は、複数の画像フレームからなるビデオ信号であり、
    上記非線形変換プロセッサは、上記変換検出プロセッサに接続され、上記画像について算出された第１の非線形変換パラメータを上記データメモリに保存し、
    上記逆変換プロセッサは、上記第１の非線形変換パラメータに基づく逆変換を実行することにより後続する複数の画像の歪みを修正し、複数の画像の修正されたバージョンを生成することを特徴とする請求項１乃至１０いずれか１項記載のデータ処理装置。
16. 上記非線形変換プロセッサは、上記逆変換プロセッサと協働して、上記第１の非線形変換パラメータを用いて上記複数の画像の第１の組の修正されたバージョンを生成し、上記第１の非線形変換パラメータを用いて上記画像の第２の組の第１の修正されたバージョンを生成し、該画像の第２の組の第１の修正されたバージョン用の第２の非線形変換パラメータを生成し、該第２の非線形変換パラメータを用いて後続する上記第２の画像の組の歪みを修正することによって該画像の第２の組の第２の修正されたバージョンを生成することを特徴とする請求項１５記載のデータ処理装置。
17. 少なくとも第１及び第２の周波数帯域に互いに所定の関係を有するテンプレート信号が埋め込まれたマテリアルに埋め込まれたデータを検出するデータ処理装置において、
    該マテリアルの歪みを表す非線形変換のパラメータを判定する請求項１０乃至１６記載の歪み検出データ処理装置と、
    上記歪み検出データ処理装置によって判定された歪みを表すデータと、上記マテリアルとが供給されて、該マテリアルの歪みを修正する逆変換プロセッサと、
    上記マテリアルに埋め込まれたデータを復元するデータ検出器とを備えるデータ処理装置。
18. 上記埋め込まれているデータは、上記マテリアルの所有権者を識別するデータであることを特徴とする請求項１７記載のデータ処理装置。
19. 上記埋め込まれているデータは、ＵＭＩＤ又はその一部であることを特徴とする請求項１７記載のデータ処理装置。
20. 上記埋め込まれているデータは、上記データ信号のコンテンツを記述するメタデータであることを特徴とする請求項１７記載のデータ処理装置。
21. 第１及び第２の周波数帯域に少なくとも第１及び第２のテンプレート信号をそれぞれ埋め込むデータ処理装置であって、
    上記第１及び第２のテンプレート信号は、互いに所定の関係を有し、該データ信号の歪みにより、該第１及び第２のテンプレート信号の周波数が相対的に変化することを特徴とするデータ処理装置。
22. 上記画像を表すデータ信号を、該テンプレート信号が埋め込まれる周波数成分帯域を提供する変換領域に変換する変換プロセッサを備える請求項２１記載のデータ処理装置。
23. 上記変換プロセッサは、ウェーブレット変換によって上記画像をウェーブレット領域に変換し、
    上記テンプレート信号が埋め込まれる帯域は、ウェーブレット帯域であることを特徴とする請求項２２記載のデータ処理装置。
24. 上記第１及び第２の周波数帯域に埋め込まれる各テンプレート信号は、同一の信号であることを特徴とする請求項１乃至２３いずれか１項記載のデータ処理装置。
25. 上記テンプレート信号は、所定の雑音信号であることを特徴とする請求項１乃至２４いずれか１項記載のデータ処理装置。
26. 上記所定の雑音信号は、疑似ランダムビットシーケンスから生成されることを特徴とする請求項２５記載のデータ処理装置。
27. 上記テンプレート信号は、周波数成分帯域の１つの周波数成分信号に基づく信号であることを特徴とする請求項１乃至２３いずれか１項記載のデータ処理装置。
28. 請求項２１乃至２７いずれか１項記載のデータ処理装置によって少なくとも１つのテンプレート信号が埋め込まれた画像を表すデータ信号。
29. 請求項２８記載のデータ信号が記録された記録媒体。
30. 少なくとも第１及び第２の周波数帯域に互いに所定の関係を有するテンプレート信号が埋め込まれた画像に生じた非線形歪みを検出するデータ処理方法において、
    上記画像の選択された部分を表すデータを生成するステップと、
    上記生成されたデータの第１及び第２の周波数帯域から復元されたテンプレート信号間の周波数の変化を検出し、当該検出された周波数の変化との座標上の関係に基づいて、上記画像の上記選択された各部分に適用された線形変換を表す少なくとも１つの線形変換パラメータを生成するステップと、
    上記画像の少なくとも２つの部分の線形変換パラメータを結合するステップと、
    上記結合された線形変換パラメータから上記画像に生じた非線形歪みを表す非線形変換のパラメータを推定するステップとを有するデータ処理方法。
31. 第１及び第２の周波数帯域に少なくとも第１及び第２のテンプレート信号をそれぞれ埋め込むステップを有し、上記第１及び第２のテンプレート信号は、互いに所定の関係を有し、該データ信号の歪みにより、該第１及び第２のテンプレート信号の周波数が相対的に変化することを特徴とするデータ処理方法。
32. データプロセッサによりロードされて、該データプロセッサを請求項１乃至２７いずれか１項記載のデータ処理装置として動作させるコンピュータプログラム。
33. データプロセッサにロードされて、該データプロセッサに請求項３０又は３１記載のデータ処理方法を実行させるコンピュータプログラム。
34. 請求項３２又は３３記載のコンピュータプログラムが記録された、コンピュータにより読取可能な記録媒体。

Images