JP4582482B2 - データ処理装置及びデータ処理方法 - Google Patents

Description

本発明は、ウォータマークが付された画像を表す受信画像信号からウォータマークコードワードを検出する装置及び方法に関する。

知覚可能に又は知覚不可能にデータをマテリアルに埋め込む技術は、一般的に、電子透かし技術（ウォータマーキング）と呼ばれる。コードワードは、マテリアルアイテムのバージョンを特定する目的で、又はコードワードによって表されたデータを運ぶ目的で、マテリアルアイテムのバージョンに適用される。したがって、一部のアプリケーションでは、ウォータマーキングにより、マテリアルの特定のバージョンを識別することができる。

マテリアルの特定のバージョンを識別する目的で情報をマテリアルに埋め込むプロセスは、フィンガプリント法と呼ばれる。マテリアルを特定するコードワードは、マテリアルにおいて、コードワードが可能な限り知覚されないようにマテリアルに埋め込まれる。これにより、マテリアルの所有者、配信者又は他の権利者の意図に反してマテリアルがコピーされ又は使用された場合に、コードワードからマテリアルのバージョンを特定でき、適切な対策を講じることができる。

ウォータマークが付されたマテリアルアイテム内のコードワードを検出するために、ウォータマークが付されたマテリアルアイテムから推定されたコードワード（estimate）を再生し、コードワードの可能な組における各コードワードと推定されたコードワードを相関させてコードワードを特定する手法が知られている。コードワードは、相関の結果を所定の閾値と比較することによって検出される。すなわち、相関結果が閾値を超えている場合、コードワードの組において、その相関結果を生成したコードワードが検出されたとみなされる。通常、ウォータマークが付されたマテリアルから推定されたコードワードを再生するために、検査すべきウォータマークが付されたマテリアルアイテムから元のマテリアルアイテムを減算する。なお、データ検出処理装置において、必ずしも常に、元のデータのコピーを復元できるわけではない。

映画にフィンガプリンティングを行う用途では、映画館のスクリーンに映画の映像のウォータマークが付されたコピーを映写する。そして、例えば、携帯型のビデオカメラを用いて、映画フィルムがコピーされ、海賊版コピーが作成された場合、海賊版コピー内に存在するコードワードを検出することによってこの海賊版コピーを特定できる。フィルムの海賊版コピーは、多くの場合、コピーの結果、又は海賊版コピーに対して施される処理の結果、何らかの歪みを含んでいる。例えば、コピーを撮影したビデオカメラの映画館のスクリーンに対する角度により、元の画像が歪むことがある。海賊版コピー内においてウォータマークが付された画像が歪んでいる場合、画像内に存在しているコードワードを正しく検出できる可能性が低下する。そこで、ウォータマークが付された画像を元の画像のコピーに位置合わせして、位置合わせされたウォータマークが付されたコピーから元の画像を減算したときに、ウォータマークが付された画像内に存在するコードワードがコードワードの原形により近くなるようにする手法が知られている。これにより、ウォータマークが付された画像に存在するコードワードが検出されない可能性（見逃し確率）を低減できる。

本発明は、一側面として、ウォータマークが付された画像を表す受信画像信号内のウォータマークコードワードを検出するウォータマーク検出方法を提供する。ウォータマークが付された画像は、それぞれが、ウォータマークコードワード係数値が加算された画像の画素値を表す複数の信号サンプルを含む。ウォータマーク検出方法は、受信画像信号をローパスフィルタリングして、各信号サンプルの局所的な平均値を生成するステップと、受信画像信号から局所的な平均値を減算して、各信号サンプルの残差からなる残差信号を生成するステップと、残差信号から各信号サンプルの局所的な標準偏差を決定するステップとを備える。更に、ウォータマーク検出方法は、各信号サンプルに対して、受信画像の信号サンプルにウォータマークコードワード係数が加算された推定された振幅を与えるウォータマーク強度値を生成するステップを備える。更に、ウォータマーク検出方法は、各信号サンプルについて、局所的な平均値とウォータマーク強度値との和によって定義される平均と、局所的な標準偏差によって定義される標準偏差とを含み、信号サンプルに埋め込まれたウォータマークコードワード係数が正である尤度を記述する第１のガウス尤度関数を生成するステップと、各信号サンプルについて、局所的な平均値とウォータマーク強度値との差によって定義される平均と、局所的な標準偏差によって定義される標準偏差とを含み、信号サンプルに埋め込まれたウォータマークコードワード係数が負である尤度を説明する第２のガウス尤度関数を生成するステップとを備える。上述のガウス尤度関数を生成すると、ウォータマーク検出方法は、第１及び第２のガウス尤度関数から算出された、各信号サンプルに加算されたウォータマークコードワード係数が正又は負である確率に基づいて、ウォータマークが付された受信画像内のウォータマークを検出できる。これにより、受信したウォータマーク画像内でのウォータマークの位置を推定できる。

尤度関数を生成し、この結果、受信信号から導出された局所的な平均値及び標準偏差値を用いて、ガウス分布から、受信した画像の所定の領域内でウォータマークコードワード係数が正である又は負である確率を算出することにより、ウォータマーク画像内のウォータマーク位置の効果的な初期推定を行うことができる。

一実施の形態においては、第１及び第２のガウス尤度関数を用いて、信号サンプルに埋め込まれたウォータマーク値が正である確率を記述するウォータマーク強度の関数として、線形近似を生成する。これは、画像信号を最初に受信した後に、ウォータマーク強度の推定を修正する場合に特に有利である。尤度関数の生成は演算負荷が大きいが、修正されたウォータマーク強度への線形近似の適用は比較的容易であるため、確率算出処理の効率を高めることができる。

第１及び第２のガウス尤度関数は、形状パラメータを有する一般化されたガウス関数であってもよい。各信号サンプルについて、ウォータマーク検出性能を高めるために、形状パラメータを適応化してもよい。

本発明の一実施の形態は、ウォータマークが付された画像を元の画像と比べることなくウォータマークが付された画像を位置合わせできるデータ処理装置を提供する。これにより、画像内の歪みを特定する歪みベクトルを特定でき、歪みの影響を低減し、例えば、ウォータマークコードワードによって表現されるペイロードデータを正しく検出できる可能性を高めることができる。更に、画像フレームのシーケンスのフレーム同期を得ることができ、これにより、ペイロードデータワードを２つ以上のデータフレームで送ることができる。

本発明の様々な更なる側面及び特徴は、特許請求の範囲に定義されている。これらの側面は、画像フレーム内のウォータマークを検出するウォータマーク検出装置及び及びコンピュータプログラムを含む。

ウォータマークエンコーダ
ウォータマークコードワードを画像に埋め込むことによってウォータマークが付された画像を生成するデータ符号化処理装置を図１に示す。図１に示すデータ符号化処理装置は、コードワードを画像に埋め込むことによって、元の画像のベースバンド領域内にウォータマークが付されたコピーを生成する。図１に示すように、ソース１は、画像Ｉを生成し、エンコーダ２に供給する。エンコーダ２は、データワード発生器４によって発生されたペイロードデータワードＰを画像Ｉに組み込み、これにより、エンコーダ２からは、画像Ｉのウォータマークが付されたコピーＷが出力される。図１に示すエンコーダ２は、コードワード係数を、画像の変換領域表現に対応する形式に変換するウォータマーク生成器６を備える。そして、知覚解析器８は、コードワードが画像Ｉに埋め込まれた際にコードワードが知覚される可能性を最小化するとともに、最大の強さでコードワード係数を搬送する画像の相対的能力に基づいて重み付け因子を生成する。強度適応化器（strength adaptor）１０は、重み付け因子が供給され、これをコードワード係数に乗算して、重み付けされたコードワード係数を生成する。そして、重み付けされたコードワード係数は、コードワードに逆変換を実行する逆変換プロセッサ１２によってベースバンド領域に変換される。そして、ベースバンド領域コードワードは、混合器１４によってベースバンド領域画像に組み合わされ、これにより画像のウォータマークが付されたコピーＷが生成される。

以下の説明では、用語「サンプル」は、画像を構成する個々のサンプルを意味するものとする。サンプルは、画像の輝度サンプルであってもよく、輝度サンプルは画素から生成してもよい。したがって、サンプルという用語と画素という用語は、適宜交換可能である。

本発明に基づく幾つかの実施の形態では、コードワードの変換領域表現は、離散コサイン変換（Discrete Cosine Transform：以下、ＤＣＴという。）、フーリエ変換又は離散ウェーブレット変換を含んでもよい。例えば、コードワードは、ＤＣＴ領域内で生成でき、この場合、逆変換プロセッサ１２は、時間的及び／又は空間的アップサンプリングの前にコードワード係数に逆ＤＣＴを実行するように構成してもよい。これにより、画像の周波数帯域に亘ってより均等にコードワードを分散することができる。

一具体例では、変換領域表現は、ベースバンド領域画像のサンプリングレートに関して時間的及び／又は空間的にダウンサンプリングされた表現を含む。したがって、コードワードは、ベースバンドバージョンに関して空間的及び／又は時間的にダウンサンプリングされた形式に変換され、又はこのような形式であるかのように取り扱われる。これにより、逆変換プロセッサは、コードワード係数を時間的及び／又は空間的にアップサンプリングし、コードワードのベースバンドバージョンを生成し、この形式において、ベースバンド画像Ｉに組み合わされ、画像のウォータマークが付されたコピーＷを形成する。

逆変換プロセッサ１２の具体例を図２に更に詳細に示す。図２に示すように、逆変換プロセッサ１２は、ダウンサンプリングされたコードワードに対して逆ＤＣＴを実行し、ＤＣＴ領域画像を生成する逆ＤＣＴ変換器２０を備える。アップサンプリングプロセッサ２２は、空間的及び／又は時間的に、コードワードをアップサンプリングし、ベースバンド領域画像に対応するサンプリングレートを実現する。

本発明では、ウォータマークコードワードは、ウォータマークパターンの形式で生成され、このウォータマークパターンをビデオソースの各フレームに埋め込むことにより、ウォータマーク画像を生成する。ウォータマークパターンは、２次元ブロックの組合せとして形成され、各２次元ブロックは、画像の一部の対応する大きさに区分された領域に加えられる。具体例を図３に示す。

図３に示すように、一連の３つの画像フレームＩ_１、Ｉ_２、Ｉ_３のそれぞれは、画像シーンの特定のコンテンツを含んでいる。画像フレーム内では、ウォータマークパターンを加える領域として、より小さい長方形の領域ＷＭ＿ＦＲＭが選択される。このため、何らかの画像のクロッピングが生じた場合、エッジに最も近い画像のセクションが失われても、ウォータマークフレームＷＭ＿ＦＲＭによって画定される中央領域内の画像の部分が失われない可能性が高く、したがって、ウォータマークコードワードが画像フレーム内で維持される可能性が高い。図３には、ウォータマーク画像フレームＷＭ＿ＦＲＭの拡大図２３を示している。この具体例では、ウォータマークが付された画像フレームＷＭ＿ＦＲＭは、ウォータマークが付された画像フレームＷＭ＿ＦＲＭを９等分することによって得られる等しいサイズの９個セクションから構成される。

本発明では、等しいサイズのブロックを生成し、ブロックのサイズがウォータマークが付された画像フレームの領域のサイズに対応するように、これらのブロックのそれぞれをウォータマークが付された画像フレームの領域に組み合わせる。図４を用いて後述するように、本発明では、重なり合う２つのウォータマークを用いる。すなわち、第１のコードワードＣＷ＿１のウォータマークブロックが各領域に組み合わされ、第２のコードワードＣＷ＿２のウォータマークブロックも同じ領域に組み合わされる。後述するように、第１のコードワードＣＷ＿１のパターンのブロックは、受信したウォータマークが付された画像のブラインド位置合わせ（blind registration）を実行するために用いられ、第２のコードワードは、ペイロードデータを運ぶために用いられる。ウォータマーク生成器６を図４に更に詳細に示す。

図４の下半分２４は、第１のウォータマークフレームを生成するためのウォータマークペイロード生成器の構成を示しており、図４の上半分２５は、第２のウォータマークパターンを生成するためのウォータマーク生成器６の構成を示している。第１のウォータマークは、ペイロードウォータマークと呼ばれ、ウォータマークが付された画像によって運ばれるペイロードデータを表現するために生成される。第２のウォータマークパターンは、元の画像シーケンスを必要とすることなく、ウォータマークが付された画像シーケンスを位置合わせすることができるように、歪みを検出し、ビデオ画像シーケンス内でフレーム番号を特定するために用いられる。

図４に示すように、ブロック発生器２６は、コードワード係数の２次元構成を提供するウォータマークブロックのシーケンスを発生する。図４に示すように、この具体例では、ブロック発生器２６は、ブロックの予め定義された４つのグループを発生し、各グループは、それぞれウォータマークコードワード係数の２次元構成を提供する。上述のように、このウォータマークにより、ウォータマークが付された画像の位置合わせ及びフレーム同期が可能になる。ウォータマーク生成器６は、キーシーケンス発生器２８を備え、キーシーケンス発生器２８は、キーを用いて、ブロック発生器２６によって発生された異なるウォータマークコードワードブロックに対応する、所定の数値の範囲内でインデクス番号の長いシーケンスを発生する。長いキーシーケンス２９における各ブロック番号は、スクランブラ３０によってスクランブルされ、スクランブラ３０は、所定のスクランブリングコードに基づいて、１つのフレームのウォータマークパターンを形成する各ブロック番号を並べ替える。そして、スクランブルされたキーシーケンスは、ウォータマークパターン生成器３１に供給され、ウォータマークパターン生成器３１は、長いキーシーケンス２９が提供するインデクス番号を用いて、４つのウォータマークが付されたブロックＷＭ＿ＢＬＫの１つを選択し、１画像フレーム当たり１つのウォータマークパターンを生成する。このようにして、図４に示すように、ウォータマークパターン生成器３１は、ウォータマークパターンＷＭ＿ＰＡＴを生成する。また、ウォータマークパターン生成器３１は、ウォータマークパターンＷＭ＿ＰＡＴの特定の１つを加えるべき各フレームを特定するフレーム番号が供給される。長いキーシーケンス２９の長さは、シーケンスが繰り返される前に、所定のフレームのシーケンスのそれぞれについて、異なるウォータマークパターンが生成されるような長さに設定する。

図４の下半分２４に示すウォータマークペイロード生成器は、ウォータマークが付された画像シーケンスによって運ばれるペイロードデータを生成するデータワード発生器３２を備える。そして、データワードは、エンコーダ３３によってエラー訂正符号化された後、対応するスクランブラ３４によって、符号化データワードのビットをスクランブルする第２のスクランブリングコードを用いてスクランブルされる。ペイロードブロック発生器３５は、ウォータマークが付されたフレームＷＯ＿ＦＲＭの領域の１つに加算されるコードワード係数を含む２つの２次元ペイロードブロックＰＡＹ＿ＢＬＫのうちの１つを発生する。ペイロードウォータマークブロックの一方は、１（＋１）を表し、ウォータマークが付されたコードワード係数の逆から形成された他方のブロックは、符号化されたペイロードコードワード内でマイナス１（−１）又は０を表す。

エラー訂正符号化され、スクランブルされたコードワードは、ペイロードブロック形成器３６に供給され、ペイロードブロック形成器３６は、エラー訂正符号化され、スクランブルされたコードワードの値が０のときは、マイナス１のブロックを、値が１のときはプラス１のブロックを選択する。したがって、符号化されたペイロードデータワードの各ビットは、各ウォータマーク画像フレームの領域の１つに割り当てられる。ペイロードブロック形成器３６は、符号化されたコードワード内に存在する０又は１に応じて、対応するペイロードウォータマークブロックを選択する。これにより、各画像フレーム毎にペイロードパターンＰＡＹ＿ＰＡＴが形成される。

なお、ペイロードウォータマークパターンもウォータマークパターンであるが、後述するブラインド位置合わせ方法及び装置に基づいて、歪み及びフレーム番号を検出するために用いられるウォータマークが付されたパターンから区別するために、このパターンをペイロードコードワード又はペイロードウォータマークが付されたパターンと呼ぶ。そして、図４に示すように、ウォータマークパターン生成器３１が生成したウォータマークが付されたパターンは、ペイロードブロック形成器３６からのウォータマークが付されたパターンと共に混合器３７に供給される。２つのウォータマークコードワードは、組み合わされ、チャンネル６．１から、各フレームに対応する２次元ウォータマークパターンの形式の合成ウォータマークコードワードが出力される。図３に示すように、ウォータマークパターンは、ウォータマークを付すべきビデオシーケンスの画像に組み込まれる。

図５は、ウォータマークが付された画像Ｗ’内のコードワードを検出するために検出装置を改良する必要がある技術的問題の具体例を示している。図５に示すように、ウォータマークが付された画像Ｗは、元の画像ＩにウォータマークコードワードＸを埋め込むことによって生成される。ウォータマーキングシステムを混乱させることを目的とする攻撃者が故意に又はウォータマークが付された画像をコピーする際に偶然、ウォータマークが付された画像に歪みが加えられることがある。この結果、ウォータマークが付された画像の歪んだバージョンＷ’が生成され、ウォータマークが付された画像を特定するためには、この歪んだバージョンから画像に埋め込まれたコードワードを検出しなければならない。

検出プロセッサ
本発明では、元の画像のコピーを用いることなく、図３に示すエンコーダによって生成されたウォータマークが付された画像から、ペイロードデータを再生する。すなわち、ウォータマークが付された画像内のあらゆる歪みを特定し、符号化された画像の対応する元のフレーム番号のそれぞれを特定できるように元のウォータマークが付された画像を処理することによって、ペイロードデータを再生することができるようにする、所謂ブラインド位置合わせ処理が行われる。本発明に適用することができる検出装置の構成例を図６に示す。

図６に示す構成では、ウォータマークが付された画像シーケンスは、ブラインド位置合わせデコーダ（blind alignment decoder）３８に供給され、ブラインド位置合わせデコーダ３８は、図３に示すウォータマークフレーム領域Ｗ＿ＦＲＭ内の各領域について、空間事後確率（spatial posteriori probabilities）を生成する、各画像のその領域の最尤歪みベクトルを算出する。ブラインド位置合わせデコーダ３８は、第１のウォータマークパターン（位置合わせウォータマーク）を用いて、空間事後確率を算出し、フレーム同期を判定する。空間事後確率は、チャンネル３９を介して、ペイロード確率算出器４０に供給される。また、ペイロード確率算出器４０は、各フレームの各領域について、領域が正のウォータマークブロックを含む確率表面（probability surface）及び領域が負のウォータマークブロックを含む確率表面が供給される。そして、ペイロード確率算出器４０は、エンコーダにおいて用いられたスクランブリングコードに基づいて、各領域に関連する確率値を逆スクランブルし、各ビットが、１であるそのビットの確率値及び０であるそのビットの確率値によって表現されるエラー訂正符号化データワードを生成する。これらのペイロード確率値は、軟判定エラー訂正デコーダ４２に供給され、軟判定エラー訂正デコーダ４２は、軟判定エラー訂正復号を実行し、ウォータマークが付されたビデオ画像を表したペイロードデータを正しく復元する可能性を高めて、ペイロードデータを再生する。

図６に示すように、ブロック一致事前確率算出器（block match prior probability calculator）４３は、ペイロードウォータマークブロックＰＡＹ＿ＢＬＫの再生されたバージョンが供給される。後述するように、ブロック一致事前確率算出器４３は、異なる各ウォータマークペイロードブロックＰＡＹ＿ＢＬＫをウォータマークが付された画像内の対応する領域に関連付け、正及び負のペイロードブロックの尤度に関する確率表面を生成することができる。

ブラインド位置合わせデコーダ３８は、２つのデータメモリ４５、４６に空間アルファ確率（spatial alpha probabilities）及び次のフレーム空間アルファ確率を保存し、２つのデータメモリ４７、４８にフレーム番号事前確率及び次のフレーム番号事前確率を保存する。以下のセクションでは、ブラインド位置合わせデコーダ３８の動作を説明する図７を参照して、データメモリの動作及び用法について説明する。

図７に示すように、ウォータマークが付された画像フレームは、局所確率算出関数を有する局所確率算出器１００を介してブロック一致事前確率算出器５０に供給される。局所確率算出関数は、ウォータマークが付された画像の領域を検出できる可能性を計算する。以下、図８を用いて、局所確率算出器１００の動作について更に詳細に説明する。

図８に示すように、本発明の実施の形態に基づく局所確率算出器１００は、ソースフレームを表す画像信号を受信する受信機１０２を備える。画像信号は、それぞれがソースフレームの画素値、例えば輝度又は色差の値を表す複数の信号サンプルを含む。ソースフレームは、先に、元の画像フレームにウォータマークを埋め込むことによって生成されている。受信機１０２は、受信画像信号を、局所確率算出器１００の幾つかの機能ユニットにルーティングする。機能ユニットの１つは局所平均生成器１０４である。局所平均生成器１０４は、受信機１０２から画像信号が供給され、各信号サンプルについて、その信号サンプル及び隣接する信号サンプルの画素値に基づき、局所的な平均値を算出する。他の機能ユニットである残差生成器１０６は、画像信号と、局所平均生成器１０４からの局所的な平均信号との両方が供給される。残差生成器１０６は、各信号サンプルについて、受信画像信号と局所的な平均信号との間の差分を求める。この差分は、残差信号として表現される。残差信号は、局所標準偏差生成器１０８にルーティングされ、局所標準偏差生成器１０８は、受信画像信号内の各信号サンプルに関して、局所的な標準偏差を算出する。

また、局所確率算出器１００は、受信した画像フレームを生成するために元の画像に加算され又は元の画像から減算されたウォータマーク強度を推定するウォータマーク強度推定器１１０を備える。ウォータマーク強度推定器１１０は、画像フレームに加えられたウォータマークに関する知識なしで、所定の仮定に基づいて動作してもよく、又は画像フレームに加えられたウォータマークに関する限定的な知識又は詳細な知識に基づいて動作してもよい。また、ウォータマーク強度は、受信信号を用いて推定してもよく、受信信号を用いずに推定してもよい。受信信号を用いてウォータマーク強度を推定する場合、受信機１０２は、受信信号をウォータマーク強度推定器１１０に供給する。これを、受信機１０２をウォータマーク強度推定器１１０に接続する破線によって示している。ウォータマーク強度推定器１１０は、画像フレームに加えられたウォータマークに関する限定的な知識に基づく初期の推定値と、画像フレームに加えられたウォータマークに関するより詳細な知識に基づく修正された推定値とを含むウォータマーク強度の２つ以上の推定値を提供してもよい。より詳細な知識は、デコーダ及び画像フレームの宛先に関する特定の情報を含んでいてもよい。

局所確率算出器１００は、各信号サンプルについて、信号サンプルに加えられたウォータマーク信号が正又は負である尤度を記述する尤度関数を生成する尤度生成器１１２を備える。尤度関数は、ウォータマーク強度推定器１１０が推定したウォータマーク強度推定値と、局所平均生成器１０４が生成した局所的な平均値と、局所標準偏差生成器１０８が生成した局所的な標準偏差とに基づいて生成される。尤度関数は、受信画像信号の関数であり、現在の画素について、受信画像信号を尤度関数に代入することにより、２つの尤度が算出される。これらは、受信画像信号の受信値が与えられた場合、ウォータマークが正である尤度と、受信画像信号の受信値が与えられた場合、ウォータマークが負である尤度である。

尤度生成器１１２によって決定された尤度を表す情報は、確率生成器１１４に渡され、確率生成器１１４は、２つの尤度から、特定の信号サンプルに関して、その信号サンプルの受信画像信号値が与えられた場合、ウォータマークが正である確率、及び特定の信号サンプルに関して、その信号サンプルの受信画像信号値が与えられた場合、ウォータマークが負である確率のいずれか又は両方を算出する。受信した画像フレームの一部又は全体に関してこれらの確率を算出することにより、画像フレーム内のウォータマークの検出が容易になる。

図９を用いて、受信機１０２及び局所平均生成器１０４の動作を説明する。具体的には、図９は、例示的な画像フレームの受信信号及び受信信号の局所的な平均値を記述するグラフである。このグラフでは、通常、２次元で実行され、したがって、線ではなく面を定義する処理を１次元に簡素化して示している。図９は、画像フレームの単一の行又は列に適用される処理を示しており、２次元表現と同じ原理を２次元表現の場合より明確に示している。図９に示す受信信号は、グラフのｘ軸上に示すように、５０個のサンプルを含んでいる。グラフのｙ軸は、５０個の信号サンプルのそれぞれの信号強度を表している。実線は、受信機１０２が受信した受信信号を表している。受信信号の緩やかな傾向は、サンプル１からサンプル１６までの信号強度の漸増と、これに続くサンプル１６からサンプル２１までの信号強度の漸減と、これに続くサンプル２１からサンプル３５までの信号強度の漸増等によって包括的に記述できる。この緩やかな傾向に加えて、信号強度は、局所的に高い周波数で変化する。これらの変化は、元の画像自体の一部である場合もあり、又はウォータマーク信号の加算の結果生じたものである場合もある。ウォータマーク信号に関する予備知識がなければ、これを確かめることはできない。なお、一般に言えば、ウォータマーク信号は、元の画像自体より高い周波数の信号強度の変化を含むことが多い。したがって、画像信号を平滑化することによって信号強度の高周波変化を減衰させると、一般的に、元の信号の信号対雑音比は、ウォータマーク信号の信号対雑音比に比べて向上する。図９のグラフの破線は、受信信号をローパスフィルタリングすることによって生成した局所的な平均信号を表している。このグラフから、局所的な平均信号は、受信信号の包括的な傾向に従うが、受信信号の高周波変化が失われていることがわかる。なお、実際の２次元画像では、ローパスフィルタリングは、両方の次元において隣接する画素を考慮に入れる。

局所的な平均信号が元の信号の推定された近似値を提供すると仮定すると、局所的な平均信号及び受信信号の間の差分は、ウォータマーク信号の推定された近似値を表すとみなすことができる。これは、残差生成器１０６及び局所標準偏差生成器１０８の動作を示す図１０によって表されている。図１０では、図９と同様に、ｘ軸が信号内の信号サンプルを表し、ｙ軸が各信号サンプルの信号強度を表している。実線は、受信信号から局所的な平均信号を減算することによって得られる残差信号を表している。破線は、残差信号から得られる局所的な標準偏差信号を表している。残差信号値から各信号サンプルの標準偏差を決定するために多くの手法を用いることができるが、ここでは、残差信号サンプルを二乗して全体的に正の値から構成される二乗信号を生成し、次に、この二乗信号をローパスフィルタリングして二乗信号の局所的な平均値を生成し、そして、フィルタリングされた信号の平方根を求めて、信号サンプルの標準偏差を算出する。この具体例では、局所的な平均値及び局所的な標準偏差の両方の算出に同じローパスフィルタを用いている。なお、これらの２つの目的のために異なるローパスフィルタを用いてもよい。

図１１を用いて、ウォータマーク強度推定器１１０及び尤度生成器１１２の動作を説明する。図１１は、グラフの上にプロットされた、ｘ軸が信号強度を表し、ｙ軸が尤度を表す２つの重なり合うガウス曲線を示している。実線で示される右側の曲線は、信号強度の関数として、元の画像フレームに加えられたウォータマーク信号が負である尤度を定義する第１の尤度関数を表す。破線で示される左側の曲線は、信号強度の関数として、元の画像フレームに加えられたウォータマーク信号が正である尤度を定義する第２の尤度関数を表す。第１の尤度関数の平均は、ウォータマーク強度推定器１１０によって推定されたウォータマーク強度によって正にバイアスされた、局所平均生成器１０４によって生成された局所的な平均値である。第２の尤度関数の平均は、ウォータマーク強度推定器１１０によって推定されたウォータマーク強度によって負にバイアスされた、局所平均生成器１０４によって生成された局所的な平均値である。したがって、２つのガウス関数の間には、推定されたウォータマーク強度の２倍に等しいオフセットがある。第１及び第２の尤度関数の両方について、標準偏差は、局所標準偏差生成器１０８によって生成された局所的な標準偏差である。尤度関数のガウス曲線は、形状パラメータによって定義された一般化されたガウス曲線であってもよい。この具体例では、形状パラメータは固定されており、ガウス曲線は、正規分布を表すが、異なる画像フレーム及び信号サンプルについて、異なる形状パラメータを用いれば、様々な機能を提供することができる。したがって、より正確な尤度関数を提供するために、最適な形状パラメータを決定し、選択することができる。形状パラメータは、画像フレーム全体について決定してもよく、又は、好ましくは、信号サンプル毎に適応化させて変更してもよい。

図１１の例示的な尤度関数は、図９及び図１０のサンプル７から生成された尤度関数である。サンプル７の局所的な平均値は、約２３６であり、標準偏差は、約３．４１である。想定された推定信号強度は、＋／−１である。したがって、第１の尤度分布の平均は、２３６＋１＝２３７であり、第２の尤度分布の平均は、２３６−１＝２３５である。いずれの場合も標準偏差は、３．４１である。

サンプル７の受信信号強度は、２４１である。これを尤度関数に代入し、正及び負のウォータマークのそれぞれの尤度を決定することができる。図１１のｘ軸上の位置ｘ＝２４１において、ｘ＝２４１の受信信号に対して、正のウォータマークの尤度が約０．０６であり、ｘ＝２４１の受信信号に対して、負のウォータマークの尤度が約０．０２５であることがわかる。

ベイズの定理に基づき、特定の受信信号値が与えられると、正又は負のウォータマークの尤度を、以下の式に基づき、ウォータマークが正であるか負であるかに応じて特定の値を取る受信信号の確率にリンクすることができる。

ここで、ｐ（Ｗ＋｜ｘ）は、ｘの特定の値が与えられた場合の正のウォータマークの尤度であり、ｐ（Ｗ−｜ｘ）は、ｘの特定の値が与えられた場合の負のウォータマークの尤度であり、ｐ（ｘ｜Ｗ＋）は、正のウォータマークが与えられた場合のｘの特定の値の確率であり、ｐ（ｘ｜Ｗ−）は、負のウォータマークが与えられた場合のｘの特定の値の確率であり、ｐ（Ｗ−）は、負のウォータマークの確率であり、ｐ（Ｗ＋）は正のウォータマークの確率である。

なお、正のウォータマークを有する信号サンプルの数が負のウォータマークを有する信号サンプルの数と略々同じである場合、ｐ（Ｗ−）とｐ（Ｗ＋）との間の比率は１：１になり、式（１）は、以下のように約分される。

上の仮定は、常に真であるとは限らないが、一般的な画像フレームについて、略々妥当な仮定である。いずれの場合も、ここに定義した関数を用いて、ウォータマーク信号を効果的に検出することができた。

全ての信号サンプルがウォータマーク要素を含むウォータマークが付された画像については、ｘの特定の値が与えられた場合のウォータマークが正である確率と、ｘの特定の値が与えられた場合のウォータマークが負である確率との和は１である。したがって、以下の式が成り立つ。

ここで、式（２）に式（３）を代入する。

この式を整理すると以下のようになる。

したがって、確率生成器１１４は、尤度生成器１１２によって生成された尤度を式（７）に代入することによって、その信号サンプルにおいて正であるウォータマークの確率を算出できる。

第１及び第２の尤度関数の生成は、演算負荷が大きい。受信機１０２における画像信号の受信時に、ウォータマーク強度の最終的な推定値が直ちに提供されない場合、ウォータマーク強度推定値の受信を待って尤度関数を算出することは望ましくない。この問題を解決するために、本発明の実施の形態では、初期の推定に基づいて尤度関数を生成する。そして、単一のウォータマーク強度に基づいて、傾きを定義する線形近似を生成する。ウォータマーク強度の修正された推定値が提供されると、修正されたウォータマーク強度に線形近似の傾きを乗算し、これにより得られる積から正のウォータマークの確率を決定する。修正されたウォータマーク強度と傾きの乗算及びその後のあらゆる処理は、演算負荷が軽く、したがって、高速に演算でき、ウォータマーク検出処理の効率が高まる。

２つの尤度関数の比率は、対数の領域において、ウォータマーク強度に関して線形に変化することが見出された。したがって、２つの尤度関数の比率の対数を取り、次に、傾きを決定することによって、線形近似を生成することができる。傾きは、数学的に決定してもよく、解析的に決定してもよい。関数の傾きを数学的に決定する場合、ウォータマーク強度の２つの異なる値について関数を評価し、２つの解を結ぶ直線の傾きを決定する。上述したように、２つの尤度関数の比率を用いて、正のウォータマークの確率を決定することができる。解析的な決定を行う場合は、ウォータマーク強度に関して、尤度関数の対数の比率を区別できる。

図１２は、図８の受信信号に対応する確率生成器１１４の出力を示している。確率生成器１１４の出力は、受信信号内の各信号サンプルについて正のウォータマーク信号の確率を特定する信号である。なお、ウォータマークは、各信号サンプルに存在していることが既知であるので、所定の信号サンプルについて、負のウォータマーク信号の確率は、正のウォータマーク信号の確率から直接導出することができる。確率生成器１１４によって生成された確率は、一連のステップによって、数学的に生成された確率であってもよく、又は１つ以上の式を表す関数を実行することによって記号的に生成された確率であってもよい。

図９、図１０及び図１２のグラフを生成するために用いられた実例データ及びデータを処理するために用いられた式は、添付資料１に開示する。

図１３は、本発明の実施の形態に基づく、受信画像からウォータマークを検出する方法のフローチャートである。ステップＳ１において、局所確率算出器１００が画像信号が供給される。ステップＳ２において、受信画像信号をローパスフィルタリングする。ローパスフィルタは、受信画像信号内の高周波変化を取り除き、この結果、信号の雑音が除去される。上述したように、ウォータマーク信号は、一般に、元の画像信号より周波数が高い成分を含み、したがって、ローパスフィルタリング処理により、元の画像信号よりウォータマーク信号の方が多くフィルタリングされる傾向がある。ステップＳ２で生成されたローパスフィルタリングされた信号は、受信画像信号の各信号サンプルの局所的な平均値を表す。本発明は、特定の種類のフィルタには限定されない。ローパスフィルタという用語は、信号レベルの高周波変化を減衰させ、低周波変化を実質的に保存することのみを意味する。

ステップＳ３において、ローパスフィルタリングされた信号を受信画像信号から減算して、残差信号を生成する。残差信号は、受信画像信号に埋め込まれているウォータマーク信号の第１の推定である。なお、受信画像信号をローパスフィルタリングされた信号から減算しても同様の結果を得ることができる。ステップＳ４では、残差信号を用いて受信画像信号の標準偏差を生成する。具体的には、ステップＳ３で生成された残差信号を二乗し、これにより、正にし、次に、フィルタリングする。二乗され、フィルタリングされた残差信号は、受信画像信号の標準偏差として定義される。上述したように、他の手法を用いて受信画像信号の標準偏差を求めてもよい。

ステップＳ５において、特定の信号サンプルのウォータマーク信号強度の初期の推定値を生成する。受信信号内の各信号サンプルについて同じウォータマーク信号の推定値を用いてもよく、異なる推定値を用いてもよい。初期の推定値は、可能な限り正確であることが望ましいが、修正されたウォータマーク強度推定値を提供する実施の形態では、正のウォータマークのために生成される実際の確率は、修正された推定値に基づく。

ステップＳ６において、ウォータマーク推定器は、特定の信号サンプルについて２つの尤度関数を算出する。２つの尤度関数とは、尤度について説明する特定の信号サンプルに加えられたウォータマーク信号が正である尤度を示す尤度関数と、特定の信号サンプルに加えられたウォータマーク信号が負である尤度を示す尤度関数である。これらの尤度関数は、それぞれ、算出された局所的な平均値、算出された標準偏差及び推定されたウォータマーク強度に基づいて一般化されたガウス関数である。尤度関数は、それぞれ、信号サンプルｘの関数として、正及び負のウォータマークの尤度を記述する。

ステップＳ７においては、第１及び第２の尤度関数から、現在の信号サンプルに加えられたウォータマーク信号が正である確率を算出する。

ステップＳ８において、各画素に関する確率をデコーダの他のコンポーネントに供給し、画像内のウォータマークの検出を補助する。

図７に示すブロック一致事前確率算出器５０の動作を図１４を用いて説明する。図１４に示すように、ウォータマークが付された画像フレームの各領域と、ブロック一致事前確率算出器５０内で生成された位置合わせウォータマークの異なるウォータマークが付されたブロックとの相関を調べる。このブロックマッチング処理では、局所確率算出器１００によって生成された局所的な確率を用いる。図１４は、ウォータマークが付された画像の処理の効果を概念的に示している。矢印５０．１で示すように、エンコーダによってウォータマークが付されたコードワードブロックが加えられた領域の周りの領域内で４つのウォータマークが付された位置合わせブロックの値のそれぞれを算出する。相関の結果、その領域に加えられた可能性があるウォータマークブロックのそれぞれの確率表面が形成される。確率表面は、相関によって特定される歪みベクトルの２次元分布を提供する。各領域に対して、それぞれの可能なウォータマークブロックの相関は、各領域の４つの可能なブロックのそれぞれについて可能なウォータマークが付されたブロックの１つが存在している尤度を表す確率表面が得られるように、実行される。各領域の可能なウォータマークが付された画像ブロックのそれぞれに提供された確率表面は、チャンネル５６を介して、ブロック確率結合器７６に供給される。後述するように、ブロック確率結合器７６は、各確率表面に対応するブロック事前確率を乗算し、領域毎の確率表面の全てを加え、領域毎に１つの確率表面を生成することによって、ブロック確率表面を周辺化する（marginalise over）ように構成されている。これにより、事実上、領域毎の各可能なウォータマークブロックタイプの各確率表面は、効率的に一つにまとめられ（collapsed）、その画像フレームの推定された空間的な歪み確率を表す単一の確率表面が形成される。ブロック確率結合器（以下、歪み確率算出器という。）７６の動作を図１５に示す。

図１５に示すように、歪み確率算出器７６は、入力チャンネル６４を介して、ブロック事前確率が供給され、これを用いてウォータマークが付された画像フレームの各領域について単一の確率表面を形成する。ブロック事前確率の生成については、後に図１６を用いて説明する。なお、図１５に示すように、ブロック一致事前確率算出器５０によって提供される確率表面は、内積を求めることによってウォータマークが付された画像フレームの各領域に提供される各ブロック事前確率に結合される。図１５に示すように、各領域毎に４つの確率表面のそれぞれについて、対応する領域の対応するブロック事前確率との内積を求めることにより、単一の確率表面７６．１が形成される。この結果、確率表面は、各領域についてフレーム空間事前確率７６．２に結合され、各領域について１つの確率表面が形成され、チャンネル７０から出力される。以下、図７に示すブロック事前確率算出器５４の動作について、ブロック事前確率算出器５４の動作を概念的に説明するフローチャートを示す図１６を参照して説明する。

図７に示すように、ブロック事前確率算出器５４は、フレーム番号事前確率用のデータメモリ４７からチャンネル６６を介してフレーム番号事前確率推定値が供給される。フレーム番号事前確率は、フレームの可能なシーケンス内の各フレームを処理中の現在のフレームとする累積された推定値である。図１６に示すように、ブロック事前確率を生成するために、キーシーケンス発生器５４．１は、ウォータマークフレームを形成できる長いキーシーケンスを発生する。また、キーシーケンス発生器５４．１は、エンコーダにおいて長いキーシーケンスを発生するために用いられたキーが供給される。これにより、長いキーシーケンス５４．２がフレームウォータマーク生成器５４．３に供給される。また、フレームウォータマーク生成器５４．３は、一組のウォータマークブロック内の各ウォータマークブロックが供給され、キーシーケンス及びウォータマークブロックからウォータマークパターンを生成する。ウォータマークパターンは、キーシーケンス内で提供されるインデクスに基づいてブロックを選択し、これにより、フレームのシーケンス内の各フレームのウォータマークフレームパターンを再生することによって生成される。

この時点では、デコーダは、現在のフレームがシーケンス内のどのフレームに対応するかを知らない。なお、デコーダは、現在のフレームがシーケンス内のそのフレームである確率の連続した推定（running estimate）を維持しており、これは、データメモリ４７内で維持されているフレーム番号事前確率である。これらは、チャンネル６６を介して、ブロック事前確率算出器５４に供給される。そして、フレーム番号事前確率は、畳み込みプロセッサ５４．６の第２の入力端子に供給され、畳み込みプロセッサ５４．６には、ウォータマークが付されたフレームパターン５４．５も供給される。そして、畳み込みプロセッサ５４．６は、ウォータマークフレームパターンをフレーム番号事前確率によって提供されるそのフレームの対応する確率で畳み込み、ブロック事前確率を生成する。ブロック事前確率は、現在のフレーム内の各領域について、一組のウォータマークブロックの各可能なウォータマークブロックがその領域内に存在している確率を含む。このように、現在のウォータマークフレーム５４．７によって示すように、各領域は、行インデクスをａとし、列インデクスをｂとし、可能なウォータマークブロックの１〜４までのインデクスをｎとして、確率Ｐａｂ（ｎ）を有する。

各ウォータマークフレームパターン内におけるウォータマークが付されたブロックのスクランブリングに対応するために、ウォータマークブロック事前確率算出器５４は、スクランブラ５４．８も備える。スクランブラ５４．８は、エンコーダで用いられたスクランブリングキーに対応するスクランブリングキーが供給され、キーシーケンスをスクランブルした後、フレームウォータマーク生成器５４．３に供給する。これにより、ブロック事前確率は、各領域について、エンコーダ側で出現する順序に対応するようになる。

後述するように、フレーム番号事前確率は、デコーダにおける各繰返し毎に更新され、これにより、生成される最尤フレーム番号の推定が徐々に向上する。なお、デコーダが、ウォータマーク画像フレームを通る第１のパスを作成する際は、各確率は、等しい尤度値に設定される。そして、これらの値は、デコーダが現在のウォータマークが付されたフレームであるとみなす最尤フレームを特定するために、徐々に精度が高められる。

図１６の下側には、キーシーケンス５４．２及びフレーム番号事前確率からブロック事前確率を算出する効率的な手法を示している。これは、再生された各ウォータマークフレームパターン内における特定のウォータマークブロックの有無を表す基準マスク５４．９によってフレーム番号事前確率を畳み込むことによって実現される。ブロック事前確率は、基準マスク５４．９でフレーム番号事前確率を畳み込み、ブロック事前確率を生成することによって効率的に算出できる。これは、基準マスク５４．９が、各列について、ウォータマークが付されたパターン内及び各列内の対応する領域に、所定のシーケンス内でそのフレームのその領域内に存在している筈の特定のウォータマークブロックに対する１の確率値を提供するためである。列内の他の全ての領域は、０に設定される。

図７に示すように、ブロック一致確率は、チャンネル５６を介して、ブロック外在的算出器５２（block extrinsic calculator）に供給される。ブロック外在的算出器５２の詳細な構成を図１７に示す。図１７に示すように、ブロック一致確率は、チャンネル５６を介して供給され、図１４に示すように、現在のウォータマークが付された画像フレームの各領域に、それぞれがその領域に存在している可能性があるウォータマークブロックに関する４つの確率表面を与える。このようにして、図１７の矢印５２．３で示すように、列＝０、行＝０の第１の領域に対して４つの確率表面５２．２が与えられ、これに対応して、各領域は、４つの確率表面を提供する。また、ブロック外在的算出器５２は、チャンネル６２を介して、現在のフレームについて、歪み確率算出器７６から出力チャンネル７０に出力された空間的なフレーム事前確率から得られる一組の空間外在的確率（spatial extrinsic probabilities）が供給される。フレーム空間事前確率（frame spatial prior probability）から空間外在的確率を生成する手法については後に説明する。図１７に示すように、空間外在的確率は、ウォータマークフレームの各領域に対して、その領域の歪みベクトルの２次元分布を表す確率表面を与える。したがって、確率表面は、その領域内で生じている可能性がある歪みの分布を提供する。したがって、矢印５２．４で示すように、列＝０、行＝０の第１の領域は、単一の確率表面（ｐｓ（０，０））を提供し、これに対応して、各領域は、対応する確率表面を提供する。

ブロック外在的算出器５２は、ウォータマークフレームの各領域に関して、可能性がある４つのウォータマークブロックのそれぞれの値についての確率を生成するように構成されている。各領域の各ウォータマークブロックの確率値は、その領域が、現在の画像フレーム内の可能なウォータマークブロックの集合からのウォータマークブロックのインデクス番号を含んでいる尤度である。これらはブロック外在的確率である。ブロック外在的確率は、空間外在的確率によって各領域について提供された確率表面と、各領域の各可能なウォータマークブロックの確率表面との間の内積を算出することによって算出される。内積は、乗算と加算を逐一行い、各可能なウォータマークブロックについて単一の確率値を生成することによって算出される。このように、ブロック外在的確率は、各領域について、確率値５２．６として表現され、また、これは、現在のフレームについて、対応する領域に関して、ブロック外在的確率５４．８のフレームによって、表すことができる。そして、ブロック外在的確率は、図７に示すように、チャンネル６０を介して、フレーム番号外在的確率算出器９０に供給される。以下、フレーム番号外在的確率算出器９０の詳細な構成を図１８を用いて説明する。

図１８に示すように、ブロック外在的確率は、チャンネル６０を介して、畳み込みプロセッサ９０．１の１つの入力端子に供給される。畳み込みプロセッサ９０．１の他の入力端子には、フレームシーケンス内の各フレームについて、そのフレーム内の領域内に、一組のブロックのうちのブロックの１つが存在している確率を表す存在確率値（presence probability values）が供給される。このように、フレーム番号外在的確率算出器９０は、各フレームについてウォータマークフレームパターンを生成するために、図１５に示す対応する要素を備える。すなわち、フレーム番号外在的確率算出器９０は、キーシーケンス再発生器、スクランブラ、ウォータマークブロック発生器及びフレームウォータマーク生成器を備え、所定の順序でウォータマークフレームのシーケンスを生成し、このシーケンスから存在確率を導出する。したがって、例えば、フレームｎ９０．２について、各領域は、４つの可能なウォータマークブロックの１つを有する。したがって、列＝０、行＝０の領域について示すように、フレームｎについて、ウォータマークブロック４が存在し、ウォータマーク４の確率の値は１になり、他のウォータマークブロックの確率は０になる。このように、各フレームに関して、各領域の対応する存在確率が生成される。存在確率は、ブロック外在的確率によって畳み込まれ、各フレームについて、現在のフレームがシーケンス内のそのフレームである確率が提供される。このようにして図１８に示すように、フレームｎのフレーム番号外在的確率は、存在確率に対応するブロック外在的確率を乗算することによって算出される。これにより、その領域について存在しているウォータマークブロックのブロック外在的確率を効果的に選択でき、選択されたブロック外在的確率のそれぞれを互いに乗算することにより、現在のフレームがシーケンス内のそのフレームである確率が算出される。

図１８の下側には、フレーム外在的確率を計算するより効率的な手法を示している。図１８に示すように、ブロック外在的確率の対数を取り、図１５に示す構成と同じ構成によって生成されたキーシーケンスの基準マスク５４．９でこれらの対数を畳み込むことによって、フレーム外在的確率を効率的に算出できる。基準マスク５４．９によって選択されたブロック外在的確率のそれぞれを加算してそのフレームの確率の対数を生成し、指数を取ることによって、そのフレームのフレーム番号外在的確率を演算的に効率的に算出することができる。このようにしてフレーム番号外在的確率算出器９０は、チャンネル８２を介してフレーム番号確率の現在の推定値、すなわち、現在のフレームが、フレームの所定のシーケンス内のそのフレームである確率を有する現在の推測を出力する。そして、フレーム外在的確率は、フレーム番号事後確率算出器８４に供給される。

フレーム番号事後確率算出器８４は、次のフレーム番号事前確率算出器８７と共に、データメモリ４８に保存される次のフレーム番号事前確率を生成する。そして、次のフレーム番号事前確率は、デコーダにおける次の繰返し処理のために、次のフレーム事前確率のデータメモリ４７に供給される。以下、フレーム番号事後確率算出器８４及び次のフレーム番号事前確率算出器８７の動作を図１９を用いて説明する。

フレーム番号事後確率算出器８４及び次のフレーム番号事前確率算出器８７は、比較的単純な動作を行い、フレーム番号外在的確率算出器９０によって生成された現在のフレーム番号外在的確率に、チャンネル６６を介して供給されるフレーム番号事前確率を乗算することによって、フレーム事後確率を生成する。これらは、チャンネル８６に出力される。すなわち、図１９に示すように、乗算器は、フレーム外在的確率内のフレームｎの値に事前確率におけるフレームｎの値を乗算する逐一の乗算を実行し、フレーム番号事後確率について、フレームｎの値を生成する。次のフレームのフレーム番号事前確率を生成するためには、デコーダにおいて処理される次のフレームに対応する必要がある確率の形式を反映するように、チャンネル８６を介して供給されるフレーム事後確率を、単に、循環的に１フレーム分シフトすればよい。このように、図２０に示すように、フレーム事後確率は、チャンネル８６を介して受け取られ、確率シフトプロセッサ８７．１によって１フレーム分シフトされ、次のフレーム番号事前確率が生成され、チャンネル８８を介して、次のフレーム番号事前確率用のデータメモリ４８に供給される。図７に示すように、次のフレームについては、次のフレーム番号事前確率がシフトされ、チャンネル８９を介して、フレーム番号事前確率用のデータメモリ４７に保存される。

図７に示すように、フレーム空間事前確率は、チャンネル７０を介して空間事前確率生成器７１に供給され、空間事前確率生成器７１は、現在のウォータマークが付された画像フレームの各領域内の歪みを推定するために使用される空間事前確率を生成する。以下、空間事前確率生成器７１の動作について、図２１を用いて説明する。

図７及び図２１に示すように、空間事前確率生成器７１は、チャンネル７２を介して図６、７に示すデータメモリ４５から、空間事前確率の累積された推定値が供給される。累積された空間事前確率は、空間アルファｔ（spatial alpha t）と呼ばれ、処理されるウォータマークが付されたフレームのそれぞれに亘って累積された各領域の確率表面の累積された推定値を表す。このように、現在の空間事前確率は、フレームのシーケンス内において前の全てのフレームについて生成された空間事前確率に基づいて生成される。

上述のように、空間事前確率生成器７１は、チャンネル７０を介して、歪み確率算出器７６からフレーム空間事前確率が供給される。空間事前確率生成器７１は、空間事前確率を算出するために、各領域の２つの確率表面の逐一の乗算を実行する。各領域の確率表面からなる空間事前確率を算出するために用いられる一方の確率表面は、各領域の空間事前確率であり、他方の確率表面は、対応する領域の空間アルファｔ確率表面である。空間事前確率を持続して生成できるように、チャンネル７４上の空間事前確率出力を空間事前確率フィルタ７８によってフィルタリングし、次のフレームの空間アルファｔを生成する。フィルタリングされた空間事前確率は、チャンネル８０に出力され、データメモリ４６に保存される。このように、空間事前確率フィルタ７８は、遷移フィルタを形成しており、生成する尤度に関する新たな確率をフィルタリングする。フィルタの同様の関数としては、デルタ関数又はガウス関数がある。

次のフレーム空間アルファ確率は、出力データメモリ４６からチャンネル９１を介して入力データメモリ４５に供給され、次のフレームの処理が準備される。

図７に示すように、空間事前確率は、チャンネル７４を介してマルコフ歪みプロセッサ５８に供給され、マルコフ歪みプロセッサ５８は、空間事前確率と空間外在的確率から空間事後確率を生成する。空間外在的確率は、空間事後確率を算出する際に生成される。以下、マルコフ歪みプロセッサ５８及び空間事後確率算出器９２について、図２２を用いて説明する。

図２２に示すように、各領域の確率表面を含む空間事前確率は、チャンネル７４を介して、前方確率プロセッサ（forward probability processor）２０４及び後方確率プロセッサ（backward probability processor）２０６に供給され、前方確率プロセッサ２０４及び後方確率プロセッサ２０６は、空間事前確率を行毎に処理する。前方確率プロセッサ２０４は、各行について、他の全ての行内の対応する確率に対して、各領域の確率表面内の各確率の精度を高めるように構成されている。この結果、その行の他の全ての確率表面から独立して、空間事前確率の精度が高められる。これに対応して、後方確率プロセッサは、対応する領域から各行に沿って後ろに戻る各行の確率表面内の各確率表面に関して確率の精度を高める。前方確率プロセッサ２０４及び後方確率プロセッサ２０６の出力は、外在的確率算出器２１９及び結合器２１２に供給される。結合器２１２は、前方確率プロセッサ２０４によって精度が高められた空間事前確率と、後方確率プロセッサ２０６によって精度が高められた空間事前確率との乗算を実行し、更に精度が高められた空間事前確率を生成する。更に精度が高められた空間事前確率は、第２の前方確率プロセッサ２０８及び第２の後方確率プロセッサ２１０に供給される。第２の前方確率プロセッサ２０８及び第２の後方確率プロセッサ２１０は、第１の前方確率プロセッサ２０４及び第１の後方確率プロセッサ２０６と同様に動作するが、第２の前方確率プロセッサ２０８及び第２の後方確率プロセッサ２１０は、列毎に空間事前確率を処理する。すなわち、前方確率プロセッサ２０８は、各列の前の全ての領域について対応する確率に関して各確率を適応化することによって、空間事前確率の各確率表面の精度を高める。同様に、後方確率プロセッサ２１０は、各列の後ろ、すなわち下の各確率表面の精度を高める。

第２の前方確率プロセッサ２０８及び第２の後方確率プロセッサ２１０によって空間事前確率が処理された後、精度が高められた空間事前確率は、空間外在的確率算出器２１９に供給される。空間外在的確率算出器２１９は、各空間事前確率の精度が高められたバージョンを結合し、出力チャンネル６２に各領域の空間外在的確率を出力する。そして、この空間外在的確率は、図１７を用いて説明したように、ブロック外在的算出器５２によって使用される。また、空間外在的確率は、チャンネル６２を介して、空間事後確率算出器９２にも供給される。乗算器９２．１は、空間外在的確率が供給され、空間外在的確率に元の空間事前確率を乗算し、各領域について結合された確率表面を形成する。そして、選択器９２．２は、乗算器９２．１が生成した確率表面から各領域の最尤歪みベクトルを選択し、空間事後確率を生成し、チャンネル３９から出力する。空間事後確率は、処理されるビデオシーケンスの現在のフレームの現在の繰返しにおいて、各領域の歪に関する最良の推測である。図２２に示すマルコフ歪みプロセッサの動作のより詳細な説明は、添付書類２に開示する。

以下、図２３及び図１８を用いて、図６に示すペイロードデータの検出の動作を説明する。

図６に示すように、受信されたウォータマーク画像フレームは、ブロック一致事前確率算出器４３に供給される。図７に示すブロック一致事前確率算出器５０と同様に、ペイロードブロック発生器４４が生成する２次元ペイロードブロックは、図２３に示すように、ウォータマークが付された画像フレームの各領域と相関される。このようにして、図２３に示すように、現在のフレームのウォータマーク画像フレームは、正のウォータマークブロック及び負のウォータマークブロックと相関され、各領域について、その領域内の正のウォータマーク及びその領域内の負のウォータマークの確率表面が生成される。そして、これらの確率表面のそれぞれは、接続チャンネル４３．１を介して、ペイロード確率算出器（以下、ブロック事前確率算出器ともいう。）４０に供給される。ブロック事前確率算出器４０の動作を図２４に示す。

図２４に示すように、空間事後確率は、チャンネル３９を介して、結合器４０．１の第１の入力端子に供給され、ブロック一致事前確率は、接続チャンネル４３．１を介して、結合器４０．１の第２の入力端子に供給される。ブロック事前確率算出器４０は、歪み確率算出器７６に対応する処理を実行するが、ブロック事前確率算出器４０は、各領域について、正又は負のウォータマークが付されたブロックのそれぞれの確率表面に空間事後確率を組み合わせる。これは、確率を乗算し、表面内の各確率値を加算し、各領域について、その領域が正のウォータマークを含む確率及びその領域が負のウォータマークを含む確率を算出することによって実行される。そして、逆スクランブリングプロセッサによって、エンコーダから知らされたスクランブリングキーを用いて、これらの確率値を逆スクランブリングし、軟判定エラー訂正デコーダ（soft error correction decoder）に供給する。

軟判定エラー訂正デコーダ４２は、各領域の正の確率値及び負の確率値を用いて、軟判定復号処理を実行し、ペイロードデータワードを再生する。エラー訂正符号化に精通している技術者には明らかであるが、軟判定復号は、ペイロード内のエラーを、そのペイロードを検出するのに有効な信号対雑音比において訂正するできるという観点からは、かなり優れている。このように、本発明は、検出及び復号処理を通して、各領域内の正及び負値の確率の尤度値を維持することによって、軟判定復号を用いることができ、したがって、より正確にペイロードデータワードを再生できるという利点を提供する。ペイロードデータワードは、チャンネル４２．１に出力される。

添付資料１：局所的な確率の算出の具体例
図２７及び図２８Ａ〜図２８Ｃは、図９、図１０及び図１２のグラフを作成する際に用いた実例データ及び式を含む表を示している。具体的には、図２７の表は、各受信信号サンプルについての正のウォータマークの最終的な確率に関する実例データと、中間的及び最終的な演算の結果を示している。表の各行は、受信信号サンプルに対応している。

列Ａは、局所的な平均値及び局所的な標準偏差の生成に用いたフィルタを定義している。

列Ｂは、元の画像を定義している（なお、これらの値は、デコーダにとって既知ではない）。

列Ｃは、元の画像に加えられたウォータマークの強度及び極性を定義している（なお、これらの値は、デコーダにとって既知ではない）。

列Ｅは、ウォータマーク検出が行われる受信画像を定義している。

列Ｇは、局所的な平均信号である。

列Ｈは、残差信号である。

列Ｉは、二乗された残差信号である。

列Ｊは、局所的な標準偏差である。

列Ｌ及び列Ｍは、（それぞれ正及び負のウォータマークの）算出された尤度である。

列Ｎ及び列Ｏは、正のウォータマークの確率を生成する際に用いられた中間の計算結果である。

列Ｐは、受信信号値が与えられた場合の、算出された、ウォータマークが正である確率である。

図２８Ａ〜図２８Ｃの表は、図２７の値を生成するために用いた式を含んでいる。図２８Ａ〜２８Ｃの行及び列のラベルは、図２７の行及び列のラベルに対応している。

添付資料２：マルコフ歪みプロセッサ
以下、図７及び図２２に示すマルコフ歪みプロセッサをより詳細に説明する。各画像ブロックの行ｂ及び列ｎにおける空間事前確率は、歪みベクトルの観測された確率γ_ｂ，ｎの分布を提供する。各ブロックの歪みベクトルの観測された確率分布は、元の画像のブロックの位置に対する、ウォータマークが付された画像フレーム内における画像ブロックの可能なシフトの尤度を表す。そして、歪みベクトルの観測された確率分布は、前方確率プロセッサ（以下、前方確率推定器という。）２０４及び後方確率プロセッサ（以下、後方確率推定器という。）２０６によって処理される。

後述するように、歪みベクトルは、所定のパターンに基づいて処理され、これにより、それぞれ推定された前方及び後方確率の前の及び後の推定値に応じて、各画像ブロックについて、歪みベクトルの推定された前方確率分布及び歪みベクトルの推定された後方確率分布を算出する。図２２に示す例示的な実施の形態においては、この所定のパターンとは、画像ブロックを行として処理した後、次に列として処理するパターンである。これにより、行内の画像ブロックを処理した後に各画像ブロック内の歪みベクトルの確率を決定し、次に、列内の画像ベクトルを処理した後に精度が高められた歪みベクトルを生成するツーパス推定（two-pass estimate）が実行される。なお、他の実施の形態においては、他の所定のパターン及び単一のパスのみを用いて、各ブロックの最尤歪みベクトルを生成してもよい。

そして、画像ブロックについて観測された歪みベクトルの確率γ_ｂ，ｎは、前方確率推定器２０４及び後方確率推定器２０６に供給される。次章で詳細に説明するように、前方確率推定器は、それぞれの画像ブロック内の歪みベクトルの推定された確率分布を生成する。推定された前方確率分布は、各行内において、行に沿って前方に進む方向における前の画像ブロックについて既に算出された画像ブロックから前に算出された推定された確率から算出される。行内の各ブロックについて、歪みベクトル推定器によって算出された観測された歪みベクトルの確率γ_ｂ，ｎは、行に沿って進む方向における前の画像ブロックから算出された、現在の決定された推定された前方確率に混合される。すなわち、推定された前方確率は、行の前のブロックから再帰的に計算される。この処理について、図２５を用いて更に説明する。

図２５は、第１の３つの画像ブロックについて、第１の３つの前方確率歪みベクトルを再帰的に算出する前方確率推定器２０４の例示的動作を概略的に示している。図６に示すように、推定された前方確率α_ｂ，１、α_ｂ，２、α_ｂ，３は、画像の行内の第１の３つのブロックについて決定された対応する推定された歪みベクトルの確率γ_ｂ，１、γ_ｂ，２、γ_ｂ，３から算出される。図２４に示すように、各推定された前方確率は、行における前の画像ブロックから推定された確率に基づいて再帰的に算出される。このように、例えば、第２の画像ブロックの推定された前方確率α_ｂ，２は、乗算器２２０によって、第１の画像ブロックの推定された歪みベクトルの確率γ_ｂ，１に第１の画像ブロックのための推定された前方確率α_ｂ，１を乗算することにより算出される。その後、行ｂにおける前の画像ブロックの推定された前方確率α_{ｂ，ｎ−１}に、前の画像ブロックの推定された歪みベクトルの確率γ_{ｂ，ｎ−１}を乗算することによって、後の推定された前方確率α_ｂ，ｎを決定する。このようにして、各推定された前方確率分布は、前の画像ブロックからの推定された確率分布に基づいて再帰的に算出される。

各行の最初の画像ブロックについては、推定された前方確率α_ｂ，１は、それぞれの歪みベクトルの確率が同様になるように設定される。

図２５に示すように、各推定された前方確率α_ｂ，ｎは、確率分布によって推定された前方確率を時間に関して畳み込むフィルタを介して供給される。確率分布は、推定された前方確率α_ｂ，ｎがフィルタリングされた後、推定された前方確率α_ｂ，ｎがバイアスされ又は変更されるように提供される。一具体例においては、この確率分布は、ガウス分布である。実際には、前方確率分布は、二次元ガウス分布確率分布によって修正され、この結果、その歪みベクトルが出現する相対的な尤度に関して、歪みベクトルの前方確率分布が表現される。

これに対応する後方確率推定器２０６の動作の具体例を図７に示す。後方確率推定器２０６は、図２６に示す前方確率推定器２０４と略々同様に動作するが、但し、後方確率推定器２０６では、各推定された後方確率_ｂ，ｎは、乗算器２２４によって後のブロックの後の推定された確率β_{ｂ，ｎ＋１}に、後のブロックについて観測された推定された歪みベクトルの確率γ_{ｂ，ｎ＋１}を乗算することによって再帰的に算出される。このように、後方確率推定器２０６は、各後の推定された確率が、その後の推定された歪みベクトルから再帰的に算出される点を除いて、前方確率推定器２０４と同様に動作する。各後の推定された確率は、前方確率推定器２０４と同様に、その推定された確率が出現する可能性に基づいて、推定値をバイアスするフィルタ２２６を用いて、確率分布によってフィルタリングされる。ここでも、確率分布の具体例としてガウス分布を用いてもよい。

各行の最後の画像ブロックについては、推定された後方確率β_ｂ，Ｌは、それぞれの歪みベクトルの確率が同様になるように設定される。

図２０及び図２１に示し、説明したように、第２の前方確率プロセッサ２０８及び第２の後方確率プロセッサ２１０によって、推定された前方及び後方歪み確率のそれぞれにガウス分布確率分布を適用する。各画像ブロックについて、前方及び後方確率分布は、歪みベクトルの２次元的分布を提供する。推定された前方及び後方確率をフィルタリングすることにより、ガウス分布に基づいて出現するその値の可能性によって歪みベクトル値がバイアスされる。実際には、確率分布は、二次元ガウス分布確率分布によって修正され、この結果、その歪みベクトルが出現する相対尤度に関して歪みベクトルの確率分布が表現される。

以下の表現は、推定された歪みベクトル、推定された前方確率歪み、及び推定された後方確率歪みの算出を数学的に定義し、ここで、ｐ（）は、動きベクトルｂによるｎ番目のブロックの観測された確率Ｏ_ｎのためのベクトルφ_ｎの観測された確率である。

そして、画像ブロックを行毎に処理した後に、結合器２１２は、歪みベクトルの確率γ_ｂ，ｎ及び前方及び後方確率歪みの観測された確率α_ｂ，ｎ、β_ｂ，ｎの分布を組み合わせ、各画像ブロックについて、最尤歪みベクトル確率γ’_ｂ，ｎを算出する。結合器２１２は、推定された歪みベクトルの確率γ_ｂ，ｎと、前方確率α_ｂ，ｎの分布と、後方確率β_ｂ，ｎの分布とを乗算して最尤歪みベクトル確率γ’_ｂ，ｎを算出する。

本発明の範囲から逸脱することなく、ここに説明した実施の形態を様々に変更することができる。例えば、歪み及びフレーム同期検出のために、４つの可能なウォータマークブロックを用いたが、如何なるブロックを用いて、ブロックの所定の集合を構成し、このウォータマークを生成してもよいことは明らかである。更に、具体例では、９つのみの領域を含むフレームを示したが、実際には、幾つの領域を用いて、各画像フレームで符号化されるビット数を照合してもよいことは明らかである。

コードワードを画像に埋め込む符号化装置のブロック図である。 図１に示す装置の一部を構成する逆変換プロセッサのブロック図である。 図１に示す符号化データ処理装置の動作の概略を示す図である。 図１に示すウォータマークコードワード発生器の動作の一部を説明する図である。 元の画像と、歪みが生じ、ここから歪みを取り除いて、画像内に存在するコードワードを検出する必要がある画像のウォータマークが付されたバージョンの具体例を示す図である。 ウォータマークが付された画像によって運ばれたペイロードデータを検出するデータ検出プロセッサのブロック図である。 歪み確率ベクトル及びフレーム同期に関する演算を行う図６に示すブラインド位置合わせデコーダのブロック図である。 本発明の実施の形態に基づく局所確率算出器の構成を示すブロック図である。 図８の受信機及び局所平均生成器の動作を説明するグラフ図である。 図８の残差生成器及び局所標準偏差生成器の動作を説明するグラフ図である。 図８のウォータマーク強度推定器及び尤度生成器の動作を説明するグラフ図である。 図８の確率生成器の出力を示す図である。 本発明の実施の形態に基づく、受信した画像内の局所的なウォータマーク確率を生成する処理のフローチャートである。 図７に示すブロック一致算出器の動作を説明する図である。 図７に示す歪み確率算出器の動作を説明する図である。 図７に示すブロック事前確率算出器の動作を説明する図である。 図７に示すブロック外在的確率算出器の動作を説明する図である。 図７に示すフレーム番号外在的算出器の動作を説明する図である。 図７に示すフレーム事後確率算出器の動作を説明する図である。 図７に示す次のフレームの空間アルファ算出器の動作を説明する図である。 図７に示す空間事前確率算出器の動作を説明する図である。 図７に示すマルコフ歪みプロセッサの動作を説明する図である。 図６に示すブロック一致事前確率算出器の動作を説明する図である。 図６に示す空間事後確率算出器の動作を説明する図である。 図２２に示す前方確率推定器のブロック図である。 図２２に示す後方確率推定器のブロック図である。 図９、図１０及び図１２のグラフを作成する際に用いた実例データの表を示す図である。 図９、図１０及び図１２のグラフを作成する際に用いた、図２７に示す値を求めるために用いた式を示す図である。 図２８Ａの続きである。 図２８Ｂの続きである。

Claims (10)

1. それぞれが、ウォータマークコードワード係数値が加算された画像の画素値を表す複数の信号サンプルを含むウォータマークが付された画像を表す受信画像信号内のウォータマークコードワードを検出するウォータマーク検出方法において、
   上記受信画像信号をローパスフィルタリングして、各信号サンプルの局所的な平均値を生成するステップと、
   上記受信画像信号から上記局所的な平均値を減算して、各信号サンプルの残差からなる残差信号を生成するステップと、
   上記残差信号から各信号サンプルの局所的な標準偏差を決定するステップと、
   各信号サンプルに対して、上記受信画像の信号サンプルにウォータマークコードワード係数が加算された推定された振幅を与えるウォータマーク強度値を生成するステップと、
   各信号サンプルについて、上記局所的な平均値とウォータマーク強度値との和によって定義される平均と、上記局所的な標準偏差によって定義される標準偏差とを含み、該信号サンプルに埋め込まれたウォータマークコードワード係数が正である尤度を記述する第１のガウス尤度関数を生成するステップと、
   各信号サンプルについて、上記局所的な平均値とウォータマーク強度値との差によって定義される平均と、上記局所的な標準偏差によって定義される標準偏差とを含み、該信号サンプルに埋め込まれたウォータマークコードワード係数が負である尤度を説明する第２のガウス尤度関数を生成するステップと、
   上記第１及び第２のガウス尤度関数から算出された、各信号サンプルに加算されたウォータマークコードワード係数が正又は負である確率に基づいて、上記ウォータマークが付された受信画像内のウォータマークを検出するステップとを有するウォータマーク検出方法。
2. 上記局所的な標準偏差を決定するステップは、
   上記残差信号を二乗し、二乗信号を生成するステップと、
   上記二乗信号をローパスフィルタリングして、フィルタリングされた二乗信号を生成するステップと、
   フィルタリングされた二乗信号の平方根を求めて、各信号サンプルの局所的な標準偏差値からなる標準偏差信号を生成するステップとを有することを特徴とする請求項１記載のウォータマーク検出方法。
3. 上記第１及び第２のガウス尤度関数からウォータマーク強度の関数として、信号サンプルに組み込まれているウォータマーク値が正である確率を記述する線形近似を生成するステップと、
   ウォータマーク強度の修正された推定値を生成するステップと、
   上記ウォータマーク強度の修正された推定値に上記線形近似を適用するステップとを更に有する請求項１又は２記載のウォータマーク検出方法。
4. 上記第１及び第２のガウス尤度関数は、形状パラメータを有する一般化されたガウス関数であり、
   上記第１及び第２のガウス尤度関数を生成するステップは、
   ウォータマーク検出性能を高めるために、各信号サンプル毎に上記一般化されたガウス関数の形状パラメータを適応化するステップを更に有することを特徴とする請求項１乃至３いずれか１項記載のウォータマーク検出方法。
5. それぞれが、ウォータマークコードワード係数値が加算された画像の画素値を表す複数の信号サンプルを含むウォータマークが付された画像を表す受信画像信号内のウォータマークコードワードを検出するウォータマーク検出装置において、
   上記受信画像信号をローパスフィルタリングして、各信号サンプルの局所的な平均値を生成する局所平均値生成器と、
   上記受信画像信号から上記局所的な平均値を減算して、各信号サンプルの残差からなる残差信号を生成する残差信号生成器と、
   上記残差信号から各信号サンプルの局所的な標準偏差を決定する局所標準偏差生成器と、
   各信号サンプルに対して、上記受信画像の信号サンプルにウォータマークコードワード係数が加算された推定された振幅を与えるウォータマーク強度値を生成するウォータマーク強度推定器と、
   各信号サンプルについて、上記局所的な平均値とウォータマーク強度値との和によって定義される平均と、上記局所的な標準偏差によって定義される標準偏差とを含み、該信号サンプルに埋め込まれたウォータマークコードワード係数が正である尤度を記述する第１のガウス尤度関数を生成し、及び各信号サンプルについて、上記局所的な平均値とウォータマーク強度値との差によって定義される平均と、上記局所的な標準偏差によって定義される標準偏差とを含み、該信号サンプルに埋め込まれたウォータマークコードワード係数が負である尤度を説明する第２のガウス尤度関数を生成する尤度生成器と、
   上記第１及び第２のガウス尤度関数から算出された、各信号サンプルに加算されたウォータマークコードワード係数が正又は負である確率に基づいて、上記ウォータマークが付された受信画像内のウォータマークを検出するウォータマーク検出器とを備えるウォータマーク検出装置。
6. 上記局所標準偏差生成器は、上記残差信号を二乗し、二乗信号を生成し、上記二乗信号をローパスフィルタリングして、フィルタリングされた二乗信号を生成し、フィルタリングされた二乗信号の平方根を求めて、各信号サンプルの局所的な標準偏差値からなる標準偏差信号を生成することを特徴とする請求項５記載のウォータマーク検出装置。
7. 上記尤度生成器は、上記第１及び第２のガウス尤度関数からウォータマーク強度の関数として、信号サンプルに組み込まれているウォータマーク値が正である確率を記述する線形近似を生成し、
   上記ウォータマーク強度推定器は、ウォータマーク強度の修正された推定値を生成し、
   上記ウォータマーク検出器は、上記ウォータマーク強度の修正された推定値に上記線形近似を適用することを特徴とする請求項５又は６記載のウォータマーク検出装置。
8. 上記第１及び第２のガウス尤度関数は、形状パラメータを有する一般化されたガウス関数であり、
   上記尤度生成器は、ウォータマーク検出性能を高めるために、各信号サンプル毎に上記一般化されたガウス関数の形状パラメータを適応化することを特徴とする請求項５乃至７いずれか１項記載のウォータマーク検出装置。
9. データ処理装置にロードされて、該データ処理装置に請求項１乃至４いずれか１項記載のウォータマーク検出方法における各ステップを実行させるためのプログラム。
10. 請求項９記載のプログラムを記録した、コンピュータにより読取可能な記録媒体。

Images