JP4793856B2 - 画像スクランブル装置および画像デスクランブル装置 - Google Patents

Description

本発明は、画像スクランブル装置および画像デスクランブル装置に係り、特に、予測符号化方式で符号化された画像データのスクランブルおよびデスクランブルに好適な画像スクランブル装置に関する。

テレビ放送やインターネットなどで静止画像や動画像を配信するシステムでは、特定契約者のみが閲覧可能なように、静止画像や動画像にスクランブルをかけることが一般的に行われている。近年、デジタルコンテンツの普及により、従来のアナログ信号に対するスクランブルとは別に、特許文献１では、デジタル信号にスクランブル処理を行う技術が提案されている。

一方、デジタル画像の符号化方式は、対象フレーム中で隣接する画素間の相関性を利用するフレーム内符号化と、動画像中で連続するフレーム間の相関性を利用するフレーム間符号化とに分類され、近年では、フレーム内符号化とフレーム間符号化とを巧みに組み合わせて圧縮効果を上げる技術が研究されている。また、フレーム内符号化の符号化効率をさらに向上させる方法として、隣接するブロックの特徴に基づいて予測符号化を行なうフレーム内予測符号化も提案されている。

特許文献２では、次世代動画像符号化方式のひとつであるH.264/AVC（Advanced Video Coding）のフレーム内予測符号化において、各フレームを４×４画素サイズもしくは１６×１６画素サイズのブロック（マクロブロック）に分割してブロックごとに符号化処理を施し、符号化しようとする注目ブロックに隣接する画素を用いて予測画像を生成し、その予測画像と原画像との差分値を変換・量子化することで圧縮効率を向上させている。フレーム内予測で用いられる予測方法は１種類ではなく、その予測方向に応じて９種類が用意されている。
特開２００１−２７５１１１号公報 特開平２００５−２５２６７９号公報

デジタル画像に対するスクランブルは、マクロブロックに所定のデータ処理を行って符号化データに変更を加えることにより行われ、デスクランブルは、その逆に前記変更された符号化データを元に戻すことにより行われる。

一方、スクランブル処理に関しては、画像の全体ではなく、図８，９に一例を示したように、その一部分のみにスクランブル処理を行いたいという要求がある。しかしながら、予測符号化された画像データのスクランブルにおいて、予測符号化の影響を考慮して画像の一部分のみにスクランブルを施す技術は未だ確立されていない。また、画像の一部分のみにスクランブルを施すことができたとしても、このスクランブルを正確に解除する技術も未だ確立されていない。

本発明の目的は、上記した従来技術の課題を解決し、予測方式で符号化された画像データの所望範囲のみにスクランブル／デスクランブルを選択的に実施できる画像スクランブル／デスクランブル装置を提供することにある。

本発明によれば、以下のような効果が達成される。
(1)本発明の画像スクランブル装置によれば、画像データのフレームが予測符号化された際の予測符号化構造がマクロブロック単位で解析されるので、予測符号化方式で圧縮された画像データであっても、所望の一部分のみにスクランブルを選択的に施せるようになる。
(2)本発明の画像スクランブル装置によれば、所望のスクランブル範囲へのスクランブルがスクランブル範囲外へ及ぼす影響が解析され、当該スクランブル範囲外へスクランブルの影響が及ばないようにできるので、予測符号化方式で圧縮された画像データであっても、所望の一部分のみに任意の形状でスクランブルを選択的に施せるようになる。
(3)本発明の画像デスクランブル装置によれば、画像データのフレームが予測符号化された際の予測符号化構造がマクロブロック単位で解析されるので、予測符号化方式で圧縮された画像データの一部分に施されたスクランブルを正確に解除できるようになる。
(4)本発明の画像デスクランブル装置によれば、デスクランブル範囲へのデスクランブルがデスクランブル範囲外へ及ぼす影響が解析され、当該デスクランブル範囲外へデスクランブルの影響が及ばないようにできるので、予測符号化方式で圧縮された画像データの一部分に任意の形状で施されたスクランブルを正確に解除できるようになる。
(5)本発明の画像スクランブル／デスクランブル装置によれば、画像スクランブル装置が実施したスクランブル用のデータ処理の内容（スクランブル鍵情報）が画像デスクランブル装置へ通知されるので、画像デスクランブル装置では、当該通知されたデータ処理内容に基づいてデスクランブルを簡単かつ正確に実施できるようになる。

以下、図面を参照して本発明の最良の実施の形態について詳細に説明する。図１は、本発明の第１実施形態に係る画像スクランブル装置１の主要部の構成を示した機能ブロック図であり、予測符号化方式により符号化圧縮された画像データが入力されると、スクランブル対象として指定されたフレームの所定範囲にスクランブルを選択的に実行して後段の処理系へ転送する。

図１において、処理フレーム抽出部１０は、スクランブル対象のフレームを画像データから抽出して画像記憶部１１および予測解析部１２へ転送すると共に、スクランブル対象外のフレームは後段の処理系へ転送する。予測解析部１２は、抽出されたフレームの予測符号化構造を解析し、後に詳述するように、スクランブル範囲内の各ブロックを、当該各ブロックが予測符号化された際の予測方向を解析し、その解析結果をスクランブル処理部１３へ提供する。スクランブル処理部１３は、前記予測解析部１２から通知された解析結果に基づいて、所定のスクランブル範囲内の全てのブロックに予測の影響が及ぶように、スクランブル範囲内の一部のブロックにスクランブル用の第１データ処理を実行する。

図２は、前記画像スクランブル装置１におけるスクランブルの手順を示したフローチャートであり、ここでは、例えばH.264/AVCのように、フレーム内予測符号化されたフレームとフレーム間予測符号化されたフレームとを含む画像データのスクランブルを例にして説明する。

ステップS１では、予測符号化された１フレーム分の符号化データが処理フレーム抽出部１０に取り込まれる。ステップS２では、前記処理フレーム抽出部１０において、当該フレームがスクランブル対象のフレームであるか否かが判定される。本実施形態では、フレーム内予測符号化されたフレームがスクランブル対象と判定され、フレーム間予測符号化されたフレームはスクランブル対象外と判定される。

スクランブル対象のフレームと判定されれば、画像記憶部１１および予測解析部１２へ当該フレームが転送された後にステップS３へ進む。これに対して、スクランブル対象外のフレームと判定されれば、後述するステップS６へ進む。ステップS３では、前記スクランブル対象のフレームが画像記憶部１１に格納される。ステップS４では、予測解析部１２において前記フレームの予測符号化構造が解析される。

図３は、前記予測解析部１２における予測符号化構造の解析結果の一例を模式的に表現した図である。フレーム内予測符号化方式では、画素データがマクロブロック(MBij)単位で予測符号化され、その際の予測方向がMBごとに記録されている。図３に示した解析結果では、全てのMBの予測方向が右向きである。すなわち、左右に隣接する一対のMBのうち、右側のMBは左側のMBの予測符号化データに基づいて予測符号化されるので、右側のMBは左側のMBの予測の影響を受けることになる。ステップS５では、この予測符号化構造の解析結果に基づいて、スクランブル範囲内の一部のMBの符号化データにスクランブル用のデータ処理（第１データ処理）が実行される。

図４は、フレーム内予測方式で符号化されたMBの符号化データ列の一部を書き換えることで所定範囲にスクランブルが施される様子を模式的に示した図である。同図(a)に示した各MBの符号化データは、基準MB(MB0)を始点とした差分値に変換されてデータ量を減ぜられ、同図(b)に示した符号化データ列として前記処理フレーム抽出部１０に取り込まれる。

ここで、予測方向が右向きであれば、いずれかのMBに対してスクランブル用の第１データ処理が実行された際、その影響が当該MBの右側に位置する全てのMBに及ぶことになる。したがって、例えばMB4よりも右側の範囲がスクランブル範囲１００であれば、同図(c)に示したように、MB4の符号化データにスクランブル値X（図4の例では、「３」）が加算され（第１データ処理）、その符号化データが「＋２」から「＋５」に書き換えられる。その後、この符号化データ列が後に復号化されると、同図(d)に示したように、前記スクランブル値Xの影響がMB4の右側に位置する全てのMB(MB4、MB5…)に波及するので、スクランブル値Xを加算されたMB4のみならず、MB5、MB6…にもスクランブルを施すことが可能になる。

したがって、図５に示したようにスクランブル範囲１００が設定されているのであれば、MB22，MB32、MB42の符号化データにスクランブル用の第１データ処理を施すだけで、スクランブル範囲１００内の全てのMBにスクランブルを施すことができる。そして、フレーム内予測方式で符号化されたフレームにスクランブルが施されれば、当該フレームに基づいてフレーム間予測符号化される他のフレームにも同様にスクランブルが施されることになるので、画像データの全フレームにスクランブルが施されるようになる。

なお、上記した実施形態では予測符号化の予測方向が右向きである場合を例にして説明したが、本発明はこれのみに限定されるものでななく、他の予測方向の場合でも同様に適用できる。

例えば、図６に示したように予測方向が下向きであれば、スクランブル範囲１００の上端部に位置している３つのMB（MB31，MB32，MB33）にスクランブル用の第１データ処理を実行すれば、スクランブル範囲１００内の全てのMBにスクランブルを施すことができる。

同様に、図７に示したように予測方向が右下向きであれば、スクランブル範囲１００の上側および左側端部に位置している７つのMB（MB22，MB32，MB42，MB52，MB23，MB24，MB25）にスクランブル用の第１データ処理を実行すれば、スクランブル範囲１００内の全てのMBにスクランブルを施すことができる。

このように、本実施形態によれば、画像データのフレームが予測符号化された際の予測符号化構造がマクロブロック単位で解析されるので、予測符号化方式で圧縮された画像データであっても、所望の一部分のみにスクランブルを選択的に施せるようになる。

ところで、画像スクランブルにおいては、図８に一例を示したように、画像の任意の一部分にスクランブル処理を枠状に施したいという要求がある。しかしながら、フレーム内予測符号化方式では、前記図４(d)を参照して説明したように、一つのMBにスクランブル用のデータ処理が実行されると、その影響が予測方向の全てのMBに及んでしまう。したがって、上記した第1実施形態では、予測方向に応じて図９のような部分的なスクランブルは可能であるものの、図８のような枠状にスクランブルを施せない。これに対して、次に説明する実施形態では、このような枠状のスクランブルを可能にしている。

図１０は、本発明の第２実施形態に係るスクランブル装置の機能ブロック図であり、前記と同一の符号は同一または同等部分を表している。

処理フレーム抽出部１０は、スクランブル対象のフレームを抽出して画像記憶部１１および予測解析部１２へ転送すると共に、スクランブル対象外のフレームは後段の処理系へ転送する。予測解析部１２は、抽出されたフレームの予測符号化構造を解析し、その解析結果をスクランブル処理部１３および影響解消部１４へ提供する。スクランブル処理部１３は、前記抽出されたフレームの一部の範囲のみにスクランブルを施すための第１データ処理を、前記予測解析部１２から通知された解析結果に基づいて実行する。影響解析部１５は、前記予測解析部１２から通知された解析結果および前記第１データ処理の内容に基づいて、後に当該画像データが復号化された際に、一部の範囲のみに施されたスクランブルが他の領域へ及ぼす影響を解析する。影響解消部１４は、前記影響解析結果に基づいて、前記他の領域への影響を解消する第２データ処理を実行する。

図１１は、前記画像スクランブル装置２におけるスクランブルの手順を示したフローチャートであり、ここでは、例えばH.264/AVCのように、フレーム内予測符号化されたフレームとフレーム間予測符号化されたフレームとを含む画像データのスクランブルを例にして説明する。

ステップS１１では、予測符号化された１フレーム分の符号化データが処理フレーム抽出部１０に取り込まれる。ステップS１２では、前記処理フレーム抽出部１０において、当該フレームがスクランブル対象のフレームであるか否かが判定される。本実施形態では、フレーム内予測符号化されたフレームがスクランブル対象と判定され、フレーム間予測符号化されたフレームはスクランブル対象外と判定される。

スクランブル対象のフレームと判定されれば、画像記憶部１１および予測解析部１２へ当該フレームが転送された後にステップS１３へ進む。これに対して、スクランブル対象外のフレームと判定されれば、後述するステップS１８へ進む。ステップS１３では、前記スクランブル対象のフレームが画像記憶部１１に格納される。ステップS１４では、予測解析部１２において前記フレームの予測符号化構造が解析される。本実施形態では、前記図３に矢印で示したように、全てのMBの予測方向が右向きである場合を例にして説明する。

ステップS１５以降では、この予測符号化構造の解析結果に基づいて、スクランブル範囲内の一部のMBにスクランブル用のデータ処理を施すことで所望の範囲内のみにスクランブルが実施される。ここでは、始めに図１２を参照して、ステップS１５以降の手順を模式的に説明する。

図１２は、フレーム内予測方式で符号化圧縮されたMBのデータ列の一部を書き換えることで所定の領域にスクランブルが施される様子を模式的に示した図である。同図(a)に示した各MBの符号化データは、基準MB(MB0)を始点とした差分値に変換されてデータ量を減ぜられ、同図(b)に示した符号化データ列として処理フレーム抽出部１０に取り込まれる。MB4〜MB7までの範囲がスクランブル範囲１００であれば、同図(c)に示したように、MB4の符号化データに第１データ処理が実行される。その結果、MB4の符号化データにスクランブル値X（図１２の例では、「３」）が加算され、その値が「＋２」から「＋５」に書き換えられる。

しかしながら、スクランブルの施された図１２(c)の符号化データ列が後に復号化されると、同図(d)に示したように、前記スクランブル値Xの影響が、スクランブル範囲１００内のMB4〜MB7のみならず、スクランブル範囲外のMB8以降の各MBにも及んでしまう。その結果、MB8の符号化データが本来の「１２９」から「１３２」に書き換えられ、MB9の符号化データが本来の「１２８」から「１３１」に書き換えられてしまう。

そこで、本実施形態では同図(e)に示したように、予測方向が右向きであれば、スクランブル範囲１００の右側に隣接するMB8の符号化データに第２データ処理が実行され、当該MB8の符号化データから前記スクランブル値Xが減ぜられる。その結果、この符号化データ列が復号化されると、同図(f)に示したように、スクランブル範囲１００のMB(MB4〜MB7)のみが書き換えられてスクランブルが施され、それ以外ではスクランブルの施されていない正規の符号化データが得られるようになる。

図１１へ戻り、ステップS１５では、前記画像記憶部１１に記憶されているフレームの一部のMBの符号化データを書き替えることで所定の領域にスクランブルが実行される。これは、前記図１２(c)の手順に相当し、本実施形態では、図１３に示したようにスクランブル範囲１００が設定されているので、当該領域１００の左端部に位置している３つのMB（MB22，MB32，MB42）に関して、その符号化データがスクランブル値Xに応じて同様に書き替えられる。

ステップS１６は前記図１２の手順(d)に相当し、前記影響解析部１５により、前記予測符号化構造の解析結果および前記スクランブル処理の内容に基づいて、前記スクランブルがスクランブル範囲外へ及ぼす影響が解析される。図１４は、前記影響解析部１５における解析方法を模式的に表現した図であり、本実施形態のように各MBの予測方向が右向きであれば、本来のスクランブル範囲１００の右側に隣接するスクランブル範囲外の各MB（MB25，MB35，MB45）にもスクランブルの影響が及ぶことが認識される。

ステップS１７は前記図１２(e)の手順に相当し、前記影響解析結果に基づいて、前記影響解消部１４により、前記影響を解消するために前記第２データ処理が実行される３つのMB（MB25，MB35，MB45）が選択されて第２データ処理が実行され、それぞれの値から前記スクランブル値Xが減ぜられる。ステップS１８では、符号化データが後段の処理系へ転送される。

なお、上記した実施形態では予測符号化の予測方向が右向きである場合を例にして説明したが、本発明はこれのみに限定されるものでななく、他の予測方向の場合でも同様に適用できる。

例えば、図１５に示したように予測方向が下向きであれば、スクランブル範囲１００の上端部に位置している３つのMB（MB22，MB23，MB24）にスクランブル用の第１データ処理が実行されてスクランブル値Xが加算される。さらに、スクランブル範囲１００の下側に隣接するスクランブル範囲外の３つのMB（MB52，MB53，MB54）に第２データ処理が実行されて前記スクランブル値Xが減ぜられる。

同様に、図１６に示したように予測方向が右下向きであれば、スクランブル範囲１００の上側および左側端部に位置している５つのMB（MB22，MB32，MB42，MB23，MB24）にスクランブル用の第１データ処理が実行されてスクランブル値Xが加算される。さらに、スクランブル範囲１００の右下に隣接するスクランブル範囲外の５つのMB（MB34，MB45，MB52，MB53，MB54）に第２データ処理が実行されて前記スクランブル値Xが減ぜられる。

さらに、図１７に示したように予測方向がMBごとに設定される場合でも、各MBの予測方向とスクランブル範囲１００とが判れば、第１データ処理が実行されてスクランブル値Xが加算されるMB22と、第２データ処理が実行されてスクランブル値Xが減ぜられるMB52，MB53，MB25とが判定される。

本実施形態によれば、所望のスクランブル範囲へのスクランブルがスクランブル範囲外へ及ぼす影響が解析され、当該スクランブル範囲外へスクランブルの影響が及ばないようにできるので、予測符号化方式で圧縮された画像データであっても、所望の一部分のみに任意の形状でスクランブルを選択的に施せるようになる。

次いで、本発明の第３実施形態に係るスクランブル装置の動作を、前記図１１のフローチャートを再び参照して説明する。本実施形態では、MPEG-2方式で符号化圧縮された画像データのスクランブルを例にして説明する。

ステップS１１では、予測符号化された画像データの１フレーム分の符号化データが処理フレーム抽出部１０に取り込まれる。ステップS１２では、前記処理フレーム抽出部１０において、当該フレームがスクランブル対象のフレームであるか否かが判定される。

本実施形態では、当該フレームがIフレーム(Intra-coded Frame)であれば、スクランブル対象のフレームと判定されて画像記憶部１１および予測解析部１２へ転送され、ステップS１３へ進む。それ以外のPフレーム(Predicted Frame)またはBフレーム(Bi-directional Predicted Frame)であれば、スクランブル対象外のフレームと判定されてステップS１８へ進む。ステップS１３では、前記スクランブル対象のIフレームが画像記憶部１１に格納される。ステップS１４では、予測解析部１２において前記Iフレームのビットストリーム情報が解析され、Ｉフレーム内のスライスの情報からDC予測の伝播方向および伝播範囲の情報が取得される。

図１８は、前記予測解析部１２による解析結果を模式的に表現した図である。本実施形態では、フレームがマクロブロック(MB)単位で分割されており、複数のMBからスライス２１（２１a〜２１ｉ）が構成されている。MPEG-2では予測の影響の及ぶ方向が右方向であり、スライス２１外へは予測の影響が及ばない。この予測結果は予測解析部１２からスクランブル処理部１３および影響解消部１４へ転送される。

ステップS１５では、前記画像記憶部１１に記憶されているIフレームの所定の領域にスクランブルが施される。MPEG-2では、各MBが輝度と色差のブロックから構成されており、４：２：０というフォーマットであれば、図１９に一例を示したように、４つの輝度ブロックY1，Y2，Y3，Y4および２つの色差ブロックCb，Crで構成される。ここで、スクランブル処理が輝度ブロックY1のＤＣ成分の値を１０だけ減少（または、増加）させる処理であれば、この輝度ブロックのDC成分のみを１列に並べたデータ列を、前記図１２に関して説明したデータ列とみなして同様の処理が実行される。

図２０は、本実施形態においてスクランブル用のデータ処理（第１データ処理）が実行されるMBとスクランブルの影響を解消するためのデータ処理（第２データ処理）が実行されるMBとの位置関係を示した図である。

スクランブル範囲１００の左端部の３つのMB22，MB32，MB42に関しては、その符号化データにスクランブル用の第１データ処理が施される。MB32の右側に位置しているスクランブル範囲内の２つのMB33，MB34はMB32と同一スライス２１ｅに属しており、MB32から予測の影響を受けて符号化データが自動的に書き換えられるので、ここでは第１データ処理が行われない。同様に、MB42の右側に位置しているスクランブル範囲内の２つのMB43，MB44も、MB42と同一のスライス２１ｇに属しているので、ここでは第１データ処理が行われない。

これに対して、MB22の右側に位置しているMB23は、MB22が属するスライス２１ｃと異なるスライス２１ｄに属しており、当該MB22から予測の影響を受けないので、スクランブル用の第１データ処理が実行される。このMB23の右側に隣接するMB24はMB23と同一のスライス２１ｄに属し、MB23内から予測の影響を受けるので、ここでは第１データ処理が行われない。

図１１に戻り、ステップＳ１６では、前記影響解析部１５により、前記予測符号化構造の解析結果および前記スクランブル処理の内容に基づいて、前記スクランブルがスクランブル範囲外へ及ぼす影響が解析される。

本実施形態では、図２０に示したように、スクランブル範囲１００の右側に位置するスクランブル範囲外の６つのMBのうち、MB25，MB26はスクランブル領域１００内のMB24と同一のスライス２１ｄに属しており、予測の影響を受けてスクランブルが施されてしまうので、MB25の符号化データに第２データ処理が実行される。同様に、MB35，MB36もスクランブル範囲２０内のMB34と同一のスライス２１ｅに属しているので、MB35の符号化データに第２データ処理が実行される。これに対して、MB45，MB46はスクランブル範囲内のMB44と異なるスライス２１ｈに属しており、予測の影響を受けないので第２データ処理は行われない。

本実施形態によれば、MPEG-2方式で圧縮された画像データに対しても、その一部の範囲のみにスクランブルを選択的に実施できるようになる。

図２１は、本発明の第４実施形態に係るスクランブル装置４の機能ブロック図であり、前記と同一の符号は同一または同等部分を表している。

本実施形態では、前記図１に関して説明した第1実施形態の構成に、スクランブル処理部１３が実行した第１データ処理の処理内容をスクランブル鍵情報として画像データに登録し、デスクランブル装置へ伝送する鍵情報通知部１６を設けた点に特徴がある。この鍵情報通知部１６は、鍵情報を画像データに電子透かしとして埋め込むか、あるいは画像データのヘッダ部分に登録する。

本実施形態によれば、当該スクランブル装置４から伝送された画像データのスクランブルを解除するデスクランブル装置が、後に詳述するように、予測符号化構造を解析する手段を用いることなくデスクランブルを正確に実行できるようになる。

図２２は、本発明の第５実施形態に係るスクランブル装置５の機能ブロック図であり、前記と同一の符号は同一または同等部分を表している。

本実施形態では、前記図１０に関して説明した第２、第３実施形態の構成に、スクランブル処理部１３が実行した第1データ処理の処理内容、および影響解消部１４が実行した第２データ処理の処理内容をスクランブル鍵情報として画像データに登録し、デスクランブル装置へ伝送する鍵情報通知部１７を設けた点に特徴がある。本実施形態でも、鍵情報通知部１７は鍵情報を画像データに電子透かしとして埋め込むか、あるいは画像データのヘッダ部分に登録する。

本実施形態によれば、当該スクランブル装置５から伝送された画像データのスクランブルを解除するデスクランブル装置が、後に詳述するように、予測符号化構造を解析する手段や予測の影響を解析する手段を用いることなく、デスクランブルを正確に実行できるようになる。

なお、上記した実施形態では、矩形状のスクランブル範囲が１箇所にのみ設定される場合を例にして説明したが、図２３に示したように、スクランブル用の第１データ処理（図中○印）と影響解消用の第２データ処理（図中◇印）とを適宜に組み合わせれば、スクランブル範囲１００を、同図(a)のように円形状としたり、あるいは同図(b)のように複数箇所に設定できるようになる。

また、上記した各実施形態では、スクランブル用の第１データ処理および影響解消用の第２データ処理が、各MBの符号化データに所定のスクランブル値を加減するものであるとして説明したが、本発明はこれのみに限定ものではなく、符号化データの配列を入れ替えたり、符号化データに所定の関数演算を実施したりする他のスクランブル方法にも同様に適用できる。

さらに、上記した各実施形態では、スクランブル用の第１データ処理がスクランブル範囲の端部で1回のみ実施され、影響解消用の第２データ処理も１回のみ実施されるものとして説明したが、スクランブル値がスクランブル範囲内で一定であると、スクランブル画像と現画像との関係が一定となってしまい、スクランブル画像に現画像のイメージが残ってしまう場合がある。

これに対して、図３４に一例を示したように、スクランブル範囲１００で第１データ処理を複数回に分けて行うようにすれば、スクランブル画像への現画像の影響を減少させることができ、その可読性を低下させることができる。

図３５，図３６は、スクランブル範囲１００で第１データ処理を複数回に分けて行う場合のスクランブル方法の一例を示した図である。いずれの図でも、同図(a)に示した各MBの符号化データは、基準MB(MB0)を始点とした差分値に変換されてデータ量を減ぜられ、同図(b)に示した符号化データ列として前記処理フレーム抽出部１０に取り込まれる。

図３５において、MB2〜MB7がスクランブル範囲１００であれば、同図(c)に示したように、MB2の符号化データに最初の第１データ処理が実施されてスクランブル値X1（図３５の例では、「７」）が加算され、その符号化データが「＋２」から「＋９」に書き換えられる。さらに、MB3の符号化データに２回目の第１データ処理が実施されてスクランブル値X2（図３５の例では、「５」）が加算され、その符号化データが「−１」から「＋４」に書き換えられる。さらに、MB6の符号化データに３回目の第１データ処理が実施されてスクランブル値X3（図３５の例では、「−５」）が加算され、その符号化データが「−５」から「−１０」に書き換えられる。そして、MB8の符号化データに第２データ処理が実施されてスクランブル値X4（図３５の例では、「−７」）が加算され、その符号化データが「−４」から「−１１」に書き換えられる。

同様に、図３６において、MB2〜MB7がスクランブル範囲１００であれば、同図(c)に示したように、MB2の符号化データに最初の第１データ処理が実施されてスクランブル値X1（図３６の例では、「８」）が加算され、その符号化データが「＋２」から「＋１０」に書き換えられる。さらに、MB4の符号化データに２回目の第１データ処理が実施されてスクランブル値X2（図３６の例では、「−５」）が加算され、その符号化データが「＋２」から「−３」に書き換えられる。さらに、MB7の符号化データに３回目の第１データ処理が実施されてスクランブル値X3（図３６の例では、「＋１０」）が加算され、その符号化データが「＋６」から「＋１６」に書き換えられる。そして、MB8の符号化データに第２データ処理が実施されてスクランブル値X4（図３６の例では、「−１３」）が加算され、その符号化データが「−４」から「−１７」に書き換えられる。

このように、第１データ処理が複数回に分けて行われる場合も、第１データ処理でのスクランブル値の合計(X1＋X2＋X3)と第２データ処理でのスクランブル値X4との総和が「０」になるようにすれば、所望のスクランブル範囲１００のみにスクランブルを施せるようになる。

図２４は、本発明の第６実施形態に係るデスクランブル装置６の主要部の構成を示した機能ブロック図であり、前記図１に関して説明した第１実施形態のスクランブル装置１によりスクランブル化された画像データのデスクランブルに好適なデスクランブル装置である。

処理フレーム抽出部３０は、スクランブル処理の実施されたフレームを抽出して画像記憶部３１および予測解析部３２へ転送すると共に、スクランブル処理の施されていないフレームは、後段に接続された可変長復号化部、逆量子化部および逆直交変換部等から構成される復号化処理系へ転送する。予測解析部３２は、抽出されたフレームの予測符号化構造を解析し、その解析結果をデスクランブル処理部３３へ提供する。デスクランブル処理部３３は、前記抽出されたフレームのスクランブルを解除するためのデータ処理（第３データ処理）を、前記予測解析部３２から通知された解析結果に基づいて実行する。

図２５は、前記画像デスクランブル装置６におけるデスクランブルの手順を示したフローチャートであり、ステップS３１では、スクランブルされた１フレーム分の符号化データが処理フレーム抽出部３０に取り込まれる。ステップS３２では、前記処理フレーム抽出部３０において、当該フレームがデスクランブル対象のフレームであるか否かが判定される。デスクランブル対象と判定されたフレームは画像記憶部３１へ転送され、当該処理はステップS３３へ進む。デスクランブル対象外と判定されればステップS３８へ進む。

ステップS３３では、前記デスクランブル対象のフレームが画像記憶部３１に格納される。ステップS３４では、予測解析部１２において前記フレームの予測符号化構造が解析される。そして、ステップS３５以降では、前記画像記憶部３１に記憶されているフレームの所定範囲に施されたスクランブルを解除するためのデータ処理（第３データ処理）が実行される。ここでは、始めに図２６を参照して前記ステップS３５以降の手順を模式的に説明する。

図２６は、フレーム内予測方式で符号化された画像データの一部分に施されたスクランブルを解除（デスクランブル）する手順を模式的に示した図である。

同図(a)に示した符号化データ列は、前記第１実施形態と同様のデータ処理を経て、同図(b)に示したデータ列に変換されている。このデータ列は、前記図４(c)に示したデータ列と同一であり、MB4およびその右方向に位置する全てのMBをスクランブル範囲とするデータ処理が施されている。

このデータ列をデスクランブルするためには、図２６(c)に示したように、MB4の符号化データから前記デスクランブル値X（本実施形態では、「３」）を減じるデータ処理（第３データ処理）を実行すれば良い。この結果、この符号化データ列が後に復号化されると、同図(d)に示したように、前記デスクランブル値Xの影響が、MB4の右方向に位置する全てのMBにも及ぶことになる。

図２５へ戻り、ステップS３５では、前記画像記憶部３１に記憶されているフレームの一部のMBにデスクランブル用の第３データ処理を実行することで所定の領域にデスクランブルが実行される。これは前記図２６(c)の手順に相当し、本実施形態では、前記図５に関して説明したスクランブル範囲１００がデスクランブル範囲なので、当該スクランブル範囲１００の左端部に位置している３つのMB（MB22，MB32，MB42）の符号化データにデスクランブル用の第３データ処理が実行される。すなわち、前記デスクランブル値X（本実施形態では、「３」）が減ぜられる。ステップS３８では、デスクランブル処理されたフレームが後段の復号化処理系へ転送される。

本実施形態によれば、画像データのフレームが予測符号化された際の予測符号化構造がマクロブロック単位で解析されるので、予測符号化方式で圧縮された画像データの一部分に施されたスクランブルを正確に解除できるようになる。

図２７は、本発明の第７実施形態に係るデスクランブル装置７の主要部の構成を示した機能ブロック図であり、前記図１０に関して説明した第２および第３実施形態のスクランブル装置２によりスクランブル化された画像データのデスクランブルに好適なデスクランブル装置である。

処理フレーム抽出部３０は、スクランブル処理の実施されたフレームを抽出して画像記憶部３１および予測解析部３２へ転送すると共に、スクランブル処理の施されていないフレームは後段の復号化処理系へ転送する。予測解析部３２は、抽出されたフレームの予測符号化構造を解析し、その解析結果をデスクランブル処理部３３および影響解消部３４へ提供する。デスクランブル処理部３３は、前記抽出されたフレームのスクランブルを解除するためのデータ処理（第３データ処理）を、前記予測解析部３２から通知された解析結果に基づいて実行する。

影響解析部３５は、前記予測解析部３２から通知された解析結果および前記デスクランブルのデータ処理内容に基づいて、今回のデスクランブルがスクランブル範囲外へ及ぼす影響を解析する。影響解消部３４は、前記影響解析結果に基づいて、前記スクランブル範囲外へのデスクランブルの影響を解消するデータ処理（第４データ処理）を前記抽出されたフレームに対して実行する。

図２８は、前記画像デスクランブル装置７におけるデスクランブルの手順を示したフローチャートであり、ここではフレーム内予測符号化された画像データのデスクランブルを例にして説明する。

ステップS３１では、予測符号化された１フレーム分の符号化データが処理フレーム抽出部３０に取り込まれる。ステップS３２では、前記処理フレーム抽出部３０において、当該フレームがデスクランブル対象のフレームであるか否かが判定される。デスクランブル対象と判定されたフレームは画像記憶部３１および予測解析部３２へ転送され、当該処理はステップS３３へ進む。デスクランブル対象外と判定されればステップS３８へ進む。

ステップS３３では、前記デスクランブル対象のフレームが画像記憶部３１に格納される。ステップS３４では、予測解析部１２において前記フレームの予測符号化構造が解析される。ステップS３５以降では、前記画像記憶部３１に記憶されているフレームの一部領域に施されたスクランブルを解除するためのデータ処理（第３データ処理）が実行される。ここでは、始めに図２９を参照して、ステップS３５以降の手順を模式的に説明する。

図２９は、フレーム内予測方式で予め符号化されて一部分のみにスクランブルが施されたフレームの当該スクランブルを解除する手順を模式的に示した図である。

同図(a)に示した符号化データ列は、予め符号化圧縮されて同図(b)に示したデータ列に変換されている。このデータ列は、前記図１２(e)に示したデータ列と同一であり、MB4〜MB7をスクランブル範囲とするデータ処理が施されている。

このデータ列をデスクランブルするためには、図２９(c)に示したように、MB4の符号化データから前記デスクランブル値X（本実施形態では、「３」）を減じるデータ処理（第３データ処理）を行えば良い。しかしながら、この符号化データ列が後に復号化されると、同図(d)に示したように、前記デスクランブル値Xの影響が、スクランブル範囲内のMB4〜MB7のみならず、スクランブル範囲外のMB8，MB9にも及んでしまう。その結果、MB8の符号化データが本来の「１２９」から「１２６」に変更され、MB9の符号化データが本来の「１２８」から「１２５」に変更されてしまう。

そこで、本実施形態では同図(e)に示したように、予測方向が右向きであれば、スクランブル範囲の右側に隣接するMB8の符号化データに前記デスクランブル値Xが加算される。その結果、この符号化データ列が復号化されると、同図(f)に示したように、デスクランブル範囲２００の符号化データのみが書き換えられるので、スクランブルが解除された正規の符号化データが得られるようになる。

図２８へ戻り、ステップS３５では、前記画像記憶部３１に記憶されているフレームに対してデスクランブル用の第３データ処理が実行される。これは、前記図２９(c)の手順に相当する。本実施形態では、図３０に示したようにデスクランブル範囲２００が設定されているので、当該領域２００の左端部に位置している３つのMB（MB22，MB32，MB42）に対してスクランブル用の第３データ処理が実行される。

ステップS３６は前記図２９(d)の手順に相当し、前記影響解析部３５により、前記予測符号化構造の解析結果および前記デスクランブルの処理内容に基づいて、前記デスクランブルがスクランブル範囲外へ及ぼす影響が解析される。図３０は、前記影響解析部１５における解析方法を模式的に表現した図であり、本実施形態のように各MBの予測方向が右向きであれば、本来のデスクランブル範囲２００の右側に隣接するデスクランブル範囲外の各MB（MB25，MB35，MB45）にもデスクランブルの影響が及んでしまうことが認識される。

ステップS３７は前記図２９(e)の手順に相当し、前記影響解析結果に基づいて、前記影響を解消するために前記第４データ処理が実行されるMBとして、図３１に示した３つのMB（MB25，MB35，MB45）が選択されて前記スクランブル値Xが減ぜられる。ステップS３８では、符号化データが後段の処理系へ転送される。

本実施形態によれば、デスクランブル範囲へのデスクランブルがデスクランブル範囲外へ及ぼす影響が解析され、当該デスクランブル範囲外へデスクランブルの影響が及ばないようにできるので、予測符号化方式で圧縮された画像データの一部分に任意の形状で施されたスクランブルを正確に解除できるようになる。

図３２は、本発明の第８実施形態に係るデスクランブル装置８の主要部の構成を示した機能ブロック図であり、前記図２１に関して説明した第４実施形態のスクランブル装置４によりスクランブル化された画像データのデスクランブルに好適なデスクランブル装置である。

本実施形態では、前記図２４に関して説明した予測解析部３２の代わりに、スクランブル条件に関する鍵情報を画像データから抽出し、当該鍵情報に基づいて、前記デスクランブル処理部３３に前記第３データ処理を実行させるデスクランブル条件決定部３９を設けた点に特徴がある。

本実施形態によれば、デスクランブル装置８はスクランブルに関する鍵情報に基づいて、前記デスクランブル用の第３データ処理の対象となるMBを認識できるので、上記した第７実施形態では必要であった予測解析部３２が不要になる。

図３３は、本発明の第９実施形態に係るデスクランブル装置９の主要部の構成を示した機能ブロック図であり、前記図２２に関して説明した第５実施形態のスクランブル装置５によりスクランブル化された画像データのデスクランブルに好適なデスクランブル装置である。

本実施形態では、前記図２７に関して説明した予測解析部３２および影響解析部３５の代わりに、スクランブル条件に関する鍵情報を画像データから抽出し、当該鍵情報に基づいて、前記デスクランブル処理部３３および影響解消部３４に、それぞれ前記第３データ処理および第４データ処理を実行させるデスクランブル条件決定部４０を設けた点に特徴がある。

本実施形態によれば、デスクランブル装置９はスクランブルに関する鍵情報に基づいて、前記デスクランブル用の第３データ処理および影響解消用の第４データ処理の対象となるMBを認識できるので、上記した第７実施形態では必要であった予測解析部３２や影響解析部３５が不要になる。

なお、上記した第８，第９実施形態では鍵情報が画像データから抽出されるものとして説明したが、本発明はこれにみに限定されるものではなく、図３２，３３に波線矢印で示したように、適宜の通信手段等を利用してデータ画像とは別の経路でデスクランブル装置へ通知されるようにしても良い。

本発明の第１実施形態に係る画像スクランブル装置１の主要部の構成を示した機能ブロック図であ 図1の画像スクランブル装置によるスクランブルの手順を示したフローチャートである。 第1実施形態における予測符号化構造の解析結果の一例を模式的に表現した図である。 フレーム内予測方式で符号化されたデータ列の一部を書き換えることで所定範囲にスクランブルが施される様子を模式的に示した図である。 所定のスクランブル範囲にスクランブルを施すためにデータ処理されるマクロブロック(MB)の特定方法を示した図である。 予測方向が下向きの場合にスクランブル用のデータ処理が実行されるマクロブロック(MB)の特定方法を示した図である。 予測方向が右下向きの場合にスクランブル用のデータ処理が実行されるマクロブロック(MB)の特定方法を示した図である。 第１実施形態の課題を説明するための図（その１）である。 第１実施形態の課題を説明するための図（その２）である。 本発明の第２実施形態に係るスクランブル装置の機能ブロック図である。 図１０の画像スクランブル装置におけるスクランブルの手順を示したフローチャートである。 フレーム内予測方式で符号化されたデータ列の一部を書き換えることで所定範囲にスクランブルが施される様子を模式的に示した図である。 所定のスクランブル範囲にスクランブルを施すためにデータ処理されるマクロブロック(MB)の特定方法を示した図である。 スクランブルがスクランブル範囲外へ及ぼす影響を解析する方法を模式的に示した図である。 予測方向が下向きの場合にスクランブル用／デスクランブル用のデータ処理が実行されるマクロブロック(MB)の特定方法を示した図である。 予測方向が右下向きの場合に、スクランブル用／デスクランブル用のデータ処理が実行されるマクロブロック(MB)の特定方法を示した図である。 予測方向がMBごとに設定される場合に、スクランブル用／デスクランブル用のデータ処理が実行されるマクロブロック(MB)の特定方法を示した図である。 第２実施形態における予測符号化構造の解析結果の一例を模式的に表現した図である。 MPEG-2におけるスクランブル方法を示した図である。 第３実施形態においてスクランブル用の第１データ処理が実行されるMBとデスクランブル用の第２データ処理が実行されるMBとの位置関係を示した図である。 本発明の第４実施形態に係る画像スクランブル装置の主要部の構成を示した機能ブロック図である。 本発明の第５実施形態に係る画像スクランブル装置の主要部の構成を示した機能ブロック図である。 スクランブル範囲の設定例を示した図である。 本発明の第６実施形態に係るデスクランブル装置の主要部の構成を示した機能ブロック図である。 図２４の画像デスクランブル装置によるデスクランブル手順を示したフローチャートである。 フレーム内予測方式で符号化された画像データの一部分に施されたスクランブルを解除するデスクランブル手順を模式的に示した図である。 本発明の第７実施形態に係るデスクランブル装置の主要部の構成を示した機能ブロック図である。 図２７の画像デスクランブル装置によるデスクランブル手順を示したフローチャートである。 フレーム内予測方式で符号化された画像データの一部分に施されたスクランブルを解除するデスクランブル手順を模式的に示した図である。 予測方向が横向きの場合にデスクランブル用の第３データ処理が実行されるマクロブロック(MB)の特定方法を示した図である。 予測方向が横向きの場合にデスクランブルの影響を解消するための第４データ処理が実行されるマクロブロック(MB)の特定方法を示した図である。 本発明の第８実施形態に係る画像デスクランブル装置の主要部の構成を示した機能ブロック図である。 本発明の第９実施形態に係る画像デスクランブル装置の主要部の構成を示した機能ブロック図である。 スクランブル用の第１データ処理を複数回に分ける実施例を示した図である。 スクランブル用の第１データ処理を複数回に分けるデスクランブル手順を模式的に示した図（その１）である。 スクランブル用の第１データ処理を複数回に分けるデスクランブル手順を模式的に示した図（その２）である。

Claims (11)

1. 各フレームがブロック単位で予測符号化された画像データの所定領域にスクランブルを施す画像スクランブル装置において、
   スクランブル対象のフレームを抽出する処理フレーム抽出手段と、
   前記抽出されたフレーム内で各ブロックが隣接ブロックを参照して順次にフレーム内予測符号化された際の予測方向を含む予測符号化構造を解析する予測解析手段と、
   前記予測符号化構造の解析結果に基づいて、所定のスクランブル範囲内の一部のブロックに対してスクランブル用の第１データ処理を実行するスクランブル処理手段とを具備し、
   前記スクランブル処理手段は、前記スクランブル範囲内の全てのブロックに前記第１データ処理の影響が及ぶように、前記スクランブル範囲内で前記予測方向の始点となる一部のブロックに、その符号化データを書き換えるスクランブル用の第１データ処理を実行することを特徴とする画像スクランブル装置。
2. 前記予測解析手段による解析結果に基づいて、前記スクランブル用の第１データ処理が前記スクランブル範囲外へ及んで当該スクランブル範囲外のブロックの符号化データが書き換えられる影響を解析する影響解析手段と、
   前記影響解析結果に基づいて、前記スクランブル範囲外への影響を解消する第２データ処理を前記抽出されたフレームに対して実行する影響解消手段とを具備し、
   前記影響解消手段は、前記第１データ処理により前記始点となる一部のブロックの符号化データが書き換えられた影響で変化した符号化データを、前記始点となる一部のブロックの符号化データが書き換えられなかった場合の値に戻すことを特徴とする請求項１に記載の画像スクランブル装置。
3. 前記画像データがフレーム内予測符号化方式で符号化されたフレームとフレーム間予測符号化方式で符号化されたフレームとを含み、前記処理フレーム抽出手段は、フレーム内予測符号化方式で符号化されたフレームを抽出することを特徴とする請求項１または２に記載の画像スクランブル装置。
4. 前記画像データがMPEG-2方式で符号化され、前記処理フレーム抽出手段は、Iフレームを抽出することを特徴とする請求項１または２に記載の画像スクランブル装置。
5. 前記スクランブル用の鍵情報として、前記第１データ処理の内容を出力する鍵情報出力手段をさらに含むことを特徴とする請求項１ないし４のいずれかに記載の画像スクランブル装置。
6. 前記スクランブル用の鍵情報として、前記第１および第２データ処理の内容を出力する鍵情報出力手段をさらに含むことを特徴とする請求項１ないし４のいずれかに記載の画像スクランブル装置。
7. 前記鍵情報出力手段は、前記スクランブル用の鍵情報を画像データに電子透かしとして埋め込んで出力することを特徴とする請求項５または６に記載の画像スクランブル装置。
8. 前記鍵情報出力手段は、前記スクランブル用の鍵情報を画像データのヘッダ部分に書き込んで出力することを特徴とする請求項５または６に記載の画像スクランブル装置。
9. 各フレームがブロック単位で予測符号化された画像データの所定領域に施されたスクランブルを解除する画像デスクランブル装置において、
   デスクランブル対象のフレームを抽出する処理フレーム抽出手段と、
   前記抽出されたフレーム内で各ブロックが隣接ブロックを参照して順次にフレーム内予測符号化された際の予測方向を含む予測符号化構造を解析する予測解析手段と、
   前記スクランブル用の鍵情報を取得する鍵情報取得手段と、
   前記予測符号化構造の解析結果および鍵情報に基づいて、所定のデスクランブル範囲内の一部のブロックに対してデスクランブル用の第３データ処理を実行するデスクランブル処理手段とを具備し、
   前記デスクランブル処理手段は、前記デスクランブル範囲内の全てのブロックに前記第３データ処理の影響が及ぶように、前記デスクランブル範囲内で前記予測方向の始点となる一部のブロックに、その符号化データを書き換えるデスクランブル用の第３データ処理を実行し、
   前記処理フレーム抽出手段は、前記画像データがフレーム内予測符号化方式で符号化されたフレームとフレーム間予測符号化方式で符号化されたフレームとを含めばフレーム内予測符号化方式で符号化されたフレームを抽出し、MPEG-2方式で符号化されていればIフレームを抽出することを特徴とする画像デスクランブル装置。
10. 前記予測解析手段による解析結果に基づいて、前記デスクランブル用の第３データ処理が前記デスクランブル範囲外へ及んで当該デスクランブル範囲外のブロックの符号化データが書き換えられる影響を解析する影響解析手段と、
    前記影響解析結果および鍵情報に基づいて、前記デスクランブル範囲外への影響を解消する第４データ処理を前記抽出されたフレームに対して実行する影響解消手段とを具備し、
    前記影響解消手段は、前記第３データ処理により前記始点となる一部のブロックの符号化データが書き換えられた影響で変化した符号化データを、前記始点となる一部のブロックの符号化データが書き換えられなかった場合の値に戻すことを特徴とする請求項９に記載の画像スクランブル装置。
11. 前記鍵情報取得手段は、前記鍵情報を画像データから抽出することを特徴とする請求項９または１０に記載の画像デスクランブル装置。

Images