JP4728136B2

JP4728136B2 - Content distribution system and content distribution method

Info

Publication number: JP4728136B2
Application number: JP2006034062A
Authority: JP
Inventors: 功越前; 隆亮山田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2006-02-10
Filing date: 2006-02-10
Publication date: 2011-07-20
Anticipated expiration: 2026-02-10
Also published as: JP2007215011A

Description

本発明は、ディジタルコンテンツに真正性を証明するための情報を電子透かしにより当該コンテンツに埋め込む技術に関する。 The present invention relates to a technique for embedding information for verifying authenticity in digital content into the content by digital watermarking.

映像データや音声データ等のディジタルコンテンツは、裁判における証拠映像や遺言音声として用いられる場合がある。しかし、これらのディジタルコンテンツは、加工が容易であるため、長期に渡って保存された場合、オリジナルと相違が無いことを証明する必要がある。コンテンツの真正性を証明するための技術としては、電子署名技術や電子透かし技術がある。 Digital content such as video data and audio data may be used as evidence video and will audio in a trial. However, since these digital contents are easy to process, it is necessary to prove that there is no difference from the original when stored for a long period of time. As techniques for proving the authenticity of content, there are an electronic signature technique and an electronic watermark technique.

ところで、映像データや音声データ等のコンテンツの符号化技術は日々進歩しており、コンテンツを作成したときの符号化方式に対応した復号装置や復号ソフトウェアが、将来的にも使用可能であるとは限らない。そのため、コンテンツが長期に渡って保存される場合、そのときどきの最新の符号化形式に変換されて保存し直される必要がある。 By the way, the encoding technology of content such as video data and audio data is progressing day by day, and a decoding device and decoding software corresponding to the encoding method used when the content is created can be used in the future. Not exclusively. For this reason, when content is stored for a long period of time, it is necessary to convert it to the latest encoding format at that time and store it again.

この場合、コンテンツの真正性が電子署名によって証明されているとすれば、最新の符号化形式に変換した後のコンテンツのハッシュ値が、変換前のコンテンツのハッシュ値と異なる場合があり、電子署名を再度作成し直すことが必要な場合がある。電子署名の作成には、高いセキュリティの元で、認証局等とデータのやり取りを行わなければならず、時間と手間がかかる場合がある。 In this case, if the authenticity of the content is proved by the electronic signature, the hash value of the content after conversion to the latest encoding format may be different from the hash value of the content before conversion. May need to be recreated. In creating an electronic signature, data must be exchanged with a certificate authority or the like under high security, which may take time and effort.

これに対して、コンテンツの真正性が電子透かし技術を用いて証明されるとすれば、電子透かしでは、透かし情報をコンテンツ全体に分散させて埋め込むため、符号化形式を変換したとしても、埋め込んだ透かし情報は消失し難い。そのため、コンテンツを長期に渡って保存する場合には、電子透かし技術を用いて真正性を証明する方法が好ましい。 On the other hand, if the authenticity of the content is proved using digital watermark technology, the watermark information is embedded in the entire content in a distributed manner. Watermark information is hard to disappear. Therefore, when content is stored for a long time, a method of proving authenticity using a digital watermark technique is preferable.

特許文献１および２には、映像データおよび音声データを含むコンテンツに、電子透かしにより情報を埋め込む技術が開示されている。特許文献１には、送信側で、映像データおよび音声データのそれぞれに、電子透かし技術を用いてタイムコードを埋め込み、受信側で、コンテンツに埋め込まれた透かし情報を抽出することにより、伝送過程での映像データと音声データとのずれを検出して補正する技術が開示されている。 Patent Documents 1 and 2 disclose techniques for embedding information in content including video data and audio data by digital watermarking. In Patent Document 1, a transmission side embeds a time code in each of video data and audio data by using a digital watermark technique, and a reception side extracts watermark information embedded in content, so that in the transmission process. A technique for detecting and correcting a shift between video data and audio data is disclosed.

また、特許文献２には、送信側で、映像データまたは音声データに、コンテンツのヘッダ情報から求めた特徴値を電子透かしにより埋め込み、受信側で、コンテンツに埋め込まれた透かし情報を抽出し、抽出した透かし情報とヘッダ情報とが一致しない場合に、コンテンツの改竄を検出する技術が開示されている。 Also, in Patent Document 2, a feature value obtained from content header information is embedded in video data or audio data by digital watermark on the transmission side, and watermark information embedded in the content is extracted and extracted on the reception side. A technique has been disclosed for detecting falsification of content when the watermark information and the header information do not match.

特開２００３−２５９３１４号公報JP 2003-259314 A 特開２００３−１２２７２６号公報JP 2003-122726 A

ところで、コンテンツの改竄には、ヘッダ情報の改竄、映像データまたは音声データの差し換え、映像データまたは音声データの部分削除等がある。上記した特許文献１は、そもそもコンテンツの改竄を検知する技術ではないが、映像データと音声データとのずれが生じない伝送環境（例えば記録媒体からコンテンツを読み出して再生する場合等）において、これらのデータのずれを検出した場合に、コンテンツの改竄の可能性があることを通知してもよいが、ヘッダ情報のみを差換えた場合や、データが部分的に削除された場合の改竄を検出することはできない。 By the way, content alteration includes alteration of header information, replacement of video data or audio data, partial deletion of video data or audio data, and the like. Patent Document 1 described above is not a technique for detecting falsification of content in the first place. However, in a transmission environment in which there is no deviation between video data and audio data (for example, when content is read from a recording medium and played back), When data deviation is detected, it may be notified that there is a possibility of content tampering, but tampering is detected when only header information is replaced or when data is partially deleted I can't.

また、上記した特許文献２では、映像データまたは音声データに埋め込まれたヘッダの特徴値と、コンテンツのヘッダ情報とを比較することにより、ヘッダ情報の改竄や映像データまたは音声データの差し替えを検出できるものの、映像データまたは音声データの部分削除を検出することはできない。 Further, in Patent Document 2 described above, it is possible to detect falsification of header information and replacement of video data or audio data by comparing the feature value of the header embedded in the video data or audio data with the header information of the content. However, partial deletion of video data or audio data cannot be detected.

本発明は上記事情を鑑みてなされたものであり、本発明の目的は、コンテンツの改竄をより高い精度で検出することができるようにすることにある。 The present invention has been made in view of the above circumstances, and an object of the present invention is to enable detection of falsification of content with higher accuracy.

上記課題を解決するために、本発明は、ヘッダ情報、複数のフレームデータで構成されている映像データ、複数の音声ブロックで構成されている音声データ、およびタイムコードを有するコンテンツの作成段階で、フレームデータおよび音声ブロックの少なくとも一方に、ヘッダ情報の特徴値およびタイムコードを電子透かしにより埋め込み、当該コンテンツを閲覧する段階で、フレームデータおよび音声ブロックの少なくとも一方に埋め込まれたヘッダ情報の特徴値およびタイムコードと、コンテンツに含まれるヘッダ情報から算出した特徴値およびタイムコードとを比較する。 In order to solve the above-mentioned problem, the present invention is a stage of creating content having header information, video data composed of a plurality of frame data, audio data composed of a plurality of audio blocks, and a time code. At least one of the frame data and the audio block is embedded with a feature value and time code of the header information with a digital watermark, and at the stage of browsing the content, the feature value of the header information embedded in at least one of the frame data and the audio block The time code is compared with the feature value and time code calculated from the header information included in the content.

例えば、本発明の第１の態様は、ヘッダ情報、複数のフレームデータで構成されている映像データ、複数の音声ブロックで構成されている音声データ、およびタイムコードを有するコンテンツに、電子透かしを埋め込む電子透かし埋め込み装置と、
前記映像データおよび前記音声データのそれぞれに埋め込まれている電子透かしを検出する電子透かし検出装置と
を備えるコンテンツ配信システムであって、
前記電子透かし埋め込み装置は、
前記ヘッダ情報に基づいて特徴値を算出する透かし情報生成手段と、
前記特徴値および前記映像データのタイムコードを前記映像データに電子透かしにより埋め込むと共に、前記特徴値および前記音声データのタイムコードを前記音声データに電子透かしにより埋め込む透かし情報埋め込み手段と、
前記特徴値および前記映像データのタイムコードが埋め込まれた映像データ、および、前記特徴値および前記音声データのタイムコードが埋め込まれた音声データと共に、ヘッダ情報およびタイムコードを含むコンテンツを出力するコンテンツ出力手段と
を有し、
前記電子透かし情報埋め込み手段は、
前記特徴値および前記映像データのタイムコードを前記映像データに埋め込む場合には、連続する所定数のフレームデータを有する映像グループ毎に、当該映像グループに対応するタイムコードを、当該映像グループ内の少なくとも一つのフレームデータに電子透かしにより埋め込むと共に、前記特徴値を、当該映像グループ内の少なくとも一つのフレームデータに電子透かしにより埋め込み、
前記特徴値および前記音声データのタイムコードを前記音声ブロックに埋め込む場合には、連続する所定数の音声ブロックを有する音声グループ毎に、当該音声グループに対応するタイムコードを、当該音声グループ内の少なくとも一つの音声ブロックに電子透かしにより埋め込むと共に、前記特徴値を、当該音声グループ内の少なくとも一つの音声ブロックに電子透かしにより埋め込み、
前記電子透かし検出装置は、
前記電子透かし埋め込み装置から出力されたコンテンツを格納するコンテンツ格納手段と、
前記コンテンツ格納手段から前記コンテンツに含まれているヘッダ情報を読み出し、読み出したヘッダ情報に基づいて、前記映像データおよび前記音声データのそれぞれに埋め込まれるべき特徴値を算出する透かし情報再現手段と、
前記コンテンツ格納手段から前記コンテンツに含まれている映像データを読み出し、読み出した映像データの映像グループ毎に、それぞれの映像グループ内の少なくとも一つのフレームデータから前記特徴値および前記映像データのタイムコードを抽出すると共に、前記コンテンツ格納手段から前記コンテンツに含まれている音声データを読み出し、読み出した音声データの音声グループ毎に、それぞれの音声グループ内の少なくとも一つの音声ブロックから前記特徴値および前記音声データのタイムコードを抽出する透かし情報抽出手段と、
前記透かし情報抽出手段によって前記映像データおよび前記音声データのそれぞれから抽出された特徴値と、前記透かし情報再現手段によって算出された特徴値とが一致するか否か、前記透かし情報抽出手段によって前記映像データから抽出されたタイムコードによって示される再生タイミングと、当該映像データに対応する、前記コンテンツ格納手段から読み出したタイムコードによって示される再生タイミングとの時間差が予め定められた値以内であるか否か、および、前記透かし情報抽出手段によって前記音声データから抽出されたタイムコードによって示される再生タイミングと、当該音声データに対応する、前記コンテンツ格納手段から読み出したタイムコードによって示される再生タイミングとの時間差が予め定められた値以内であるか否かをそれぞれ判定する判定手段と、
前記判定手段による判定結果を出力する出力手段と
を有することを特徴とするコンテンツ配信システムを提供する。
For example, according to the first aspect of the present invention, a digital watermark is embedded in content having header information, video data composed of a plurality of frame data, audio data composed of a plurality of audio blocks, and a time code. A digital watermark embedding device;
A content distribution system comprising a digital watermark detection device that detects a digital watermark embedded in each of the video data and the audio data,
The digital watermark embedding device includes:
Watermark information generating means for calculating a feature value based on the header information;
A watermark information embedding unit for embedding the feature value and the time code of the video data in the video data with a digital watermark, and embedding the feature value and the time code of the audio data in the audio data with a digital watermark;
Content output for outputting content including header information and time code together with video data in which the feature value and time code of the video data are embedded, and audio data in which the feature value and time code of the audio data are embedded Means and
The digital watermark information embedding means includes:
When embedding the feature value and the time code of the video data in the video data, for each video group having a predetermined number of consecutive frame data, the time code corresponding to the video group is at least included in the video group. Embedded in one frame data with a digital watermark, and the feature value is embedded in at least one frame data in the video group with a digital watermark,
When embedding the feature value and the time code of the audio data in the audio block, for each audio group having a predetermined number of continuous audio blocks, the time code corresponding to the audio group is set at least in the audio group. Embedding in one audio block with a digital watermark and embedding the feature value in at least one audio block in the audio group with a digital watermark,
The digital watermark detection apparatus comprises:
Content storage means for storing content output from the digital watermark embedding device;
Watermark information reproduction means for reading out header information included in the content from the content storage means, and calculating a feature value to be embedded in each of the video data and the audio data based on the read header information;
The video data included in the content is read from the content storage means , and for each video group of the read video data, the feature value and the time code of the video data are obtained from at least one frame data in each video group. And extracting the audio data included in the content from the content storage means , and for each audio group of the read audio data, the feature value and the audio data from at least one audio block in each audio group Watermark information extracting means for extracting the time code of
Whether or not the feature value extracted from each of the video data and the audio data by the watermark information extraction unit matches the feature value calculated by the watermark information reproduction unit, the video information by the watermark information extraction unit Whether the time difference between the playback timing indicated by the time code extracted from the data and the playback timing indicated by the time code read from the content storage means corresponding to the video data is within a predetermined value and a reproduction timing indicated by the time code extracted from the voice data by the watermark information extracting means, corresponding to the audio data, the time difference between the reproduction timing indicated by the time code read from the content storage means Within a predetermined value Respectively determining means whether a certain,
The content distribution system further includes an output unit that outputs a determination result by the determination unit.

また、本発明の第２の態様は、ヘッダ情報、複数のフレームデータで構成されている映像データ、複数の音声ブロックで構成されている音声データ、およびタイムコードを有するコンテンツに、電子透かしを埋め込む電子透かし埋め込み装置と、
前記映像データおよび前記音声データのそれぞれに埋め込まれている電子透かしを検出する電子透かし検出装置と
を備えるコンテンツ配信システムにおけるコンテンツ配信方法であって、
前記電子透かし埋め込み装置は、
前記ヘッダ情報に基づいて特徴値を算出する透かし情報生成ステップと、
前記特徴値および前記映像データのタイムコードを前記映像データに電子透かしにより埋め込むと共に、前記特徴値および前記音声データのタイムコードを前記音声データに電子透かしにより埋め込む透かし情報埋め込みステップと、
前記特徴値および前記映像データのタイムコードが埋め込まれた映像データ、および、前記特徴値および前記音声データのタイムコードが埋め込まれた音声データと共に、ヘッダ情報およびタイムコードを含むコンテンツを出力するコンテンツ出力ステップと
を行ない、
前記電子透かし埋め込み装置は、前記電子透かし情報埋め込みステップにおいて、
前記特徴値および前記映像データのタイムコードを前記映像データに埋め込む場合には、連続する所定数のフレームデータを有する映像グループ毎に、当該映像グループに対応するタイムコードを、当該映像グループ内の少なくとも一つのフレームデータに電子透かしにより埋め込むと共に、前記特徴値を、当該映像グループ内の少なくとも一つのフレームデータに電子透かしにより埋め込み、
前記特徴値および前記音声データのタイムコードを前記音声ブロックに埋め込む場合には、連続する所定数の音声ブロックを有する音声グループ毎に、当該音声グループに対応するタイムコードを、当該音声グループ内の少なくとも一つの音声ブロックに電子透かしにより埋め込むと共に、前記特徴値を、当該音声グループ内の少なくとも一つの音声ブロックに電子透かしにより埋め込み、
電子透かし検出装置は、
前記電子透かし埋め込み装置から出力されたコンテンツを格納するコンテンツ格納手段から前記コンテンツに含まれているヘッダ情報を読み出し、読み出したヘッダ情報に基づいて、前記映像データおよび前記音声データのそれぞれに埋め込まれるべき特徴値を算出する透かし情報再現ステップと、
前記コンテンツ格納手段から前記コンテンツに含まれている映像データを読み出し、読み出した映像データの映像グループ毎に、それぞれの映像グループ内の少なくとも一つのフレームデータから前記特徴値および前記映像データのタイムコードを抽出すると共に、前記コンテンツ格納手段から前記コンテンツに含まれている音声データを読み出し、読み出した音声データの音声グループ毎に、それぞれの音声グループ内の少なくとも一つの音声ブロックから前記特徴値および前記音声データのタイムコードを抽出する透かし情報抽出ステップと、
前記透かし情報抽出ステップにおいて前記映像データおよび前記音声データのそれぞれから抽出した特徴値と、前記透かし情報再現ステップにおいて算出した特徴値とが一致するか否か、前記透かし情報抽出ステップにおいて前記映像データから抽出したタイムコードによって示される再生タイミングと、当該映像データに対応する、前記コンテンツ格納手段から読み出したタイムコードによって示される再生タイミングとの時間差が予め定められた値以内であるか否か、および、前記透かし情報抽出ステップにおいて前記音声データから抽出したタイムコードによって示される再生タイミングと、当該音声データに対応する、前記コンテンツ格納手段から読み出したタイムコードによって示される再生タイミングとの時間差が予め定められた値以内であるか否かをそれぞれ判定する判定ステップと、
前記判定ステップにおける判定結果を出力する出力ステップと
を行なうことを特徴とするコンテンツ配信方法を提供する。
The second aspect of the present invention embeds an electronic watermark in content having header information, video data composed of a plurality of frame data, audio data composed of a plurality of audio blocks, and a time code. A digital watermark embedding device;
A content distribution method in a content distribution system comprising a digital watermark detection device that detects a digital watermark embedded in each of the video data and the audio data,
The digital watermark embedding device includes:
A watermark information generation step of calculating a feature value based on the header information;
Embedding the feature value and the time code of the video data in the video data with a digital watermark; and embedding the feature value and the time code of the audio data in the audio data with a digital watermark; and
Content output for outputting content including header information and time code together with video data in which the feature value and time code of the video data are embedded, and audio data in which the feature value and time code of the audio data are embedded Step and <br/>
The digital watermark embedding device, in the digital watermark information embedding step,
When embedding the feature value and the time code of the video data in the video data, for each video group having a predetermined number of consecutive frame data, the time code corresponding to the video group is at least included in the video group. Embedded in one frame data with a digital watermark, and the feature value is embedded in at least one frame data in the video group with a digital watermark,
When embedding the feature value and the time code of the audio data in the audio block, for each audio group having a predetermined number of continuous audio blocks, the time code corresponding to the audio group is set at least in the audio group. Embedding in one audio block with a digital watermark and embedding the feature value in at least one audio block in the audio group with a digital watermark,
The digital watermark detection device
The header information included in the content is read from content storage means for storing the content output from the digital watermark embedding device, and should be embedded in each of the video data and the audio data based on the read header information A watermark information reproduction step for calculating a feature value;
The video data included in the content is read from the content storage means , and for each video group of the read video data, the feature value and the time code of the video data are obtained from at least one frame data in each video group. And extracting the audio data included in the content from the content storage means , and for each audio group of the read audio data, the feature value and the audio data from at least one audio block in each audio group Watermark information extraction step for extracting the time code of
Whether the feature value extracted from each of the video data and the audio data in the watermark information extraction step matches the feature value calculated in the watermark information reproduction step, whether the feature value is extracted from the video data in the watermark information extraction step Whether or not the time difference between the reproduction timing indicated by the extracted time code and the reproduction timing indicated by the time code read from the content storage means corresponding to the video data is within a predetermined value; and a reproduction timing indicated by the time code extracted from the audio data in the watermark information extraction step, corresponding to the audio data, the time difference between the reproduction timing indicated by the time code read from the content storage means a predetermined Respectively determining whether or not it is within the value,
The content distribution method is characterized by performing an output step of outputting a determination result in the determination step.

本発明によれば、より高い精度でコンテンツの改竄を検出することができる。 According to the present invention, it is possible to detect falsification of content with higher accuracy.

以下に、本発明の実施の形態について説明する。 Embodiments of the present invention will be described below.

図１は、本発明の一実施形態に係るコンテンツ配信システム１０の構成を示すシステム構成図である。コンテンツ配信システム１０は、コンテンツ製作会社２０およびコンテンツ上映施設３０を備える。 FIG. 1 is a system configuration diagram showing a configuration of a content distribution system 10 according to an embodiment of the present invention. The content distribution system 10 includes a content production company 20 and a content screening facility 30.

コンテンツ製作会社２０は、通信ネットワーク１１に接続されており、映像コンテンツ、音声コンテンツ、または映像および音声を含むコンテンツを作成し、作成したコンテンツを、通信ネットワーク１１を介してコンテンツ管理会社１２へ送信する。なお、コンテンツ製作会社２０は、コンテンツ上映施設３０からの要求に応じて、製作したコンテンツを、通信ネットワーク１１を介して、直接コンテンツ上映施設３０へ送信してもよい。 The content production company 20 is connected to the communication network 11, creates video content, audio content, or content including video and audio, and transmits the created content to the content management company 12 via the communication network 11. . The content production company 20 may transmit the produced content directly to the content screening facility 30 via the communication network 11 in response to a request from the content screening facility 30.

コンテンツ製作会社２０は、コンテンツ作成装置２１、記憶装置２２、電子透かし埋め込み装置２３、エンコーダ２４、および送信装置２５を有する。コンテンツ作成装置２１は、ビデオカメラやマイク等であり、映像データ、音声データ、または、映像データおよび音声データを含むコンテンツを作成する。そして、コンテンツ作成装置２１は、作成したコンテンツを記憶装置２２へ格納し、コンテンツの作成が終了した旨を電子透かし埋め込み装置２３に通知する。 The content production company 20 includes a content creation device 21, a storage device 22, a digital watermark embedding device 23, an encoder 24, and a transmission device 25. The content creation device 21 is a video camera, a microphone, or the like, and creates content including video data, audio data, or video data and audio data. Then, the content creation device 21 stores the created content in the storage device 22 and notifies the digital watermark embedding device 23 that the creation of the content has been completed.

本実施形態において、コンテンツ作成装置２１によって作成されるコンテンツ４０は、映像データ４２および音声データ４３を有し、例えば図２に示すようなデータ構造である。映像データ４２および音声データ４３は、符号化の単位に分割されている。映像データ４２は、例えばフレーム単位で分割されており、音声データ４３は、音声処理の単位で分割されている。ヘッダ情報４１には、コンテンツの権利元や再生時間、コンテンツのサイズ等の情報が格納される。タイムコード４４には、映像データ４２および音声データ４３のそれぞれの分割単位の再生タイミングを示す情報が格納される。 In the present embodiment, the content 40 created by the content creation device 21 has video data 42 and audio data 43, and has a data structure as shown in FIG. The video data 42 and the audio data 43 are divided into encoding units. The video data 42 is divided, for example, in units of frames, and the audio data 43 is divided in units of audio processing. The header information 41 stores information such as the content right source, playback time, and content size. The time code 44 stores information indicating the reproduction timing of each division unit of the video data 42 and the audio data 43.

電子透かし埋め込み装置２３は、コンテンツの作成が終了した旨をコンテンツ作成装置２１から通知された場合に、作成されたコンテンツを記憶装置２２から読み出し、読み出したコンテンツに含まれるヘッダ情報４１およびタイムコード４４から透かし情報を生成し、生成した透かし情報を映像データ４２および音声データ４３に埋め込む。そして、電子透かし埋め込み装置２３は、透かし情報を埋め込んだコンテンツを再び記憶装置２２に格納し、透かし情報の埋め込みが終了した旨をエンコーダ２４に通知する。 When the digital watermark embedding device 23 is notified from the content creation device 21 that the content creation has been completed, the digital watermark embedding device 23 reads the created content from the storage device 22, and the header information 41 and the time code 44 included in the read content. Watermark information is generated, and the generated watermark information is embedded in the video data 42 and the audio data 43. Then, the digital watermark embedding device 23 stores the content in which the watermark information is embedded again in the storage device 22, and notifies the encoder 24 that the embedding of the watermark information has been completed.

エンコーダ２４は、透かし情報の埋め込みが終了した旨を電子透かし埋め込み装置２３から通知された場合に、記憶装置２２に格納されたコンテンツを、例えばＭＰＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）やＷＭＶ（Ｗｉｎｄｏｗｓ（登録商標）ＭｅｄｉａＶｉｄｅｏ）等の符号化方式に従って符号化する。送信装置２５は、符号化が終了したコンテンツを記憶装置２２から読み出して、通信ネットワーク１１を介してコンテンツ管理会社１２へ送信する。 When the digital watermark embedding device 23 notifies that the watermark information has been embedded, the encoder 24 converts the content stored in the storage device 22 into MPG (Moving Picture Experts Group) or WMV (Windows (registered trademark)), for example. ) Encoding according to an encoding method such as Media Video). The transmission device 25 reads out the encoded content from the storage device 22 and transmits it to the content management company 12 via the communication network 11.

コンテンツ管理会社１２は、配信サーバ１３を有する。配信サーバ１３は、コンテンツ製作会社２０によって作成されたコンテンツを、通信ネットワーク１１を介して受信し、受信したコンテンツを蓄積する。そして、配信サーバ１３は、コンテンツ上映施設３０からの要求に応じて、蓄積したコンテンツを、通信ネットワーク１１を介してコンテンツ上映施設３０へ送信する。また、配信サーバ１３は、蓄積したコンテンツを管理しており、必要に応じて、蓄積したコンテンツのバックアップを取ったり、最新の符号化形式に変換し直したりする処理を行う。 The content management company 12 has a distribution server 13. The distribution server 13 receives content created by the content production company 20 via the communication network 11 and accumulates the received content. Then, the distribution server 13 transmits the accumulated content to the content screening facility 30 via the communication network 11 in response to a request from the content screening facility 30. In addition, the distribution server 13 manages the accumulated content, and performs a process of backing up the accumulated content or converting it back to the latest encoding format as necessary.

コンテンツ上映施設３０は、通信ネットワーク１１に接続されており、映像コンテンツ、音声コンテンツ、または、映像および音声を含むコンテンツを配信サーバ１３から取得し、取得したコンテンツを再生する。コンテンツ上映施設３０は、電子透かし検出装置３１、記憶装置３２、コンテンツ再生装置３３、デコーダ３４、および受信装置３５を備える。 The content screening facility 30 is connected to the communication network 11, acquires video content, audio content, or content including video and audio from the distribution server 13, and reproduces the acquired content. The content screening facility 30 includes a digital watermark detection device 31, a storage device 32, a content reproduction device 33, a decoder 34, and a reception device 35.

受信装置３５は、通信ネットワーク１１を介してコンテンツ管理会社１２からコンテンツを取得して記憶装置３２に格納し、コンテンツを格納した旨をデコーダ３４に通知する。デコーダ３４は、記憶装置３２に格納されたコンテンツを、ＭＰＥＧやＷＭＶに基づいて復号化し、復号化が終了した場合にその旨を電子透かし検出装置３１およびコンテンツ再生装置３３に通知する。コンテンツ再生装置３３は、復号化されたコンテンツを記憶装置３２から読み出して、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）やＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）等の表示装置に映像を表示したり、スピーカ等の音声出力装置を介して音声を出力したりする。 The receiving device 35 acquires content from the content management company 12 via the communication network 11 and stores it in the storage device 32, and notifies the decoder 34 that the content has been stored. The decoder 34 decodes the content stored in the storage device 32 based on MPEG or WMV, and notifies the digital watermark detection device 31 and the content reproduction device 33 when the decoding is completed. The content playback device 33 reads the decrypted content from the storage device 32 and displays video on a display device such as a CRT (Cathode Ray Tube) or LCD (Liquid Crystal Display), or an audio output device such as a speaker. To output audio.

電子透かし検出装置３１は、復号化されたコンテンツを記憶装置３２から読み出し、読み出したコンテンツ内のヘッダ情報４１およびタイムコード４４から、当該コンテンツに埋め込まれるべき透かし情報を算出する。そして、電子透かし検出装置３１は、読み出したコンテンツ内の映像データ４２および音声データ４３のそれぞれから透かし情報を抽出し、抽出した透かし情報と、ヘッダ情報４１およびタイムコード４４から算出した透かし情報とが整合しているか否かを判定し、判定結果を表示装置や音声出力装置等を介して出力する。 The digital watermark detection device 31 reads the decrypted content from the storage device 32, and calculates watermark information to be embedded in the content from the header information 41 and the time code 44 in the read content. Then, the digital watermark detection device 31 extracts watermark information from each of the video data 42 and the audio data 43 in the read content, and the extracted watermark information and the watermark information calculated from the header information 41 and the time code 44 are obtained. It is determined whether or not they match, and the determination result is output via a display device, an audio output device, or the like.

このように、電子透かし埋め込み装置２３によって埋め込まれるべき透かし情報が、受信したコンテンツ内に埋め込まれているか否かを電子透かし検出装置３１によって判定することにより、コンテンツ上映施設３０は、配信されたコンテンツが改竄されているか否かを判定することができる。 In this way, the content screening facility 30 determines whether the watermark information to be embedded by the digital watermark embedding device 23 is embedded in the received content by the digital watermark detection device 31. It can be determined whether or not has been tampered with.

なお、図１において、通信ネットワーク１１は、有線ネットワークで構成されるものに限られず、部分的に通信衛星等を介した無線ネットワークによって構成されていてもよい。また、本発明は、コンテンツ製作会社２０によって透かし情報が埋め込まれたコンテンツが通信ネットワーク１１を介してコンテンツ上映施設３０に提供される場合に限られず、当該コンテンツがＣＤ−ＲＯＭ等の記録媒体に格納されて提供される構成も、本発明の適用範囲である。 In FIG. 1, the communication network 11 is not limited to a wired network, and may be partially configured by a wireless network via a communication satellite or the like. In addition, the present invention is not limited to the case where content embedded with watermark information by the content production company 20 is provided to the content screening facility 30 via the communication network 11, and the content is stored in a recording medium such as a CD-ROM. The configuration provided in this manner is also within the scope of the present invention.

図３は、電子透かし埋め込み装置２３の詳細な機能構成の一例を示すブロック図である。電子透かし埋め込み装置２３は、コンテンツ取得部２３０、透かし情報生成部２３１、透かし情報埋め込み部２３２、およびコンテンツ出力部２３３を備える。 FIG. 3 is a block diagram illustrating an example of a detailed functional configuration of the digital watermark embedding device 23. The digital watermark embedding device 23 includes a content acquisition unit 230, a watermark information generation unit 231, a watermark information embedding unit 232, and a content output unit 233.

コンテンツ取得部２３０は、コンテンツの作成が終了した旨をコンテンツ作成装置２１から通知された場合に、作成されたコンテンツを記憶装置２２から読み出し、読み出したコンテンツのうち、ヘッダ情報４１およびタイムコード４４を透かし情報生成部２３１へ、映像データ４２および音声データ４３を透かし情報埋め込み部２３２へ、それぞれ送る。このとき、コンテンツ取得部２３０は、映像データ４２および音声データ４３を、予め定められた単位毎（所定の時間単位毎、または、映像データ４２であればフレーム単位毎）に読み出して透かし情報埋め込み部２３２へ送る。コンテンツ取得部２３０は、コンテンツ全体の読み込みが終了した場合にその旨をコンテンツ出力部２３３に通知する。 When the content creation unit 21 is notified that the content creation is completed, the content acquisition unit 230 reads the created content from the storage device 22, and includes the header information 41 and the time code 44 in the read content. The video data 42 and the audio data 43 are sent to the watermark information generation unit 231 to the watermark information embedding unit 232, respectively. At this time, the content acquisition unit 230 reads the video data 42 and the audio data 43 for each predetermined unit (every predetermined time unit, or for each frame unit in the case of the video data 42), and the watermark information embedding unit Send to 232 The content acquisition unit 230 notifies the content output unit 233 when the entire content has been read.

透かし情報生成部２３１は、コンテンツ取得部２３０から受け取ったヘッダ情報４１に基づいて特徴値を算出し、算出した特徴値を透かし情報埋め込み部２３２へ送る。透かし情報生成部２３１は、例えば、ヘッダ情報４１からハッシュ関数を用いて求めたハッシュ値を、ヘッダ情報４１の特徴値として算出する。また、透かし情報生成部２３１は、コンテンツ取得部２３０から受け取ったタイムコード４４の中から、コンテンツ取得部２３０が単位毎に読み出した映像データ４２または音声データ４３に対応するタイムコードを抽出して透かし情報埋め込み部２３２へ送る。 The watermark information generation unit 231 calculates a feature value based on the header information 41 received from the content acquisition unit 230 and sends the calculated feature value to the watermark information embedding unit 232. For example, the watermark information generation unit 231 calculates a hash value obtained from the header information 41 using a hash function as a feature value of the header information 41. Also, the watermark information generation unit 231 extracts the time code corresponding to the video data 42 or the audio data 43 read by the content acquisition unit 230 for each unit from the time code 44 received from the content acquisition unit 230. The information is sent to the information embedding unit 232.

透かし情報埋め込み部２３２は、例えば図４に示すように、コンテンツ取得部２３０から受け取った映像データ４２および音声データ４３に、透かし情報生成部２３１から受け取った特徴値４５およびタイムコード４６を電子透かしにより埋め込む。図４に示す例において、透かし情報埋め込み部２３２は、映像データ４２の分割単位であるフレーム４２０および音声データ４３の分割単位である音声ブロック４３０のそれぞれに、共通の特徴値４５を埋め込むと共に、フレーム４２０のそれぞれには、当該フレーム４２０の表示タイミング等を示すタイムコード４６を埋め込み、音声ブロック４３０のそれぞれには、当該音声ブロック４３０の再生タイミング等を示すタイムコード４７を埋め込む。 For example, as shown in FIG. 4, the watermark information embedding unit 232 adds the feature value 45 and the time code 46 received from the watermark information generating unit 231 to the video data 42 and the audio data 43 received from the content acquisition unit 230 by digital watermarking. Embed. In the example illustrated in FIG. 4, the watermark information embedding unit 232 embeds a common feature value 45 in each of a frame 420 that is a division unit of the video data 42 and an audio block 430 that is a division unit of the audio data 43, Each of 420 is embedded with a time code 46 indicating the display timing of the frame 420, and each of the audio blocks 430 is embedded with a time code 47 indicating the reproduction timing of the audio block 430.

なお、電子透かしにより映像データに透かし情報を埋め込む方法については、下記の非特許文献１に、電子透かしにより音声データに透かし情報を埋め込む方法については、下記の非特許文献２に、それぞれ詳細に記述されている。
（非特許文献１）
I. Echizen, H. Yoshiura, T. Arai, H. Kimura, T. Takeuchi : General Quality Maintenance Module for Motion Picture Watermarking, IEEE Trans. Consumer Electronics, Vol.45, No.4, pp. 1150-1158, (1999).
（非特許文献２）
L. Boney, A. Tewfik, K. Hamdy: Digital Watermarks for Audio Signals, International Conference on Multimedia Computing and Systems, pp. 473-480, (1996). The method for embedding watermark information in video data by digital watermark is described in detail in Non-Patent Document 1 below, and the method for embedding watermark information in audio data by digital watermark is described in detail in Non-Patent Document 2 below. Has been.
(Non-Patent Document 1)
I. Echizen, H. Yoshiura, T. Arai, H. Kimura, T. Takeuchi: General Quality Maintenance Module for Motion Picture Watermarking, IEEE Trans. Consumer Electronics, Vol. 45, No. 4, pp. 1150-1158, ( 1999).
(Non-Patent Document 2)
L. Boney, A. Tewfik, K. Hamdy: Digital Watermarks for Audio Signals, International Conference on Multimedia Computing and Systems, pp. 473-480, (1996).

コンテンツ出力部２３３は、透かし情報埋め込み部２３２によって透かし情報が埋め込まれた映像データ４２および音声データ４３を再び記憶装置２２に格納する。また、コンテンツ取得部２３０からコンテンツの読み込みが終了した旨を通知された場合、コンテンツ出力部２３３は、透かし情報埋め込み部２３２によって透かし情報が埋め込まれた映像データ４２および音声データ４３を記憶装置２２に格納した後に、透かし情報の埋め込みが終了した旨をエンコーダ２４に通知する。 The content output unit 233 stores the video data 42 and the audio data 43 in which the watermark information is embedded by the watermark information embedding unit 232 in the storage device 22 again. When the content acquisition unit 230 notifies that the content reading has been completed, the content output unit 233 stores the video data 42 and the audio data 43 in which the watermark information is embedded by the watermark information embedding unit 232 in the storage device 22. After the storage, the encoder 24 is notified that the embedding of the watermark information has been completed.

図５は、電子透かし検出装置３１の詳細な機能構成の一例を示すブロック図である。電子透かし検出装置３１は、コンテンツ取得部３１０、透かし情報再現部３１１、透かし情報抽出部３１２、判定部３１３、および判定結果出力部３１４を備える。 FIG. 5 is a block diagram illustrating an example of a detailed functional configuration of the digital watermark detection apparatus 31. The digital watermark detection apparatus 31 includes a content acquisition unit 310, a watermark information reproduction unit 311, a watermark information extraction unit 312, a determination unit 313, and a determination result output unit 314.

コンテンツ取得部３１０は、復号化の終了をデコーダ３４から通知された場合に、復号化が終了したコンテンツを記憶装置３２から読み出し、読み出したコンテンツのうち、ヘッダ情報４１およびタイムコード４４を透かし情報再現部３１１へ、映像データ４２および音声データ４３を透かし情報抽出部３１２へ、それぞれ送る。このとき、コンテンツ取得部３１０は、映像データ４２および音声データ４３を、予め定められた単位毎（所定の時間単位毎、または、映像データ４２であればフレーム単位毎）であって、電子透かし埋め込み装置２３側で透かし情報を埋め込む際の分割単位毎で読み出して透かし情報抽出部３１２へ送る。コンテンツ取得部３１０は、コンテンツ全体の読み込みが終了した場合にその旨を判定結果出力部３１４に通知する。 When the content acquisition unit 310 is notified of the end of decoding from the decoder 34, the content acquisition unit 310 reads out the content that has been decoded from the storage device 32, and reproduces the header information 41 and the time code 44 of the read content as watermark information. The video data 42 and the audio data 43 are sent to the watermark information extracting unit 312 to the unit 311. At this time, the content acquisition unit 310 embeds the video data 42 and the audio data 43 in a predetermined unit (every predetermined time unit or every frame unit in the case of the video data 42). The data is read for each division unit when embedding watermark information on the device 23 side, and sent to the watermark information extraction unit 312. The content acquisition unit 310 notifies the determination result output unit 314 when the reading of the entire content is completed.

透かし情報再現部３１１は、コンテンツ取得部３１０から受け取ったヘッダ情報４１に基づいて、例えばハッシュ関数を用いて特徴値を算出し、算出した特徴値を判定部３１３へ送る。また、透かし情報再現部３１１は、コンテンツ取得部３１０から受け取ったタイムコード４４の中から、コンテンツ取得部３１０が単位毎に読み出した映像データ４２または音声データ４３に対応するタイムコードを抽出して判定部３１３へ送る。 Based on the header information 41 received from the content acquisition unit 310, the watermark information reproduction unit 311 calculates a feature value using, for example, a hash function, and sends the calculated feature value to the determination unit 313. Also, the watermark information reproduction unit 311 extracts and determines the time code corresponding to the video data 42 or the audio data 43 read out for each unit from the time code 44 received from the content acquisition unit 310. Send to part 313.

透かし情報抽出部３１２は、例えば図４に示すように透かし情報が埋め込まれたフレーム４２０および音声ブロック４３０から、透かし情報を抽出し、抽出した透かし情報を判定部３１３へ送る。判定部３１３は、透かし情報再現部３１１から受け取った特徴値およびタイムコードと、透かし情報抽出部３１２によって抽出された透かし情報に含まれる特徴値およびタイムコードとを比較することにより、両値が整合しているか否かを判定する。 The watermark information extraction unit 312 extracts watermark information from a frame 420 and an audio block 430 in which watermark information is embedded, for example, as shown in FIG. 4, and sends the extracted watermark information to the determination unit 313. The determination unit 313 compares the feature value and time code received from the watermark information reproduction unit 311 with the feature value and time code included in the watermark information extracted by the watermark information extraction unit 312 so that the two values match. It is determined whether or not.

本実施形態において、判定部３１３は、透かし情報再現部３１１から受け取った特徴値およびタイムコードと、透かし情報抽出部３１２によって抽出された透かし情報に含まれる特徴値およびタイムコードとが一致している場合に、両値が整合していると判定する。 In the present embodiment, the determination unit 313 matches the feature value and time code received from the watermark information reproduction unit 311 with the feature value and time code included in the watermark information extracted by the watermark information extraction unit 312. In this case, it is determined that both values are consistent.

判定結果出力部３１４は、判定部３１３による判定結果を格納し、コンテンツ全体の読み込みが終了した旨をコンテンツ取得部３１０から通知された場合に、格納していた判定結果を表示装置や音声出力装置等を介して出力する。なお、他の例として、判定結果出力部３１４は、判定部３１３による判定結果を、表示装置や音声出力装置等を介して随時出力してもよく、整合していない旨を示す判定結果のみを出力してもよい。また、判定結果出力部３１４は、判定部３１３による判定結果が整合していない旨を示す場合に、コンテンツ再生装置３３による映像、音声、または、映像および音声の出力を停止するようにしてもよい。 The determination result output unit 314 stores the determination result by the determination unit 313, and when the content acquisition unit 310 is notified that the reading of the entire content has been completed, the stored determination result is displayed on the display device or the audio output device. Etc. As another example, the determination result output unit 314 may output the determination result by the determination unit 313 at any time via a display device, an audio output device, or the like, and only the determination result indicating that they are not consistent. It may be output. In addition, the determination result output unit 314 may stop the output of video, audio, or video and audio by the content reproduction device 33 when it indicates that the determination result by the determination unit 313 is not consistent. .

図６は、電子透かし埋め込み装置２３の動作の一例を示すフローチャートである。コンテンツの作成が終了した旨をコンテンツ作成装置２１から通知された場合に、電子透かし埋め込み装置２３は、本フローチャートに示す動作を開始する。 FIG. 6 is a flowchart showing an example of the operation of the digital watermark embedding apparatus 23. When the content creation device 21 is notified that content creation has been completed, the digital watermark embedding device 23 starts the operation shown in this flowchart.

まず、コンテンツ取得部２３０は、記憶装置２２からヘッダ情報４１およびタイムコード４４を読み出し（Ｓ１００）、読み出したヘッダ情報４１およびタイムコード４４を透かし情報生成部２３１へ送る。そして、透かし情報生成部２３１は、コンテンツ取得部２３０から受け取ったヘッダ情報４１に基づいて特徴値を算出する（Ｓ１０１）。 First, the content acquisition unit 230 reads the header information 41 and the time code 44 from the storage device 22 (S100), and sends the read header information 41 and time code 44 to the watermark information generation unit 231. Then, the watermark information generation unit 231 calculates a feature value based on the header information 41 received from the content acquisition unit 230 (S101).

次に、コンテンツ取得部２３０は、映像データ４２または音声データ４３を記憶装置２２から所定量読み出し（Ｓ１０２）、読み出した、映像データ４２または音声データ４３を透かし情報埋め込み部２３２へ送る。そして、透かし情報生成部２３１は、ステップ１０２において読み出した、映像データ４２または音声データ４３に対応するタイムコードを抽出し（Ｓ１０３）、抽出したタイムコードを透かし情報埋め込み部２３２へ送る。 Next, the content acquisition unit 230 reads the video data 42 or the audio data 43 from the storage device 22 by a predetermined amount (S102), and sends the read video data 42 or the audio data 43 to the watermark information embedding unit 232. Then, the watermark information generating unit 231 extracts the time code corresponding to the video data 42 or the audio data 43 read in step 102 (S103), and sends the extracted time code to the watermark information embedding unit 232.

次に、透かし情報埋め込み部２３２は、コンテンツ取得部２３０から受け取った映像データ４２または音声データ４３に、透かし情報生成部２３１から受け取った特徴値およびタイムコードを電子透かしにより埋め込む（Ｓ１０４）。そして、コンテンツ出力部２３３は、電子透かしが埋め込まれた映像データ４２または音声データ４３を記憶装置２２に格納する。 Next, the watermark information embedding unit 232 embeds the feature value and time code received from the watermark information generation unit 231 in the video data 42 or the audio data 43 received from the content acquisition unit 230 with a digital watermark (S104). Then, the content output unit 233 stores the video data 42 or the audio data 43 in which the digital watermark is embedded in the storage device 22.

次に、コンテンツ出力部２３３は、コンテンツデータの分割単位のそれぞれ全てに透かし情報の埋め込みを行なったか否かを判定する（Ｓ１０５）。コンテンツデータの全てに透かし情報を埋め込んでいない場合（Ｓ１０５：Ｎｏ）、コンテンツ取得部２３０は、再びステップ１０２に示した処理を実行する。コンテンツデータの全てに透かし情報を埋め込んだ場合（Ｓ１０５：Ｙｅｓ）、コンテンツ出力部２３３は、透かし情報の埋め込みが終了した旨をエンコーダ２４に通知し（Ｓ１０６）、電子透かし埋め込み装置２３は、本フローチャートに示す動作を終了する。 Next, the content output unit 233 determines whether or not watermark information has been embedded in each of the division units of the content data (S105). When the watermark information is not embedded in all the content data (S105: No), the content acquisition unit 230 executes the process shown in step 102 again. When the watermark information is embedded in all the content data (S105: Yes), the content output unit 233 notifies the encoder 24 that the watermark information has been embedded (S106). The operation shown in FIG.

図７は、電子透かし検出装置３１の動作の一例を示すフローチャートである。復号化の終了をデコーダ３４から通知された場合に、電子透かし検出装置３１は、本フローチャートに示す動作を開始する。 FIG. 7 is a flowchart showing an example of the operation of the digital watermark detection apparatus 31. When the decoder 34 is notified of the end of decoding, the digital watermark detection apparatus 31 starts the operation shown in this flowchart.

まず、コンテンツ取得部３１０は、記憶装置３２からヘッダ情報４１およびタイムコード４４を読み出し（Ｓ２００）、読み出したヘッダ情報４１およびタイムコード４４を透かし情報再現部３１１へ送る。そして、透かし情報再現部３１１は、コンテンツ取得部３１０から受け取ったヘッダ情報４１に基づいて、当該コンテンツに埋め込まれるべき特徴値を算出する（Ｓ２０１）。 First, the content acquisition unit 310 reads the header information 41 and the time code 44 from the storage device 32 (S200), and sends the read header information 41 and time code 44 to the watermark information reproduction unit 311. Then, the watermark information reproduction unit 311 calculates a feature value to be embedded in the content based on the header information 41 received from the content acquisition unit 310 (S201).

次に、コンテンツ取得部３１０は、映像データ４２または音声データ４３を記憶装置３２から所定量読み出し（Ｓ２０２）、読み出した映像データ４２または音声データ４３を透かし情報抽出部３１２へ送る。そして、透かし情報再現部３１１は、ステップ２０２において読み出した映像データ４２または音声データ４３に対応するタイムコードを抽出し（Ｓ２０３）、抽出したタイムコードを判定部３１３へ送る。 Next, the content acquisition unit 310 reads a predetermined amount of the video data 42 or the audio data 43 from the storage device 32 (S202), and sends the read video data 42 or audio data 43 to the watermark information extraction unit 312. Then, the watermark information reproduction unit 311 extracts a time code corresponding to the video data 42 or the audio data 43 read in step 202 (S203), and sends the extracted time code to the determination unit 313.

次に、透かし情報抽出部３１２は、コンテンツ取得部３１０から受け取った映像データ４２または音声データ４３から透かし情報を抽出し（Ｓ２０４）、抽出した透かし情報を判定部３１３へ送る。そして、判定部３１３は、透かし情報再現部３１１から受け取った特徴値およびタイムコードと、透かし情報抽出部３１２によって抽出された透かし情報に含まれる特徴値およびタイムコードとを比較することにより、両値が整合しているか否かを判定する（Ｓ２０５）。そして、判定結果出力部３１４は、判定部３１３による判定結果を格納する（Ｓ２０６）。 Next, the watermark information extraction unit 312 extracts watermark information from the video data 42 or the audio data 43 received from the content acquisition unit 310 (S204), and sends the extracted watermark information to the determination unit 313. Then, the determination unit 313 compares the feature value and time code received from the watermark information reproduction unit 311 with the feature value and time code included in the watermark information extracted by the watermark information extraction unit 312 to obtain both values. Are determined to be consistent (S205). Then, the determination result output unit 314 stores the determination result by the determination unit 313 (S206).

次に、コンテンツ取得部３１０は、コンテンツデータの分割単位のそれぞれを全て記憶装置３２から読み出したか否かを判定する（Ｓ２０７）。コンテンツデータを全て読み出していない場合（Ｓ２０７：Ｎｏ）、コンテンツ取得部３１０は、再びステップ２０２に示した処理を実行する。コンテンツデータを全て読み出した場合（Ｓ２０７：Ｙｅｓ）、コンテンツ取得部３１０は、その旨を判定結果出力部３１４に通知する。そして、判定結果出力部３１４は、ステップ２０６において格納した比較結果を、表示装置や音声出力装置等を介して出力し（Ｓ２０８）、電子透かし検出装置３１は、本フローチャートに示す処理を終了する。 Next, the content acquisition unit 310 determines whether all of the content data division units have been read from the storage device 32 (S207). When all the content data has not been read (S207: No), the content acquisition unit 310 executes the process shown in step 202 again. When all content data has been read (S207: Yes), the content acquisition unit 310 notifies the determination result output unit 314 to that effect. Then, the determination result output unit 314 outputs the comparison result stored in step 206 via a display device, an audio output device, or the like (S208), and the digital watermark detection device 31 ends the process shown in this flowchart.

図８は、電子透かし埋め込み装置２３または電子透かし検出装置３１の機能を実現する情報処理装置５０のハードウェア構成の一例を示すハードウェア構成図である。情報処理装置５０は、ＣＰＵ５１、ＲＡＭ５２、ＲＯＭ５３、通信インターフェイス５４、入出力インターフェイス５５、およびメディアインターフェイス５６を備える。ＣＰＵ５１は、ＲＡＭ５２およびＲＯＭ５３に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ５３は、情報処理装置５０の起動時にＣＰＵ５１が実行するブートプログラムや、情報処理装置５０のハードウェアに依存するプログラム等を格納する。 FIG. 8 is a hardware configuration diagram illustrating an example of a hardware configuration of the information processing apparatus 50 that realizes the function of the digital watermark embedding apparatus 23 or the digital watermark detection apparatus 31. The information processing apparatus 50 includes a CPU 51, a RAM 52, a ROM 53, a communication interface 54, an input / output interface 55, and a media interface 56. The CPU 51 operates based on programs stored in the RAM 52 and the ROM 53, and controls each part. The ROM 53 stores a boot program executed by the CPU 51 when the information processing apparatus 50 is started up, a program depending on the hardware of the information processing apparatus 50, and the like.

ＲＡＭ５２は、ＣＰＵ５１が実行するプログラムおよびＣＰＵ５１が使用するデータ等を格納する。通信インターフェイス５４は、コンテンツ製作会社２０またはコンテンツ上映施設３０内のネットワークを介して他の機器からデータを受信してＣＰＵ５１へ送ると共に、ＣＰＵ５１が生成したデータを、当該ネットワークを介して他の機器へ送信する。 The RAM 52 stores programs executed by the CPU 51, data used by the CPU 51, and the like. The communication interface 54 receives data from other devices via the network in the content production company 20 or the content screening facility 30 and sends the data to the CPU 51, and sends the data generated by the CPU 51 to other devices via the network. Send.

ＣＰＵ５１は、入出力インターフェイス５５を介して、キーボードやマウス、ＬＣＤ等の入出力装置を制御する。ＣＰＵ５１は、入出力インターフェイス５５を介して、キーボードやマウス等からデータを取得する。また、ＣＰＵ５１は、生成したデータを、入出力インターフェイス５５を介してＬＣＤ等へ出力する。 The CPU 51 controls input / output devices such as a keyboard, a mouse, and an LCD via the input / output interface 55. The CPU 51 acquires data from a keyboard, a mouse, or the like via the input / output interface 55. Further, the CPU 51 outputs the generated data to the LCD or the like via the input / output interface 55.

メディアインターフェイス５６は、記録媒体５７に格納されたプログラムまたはデータを読み取り、ＲＡＭ５２に提供する。ＲＡＭ５２を介してＣＰＵ５１に提供されるプログラムは、記録媒体５７に格納されている。当該プログラムは、記録媒体５７から読み出されて、ＲＡＭ５２を介して情報処理装置５０にインストールされ、ＣＰＵ５１によって実行される。 The media interface 56 reads a program or data stored in the recording medium 57 and provides it to the RAM 52. A program provided to the CPU 51 via the RAM 52 is stored in the recording medium 57. The program is read from the recording medium 57, installed in the information processing apparatus 50 via the RAM 52, and executed by the CPU 51.

情報処理装置５０が電子透かし埋め込み装置２３として機能する場合、情報処理装置５０にインストールされて実行されるプログラムは、情報処理装置５０を、コンテンツ取得部２３０、透かし情報生成部２３１、透かし情報埋め込み部２３２、およびコンテンツ出力部２３３としてそれぞれ機能させる。また、情報処理装置５０が電子透かし検出装置３１として機能する場合、情報処理装置５０にインストールされて実行されるプログラムは、情報処理装置５０を、コンテンツ取得部３１０、透かし情報再現部３１１、透かし情報抽出部３１２、判定部３１３、および判定結果出力部３１４としてそれぞれ機能させる。 When the information processing device 50 functions as the digital watermark embedding device 23, a program installed and executed in the information processing device 50 includes the content acquisition unit 230, the watermark information generation unit 231, and the watermark information embedding unit. 232 and the content output unit 233, respectively. When the information processing apparatus 50 functions as the digital watermark detection apparatus 31, a program installed and executed in the information processing apparatus 50 includes the information acquisition apparatus 50, the content acquisition unit 310, the watermark information reproduction unit 311, and the watermark information. The extraction unit 312, the determination unit 313, and the determination result output unit 314 function respectively.

記録媒体５７は、例えばＤＶＤ、ＰＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。情報処理装置５０は、これらのプログラムを、記録媒体５７から読み取って実行するが、他の例として、例えばコンテンツ製作会社２０またはコンテンツ上映施設３０内のネットワークを介して、これらのプログラムを取得してもよい。 The recording medium 57 is, for example, an optical recording medium such as DVD or PD, a magneto-optical recording medium such as MO, a tape medium, a magnetic recording medium, or a semiconductor memory. The information processing apparatus 50 reads these programs from the recording medium 57 and executes them. As another example, the information processing apparatus 50 acquires these programs via the network in the content production company 20 or the content screening facility 30, for example. Also good.

以上、本発明の実施の形態について説明した。 The embodiment of the present invention has been described above.

上記説明から明らかなように、本発明の電子透かし埋め込み装置２３および電子透かし検出装置３１によれば、ヘッダの改竄、映像データまたは音声データの差し替え、映像データまたは音声データの部分削除を検出することができ、より高い精度でコンテンツの改竄を検出することができる。 As is clear from the above description, according to the digital watermark embedding device 23 and the digital watermark detection device 31 of the present invention, it is possible to detect alteration of a header, replacement of video data or audio data, and partial deletion of video data or audio data. It is possible to detect alteration of content with higher accuracy.

なお、本発明は上記の実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。 In addition, this invention is not limited to said embodiment, Many deformation | transformation are possible within the range of the summary.

例えば、上記した実施形態において、電子透かし埋め込み装置２３は、図４に示すように、映像データ４２および音声データ４３に特徴値および対応するタイムコードを電子透かしにより埋め込むが、他の形態として、映像データ４２および音声データ４３のいずれか一方に特徴値および対応するタイムコードを埋め込んでもよい。これにより、電子透かし検出装置３１は、映像データ４２および音声データ４３のいずれか一方から透かし情報の抽出を行えばよく、透かし情報の抽出にかかる処理負荷を低減することができる。 For example, in the embodiment described above, the digital watermark embedding device 23 embeds the feature value and the corresponding time code in the video data 42 and the audio data 43 with the digital watermark as shown in FIG. A feature value and a corresponding time code may be embedded in one of the data 42 and the audio data 43. As a result, the digital watermark detection apparatus 31 only needs to extract watermark information from either the video data 42 or the audio data 43, and can reduce the processing load required for the extraction of the watermark information.

また、上記した実施形態において、透かし情報埋め込み部２３２は、図４に示すように、映像データ４２内のそれぞれのフレーム４２０および音声データ４３内のそれぞれの音声ブロック４３０に、異なるタイムコードを電子透かしにより埋め込んだが、他の形態として、例えば図９に示しように、映像データまたは音声データの所定のまとまり毎に、同一のタイムコードを電子透かしにより埋め込むようにしてもよい。図９に示す例では、映像データ４２については、５つのフレーム４２０毎に同一のタイムコード４６が電子透かしにより埋め込まれており、音声データ４３については、２つの音声ブロック４３０毎に同一のタイムコード４７が埋め込まれている。なお、他の例として、映像データまたは音声データは、所定の再生時間間隔毎（例えば１秒毎等）に分割されていてもよい。 In the above-described embodiment, the watermark information embedding unit 232 assigns different time codes to the digital watermarks to the respective frames 420 in the video data 42 and the respective audio blocks 430 in the audio data 43 as shown in FIG. However, as another form, for example, as shown in FIG. 9, the same time code may be embedded with a digital watermark for each predetermined group of video data or audio data. In the example shown in FIG. 9, the same time code 46 is embedded by digital watermark for every five frames 420 for the video data 42, and the same time code for every two audio blocks 430 for the audio data 43. 47 is embedded. As another example, video data or audio data may be divided at predetermined playback time intervals (for example, every second).

また、図９に示す例のように透かし情報が埋め込まれる場合、電子透かし検出装置３１内の判定部３１３は、透かし情報再現部３１１から受け取ったタイムコードと、透かし情報抽出部３１２によって抽出された透かし情報に含まれるタイムコードとの時間差が所定値以内である場合に、両値が整合していると判定する。ここで、所定値とは、フレーム４２０については、例えば、同一のタイムコード４６が埋め込まれた複数のフレーム４２０の再生時間であり、図９に示す例では、５つの連続するフレーム４２０が映像として表示される時間である。また、音声ブロック４３０については、例えば、同一のタイムコード４７が埋め込まれた複数の音声ブロック４３０の再生時間であり、図９に示す例では、２つの連続した音声ブロック４３０が音声として再生される時間が所定値となる。 When the watermark information is embedded as in the example illustrated in FIG. 9, the determination unit 313 in the digital watermark detection apparatus 31 extracts the time code received from the watermark information reproduction unit 311 and the watermark information extraction unit 312. When the time difference with the time code included in the watermark information is within a predetermined value, it is determined that the two values are consistent. Here, for the frame 420, for example, the predetermined value is a reproduction time of a plurality of frames 420 in which the same time code 46 is embedded. In the example shown in FIG. It is the displayed time. Further, the audio block 430 is, for example, the reproduction time of a plurality of audio blocks 430 in which the same time code 47 is embedded. In the example shown in FIG. 9, two consecutive audio blocks 430 are reproduced as audio. Time becomes a predetermined value.

なお、図９に示す例では、それぞれのフレーム４２０のグループにおいて、グループ内の全てのフレーム４２０に埋め込まれるタイムコード４６の値は、グループ内の先頭のフレーム４２０の再生タイミングとなっているが、本発明はこれに限られず、それぞれのグループ内の略中央のフレーム４２０の再生タイミングとしてもよい。１つのグループ内に３つ以上の音声ブロック４３０が含まれる場合も同様に、グループ内の全ての音声ブロック４３０に埋め込まれるタイムコード４７の値は、グループ内の略中央の音声ブロック４３０の再生タイミングとしてもよい。 In the example shown in FIG. 9, in each group of frames 420, the value of the time code 46 embedded in all the frames 420 in the group is the reproduction timing of the first frame 420 in the group. The present invention is not limited to this, and may be the reproduction timing of the substantially central frame 420 in each group. Similarly, when three or more audio blocks 430 are included in one group, the value of the time code 47 embedded in all the audio blocks 430 in the group is the reproduction timing of the substantially central audio block 430 in the group. It is good.

また、図９に示す例において、電子透かし検出装置３１は、それぞれのグループ内の１つのフレーム４２０について、あるいは、それぞれのグループ内の１つの音声ブロック４３０について、正しい透かし情報が埋め込まれているか否かを判定するようにしてもよい。これにより、電子透かし検出装置３１の処理負荷を低減することができる。 In the example shown in FIG. 9, the digital watermark detection apparatus 31 determines whether correct watermark information is embedded for one frame 420 in each group or for one audio block 430 in each group. You may make it determine. Thereby, the processing load of the digital watermark detection apparatus 31 can be reduced.

また、透かし情報埋め込み部２３２は、例えば図１０に示すように、それぞれのグループ内の一部のフレーム４２０に、特徴値４５およびタイムコード４６を電子透かしにより埋め込むようにしてもよい。これにより、電子透かし検出装置３１の処理負荷を低減することができる。また、グループ化がいくつのフレーム４２０毎になされているのかや、グループ内のいずれのフレーム４２０に透かし情報が埋め込まれているのかを秘密にすることにより、改竄検出の精度をさらに高めることができる。音声ブロック４３０についても同様に、透かし情報埋め込み部２３２は、それぞれのグループ内の一部の音声ブロック４３０に、特徴値４５およびタイムコード４７を電子透かしにより埋め込むようにしてもよい。 Further, for example, as shown in FIG. 10, the watermark information embedding unit 232 may embed the feature value 45 and the time code 46 with a digital watermark in some frames 420 in each group. Thereby, the processing load of the digital watermark detection apparatus 31 can be reduced. In addition, it is possible to further improve the accuracy of falsification detection by keeping secret how many frames 420 are grouped and in which frame 420 in the group the watermark information is embedded. . Similarly, for the audio block 430, the watermark information embedding unit 232 may embed the feature value 45 and the time code 47 in a part of the audio blocks 430 in each group with a digital watermark.

また、上記した実施形態において、透かし情報埋め込み部２３２は、映像データ４２および音声データ４３のそれぞれに、特徴値および対応するタイムコードを電子透かしにより埋め込んだが、本発明はこれに限られず、特徴値および対応するタイムコードを含む情報を、秘密分散法を用いて２つの情報に分割し、分割したそれぞれの情報を、映像データ４２および音声データ４３のそれぞれに電子透かしにより埋め込むようにしてもよい。秘密分散法の詳細については、下記の非特許文献３または４に記述されている。
（非特許文献３）
G.R Blakley. Safeguarding cryptographic keys. Proc. of AFIPS 1979 Nat. Computer onf., Vol. 48, pp. 313317, 1979.
（非特許文献４）
A. Shamir. How to share a secret. Communication of the ACM, Vol. 22, No. 11, pp. 612613, 1979. In the above-described embodiment, the watermark information embedding unit 232 embeds the feature value and the corresponding time code in the video data 42 and the audio data 43 with the electronic watermark. The information including the corresponding time code may be divided into two pieces of information using a secret sharing method, and the divided pieces of information may be embedded in each of the video data 42 and the audio data 43 with a digital watermark. Details of the secret sharing method are described in Non-Patent Document 3 or 4 below.
(Non Patent Literature 3)
GR Blakley. Safeguarding cryptographic keys. Proc. Of AFIPS 1979 Nat. Computer onf., Vol. 48, pp. 313317, 1979.
(Non-Patent Document 4)
A. Shamir. How to share a secret. Communication of the ACM, Vol. 22, No. 11, pp. 612613, 1979.

また、本発明は、図１１に示すような他のコンテンツ配信システム１０ａにも適用することができる。図１１は、コンテンツ配信システム１０の構成の他の例を示すシステム構成図である。コンテンツ配信システム１０ａは、電子透かし埋め込み装置２３、電子透かし検出装置３１、タイムスタンプ作成装置６０２、タイムスタンプ検証装置６０４、電子署名作成装置６０５、電子署名検証装置６０７、およびマイグレーション装置６０８を備える。なお、以下に説明する点を除き、図１１において、図１と同じ符号を付した構成は、図１における構成と同一または同様の機能を有するため説明を省略する。 The present invention can also be applied to other content distribution systems 10a as shown in FIG. FIG. 11 is a system configuration diagram illustrating another example of the configuration of the content distribution system 10. The content distribution system 10a includes a digital watermark embedding device 23, a digital watermark detection device 31, a time stamp creation device 602, a time stamp verification device 604, a digital signature creation device 605, a digital signature verification device 607, and a migration device 608. Except for the points described below, in FIG. 11, the components denoted by the same reference numerals as those in FIG. 1 have the same or similar functions as those in FIG.

電子透かし埋め込み装置２３は、オリジナルのコンテンツ６００に、当該コンテンツ６００のヘッダ情報から算出した特徴値およびタイムコードを、コンテンツ６００内の映像データおよび音声データに、電子透かしにより埋め込むことにより、透かし情報入りのコンテンツ６０１を生成する。 The digital watermark embedding device 23 embeds watermark information in the original content 600 by embedding the feature value and time code calculated from the header information of the content 600 in the video data and audio data in the content 600 with the digital watermark. Content 601 is generated.

タイムスタンプ作成装置６０２は、コンテンツ６０１内のヘッダ情報、映像データ、および音声データの少なくともいずれか１つを信頼できる第三者機関へ送付することにより、第三者機関に当該コンテンツ６０１のヘッダ情報、映像データ、および音声データの少なくともいずれか１つについてのハッシュ値と時刻情報とを電子署名してもらう。そして、タイムスタンプ作成装置６０２は、当該署名情報を含むタイムスタンプ６０３を生成する。タイムスタンプ検証装置６０４は、コンテンツ６０１のヘッダ情報、映像データ、および音声データの少なくともいずれか１つから求めたハッシュ値と、タイムスタンプ６０３に含まれる署名情報内のハッシュ値とが一致するか否かを判定することにより、コンテンツ６０１の改竄を検出する。 The time stamp creating apparatus 602 sends the header information of the content 601 to the third party by sending at least one of header information, video data, and audio data in the content 601 to a reliable third party. The hash value and time information for at least one of video data and audio data are digitally signed. Then, the time stamp creation device 602 generates a time stamp 603 including the signature information. The time stamp verification apparatus 604 determines whether or not the hash value obtained from at least one of the header information, video data, and audio data of the content 601 matches the hash value in the signature information included in the time stamp 603. It is determined whether or not the content 601 has been tampered with.

電子署名作成装置６０５は、コンテンツ６０１内のヘッダ情報、映像データ、および音声データの少なくともいずれか１つを信頼できる第三者機関へ送付することにより、第三者機関に当該コンテンツ６０１のヘッダ情報、映像データ、および音声データの少なくともいずれか１つについてのハッシュ値を電子署名してもらう。そして、電子署名作成装置６０５は、当該署名情報を含む電子署名６０６を生成する。電子署名検証装置６０７は、コンテンツ６０１のヘッダ情報、映像データ、および音声データの少なくともいずれか１つから求めたハッシュ値と、電子署名６０６に含まれる署名情報内のハッシュ値とが一致するか否かを判定することにより、コンテンツ６０１の改竄を検出する。 The electronic signature creation apparatus 605 sends the header information of the content 601 to the third party by sending at least one of header information, video data, and audio data in the content 601 to a trusted third party. A hash value for at least one of video data and audio data is electronically signed. Then, the electronic signature creation device 605 generates an electronic signature 606 including the signature information. The electronic signature verification device 607 determines whether or not the hash value obtained from at least one of the header information, video data, and audio data of the content 601 matches the hash value in the signature information included in the electronic signature 606. It is determined whether or not the content 601 has been tampered with.

マイグレーション装置６０８は、コンテンツ６０１をバックアップのためにデッドコピーしたり、符号化形式を最新のものに変換したりするマイグレーション処理を行って、コンテンツ６０９を生成する。電子透かし検出装置３１は、コンテンツ６０９に埋め込まれている透かし情報を検出することにより、コンテンツ６０９の改竄を検出する。 The migration apparatus 608 generates content 609 by performing a migration process of dead copying the content 601 for backup or converting the encoding format to the latest one. The digital watermark detection device 31 detects falsification of the content 609 by detecting watermark information embedded in the content 609.

図１１に示す例では、電子透かし埋め込み装置２３によって透かし情報入りのコンテンツ６０１が生成された段階で、タイムスタンプ作成装置６０２または電子署名作成装置６０５は、当該コンテンツ６０１に対応したタイムスタンプ６０３または電子署名６０６を生成する。そして、生成されたタイムスタンプ６０３または電子署名６０６は、コンテンツ６０１と共に保存される。コンテンツ６０１が作成されてからの時間経過が短い場合には、マイグレーション装置６０８によってコンテンツ６０１の符号化形式の変換が実行されず、コンテンツ６０１の真正性の検証には、タイムスタンプ検証装置６０４または電子署名検証装置６０７が用いられる。 In the example illustrated in FIG. 11, at the stage where the watermark information-containing content 601 is generated by the digital watermark embedding device 23, the time stamp generating device 602 or the electronic signature generating device 605 performs the time stamp 603 or the electronic signature corresponding to the content 601. A signature 606 is generated. The generated time stamp 603 or electronic signature 606 is stored together with the content 601. When the time elapsed since the creation of the content 601 is short, the migration device 608 does not execute conversion of the encoding format of the content 601, and for verifying the authenticity of the content 601, the time stamp verification device 604 or electronic A signature verification device 607 is used.

一方、コンテンツ６０１が作成されてからの時間経過が長い場合には、新たな符号化方式の出現に応じて、マイグレーション装置６０８は、コンテンツ６０１の符号化形式を最新のものに変換することにより、コンテンツ６０９を生成する。コンテンツ６０９の映像データまたは音声データから算出されるハッシュ値は、タイムスタンプ６０３や電子署名６０６に含まれるハッシュ値と異なるため、コンテンツ６０９の真正性の検証には、電子透かし検出装置３１が用いられる。 On the other hand, when the time elapsed since the creation of the content 601 is long, the migration apparatus 608 converts the encoding format of the content 601 to the latest one in response to the appearance of a new encoding method. Content 609 is generated. Since the hash value calculated from the video data or audio data of the content 609 is different from the hash value included in the time stamp 603 or the electronic signature 606, the digital watermark detection apparatus 31 is used to verify the authenticity of the content 609. .

なお、マイグレーション装置６０８によるマイグレーション処理が、バックアップのためのデッドコピーである場合やフレームを一定間隔で間引くことによりフレームレートを下げる場合等のような、変換後のハッシュ値が同一になるような処理である場合には、図１１の点線で示したように、タイムスタンプ検証装置６０４または電子署名検証装置６０７が、引き続き、コンテンツ６０９の真正性の検証を実行することができる。 Processing in which the hash values after conversion are the same, such as when the migration processing by the migration device 608 is a dead copy for backup, or when the frame rate is lowered by thinning out frames at regular intervals, etc. In this case, as shown by the dotted line in FIG. 11, the time stamp verification device 604 or the electronic signature verification device 607 can continue to verify the authenticity of the content 609.

また、本発明は、図１２に示すような他のコンテンツ配信システム１０ｂにも適用することができる。図１２は、コンテンツ配信システム１０の構成の更なる他の例を示すシステム構成図である。コンテンツ配信システム１０ｂは、コンテンツ製作会社６１０、証明力付与機関６２０、コンテンツ管理会社６３０、および検証機関６４０を備える。なお、以下に説明する点を除き、図１２において、図１１と同じ符号を付した構成は、図１１における構成と同一または同様の機能を有するため説明を省略する。 The present invention can also be applied to other content distribution systems 10b as shown in FIG. FIG. 12 is a system configuration diagram showing still another example of the configuration of the content distribution system 10. The content distribution system 10b includes a content production company 610, a certification authority granting organization 620, a content management company 630, and a verification organization 640. Except for the points described below, in FIG. 12, the components denoted by the same reference numerals as those in FIG. 11 have the same or similar functions as those in FIG.

コンテンツ製作会社６１０は、オリジナルのコンテンツ６００を作成して証明力付与機関６２０へ送ることにより、オリジナルのコンテンツ６００の真正性を保証する情報を付加してもらう。証明力付与機関６２０は、電子透かし埋め込み装置２３を用いて、受け取ったコンテンツ６００に対して透かし情報を埋め込むことにより、透かし情報のコンテンツ６０１を生成する。そして、タイムスタンプ作成装置６０２は、生成されたコンテンツ６０１に対してタイムスタンプ６０３を生成する。また、電子署名作成装置６０５は、生成されたコンテンツ６０１に対して電子署名６０６を生成する。なお、透かし情報入りのコンテンツ６０１は、透かし情報が埋め込まれることにより、オリジナルのコンテンツ６００よりも画質や音質が劣化する場合がある。そのため、証明力付与機関６２０は、必要に応じて、オリジナルのコンテンツ６００を保管場所６２１に保管する。 The content production company 610 creates the original content 600 and sends it to the certification authority 620, so that information for guaranteeing the authenticity of the original content 600 is added. Using the digital watermark embedding device 23, the certification authority granting organization 620 embeds watermark information in the received content 600, thereby generating a watermark information content 601. Then, the time stamp generating device 602 generates a time stamp 603 for the generated content 601. In addition, the electronic signature creation apparatus 605 generates an electronic signature 606 for the generated content 601. Note that the content 601 including watermark information may be deteriorated in image quality and sound quality compared to the original content 600 due to the embedded watermark information. Therefore, the proof power granting organization 620 stores the original content 600 in the storage location 621 as necessary.

コンテンツ管理会社６３０は、コンテンツの可読性を保つ処理や、コンテンツの保管等を行う。コンテンツ管理会社６３０は、証明力付与機関６２０から取得した透かし情報入りのコンテンツ６０１、タイムスタンプ６０３、および電子署名６０６を保管、閲覧者の要求に応じて、保管しているコンテンツ６０１を提供する。また、コンテンツ管理会社６３０は、検証機関６４０からの要求に応じて、透かし情報入りのコンテンツ６０１、タイムスタンプ６０３、および電子署名６０６を、検証機関６４０へ提供する。 The content management company 630 performs processing for maintaining the readability of content, storage of content, and the like. The content management company 630 stores the content 601 including the watermark information acquired from the certification authority 620, the time stamp 603, and the electronic signature 606, and provides the stored content 601 in response to a request from the viewer. In response to a request from the verification organization 640, the content management company 630 provides the content 601 with watermark information, the time stamp 603, and the electronic signature 606 to the verification organization 640.

コンテンツ６０１が作成されてからの時間経過が長い場合には、コンテンツ管理会社６３０は、新たな符号化方式の出現に応じて、マイグレーション装置６０８を用いてコンテンツ６０１の符号化形式を最新のものに変換し、コンテンツ６０９を生成する。コンテンツ６０９が生成された後は、コンテンツ管理会社６３０は、閲覧者や検証機関６４０からの要求に対しては、コンテンツ６０９を提供する。 When the time elapsed since the creation of the content 601 is long, the content management company 630 uses the migration device 608 to update the encoding format of the content 601 according to the appearance of a new encoding method. The content 609 is generated by conversion. After the content 609 is generated, the content management company 630 provides the content 609 in response to a request from the viewer or the verification organization 640.

検証機関６４０は、電子透かし検出装置３１、タイムスタンプ検証装置６０４、電子署名検証装置６０７、および総合検証装置６４１を有する。透かし情報入りのコンテンツ６０１と共に、タイムスタンプ６０３または電子署名６０６が提供された場合には、検証機関６４０は、タイムスタンプ検証装置６０４または電子署名検証装置６０７を用いて、透かし情報入りのコンテンツ６０１の真正性を検証する。また、マイグレーション後の透かし情報入りのコンテンツ６０９が提供された場合には、検証機関６４０は、電子透かし検出装置３１を用いて、マイグレーション後の透かし情報入りのコンテンツ６０９の真正性を検証する。そして、総合検証装置６４１は、電子透かし検出装置３１、タイムスタンプ検証装置６０４、および電子署名検証装置６０７による検証結果を取得して、公的な機関等へ出力する。 The verification organization 640 includes a digital watermark detection device 31, a time stamp verification device 604, a digital signature verification device 607, and a comprehensive verification device 641. When the time stamp 603 or the electronic signature 606 is provided together with the content 601 with watermark information, the verification authority 640 uses the time stamp verification device 604 or the electronic signature verification device 607 to check the content 601 with watermark information. Verify authenticity. When the content 609 with watermark information after migration is provided, the verification organization 640 verifies the authenticity of the content 609 with watermark information after migration using the digital watermark detection device 31. Then, the comprehensive verification device 641 acquires verification results by the digital watermark detection device 31, the time stamp verification device 604, and the digital signature verification device 607, and outputs them to a public institution or the like.

本発明の一実施形態に係るコンテンツ配信システム１０の構成を示すシステム構成図である。1 is a system configuration diagram showing a configuration of a content distribution system 10 according to an embodiment of the present invention. コンテンツ４０のデータ構造の一例を示す説明図である。4 is an explanatory diagram illustrating an example of a data structure of content 40. FIG. 電子透かし埋め込み装置２３の詳細な機能構成の一例を示すブロック図である。3 is a block diagram illustrating an example of a detailed functional configuration of a digital watermark embedding device 23. FIG. 映像データ４２および音声データ４３に埋め込まれる透かし情報を説明するための説明図である。It is explanatory drawing for demonstrating the watermark information embedded in the video data and the audio | voice data 43. FIG. 電子透かし検出装置３１の詳細な機能構成の一例を示すブロック図である。3 is a block diagram illustrating an example of a detailed functional configuration of a digital watermark detection apparatus 31. FIG. 電子透かし埋め込み装置２３の動作の一例を示すフローチャートである。10 is a flowchart showing an example of the operation of the digital watermark embedding device 23. 電子透かし検出装置３１の動作の一例を示すフローチャートである。4 is a flowchart illustrating an example of the operation of the digital watermark detection apparatus 31. 電子透かし埋め込み装置２３または電子透かし検出装置３１の機能を実現する情報処理装置５０のハードウェア構成の一例を示すハードウェア構成図である。It is a hardware block diagram which shows an example of the hardware configuration of the information processing apparatus 50 which implement | achieves the function of the digital watermark embedding apparatus 23 or the digital watermark detection apparatus 31. コンテンツ４０のデータ構造の他の例を示す説明図である。FIG. 12 is an explanatory diagram illustrating another example of the data structure of the content 40. コンテンツ４０のデータ構造の更なる他の例を示す説明図である。12 is an explanatory diagram showing still another example of the data structure of the content 40. FIG. コンテンツ配信システム１０の構成の他の例を示すシステム構成図である。It is a system configuration figure showing other examples of composition of contents distribution system 10. コンテンツ配信システム１０の構成の更なる他の例を示すシステム構成図である。It is a system configuration | structure figure which shows the further another example of a structure of the content delivery system.

Explanation of symbols

１０・・・コンテンツ配信システム、１１・・・通信ネットワーク、１２、６３０・・・コンテンツ管理会社、１３・・・配信サーバ、２０、６１０・・・コンテンツ製作会社、２１・・・コンテンツ作成装置、２２・・・記憶装置、２３・・・電子透かし埋め込み装置、２３０・・・コンテンツ取得部、２３１・・・透かし情報生成部、２３２・・・透かし情報埋め込み部、２３３・・・コンテンツ出力部、２４・・・エンコーダ、２５・・・送信装置、３０・・・コンテンツ上映施設、３１・・・電子透かし検出装置、３１０・・・コンテンツ取得部、３１１・・・透かし情報再現部、３１２・・・透かし情報抽出部、３１３・・・判定部、３１４・・・判定結果出力部、３２・・・記憶装置、３３・・・コンテンツ再生装置、３４・・・デコーダ、３５・・・受信装置、４０、６００、６０１、６０９・・・コンテンツ、４１・・・ヘッダ情報、４２・・・映像データ、４２０・・・フレーム、４３・・・音声データ、４３０・・・音声ブロック、４４、４６、４７・・・タイムコード、４５・・・特徴値、５０・・・情報処理装置、５１・・・ＣＰＵ、５２・・・ＲＡＭ、５３・・・ＲＯＭ、５４・・・通信インターフェイス、５５・・・入出力インターフェイス、５６・・・メディアインターフェイス、５７・・・記録媒体、６０２・・・タイムスタンプ作成装置、６０３・・・タイムスタンプ、６０４・・・タイムスタンプ検証装置、６０５・・・電子署名作成装置、６０６・・・電子署名、６０７・・・電子署名検証装置、６０８・・・マイグレーション装置、６２０・・・証明力付与機関、６２１・・・保管場所、６４０・・・検証機関、６４１・・・総合検証装置 DESCRIPTION OF SYMBOLS 10 ... Content distribution system, 11 ... Communication network, 12, 630 ... Content management company, 13 ... Distribution server, 20, 610 ... Content production company, 21 ... Content creation apparatus, 22 ... Storage device, 23 ... Digital watermark embedding device, 230 ... Content acquisition unit, 231 ... Watermark information generation unit, 232 ... Watermark information embedding unit, 233 ... Content output unit, 24 ... encoder, 25 ... transmission device, 30 ... content screening facility, 31 ... digital watermark detection device, 310 ... content acquisition unit, 311 ... watermark information reproduction unit, 312 ... Watermark information extraction unit, 313 ... determination unit, 314 ... determination result output unit, 32 ... storage device, 33 ... content reproduction device, 34 ... Decoder, 35 ... receiving device, 40, 600, 601, 609 ... content, 41 ... header information, 42 ... video data, 420 ... frame, 43 ... audio data, 430 ..Voice block, 44, 46, 47 ... Time code, 45 ... Feature value, 50 ... Information processing device, 51 ... CPU, 52 ... RAM, 53 ... ROM, 54 Communication interface 55 Input / output interface 56 Media interface 57 Recording medium 602 Time stamp generator 603 Time stamp 604 Time stamp Verification device 605... Electronic signature creation device 606... Electronic signature 607... Electronic signature verification device 608. ... probative authority, 621 ... storage location, 640 ... verification agency, 641 ... comprehensive verification device

Claims

A digital watermark embedding device that embeds a digital watermark in content having header information, video data composed of a plurality of frame data, sound data composed of a plurality of audio blocks, and a time code;
A content distribution system comprising a digital watermark detection device that detects a digital watermark embedded in each of the video data and the audio data,
The digital watermark embedding device includes:
Watermark information generating means for calculating a feature value based on the header information;
A watermark information embedding unit for embedding the feature value and the time code of the video data in the video data with a digital watermark, and embedding the feature value and the time code of the audio data in the audio data with a digital watermark;
Content output for outputting content including header information and time code together with video data in which the feature value and time code of the video data are embedded, and audio data in which the feature value and time code of the audio data are embedded Means and
The digital watermark information embedding means includes:
When embedding the feature value and the time code of the video data in the video data, for each video group having a predetermined number of consecutive frame data, the time code corresponding to the video group is at least included in the video group. Embedded in one frame data with a digital watermark, and the feature value is embedded in at least one frame data in the video group with a digital watermark,
When embedding the feature value and the time code of the audio data in the audio block, for each audio group having a predetermined number of continuous audio blocks, the time code corresponding to the audio group is set at least in the audio group. Embedding in one audio block with a digital watermark and embedding the feature value in at least one audio block in the audio group with a digital watermark,
The digital watermark detection apparatus comprises:
Content storage means for storing content output from the digital watermark embedding device;
Watermark information reproduction means for reading out header information included in the content from the content storage means, and calculating a feature value to be embedded in each of the video data and the audio data based on the read header information;
The video data included in the content is read from the content storage means , and for each video group of the read video data, the feature value and the time code of the video data are obtained from at least one frame data in each video group. And extracting the audio data included in the content from the content storage means , and for each audio group of the read audio data, the feature value and the audio data from at least one audio block in each audio group Watermark information extracting means for extracting the time code of
Whether or not the feature value extracted from each of the video data and the audio data by the watermark information extraction unit matches the feature value calculated by the watermark information reproduction unit, the video information by the watermark information extraction unit Whether the time difference between the playback timing indicated by the time code extracted from the data and the playback timing indicated by the time code read from the content storage means corresponding to the video data is within a predetermined value and a reproduction timing indicated by the time code extracted from the voice data by the watermark information extracting means, corresponding to the audio data, the time difference between the reproduction timing indicated by the time code read from the content storage means Within a predetermined value Respectively determining means whether a certain,
The content distribution system further comprising: an output unit that outputs a determination result by the determination unit.

A digital watermark embedding device that embeds a digital watermark in content having header information, video data composed of a plurality of frame data, sound data composed of a plurality of audio blocks, and a time code;
A content distribution method in a content distribution system comprising a digital watermark detection device that detects a digital watermark embedded in each of the video data and the audio data,
The digital watermark embedding device includes:
A watermark information generation step of calculating a feature value based on the header information;
Embedding the feature value and the time code of the video data in the video data with a digital watermark; and embedding the feature value and the time code of the audio data in the audio data with a digital watermark; and
Content output for outputting content including header information and time code together with video data in which the feature value and time code of the video data are embedded, and audio data in which the feature value and time code of the audio data are embedded Step and <br/>
The digital watermark embedding device, in the digital watermark information embedding step,
When embedding the feature value and the time code of the video data in the video data, for each video group having a predetermined number of consecutive frame data, the time code corresponding to the video group is at least included in the video group. Embedded in one frame data with a digital watermark, and the feature value is embedded in at least one frame data in the video group with a digital watermark,
When embedding the feature value and the time code of the audio data in the audio block, for each audio group having a predetermined number of continuous audio blocks, the time code corresponding to the audio group is set at least in the audio group. Embedding in one audio block with a digital watermark and embedding the feature value in at least one audio block in the audio group with a digital watermark,
The digital watermark detection device
The header information included in the content is read from content storage means for storing the content output from the digital watermark embedding device, and should be embedded in each of the video data and the audio data based on the read header information A watermark information reproduction step for calculating a feature value;
The video data included in the content is read from the content storage means , and for each video group of the read video data, the feature value and the time code of the video data are obtained from at least one frame data in each video group. And extracting the audio data included in the content from the content storage means , and for each audio group of the read audio data, the feature value and the audio data from at least one audio block in each audio group Watermark information extraction step for extracting the time code of
Whether the feature value extracted from each of the video data and the audio data in the watermark information extraction step matches the feature value calculated in the watermark information reproduction step, whether the feature value is extracted from the video data in the watermark information extraction step Whether or not the time difference between the reproduction timing indicated by the extracted time code and the reproduction timing indicated by the time code read from the content storage means corresponding to the video data is within a predetermined value; and a reproduction timing indicated by the time code extracted from the audio data in the watermark information extraction step, corresponding to the audio data, the time difference between the reproduction timing indicated by the time code read from the content storage means a predetermined Respectively determining whether or not it is within the value,
A content distribution method comprising: an output step of outputting a determination result in the determination step.