JP7818656B2 - 動画データ処理装置、動画データを処理する方法及びプログラム、コンテンツ受信装置、コンテンツ再生装置、コンテンツ表示装置、サーバ、コンテンツ放送システム、並びに、コンテンツ配信システム - Google Patents

Description

本発明は、動画データ処理に関するものである。

従来、放送受信装置で受信される限定受信用放送の動画データや動画再生プレイヤー等の装置から出力する著作権保護の動画データを、所定の鍵情報を用いて暗号化することにより、動画データを含むコンテンツの不正出力を防止する技術が知られている。例えば、特許文献１には、デジタル放送波に載せられている個別情報（ＥＭＭ）を受信し、固有に持つマスター鍵Ｋｍにて個別情報を解読してコンテンツ用のワーク鍵Ｋｗを取り出し、インターネットを介して受け取った暗号化情報をワーク鍵Ｋｗにて解読して暗号化鍵Ｋｃを取り出し、この暗号化鍵Ｋｃにてコンテンツの暗号を解く放送受信装置が開示されている。

特開２００３－２６４５４１号公報

しかしながら、上記鍵情報を用いた暗号化によって動画データの不正出力を防止する技術では、鍵情報の不正改ざんなどにより動画データの不正出力を防止できないおそれがある。そのため、動画データの不正出力者を追跡できるようにすることにより、動画データの不正出力を抑止することが検討されている。

本発明の一態様に係る装置は、動画データを処理する動画データ処理装置である。この動画データ処理装置は、動画データを構成する複数のフレームのそれぞれを所定の分割方法で複数の領域に分割するフレーム分割部と、前記複数のフレームのそれぞれについて、前記フレームを分割した前記複数の領域の一部または全部に、前記動画データの出力者を特定するための情報を埋め込む情報埋込部と、前記複数のフレームのそれぞれについて、前記情報を埋め込んだ前記複数の領域を結合してフレームに戻すフレーム戻し部と、を備える。

前記動画データ処理装置において、前記情報埋込部は、前記動画データの出力者を特定するための情報と、前記動画データを再生又は出力した時刻情報と、埋め込んでもよい。また、前記情報埋込部は、前記動画データの出力者を特定するための情報と、前記時刻情報と、それらの情報と紐付ける付加情報と、を埋め込んでもよい。

前記動画データ処理装置において、前記情報埋込部は、非可視の電子透かしとして前記情報を埋め込んでもよい。

前記動画データ処理装置において、前記フレーム分割部は、前記複数のフレームのそれぞれを、複数の正方形の領域、複数の非正方の四角形の領域、又は、正方形の領域及び非正方の四角形の領域が混在した複数の領域に分割してもよい。

前記動画データ処理装置において、前記フレーム分割部は、前記複数のフレームのそれぞれを、均等サイズ又は不均等サイズの複数の領域に分割してもよい。

前記動画データ処理装置において、前記情報埋込部は、ウェーブレット変換を用いて、又は、ウェーブレット変換及び離散コサイン変換の両方を用いて、前記領域への情報の埋め込みを行ってもよい。

前記動画データ処理装置において、前記フレーム内の複数の領域は、埋込対象の情報が収まらない小サイズの複数の領域を有し、前記情報埋込部は、前記埋込対象の情報を分割して複数の分割情報を生成し、前記フレーム内の複数の領域に、前記複数の分割情報を分散して配置してもよい。

前記動画データ処理装置において、前記複数の分割情報はそれぞれ、当該情報を配置した前記領域の位置情報と、前記複数の分割情報の全体の誤り検出符号とを有してもよい。

前記動画データ処理装置において、前記フレーム分割部は、一フレーム毎に、複数のフレーム毎に、又は、所定の時間毎に、前記フレームの分割方法を変えてもよい。

前記動画データ処理装置において、前記フレーム分割部は、動画データを有する複数のコンテンツについて、一コンテンツ毎に又は複数のコンテンツ毎に、前記フレームの分割方法を変えてもよい。

前記動画データ処理装置において、前記情報埋込部は、一フレーム毎に、複数のフレーム毎に、又は、所定の時間毎に、前記情報の埋込方法を変えてもよい。

前記動画データ処理装置において、前記情報埋込部は、動画データを有する複数のコンテンツについて、一コンテンツ毎に又は複数のコンテンツ毎に、前記情報の埋込方法を変えてもよい。

本発明の他の態様に係る方法は、動画データを処理する方法である。この方法は、動画データを構成する複数のフレームのそれぞれを所定の分割方法で複数の領域に分割することと、前記複数のフレームのそれぞれについて、前記フレームを分割した前記複数の領域の一部または全部に、前記動画データの出力者を特定するための情報を埋め込むことと、前記複数のフレームのそれぞれについて、前記情報を埋め込んだ前記複数の領域を結合してフレームに戻すことと、を含む。

本発明の更に他の態様に係るプログラムは、動画データを処理する動画データ処理装置に備えるコンピュータ又はプロセッサにおいて実行されるプログラムである。このプログラムは、動画データを構成する複数のフレームのそれぞれを所定の分割方法で複数の領域に分割するためのプログラムコードと、前記複数のフレームのそれぞれについて、前記フレームを分割した前記複数の領域の一部または全部に、前記動画データの出力者を特定するための情報を埋め込むためのプログラムコードと、前記複数のフレームのそれぞれについて、前記情報を埋め込んだ前記複数の領域を結合してフレームに戻すためのプログラムコードと、を含む。

前記方法及び前記プログラムにおいて、前記動画データの出力者を特定するための情報と、前記動画データを再生又は出力した時刻情報と、埋め込んでもよい。また、前記動画データの出力者を特定するための情報と、前記時刻情報と、それらの情報と紐付ける付加情報と、を埋め込んでもよい。

前記方法及び前記プログラムにおいて、非可視の電子透かしとして前記情報を埋め込んでもよい。

前記方法及び前記プログラムにおいて、前記複数のフレームのそれぞれを、複数の正方形の領域、複数の非正方の四角形の領域、又は、正方形の領域及び非正方の四角形の領域が混在した複数の領域に分割してもよい。

前記方法及び前記プログラムにおいて、前記複数のフレームのそれぞれを、均等サイズ又は不均等サイズの複数の領域に分割してもよい。

前記方法及び前記プログラムにおいて、ウェーブレット変換を用いて、又は、ウェーブレット変換及び離散コサイン変換の両方を用いて、前記領域への情報の埋め込みを行ってもよい。

前記方法及び前記プログラムにおいて、前記フレーム内の複数の領域は、埋込対象の情報が収まらない小サイズの複数の領域を有し、前記埋込対象の情報を分割して複数の分割情報を生成し、前記フレーム内の複数の領域に、前記複数の分割情報を分散して配置してもよい。

前記方法及び前記プログラムにおいて、前記複数の分割情報はそれぞれ、当該情報を配置した前記領域の位置情報と、前記複数の分割情報の全体の誤り検出符号とを有してもよい。

前記方法及び前記プログラムにおいて、一フレーム毎に、複数のフレーム毎に、又は、所定の時間毎に、前記フレームの分割方法を変えてもよい。

前記方法及び前記プログラムにおいて、動画データを有する複数のコンテンツについて、一コンテンツ毎に又は複数のコンテンツ毎に、前記フレームの分割方法を変えてもよい。

前記方法及び前記プログラムにおいて、一フレーム毎に、複数のフレーム毎に、又は、所定の時間毎に、前記情報の埋込方法を変えてもよい。

前記方法及び前記プログラムにおいて、動画データを有する複数のコンテンツについて、一コンテンツ毎に又は複数のコンテンツ毎に、前記情報の埋込方法を変えてもよい。

本発明の更に他の態様に係る装置は、動画データを処理する動画データ処理装置である。この動画データ処理装置は、前記情報が埋め込まれた動画データを構成する複数のフレームのそれぞれを、前記所定の分割方法で複数の領域に分割するフレーム分割部と、前記情報の埋込方法に基づいて、前記複数のフレームのそれぞれについて、前記フレームを分割した前記複数の領域の一部または全部から、前記動画データの出力者を特定するための情報を抽出する情報抽出部と、を備える。

本発明の更に他の態様に係るサーバは、前記いずれかの動画データ処理装置で用いる情報を管理するサーバである。このサーバは、前記フレームの分割方法及び前記情報の埋込方法の情報と前記動画データ処理装置を識別する情報とを記憶する記憶部と、通信網又は通信回線を介して通信する通信部と、を備える。

前記サーバは、前記動画データ処理装置で用いる前記フレームの分割方法及び前記情報の埋込方法の情報を送信してもよいし、前記動画データ処理装置で用いた前記フレームの分割方法及び前記情報の埋込方法の情報を受信してもよい。

本発明の更に他の態様に係る装置は、放送電波又はストリーミング配信を介して動画データを含むコンテンツを受信して出力するコンテンツ受信装置であり、前記いずれかの動画データ処理装置を備える。

本発明の更に他の態様に係る放送システムは、前記コンテンツ受信装置と、動画データを含むコンテンツを放送する放送装置とを備える。

本発明の更に他の態様に係る配信システムは、前記コンテンツ受信装置と、動画データを含むコンテンツをストリーミング配信するサーバとを備える。

本発明の更に他の態様に係る装置は、記録媒体から読み出した動画データのファイル又はサーバからダウンロードした動画データのファイルを用いて動画データを含むコンテンツを再生して出力するコンテンツ再生装置であり、前記いずれかの動画データ処理装置を備える。

前記フレームの複数の領域への分割、前記複数の領域への情報の埋め込み及び前記複数の領域の結合を行うプログラムは、機械学習に用いられる学習済モデルを含んでもよい。

本発明によれば、動画データの出力者を特定するための情報を、動画データのフレームを分割した複数の領域の一部又は全部に埋め込み、その情報を埋め込んだ複数の領域を結合してフレームに戻して出力することにより、出力した当該動画データが流出してもフレームに埋め込んだ情報を改ざんされることなく抽出できるので、動画データの不正出力者を特定することができる。

図１は、実施形態に係る情報埋込機能を有する動画データ処理装置の一例を示すブロック図である。 図２（ａ）は分割前のフレームの一例を示す説明図である。図２（ｂ）はフレームを分割して情報を埋め込んだ複数の領域の一例を示す説明図である。図２（ｃ）は情報を埋め込んだ複数の領域を結合して戻したフレームの一例を示す説明図である。 図３は、フレームの分割の一例を示す説明図である。 図４は、フレームの分割の他の例を示す説明図である。 図５は、フレームの分割の更に他の例を示す説明図である。 図６は、動画データにおけるフレームの画面分割方法の変更の一例を示す説明図である。 図７は、実施形態に係る動画データ処理装置を備えるコンテンツ再生装置の一例を示すブロック図である。 図８は、実施形態に係るコンテンツ配信システムの全体構成の一例を示す説明図である。 図９は、図８のコンテンツ配信システムにおけるコンテンツ配信の一例を示すシーケンス図である。 図１０は、実施形態に係る動画データ処理装置を備えるコンテンツ受信装置の概略構成の一例を示すブロック図である。 図１１は、実施形態に係る情報抽出機能を有する動画データ処理装置の一例を示すブロック図である。

以下、図面を参照して本発明の実施形態について説明する。
本書に記載された実施形態に係る装置は、映像コンテンツの動画データを構成する複数のフレームのそれぞれを所定の分割方法で複数の領域に分割し、前記複数のフレームのそれぞれについて、前記フレームを分割した前記複数の領域の一部または全部に、前記動画データの出力者を特定するための情報を埋め込み、前記複数のフレームのそれぞれについて、前記情報を埋め込んだ前記複数の領域を結合してフレームに戻す動画データ処理装置である。このようにフレームを分割した複数の領域の一部又は全部に、動画データの出力者を特定するための情報を埋め込んでおくことにより、フレームに埋め込んだ情報を改ざんされることなく抽出できるようなるので、動画データの不正出力者を特定することができ、動画データの不正出力を抑止できる。

図１は、本実施形態に係る動画データ処理装置１００の概略構成の一例を示すブロック図である。図１において、動画データ処理装置１００はフレーム分割部１０１と情報埋込部１０２とフレーム戻し部１０３を備える。

フレーム分割部１０１は、動画データを構成する複数のフレームのそれぞれを所定の分割方法で複数（１～Ｎ）の領域に分割する。例えば、フレーム分割部１０１は、図２（ａ）に示すフレーム９００を、図２（ｂ）に示す複数（図示の例では、４つ）の均等サイズの正方形の領域９１０（１）～９１０（２）に分割する。

情報埋込部１０２は、複数のフレームのそれぞれについて、図２（ｂ）に示すように、フレームを分割した複数の領域９１０（１）～９１０（４）の一部または全部に、動画データの出力者を特定するための情報（以下「出力者特定用情報」ともいう。）を埋め込む。例えば、情報埋込部１０２は、コンテンツ再生装置（例えば動画再生プレイヤー）などから受信した動画データの各フレームを分割した複数の領域の分割画像を生成し、複数の分割画像に対して出力者特定用情報を埋め込む。

出力者特定用情報を埋め込んでおくことにより、動画データを含むコンテンツの流出時に、当該コンテンツから出力者特定用情報を復元し、当該コンテンツを誰が出力して視聴したかを特定できる。

なお、図２（ｂ）では、説明の都合上、各領域９１０（１）～９１０（４）に埋め込んだ情報（図示の例では、「１２３」の数字情報）を視認できるように示しているが、実際には視認できない状態で情報が埋め込まれる。また、図２（ｂ）では、複数の領域９１０（１）～９１０（４）の全部に情報が埋め込まれているが、複数の領域９１０（１）～９１０（４）の一部に情報を埋め込んでもよい。

動画データの出力者は、例えば、動画データを含むコンテンツの視聴者である。出力者特定用情報は、例えば、通常の出力者が認識できない（読み出せない）状態で埋め込まれる。出力者特定用情報は、特開平１０－２４３３９８号公報、特開２０２０－０８８４６９等に開示されている電子透かし技術を用いて、非可視の電子透かしとして埋め込んでもよい。

出力者特定用情報は、例えば、コンテンツ再生装置（例えば、動画再生プレイヤー、動画再生機能を有する端末、ゲーム機等）又はコンテンツ受信装置（例えばテレビ等の放送受信装置）の内部に設定されて識別（ＩＤ）情報、端末の固有情報、外部の配信サーバや管理サーバなどのサーバから指定された識別（ＩＤ）情報などである。出力者特定用情報は、コンテンツ再生装置又はコンテンツ受信装置のグローバルＩＰアドレスであってもよい。出力者特定用情報は、コンテンツ再生装置のユーザ、コンテンツ受信装置のユーザ等のユーザＩＤであってもよい。出力者特定用情報は、動画サービスやコンテンツ配信サービスのユーザを識別するユーザＩＤ（例えば、会員ＩＤ）であってもよい。また、出力者特定用情報は、動画データを出力して利用する出力者（例えば、配信サービスのクライアント又はユーザ）毎に異なる情報であってもよい。

情報埋込部１０２は、出力者特定用情報とともに、その出力者特定用情報に紐付ける付加情報を埋め込んでもよい。ここで、付加情報は、例えば、前記サーバとの間に確立された通信のセッションを識別するセッションＩＤ等のセッション情報であってもよいし、又は、その他の情報であってもよい。

情報埋込部１０２は、出力者特定用情報とともに、動画データを再生又は出力した時刻情報（年月日情報を含む）を埋め込んでもよい。出力者特定用情報とともに時刻情報を埋め込んでおくことにより、動画データを含むコンテンツの流出時に、当該コンテンツから出力者特定用情報及び時刻情報を復元し、当該コンテンツを誰がいつ出力して視聴したかを特定できる。

情報埋込部１０２は、出力者特定用情報及び時刻情報とともに、それらの出力者特定用情報及び時刻情報に紐付ける付加情報を埋め込んでもよい。ここで、付加情報は、例えば、前記サーバとの間に確立された通信のセッションを識別するセッションＩＤ等のセッション情報であってもよいし、又は、その他の情報であってもよい。

フレーム戻し部１０３は、複数のフレームのそれぞれについて、図２（ｃ）に示すように前記情報を埋め込んだ複数の領域を結合してフレーム９２０に戻す。この状態では、埋め込んだ情報は読み出せない。なお、図２（ｃ）では、説明の都合上、埋め込んだ情報（図示の例では、４つの「１２３」の数字情報）を視認できるように示しているが、実際には視認できない状態で情報が埋め込まれている。

フレーム戻し部１０３で複数の領域の画像を結合して戻されたフレームを有する動画データは、音声データと同期させて映像表示機器などに出力される。

なお、上記構成の動画データ処理装置１００において、フレーム分割部１０１は、複数のフレームのそれぞれを、複数（１～Ｎ）の非正方の四角形の領域に分割してもよく、又は、例えば図３に示すように、正方形の領域９１１（１）及び非正方の四角形の領域９１１（２）～９１１（６）が混在した複数の領域９１１（１）～９１１（６）に分割してもよい。また、フレーム分割部１０１は、例えば図３に示すように、複数のフレーム９００のそれぞれを、不均等サイズの複数の領域９１１（１）～９１１（６）に分割してもよい。

また、上記構成の動画データ処理装置１００において、フレーム分割部１０１は、例えば特開平１０－２７６３２１号公報などに開示されているウェーブレット変換の技術を用いて、例えば図４に示すようにフレーム９００を複数の領域への分割を行ってもよい。図示の例は、多重ウェーブレット変換の複数の領域（ＨＨ１，ＨＬ１，ＬＨ１，ＬＬ１，ＨＨ２，ＨＬ２，ＬＨ２，ＬＬ２，ＨＨ３，ＨＬ３，ＬＨ３，ＬＬ３）に分割した例である。このようにウェーブレット変換を用いることにより、フレームの複数の領域のうち画質への影響の少ない領域（例えば、空間周波数領域における高周波の領域、又は、画像の時間変化を変換した周波数領域における高周波の領域）を生成できる。

ここで、分割後の複数の領域それぞれのサイズが埋込対象の情報に対して余裕がある場合は、複数の領域の一部である最小サイズの領域に情報を埋め込んでもよい。例えば、図４において、多重ウェーブレット変換の複数の領域ＨＨ１～ＬＬ３それぞれのサイズが埋込対象の情報に対して余裕がある場合は、最小サイズの領域ＬＬ３又は領域ＬＬ２に情報を埋め込む。最小サイズの領域ＬＬ３のサイズが埋込対象の情報に対して余裕がない場合は領域ＬＬ２に情報を埋め込む。この場合、攻撃者（不正出力者）は動画データから埋込情報を除去するためには、当該動画データのフレームをどのように分割したか（分割方法）と、ウェーブレット変換のどの領域に情報が埋め込まれているか（情報が埋め込まれている領域の位置情報）の両方を知る必要があり、埋込情報の改ざん及び削除に対する耐性を高めることができる。

また、フレーム分割部１０１は、上記ウェーブレット変換の技術と、例えば特開平１１－３１７８５９号公報、特開平１１－３１７８６０号公報などに開示されている離散コサイン変換の技術の両方を用いて、複数のフレーム９００のそれぞれを複数の領域に分割してもよい。このようにウェーブレット変換又は離散コサイン変換を用いることにより、フレームの複数の領域のうち画質への影響の少ない領域（例えば、空間周波数領域における高周波の領域、又は、画像の時間変化を変換した周波数領域における高周波の領域）を生成できる。特に、ウェーブレット変換後の画像を離散コサイン変換することで、画像の変化が自然になり、情報が埋め込まれていることが分かりにくくなる。

また、図５に示すようにフレーム９００内の複数の領域９１２（１）～９１２（１２）は、埋込対象の情報が収まらない小サイズの複数の領域９１２（１）～９１２（６）を有してもよい。この場合、情報埋込部１０２は、埋込対象の情報を複数の分割情報に分割し、フレーム９００内の小サイズの複数の領域９１２（１）～９１２（６）に、複数の分割情報を分散して配置する。これにより、攻撃者（不正出力者）が流出した動画を細かく組み合わせた場合における埋込情報を抽出、改ざん及び削除に対する耐性を高めることができる。

ここで、上記埋込対象の情報を複数の分割情報に分割して埋め込む場合、複数の分割情報はそれぞれ、当該情報を配置した領域のフレーム内の位置情報と、複数の分割情報の全体の誤り検出符号とを有してもよい。この場合、攻撃者（不正出力者）が流出した動画を細かく組み合わせ、その組み合わせた動画に仮に複数のユーザ（不正出力者）の分割情報が混合した場合においても、混合した複数のユーザ（不正出力者）をそれぞれ特定することができる。

また、上記構成の動画データ処理装置１００において、フレーム分割部１０１は、図６に示すように、一フレーム毎に、複数のフレーム毎に、又は、所定の時間毎（例えば、１０秒ごと、１分ごと）に、フレームの画面分割方法Ａ～Ｆを変えてもよい。この場合、複数の攻撃者（不正出力者）が協力してフレームを差し替えて動画の加工を行った場合においても、動画内の全ての情報を消すことが困難になり、攻撃者（不正出力者）の特定が行われる。

また、上記構成の動画データ処理装置１００において、フレーム分割部１０１は、動画データを有する複数のコンテンツについて、一コンテンツ毎に又は複数のコンテンツ毎に、フレームの分割方法を変えてもよい。

なお、フレーム分割部１０１で使用している分割方法の情報は、変更があったときにサーバに送信され、サーバ内に記憶されて管理される。サーバは、コンテンツを配信する配信サーバ、又は、配信サーバとは別に設けられた情報管理サーバであってもよい。

上記構成の動画データ処理装置１００において、情報埋込部１０２は、例えば特開平１０－２７６３２１号公報などに開示されているウェーブレット変換の技術を用いて、各フレームの領域への情報の埋め込みを行ってもよい。また、情報埋込部１０２は、例えば特開平１１－３１７８５９号公報、特開平１１－３１７８６０号公報などに開示されている離散コサイン変換の技術を用いて、各フレームの領域への情報の埋め込みを行ってもよい。このようにウェーブレット変換又は離散コサイン変換を用いることにより、フレームの複数の領域のうち画質への影響の少ない領域（例えば、空間周波数領域における高周波の領域、又は、画像の時間変化を変換した周波数領域における高周波の領域）へ情報の埋め込むことができ、画質の低下を抑制できる。

また、上記構成の動画データ処理装置１００において、情報埋込部１０２は、埋込対象の情報を分割して複数の分割情報を生成し、フレーム内の複数の領域に、前記複数の分割情報を分散して配置してもよい。ここで、複数の分割情報はそれぞれ、当該情報を配置した領域の位置情報と、複数の分割情報の全体の誤り検出符号とを有してもよい。攻撃者（不正出力者）が流出した動画を細かく組み合わせ、その組み合わせた動画に仮に複数のユーザ（不正出力者）の分割情報が混合した場合においても、混合した複数のユーザ（不正出力者）をそれぞれ特定することができる。

また、情報埋込部１０２は、一フレーム毎に、複数のフレーム毎に、又は、所定の時間毎（例えば、１０秒ごと、１分ごと）に、情報の埋込方法を変えてもよい。この場合、複数の攻撃者（不正出力者）が協力してフレームを差し替えて動画の加工を行った場合においても、動画内の全ての情報を消すことが困難になり、攻撃者（不正出力者）の特定が行われる。また、情報埋込部１０２は、動画データを有する複数のコンテンツについて、一コンテンツ毎に又は複数のコンテンツ毎に、情報の埋込方法を変えてもよい。

なお、情報埋込部１０２で使用している埋込方法の情報は、変更があったときにサーバに送信され、サーバ内に記憶されて管理される。サーバは、コンテンツを配信する配信サーバ、又は、配信サーバとは別に設けられた情報管理サーバであってもよい。

図７は、実施形態に係る動画データ処理装置を備えるコンテンツ再生装置の一例を示すブロック図である。コンテンツ再生装置（以下「動画再生プレイヤー」ともいう。）１０は、記録媒体から読み出した動画データのファイル又はサーバからダウンロードした動画データのファイルを用いて、動画データを含むコンテンツを再生して出力する装置である。図７において、コンテンツ再生装置（以下「動画再生プレイヤー」ともいう。）１０は、上記構成の動画データ処理装置１００と、記憶部１１０と、通信部１２０と、再生・制御部１３０と、出力部１４０とを備える。記憶部１１０は、配信サーバなどのサーバから受信した動画データを有するコンテンツのファイルと、配信サーバなどのサーバから受信したフレームの分割方法及び情報の埋込方法の情報及び動画データ処理装置１００を識別する情報と、各種のプログラムを記憶する。通信部１２０は、通信網又は通信回線を介して、配信サーバなどのサーバと通信する。再生・制御部１３０は、記憶部１１０に記憶されているコンテンツのファイルに基づいて、連続する複数のフレームからなる動画データ及び音声データを再生する。また、再生・制御部１３０は、所定の制御プログラムを実行して各部を制御する。出力部１４０は、動画データ処理装置１００で上記所定の情報が埋め込まれたフレームを有する動画データを、音声データと同期させて映像表示機器などに出力する。なお、コンテンツ再生装置１０は、出力部１４０に代えて又は出力部１４０とともに、動画データを表示する表示部及び音声データを出力する音声出力部を備えてもよい。

図８は、実施形態に係るコンテンツ配信システムの全体構成の一例を示す説明図である。図８において、コンテンツ配信システムは、上記構成の動画データ処理装置１００を有するコンテンツ再生装置（動画再生プレイヤー）１０と、配信サーバ２１０及び時刻サーバ２２０を含むサーバ群２０と、映像表示機器３０とを備える。配信サーバ２１０は、管理サーバとして兼用され、動画データ処理装置１００で用いるフレームの分割方法及び情報の埋込方法の情報と動画データ処理装置１００を識別する情報とを記憶する記憶部と、通信網又は通信回線を介してコンテンツ再生装置（動画再生プレイヤー）１０と通信する通信部と、を備える。配信サーバ２１０は、動画データ処理装置１００で用いるフレームの分割方法及び情報の埋込方法の情報を送信する。配信サーバ２１０は、動画データ処理装置１００で用いたフレームの分割方法及び情報の埋込方法の情報を受信してもよい。管理サーバは、配信サーバ２１０とは別に設けてもよい。時刻サーバ２２０からコンテンツ再生装置（動画再生プレイヤー）１０に配信される時刻データは、コンテンツ再生装置（動画再生プレイヤー）１０における動画データ処理装置１００の同期処理に用いることができる。映像表示機器３０は、例えば、液晶などのモニタ、プロジェクタ、端末装置（例えば、スマートフォン）のディスプレイ等である。

図９は、図８のコンテンツ配信システムにおけるコンテンツ配信の一例を示すシーケンス図である。図９において、動画再生プレイヤー（コンテンツ再生装置）１０の再生・制御部１３０は、所定のアプリケーションプログラムを実行し、配信サーバ２１０に映像コンテンツの再生を要求する再生リクエストを送信する。配信サーバ２１０は、動画再生プレイヤー１０から再生リクエストを受信すると、再生対象の映像コンテンツのファイルと、フレームの分割方法及び情報の埋込方法を指定する初期情報と、フレームの分割領域に埋め込む埋込情報とを、動画再生プレイヤー１０に送信する。動画再生プレイヤー１０の再生・制御部１３０は、配信サーバ２１０から受信したフレームの分割方法及び情報の埋込方法を指定する初期情報を動画データ処理装置１００に転送するとともに、映像コンテンツのファイルを再生して生成した動画データを動画データ処理装置１００に送信し始める。動画データ処理装置１００は、配信サーバ２１０が指定した分割方法及び埋込方法に基づいて、動画データに情報を埋め込み、情報を埋め込んだ動画データを映像表示機器３０に送信し始める。

配信サーバ２１０は、所定の時間（例えば１０秒）毎に、フレームの分割方法及び情報の埋込方法を変更し、変更後の分割方法及び埋込方法の情報を動画再生プレイヤー１０に送信する。配信サーバ２１０は、動画データ処理装置１００で用いたフレームの分割方法及び情報の埋込方法の情報を受信してもよい。動画再生プレイヤー１０の再生・制御部１３０は、変更後の分割方法及び埋込方法の情報を配信サーバ２１０から受信すると、変更後の分割方法及び埋込方法の情報を動画データ処理装置１００に転送する。動画データ処理装置１００は、配信サーバ２１０が分割方法及び埋込方法するたびに、変更後の分割方法及び埋込方法に基づいて、その後の動画データに情報を埋め込み、情報を埋め込んだ動画データを映像表示機器３０に送信する。

図１０は、実施形態に係る動画データ処理装置１００を備えるコンテンツ受信装置１１の概略構成の一例を示すブロック図である。コンテンツ受信装置１１は、例えば、放送電波又はストリーミング配信を介して動画データを含むコンテンツを受信して出力する。なお、図１０において、前述の図７と共通する構成については同じ符号を付し、説明を省略する。

図１０において、コンテンツ受信装置１１は、上記構成の動画データ処理装置１００と、記憶部１１０と、通信部１２０と、再生・制御部１３０と、出力部１４０と、受信部１５０とを備える。受信部１５０は、放送局の放送装置から放送電波を介して動画データを含むコンテンツを受信し、又は、サーバからストリーミング配信を介して動画データを含むコンテンツを受信する。再生・制御部１３０は、放送電波又はストリーミング配信を介して受信したコンテンツに基づいて、連続する複数のフレームからなる動画データ及び音声データを再生し、動画データ処理装置１００に送る。出力部１４０は、動画データ処理装置１００で上記所定の情報が埋め込まれたフレームを有する動画データを、音声データと同期させて映像表示機器などに出力する。なお、コンテンツ受信装置１１は、出力部１４０に代えて又は出力部１４０とともに、動画データを表示する表示部及び音声データを出力する音声出力部を備えてもよい。

実施形態に係る放送システムは、図１０のコンテンツ受信装置１１と、動画データを含むコンテンツを放送する放送装置とを備えるように構成してもよい。また、実施形態に係る配信システムは、図１０のコンテンツ受信装置１１と、動画データを含むコンテンツをストリーミング配信するサーバとを備えるように構成してもよい。

図１１は、実施形態に係る情報抽出機能を有する動画データ処理装置１６０の一例を示すブロック図である。図１１において、動画データ処理装置１６０は、前述の動画データ処理装置１００で埋め込まれた動画データが流出した場合に、その動画データに埋め込まれた情報を取り出すことができる装置である。動画データ処理装置１６０は、フレーム分割部１６１と、情報抽出部１６２とを備える。フレーム分割部１６１は、前述のコンテンツ再生装置（動画再生プレイヤー）などから受信した動画データを構成する複数のフレームのそれぞれを、前述の動画データ処理装置１００で用いた所定の分割方法で複数の領域に分割する。情報抽出部１６２は、前述の動画データ処理装置１００で用いた情報の埋込方法に基づいて、複数のフレームのそれぞれについて、フレームを分割した複数の領域の一部または全部から、動画データの出力者を特定するための情報を抽出する。例えば、情報抽出部１６２は、フレームを分割した状態で、情報が埋め込まれた領域から、逆離散コサイン変換又は逆ウェーブレット変換を用いて情報を取り出す。

なお、上記実施形態において、フレームの複数の領域への分割、フレームの複数の領域への情報の埋め込み及び複数の領域の結合には、機械学習を用いてもよい。

以上、本実施形態によれば、動画データに埋め込んだ情報の改ざん及び削除を防止し、動画データの不正出力者を特定することができるようになるので、動画データの不正出力を抑止できる。

また、本発明は、動画データの不正出力を抑止できる動画データ処理装置を提供できるため、持続可能な開発目標（ＳＤＧｓ）の目標９「産業と技術革新の基盤をつくろう」の達成に貢献できる。

なお、本明細書で説明された処理工程並びに動画データ処理装置、コンテンツ受信装置、コンテンツ再生装置、放送システム、配信システムの構成要素は、様々な手段によって実装することができる。例えば、これらの工程及び構成要素は、ハードウェア、ファームウェア、ソフトウェア、又は、それらの組み合わせで実装されてもよい。

ハードウェア実装については、実体（例えば、各種のコンピュータ装置、通信装置、受信機、送信機、ディスプレイ、端末、ハードディスクドライブ装置、又は、光ディスクドライブ装置）において上記工程及び構成要素を実現するために用いられる処理ユニット等の手段は、１つ又は複数の、特定用途向けＩＣ（ＡＳＩＣ）、デジタルシグナルプロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブル・ロジック・デバイス（ＰＬＤ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書で説明された機能を実行するようにデザインされた他の電子ユニット、コンピュータ、又は、それらの組み合わせの中に実装されてもよい。

また、ファームウェア及び／又はソフトウェア実装については、上記構成要素を実現するために用いられる処理ユニット等の手段は、本明細書で説明された機能を実行するプログラム（例えば、プロシージャ、関数、モジュール、インストラクション、などのコード）で実装されてもよい。一般に、ファームウェア及び／又はソフトウェアのコードを明確に具体化する任意のコンピュータ／プロセッサ読み取り可能な媒体が、本明細書で説明された上記工程及び構成要素を実現するために用いられる処理ユニット等の手段の実装に利用されてもよい。例えば、ファームウェア及び／又はソフトウェアコードは、例えば制御装置において、メモリに記憶され、コンピュータやプロセッサにより実行されてもよい。そのメモリは、コンピュータやプロセッサの内部に実装されてもよいし、又は、プロセッサの外部に実装されてもよい。また、ファームウェア及び／又はソフトウェアコードは、例えば、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、プログラマブルリードオンリーメモリ（ＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、フロッピー（登録商標）ディスク、コンパクトディスク（ＣＤ）、デジタルバーサタイルディスク（ＤＶＤ）、磁気又は光データ記憶装置、などのような、コンピュータやプロセッサで読み取り可能な媒体に記憶されてもよい。そのコードは、１又は複数のコンピュータやプロセッサにより実行されてもよく、また、コンピュータやプロセッサに、本明細書で説明された機能性のある態様を実行させてもよい。

また、前記媒体は非一時的な記録媒体であってもよい。また、前記プログラムのコードは、コンピュータ、プロセッサ、又は他のデバイス若しくは装置機械で読み込んで実行可能であればよく、その形式は特定の形式に限定されない。例えば、前記プログラムのコードは、ソースコード、オブジェクトコード及びバイナリコードのいずれでもよく、また、それらのコードの２以上が混在したものであってもよい。

また、本明細書で開示された実施形態の説明は、当業者が本開示を製造又は使用するのを可能にするために提供される。本開示に対するさまざまな修正は当業者には容易に明白になり、本明細書で定義される一般的原理は、本開示の趣旨又は範囲から逸脱することなく、他のバリエーションに適用可能である。それゆえ、本開示は、本明細書で説明される例及びデザインに限定されるものではなく、本明細書で開示された原理及び新規な特徴に合致する最も広い範囲に認められるべきである。

１０ ：コンテンツ再生装置（動画再生プレイヤー）
１１ ：コンテンツ受信装置
２０ ：サーバ群
３０ ：映像表示機器
１００ ：動画データ処理装置
１０１ ：フレーム分割部
１０２ ：情報埋込部
１０３ ：フレーム戻し部
１１０ ：記憶部
１２０ ：通信部
１３０ ：制御部
１４０ ：出力部
１５０ ：受信部
１６０ ：動画データ処理装置
１６１ ：フレーム分割部
１６２ ：情報抽出部
２１０ ：配信サーバ
２２０ ：時刻サーバ
９００ ：フレーム
９１０，９１１，９１２ ：（フレームを分割した）領域
９２０ ：情報が埋め込まれたフレーム

Claims (22)

1. 動画データを処理する動画データ処理装置であって、
   動画データを構成する複数のフレームのそれぞれを所定の分割方法で複数の領域に分割するフレーム分割部と、
   前記複数のフレームのそれぞれについて、前記フレームを分割した前記複数の領域の一部に、前記動画データの出力者を特定するための情報を埋め込む情報埋込部と、
   前記複数のフレームのそれぞれについて、前記複数の領域の一部に前記情報を埋め込んだ後の前記複数の領域を結合してフレームに戻す結合部と、
   を備える、ことを特徴とする動画データ処理装置。
2. 請求項１の動画データ処理装置において、
   前記フレーム分割部で複数の領域に分割する前の前記複数のフレームで構成される動画データは、記録媒体から読み出した動画データを含む映像コンテンツを再生するコンテンツ再生装置から出力された動画データ、又は、放送電波若しくはストリーミング配信を介して動画データを含む映像コンテンツを受信するコンテンツ受信装置から出力された動画データであり、
   前記情報埋込部は、前記動画データの出力者を特定するための情報と、前記コンテンツ再生装置又は前記コンテンツ受信装置が前記動画データを出力した時刻情報とを埋め込む、ことを特徴とする動画データ処理装置。
3. 請求項１の動画データ処理装置において、
   前記情報埋込部は、非可視の電子透かしとして前記情報を埋め込む、ことを特徴とする動画データ処理装置。
4. 請求項１の動画データ処理装置において、
   前記フレーム分割部は、前記複数のフレームのそれぞれを、複数の正方形の領域、複数の非正方の四角形の領域、又は、正方形の領域及び非正方の四角形の領域が混在した複数の領域に分割する、ことを特徴とする動画データ処理装置。
5. 請求項１の動画データ処理装置において、
   前記フレーム分割部は、前記複数のフレームのそれぞれを、均等サイズ又は不均等サイズの複数の領域に分割する、ことを特徴とする動画データ処理装置。
6. 請求項１の動画データ処理装置において、
   前記情報埋込部は、ウェーブレット変換を用いて前記領域への情報の埋め込みを行う、又は、ウェーブレット変換を用いて前記領域への情報の埋め込みを行った後の画像を離散コサイン変換する、
   ことを特徴とする動画データ処理装置。
7. 請求項１の動画データ処理装置において、
   前記フレーム内の複数の領域は、前記情報埋込部で埋め込まれる情報である埋込対象の情報が収まらない小サイズの複数の領域を有し、
   前記情報埋込部は、前記埋込対象の情報を複数の分割情報に分割し、前記フレーム内の複数の領域に、前記複数の分割情報を分散して配置する、ことを特徴とする動画データ処理装置。
8. 請求項７の動画データ処理装置において、
   前記複数の分割情報はそれぞれ、当該情報を配置した前記領域の位置情報と、前記複数の分割情報の全体の誤り検出符号とを有する、ことを特徴とする動画データ処理装置。
9. 請求項１の動画データ処理装置において、
   前記フレーム分割部は、一フレーム毎に、複数のフレーム毎に、又は、所定の時間毎に、前記フレームの分割方法を変える、ことを特徴とする動画データ処理装置。
10. 請求項１の動画データ処理装置において、
    前記フレーム分割部は、動画データを有する複数の映像コンテンツについて、一映像コンテンツ毎に又は複数の映像コンテンツ毎に、前記フレームの分割方法を変える、ことを特徴とする動画データ処理装置。
11. 請求項１の動画データ処理装置において、
    前記情報埋込部は、一フレーム毎に、複数のフレーム毎に、又は、所定の時間毎に、前記情報の埋込方法を変える、ことを特徴とする動画データ処理装置。
12. 請求項１の動画データ処理装置において、
    前記情報埋込部は、動画データを有する複数の映像コンテンツについて、一映像コンテンツ毎に又は複数の映像コンテンツ毎に、前記情報の埋込方法を変える、ことを特徴とする動画データ処理装置。
13. 動画データを処理する動画データ処理装置であって、
    請求項１の動画データ処理装置で前記情報が埋め込まれた動画データを構成する複数のフレームのそれぞれを、請求項１の動画データ処理装置で用いた前記所定の分割方法で複数の領域に分割するフレーム分割部と、
    請求項１の動画データ処理装置で用いた前記情報の埋込方法に基づいて、前記複数のフレームのそれぞれについて、前記フレームを分割した前記複数の領域の一部から、前記動画データの出力者を特定するための情報を抽出する情報抽出部と、
    を備える、ことを特徴とする動画データ処理装置。
14. 請求項１乃至１３のいずれかの動画データ処理装置で用いる情報を管理するサーバであって、
    前記フレームの分割方法及び前記情報の埋込方法の情報と前記動画データ処理装置を識別する情報とを記憶する記憶部と、
    通信網又は通信回線を介して通信する通信部と、を備える、ことを特徴とするサーバ。
15. 請求項１４のサーバにおいて、
    前記動画データ処理装置で用いる前記フレームの分割方法及び前記情報の埋込方法の情報を送信する、ことを特徴とするサーバ。
16. 請求項１４のサーバにおいて、
    前記動画データ処理装置で用いた前記フレームの分割方法及び前記情報の埋込方法の情報を受信する、ことを特徴とするサーバ。
17. 放送電波又はストリーミング配信を介して動画データを含む映像コンテンツを受信して出力するコンテンツ受信装置であって、
    請求項１乃至１３のいずれかの動画データ処理装置を備え、
    前記動画データ処理装置の前記フレーム分割部は、前記コンテンツ受信装置から出力された動画データを構成する複数のフレームのそれぞれを所定の分割方法で複数の領域に分割し、
    前記動画データ処理装置の前記情報埋込部は、前記複数のフレームのそれぞれについて、前記フレームを分割した前記複数の領域の一部に、前記コンテンツ受信装置で前記動画データを出力した前記動画データの出力者を特定するための情報を埋め込む、
    ことを特徴とするコンテンツ受信装置。
18. 請求項１７のコンテンツ受信装置と、前記動画データを含む映像コンテンツを放送する放送装置と、を備える、ことを特徴とする放送システム。
19. 請求項１７のコンテンツ受信装置と、前記動画データを含む映像コンテンツをストリーミング配信するサーバと、を備える、ことを特徴とする配信システム。
20. 記録媒体から読み出した動画データのファイル又はサーバからダウンロードした動画データのファイルを用いて、動画データを含む映像コンテンツを再生して出力するコンテンツ再生装置であって、
    請求項１乃至１３のいずれかの動画データ処理装置を備え、
    前記動画データ処理装置の前記フレーム分割部は、前記コンテンツ再生装置から出力された動画データを構成する複数のフレームのそれぞれを所定の分割方法で複数の領域に分割し、
    前記動画データ処理装置の前記情報埋込部は、前記複数のフレームのそれぞれについて、前記フレームを分割した前記複数の領域の一部に、前記コンテンツ再生装置で前記動画データを出力した前記動画データの出力者を特定するための情報を埋め込む、
    ることを特徴とするコンテンツ再生装置。
21. 動画データを処理する方法であって、
    動画データを構成する複数のフレームのそれぞれを所定の分割方法で複数の領域に分割することと、
    前記複数のフレームのそれぞれについて、前記フレームを分割した前記複数の領域の一部に、前記動画データの出力者を特定するための情報を埋め込むことと、
    前記複数のフレームのそれぞれについて、前記複数の領域の一部に前記情報を埋め込んだ後の前記複数の領域を結合してフレームに戻すことと、
    を含む、ことを特徴とする方法。
22. 動画データを処理する動画データ処理装置に備えるコンピュータ又はプロセッサにおいて実行されるプログラムであって、
    動画データを構成する複数のフレームのそれぞれを所定の分割方法で複数の領域に分割するためのプログラムコードと、
    前記複数のフレームのそれぞれについて、前記フレームを分割した前記複数の領域の一部に、前記動画データの出力者を特定するための情報を埋め込むためのプログラムコードと、
    前記複数のフレームのそれぞれについて、前記複数の領域の一部に前記情報を埋め込んだ後の前記複数の領域を結合してフレームに戻すためのプログラムコードと、
    を含む、ことを特徴とするプログラム。