JP6231046B2 - 動画データ配信管理装置、動画データ配信管理方法、プログラム - Google Patents

Description

本発明は、動画データ配信管理装置、動画データ配信管理方法、プログラムに関する。

動画をストリーミング配信する技術がある（例えば、特許文献１）。このようなストリーミング配信技術を応用したストリーミング配信サービスにおいて、動画提供者からアップロードされた動画を受信側の端末装置の表示画面の大きさや回線状態などの状況に応じて、画像サイズや配信ビットレートの変換を行って配信するサービスもある。このような配信サービスにおいて、個々のビットストリームに、予め決められたビットレートで圧縮される。例えば、ビットストリームＡがスタジオで撮影が行われているニュース画像であり、ビットストリームＢが動きの激しいアクション映画である場合について考える。この場合、ニュース画像は、時間方向におけるフレームどうしで非常に高い相関があり、ＭＰＥＧ等nの時間方向の相関を用いる圧縮方式の場合、圧縮がしやすいシーケンスであり、比較的低ビットレートで圧縮しても画質の低下が少ない。一方、動きの激しいアクション映画では、動きが大きいため時間方向におけるフレームどうしで相関が高くない。そのため、ＭＰＥＧの圧縮方式では圧縮がしにくいシーケンスであり、満足な画質を得るためには比較的高いビットレートが必要になる。

特開２００７−２１５０６９号公報

しかしながら、上述の配信システムにおいては、ビットストリーム毎に均一に帯域が割当てられており、そのため、ビットストリームＡとビットストリームＢについて同じ帯域で配信すると、ストリームＡでは必要以上の帯域が確保される一方、ビットストリームＢで帯域が不足してしまう問題が生じる。

本発明は、このような事情に鑑みてなされたもので、その目的は、動画を配信する帯域の使用効率を向上させることができる動画データ配信管理装置、動画データ配信管理方法、プログラムを提供することにある。

上述した課題を解決するために、本発明は、複数の動画データのそれぞれについて、発生符号量と符号化ひずみとの関係を表す特徴情報を前記動画データがエンコードされた際に得て記憶する特徴情報記憶部と、前記動画データの配信要求を受けた際の要求元の端末装置の視聴環境に応じた動画データを配信するにあたり、前記特徴情報記憶部を参照し、前記動画データの特徴情報が記憶されているか否かを判定するトランスコード制御部と、前記動画データの特徴情報が記憶されていない場合に、前記動画データを前記視聴環境に応じたデータ形式となるようにエンコードを行ない、その際に得られる特徴情報を前記特徴情報記憶部に記憶するトランスコード部と、前記動画データのうち複数の配信対象の動画データに対応するそれぞれの前記特徴情報に応じて前記動画データを配信する帯域を割当てる帯域管理部とを有する。
また、上述の動画データ配信管理装置において、前記特徴情報記憶部は、前記動画データを異なるエンコード条件に従ってエンコードされた際に得られるそれぞれの特徴情報を記憶する。

また、上述の動画データ配信管理装置において、前記特徴情報は、前記動画データが複数の区間に分割された当該動画データの各区間のそれぞれをエンコードした際に得られる各特徴情報を基に生成される。
また、上述の動画データ配信管理装置において、前記帯域管理部は、配信対象である複数の動画データのそれぞれについて当該動画データの区間毎に対応する特徴情報を参照し、前記動画データを配信する区間が到来する毎に当該区間に対応する特徴情報の組み合わせに応じて前記帯域を割当てる。
また、上述の動画データ配信管理装置において、前記動画データ配信管理装置は、さらに、動画投稿装置から送信される動画データを送信された際のデータ形式のまま記憶する映像信号記憶部を有し、前記トランスコード部は、前記映像信号記憶部に記憶された動画データを前記視聴環境に応じたデータ形式となるようにエンコードを行ない、その際に得られる特徴情報を前記特徴情報記憶部に記憶する。

また、本発明は、複数の動画データのそれぞれについて、発生符号量と符号化ひずみとの関係を表す特徴情報を前記動画データがエンコードされた際に得て記憶する特徴情報記憶部を有する動画データ配信管理装置における動画データ配信管理方法であり、トランスコード制御部が、動画データの配信要求を受けた際の要求元の端末装置の視聴環境に応じた動画データを配信するにあたり、前記特徴情報記憶部を参照し、前記動画データの特徴情報が記憶されているか否かを判定し、トランスコード部が、前記動画データの特徴情報が記憶されていない場合に、前記動画データを前記視聴環境に応じたデータ形式となるようにエンコードを行ない、その際に得られる特徴情報を前記特徴情報記憶部に記憶し、帯域管理部が、前記動画データのうち複数の配信対象の動画データに対応するそれぞれの前記特徴情報に応じて前記動画データを配信する帯域を割当てる動画データ配信管理方法である。
また、本発明は、複数の動画データのそれぞれについて、発生符号量と符号化ひずみとの関係を表す特徴情報を前記動画データがエンコードされた際に得て記憶する特徴情報記憶部を有するコンピュータを、動画データの配信要求を受けた際の要求元の端末装置の視聴環境に応じた動画データを配信するにあたり、前記特徴情報記憶部を参照し、前記動画データの特徴情報が記憶されているか否かを判定する手段、前記動画データの特徴情報が記憶されていない場合に、前記動画データを前記視聴環境に応じたデータ形式となるようにエンコードを行ない、その際に得られる特徴情報を前記特徴情報記憶部に記憶する手段、前記動画データのうち複数の配信対象の動画データに対応するそれぞれの前記特徴情報に応じて前記動画データを配信する帯域を割当てる手段として機能させるためのプログラムである。

以上説明したように、この発明によれば、動画データをエンコードした際に得られる特徴情報に基づいて、複数の動画データを配信する際の帯域を割り当てるようにした。これにより、動画データの特徴に応じた帯域を割り当てることができるため、データを配信する帯域の使用効率を向上させることができる。

本発明の一実施形態による画像配信システム１の構成を示すブロック図である。 動画配信装置５の構成を表す概略ブロック図である。 発生符号量と符号化ひずみとの関係を表す図である。 Ｒ−Ｄ曲線の生成について説明する図である。 動画配信装置５の動作を説明するフローチャートである。 ２つの動画データを配信する場合における使用帯域と配信する経過時間との関係を説明する図である。

以下、本発明の一実施形態について図面を参照して説明する。図１は、本発明の一実施形態による画像配信システム１の構成を示すブロック図である。図１に示すように、画像配信システム１は、動画投稿装置３、動画配信装置５、及び端末装置７を備えて構成される。動画配信装置５と複数の端末装置７とは、インターネットなどのネットワーク９により接続される。なお、動画配信装置５と複数の動画投稿装置３の一部または全部が、ネットワーク９により接続されてもよい。

動画投稿装置３は、パーソナルコンピュータ、タブレット端末、スマートフォン、通信機能を有する他の機器（例えば、ゲーム機等）などにより実現される。動画投稿装置３は、カメラを内部に備える又は外部に接続することが可能となっており、撮像対象を撮像し、撮像結果に基づく動画データを生成し、動画配信装置５に送信（投稿）する。また、動画投稿装置３は、内部に設けられた記憶領域に記憶された動画データを動画配信装置５に送信（投稿）することもできる。

動画配信装置５は、１台以上のサーバコンピュータなどにより実現される。動画配信装置５は、動画投稿装置３から送信された動画データを受信する。動画配信装置５は、動画投稿装置３から受信した動画データを記憶する。また、動画配信装置５は、動画配信要求を端末装置７から受信する。動画配信装置５は、端末装置７から動画配信要求を受信したときは、要求元の端末装置７に要求された動画のビットストリーム（後述）を送信（配信）する。なお、動画配信要求には、要求元の端末装置７を識別する情報（要求元識別情報ともいう）や、要求された動画を識別する情報（動画識別情報ともいう）などが含まれていればよい。

端末装置７は、パーソナルコンピュータ、タブレット端末、スマートフォン、通信機能を有する他の機器（例えば、ゲーム機等）などにより実現される。端末装置７は、動画配信要求を動画配信装置５に送信し、動画配信装置５から送信されたビットストリーム（後述）を受信して再生する。なお、動画投稿装置３と端末装置７とは同一の装置であってもよい。即ち、ある装置が、動画投稿装置３、且つ、端末装置７であってもよい。

図２は、動画配信装置５の構成を表す概略ブロック図である。
動画データ受信部５０１は、動画投稿装置３から送信された動画データを受信する。動画データ受信部５０１は、動画投稿装置３から受信した動画データを、動画データを識別する動画識別情報とともに映像信号記憶部５０２に記憶する。この動画識別情報は、動画投稿装置３において所定のルールに従って付与されてもよいし、動画配信装置５が、動画投稿装置３の端末を識別する識別情報や受信時刻等を用いて所定のルールに従って付与してもよい。

映像信号記憶部５０２は、動画投稿装置３から送信された動画データを動画識別情報とともに記憶する。ここで記憶される動画データは、動画投稿装置３から送信された動画データのデータ形式（画像サイズ等）のまま記憶される。
配信要求受信部５０３は、端末装置７から送信される端末装置７を識別する要求元情報と動画識別情報と動画配信要求とを受信する。配信要求受信部５０３は、端末装置７から動画配信要求を受信したときは、要求元情報と動画識別情報と動画配信要求をトランスコード制御部５０７に通知する。

トランスコード部５０４は、映像信号記憶部５０２に記憶された動画データを読み出し、配信要求元の端末装置７が視聴環境に応じたデータ形式にしたビットストリームをビットストリーム配信部５０５に、要求元情報とともに出力する。トランスコード部５０４は、配信対象の動画データが最初の配信である場合には、動画投稿装置３から得られた動画データからビットストリームを得るためにエンコードした際に得られる符号化ひずみ（ＰＳＮＲ；Ｐｅａｋ ｓｉｇｎａｌ−ｔｏ−ｎｏｉｓｅ ｒａｔｉｏ、ピーク信号対雑音比ともいう）と発生符号量との関係を表す情報（以下、ＲＤ（Ｒａｔｅ−Ｄｉｓｔｏｒｓｉｏｎ）カーブともいう）を特徴情報として取得し、取得した特徴情報を特徴情報記憶部５０６に記憶する。ここで、最初の配信とは、例えば、動画投稿装置３からライブ配信される場合や、映像信号記憶部５０２に動画データが記憶された後、端末装置７から配信要求を最初に受信したことに伴う配信である。トランスコード部５０４は、２回目以降の配信については、特徴情報が既に記憶されている場合、同じ特徴情報について特徴情報記憶部５０６に記憶しなくてもよい。トランスコード部５０４は、ライブ配信である場合、ビットストリーム配信部５０５によってビットストリームを配信することができれば、動画データ受信部５０１が受信した動画データを映像信号記憶部５０２に記憶した後にエンコードしてもよいし、映像信号記憶部５０２に記憶することなくエンコードしてもよい。

ここで、Ｒ−Ｄ曲線は、例えば、以下の演算のうち少なくともいずれか１つの演算を行うことで得ることができる。
（１）１つの動画データを異なるビットレートでエンコードした際に、そのビットレートでエンコードされた際における符号化ひずみの平均値と発生符号量の平均値を、エンコードするビットレート毎に得る。この得られた各符号化ひずみの平均値と発生符号量の平均値を、例えばプロットすることで、１つのＲ−Ｄ曲線を得る。ここでは、例えば、１つの動画データを配信サイズＨＤで異なる３つのビットレートで各端末装置に配信する場合、ビットレートが３種類であるため、３つのサンプルポイントにおいて、符号化ひずみの平均値と発生符号量の平均値とが得られる。この得られた３つのサンプルポイントに対応するようにカーブ（例えば、Logのカーブ）をフィッティングすることで、Ｒ−Ｄ曲線を得ることができる。

（２）１つの動画データには、アクションシーン、出演者の顔のアップ、風景、スポーツを行っているシーン等、複数のシーンが含まれる場合がある。このように、複数のシーンから構成される動画データについては、そのシーン毎に、符号化ひずみの平均値と発生符号量の平均値を求める。これにより、シーンの数の分だけサンプルポイントが得られる。
そして、得られたサンプルポイントに対応するようにカーブをフィッティングすることで、Ｒ−Ｄ曲線を得る。例えば、動画データが映画等のある程度の長さを持ったシーケンスである場合、一般に多くのシーンチェンジが含まれる。ここでは、シーンチェンジとシーンチェンジの間のシーンは、ある特徴が連続した短いシーケンスとしてとらえることが出来る。このような動画データは、１回目の配信では可変レートでエンコードされるため、シーンごとの量子化値が異なり、多くのサンプルポイントを得ることが出来る。このようにして得られたサンプルポイントに対応するようにカーブをフィッティングすることで、Ｒ−Ｄ曲線を得ることができる。さらに、得られるサンプルポイントを前記したようなカテゴリー毎のＲ−Ｄ曲線とすることにより、後述するビットレートの決定を柔軟に行える。

（３）１つの動画データを異なる画像サイズに変換して配信する場合、例えば、ある動画データについて、第１回目の動画配信をＨＤで２つのビットレート、ＳＤ（Ｓｔａｎｄａｒｄ ｄｅｆｉｎｉｔｉｏｎ ｔｅｌｅｖｉｓｉｏｎ）で２つのビットレート、ＳＩＦ（Ｓｏｕｒｃｅ Ｉｎｐｕｔ Ｆｏｒｍａｔ）で２つのビットレートで行った場合、２つのサンプルポイントを基に生成されるＲ−Ｄ曲線が３つ得られる。この３つのＲ−Ｄ曲線は、サンプルポイントがそれぞれ２つであり、それぞれ１つでは正確さはあまり高くはないが、基本的に同じ動画データから生成されたＲ−Ｄ曲線であるため、同じ傾向を有するＲ−Ｄ曲線となる。そのため、この３つのＲ−Ｄ曲線に、例えば、係数をかける等の処理を行うことで、６つのサンプルポイントに基づく１つのＲ−Ｄ曲線を生成することができる。このように、１つの動画データから異なる画像サイズでのエンコードを行うことで、サンプル数を増やすことができ、Ｒ−Ｄ曲線の正確さを向上させることができる。

上述した（１）〜（３）の演算については、いずれか１つ、あるいは複数を任意に組み合わせることで、Ｒ−Ｄ曲線を得ることができる。また、このようなＲ−Ｄ曲線を得ることで、符号化ひずみと生符号量との対応関係を把握することができる。
Ｒ−Ｄ曲線は正確であるほど、量子化値と発生符号量と、画像の歪み（エンコード後の画像がエンコード前の画像に比べてどの程度劣化するか）の関係をより正確に把握することが可能となる。これらの関係は、動画データの内容（動画全体がアニメである、動きの多いスポーツである、全体的に風景が多い等）によって傾向が異なる。

図３は、Ｒ−Ｄ曲線の一例を表す図である。この図において、縦軸は符号化ひずみＤであり、横軸は発生符号量Ｒである。符号化ひずみと発生符号量との関係は、発生符号量が増えると符号化ひずみの値は減る関係にある。また、発生符号量がある程度増大すると、符号化ひずみの減少は緩やかになる。ここで、曲線１００、２００、３００は、１つの動画データを異なるである条件Ｃ１、Ｃ２、Ｃ３でエンコードした場合における関係を表す。条件としては、例えば、変換後の画像サイズである。

例えば、条件Ｃ１（曲線１００）と条件Ｃ２（曲線２００）とを比較すると、発生符号量が同じ（例えばＡ１）である場合には、条件Ｃ１における符号化ひずみがＢ１であり、条件Ｃ２における符号化ひずみがＢ２（Ｂ１＞Ｂ２）であり、条件Ｃ２の方が、画質の低下が少ない。また、例えば、条件Ｃ１の代わりに条件Ｃ２を用いる場合、発生符号量をＡ１からＡ２まで減らしたとしても、符号化ひずみはＢ１のままであるため、符号発生量を抑えつつ、画質の低下を抑えることができる。

図４は、Ｒ−Ｄ曲線の生成について説明する図である。図４（ａ）は、複数のシーンを有する動画データについて発生符号量と時間（経過フレーム）との関係を表す図、図４（ｂ）は、発生符号量と符号化ひずみとの関係を表す図である。１つの動画データについて、発生符号量と符号化ひずみについて、その動画データ全体を対象として平均値を得ることで、Ｒ−Ｄ曲線を生成することができるが、そうすると、サンプルポイント数が十分でない場合がある。
このような場合には、例えば、動画データが映画等のある程度の長さを持ったシーケンスである場合、一般に、多くのシーンチェンジが含まれる。そして、シーンチェンジとシーンチェンジの間のシーンは、１つの短いシーケンスとしてとらえることが出来る。このような動画データは、１回目の配信では可変レートでエンコードされるため、シーンごとの量子化値が異なり、多くのサンプルポイントを得ることが出来る。また、動画データを５秒毎など、一定時間単位で時間を区切ることによって、多くのサンプル数を得るようにすることも可能である。このようにすることで、図４（ｂ）に示すように、Ｒ−Ｄ曲線を得るようにしてもよい。

ビットストリーム配信部５０５は、トランスコード部５０４から供給されたビットストリームを要求元情報に対応する端末装置７に送信する。

特徴情報記憶部５０６は、複数の動画データのそれぞれについて、トランスコード部５０４によってエンコードされた際に得られるＲ−Ｄ曲線を表す特徴情報を動画識別情報とともに記憶する。特徴情報記憶部５０６は、動画データを異なるエンコード条件に従ってエンコードされた際に得られるそれぞれの特徴情報を記憶する。エンコード条件としては、例えば、動画の解像度を用いる場合、ＳＤ、ＨＤ、ＳＩＦ等の、異なる解像度である。また、エンコード条件としては、例えば、画像サイズを用いることができる。このような特徴情報は、前記動画データが複数の区間に分割された当該動画データの各区間のそれぞれをエンコードした際に得られる各特徴情報を基に生成される。また、特徴情報としては、特徴情報（Ｒ−Ｄ曲線）を生成した際に得られる量子化値と発生符号量との関係についても記憶する。また、特徴情報としては、動画データがエンコードされる際のシーケンスのフレームと、ピクチャタイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）も対応づけて記憶することもできる。なお、マクロブロックレイヤー以下の情報（ベクター情報、マクロブロックモードを表すモード情報）については、２回目以降の配信の際には計算し直すため、必ずしも特徴情報として記憶しなくてもよいが、記憶した場合には、２回目以降の配信の際に参照してエンコードすることもできる。

トランスコード制御部５０７は、動画データのうち複数の配信対象の動画データに対応するそれぞれの特徴情報に応じて動画データを配信する帯域を割当てる。

次に、動画配信装置５の動作について、図５のフローチャートを用いて説明する。ここでは、動画投稿装置３から動画データが送信されると、その都度、動画データ受信部５０１が動画データを受信して映像信号記憶部５０２に記憶に記憶する。
動画配信装置５の配信要求受信部５０３が端末装置７から動画識別情報、要求元情報、配信要求を受信すると（ステップＳ１０１）、トランスコード制御部５０７は、特徴情報記憶部５０６を参照し、配信要求された動画の動画識別情報に対応する特徴情報が記憶されているか否かを判定する（ステップＳ１０２）。特徴情報が特徴情報記憶部５０６に記憶されていない場合、トランスコード制御部５０７は、トランスコード部５０４に、動画識別情報と要求元情報を出力するとともに動画データのエンコードを指示する。トランスコード部５０４は、エンコードの指示に基づいて、動画識別情報に対応する動画データをエンコードしてビットストリームを生成する（ステップＳ１０３）。このビットストリームを生成する際、例えば、複数種類の画像サイズについてエンコードしたり、異なる画質についてエンコードする等、複数の条件でそれぞれエンコードを行う。このとき、トランスコード部５０４は、ビットストリームを生成する際に動画の解析をすることによって得られる、Ｒ−Ｄ曲線を特徴情報として動画識別情報とともに特徴情報記憶部５０６に記憶する（ステップＳ１０４）。ここでは、各種条件に従ったエンコードを行う場合、目的の画像サイズであり目的の画質となるようにエンコードすることもできる。そして、各種条件において、動画データ全体のＰＳＮＲの平均値、発生符号量の平均値を算出することで、Ｒ−Ｄ曲線を生成する。ここでは、例えば、上述の（１）〜（３）のうち少なくともいずれか１つの算出方法を用いてＲ−Ｄ曲線を得る。なお、目的の画像サイズの動画データを生成するためのエンコードを行う際、目的の画像サイズよりも小さな画像サイズである縮小画像も得ることもできるため、この縮小画像に基づくベクター情報とモード情報とを得ることで、互いに異なる画像サイズのそれぞれの特徴情報を得ることができる。

そして、トランスコード部５０４は、トランスコード制御部５０７は、ステップＳ１０３において得られる動画の解析結果に基づいてエンコードし、エンコードされた動画データを所定のビットレートで配信するようにビットストリーム配信部５０５に指示する。ビットストリーム配信部５０５は、所定のビットレートで送信する（ステップＳ１０５）。
ここでの所定のビットレートは、ビットストリーム配信部から他の動画データの配信がされていないため、ビットストリーム配信部５０５が配信可能な全帯域のうち、任意の帯域を割り当てることで、この帯域内で配信可能なビットレートが所定のビットレートとして割り当てられる。例えば、最も高いビットレートを割り当てることもできる。ビットストリーム配信部５０５は、割り当てられたビットレートに従い、動画データを端末装置７に配信する。

一方、ステップＳ１０２において、特徴情報が格納されている場合、トランスコード制御部５０７は、受信している動画の配信要求が複数であるかを判定し（ステップＳ１０６）、受信している動画の配信要求が複数である場合には、配信要求されている他の動画データの特徴情報を取得する（ステップＳ１０７）。そして、トランスコード制御部５０７は、配信要求されているそれぞれの動画の特徴情報に基づいて、ビットストリーム配信部５０５が配信可能な帯域幅に収まるように、動画データ配信の進行に合ったビットレートをそれぞれの動画データに対して決定する（ステップＳ１０８）。このビットレートを決定する場合、数理計画法に従って決定することもできる。ここで数理計画法を適用する場合、制約条件を画質向上優先（ＰＳＮＲが所定値以上となる制約）や、帯域削減優先（トータルのビットレートを削減する）といった制約条件で最適化問題を解くことにより、再エンコードに使う量子化値など具体的なエンコードパラメータを決定することができる。

そして、トランスコード制御部５０７は、それぞれの動画データに対し、決定されたビットレートに応じた量子化値を決定し（ステップＳ１０９）、決定された量子化値に従って、映像信号記憶部５０２に記憶されたそれぞれの動画データを読み出してエンコードし、要求元情報に対応するそれぞれの端末装置７に配信する（ステップＳ１１０）。

一方、トランスコード制御部５０７は、ステップＳ１０６において、動画の配信要求が一つである場合には、その配信要求されている動画の特徴情報に基づいて、ビットストリーム配信部５０５が配信可能な帯域幅に収まるように、動画データ配信の進行に合ったビットレートを動画データに対して決定し（ステップＳ１１１）、ステップＳ１０９に移行する。

なお、上述したフローチャートにおいて、配信対象の動画データが複数であって、そのうち少なくとも１つの動画データについて特徴情報が記憶されていない場合には、配信対象である動画データのそれぞれに対し、ビットレートを均等に割り当てて配信しておき、各動画データの特徴情報が記憶されている場合に、ステップＳ１０７以降のように、各特徴情報に基づいてビットレートを割り当てるようにしてもよい。

例えば、第１回目の動画データの配信において、第１シーケンスから第３シーケンスまでの３つの動画データをそれぞれ目標ビットレート２００Ｋｂｐｓで配信する場合において、画質向上を優先する制約条件に基づいて帯域幅を割り当てる場合について説明する。また、ここでは、第１シーケンスは、比較的動きが少なくコンコードの負荷が比較的軽い内容であり、第２シーケンスは、第１シーケンスに比べて動きが多くエンコードも多少重い内容であり、第３シーケンスは、この３つのシーケンスの中で最も動きが多くエンコードも重い内容であるものとして説明する。そして、第１シーケンスの時刻Ｔでの情報が量子化値Ｑ＝Ｑ１、ＰＳＮＲ＝ＰＳＮＲ１、ビットレート＝２００Ｋｂｐｓであり、シーケンス２の時刻Ｔでの情報が量子化値Ｑ＝Ｑ２（Ｑ１＜Ｑ２）、ＰＳＮＲ＝ＰＳＮＲ２（ＰＳＮＲ１＞ＰＳＮＲ２）、ビットレート＝２１０Ｋｂｐｓであり、シーケンス３の時刻Ｔでの情報が量子化値Ｑ＝Ｑ３（Ｑ２＜Ｑ３）、ＰＳＮＲ＝ＰＳＮＲ３（ＰＳＮＲ２＞ＰＳＮＲ３）、ビットレート＝２３０Ｋｂｐｓであるとする。

この場合、第１シーケンスは、エンコードが簡単なわりに配信帯域を２００Ｋｂｐｓ分利用しており、必要以上に画質を確保するような条件（ＰＳＮＲ＝ＰＳＮＲ１であり、第２シーケンス、第３シーケンスのＰＳＮＲよりも大きい）にて配信してしまうと、第２シーケンス、第３シーケンスは、第１シーケンスよりもエンコードが難しいので、目標ビットレートの２００Ｋｂｐｓに近づけるためには、量子化値を上げて画質を低減（第２シーケンス及び第３シーケンスのＰＳＮＲはいずれも第１シーケンスより小さい）させて配信しなければならない。

このような動画データの配信を、上述の特徴情報を用いて使用帯域を割り当てる場合、第１シーケンスを量子化値Ｑ＝Ｑ４、ＰＳＮＲ＝ＰＳＮＲ４、ビットレート＝１００Ｋｂｐｓ、第２シーケンスを量子化値Ｑ＝Ｑ５（例えばＱ５≒Ｑ４）、ＰＳＮＲ＝ＰＳＮＲ５（ＰＳＮＲ４≒ＰＳＮＲ５）、ビットレート＝２３８Ｋｂｐｓ、第３シーケンスを量子化値Ｑ＝Ｑ６（例えばＱ６≒Ｑ４）、ＰＳＮＲ＝ＰＳＮＲ６（ＰＳＮＲ６≒ＰＳＮＲ４）、ビットレート＝２５８Ｋｂｐｓという結果を、ビットレートの総和が帯域の制限を超えないという制約条件の下でＰＳＮＲのばらつきを最小化する問題として定式化し、解を数理計画法に従って導き出し、この条件に従って配信することにより、トータルの発生符号量を抑えつつ、ある程度の画質を保った配信を行うことができる。例えば、ある一定以上の画質である場合、一般に、視聴者は、それ以上画質を高くしたとしても、その画質の差異は認識しにくい。そこで、ある程度の画質を確保できる場合には、それ以上に画質を向上させず、その分、他の画質が低いシーケンスの画質を向上されるように帯域を割り当てることで、動画配信の品質を向上させることができる。
また、制約条件として、「ビットレートの総和が帯域の制限を超えない」という内容を適用したが、これ以外を適用することもできる。また、「ＰＳＮＲのばらつきを最小化する問題」として定式化したが、制約条件に対応した他の内容であってもよい。
また、この例では第１シーケンス、第２シーケンス、第３シーケンスを配信する場合について説明したが、一度特徴情報が得られたシーケンスであれば、第１回目の送信とは別の組み合わせ（例えば、第１シーケンス１、第４シーケンス、第７シーケンス）であっても、その状況に応じた最適な配信条件を導き出すことができる。

なお、制約条件を帯域削減優先として求める場合、例えば、上述した第１シーケンス、第２シーケンス、第３シーケンスのうち、第１シーケンスについては、動画データの内容に対して配信帯域が必要以上に高いため、ビットレートを下げ、第２シーケンス、第３シーケンスについては、例えばビットレートを維持する。第１シーケンスのビットレートをどの程度下げればよいかについては、Ｒ−Ｄ曲線を用いることで算出することができる。これにより、第２シーケンス、第３シーケンスの画質を維持しつつ、帯域削減をすることができる。

図６は、２つの動画データを配信する場合における使用帯域と配信する経過時間との関係を説明する図である。図６（ａ）は、上述の実施形態における動画配信装置５を用いない場合における、使用帯域と経過時間との関係を表す。この図６（ａ）では、動画データＡ１と動画データＢ１について、経過時間が経過したとしても、使用する帯域は、継続的に均等に割り当てられている。このため、動画データＡ１と動画データＢ１については、それぞれ、割り当てられた帯域に収まるようなビットレートで配信される。このため、動画データＡ１が、例えばニュース番組等の動きが少ない内容の動画データであり、ビットレートがある程度低くても問題ない場合であっても、このビットレートに対して余裕のある帯域幅が割り当てられる。一方、動画データＢ１がアクション映画等の動きが多い内容の動画データであり、ビットレートがある程度高い方が好ましい場合であっても、このビットレートに対して帯域が不足してしまう。

これに対し、上述した動画配信装置５を用いる場合、図６（ｂ）に示すように、動画データＡ２と動画データＢ２について、経過時間に応じた使用帯域が割り当てられる。これにより、例えば、経過時間ｔ１において、動画データＡ２が動きの少ないシーンであり、動画データＢ２が動きの多いシーンである場合には、動画データＡ２よりも動画データＢ２に対して広い帯域が割り当てられる。これにより、動画データＢ２については、動画データＡ２よりも広い帯域を利用することで、高いビットレートでの配信を行うことができる。また、経過時間ｔ２において、動画データＡ２が動きの多いシーンであり、動画データＢ２が動きの少ないシーンである場合には、動画データＢ２よりも動画データＡ２に対して広い帯域が割り当てられる。これにより、動画データＡ２については、動画データＢ２よりも広い帯域を利用することで、高いビットレートでの配信を行うことができる。
以上説明した実施形態においては、ビットストリームが２つである場合について説明したが、３つ以上を配信する際に用いることもできる。

なお、以上説明した実施形態によれば、ある幅の配信帯域で複数の動画像ビットストリームを配信する場合、ビットストリーム毎に同じ帯域を割り当てたとき、同時刻に配信される動画像ビットストリームは、画像の圧縮難易度が異なることによるビットレートが無駄に使用されてしまうこと防ぐことができ、同時に配信される複数のビットストリーム間で帯域を画像の難易度によって都合することにより、画質や帯域の削減を行うことができる。

なお、上述した実施形態において、発生符号量のコントロールを正確に行うためには、量子化値と発生ビット量とを対応付けた情報も特徴情報として記憶するようにしてもよい。この量子化値と発生符号量とを対応づけた情報は、例えば、動画データをエンコードした際に、Ｒ−Ｄ曲線が得られるが、そのエンコードを行った際に得られる発生符号量に対応した量子化値を用いることで生成することができる。そして得られた量子化値を用いて、量子化値を増加あるいは減少させた場合における符号化ひずみと発生符号量とを得ることで、目的の符号発生量に近づけた符号発生量を決めることができる。

上述した実施形態における動画配信装置５をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…画像配信システム、３…動画投稿装置、５…動画配信装置、７…端末装置、９…ネットワーク、５０１…動画データ受信部、５０２…映像信号記憶部、５０３…配信要求受信部、５０４…トランスコード部、５０５…ビットストリーム配信部、５０６…特徴情報記憶部、トランスコード制御部

Claims (7)

1. 複数の動画データのそれぞれについて、発生符号量と符号化ひずみとの関係を表す特徴情報を前記動画データがエンコードされた際に得て記憶する特徴情報記憶部と、
   前記動画データの配信要求を受けた際の要求元の端末装置の視聴環境に応じた動画データを配信するにあたり、前記特徴情報記憶部を参照し、前記動画データの特徴情報が記憶されているか否かを判定するトランスコード制御部と、
   前記動画データの特徴情報が記憶されていない場合に、前記動画データを前記視聴環境に応じたデータ形式となるようにエンコードを行ない、その際に得られる特徴情報を前記特徴情報記憶部に記憶するトランスコード部と、
   前記動画データのうち複数の配信対象の動画データに対応するそれぞれの前記特徴情報に応じて前記動画データを配信する帯域を割当てる帯域管理部と
   を有する動画データ配信管理装置。
2. 前記特徴情報記憶部は、前記動画データを異なるエンコード条件に従ってエンコードされた際に得られるそれぞれの特徴情報を記憶する
   請求項１記載の動画データ配信管理装置。
3. 前記特徴情報は、前記動画データが複数の区間に分割された当該動画データの各区間のそれぞれをエンコードした際に得られる各特徴情報を基に生成される
   請求項１記載の動画データ配信管理装置。
4. 前記帯域管理部は、配信対象である複数の動画データのそれぞれについて当該動画データの区間毎に対応する特徴情報を参照し、前記動画データを配信する区間が到来する毎に当該区間に対応する特徴情報の組み合わせに応じて前記帯域を割当てる
   請求項１記載の動画データ配信管理装置。
5. 前記動画データ配信管理装置は、さらに、
   動画投稿装置から送信される動画データを送信された際のデータ形式のまま記憶する映像信号記憶部を有し、
   前記トランスコード部は、前記映像信号記憶部に記憶された動画データを前記視聴環境に応じたデータ形式となるようにエンコードを行ない、その際に得られる特徴情報を前記特徴情報記憶部に記憶する
   請求項１から請求項４のうちいずれか１項に記載の動画データ配信管理装置。
6. 複数の動画データのそれぞれについて、発生符号量と符号化ひずみとの関係を表す特徴情報を前記動画データがエンコードされた際に得て記憶する特徴情報記憶部を有する動画データ配信管理装置における動画データ配信管理方法であり、
   トランスコード制御部が、動画データの配信要求を受けた際の要求元の端末装置の視聴環境に応じた動画データを配信するにあたり、前記特徴情報記憶部を参照し、前記動画データの特徴情報が記憶されているか否かを判定し、
   トランスコード部が、前記動画データの特徴情報が記憶されていない場合に、前記動画データを前記視聴環境に応じたデータ形式となるようにエンコードを行ない、その際に得られる特徴情報を前記特徴情報記憶部に記憶し、
   帯域管理部が、前記動画データのうち複数の配信対象の動画データに対応するそれぞれの前記特徴情報に応じて前記動画データを配信する帯域を割当てる
   動画データ配信管理方法。
7. 複数の動画データのそれぞれについて、発生符号量と符号化ひずみとの関係を表す特徴情報を前記動画データがエンコードされた際に得て記憶する特徴情報記憶部を有するコンピュータを、
   動画データの配信要求を受けた際の要求元の端末装置の視聴環境に応じた動画データを配信するにあたり、前記特徴情報記憶部を参照し、前記動画データの特徴情報が記憶されているか否かを判定する手段、
   前記動画データの特徴情報が記憶されていない場合に、前記動画データを前記視聴環境に応じたデータ形式となるようにエンコードを行ない、その際に得られる特徴情報を前記特徴情報記憶部に記憶する手段、
   前記動画データのうち複数の配信対象の動画データに対応するそれぞれの前記特徴情報に応じて前記動画データを配信する帯域を割当てる手段
   として機能させるためのプログラム。

Images