JP7565733B2 - ストリーム送出装置、ストリーム生成装置、及びプログラム - Google Patents

Description

本発明は、ストリーム送出装置、ストリーム生成装置、及びプログラムに関し、特に、ネットワークの帯域（伝送可能なビットレート）の増減に対応し得るストリーム送出装置、ストリーム生成装置、及びプログラムに関する。

近年、４Ｋ・８Ｋ等の超高精細動画像を含むコンテンツの実用化が進んでいる。これらのコンテンツは、予め符号化されて蓄積され、ストリーム送出装置によりネットワーク等を用いて送出される。なお、コンテンツは映像や音声などの複数のメディアを含むが、本発明は映像の符号化技術を対象とするため、以降は映像についてのみ記述する。

映像の記録や伝送のために様々な圧縮符号化技術が実用化されており、例えば、符号化順序を並べ替えることで、過去と未来のピクチャを同時に参照する高精度な予測を実現する符号化方法が用いられている（非特許文献１）。また、各ピクチャは、参照方法によって、単独で復号可能なピクチャであるＩ（Intra Coded）ピクチャ、前方向の動き補償予測を用いたピクチャであるＰ（Predictive Coded）ピクチャ、両方向の動き補償予測を用いたピクチャであるＢ（Bi-directional Predictive Coded）ピクチャ等と呼ばれることがある。

本明細書における技術説明のために、幾つかの用語・関数等を定義する。一つの画像（ピクチャ、フレーム等）を、「ＡＵ（Access Unit）」と呼ぶ。また、「ＩＲＡＰ（Intra Random Access Point） ＡＵ」とは、そのＡＵから復号処理を開始した場合に、当該ＡＵ及び表示順でそのＡＵより後ろのＡＵが正常に復号可能なＡＵのことをいう。そして、ＩＲＡＰ ＡＵから次のＩＲＡＰ ＡＵの直前のＡＵまでを含む符号化ストリームの断片を「ＧＯＰ（Group of picture）」と呼ぶ。このＧＯＰは、映像符号化分野で一般にＧＯＰと呼ばれる概念と同一である。また、「ＧＯＰ構造」とは、ＧＯＰ内の各ＡＵのＩ，Ｂ，Ｐ等の参照モードや、参照可能なＡＵの構造を指す。これも、映像符号化分野で一般に「ＧＯＰ構造」と呼ばれる概念と同一である。本明細書では、あるＧＯＰのＧＯＰ長を「len(GOP)」、ＧＯＰ構造を「struct(GOP)」と、関数的に表記する。また、あるＡＵのビット長を「strlen(AU)」と表す。

「２つのストリームが同じＧＯＰ構造を有する」とは、あるストリームを構成する複数のＧＯＰをGOP A[0]，GOP A[1]，GOP A[2]，・・・、もう一方のストリームを構成する複数のＧＯＰをGOP B[0]，GOP B[1]，GOP B[2]，・・・としたとき、全てのｘに対し、GOP A[x]とGOP B[x]のＧＯＰ構造が等しいことを指す。そして、AU[x]とは、着目ＧＯＰの符号化順でｘ番目のＡＵを指すものとする（０<=ｘ< len(GOP)、「<=」は、以上の意味)。

一般に、ストリーム送出装置は、伝送に用いるネットワークの帯域の減少などに備え、複数のビットレートで同一のコンテンツを符号化して蓄積し、通常は高いビットレートで符号化した符号化ストリームを送出し、例えばネットワークに輻輳が生じ、使用できるネットワーク帯域の減少などが生じた際に、低ビットレートで符号化した符号化ストリームに送出を切り替える。

図９は、従来のストリーム送出装置１に蓄積されている符号化ストリームの概念図である。「ストリーム出力」は、装置１が送出するストリームである。ストリーム送出装置１には、高ビットレートで符号化したストリーム（以下、「高ビットレートストリーム」という。）と、低ビットレートで符号化したストリーム（以下、「低ビットレートストリーム」という。）が用意されている。なお、図でストリームの太さはビット量（情報量）に対応している。高ビットレートストリームを構成するＧＯＰを、先頭から、GOP H[0]，GOP H[1]，GOP H[2]，・・・とし、低ビットレートストリームを構成するＧＯＰを先頭からGOP L[0]，GOP L[1]，GOP L[2]，・・・とする。

図１０は、従来のストリーム送出装置１においてビットレートを切り替えるときの概念図である。「ビットレート変更指示」は、装置に対して外部から与えられる、ビットレートの変更を指示する信号である。高ビットレートストリームを送出中（例えば、GOP H[1]の送出中）に、ネットワークの輻輳が生じて低ビットレートへの切り替えが必要となった場合（ビットレート変更指示を受けたとき）、GOP H[1]の送出を終了後、GOP L[2]から低ビットレートストリームの送出を行う。これは、一般に、符号化ストリームは、ＧＯＰの最初のＡＵであるＩＲＡＰ ＡＵ以外からは正常な復号が不可能なためである。

大久保 榮（監修）、鈴木 輝彦、他、「Ｈ．２６５／ＨＥＶＣ教科書」、株式会社インプレスジャパン発行、２０１３年１０月２１日、ｐ．２３６－２４１

ネットワークの帯域の増減が生じたとき、ビットレートの切り替えは、できるだけ直ちに行うのが望ましい。しかし、符号化ストリームはＩＲＡＰ ＡＵ以外からは正常な復号が不可能なため、ＧＯＰの途中で切り替えをおこなうと、切り替え直後に受信側で映像に乱れが生じる課題がある。この乱れを防ぐためには送出するストリームをＩＲＡＰ ＡＵ（すなわち、ＧＯＰ単位）で切り替える必要があるが、その場合は、次のＩＲＡＰ ＡＵが現われるまで異なるビットレートのストリームへの切り替えが遅れる課題がある。あるいは、全てのＡＵをＩＲＡＰ ＡＵで符号化（すなわちオールイントラ符号化)すれば、受信側で映像に乱れを生じることなく任意のＡＵでストリームを切り替えることが可能だが、この場合はストリーム全体のビットレートが高くなる課題がある。

従って、上記のような問題点に鑑みてなされた本発明の目的は、受信側で映像に乱れが生じることなく、異なるビットレートで符号化されたストリーム間を、任意のＡＵで切り替えて送出することができるストリーム送出装置、そのためのストリームを生成するストリーム生成装置、及びプログラムを提供することにある。

上記課題を解決するために本発明に係るストリーム送出装置は、異なるビットレートで符号化された複数の符号化ストリームを切り替えて送出する機能を有するストリーム送出装置において、第１ビットレートで符号化された第１ビットレートストリームと、前記第１ビットレートストリームと同じＧＯＰ（Group of picture）構造を有し、第２のビットレートで符号化された第２ビットレートストリームとを備え、前記第１ビットレートストリームのＸ番目（Ｘは任意）のＧＯＰのｉ番目（０＜ｉ＜ＧＯＰ長）のＡＵ（Access Unit）から切り替えを行うとき、前記Ｘ番目のＧＯＰと同じＧＯＰ構造を有し、先頭ＡＵからｉ－１番目のＡＵまでは前記第１ビットレートストリームのＸ番目のＧＯＰの先頭ＡＵからｉ－１番目のＡＵと同一の復号結果が得られる符号化が行われ、ｉ番目以降のＡＵは第１ビットレートよりも第２ビットレートに近いビットレートで符号化された遷移ＧＯＰを用い、前記第１ビットレートストリームを、前記Ｘ番目のＧＯＰのｉ－１番目のＡＵまで送出し、次いで、前記遷移ＧＯＰのｉ番目以降のＡＵを送出し、Ｘ＋１番目のＧＯＰから、第２ビットレートストリームに切り替えることを特徴とする。

上記課題を解決するために本発明に係るストリーム送出装置は、異なるビットレートで符号化された複数の符号化ストリームを蓄積する蓄積部と、前記蓄積部に蓄積された符号化ストリームを選択し、切り替えて送出する送出ストリーム選択部とを備えるストリーム送出装置において、前記蓄積部は、第１ビットレートで符号化された第１ビットレートストリームと、前記第１ビットレートストリームと同じＧＯＰ構造を有し、第２のビットレートで符号化された第２ビットレートストリームと、前記第１ビットレートストリームから前記第２ビットレートストリームへの切り替えに用いる遷移ストリームとを備え、前記遷移ストリームを構成するＧＯＰは、前記第１ビットレートストリームの各ＧＯＰにつきＧＯＰ長－１種類を有し、先頭ＡＵからｉ－１番目（０＜ｉ＜ＧＯＰ長）のＡＵまでは前記第１ビットレートストリームの対応ＧＯＰの先頭ＡＵからｉ－１番目のＡＵと同一の復号結果が得られるように符号化されており、ｉ番目以降のＡＵは第１ビットレートよりも第２ビットレートに近いビットレートで符号化されていることを特徴とする。

また、前記ストリーム送出装置は、前記送出ストリーム選択部が、ビットレート変更指示に基づいて、前記第１ビットレートストリームの指示されたＧＯＰのｉ番目のＡＵから切り替えを行うとき、前記遷移ストリームの前記指示されたＧＯＰに対応するＧＯＰであって、先頭ＡＵからｉ－１番目のＡＵまでは前記第１ビットレートストリームの指示されたＧＯＰの先頭ＡＵからｉ－１番目のＡＵと同一の復号結果が得られるように符号化され、ｉ番目以降のＡＵは第１ビットレートよりも第２ビットレートに近いビットレートで符号化されたＧＯＰを選択し、前記第１ビットレートストリームを、指示されたＧＯＰのｉ－１番目のＡＵまで送出し、次いで、前記遷移ストリームの選択されたＧＯＰのｉ番目以降のＡＵを送出し、前記指示されたＧＯＰの次のＧＯＰから、第２ビットレートストリームに切り替えることが望ましい。

また、前記ストリーム送出装置は、前記蓄積部が、異なるビットレートで符号化された第１乃至第ｎ（ｎは２以上の整数）の符号化ストリームと、第１乃至第ｎの任意の符号化ストリームから他の任意の符号化ストリームへの切り替えに用いる遷移ストリームとを備えていることが望ましい。

また、前記ストリーム送出装置は、前記蓄積部は、異なるビットレートで符号化された第１乃至第ｎ（ｎは２以上の整数）の符号化ストリームと、第１乃至第ｎ－１の任意の符号化ストリームから第ｎの符号化ストリームへの切り替えに用いる遷移ストリームとを備えていることが望ましい。

上記課題を解決するために本発明に係るストリーム生成装置は、異なるビットレートで符号化された複数の符号化ストリームの切り替えを行うための符号化ストリームを生成するストリーム生成装置において、入力された映像を第１ビットレートで符号化し、第１ビットレートストリームを生成する第１ビットレート符号化部と、入力された映像を第２ビットレートで符号化し、前記第１ビットレートストリームと同じＧＯＰ構造を有する第２ビットレートストリームを生成する第２ビットレート符号化部と、前記第１ビットレートストリームから前記第２ビットレートストリームへの切り替えに用いる第１第２遷移ストリームを生成する第１第２遷移符号化部と、を備え、前記第１第２遷移符号化部は、前記第１第２遷移ストリームを構成するＧＯＰを、前記第１ビットレートストリームの各ＧＯＰにつきＧＯＰ長－１種類生成し、先頭ＡＵからｉ－１番目（０＜ｉ＜ＧＯＰ長）のＡＵまでは前記第１ビットレートストリームの対応ＧＯＰの先頭ＡＵからｉ－１番目のＡＵと同一の復号結果が得られるように符号化し、ｉ番目以降のＡＵは第１ビットレートよりも第２ビットレートに近いビットレートで符号化することを特徴とする。

また、前記ストリーム生成装置は、さらに、前記第２ビットレートストリームから前記第１ビットレートストリームへの切り替えに用いる第２第１遷移ストリームを生成する第２第１遷移符号化部を備え、前記第２第１遷移符号化部は、前記第２第１遷移ストリームを構成するＧＯＰを、前記第２ビットレートストリームの各ＧＯＰにつきＧＯＰ長－１種類生成し、先頭ＡＵからｉ－１番目（０＜ｉ＜ＧＯＰ長）のＡＵまでは前記第２ビットレートストリームの対応ＧＯＰの先頭ＡＵからｉ－１番目のＡＵと同一の復号結果が得られるように符号化し、ｉ番目以降のＡＵは第２ビットレートよりも第１ビットレートに近いビットレートで符号化することが望ましい。

上記課題を解決するために本発明に係るプログラムは、コンピュータを、前記ストリーム送出装置として機能させることを特徴とする。

上記課題を解決するために本発明に係るプログラムは、コンピュータを、前記ストリーム生成装置として機能させることを特徴とする。

本発明におけるストリーム送出装置、ストリーム生成装置、及びプログラムによれば、受信側で映像に乱れが生じることなく、異なるビットレートで符号化されたストリーム間を、任意のＡＵで切り替えて送出することができる。

一実施形態のストリーム送出装置においてビットレートを切り替えるときの概念図である。 一実施形態のストリーム送出装置の構成例を示す図である。 一実施形態のストリーム送出装置の蓄積部の構成例を示す図である。 高ビットレートストリームと高低遷移ストリームのイメージ図である。 高ビットレートストリームから低ビットレートストリームへの遷移を説明する図である。 一実施形態のストリーム生成装置の構成例を示す図である。 ｎ（ｎ＞２）通りのビットレートに対応するストリーム送出装置の構成例を示す図である。 ｎ（ｎ＞２）通りのビットレートに対応するストリーム送出装置の別の構成例を示す図である。 従来のストリーム送出装置に蓄積されている符号化ストリームの概念図である。 従来のストリーム送出装置においてビットレートを切り替えるときの概念図である。

以下、本発明の実施の形態について説明する。

（実施の形態１）
図１は、本発明の一実施形態のストリーム送出装置１０においてビットレートを切り替えるときの概念図である。図１のストリーム送出装置１０は、所定の高ビットレートと所定の低ビットレートの２つのビットレートストリームを送出することができ、また、高ビットレートストリームから低ビットレートストリームへと切り替えることができる。高ビットレートストリームを構成するＧＯＰを、先頭から、GOP H[0]，GOP H[1]，GOP H[2]，・・・とし、低ビットレートストリームを構成するＧＯＰを先頭からGOP L[0]，GOP L[1]，GOP L[2]，・・・とする。

高ビットレートストリームを送出中に、低ビットレートへの切り替えが必要となった場合（例えば、GOP H[1]のAU[f-1]の送出中にビットレート変更指示を受けたとき）、高ビットレートストリーム（GOP H[1]）で送出中のＡＵの直後のＡＵから直ちに、高低遷移のための対応ＧＯＰ（以下、高低遷移ＧＯＰといい、GOP HL[1]で表す。）の送出に切り換え、高低遷移ＧＯＰ（GOP HL[1]）の送出終了後、GOP L[2]から低ビットレートストリームの送出を行う。

ここで、高低遷移ＧＯＰ（GOP HL[1]）は、切り替え時の高ビットレートストリームのＧＯＰ（GOP H[1]）と同じＧＯＰ構造を有しており、AU[f]の送出から切り替えるとした場合、切り替え前のAU[0]～AU[f-1]は高ビットレートストリームのGOP H[1]のAU[0]～AU[f-1]とそれぞれ同一の復号結果が得られるＡＵであり、GOP H[1]のAU[0]～AU[f-1]と同一のＡＵであってもよい。GOP HL[1]のAU[f]～AU[len(GOP H[1])-1]は、高ビットレートよりも低ビットレートに近いビットレート（望ましくは、所定の低ビットレートと同等のビットレート）で符号化されたＡＵである。

このように、遷移ＧＯＰを用いて符号化ストリームの切り替えを行うことにより、ＧＯＰの途中であっても、ビットレート変更指示の直後から、ビットレートを低くすることができる。

なお、本実施形態では、高ビットレートストリームから低ビットレートストリームへの切り替えについて説明したが、低高遷移のための対応ＧＯＰを用いることにより、全く同様に、低ビットレートストリームから高ビットレートストリームへの切り替えも可能である。すなわち、任意の異なるビットレートで符号化された第１ビットレートストリームと第２ビットレートストリームの切り替えが可能である。

（実施の形態２）
図２は、本発明の一実施形態のストリーム送出装置１０の構成例である。図２のストリーム送出装置１０は、高ビットレートと低ビットレートの２つのビットレートストリームを送出することができ、また、両者を切り替えることができる。すなわち、高ビットレートストリームから低ビットレートストリームへの切り替え、及び、低ビットレートストリームから高ビットレートストリームへの切り替えに対応している。ストリーム送出装置１０は、蓄積部１１と送出ストリーム選択部１２を備えている。ビットレート変更指示は、送出ストリーム選択部１２に入力される。

図３に、ストリーム送出装置１０の蓄積部１１の構成例を示す。蓄積部１１は、高ビットレートで符号化したストリーム(高ビットレートストリーム)を格納するデータベース１１１と、高ビットレートから低ビットレートに切り替える際に用いるストリーム（高低遷移ストリーム)を格納するデータベース１１２と、低ビットレートから高ビットレートに切り替える際に用いるストリーム（低高遷移ストリーム)を格納するデータベース１１３と、低ビットレートで符号化したストリーム（低ビットレートストリーム）を格納するデータベース１１４とを備えている。

ここで、高ビットレートストリームは、所定の高ビットレートで符号化されたストリームである。高ビットレートストリームを構成するＧＯＰを先頭からGOP H[0]，GOP H[1]，GOP H[2]，・・・とする。

一方、低ビットレートストリームは、所定の低ビットレートで符号化されたストリームである。低ビットレートストリームを構成するＧＯＰを先頭からGOP L[0]，GOP L[1]，GOP L[2]，・・・とする。ここで、struct(GOP H[0]) ＝ struct(GOP L[0])であり、以下同様に、struct(GOP H[1]) ＝ struct(GOP L[1])、struct(GOP H[2]) ＝ struct(GOP L[2])、・・・である。すなわち、対応するＧＯＰのＧＯＰ構造は等しい。

高低遷移ストリームとは、高低遷移（高いビットレートから低いビットレートへの遷移）のための複数のＧＯＰから構成されるストリームである。これらのＧＯＰを、GOP HL[X][y]と表記する。Ｘは、高低遷移ストリームを構成するＧＯＰの先頭からの順番を示す。ｙは、各ＧＯＰ内の高ビットレートで符号化されたＡＵと低ビットレートで符号化されたＡＵとの区切りの位置を示しており、１<=ｙ< len(GOP H[X])の範囲をとる。そして、struct(GOP HL[X][y]) ＝ struct(GOP H[X])である。また、GOP HL[X][y]内のAU[0]～AU[y-1]は、GOP H[X]のAU[0]～AU[y-1]とそれぞれ同一の復号結果が得られる符号化ストリームであり、GOP HL[X][y]内のAU[y]～AU[len(GOP H[X])-1]は、低ビットレート（所定の高ビットレートよりも低いビットレートであってよい）で符号化されているストリームである。なお、低ビットレートのＡＵは、ビットレートが低いだけであり、GOP L[X]内のAU[y]～AU[len(GOP H[X])-1]と同じ復号結果が得られるわけではない。

低高遷移ストリームとは、低高遷移（低いビットレートから高いビットレートへの遷移）のための複数のＧＯＰから構成されるストリームである。これらのＧＯＰを、GOP LH[X][y]と表記する。Ｘは、低高遷移ストリームを構成するＧＯＰの先頭からの順番を示す。ｙは、各ＧＯＰ内の低ビットレートで符号化されたＡＵと高ビットレートで符号化されたＡＵとの区切りの位置を示しており、１<=ｙ< len(GOP L[X])の範囲をとる。そして、struct(GOP LH[X][y]) ＝ struct(GOP L[X])である。また、GOP LH[X][y]内のAU[0]～AU[y-1]は、GOP L[X]のAU[0]～AU[y-1]と同一の復号結果が得られる符号化ストリームであり、GOP LH[X][y]内のAU[y]～AU[len(GOP L[X])-1]は、高ビットレート（所定の低ビットレートよりも高いビットレートであってよい）で符号化されているストリームである。なお、高ビットレートのＡＵは、ビットレートが高いだけであり、GOP H[X]内のAU[y]～AU[len(GOP H[X])-1]と同じ復号結果が得られるわけではない。

図４は、高ビットレートストリームと高低遷移ストリームのイメージ図である。各ストリーム（ＧＯＰ）の太さ（高さ）はビットレート、すなわち符号化されたビット量に対応している。高ビットレートストリームを構成するＧＯＰは、先頭から、GOP H[0]，GOP H[1]，GOP H[2]，・・・であり、いずれも大きい情報量を有している。

高低遷移ストリームの左上隅のGOP HL[0][1]は、GOP H[0]に対応するＧＯＰであって、GOP H[0]と同じＧＯＰ構造を有し、最初のAU[0]が高ビットレートで符号化され（すなわち、GOP H[0]のAU[0]と同一の復号結果が得られるように符号化され）、AU[1]以降のＡＵが低ビットレートで符号化されている。

GOP HL[0][1]の右隣のGOP HL[1][1]は、GOP H[1]に対応するＧＯＰであって、GOP H[1]と同じＧＯＰ構造を有し、最初のAU[0]が高ビットレートで符号化され（すなわち、GOP H[1]のAU[0]と同一の復号結果が得られるように符号化され）、AU[1]以降のＡＵが低ビットレートで符号化されている。同様に、GOP HL[1][1]の右隣のGOP HL[2][1]は、GOP H[2]に対応するＧＯＰであって、GOP H[2]と同じＧＯＰ構造を有し、最初のAU[0]が高ビットレートで符号化され（すなわち、GOP H[2]のAU[0]と同一の復号結果が得られるように符号化され）、AU[1]以降のＡＵが低ビットレートで符号化されている。

また、縦方向に見ていくと、GOP HL[0][1]の一つ下のGOP HL[0][2]は、GOP H[0]に対応するＧＯＰであって、GOP H[0]と同じＧＯＰ構造を有し、AU[0]及びAU[1]が高ビットレートで符号化され（すなわち、GOP H[0]のAU[0]，AU[1]と同一の復号結果が得られるように符号化され）、AU[2]以降のＡＵが低ビットレートで符号化されている。同様に、GOP HL[0][2]の一つ下のGOP HL[0][3]は、GOP H[0]に対応するＧＯＰであって、GOP H[0]と同じＧＯＰ構造を有し、AU[0]，AU[1]及びAU[2]が高ビットレートで符号化され（すなわち、GOP H[0]のAU[0]，AU[1]，AU[2]と同一の復号結果が得られるように符号化され）、AU[3]以降のＡＵが低ビットレートで符号化されている。

このように、高ビットレートストリームの任意のGOP H[X]の任意のAU[y]から低ビットレートへの切り替えが可能となるように、高低遷移ストリームのＧＯＰ（GOP LH[X][y]）が構成されている。すなわち、任意の切り替えポイントに対応するＧＯＰが準備されている。

図２に戻って、送出ストリーム選択部１２は、通常は、高ビットレートストリームあるいは低ビットレートストリームのいずれかを選択し、それぞれのストリームの先頭ＧＯＰから順番にストリーム出力として送出する。

ここで、送出ストリーム選択部１２が高ビットレートストリーム送出中に、あるタイミングで、低ビットレートへのビットレート変更指示が届いたとする。そのタイミングが、GOP H[G]のAU[f]の送出する直前（AU[f-1]の送出中、若しくは、AU[f-1]の送出が完了しAU[f]の送出が開始されるまでの間)であったとする。このとき、送出ストリーム選択部１２は、蓄積部１１からGOP HL[G][f]を選択し、GOP H[G]のAU[f-1]の送出が完了した後に、GOP H[G]のAU[f]を送出するかわりに、GOP HL[G][f]のAU[f]から順番にGOP HL[G][f]のＡＵを送出する。そして、GOP HL[G][f]の送出が完了した後は、低ビットレートストリームに移ってGOP L[G+1]送出し、以降、順番に低ビットレートストリームのＧＯＰを送出する。

また、送出ストリーム選択部１２が低ビットレートストリーム送出中に、あるタイミングで、高ビットレートへのビットレート変更指示が届いた場合は、そのタイミングが、GOP L[S]のAU[e]の送出する直前（AU[e-1]の送出中、若しくは、AU[e-1]の送出が完了しAU[e]の送出が開始されるまでの間)であったとする。このとき、送出ストリーム選択部１２は、蓄積部１１からGOP LH[S][e]を選択し、GOP H[S]のAU[e-1]の送出が完了した後に、GOP L[S]のAU[e]を送出するかわりに、GOP LH[S][e]のAU[e]から順番にGOP LH[S][e]のＡＵを送出する。そして、GOP LH[S][e]の送出が完了した後は、高ビットレートストリームに移ってGOP H[S+1]を送出し、以降、順番に高ビットレートストリームのＧＯＰを送出する。

なお、上述の高（あるいは低）ビットレートストリーム送出中の「あるタイミング」がＧＯＰの先頭ＡＵを送出する直前の場合は、高低遷移ストリーム（あるいは低高遷移ストリーム）を使用せずに従来通りに、低ビットストリーム（あるいは高ビットストリーム）のＧＯＰの先頭ＡＵから送出すればよい。

なお、本実施形態では、高ビットレートストリームから低ビットレートストリームへの切り替えと、低ビットレートストリームから高ビットレートストリームへの切り替えの双方を可能としたが、一方向への切り替えのみを行う場合は、一方の遷移ストリームを備えていればよい。すなわち、第１ビットレートで符号化された第１ビットレートストリームと、第２のビットレートで符号化された第２ビットレートストリームと、第１ビットレートストリームから第２ビットレートストリームへの切り替えに用いる遷移ストリームとを備えていればよい。

図５を用いて、高ビットレートストリームから低ビットレートストリームへの遷移を、より具体的に説明する。図５は、高ビットレートストリームを送出中、GOP H[X]のAU[3]を送出中に、低ビットレートへのビットレート変更指示が来た場合の例を示している。各ＡＵを示す矩形の高さは、各ＡＵのビット量を概略的に示している。グレーで表示されているＡＵが、本発明により送出されるＡＵを示している。

ビットレート変更指示が届いたとき、高低遷移ストリームの中から、GOP HL[X][4]が選択される。AU[0]～AU[3]は同じ符号化を行うため、GOP H[X]とGOP HL[X][4]で同一のＡＵ、若しくは、同一の復号結果が得られるＡＵである。高ビットレートストリームのGOP H[X]のAU[3]まで送出された後、AU[4]～AU[N]はGOP HL[X][4]から送出される。ここでは、例えば、GOP HL[X][4]のAU[4]以降のビット量の和は、GOP L[X]のAU[4]以降のビット量の和と同程度となるように符号化している。そして、次のＧＯＰからはGOP L[X+1]から送出される。

この実施形態では、GOP HL[X][4]のAU[4]～AU[N]のビット量の和は、GOP L[X]のAU[4]～AU[N]のビット量の和とほぼ等しいため、AU[4]でGOP L[X]の送出に直ちに切り替えた場合と同等のビットレート削減効果がある。

また、GOP HL[X][4]のAU[4]～AU[N]は、GOP HL[X][4]のAU[0]～AU[3]を参照する可能性があるが、GOP HL[X][4]のAU[0]～AU[3]はGOP H[X][4]のAU[0]～AU[3]と同一の復号結果が得られるため、ストリームを切り替えても、受信側の映像に乱れは生じない。

このように、本発明のストリーム送出装置１０によれば、受信側に映像の乱れを生じることなく、複数のビットレートで符号化されたストリーム間を、任意のＡＵで切り替えて送出することが可能となる。さらに、本発明によれば、フレーム間参照を行った場合でも問題なく遷移が可能であるため、オールイントラ符号化する場合のようなビットレートの増大も発生しない。

なお、上述したストリーム送出装置１０として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、ストリーム送出装置１０の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

（実施の形態３）
図６は、本発明の一実施形態のストリーム生成装置の構成例である。ストリーム生成装置２０は、コンテンツ（映像）及び出力のビットレート（所定の高ビットレート及び低ビットレート）の指示が入力され、それぞれのビットレートのストリームと各種の遷移ストリームを出力する。ストリーム生成装置２０は、高ビットレートストリームを生成する高ビットレート符号化部２１、高低遷移ストリームを生成する高低遷移符号化部２２、低高遷移ストリームを生成する低高遷移符号化部２３、及び低ビットレートストリームを生成する低ビットレート符号化部２４を備えている。

なお、本実施形態は、高ビットレート及び低ビットレートの２種類のビットレートに対応しているが、後述のように、多数のビットレートを生成すると共に、多数のビットレート間の遷移ストリームを生成する構成としてもよい。

ストリーム生成装置２０における、各ストリームの作成処理の例を示す。まず、高ビットレート符号化部２１にて、入力された映像を指示された所定の高いビットレートとなるように符号化し、高ビットレートストリームを作成する。また、低ビットレート符号化部２４にて、入力された映像を指示された所定の低いビットレートとなるように符号化し、低ビットレートストリームを作成する。

次に、高低遷移符号化部２２にて、高低遷移ストリームを作成する。高ビットレートストリームのGOP H[X]から低ビットレートストリームのGOP L[X]に遷移するGOP HL[X][y] (０<=ｙ< len(GOP H[X])は、次の（ａ）、（ｂ）の条件で符号化を行って生成する。
（ａ）０<=ｉ<ｙなるｉに対し、GOP HL[X][y]のAU[i]は、GOP H[X]のAU[i]と同一の復号結果が得られるように符号化を行う。或いは、GOP H[X]のAU[i]の符号化ストリームを流用して、両者を同一のAU[i]とする。
（ｂ）ｉ>=ｙなるｉに対し、GOP HL[X][y]のAU[i]は、GOP H[X]のAU[i]よりビットレートが低くなるように符号化を行う。

上記の条件のもとに、全てのｙ（０<=ｙ< len(GOP H[X]）及び全てのＸ（０<=Ｘ）について、GOP HL[X][y]を生成し、高低遷移ストリームを作成する。

また、低高遷移符号化部２３にて、低高遷移ストリームも同様に作成する。具体的には、低ビットレートストリームのGOP L[X]から高ビットレートストリームのGOP H[X]に遷移するGOP LH[X][y]（０<=ｙ< len(GOP L[X])は、次の（ｃ）、（ｄ）の条件で符号化を行って生成する。
（ｃ）０<=ｉ<ｙなるｉに対し、GOP LH[X][y]のAU[i]は、GOP L[X]のAU[i]と同一の復号結果が得られるように符号化を行う。或いはGOP L[X]のAU[i]の符号化ストリームを流用して、両者を同一のAU[i]とする。
（ｄ）ｉ>=ｙなるｉに対し、GOP LH[X][y]のAU[i]は、GOP L[X]のAU[i]よりビットレートが高くなるように符号化を行う.

上記の条件のもとに、全てのｙ（０<=ｙ< len(GOP L[X]）及び全てのＸ（０<=Ｘ）について、GOP LH[X][y]を生成し、低高遷移ストリームを作成する。

ストリーム生成装置２０で生成された各ストリームを、ストリーム送出装置１０の蓄積部１１に出力し、格納することができる。

なお、本実施形態では、高ビットレートストリームから低ビットレートストリームへの遷移ストリームと、低ビットレートストリームから高ビットレートストリームへの遷移ストリームとの両方を作成したが、一方向への切り替えのみを行う場合は、一方の遷移ストリームを作成すればよい。すなわち、第１ビットレートストリームを生成する第１ビットレート符号化部と、第２ビットレートストリームを生成する第２ビットレート符号化部と、第１ビットレートストリームから第２ビットレートストリームへの切り替えに用いる遷移ストリームを生成する第１第２遷移符号化部とを備えればよい。

（実施の形態３の変形例）
本変形例は、実施の形態３において、より厳密に符号化後の目標情報量（目標符号量）を設定して符号化し、遷移ストリームを生成するものである。

本変形例において、高ビットレートストリーム及び低ビットレートストリームの生成は、実施の形態３と同じであり、高低遷移ストリーム及び低高遷移ストリームの作成条件も同様である。

高低遷移ストリームのGOP HL[X]のAU[i] （ｉ>=ｙ)を符号化する時に、ｉ>=ｙなるｉに対し、GOP HL[X][y]のAU[i]は、GOP H[X]のAU[i]よりビットレートが低くなるように符号化を行う。この際に、次式（１）を満たすように、目標情報量を設定して符号化する。

ここで、strlen()とは、あるAUのビット長を意味する。そして、Σはｉの所定の範囲のAU[i]のビット長の和を示す。

また、低高遷移ストリームのGOP LH[X]のAU[i] （ｉ>=ｙ)を符号化する時に、ｉ>=ｙなるｉに対し、GOP HL[X][y]のAU[i]は、GOP L[X]のAU[i]よりビットレートが高くなるように符号化を行う。この際に、次式（２）を満たすように、目標情報量を設定して符号化する。

すなわち、第１ビットレートから第２ビットレートへ遷移する遷移ストリームを生成する際に、ｉ番目以降のＡＵは第１ビットレートよりも第２ビットレートに近いビットレートで符号化される。

（実施の形態３の別の変形例）
本変形例は、実施の形態３において、ＧＯＰの途中でもビットレートの遷移効果が十分に生じるように、符号化後の目標情報量（目標符号量）を設定して符号化をし、遷移ストリームを生成するものである。

高低遷移ストリームのGOP HL[X]のAU[i] （ｉ>=ｙ)を符号化する時に、ｉ>=ｙなるｉに対し、GOP HL[X][y]のAU[i]は、GOP H[X]のAU[i]よりビットレートが低くなるように符号化を行う。その際に、次式（３）を満たすように、目標情報量を設定して符号化する。

（３）式によれば、GOP HL[X]のAU[y]以降のビット量の和は、GOP L[X] のAU[y]以降のビット量の和と等しいかそれ以下となるように符号化している。そして、次のＧＯＰからはGOP L[X+1]から送出される。したがって、ＧＯＰの途中であっても、AU[y]以降は、GOP L[X]の送出に直ちに切り替えた場合と同等のビットレート削減効果がある。

また、低高遷移ストリームのGOP LH[X]のAU[i] （ｉ>=ｙ)を符号化する時に、ｉ>=ｙなるｉに対し、GOP HL[X][y]のAU[i]は、GOP L[X]のAU[i]よりビットレートが高くなるように符号化を行う。その際に、次式（４）を満たすように、目標情報量を設定して符号化する。

（４）式によれば、GOP LH[X]のAU[y]以降のビット量の和は、GOP H[X] のAU[y]以降のビット量の和と等しいかそれ以上になるように符号化している。そして、次のＧＯＰからはGOP H[X+1]から送出される。したがって、ＧＯＰの途中であっても、AU[y]以降は、GOP H[X]の送出に直ちに切り替えた場合と同等の帯域拡大効果がある。

なお、上述したストリーム生成装置２０として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、ストリーム生成装置２０の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

（実施の形態４）
これまでの実施形態では、高ビットレートストリーム、低ビットレートストリームの２つを切り替える例を示したが、本実施形態では、さらに多くのｎ種類（ｎ＞２）のビットレートによるストリームを切り替えることを実現可能とする。

図７は、ｎ通りのビットレートに対応するストリーム送出装置１０の構成例である。図７のストリーム送出装置１０は、蓄積部１３と、送出ストリーム選択部１２を備えている。なお、図７ではｎ＞２として説明するが、ｎ＝２のときは実施の形態２と同じであるから、ｎは２以上の整数で成り立つ。

蓄積部１３は、第１～第ｎのｎ通りのビットレートのそれぞれに対応した、第１ビットレートストリーム、第２ビットレートストリーム、・・・第ｎビットレートストリームを備えている。また、各ビットレートストリームから任意の他のビットレートストリームに遷移するための遷移ストリームを蓄積している。

すなわち、第１ビットレートストリームから、第２乃至第ｎビットレートストリームに遷移するための、第１第２遷移ストリーム、第１第３遷移ストリーム、・・・、第１第ｎ遷移ストリーム。第２ビットレートストリームから、第１、第３乃至第ｎビットレートストリームに遷移するための、第２第１遷移ストリーム、第２第３遷移ストリーム、・・・、第２第ｎ遷移ストリーム。・・・そして、第ｎビットレートストリームから、第１乃至第ｎ－１ビットレートストリームに遷移するための、第ｎ第１遷移ストリーム、第ｎ第２遷移ストリーム、・・・、第ｎ第ｎ－１遷移ストリーム。これらの各遷移ストリームを備えている。

このように、任意のビットレート間を遷移するために、全てのビットレート間の遷移するストリームを用意している。各遷移ストリームの構造は、実施の形態２，３で説明した遷移ストリームと同じである。

送出ストリーム選択部１２は、ビットレート変更指示に基づいて遷移ストリームを選択し、ビットレートストリームの切り替えを行う。具体的には、ビットレート変更指示によりあるビットレートストリーム送出中に別の指示されたビットレートに変更する指示があった際は、その２つのビットレートの間を遷移するための遷移ストリームを蓄積した中から選択し、その遷移ストリームに一度切り替え、遷移ストリームの対応するＧＯＰを送出する。その後、変更後の指示されたビットレートのストリームを送出すれば良い。

（実施の形態５）
図８は、ｎ（ｎ＞２）通りのビットレートに対応するストリーム送出装置１０の別の構成例である。図８のストリーム送出装置１０は、蓄積部１４と、送出ストリーム選択部１２を備えている。なお、図８ではｎ＞２として説明するが、ｎ＝２のときは実施の形態２の一部と同じであるから、ｎは２以上の整数で成り立つ。

蓄積部１４は、第１～第ｎのｎ通りのビットレートのそれぞれに対応した、第１ビットレートストリーム、第２ビットレートストリーム、・・・第ｎビットレートストリームを備えている。また、各ビットレートストリームから特定のビットレートストリーム（ここでは、第ｎビットレートストリーム）に遷移するための遷移ストリームを蓄積している。この特定のビットレートストリームは、最も低いビットレートに対応したビットレートストリームであることが望ましい。

すなわち、第１ビットレートストリームから第ｎビットレートストリームに遷移するための第１第ｎ遷移ストリーム、第２ビットレートストリームから第ｎビットレートストリームに遷移するための第２第ｎ遷移ストリーム、・・・そして、第ｎ－１ビットレートストリームから第ｎビットレートストリームに遷移するための第ｎ－１第ｎ遷移ストリームの各遷移ストリームを備えている。

このように、全てのビットレートから特定の（例えば、最も低いビットレートに対応した）ビットレートストリームに遷移するストリームを用意している。各遷移ストリームの構造は、実施の形態２，３で説明した遷移ストリームと同じである。

送出ストリーム選択部１２は、ビットレート変更指示に基づいて遷移ストリームを選択し、ビットレートストリームの切り替えを行う。具体的には、ビットレート変更指示によりあるビットレートストリーム送出中に別の指示されたビットレートに変更する指示があった際は、そのあるビットレートから第ｎ（例えば、最も低い）ビットレートに遷移するための遷移ストリームを蓄積した中から選択し、その遷移ストリームに一度切り替え、遷移ストリームの対応するＧＯＰを送出する。その後、変更後の指示されたビットレートのストリームを送出すれば良い。

本実施形態では、切り替えの際に、特定の（最も低いビットレートに対応した）ビットレートに遷移することから、どのようなビットレートへの切り替えであっても、ビットレートの許容範囲を超えることなく、他のビットレートストリームに切り替えができる。また、蓄積部１４に蓄積するストリームの量も、実施の形態４と比較して大幅に削減できる。

上記の実施の形態１，２，４，５では、ストリーム送出装置１０の構成と動作について説明したが、本発明はこれに限らず、異なるビットレートで符号化されたビットレートストリームを、ビットレート変更指示に基づいて切り替える、ストリーム送出方法として構成されてもよい。すなわち、各図のデータの流れに従って、第１ビットレートストリームを送出する工程と、遷移ストリームを送出する工程と、第２ビットレートストリームを送出する工程とを備えた、ストリームを送出する方法として構成されても良い。

また更に、上記の実施の形態３では、ストリーム生成装置２０の構成と動作について説明したが、本発明はこれに限らず、異なるビットレートで符号化されたビットレートストリームと遷移ストリームを生成する、ストリーム生成方法として構成されてもよい。すなわち、各図のデータの流れに従って、第１ビットレートストリームを生成する工程と、第２ビットレートストリームを生成する工程と、遷移ストリームを生成する工程とを備えた、ストリーム生成方法として構成されても良い。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１，１０ ストリーム送出装置
１１ 蓄積部
１１１ 高ビットレートストリーム格納データベース
１１２ 高低遷移ストリーム格納データベース
１１３ 低高遷移ストリーム格納データベース
１１４ 低ビットレートストリーム格納データベース
１２ 送出ストリーム選択部
１３ 蓄積部
１４ 蓄積部
２０ ストリーム生成装置
２１ 高ビットレート符号化部
２２ 高低遷移符号化部
２３ 低高遷移符号化部
２４ 低ビットレート符号化部

Claims (9)

1. 異なるビットレートで符号化された複数の符号化ストリームを切り替えて送出する機能を有するストリーム送出装置において、
   第１ビットレートで符号化された第１ビットレートストリームと、前記第１ビットレートストリームと同じＧＯＰ（Group of picture）構造を有し、第２のビットレートで符号化された第２ビットレートストリームとを備え、
   前記第１ビットレートストリームのＸ番目（Ｘは任意）のＧＯＰのｉ番目（０＜ｉ＜ＧＯＰ長）のＡＵ（Access Unit）から切り替えを行うとき、前記Ｘ番目のＧＯＰと同じＧＯＰ構造を有し、先頭ＡＵからｉ－１番目のＡＵまでは前記第１ビットレートストリームのＸ番目のＧＯＰの先頭ＡＵからｉ－１番目のＡＵと同一の復号結果が得られる符号化が行われ、ｉ番目以降のＡＵは第１ビットレートよりも第２ビットレートに近いビットレートで符号化された遷移ＧＯＰを用い、
   前記第１ビットレートストリームを、前記Ｘ番目のＧＯＰのｉ－１番目のＡＵまで送出し、
   次いで、前記遷移ＧＯＰのｉ番目以降のＡＵを送出し、
   Ｘ＋１番目のＧＯＰから、第２ビットレートストリームに切り替える
   ことを特徴とするストリーム送出装置。
2. 異なるビットレートで符号化された複数の符号化ストリームを蓄積する蓄積部と、前記蓄積部に蓄積された符号化ストリームを選択し、切り替えて送出する送出ストリーム選択部とを備えるストリーム送出装置において、
   前記蓄積部は、第１ビットレートで符号化された第１ビットレートストリームと、前記第１ビットレートストリームと同じＧＯＰ構造を有し、第２のビットレートで符号化された第２ビットレートストリームと、前記第１ビットレートストリームから前記第２ビットレートストリームへの切り替えに用いる遷移ストリームとを備え、
   前記遷移ストリームを構成するＧＯＰは、前記第１ビットレートストリームの各ＧＯＰにつきＧＯＰ長－１種類を有し、先頭ＡＵからｉ－１番目（０＜ｉ＜ＧＯＰ長）のＡＵまでは前記第１ビットレートストリームの対応ＧＯＰの先頭ＡＵからｉ－１番目のＡＵと同一の復号結果が得られるように符号化されており、ｉ番目以降のＡＵは第１ビットレートよりも第２ビットレートに近いビットレートで符号化されている
   ことを特徴とするストリーム送出装置。
3. 請求項２に記載のストリーム送出装置において、
   前記送出ストリーム選択部は、ビットレート変更指示に基づいて、前記第１ビットレートストリームの指示されたＧＯＰのｉ番目のＡＵから切り替えを行うとき、
   前記遷移ストリームの前記指示されたＧＯＰに対応するＧＯＰであって、先頭ＡＵからｉ－１番目のＡＵまでは前記第１ビットレートストリームの指示されたＧＯＰの先頭ＡＵからｉ－１番目のＡＵと同一の復号結果が得られるように符号化され、ｉ番目以降のＡＵは第１ビットレートよりも第２ビットレートに近いビットレートで符号化されたＧＯＰを選択し、
   前記第１ビットレートストリームを、指示されたＧＯＰのｉ－１番目のＡＵまで送出し、
   次いで、前記遷移ストリームの選択されたＧＯＰのｉ番目以降のＡＵを送出し、
   前記指示されたＧＯＰの次のＧＯＰから、第２ビットレートストリームに切り替える
   ことを特徴とするストリーム送出装置。
4. 請求項２又は３に記載のストリーム送出装置において、
   前記蓄積部は、異なるビットレートで符号化された第１乃至第ｎ（ｎは２以上の整数）の符号化ストリームと、第１乃至第ｎの任意の符号化ストリームから他の任意の符号化ストリームへの切り替えに用いる遷移ストリームとを備えている
   ことを特徴とするストリーム送出装置。
5. 請求項２又は３に記載のストリーム送出装置において、
   前記蓄積部は、異なるビットレートで符号化された第１乃至第ｎ（ｎは２以上の整数）の符号化ストリームと、第１乃至第ｎ－１の任意の符号化ストリームから第ｎの符号化ストリームへの切り替えに用いる遷移ストリームとを備えている
   ことを特徴とするストリーム送出装置。
6. 異なるビットレートで符号化された複数の符号化ストリームの切り替えを行うための符号化ストリームを生成するストリーム生成装置において、
   入力された映像を第１ビットレートで符号化し、第１ビットレートストリームを生成する第１ビットレート符号化部と、
   入力された映像を第２ビットレートで符号化し、前記第１ビットレートストリームと同じＧＯＰ構造を有する第２ビットレートストリームを生成する第２ビットレート符号化部と、
   前記第１ビットレートストリームから前記第２ビットレートストリームへの切り替えに用いる第１第２遷移ストリームを生成する第１第２遷移符号化部と、を備え、
   前記第１第２遷移符号化部は、前記第１第２遷移ストリームを構成するＧＯＰを、前記第１ビットレートストリームの各ＧＯＰにつきＧＯＰ長－１種類生成し、先頭ＡＵからｉ－１番目（０＜ｉ＜ＧＯＰ長）のＡＵまでは前記第１ビットレートストリームの対応ＧＯＰの先頭ＡＵからｉ－１番目のＡＵと同一の復号結果が得られるように符号化し、ｉ番目以降のＡＵは第１ビットレートよりも第２ビットレートに近いビットレートで符号化する
   ことを特徴とするストリーム生成装置。
7. 請求項６に記載のストリーム生成装置において、
   さらに、前記第２ビットレートストリームから前記第１ビットレートストリームへの切り替えに用いる第２第１遷移ストリームを生成する第２第１遷移符号化部を備え、
   前記第２第１遷移符号化部は、前記第２第１遷移ストリームを構成するＧＯＰを、前記第２ビットレートストリームの各ＧＯＰにつきＧＯＰ長－１種類生成し、先頭ＡＵからｉ－１番目（０＜ｉ＜ＧＯＰ長）のＡＵまでは前記第２ビットレートストリームの対応ＧＯＰの先頭ＡＵからｉ－１番目のＡＵと同一の復号結果が得られるように符号化し、ｉ番目以降のＡＵは第２ビットレートよりも第１ビットレートに近いビットレートで符号化する
   ことを特徴とするストリーム生成装置。
8. コンピュータを、請求項１乃至５のいずれか一項に記載のストリーム送出装置として機能させる、プログラム。
9. コンピュータを、請求項６又は７に記載のストリーム生成装置として機能させる、プログラム。
   
   

Images