JP6633687B2 - 映像符号化装置 - Google Patents

Description

本発明は、原画像を画面分割した複数の分割映像を映像符号化する映像符号化装置に関する。

複数のハードウェアエンコーダを協調動作させて、４Ｋあるいは８Ｋといった超高精細テレビ（Ultra High Definition Television: UHDTV）画像を高速に符号化する技術が知られている。以下、特許文献１に開示された発明を基に背景技術を説明する。

図９は、背景技術に係る映像符号化装置１の構成を説明する図である。図９の映像符号化装置１は、１フレームの入力映像を幾何学的に分割した複数の分割映像をそれぞれ出力する映像分割装置１１、各分割映像をH.265/HEVCなどの映像符号化標準に則り符号化する複数の符号化装置Ａ−Ｄ（１２Ａ−１２Ｄ）を備える。

図９は、映像分割装置１１が４つに分割された分割映像ａ−ｄを出力し、４つの符号化装置Ａ−Ｄが分割映像ａ−ｄをそれぞれ符号化する構成例を示している。４つの符号化装置Ａ−Ｄは、直列的に（あるいはデイジーチェーン状に）接続される。複数の符号化装置１２のうち１つ（図９では符号化装置Ａ）はマスター装置として機能し、スレーブ装置として機能する他の符号化装置（図９では符号化装置Ｂ−Ｄ）の符号化処理を統括する役割を担う。符号化装置Ａ−Ｄは、すべて同じ構成であってもよい。

図１０は、図９に記載の映像符号化装置１に用いられる符号化装置１２の構成を説明する図である。各符号化装置Ａ−Ｄは、それぞれ、制御部１２１、符号化部１２２、ＴＳ（Transport Stream）パケット生成・解析部１２５、および多重化部１２３を備える。

制御部１２１は、後述するマスター装置（符号化装置Ａ）からの指示に基づき、自符号化装置に対応する符号化パラメータを符号化部１２２に出力する。符号化部１２２は、制御部１２１から与えられた符号化パラメータを用いて、入力された分割画像を圧縮符号化する。符号化部１２２は、圧縮された映像信号である符号化データを多重化部１２３に出力するとともに、分割画像を圧縮符号化した結果として得られる統計情報である符号化情報を制御部１２１に出力する。

ここで、符号化パラメータは、圧縮符号化を行うために必要な各種パラメータの総称であって、フィルタ強度、量子化マトリクス、ピクチャ構造、ビットレートなどを含む。符号化情報は、圧縮符号化を行った結果として得られる各種統計情報の総称であって、符号化データのビットレート、量子化パラメータの平均値、符号量の平均値、時刻情報などを含む。指示は、映像符号化装置に含まれるすべての符号化装置（マスター装置およびすべてのスレーブ装置）に用いられる符号化パラメータを含み、マスター装置によって生成される。

ＴＳパケット生成・解析部１２５は、他の符号化装置１２が出力したＴＳパケットを受信し、ＴＳパケットに格納されているデータの内容を参照する。ＴＳパケット生成・解析部１２５は、受信したＴＳパケットに格納されているデータが、マスター装置により生成された指示であった場合、当該指示を制御部１２１に出力する。ＴＳパケット生成・解析部１２５は、受信したＴＳパケットを適宜選択し、多重化部１２３へ転送する。

制御部１２１は、受信した指示の内容から自符号化装置に向けられた符号化パラメータを抽出し、符号化部１２２に出力する。符号化部１２２は、前述のとおり、入力された分割画像を圧縮符号化した符号化データを多重化部１２３に出力するとともに、符号化情報を制御部１２１に出力する。制御部１２１は、符号化部１２２が出力した符号化情報を、ＴＳパケット生成・解析部１２５に出力する。

ＴＳパケット生成・解析部１２５は、制御部１２１が出力した符号化情報をＴＳパケットに格納し、当該ＴＳパケットを多重化部１２３に出力する。多重化部１２３は、符号化部１２２が出力した符号化データをＴＳパケットに格納するとともに、ＴＳパケット生成・解析部１２５から転送されたＴＳパケットと多重化し、他の符号化装置１２へ出力する。

このように、図１０の符号化装置１２が扱うＴＳパケットに格納されるデータには、（１）指示、（２）符号化情報、および（３）符号化データが少なくとも含まれる。

図９および図１０を用いて、映像符号化装置１が行う映像符号化処理の概略を説明する。

符号化装置Ａ（マスター装置）のＴＳパケット生成・解析部１２５は、符号化装置Ｄが出力したＴＳパケットから符号化装置Ｂ，Ｃ，Ｄが生成・出力した１つ前のフレームに対する（２）符号化情報を取得するとともに、符号化装置Ａの制御部１２１が出力した１つ前のフレームに対する符号化情報を取得する。

そして、符号化装置ＡのＴＳパケット生成・解析部１２５は、取得した符号化装置Ａ−Ｄの符号化情報を用いて、すべての符号化装置Ａ−Ｄから出力される符号化データの互いの画質差が最小化されるよう、各符号化装置Ａ−Ｄの符号化部１２２で用いられる符号化パラメータを決定し、各符号化装置Ａ−Ｄに対する（１）指示を生成する。

符号化装置ＡのＴＳパケット生成・解析部１２５は、生成した指示を制御部１２１に出力するとともに、当該指示をＴＳパケットに格納して多重化部１２３に出力する。符号化装置Ａでは、自身のＴＳパケット生成・解析部１２５が生成した指示に基づき、カレント分割映像ａに対して圧縮符号化を行う。

符号化装置Ａの多重化部１２３は、符号化装置ＡのＴＳパケット生成・解析部１２５が出力した（１）指示を含むＴＳパケットと、符号化装置Ａの符号化部１２２が出力した（３）符号化データを含むＴＳパケットを多重化し、符号化装置Ｂへ出力する。

符号化装置Ｂ（スレーブ装置）のＴＳパケット生成・解析部１２５は、符号化装置Ａから受信した（１）指示を含むＴＳパケットと符号化装置Ａの（３）符号化データを含むＴＳパケットを、符号化装置Ｂの多重化部１２３へ転送する。

また、符号化装置ＢのＴＳパケット生成・解析部１２５は、符号化装置Ａが生成した指示を取得し、符号化装置Ｂの制御部１２１に出力する。符号化装置Ｂでは、符号化装置Ａが生成した指示に基づき、カレント分割映像ｂに対して圧縮符号化を行う。

符号化装置Ｂの多重化部１２３は、符号化装置Ａの（１）指示を含むＴＳパケット、符号化装置Ｂが生成した（２）符号化情報を含むＴＳパケット、および符号化装置Ａ，Ｂの（３）符号化データをそれぞれ含むＴＳパケットを多重化し、符号化装置Ｃへ出力する。

符号化装置Ｃ（スレーブ装置）の処理は、符号化装置Ｂの処理とほぼ同様である。符号化装置ＣのＴＳパケット生成・解析部１２５は、符号化装置Ｂから受信した（１）指示を含むＴＳパケット、符号化装置Ｂの（２）符号化情報を含むＴＳパケット、および符号化装置Ａ，Ｂの（３）符号化データをそれぞれ含むＴＳパケットを符号化装置Ｃの多重化部１２３へ転送する。

また、符号化装置ＣのＴＳパケット生成・解析部１２５は、符号化装置Ａが生成した指示を取得し、符号化装置Ｃの制御部１２１に出力する。符号化装置Ｃでは、符号化装置Ａが生成した指示に基づき、カレント分割映像ｃに対して圧縮符号化を行う。

符号化装置Ｃの多重化部１２３は、符号化装置Ａの（１）指示を含むＴＳパケット、符号化装置Ｂ，Ｃが生成した（２）符号化情報をそれぞれ含むＴＳパケット、および符号化装置Ａ，Ｂ，Ｃの（３）符号化データをそれぞれ含むＴＳパケットを多重化し、符号化装置Ｄへ出力する。

符号化装置Ｄ（スレーブ装置）の処理は、符号化装置Ｂ，Ｃの処理とほぼ同様である。符号化装置ＤのＴＳパケット生成・解析部１２５は、符号化装置Ｃから受信した（１）指示を含むＴＳパケット、符号化装置Ｂ，Ｃの（２）符号化情報をそれぞれ含むＴＳパケット、および符号化装置Ａ，Ｂ，Ｃの（３）符号化データをそれぞれ含むＴＳパケットを符号化装置Ｄの多重化部１２３へ転送する。

また、符号化装置ＤのＴＳパケット生成・解析部１２５は、符号化装置Ａが生成した指示を取得し、符号化装置Ｄの制御部１２１に出力する。符号化装置Ｄでは、符号化装置Ａが生成した指示に基づき、カレント分割映像ｄに対して圧縮符号化を行う。

符号化装置Ｄの多重化部１２３は、符号化装置Ａの（１）指示を含むＴＳパケット、符号化装置Ｂ，Ｃ，Ｄが生成した（２）符号化情報をそれぞれ含むＴＳパケット、および符号化装置Ａ，Ｂ，Ｃ，Ｄの（３）符号化データをそれぞれ含むＴＳパケットを多重化し、符号化装置Ａへ出力する。また、符号化装置Ａ，Ｂ，Ｃ，Ｄの（３）符号化データをそれぞれ含むＴＳパケットは、後段の処理部（不図示）へ出力される。

このように、符号化装置Ｄから出力されるＴＳパケットには、すべてのスレーブ装置である符号化装置Ｂ−Ｄの符号化情報が含まれるため、マスター装置である符号化装置Ａは、符号化装置Ｄの出力したＴＳパケットを受信し、自身の符号化部が出力した符号化装置Ａの符号化情報と統合して評価することで、各符号化装置Ａ−Ｄに対して適切な符号化パラメータを決定することができる。

特許第６００８０４３号公報

大森、外３名、「滑らかな動きを表現する高フレームレート映像符号化技術」、NTT技術ジャーナル、Vol.29、No.10、2017年10月、p.15-p.18

前述した背景技術に係る映像符号化装置は、複数の分割映像を並列的に映像符号化するため、複数の符号化装置が直列的に（シリアルに、デイジーチェーン状に、あるいは環状に）接続され、符号化装置Ａ（マスター装置）が生成したすべての符号化装置に対する指示および各符号化装置が生成する符号化情報および符号化データを、符号化装置Ａから符号化装置Ｂ，Ｃ，Ｄに向けて順次転送するようにしていた。このような構成の場合、マスター装置からより遠い位置に配置されたスレーブ装置ほど、マスター装置が生成した指示が届く時間を要することになる。

従って、マスター装置から遠い位置にあるスレーブ装置は、マスター装置からの指示を受けて行う符号化処理を待たなければならず、高速な分割映像の並列符号化が困難となっていた。

本発明は、上記課題を鑑みてなされたものであり、分割映像の並列符号化処理を高速に行うことを目的とする。

請求項１に記載の映像符号化装置は、複数の分割映像をそれぞれ符号化した複数の符号化データを多重化して出力する映像符号化装置において、前記映像符号化装置は、前記複数の分割映像をそれぞれ符号化する複数の符号化装置と、前記複数の符号化装置に接続されたパケットスイッチ装置と、を備え、前記複数の符号化装置のうちいずれか１つのマスター装置は、前記複数の符号化装置で分割映像の符号化に用いる符号化パラメータを前記パケットスイッチ装置へ出力し、自装置用の符号化パラメータを用いて分割映像を符号化データに符号化し、前記パケットスイッチ装置は、前記マスター装置が出力した符号化パラメータを前記マスター装置以外の複数のスレーブ装置へそれぞれ転送し、前記複数のスレーブ装置は、それぞれ、前記パケットスイッチ装置から前記符号化パラメータを受信し、自装置用の符号化パラメータを用いて分割映像を符号化データに符号化する、ことを特徴とする。

請求項２に記載の映像符号化装置は、請求項１に記載の映像符号化装置において、前記マスター装置で符号化された符号化データと前記複数のスレーブ装置でそれぞれ符号化された複数の符号化データは、前記マスター装置及び前記複数のスレーブ装置のうちいずれか１つの符号化装置で多重化されることを特徴とする。

請求項３に記載の映像符号化装置は、請求項１又は２に記載の映像符号化装置において、前記パケットスイッチ装置は、前記複数のスレーブ装置がそれぞれ出力した複数の符号化データを前記マスター装置へ転送し、前記マスター装置は、自装置で符号化した符号化データと前記複数のスレーブ装置でそれぞれ符号化された複数の符号化データを多重化することを特徴とする。

請求項４に記載の映像符号化装置は、請求項１乃至３のいずれかに記載の映像符号化装置において、前記パケットスイッチ装置は、前記複数の符号化装置がそれぞれ出力したパケットをパケット内のヘッダ情報に従いブロードキャスト又はユニキャストで転送することを特徴とする。

請求項５に記載の映像符号化装置は、請求項１乃至４のいずれかに記載の映像符号化装置において、前記複数のスレーブ装置は、それぞれ、前フレームの分割映像の符号化時に得られた統計情報である符号化情報を前記パケットスイッチ装置へ出力し、前記パケットスイッチ装置は、前記複数のスレーブ装置がそれぞれ出力した複数の符号化情報を前記マスター装置へ転送し、前記マスター装置は、自装置で前フレームの分割映像の符号化時に得られた符号化情報と前記複数のスレーブ装置でそれぞれ得られた複数の符号化情報を用いて、現フレームの分割映像の符号化に用いる符号化パラメータを決定することを特徴とする。

本発明に係る映像符号化装置は、分割映像の並列符号化処理を高速に行うことができる。

映像符号化装置の構成例を説明する図である。 符号化装置の構成例を説明する図である。 符号化装置間でのデータパケットの流れを模式的に説明する図である。 マスター装置の処理フローを説明する図である。 スレーブ装置の処理フローを説明する図である。 データパケットの構成例を説明する図である。 パケットスイッチ装置の構成例を説明する図である。 符号化装置のハードウェア実装例を説明する図である。 従来の映像符号化装置の構成例を説明する図である。 従来の符号化装置の構成例を説明する図である。

（発明のポイント）
本発明に係る映像符号化装置は、複数の分割映像をそれぞれ映像符号化するための符号化装置を複数備え、複数の符号化装置がパケットスイッチ装置を介して接続された構成である。パケットスイッチ装置から見ると、各符号化装置はスター状に接続された構成である。各符号化装置間で送受信される情報ないしデータはパケットに格納され、送信元の符号化装置から出力されたパケットは、パケットスイッチ装置によって送信先の符号化装置へ直接的に転送される。このような構成により、本発明に係る映像符号化装置は、符号化装置間で送受信される情報の転送処理に要する時間を低減することができ、もって分割映像の並列符号化処理を高速に行うことができる。

以下、本発明の一実施形態について説明する。

（実施の形態）
図１は、本発明の実施形態に係る映像符号化装置１の構成例を説明する図である。図１の映像符号化装置１は、１フレームの入力映像を幾何学的に分割した複数の分割映像をそれぞれ出力する映像分割装置１１、各分割映像をH.265/HEVCなどの映像符号化標準に則り符号化する複数の符号化装置Ａ−Ｄ（１２Ａ−１２Ｄ）、および符号化装置Ａ−Ｄの間で送受信されるデータの転送処理を行うパケットスイッチ装置１３を備える。

図１は、映像分割装置１１が４つに分割された分割映像ａ−ｄを出力し、４つの符号化装置Ａ−Ｄが分割映像ａ−ｄをそれぞれ符号化する構成例を示している。但し、分割映像ａ−ｄあるいは符号化装置Ａ−Ｄは、ここで示した数に限定されるものではない。４つの符号化装置Ａ−Ｄは、パケットスイッチ装置１３を介してスター状に接続される。

複数の符号化装置Ａ−Ｄのうち１つ（図１では符号化装置Ａ）はマスター装置として機能し、スレーブ装置として機能する他の符号化装置（図１では符号化装置Ｂ−Ｄ）の符号化処理を統括する役割を担う。４つの符号化装置Ａ−Ｄは、すべて同じ構成であってもよい。

図２は、図１に記載の映像符号化装置１に用いられる符号化装置の構成を説明する図である。各符号化装置Ａ−Ｄは、それぞれ、制御部１２１、符号化部１２２、多重化部１２３、およびデータ転送ＩＦ部１２４を備える。ＩＦは、インタフェースの略称である。

制御部１２１は、後述するマスター装置（符号化装置Ａ）からの指示に基づき、自符号化装置に対応する符号化パラメータを符号化部１２２に出力する。また、制御部１２１は、映像符号化装置１に含まれるすべての符号化装置Ａ−Ｄの符号化情報を用いて、すべての符号化装置Ａ−Ｄから出力される符号化データの互いの画質差が最小化されるよう、各符号化装置Ａ−Ｄの符号化部１２２で用いられる符号化パラメータを決定し、各符号化装置Ａ−Ｄに対する指示を生成する。

符号化部１２２は、制御部１２１から与えられた符号化パラメータを用いて入力された分割画像を圧縮符号化し、符号化データを生成する。マスター装置に備わる符号化部１２２は、生成した符号化データを多重化部１２３に出力する。一方、スレーブ装置に備わる符号化部１２２は、生成した符号化データをデータ転送ＩＦ部１２４に出力する。いずれの符号化部１２２も、分割映像を符号化した結果として得られる統計情報である符号化情報を制御部１２１に出力する。

多重化部１２３は、符号化部１２２あるいはデータ転送ＩＦ部１２４が出力した符号化データをＴＳパケットに格納するとともに、他のＴＳパケットと多重化して出力する。

データ転送ＩＦ部１２４は、他の符号化装置１２との間でやり取りする情報ないしデータ（指示、符号化情報および符号化データ）をパケットに格納し、当該パケットをパケットスイッチ装置１３に向けて送信する。また、データ転送ＩＦ部１２４は、パケットスイッチ装置１３から、他の符号化装置１２が送信したパケットを受信する。以下、パケットスイッチ装置１３を介して符号化装置１２間でやり取りするパケットは、ＴＳ（Transport Stream）パケットと区別するため、「データパケット」と呼ぶこととする。

このように、本実施形態に係る符号化装置１２間で送受信されるデータパケットに格納されるデータには、（１）指示、（２）符号化情報、および（３）符号化データが少なくとも含まれる。

図３は、本実施形態に係る符号化装置１２間でやり取りされるデータパケットの流れを模式的に説明する図である。（１）指示を含むデータパケットは、マスター装置である符号化装置Ａからスレーブ装置である符号化装置Ｂ，Ｃ，Ｄに対してブロードキャストされる。符号化装置Ｂ，Ｃ，Ｄが生成した（２）符号化情報および（３）符号化データを含むデータパケットは、スレーブ装置である符号化装置Ｂ，Ｃ，Ｄの各々からマスター装置である符号化装置Ａに対してユニキャストされる。なお、符号化パラメータ、符号化情報、および指示は、背景技術の欄で説明したものと同様であり、ここでの詳細な説明は省略する。

以下、本実施形態に係る映像符号化装置１が行う映像符号化処理の概略を説明する。

まず、マスター装置の処理を説明する。図４は、マスター装置の処理フローを説明する図である。

ステップＳ１０１；
符号化装置Ａ（マスター装置）のデータ転送ＩＦ部１２４は、パケットスイッチ装置１３から、符号化装置Ｂ，Ｃ，Ｄが生成・出力した１つ前のフレームの分割映像ｂ，ｃ，ｄに対する（２）符号化情報を格納したデータパケットを取得すると、当該符号化情報を符号化装置Ａの制御部１２１に出力する。

ステップＳ１０２；
次に、符号化装置Ａの制御部１２１は、符号化装置Ａの符号化部１２２が生成・出力した１つ前のフレームの分割映像ａに対する符号化情報を取得する。

ステップＳ１０３；
そして、符号化装置Ａの制御部１２１は、取得した１つ前のフレームの分割映像ａ−ｄの符号化情報を用いて、すべての符号化装置Ａ−Ｄから出力される符号化データの互いの画質差が最小化されるよう、各符号化装置Ａ−Ｄの符号化部で用いられる符号化パラメータを決定し、各符号化装置Ａ−Ｄに対する指示を生成する。

その後、符号化装置Ａの制御部１２１は、生成した指示を符号化装置Ａのデータ転送ＩＦ部１２４に出力するとともに、当該指示に含まれる符号化装置Ａに対する符号化パラメータを符号化装置Ａの符号化部１２２に出力する。

ステップＳ１０４；
次に、符号化装置Ａの符号化部１２２は、自身に対する符号化パラメータに基づき、現在のフレームであるカレント分割映像ａに対して圧縮符号化を行う。符号化装置Ａの符号化部１２２は、カレント分割映像ａを圧縮符号化した符号化データを多重化部１２３に出力するとともに、符号化情報を制御部１２１に出力する。

ステップＳ１０５；
次に、符号化装置Ａのデータ転送ＩＦ部１２４は、制御部１２１が出力した（１）指示をデータパケットに格納し、パケットスイッチ装置１３に向けてブロードキャストパケットとして出力する。

ステップＳ１０６；
その後、符号化装置Ａのデータ転送ＩＦ部１２４は、パケットスイッチ装置１３から、符号化装置Ｂ，Ｃ，Ｄが生成・出力したカレント分割映像ｂ，ｃ，ｄに対する（３）符号化データを格納したデータパケットを取得すると、当該符号化データを符号化装置Ａの多重化部１２３に出力する。

ステップＳ１０７；
最後に、符号化装置Ａの多重化部１２３は、符号化装置Ａの符号化部１２２が出力したカレント分割映像ａの符号化データならびに符号化装置Ａのデータ転送ＩＦ部１２４が出力したカレント分割映像ｂ，ｃ，ｄの符号化データをそれぞれＴＳパケットに格納し、それぞれのＴＳパケットをパケット多重して出力する。

なお、ステップの処理順は、適宜変更可能である。例えば、ステップＳ１０４とステップＳ１０５を同時に実行してもよいし、ステップＳ１０３で指示を生成した直後にステップＳ１０５を実行してもよい。

次いで、スレーブ装置の処理を説明する。スレーブ装置である符号化装置Ｂ，Ｃ，Ｄはどれも同じ動作を行うため、以下ではこれらを代表して符号化装置Ｂ（１２Ｂ）の動作についてのみ説明する。図５は、スレーブ装置の処理フローを示す図である。

ステップＳ２０１；
符号化装置Ｂ（スレーブ装置）のデータ転送ＩＦ部１２４は、パケットスイッチ装置１３から、符号化装置Ａが生成・出力した（１）指示を格納したデータパケットを取得すると、当該指示を符号化装置Ｂの制御部１２１に出力する。指示を受信した符号化装置Ｂの制御部１２１は、当該指示に含まれる符号化装置Ｂに対する符号化パラメータを抽出し、符号化装置Ｂの符号化部１２２に出力する。

ステップＳ２０２；
次に、符号化装置Ｂの符号化部１２２は、自身に対する符号化パラメータに基づき、カレント分割映像ｂに対して圧縮符号化を行う。符号化装置Ｂの符号化部１２２は、カレント分割映像ｂを圧縮符号化した符号化データをデータ転送ＩＦ部１２４に出力するとともに、符号化情報を制御部１２１に出力する。符号化装置Ｂの制御部１２１は、符号化部１２２から取得した符号化情報を符号化装置Ｂのデータ転送ＩＦ部１２４に出力する。

ステップＳ２０３；
最後に、符号化装置Ｂのデータ転送ＩＦ部１２４は、制御部１２１が出力した（２）符号化情報および符号化部１２２が出力した（３）符号化データをそれぞれデータパケットに格納し、パケットスイッチ装置１３に向けて、符号化装置Ａ宛てのユニキャストパケットとして出力する。

データパケットは、例えば図６に示すようなパケットフォーマットを用いればよい。データパケットは、図６（ａ）に示すように、１バイトのヘッダと２５６バイトのペイロードで構成される。ペイロードは、前述した（１）指示、（２）符号化情報、あるいは（３）符号化データを格納する。

ヘッダは、それぞれ２ビットからなる送信先ＩＤ、送信元ＩＤ、データ種別、ユーザ定義の各領域で構成される。符号化装置Ａ−Ｄには、それぞれ固有のＩＤ（一例として、符号化装置ＡからＤの順に０、１、２、３）が事前に割り当てられていることを前提とする。送信先ＩＤ領域は、データパケットを送信したい符号化装置のＩＤを格納する。送信元ＩＤ領域は、データパケットを送信しようとする符号化装置のＩＤを格納する。

図６（ｂ）に示すように、データ種別は、ある１つの符号化装置１２から他の１つの符号化装置１２宛てにユニキャストでデータパケットを送りたいときには「０」を、一方、ある１つの符号化装置から他のすべての符号化装置１２宛てにブロードキャストでデータパケットを送りたいときには「３」を格納する。ユーザ定義領域は、ユーザが任意かつ自由に設定できる領域である。

なお、図６のパケットフォーマットは、本実施形態に係る映像符号化装置１の処理を可能とするための、最もシンプルなフォーマットを示したものである。エラー検出やエラー訂正、再送処理といった付加機能等を実現するため、より複雑あるいは高機能なパケットフォーマットを用いるようにしてもよい。

図７を参照して、パケットスイッチ装置１３の構成および処理を説明する。図７は、本実施形態に係るパケットスイッチ装置１３の構成例を説明する図である。パケットスイッチ装置１３は、マスター受信部１３１およびスレーブ受信部１３２を備える。

マスター受信部１３１は、マスター装置が出力したデータパケットを受信するとともに、スレーブ装置へ出力するデータパケットを送信する。スレーブ受信部１３２は、スレーブ装置が出力したデータパケットを受信するとともに、マスター装置へ出力するデータパケットを送信する。

パケットスイッチ装置１３のマスター受信部１３１は、パケット受信回路３１、選択回路３２、およびバッファ回路ｂ，ｃ，ｄ（３３ｂ−３３ｄ）を備える。

パケット受信回路３１は、符号化装置Ａ（マスター装置）に備わるデータ転送ＩＦ部１２４が出力するデータパケットが入力される。パケット受信回路３１は、入力されたデータパケットのヘッダを参照し、ヘッダ中の送信先ＩＤおよびデータ種別を抽出する。パケット受信回路３１は、入力されたデータパケットと、抽出した送信先ＩＤおよびデータ種別を選択回路３２に出力する。

選択回路３２は、パケット受信回路３１が出力した送信先ＩＤおよびデータ種別を参照し、下記の表１に従ってパケット受信回路３１から入力されたデータパケットをバッファ回路ｂ，ｃ，ｄに出力する。バッファ回路ｂ，ｃ，ｄのそれぞれは、入力されたデータパケットを符号化装置Ｂ，Ｃ，Ｄ（スレーブ装置）に備わるデータ転送ＩＦ部１２４に出力する。

パケットスイッチ装置１３のスレーブ受信部１３２は、パケット受信回路Ｂ，Ｃ，Ｄ（５１Ｂ−５１Ｄ）、バッファ回路Ｂ，Ｃ，Ｄ（５２Ｂ−５２Ｄ）、および多重化回路（ＭＵＸ）５３を備える。

パケット受信回路Ｂは、符号化装置Ｂ（スレーブ装置）に備わるデータ転送ＩＦ部１２４が出力するデータパケットが入力され、そのデータパケットをバッファ回路Ｂへ出力する。バッファ回路Ｂは、入力されたデータパケットを多重化回路５３へ出力する。

パケット受信回路Ｃは、符号化装置Ｃ（スレーブ装置）に備わるデータ転送ＩＦ部１２４が出力するデータパケットが入力され、そのデータパケットをバッファ回路Ｃへ出力する。バッファ回路Ｃは、入力されたデータパケットを多重化回路５３へ出力する。

パケット受信回路Ｄは、符号化装置Ｄ（スレーブ装置）に備わるデータ転送ＩＦ部１２４が出力するデータパケットが入力され、そのデータパケットをバッファ回路Ｄへ出力する。バッファ回路Ｄは、入力されたデータパケットを多重化回路５３へ出力する。

多重化回路５３は、バッファ回路Ｂ，Ｃ，Ｄのそれぞれが出力したパケットをパケット多重し、符号化装置Ａ（マスター装置）に備わるデータ転送ＩＦ部１２４に出力する。

本実施形態に係るパケットスイッチ装置１３は、図７に記載したような構成を備えることで、図３に記載したデータパケットの転送処理を行うことができる。

以上述べてきたように、本実施形態に係る映像符号化装置１は、複数の分割映像をそれぞれ符号化する複数の符号化装置１２にパケットスイッチ装置１３を接続した構成を備える。複数の符号化装置１２のうちいずれか１つのマスター装置は、複数の符号化装置１２で分割映像の符号化に用いる符号化パラメータを生成してパケットスイッチ装置１３へ出力し、パケットスイッチ装置１３は、マスター装置が出力した符号化パラメータを複数のスレーブ装置へそれぞれ転送（ブロードキャスト）する。これにより、複数のスレーブ装置は、分割映像の符号化処理を同じタイミングで行うことが可能となる。

すなわち、本実施形態に係る映像符号化装置１は、複数の分割映像をそれぞれ映像符号化するための符号化装置１２を複数備え、複数の符号化装置１２がパケットスイッチ装置１３を介してスター状に接続された構成からなる。各符号化装置１２間で送受信される情報ないしデータを含むデータパケットは、パケットスイッチ装置１３によって送信先の符号化装置１２へ直接的に転送されるため、符号化装置１２間で送受信される情報ないしデータの転送処理に要する時間を低減することができる。従って、本発明に係る映像符号化装置は、いずれの符号化装置１２であっても遅滞なく分割映像の符号化を開始することができるようになり、もって分割映像の並列符号化処理を高速に行うことができるようになる。

本実施形態では、符号化データの多重化処理をマスター装置で行う場合を例に説明した。一方、符号化データの多重化処理を行う多重化部１２３は全ての符号化装置１２に備えられているので、その多重化処理をスレーブ装置で行ってもよい。この場合、多重化処理を行う所定スレーブ装置以外のスレーブ装置およびマスター装置は、それぞれの符号化データをパケットスイッチ装置１３へ出力し、パケットスイッチ装置１３は、それら符号化データを所定スレーブ装置へ送信する。

（符号化装置の実装例）
本実施形態に係る符号化装置１２は、図２に記載の制御部１２１、符号化部１２２、多重化部１２３、およびデータ転送ＩＦ部１２４のそれぞれに対応する機能を１つのチップに組み込んだシステムＬＳＩ（Large Scale Integrated circuit）、ＡＳＩＣ（Application Specific Integrated Circuit）、あるいはＦＰＧＡ（Field-Programmable Gate Array）であってもよい。

本実施形態に係る符号化装置は、図２に記載の制御部１２１、符号化部１２２、多重化部１２３、およびデータ転送ＩＦ部１２４のそれぞれに対応する機能を独立したＩＣ（Integrated Circuit）やＬＳＩで構成し、これらＩＣ／ＬＳＩを組み合わせて製造したハードウェア装置であってもよい。

図８は、本実施形態に係る符号化装置１２をハードウェア装置として実装した例を説明する図である。図８に記載の符号化装置１２は、図２に記載の分割映像を受信する映像受信器７１、符号化部１２２を構成する符号化ＬＳＩ７２およびフレームバッファ７３、制御部１２１を構成するＲＩＳＣ（Reduced Instruction Set Computer）プロセッサ７４、データ転送ＩＦ部１２４を構成するメモリ７５、送信用ＦＩＦＯ（First In, First Out）７６、受信用ＦＩＦＯ７７、送受信器７８、そして符号化データをＴＳパケットに格納して出力する多重化器７９を備える。映像受信器７１、符号化ＬＳＩ７２、フレームバッファ７３、ＲＩＳＣプロセッサ７４、メモリ７５、および多重化器７９は、符号化装置１２内に設けられた内部バス８０によって相互に接続されている。

パケットスイッチ装置１３を介して他の符号化装置１２に出力されるデータパケットは、一端メモリ７５に格納された後、送信用ＦＩＦＯ７６に取り出され、送受信器７８によりパケットスイッチ装置１３へ送信される。一方、パケットスイッチ装置１３から入力されるデータパケットは、送受信器７８により受信され、受信用ＦＩＦＯ７７に取り出され、メモリ７５へ格納される。このメモリ７５は、パケット送受信用のバッファメモリとして働くものである。

なお、図８には図示していないものの、本実施形態に係る符号化装置１２は、ＲＩＳＣプロセッサ７４が処理を行うために必要なプログラムを格納する主記憶装置および補助記憶装置を備えるようにしてもよい。

本実施形態に係る符号化装置１２は、図２に記載の制御部１２１、符号化部１２２、多重化部１２３、およびデータ転送ＩＦ部１２４のそれぞれに対応する処理命令を１つないし複数のプログラムに記載し、これらプログラムをＣＰＵ（Central Processing Unit）あるいはＭＰＵ（Micro Processing Unit）などと呼ばれるプロセッサで処理する構成であってもよい。

１…映像符号化装置
１１…映像分割装置
１２，１２Ａ−１２Ｄ…符号化装置
１２１…制御部
１２２…符号化部
１２３…多重化部
１２４…データ転送ＩＦ部
１２５…ＴＳパケット生成・解析部
１３…パケットスイッチ装置
１３１…マスター受信部
３１…パケット受信回路
３２…選択回路
３３ｂ−３３ｄ…バッファ回路
１３２…スレーブ受信部
５１Ｂ−５１Ｄ…パケット受信回路
５２Ｂ−５２Ｄ…バッファ回路
５３…多重化回路
７１…映像受信器
７２…符号化ＬＳＩ
７３…フレームバッファ
７４…ＲＩＳＣプロセッサ
７５…メモリ
７６…送信用ＦＩＦＯ
７７…受信用ＦＩＦＯ
７８…送受信器
７９…多重化器
８０…内部バス

Claims (4)

1. 複数の分割映像をそれぞれ符号化した複数の符号化データを多重化して出力する映像符号化装置において、
   前記映像符号化装置は、前記複数の分割映像をそれぞれ符号化する複数の符号化装置と、前記複数の符号化装置にそれぞれ接続されたパケットスイッチ装置と、を備え、
   前記複数の符号化装置のうちいずれか１つのマスター装置は、
   前記複数の符号化装置で分割映像の符号化に用いる符号化パラメータを前記パケットスイッチ装置へ出力し、自装置用の符号化パラメータを用いて分割映像を符号化データに符号化し、
   前記パケットスイッチ装置は、
   前記マスター装置が出力した符号化パラメータを前記マスター装置以外の複数のスレーブ装置へそれぞれ同時に転送し、
   前記複数のスレーブ装置は、それぞれ、
   前記パケットスイッチ装置から前記符号化パラメータを受信し、自装置用の符号化パラメータを用いて分割映像を符号化データに符号化し、
   前記パケットスイッチ装置は、前記複数のスレーブ装置がそれぞれ出力した複数の符号化データを前記マスター装置へ転送し、
   前記マスター装置は、
   自装置で符号化した符号化データと前記複数のスレーブ装置でそれぞれ符号化された複数の符号化データを多重化する、
   ことを特徴とする映像符号化装置。
2. 複数の分割映像をそれぞれ符号化した複数の符号化データを多重化して出力する映像符号化装置において、
   前記映像符号化装置は、前記複数の分割映像をそれぞれ符号化する複数の符号化装置と、前記複数の符号化装置にそれぞれ接続されたパケットスイッチ装置と、を備え、
   前記複数の符号化装置のうちいずれか１つのマスター装置は、
   前記複数の符号化装置で分割映像の符号化に用いる符号化パラメータを前記パケットスイッチ装置へ出力し、自装置用の符号化パラメータを用いて分割映像を符号化データに符号化し、
   前記パケットスイッチ装置は、
   前記マスター装置が出力した符号化パラメータを前記マスター装置以外の複数のスレーブ装置へそれぞれ同時に転送し、
   前記複数のスレーブ装置は、それぞれ、
   前記パケットスイッチ装置から前記符号化パラメータを受信し、自装置用の符号化パラメータを用いて分割映像を符号化データに符号化し、
   前記パケットスイッチ装置は、前記マスター装置が出力した符号化データを前記複数のスレーブ装置のうちいずれか一の所定スレーブ装置へ転送するとともに、前記所定スレーブ装置以外の複数のスレーブ装置がそれぞれ出力した複数の符号化データも前記所定スレーブ装置へ転送し、
   前記所定スレーブ装置は、
   自装置で符号化した符号化データと前記マスター装置及び自装置以外の複数のスレーブ装置でそれぞれ符号化された複数の符号化データを多重化する、
   ことを特徴とする映像符号化装置。
3. 前記パケットスイッチ装置は、
   前記複数の符号化装置がそれぞれ出力したパケットをパケット内のヘッダ情報に従いブロードキャスト又はユニキャストで転送することを特徴とする請求項１又は２に記載の映像符号化装置。
4. 前記複数のスレーブ装置は、それぞれ、前フレームの分割映像の符号化時に得られた統計情報である符号化情報を前記パケットスイッチ装置へ出力し、
   前記パケットスイッチ装置は、前記複数のスレーブ装置がそれぞれ出力した複数の符号化情報を前記マスター装置へ転送し、
   前記マスター装置は、
   自装置で前フレームの分割映像の符号化時に得られた符号化情報と前記複数のスレーブ装置でそれぞれ得られた複数の符号化情報を用いて、現フレームの分割映像の符号化に用いる符号化パラメータを決定することを特徴とする請求項１乃至３のいずれかに記載の映像符号化装置。

Images