Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4664276B2 - 複数の経路を含むネットワークを通じてビデオを転送する方法およびシステム - Google Patents
[go: Go Back, main page]

JP4664276B2 - 複数の経路を含むネットワークを通じてビデオを転送する方法およびシステム - Google Patents

複数の経路を含むネットワークを通じてビデオを転送する方法およびシステム Download PDF

Info

Publication number
JP4664276B2
JP4664276B2 JP2006502675A JP2006502675A JP4664276B2 JP 4664276 B2 JP4664276 B2 JP 4664276B2 JP 2006502675 A JP2006502675 A JP 2006502675A JP 2006502675 A JP2006502675 A JP 2006502675A JP 4664276 B2 JP4664276 B2 JP 4664276B2
Authority
JP
Japan
Prior art keywords
bit rate
high bit
rate enhancement
layers
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006502675A
Other languages
English (en)
Other versions
JP2006520554A (ja
Inventor
ツォウ、ジアン
シャオ、フアイ−ロング
シェン、チィア
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Research Laboratories Inc
Original Assignee
Mitsubishi Electric Research Laboratories Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Research Laboratories Inc filed Critical Mitsubishi Electric Research Laboratories Inc
Publication of JP2006520554A publication Critical patent/JP2006520554A/ja
Application granted granted Critical
Publication of JP4664276B2 publication Critical patent/JP4664276B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、包括的には圧縮ビデオのストリーミングに関し、詳細には、複数のネットワーク経路を通じてのビデオの細粒度スケーラビリティ(fine-granularity scalability:FGS)によるストリーミングの送信に関する。
インターネット等のネットワークを通じて圧縮ビデオをストリーミングする用途について、重要な問題の1つは、異なる資源、アクセス経路、およびプロセッサを使用する受信者に、ビデオストリームを配信するということである。したがって、ビデオのコンテンツは、そのようなネットワークにおいて見出される異機種環境に動的に適応する。
MPEG−4規格用に、そのような動的に変化するネットワーク環境にビデオを適応させる細粒度スケーラビリティ(FGS)が開発されている、ISO/IEC 14496-2: 1999/FDAM4, "Information technology - coding of audio/visual objects, Part 2: Visual"を参照されたい。MPEG−4規格へのこの改正の概要は、Li, "Overview of Fine Granularity Scslability in MPEG-4 Video Standard," IEEE Trans. on Circuits and Systems for Video Technology, Vol. 11, No.3, pp. 301-317, March 2001を参照願いたい。
MPEG−4 FGSエンコーダは、基本階層ストリームと拡張階層ストリームという、2つのビットストリームを生成する。この2つのビットストリームは、目的および重要性が異なっている。基本階層ストリームは、基本復号ビデオを提供する。基本階層ストリームは、拡張階層ストリームを用いることができるようになる前に、正確に復号しなければならない。したがって、基本階層は、強力に保護しなければならない。拡張階層ストリームは、基本ビデオの品質を改善するのに用いることができる。
FGS符号化は、従来のスケーラブル符号化から根本的に脱却するものである。従来のスケーラブル符号化では、コンテンツは、基本階層のビットストリームに、およびもしかするといくつかの拡張階層に符号化され、その場合粒度は、形成されている拡張階層の数と同程度に精細なだけである。結果として生じるレート歪曲線は、階段状の関数に類似している。
これに対して、FGS符号化は、連続的にスケーラブルな拡張階層のビットストリームを提供する。基本階層のビットストリームの再構築したフレームが入力ビデオから引き算されることによって、拡張階層のビットストリームが発生される。これにより、空間ドメインにおいてFGS残差信号が生じる。この残差信号に、離散コサイン変換(DCT)符号化が適用される。そうすると、DCT係数が、ビットプレーン符号化方式によって符号化される。ビットプレーン符号化によって、拡張階層のビットストリームの複数の副階層を生成することができる。以下、副階層も拡張階層と言う。ビットプレーン符号化によって、拡張階層のビットストリームをいかなるポイントにおいても切り捨てることができる。したがって、再構築されるビデオの品質は、拡張階層のビットストリームから復号されるビットの数に比例する。
FGSは、ストリーミングビデオの連続的なレート制御を行う。拡張階層のビットストリームをいかなるポイントにおいても切り捨てて、目標ビットレートを達成することができるからである。従来のスケーラブル符号化方式と比較して、FGSの他の利点は、その誤り耐性である。復号される拡張階層内の1つまたは複数のフレームにおける損失または破損は、後続のフレームに伝播するものではない。後続のフレームは、常に、拡張階層が適用される前に、まず基本階層から復号される。
FGSの取組みは、以下の各領域に焦点を当ててきた。すなわち、符号化効率を改善する(Kalluri, "Single-Loop Motion-Compensated based Fine-Granular Scalability (MC-FGS)," MPEG2001/M6831, July 2001およびWu et al., "A framework for Efficient Fine Granularity Scalable Video Coding," IEEE Trans. on Circuits and System for Video Technology, Vol. 11, No. 3, pp. 332-344, March 2001を参照されたい)、拡張階層を切り捨てて隣接するフレーム間での品質のばらつきを最少にする(Zhang et al., "Constant Quality Constrained Rate Allocation for FGS Video Coded Bitstreams," Visual Communications and Image Processing 2002, Proceedings of SPIE, Vol. 4671, pp. 817-827, 2000、Cheong et al., "FGS coding scheme with arbitrary water ring scan order," ISO/IEC JTC1/SC29/WG11, MPEG 2001/M7442, July 2001、およびLim et al., "Macroblock reordering for FGS," ISO/IEC JTC1/SC29/WG11, MPEG 2000/M5759, March 2000を参照されたい)、ならびに、時間スケーラビリティを付加するようFGS符号化構造を変更する(Van der Schaar et al., "A Hybrid Temporal-SNR Fine Granular Scalability for Internet Video," IEEE Trans. on Circuits and System for Video Technology, Vol. 11, No. 3, pp. 318-331, March 2001、およびYan et al., "Macroblock-based Progressive Fine Granularity Spatial Scalability (mb-PFGSS)," ISO/IEC JTC1/SC29/WG11, MPEG2001/M7112, March 2001を参照されたい)ことに焦点を当ててきた。
FGSストリームを保護する問題もまた、取り組まれてきた。基本階層を符号化し送信するのに、さまざまな技法が利用できる(Wang et al., "Error Control and Concealment for Video Communication: A Review," Proceedings of the IEEE, vol. 86, No. 5, pp. 974-997, May 1998、およびWang et al., "Error Resilient Video Coding Techniques,"IEEE Signal Processing Magazine, pp. 61-82, July 2000を参照されたい)。
FGS拡張階層を保護するのに、適応的な前方誤り訂正コード(FEC)を用いることができる(Wang et al., "Channel-Adaptiveive Error Control for Scalable Video over Wireless Channel," The 7th International Workshop on Mobile Multimedia Communications(MoMuC)2000, October 2000を参照されたい)。不均一誤り保護(Unequal error protection)もまた、FGSビットストリームを転送するのに用いてもよい(Van der Schaar et al. "Unequal packet Loss Resilience for Fine Granularity Scalability Video," IEEE Trans. on Multimedia, Vol. 3, No. 4, pp. 381-394, December 2001を参照されたい)。
ネットワークにおける瞬間的な輻輳は、ストリーミングビデオの送信にとっての大きな課題である。理論的には、FGSは、ネットワークの特性を終端間で測定し、そのコンポーネントを予測することによって、利用できる帯域幅に動的に適応することができる。しかし、多くの場合、輻輳の継続時間は、そのFGSビデオストリームを効果的に適応させるために測定し予測するのにかかる時間よりも短い。
FECおよび再送信によって、瞬間的な輻輳のために損失したパケットを回復できることもある。しかし、このような解決策は、両方とも、さらなるトラフィックを持ち込むことによって、輻輳を悪化させる可能性もある。
有線ネットワークと無線ネットワークの両方について、非常に多くのマルチパス技術が知られている(Cidon et al., "Analysis of Multi-path Routing," IEEE/ACM transaction on Networking, Vol. 7, No. 6, pp. 885-896, December 1999、Su et al., "Dynamic multi-path routing: asymptotic approximation and simulations," ACM SIGMETRICS Performance Evaluation Review, Volume: 29, Issue: 1, pp. 25-36, June 2001、およびPham et al., "Multi-path routing protocol with load balancing policy in mobile ad hoc network," 4th International Workshop on Mobile and Wireless Communications Network, 2002を参照されたい)。
そのような場合、それぞれの経路が有する帯域幅は、シングルパスよりも低いかもしれないが、利用できる帯域幅全体はシングルパスよりも高い。
複数の別個の経路を通じて標準の(非FGSの)圧縮ビデオストリームを転送する、多重記述符号化(MDC)が開発されている。MDCにおいては、ビデオのコンテンツの、互いに異なる記述が、それぞれの経路を通じて送信される。このような互いに異なる経路においては、誤りは別個に生じるので、すべての経路が同じ誤りを招く確率は低い(Wang et al., "Error Resilient Video Coding Techniques," IEEE Signal Processing Magazine, pp. 61-82, July 2000を参照されたい)。複数の無線チャネルを通じてビデオストリームを転送するMDC技法もまた知られている(Reibman et al., "Transmission of Multiple Description and Layered Video over an EGPRS Wireless Network," ICIP 2000, pp. 136-139, 2000、Zheng et al., "Wireless Video Performance Through BLAST Testbed," VTC 2001, pp. 141-146, 2001、およびKamaci et al., "Multiple description coding with multiple transmit and receive antennas for wireless channels: the case of digital modulation," Global Telecommunications Conference, 2001, GLOBECOM '01. IEEE, Volume: 6 pp. 3272-3276, 2001を参照されたい)。
しかし、既知の従来技術の技法は、いずれも、ネットワークの複数の経路を通じてMPEG−4のFGSの圧縮ビデオストリームを送信する方法を説明してはいない。
したがって、複数の経路を通じてFGSのビデオストリームを送信して誤りおよび瞬間的な輻輳が低減するようにするシステムおよび方法を提供することが望まれている。
方法は、複数の経路を含むネットワークを通じてビデオを転送する。まず、細粒度スケーラビリティを用いて、基本階層、1つまたは複数の低ビットレート拡張階層、および1つまたは複数の高ビットレート拡張階層に、ビデオが符号化される。ここで、高ビットレート拡張階層は、それぞれ異なる複数の記述を用いて符号化される。
基本階層および低ビットレート拡張階層は、複数の基本階層および複数の低ビットレート拡張階層に複製される。
1つまたは複数の高ビットレート拡張階層は、複数の部分ビットレート拡張階層に分割され、次にそれぞれの階層が、ネットワークの異なる経路を通じて受信者に送信される。ここで、高ビットレート拡張階層は、ネットワークの異なる経路で利用できる帯域幅に従って高ビットレート拡張階層の「1」のビットを配分することで複数の部分ビットレート拡張階層に分割される。
システム構造
図1は、本発明を用いることができるインターネット等の通信システム100を示す。システム100は、送信者101と、受信者102と、すべて複数の経路105によって接続された複数のノード103(例えばルータやブリッジを含む)を備えたネットワーク110とを含む。本発明は、ネットワーク110の複数の経路105を通じてMPEG−4の細粒度スケーラビリティ(FGS)ビデオストリームを送信する方法を提供する。
システム動作
図2は、本発明による方法200を示す。入力ビデオ201は、細粒度スケーラビリティを用いて、基本階層211と、例えば約30から40Kbpsよりも低い、1つまたは複数の低ビットレート拡張階層212とに符号化される(210)。ビットストリーム211〜212は、それぞれ、複数のストリーム221〜222に複製されて(220)、ネットワーク110の複数の経路105を通じて受信者102に送信される(240)。
1つまたは複数の高ビットレート拡張階層213は、複数の記述205を用いて符号化され(210)、次に、部分高ビットレート階層231に分割されて(230)、ネットワーク110の複数の経路105を通じて送信され(240)、受信者102に配信される。
ビットレートおよび誤りの統計分析
本発明の背後にある考え方は、符号化FGSビットストリームの特性の綿密な統計分析によってもたらされている。我々は、「Coast Guard」や「Akiyo」等の標準のビデオシーケンスの符号化によって開始する。Coast Guardは、きめの細かい水を進むボートを示し、Akiyoは、簡素な背景をバックにしたかなり動きがないニュースアナウンサーを示す。IフレームとPフレームの両方について基本階層の量子化パラメータQを31に設定することによって、シーケンスは、CIF(common-intermediate-format)で符号化される。このような2つの標準のビデオシーケンスにおいて、Bフレームはない。
基本階層(BL)、および大きな残差の情報を保持するEL1やEL2等の低ビットレート拡張階層については、ビットレートは比較的低く、例えば、それぞれ約31.3Kbpsおよび6.8Kbpsである。しかし、EL3以上の拡張階層については、ビットレートは、数百Kbpsになる可能性がある。したがって、シーケンス全体のピーク平均信号対雑音比(PSNR)は、著しく増大する。例えば、EL3のビットレートは、基本階層のビットレートの約6倍であり、EL7のビットレートは、基本階層のビットレートの18倍を超える。言い換えれば、低ビットレートストリームのレートと高ビットレートストリームのレートとの間には、著しい差がある。
小さな帯域幅が要求されるので、前方誤り訂正(FEC)またはその他の既知の誤り防止方式を用いて基本階層211および低ビットレート拡張階層212を保護することが妥当である。高ビットレート拡張階層213を保護するには、より多くのオーバーヘッドビットが必要である。しかし、上述のように、ネットワークは、瞬間的な輻輳に遭遇することが多い。帯域幅が限られている場合には、これによって高ビットレート拡張階層が切り捨てられ、復号ビデオの品質がかなり低下する。そのような場合には、従来技術の方式は、高ビットレート拡張階層213を保護するのに効果的ではない。
複数の経路
輻輳したネットワークにおいては、帯域幅が大きい単一の経路を見つけることよりも、帯域幅がより低い経路をいくつか見つけることのほうが容易であろう。したがって、我々は、ストリームを複製し、複数の経路105を通じて、この複数のストリーム221〜222、231を送信する(240)。本発明による複数の経路という解決策を用いることによっても、パケットが損失する可能性が低減する。
それぞれの経路について、元のビデオのコンテンツを簡単に複製することができる。これによって、ビデオ送信のロバスト性が改善される。1つの経路において損失したパケットを、その他の経路から回復することができるからである。しかし、それぞれの経路の帯域幅が不十分な場合には、低品質のビデオしか再構築できない。別の簡単な解決策では、ビデオストリームを重なりのないストリームに分割して、それぞれのストリームについて互いに異なる経路を用いてもよい。これにより、送信ビットレートが改善される。しかし、いずれかの経路においてパケットが損失すると、それに対応する損失した情報を再構築することはできない。
したがって我々は、ネットワークの複数の経路105を通じてMPEG−4のFGSビデオストリームを送信する方法200を提供する。
基本階層および低ビットレート拡張階層の複製
入力ビデオ201の基本階層211および低ビットレート拡張階層212は、FGSおよび従来の前方誤り訂正(FEC)方式を用いて符号化される(210)。ビデオのこのようなビットストリームは、利用できるあらゆる経路について、複数のストリーム221〜222に複製される(220)。このようにして、基本階層および低ビットレート拡張階層が保護される。
高ビットレート拡張階層の分割
高ビットレート拡張階層213は、複数の部分ビットレートビットストリーム231に分割される(230)。複数の部分ビットレートビットストリームは、それぞれ、複数の記述205のうちの互いに異なる1つを用いて変換されて、このような複数の経路を利用する。それぞれの経路は、元の高ビットレート拡張階層213の複数のビットストリームの記述のうちの1つを保持している。このようにして、分割された部分高ビットレート拡張階層231は、それぞれ、入力高ビットレート拡張階層213と比較すると、有するビットレートが低い。したがって、分割されたビットストリーム231のそれぞれを、より低ビットレートの経路を通じて送信する(240)ことが可能である。
高ビットレートFGS拡張階層213を分割すると、誤りが低減する。1つのパケット内の情報が損失した場合には、別の経路から同様の情報を回復して、復号ビデオの品質を改善することができる。
ビット配分
高ビットレート拡張階層213を分割するには、利用できる帯域幅内の互いに異なる記述を用いて、高ビットレート拡張階層の「1」のビットを配分する。簡単な方法では、複数の部分高ビットレート拡張階層231の間でこの「1」のビットを均等に配分する。
例えば、2つの経路が利用でき、入力ブロックが
000011000101・・・110
という64個のビットを含む場合には、以下のように「1」のビットが2つの記述に均等に配分される。
記述1:000010000100・・・100
記述2:000001000001・・・010
または、「1」のビットは、入力ブロックにおける「1」のビットの位置と、それに対応する、ビデオの知覚される視覚品質にとっての「1」のビットの重要性とに従って、配分される。例えば、ブロック内の左上の隅からの係数は、輝度変化を著しく反映する。したがって、これに対応する「1」のビットは、部分階層のすべてにおいて複製され、残りの「1」のビットは、部分階層の間で均等に割り当てられる。
一般的に、2つの経路が利用できる場合には、入力拡張階層における「1」のビットは、第1の部分階層に割り当ててもよく、第2の部分階層に割り当ててもよく、両方の部分階層に割り当ててもよく、どちらの部分階層にも割り当てなくてもよい、すなわち、可能性のある選択肢は4つある。これにより、それぞれの記述について、異なるレートおよび歪がもたらされる。したがって、レート歪最適化によって、「1」のビットがどのように配分されるべきかを決定することができる。このような4つの選択肢でビットが配分される方法については、より詳細に以下に説明する。
異なる経路は、異なる利用できる帯域幅および異なるパケット損失特性を有する可能性があるので、2つの可能性のある経路について、拡張階層の分割を以下のように行うことができる。
トレリス探索
まず、利用できる帯域幅に従って、それぞれの画像ブロック301に適切な数のビットを配分する。次に、それぞれのブロック301について、4つの段階311〜314を有するトレリス探索方法300を適用して、2つの経路について「1」のビットの配分を決定する。
ブロック301において「1」のビットに遭遇すると、新しい段階、すなわち、「10」311、「01」312、「11」313、および「00」314を用いて、「1」のビットを第1の部分階層に割り当てるか、第2の部分階層に割り当てるか、両方の階層に割り当てるか、いずれにも割り当てないかを決定する。それぞれの段階について、可能性のある前の段階からの入力ルートは4つある。
コスト関数
それぞれのルートは、次式の対応するコスト関数を有する。
J(λ)=D(R,R,Ploss)+λ(R+R
ここで、RおよびRは、それぞれの部分階層において現在の段階までに生成されたビット数、Plossは、ネットワーク100の状態に関係するパラメータ、D(.)は、ビットレートおよびネットワーク状態に関連する2つの記述の全体的な歪、λは、基本階層ブロックの量子化パラメータに従って特定される経験的パラメータである。状態は、平均パケット損失率および損失バースト率を含んでもよい。
次に、この「1」のビットが、コストJ(λ)を最低にするコスト関数に従って割り当てられる。それぞれの記述について、ビットバジェットを満たすまで、この過程を繰り返す。
本発明によるFGSビデオのマルチパス転送で、PSNR利得は、入力ビデオの複雑度次第で、2.0から2.6dBの範囲になり得る。
本発明を好ましい実施の形態の例として説明したが、本発明の精神および範囲内でさまざまな他の改造および変更を行ってもよいということが理解されなければならない。したがって、特許請求の範囲の目的は、本発明の真の精神および範囲内にある変形および変更をすべて包含することである。
本発明を用いる通信システムのブロック図である。 本発明に従ってネットワークの複数の経路を通じてFGSのビデオストリームを送信する方法のフロー図である。 本発明が用いるトレリスの図である。

Claims (10)

  1. 複数の経路を含むネットワークを通じてビデオを転送する方法であって、
    細粒度スケーラビリティを用いて、基本階層、1つまたは複数の低ビットレート拡張階層、および1つまたは複数の高ビットレート拡張階層にビデオを符号化することと、
    前記基本階層と前記低ビットレート拡張階層とをそれぞれ複数の基本階層と複数の低ビットレート拡張階層とに複製することと、
    前記高ビットレート拡張階層のストリーム内の「1」のビットを配分することで、所定帯域幅以上の帯域幅の大きい経路で通過可能な前記高ビットレート拡張階層を、前記所定帯域幅よりも低い帯域幅の経路でそれぞれ通過可能な複数の部分ビットレート拡張階層に分割することと、
    前記複数の基本階層、前記複数の低ビットレート拡張階層、および前記複数の部分ビットレート拡張階層のそれぞれを、前記ネットワークの異なる経路を通じて送信することと
    を備え、
    前記高ビットレート拡張階層が通過できる程度の帯域を持つ経路が前記ネットワーク内に確保できないが、分割後の前記複数の部分高ビットレート拡張階層が通過できる程度の帯域を持つ複数の経路が前記ネットワーク内に確保できる場合には、分割された前記複数の部分ビットレート拡張階層のそれぞれは、前記ネットワーク内の前記複数の経路を通じて送信される
    複数の経路を含むネットワークを通じてビデオを転送する方法。
  2. 前記低ビットレートと前記高ビットレートとの差は、少なくとも2倍である請求項1に記載の方法。
  3. 前記分割することは、前記高ビットレート拡張階層の「1」のビットを前記複数の部分ビットレート拡張階層の間で均等に配分することをさらに含む請求項1に記載の方法。
  4. 前記分割することは、前記高ビットレート拡張階層の「1」のビットを、前記高ビットレート拡張階層のブロックにおける前記「1」のビットの位置に従って前記複数の部分ビットレート拡張階層の間で配分することをさらに含む請求項1に記載の方法。
  5. 前記分割することは、前記高ビットレート拡張階層の「1」のビットを、前記ビデオの知覚される視覚品質に従って前記複数の部分ビットレート拡張階層の間で配分すること
    をさらに含む請求項1に記載の方法。
  6. 前記分割することは、前記複数の部分ビットレート拡張階層の間での前記「1」のビットの分割を決定するためにコスト関数を評価することをさらに含む請求項1に記載の方法。
  7. 2つの部分ビットレート拡張階層があり、特定の「1」のビットを、前記コスト関数の最小値によって、第1の部分ビットレート拡張階層に割り当てること、第2の部分ビットレート拡張階層に割り当てること、前記第1および第2の部分ビットレート拡張階層の両方に割り当てること、またはどちらの部分ビットレート拡張階層にも割り当てないことをさらに含む請求項6に記載の方法。
  8. 前記コスト関数は
    J(λ)=D(R,R,Ploss)+λ(R+R
    であり、ここでRおよびRは、前記2つの部分ビットレート拡張階層のそれぞれにおいて生成されたビット数、Plossは、前記ネットワークの状態に関係するパラメータ、D(.)は所与のビットレートおよび前記ネットワークの前記状態に関連する前記2つの部分ビットレート拡張階層の全体的な歪、λは、前記基本階層のブロックの量子化パラメータに従って特定される経験的パラメータである請求項7に記載の方法。
  9. 前記状態は、平均パケット損失率および損失バースト率を含む請求項8に記載の方法。
  10. 複数の経路を含むネットワークを通じてビデオを転送するシステムであって、
    細粒度スケーラビリティを用いて、基本階層、1つまたは複数の低ビットレート拡張階層、および1つまたは複数の高ビットレート拡張階層にビデオを符号化するよう構成されたエンコーダと、
    前記基本階層と前記低ビットレート拡張階層とをそれぞれ複数の基本階層と複数の低ビットレート拡張階層とに複製する手段と、
    前記高ビットレート拡張階層のストリーム内の「1」のビットを配分することで、所定帯域幅以上の帯域幅の大きい経路で通過可能な前記高ビットレート拡張階層を、前記所定帯域幅よりも低い帯域幅の経路でそれぞれ通過可能な複数の部分ビットレート拡張階層に分割する手段と、
    前記複数の基本階層、前記複数の低ビットレート拡張階層、および前記複数の部分ビットレート拡張階層のそれぞれを、前記ネットワークの異なる経路を通じて送信するよう構成された送信機と
    を備え
    前記送信機は、前記高ビットレート拡張階層が通過できる程度の帯域を持つ経路が前記ネットワーク内に確保できないが、分割後の前記複数の部分高ビットレート拡張階層が通過できる程度の帯域を持つ複数の経路が前記ネットワーク内に確保できる場合には、分割された前記複数の部分ビットレート拡張階層のそれぞれを、前記ネットワーク内の前記複数の経路を通じて送信する
    複数の経路を含むネットワークを通じてビデオを転送するシステム。
JP2006502675A 2003-02-21 2004-02-19 複数の経路を含むネットワークを通じてビデオを転送する方法およびシステム Expired - Fee Related JP4664276B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/371,086 US6973128B2 (en) 2003-02-21 2003-02-21 Multi-path transmission of fine-granular scalability video streams
PCT/JP2004/001930 WO2004075561A1 (en) 2003-02-21 2004-02-19 Method and system for transporting a video over a network including multiple

Publications (2)

Publication Number Publication Date
JP2006520554A JP2006520554A (ja) 2006-09-07
JP4664276B2 true JP4664276B2 (ja) 2011-04-06

Family

ID=32907676

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006502675A Expired - Fee Related JP4664276B2 (ja) 2003-02-21 2004-02-19 複数の経路を含むネットワークを通じてビデオを転送する方法およびシステム

Country Status (4)

Country Link
US (1) US6973128B2 (ja)
JP (1) JP4664276B2 (ja)
CN (1) CN1698384A (ja)
WO (1) WO2004075561A1 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100353851B1 (ko) * 2000-07-07 2002-09-28 한국전자통신연구원 파문 스캔 장치 및 그 방법과 그를 이용한 영상코딩/디코딩 장치 및 그 방법
FR2821509B1 (fr) * 2001-02-27 2003-05-30 Thomson Csf Procede et dispositif pour transferer des donnees dans un reseau de communication comportant une artere a faible debit
US6996618B2 (en) * 2001-07-03 2006-02-07 Hewlett-Packard Development Company, L.P. Method for handling off multiple description streaming media sessions between servers in fixed and mobile streaming media systems
WO2007026604A1 (ja) * 2005-08-29 2007-03-08 Nec Corporation マルチキャストノード装置とマルチキャスト転送方法ならびにプログラム
WO2007038807A2 (en) 2005-09-29 2007-04-05 Thomson Research Funding Corporation Method and apparatus for constrained variable bit rate (vbr) video encoding
KR20070077059A (ko) * 2006-01-19 2007-07-25 삼성전자주식회사 엔트로피 부호화/복호화 방법 및 장치
US8699583B2 (en) * 2006-07-11 2014-04-15 Nokia Corporation Scalable video coding and decoding
WO2008007304A2 (en) * 2006-07-12 2008-01-17 Nokia Corporation Signaling of region-of-interest scalability information in media files
EP2067356A1 (en) * 2006-09-28 2009-06-10 THOMSON Licensing Flexible redundancy coding
US8358690B2 (en) * 2006-12-13 2013-01-22 Viasat, Inc. Predictive adaptive coding and modulation
US8411571B2 (en) * 2006-12-13 2013-04-02 Viasat, Inc. Video and data network load balancing with video drop
US8411572B2 (en) * 2006-12-13 2013-04-02 Viasat, Inc. ACM and fixed coding and modulation of hierarchical layers
US8395993B2 (en) * 2006-12-13 2013-03-12 Viasat, Inc. Video and data network load balancing with video placeholder
US20090041100A1 (en) 2006-12-13 2009-02-12 Viasat, Inc. Link aware mobile data network
US8576858B2 (en) * 2006-12-13 2013-11-05 Viasat, Inc. Multiple transmission paths for hierarchical layers
US8456986B2 (en) * 2006-12-13 2013-06-04 Viasat, Inc. Video and data network load balancing
KR100937590B1 (ko) * 2007-10-23 2010-01-20 한국전자통신연구원 다중 품질 서비스 영상 콘텐츠 제공 시스템 및 그것의업그레이드 방법
EP2086237B1 (en) * 2008-02-04 2012-06-27 Alcatel Lucent Method and device for reordering and multiplexing multimedia packets from multimedia streams pertaining to interrelated sessions
GB2460070B (en) * 2008-05-15 2010-10-13 Gnodal Ltd A method of data delivery across a network
FR2932050B1 (fr) * 2008-06-03 2010-05-21 Canon Kk Procede et dispositif de transmission de donnees video
US8594178B2 (en) * 2008-06-20 2013-11-26 Dolby Laboratories Licensing Corporation Video compression under multiple distortion constraints
TWI389570B (zh) * 2009-09-01 2013-03-11 圓展科技股份有限公司 視訊會議裝置及其方法
JP6103003B2 (ja) * 2010-02-24 2017-03-29 株式会社リコー 伝送端末、伝送方法、及びプログラム
JP2013526795A (ja) * 2010-05-10 2013-06-24 サムスン エレクトロニクス カンパニー リミテッド レイヤーコーディングビデオを送受信する方法及び装置
US20120076204A1 (en) * 2010-09-23 2012-03-29 Qualcomm Incorporated Method and apparatus for scalable multimedia broadcast using a multi-carrier communication system
GB2494172B (en) * 2011-09-01 2014-10-22 Canon Kk Communication of video information
US9363131B2 (en) * 2013-03-15 2016-06-07 Imagine Communications Corp. Generating a plurality of streams
US20160227229A1 (en) * 2015-02-04 2016-08-04 Harris Corporation Mobile ad hoc network media aware networking element
US9306597B1 (en) * 2015-03-30 2016-04-05 Microsoft Technology Licensing, Llc Data compression
CN105872610A (zh) * 2015-12-10 2016-08-17 乐视体育文化产业发展(北京)有限公司 多路视频数据的播放方法、设备及系统
CN109587531A (zh) * 2017-09-28 2019-04-05 华为技术有限公司 视频传输方法、装置及系统
CN114424552A (zh) * 2019-09-29 2022-04-29 华为技术有限公司 一种低延迟信源信道联合编码方法及相关设备
CN113395521A (zh) * 2020-03-13 2021-09-14 华为技术有限公司 图像编码和解码方法及装置
CN112866750B (zh) * 2020-12-31 2022-01-11 抖动科技(深圳)有限公司 视频数据处理方法、视频播放方法及相关设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6700933B1 (en) * 2000-02-15 2004-03-02 Microsoft Corporation System and method with advance predicted bit-plane coding for progressive fine-granularity scalable (PFGS) video coding
US20030007515A1 (en) * 2001-07-03 2003-01-09 Apostolopoulos John G. System and method for receiving mutiple description media streams in fixed and mobile streaming media systems
US6757735B2 (en) * 2001-07-03 2004-06-29 Hewlett-Packard Development Company, L.P. Method for distributing multiple description streams on servers in fixed and mobile streaming media systems
US7200402B2 (en) * 2001-07-03 2007-04-03 Hewlett-Packard Development Company, L.P. Method for handing off streaming media sessions between wireless base stations in a mobile streaming media system
US20030009578A1 (en) * 2001-07-03 2003-01-09 Apostolopoulos John G. Method and system for delivering streaming media to fixed clients or mobile clients with multiple description bitstreams

Also Published As

Publication number Publication date
JP2006520554A (ja) 2006-09-07
US6973128B2 (en) 2005-12-06
CN1698384A (zh) 2005-11-16
WO2004075561A1 (en) 2004-09-02
US20040179598A1 (en) 2004-09-16

Similar Documents

Publication Publication Date Title
JP4664276B2 (ja) 複数の経路を含むネットワークを通じてビデオを転送する方法およびシステム
Horn et al. Robust internet video transmission based on scalable coding and unequal error protection
Ha et al. Layer-weighted unequal error protection for scalable video coding extension of H. 264/AVC
Lee et al. Layered coded vs. multiple description coded video over error-prone networks
GB2386275A (en) Error resiliency within the enhancement layers of scalable video transmissions
KR100952185B1 (ko) 순방향 에러 정정 코드를 이용하여 비디오의 드리프트 없는 단편적인 다중 설명 채널 코딩을 위한 시스템 및 방법
Ghahremani et al. Error resilient video transmission in ad hoc networks using layered and multiple description coding
Lee et al. Adaptive UEP and packet size assignment for scalable video transmission over burst-error channels
Lee et al. Performance comparisons of layered and multiple description coded video streaming over error-prone networks
Cheng et al. Rate-distortion optimized unequal loss protection for FGS compressed video
Zhou et al. Multi-path transport of FGS video
Zhu et al. Network-adaptive rate control with unequal loss protection for scalable video over Internet
Chan et al. A multiple description coding and delivery scheme for motion-compensated fine granularity scalable video
Le Leannec et al. Error-resilient video transmission over the Internet
Mrak et al. Scalable video coding in network applications
Le et al. Multiple description video coding for real-time applications using HEVC
Wang et al. Error resilient video coding using flexible reference frames
Qiu et al. An efficient quality scalable motion-JPEG2000 transmission scheme
Chen et al. Error-resilient video streaming over wireless networks using combined scalable coding and multiple-description coding
Martins et al. Efficient receiver-driven layered video multicast using H. 263+ SNR scalability
Baccouch et al. Network coding schemes for multi-layer video streaming on multi-hop wireless networks
Hua et al. H. 264 scalable video over finite-state Markov chain wireless channels
Yu et al. An approach to 3D scalable multiple description video coding with content delivery networks
Lecuire Unequal error protection under bitrate constraint for video streaming over internet
Kim et al. Distributed video streaming using unbalanced multiple description coding and forward error correction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061215

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20070530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091022

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100712

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110106

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140114

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees