JP4153754B2

JP4153754B2 - 画像伝送装置、画像伝送方法、及びサーバの動画像供給方法

Info

Publication number: JP4153754B2
Application number: JP2002250788A
Authority: JP
Inventors: 隆史遠藤
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2002-08-29
Filing date: 2002-08-29
Publication date: 2008-09-24
Anticipated expiration: 2022-08-29
Also published as: JP2004096160A

Description

【０００１】
【発明の属する技術分野】
本発明は、符号化されている動画像を送信側から通信路を介して伝送し、受信した動画像符号を復号して表示可能な動画像を受信側にて出力する画像伝送装置に関し、特に通信路の品質が一時的に悪化した場合に伝送符号量を削減することによって受信側にて動画像を表示した際の時間的な途切れを生じ難くする画像伝送装置に関する。
【０００２】
【従来の技術】
従来、例えば特開平１１−１６４２９７号公報が示しているように、通信路の品質が一時的に悪化した場合でも、伝送符号量を削減することによって動画像を表示した際の時間的な途切れを生じにくくする無線画像通信装置が知られている。この装置では、回線品質検出部が回線品質を検出し、これに応じて送信すべき動画像の階層化処理方法を変化させ、階層化処理方法を変化させて処理した画像を画像符号化部で符号化することにより、送信する動画像符号のビットレートを制御している。階層化処理としては画像サイズを変化させるか、あるいは画像のコントラストを変化させている。
【０００３】
このように通信路の品質が低下した場合に受信側での再生の途切れを生じにくくするためには、送信側で符号の発生速度を通信路の伝送速度以下に制御することが有効であるが、無線通信路ではこれが制御できないほど急激に通信路の品質が悪化したり、または一時的にほとんど伝送できないほどに悪化したりすることがある。このような場合、受信側でバッファを持ち、受信したデータをバッファ内に一時的に蓄積して遅延させ、データの到着が遅れた場合にはバッファ内のデータを再生することによって途切れを防ぐ方法が一般的である。そしてバッファ内のデータで再生可能な時間が減少した場合には、その減少分を回復させるような制御が行われていた。つまり符号の発生速度を通信路の伝送速度に適応させて低下させれば、通信路の伝送速度内で送信可能な動画像のフレーム数が増大し、バッファ内のデータで再生可能な時間も回復できた。
【０００４】
また従来、バッファ内に溜まるデータ量そのものを回復させる伝送制御装置が、特開平１０−３１３２９４号公報が示すように知られている。これは受信部に設けられた遅延差吸収用バッファ内のデータのバッファ量に応じて、再送要求の方法を変化させる伝送制御装置であり、通信路の品質が悪化すると遅延差吸収用バッファ内に存在するデータのバッファ量が少なくなることを利用し、所定の遷移値より少なくなった場合には再送制御を行わないことにより、誤りを許容しつつバッファ量を回復させ、リアルタイム系データの途切れを生じにくくする。
【０００５】
【発明が解決しようとする課題】
しかしながら、上述した従来の無線画像通信装置では、送信側に送信すべき動画像の階層化処理方法を変化させる動画像符号化装置が必要である。この装置は処理にかかる負荷が重いため、多くのクライアントに向けて動画像コンテンツを供給するコンテンツ配信サーバーとしては、高速な処理能力を持つ高価な装置が必要になるか、もしくは一度に接続できるクライアント数を少なく制限しなければならないという問題がある。
【０００６】
また、上述した従来の伝送制御装置においては、再送制御を行わないことにより受信データに誤りを含むため、再生画像品質が劣化し、ついには一時的に再生が不可能になる。つまり、リアルタイム系データが遅延しないかわりに、再生される情報が一時的に途切れてしまうことになる。リアルタイム系データにおいては、品質の劣化よりは途切れあるいは画像のフレームレートの低下の方が主観評価を大きく低下させることが知られているため、従来の伝送制御装置には途切れによって最も重要な再生情報の主観評価を低下させるという問題がある。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明は、階層符号化された動画像符号を供給する動画像供給部であるサーバと、供給された該動画像符号を送信する動画像送信部である基地局と、送信された該動画像符号を受信する動画像受信部である端末装置と、を備える画像伝送装置において、前記基地局は、前記サーバから供給された動画像符号を一時的に記憶するバッファを備え、該バッファのデータ量を前記サーバに通知し、前記サーバは、各階層毎に動画像符号の供給に関する異なる上限値および下限値の２つの閾値を設け、前記基地局から通知された前記バッファのデータ量と前記各閾値とを比較し、該比較結果に基づき各階層の動画像符号の供給を制御することを特徴とする画像伝送装置を提供する。
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。図１は本発明の好適な一実施の形態を示す画像伝送装置の構成図である。
【０００９】
図１において、１は動画像供給部、２は動画像送信部、３は無線通信路、４は動画像受信部、５は第１のバッファ、６は動画像復号部、７は第２のバッファ、１４は出力部（画像表示及び音声出力）、８は通信路（接続路）を示す。
【００１０】
尚、図１において、動画像供給部１と動画像送信部２は一体の装置として結線されていてもよいし、あるいは信頼性のあるネットワークを通じて分離して設置されていてもよい。例えば両者は周知のTCPをトランスポート層プロトコルとして使用したIPネットワークを通じて接続したものであってもよい。尚、本実施例において説明上、各構成部はそれぞれ、動画像供給部１はコンテンツサーバ、動画像送信部２はIPネットワークに接続し、かつ無線通信路３へのデータ通信をサービスする基地局、動画像受信部４、第１のバッファ５、動画像復号部６及び出力部１４は端末装置が備えているものとする。但し、これは一例であって、これら装置に限定されるものではない。また、無線通信路３もシステムによっては有線通信路でも良い。
【００１１】
次に、各構成部について説明する。
動画像供給部１は図示していない内部に備えたハードディスクドライブに階層符号化された動画像符号を記憶しており、記憶されている階層符号化された動画像符号を読み出して、動画像送信部２へ供給している。
【００１２】
無線通信路３は一時的に品質が悪化する場合があり、その間伝送速度が低下したり、途切れたりする。ただし動画像送信部２と動画像受信部４との間は、伝送誤りを検出して再送を行うことにより、信頼性のある無線通信路３を形成している。
【００１３】
動画像受信部４で受信された動画像符号は第１のバッファ５に一時的に記憶される。これは、受信すべき符号が伝送遅延や通信路の品質悪化によって途切れた際でも、第１のバッファ５に予め蓄積しておいた符号を復号することによって、動画像再生の途切れを防止するものである。第１のバッファ５には無線通信路３の特徴に応じて予め設定した時間分の動画像符号が蓄積され、蓄積が完了した後に動画像復号部６が復号を開始する。ただし本発明において動画像符号は階層符号化されており、途切れを防止する時間は各階層ごとに異なってよい。本実施例において、この階層符号化におけるベース階層は最も重要で途切れにくいように蓄積時間を長く設定している。また、本発明では、ベース階層以外の上位階層は通信品質の悪化に応じて高頻度で途切れることが許されるため、通信品質の悪化（無線通信路の変化）に応じて動画像供給部１が積極的に供給を中止（若しくは停止）する。このため、第１のバッファ５にはベース階層の符号を長時間分蓄積し、上位階層の符号は最低１フレーム分蓄積しておけばよい。これは、ベース階層の符号を蓄積する時間が長いほど、途切れを防止する効果があるが、反対に蓄積時間が長いと伝送開始から画像表示までの時間が長くなるという弊害があるため、本発明においては、途切れが許される上位階層の符号の蓄積を最小限に抑えることによってこの問題を緩和でき、さらには第１のバッファ５の記憶容量を小さくできるという長所がある。
【００１４】
また、このような蓄積を実現するために動画像供給部１は動画像符号の供給を開始する際に、ベース階層の符号のみを所定の時間分優先して供給し、その後、上位階層の符号と時間が進んでいるベース階層の符号とを多重化して供給する。
【００１５】
動画像復号部６は第１のバッファ５に所定時間分の符号の蓄積がなされた後に、第１のバッファ５に記憶されている符号の復号を開始する。復号は、ベース階層の復号を行った後、上位階層の符号が蓄積されていれば復号し高画質な動画像を出力するが、第１のバッファ５に上位階層の符号が存在しなければ、供給が中止されたか受信が遅れているせいなので、ベース階層のみで復号した低画質の動画像を出力する。ベース階層のみで復号した画像の画像サイズは原画像のフレーム３１（後述する図２の説明参照）と同じサイズで、高周波数成分が除去された画質となる。
【００１６】
動画像復号部６が出力する動画像は出力部１４において表示され試聴される。
動画像送信部２は無線通信路３を介して動画像受信部４へと動画像符号を伝送する。動画像送信部２は無線通信路３の品質が低下した場合、送信を待っている動画像符号を一時的に記憶しておく第２のバッファ７を備えている。動画像受信部４は受信したデータに対して誤り検出を行い、誤りが無ければアクノリッジ(ACK)通知を、誤りが検出されれば再送要求を動画像送信部２へ送信する。動画像送信部２はACKが返るまでは、再送に備えて動画像符号を第２のバッファ７に記憶しておく。無線通信路３の品質低下が長時間続いた場合、動画像供給部１は動画像符号を供給し続けるので、第２のバッファ７に記憶されている動画像符号のデータ量が増大していく。このデータ量は通信路（接続路）８を介して動画像送信部２から動画像供給部１へ通知されている。動画像供給部１は通知されたデータ量をもとにして、動画像符号の各階層の供給を制御する。尚、データ量とはバッファの状態を示す一例であり、通知される情報はバッファの蓄積状態などバッファの状態を示すものであれば良く、例えばバッファの残容量などでも良い。
【００１７】
次に、階層符号化は周知の技術であるが、図２を用いて本実施形態で利用している階層符号化を説明する。符号化する前の原画像は複数のフレームからなり、その１枚がフレーム３１である。フレーム３１を高周波成分を主に含む上位階層のフレーム３２と高周波成分を除去し、縦横ともに１／２に縮小したベース階層のフレーム３３に分解する。この分解は再構成時にほぼ歪みなしに元のフレーム３１を再生することができ、このような変換は例えばウェーブレット変換として知られている。ベース階層のフレーム３３同士はフレーム間相関が強いため、動き補償フレーム間差分を符号化して伝送する。これに対して上位階層のフレーム３２同士のフレーム間相関は弱いため、フレーム内符号化して伝送する。尚、図２では２個の階層に分解した例を示しているが、それよりも多くの階層に分解することも可能である。また１フレームが２フィールドで構成される動画像においても、フィールドを単位にすれば同様の階層化を行うことができる。
【００１８】
次に、動画像符号の各階層の供給の制御動作について図３を用いて説明する。
図３は動画像供給部１がデータ量２０を検査する様子を説明する図である。図３で第２のバッファ７の記憶容量は四角形３４で示され、その中に通知するデータ量２０が示されている。矢印２１は上位階層に関するデータ量２０の上限値を、矢印２２は上位階層に関するデータ量２０の下限値を表している。データ量２０が増大していくと、上限値２１以上になる。動画像供給部１は通知されるデータ量２０と上位階層の上限値２１を比較しており、上限値２１以上になったことを検出すると上位階層の符号を廃棄し、動画像送信部２への供給を止める。尚、上位階層はフレーム内符号化されており、誤りや欠落があってもその影響は１フレーム内にとどまるので、上位階層は再生されなくとも主観評価上は比較的影響が小さい。
【００１９】
この後に無線通信路３の品質が回復し、第２のバッファ７にある送信待ちのデータが送信されてゆくと、動画像供給部１へ通知されるデータ量２０が減少してゆく。動画像供給部１は通知されるデータ量２０と上位階層の下限値２２を比較しており、下限値２２以下になったことを検出すると、上位階層の供給を開始し、上位階層とベース階層との両方を供給するようになる。本発明では無線通信路３の品質悪化時に端末装置の第１のバッファ５の蓄積量が低下することを防ぐために、伝送すべき符号量を最低限必要なベース階層のみに削減するため積極的に動画像送信部２への上位階層の供給を止める。
【００２０】
また、図３にはベース階層に関するデータ量２０の上限値２３と、下限値２４も示されている。このように上限値と下限値は各階層ごとに所定の値に定めておく。ベース階層はフレーム間符号化されており、供給を停止すると再生画質の主観評価に大きな影響が及ぶため、上限値、下限値ともに、第２のバッファ７の最大記憶容量の近くに設定してある。データ量２０がベース階層に関する上限値２３以上になると、動画像供給部１はベース階層の供給を停止し、データ量２０が下限値２４以下になるとベース階層の供給を再開する。この供給を停止している間ベース階層は廃棄してもよいし、廃棄せずに遅延させてもよい。
【００２１】
また、動画像送信部２は例えば基地局装置であり、無線通信路３において誤りのない高信頼性の通信サービスを提供するが、データの供給を積極的に行ったり、伝送すべきデータが動画像符号なのかどうか、ましてや階層が上位階層なのか、ベース階層なのかを検査したりするものではない。本発明ではこのようなコンテンツに依存した特殊な処理は動画像供給部１に担当させ、動画像送信部２はなるべく汎用的で負荷の軽い処理を担当させることができる。
【００２２】
次に図４と図５を用いて本発明の動作を説明する。図４は状態Ｓ１から状態Ｓ５までの５個の状態における、第１のバッファ５の符号の蓄積状況を図の左側に、第２のバッファ７の符号の蓄積状況を図の右側に示したものである。さらに図５は状態Ｓ１から状態Ｓ５までの５個の状態において動画像供給部１がデータ量２０を検査する様子を示したものである。
【００２３】
図４で四角形４１ａから４１ｃは上位階層の１フレーム分の符号を示し、四角形４２ａから４２ｈはベース階層の１フレーム分の符号を表している（四角形の長さが符号量を示す）。上位階層の１フレームの符号量の平均値はベース階層の１フレームの階層の３倍に相当すると、ここでは便宜上仮定して図示してある。そして、無線通信路３は品質が通常状態のときベース階層と上位階層の両方の１フレーム分の符号を単位時間内に伝送するものとする。
【００２４】
図４の状態Ｓ１は無線通信路３の品質が通常状態の場合の状態であり、第１のバッファ５には上位階層の１フレーム４１ａと、ベース階層の８フレーム分の符号が蓄積され、第２のバッファ７には、上位階層の１フレーム４１ｂとベース階層の１フレーム４２ｂの符号が蓄積されている。尚、図５の状態Ｓ１では、このときのデータ量２０ａは上位階層に関する上限値２１と下限値２２の間にあることが示されている。
【００２５】
次に、図４の状態Ｓ２は無線通信路３の品質が悪化し、伝送が途切れて４フレームを再生するだけの時間つまり４単位時間が状態Ｓ１から経過した状態を示している。第１のバッファ５では上位階層のフレーム４１ａが再生された後、次の上位階層のフレームは到着しておらず、４単位時間のうち１単位時間は上位階層の再生が途切れている。ベース階層のフレームは４フレーム分が再生されたために、蓄積量は４フレーム分に低下している。状態Ｓ１で５番目に存在したベース層のフレーム４２ａは状態Ｓ２では１番目に来ている。状態Ｓ２における第２のバッファ７では状態Ｓ１で存在していた上位階層のフレーム４１ｂと４２ｂが伝送されずにとどまり、新しく上位階層の１フレーム４１ｃとベース階層の４フレームが蓄積されている。４単位時間が経過しているのに上位階層のフレームが１フレーム分しか蓄積されていないのは、第２のバッファ７のデータ量２０ｂの増大を動画像供給部１が検出して上位階層のフレームの符号の供給を停止したからである。この判定の様子が図５の状態Ｓ２に示されている。このときのデータ量２０ｂは上位階層に関する上限値２１を超え、ベース階層に関する上限値２３未満であることが示されている。つまり上位階層の供給は途中から停止されたが、ベース階層は通常どおり１単位時間に１フレーム分の符号が供給された。
【００２６】
図４の状態Ｓ３は無線通信路３の品質が回復し状態Ｓ２から２単位時間が経過した状態を示している。２単位時間の間に無線通信路３はまず上位階層のフレーム４１ｂとベース階層のフレーム４２ｂを伝送し、次に上位階層のフレーム４１ｃとベース階層のフレームをもう１個伝送する。第１のバッファ５では上位階層のフレーム４１ｃが蓄積されているが、これは既に表示時刻に間に合わなかったため再生されずに無視される。フレーム４１ｂも同様に再生されなかったのであるが、すでに第１のバッファ５から除去されている。第１のバッファ５におけるベース階層の蓄積フレームは４枚であり状態Ｓ２と同じである。状態Ｓ２で３番目にいたベース階層のフレーム４２ｃは状態Ｓ３では先頭に来ている。状態Ｓ３における第２のバッファ７では上位階層のフレームは依然として到着せず、ベース階層のフレームは２単位分が到着している。そして状態２で３番目にいたベース階層のフレーム４２ｄが状態Ｓ３では先頭に来ている。図５の状態Ｓ３では、データ量２０ｃが状態Ｓ２よりも低下したものの、上位階層に関する下限値２２は超えたままであることを示している。このため依然として上位階層の供給は停止されている。
【００２７】
図４の状態Ｓ４は無線通信路３の品質が回復したまま状態Ｓ３から１単位時間が経過した状態を表している。無線通信路は品質が通常であれば、上位階層のフレームとベース階層のフレームを１枚ずつ伝送する能力があるが今上位階層の１フレームの符号はベース階層の１フレームの符号の３倍と仮定していたため、ベース階層の４フレーム分の符号が１単位時間で伝送されている。状態Ｓ３で第１のバッファ５の２番目にいたベース階層のフレーム４２ｅは状態Ｓ４では先頭に来ており、蓄積されているベース階層の符号は７フレーム分に増加している。これは上位階層は供給が停止中のため第２のバッファ７では伝送すべき上位階層のフレームの符号が無く、その替わりにベース階層のフレームの符号を伝送したためである。第２のバッファ７では状態Ｓ３で５番目にいたベース階層のフレーム４２ｆが先頭に来ている。図５の状態Ｓ４はデータ量２０ｄが状態Ｓ３よりも減っているが依然として、上位階層に関する下限値２２は超えたままであることを示しており、このため依然として上位階層の供給は停止され続けている。
【００２８】
図４の状態Ｓ５は無線通信路３の品質が回復したまま状態Ｓ４から１単位時間が経過した状態を表している。状態Ｓ４で第１のバッファ５の２番目にいたベース階層のフレーム４２ｇは状態Ｓ５では先頭に来ており、状態Ｓ４で第２のバッファ７に存在した２個のベース階層のフレームの符号は第１のバッファ５へ到着している。無線通信路３の伝送能力はこれよりも高く、ベース階層のフレームなら４枚分の符号の伝送が可能であると仮定してあるが、状態Ｓ４の第２のバッファ７にはそれだけの符号がないので、２枚分が伝送されるのみである。状態Ｓ５では第１のバッファ５はベース階層のフレームの符号が８枚分蓄積されている。図５の状態Ｓ５ではデータ量２０ｅが上位階層に関する下限値２２以下であることを示しており、動画像供給部１がこれを検出すると停止中であった上位階層の供給を開始する。尚、状態Ｓ５からさらに１単位時間が経過すると状態Ｓ１と同じになる。また、この後、供給される上位階層のフレームは伝送される絶対時間に基づいてフレームが供給されるか、若しくは同時に供給されるベース階層のフレームから一定時間前の時刻におけるフレームが供給される。
【００２９】
【発明の効果】
本発明の画像伝送装置によれば次のような効果が得られる。送信側で送信するべき符号量を削減する際に、既に階層符号化されている符号の中から上位階層の供給を停止し廃棄するという負荷の軽い処理を行うだけなので、動画像符号化装置が不要であり、処理能力の低い安価な装置で画像供給装置を実現でき、また多数のクライアントに対して動画像伝送をサービスすることができる。
【００３０】
また、上記効果に加え、例えば無線ネットワークなどの通信路の品質が急激に変化するネットワークにおいて、通信路の品質が一時的に悪化した場合、第１のバッファ５に蓄積されている動画像符号のベース階層の符号を用いて再生を継続するので、動画像の再生を途切れにくくすることができ、かつ通信路３を伝送する際には、誤りを許容する必要がないため、誤りを含んだ符号を復号することによる再生の途切れも防ぐことができる。
【００３１】
また画像送信部２は画像が階層符号化されているかどうかに関係なく、第２のバッファ７内にたまっているデータ量２０のみを画像供給部１に通知すればよいので画像送信部２を簡易な構成で安価に作成でき、かつ画像符号化方法に依存せずに広い用途に利用できる。
【図面の簡単な説明】
【図１】本発明の好適な一実施の形態を示す画像伝送装置の構成図
【図２】階層符号化方法を示す図
【図３】動画像供給部がデータ量を検査する様子を説明する図
【図４】第１のバッファの符号の蓄積状況と、第２のバッファの符号の蓄積状況を示す図
【図５】動画像供給部がデータ量を検査する様子を示す図
【符号の説明】
１：動画像供給部
２：動画像送信部
３：無線通信路
４：動画像受信部
５：第１のバッファ
６：動画像復号部
７：第２のバッファ
８：通信路（接続路）
１４：出力部（画像表示及び音声出力）
２０、２０a〜２０b：送信を待っている第２のバッファ７内の動画像符号のデータ量
２１：上位階層に関するデータ量２０の上限値
２２：上位階層に関するデータ量２０の下限値
２３：ベース階層に関するデータ量２０の上限値
２４：ベース階層に関するデータ量２０の下限値
３１：原画像のフレーム
３２：上位階層のフレーム
３３：ベース階層のフレーム
３４：第２のバッファ７の記憶容量
４１ａ〜４１ｃ：上位階層の１フレーム分の符号
４２ａ〜４２ｇ：ベース階層の１フレーム分の符号

Claims

階層符号化された動画像符号を供給する動画像供給部であるサーバと、供給された該動画像符号を送信する動画像送信部である基地局と、送信された該動画像符号を受信する動画像受信部である端末装置と、を備える画像伝送装置において、
前記基地局は、前記サーバから供給された動画像符号を一時的に記憶するバッファを備え、該バッファのデータ量を前記サーバに通知し、
前記サーバは、各階層毎に動画像符号の供給に関する異なる上限値および下限値の２つの閾値を設け、前記基地局から通知された前記バッファのデータ量と前記各閾値とを比較し、該比較結果に基づき各階層の動画像符号の供給を制御することを特徴とする画像伝送装置。
前記サーバは、前記バッファのデータ量が上位階層の閾値の上限値以上になったことを検出すると、前記上位階層の前記動画像符号を廃棄することを特徴とする請求項１記載の画像伝送装置。
階層符号化された動画像符号を伝送する画像伝送方法において、
階層符号化された動画像符号を供給し、供給された動画像符号を一時的に記憶し、一時的に記憶している動画像符号量を通知し、
前記各階層毎に動画像符号の供給に関する異なる上限値および下限値の２つの閾値を設け、前記通知された動画像符号量と前記各閾値とを比較し、該比較結果に基づき各階層毎の前記動画像符号の供給を制御することを特徴とする画像伝送方法。
階層符号化された動画像符号を基地局に供給する動画像供給部であるサーバの動画像供給方法において、
前記基地局に前記動画像符号を供給し、前記基地局にて前記動画像符号を一時的に記憶するバッファのデータ量の通知を受け、各階層毎に動画像符号の供給に関する異なる上限値および下限値の２つの閾値を設け、前記通知された前記バッファのデータ量と前記各閾値とを比較し、該比較結果に基づき各階層毎の前記動画像符号の供給を制御することを特徴とするサーバの動画像供給方法。