JP4853647B2

JP4853647B2 - 動画像変換方法、動画像変換装置、動画像変換システムおよびサーバ装置並びにプログラム

Info

Publication number: JP4853647B2
Application number: JP2006552406A
Authority: JP
Inventors: 伊藤　　博紀; 一範小澤
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2005-10-12
Filing date: 2006-09-05
Publication date: 2012-01-11
Anticipated expiration: 2026-09-05
Also published as: WO2007043256A1; KR20070088547A; EP1814334A4; EP1814334A1; CN101040534A; US8229000B2; US20090232223A1; JPWO2007043256A1; KR100917481B1; KR20080104072A; CN100551068C

Description

本発明は、動画像変換技術に関し、特に、動画像変換方法と装置ならびにシステムとコンピュータプログラムに関する。

近時、携帯端末を用いたテレビ電話サービスおよび動画像配信サービスが普及しつつある。さらに、今後は、サーバが、携帯端末から受信した動画像データを蓄積しその動画像データを配信するサービスも普及していくものと思料される。

図１は、従来の動画像変換装置の典型的な構成の一例を示す図である。図１を参照すると、動画像変換装置が受信した受信データ１００は、データ受信・分離部１０１によって、制御データ１０２、画像データ１０３、及び音声データ１０４に分離（demultiplex）される。

画像符号化に関する情報である制御データ１０２は、画像データ復号部１０５に入力される。なお、制御データ１０２は、画像データ復号部１０５と画像データ符号化部１０７に入力される場合もある。

画像データ１０３は、画像データ復号部１０５に入力される。

画像データ復号部１０５は、制御データ１０２から得られた情報に基づいて、画像データ１０３を復号して復号画像データを生成し、その復号画像データを切替器１０６に出力する。

音声データ１０４は、切替器１０６に入力される。

切替器１０６は、変換指示信号１０９により変換開始が通知されてから、変換指示信号１０９により変換終了が通知されるまで、その復号画像データを画像データ符号化部１０７に入力し、音声データ１０４をデータ出力部１０８に入力する。

画像データ符号化部１０７は、入力された復号画像データをイントラモード及びインターモードで符号化して画像再符号化データを生成し、その画像再符号化データをデータ出力部１０８に入力する。

データ出力部１０８は、切替器１０６から出力された音声データと、画像データ符号化部１０７から出力された画像再符号化データと、を受け付け、その音声データとその画像再符号化データとを出力する。

第三世代（3GPP）の携帯端末では、動画像符号化方式としてMPEG4 (ISO/IEC 14496-2:2003 "Information Technology Coding of Audio and Video Visual Objects -Part2: Visual.") が広く用いられている。

MPEG4には、現フレームの画像データのみを用いて現フレームの画像データを符号化するイントラモードと、過去のフレームの画像データも参照して現フレームの画像データを符号化するインターモードがある。

イントラモードでは、画像データを構成する入力画素は、マクロブロックと呼ばれる単位毎に、DCT（Discrete Cosine Transform）処理され、その後、DCT係数が可変長符号化される。

インターモードでは、入力画素と過去のフレームの復号画素とを用いて動き補償予測を行うことによって、差分画素が求められ、その差分画素はDCT処理され、その後、動きベクトルおよびDCT係数等が可変長符号化される。

動画像変換装置が、動画像の蓄積および配信に使用される場合、動画像変換装置は、蓄積画像の先頭フレームを再生する際、先頭フレームの前フレームの画像を参照することができない。このため、蓄積画像の先頭フレームは、必ずイントラモードで符号化されたデータである必要がある。

なお、特許文献１には、ＭＰＥＧビデオストリームを処理するビデオストリーム編集方法及び装置が開示されている。

この装置は、まず、Ｉ又はＰピクチャが最終表示画像となるように、ＭＰＥＧビデオストリーム１から第１部分ストリームを切り出し、そして、Ｉ又はＰピクチャが先頭表示画像となるように、ＭＰＥＧビデオストリーム２から第２部分ストリームを切り出す。

続いて、この装置は、第２部分ストリームの先頭表示ピクチャが、Ｉピクチャであるか否かを判別する。

第２部分ストリームの先頭表示ピクチャがＩピクチャである場合、この装置は、第２部分ストリームの先頭表示ピクチャを、Ｉピクチャのままとする。

一方、第２部分ストリームの先頭表示ピクチャがＰピクチャの場合、この装置は、そのＰピクチャの直前のＩピクチャからそのＰピクチャまでを順次復号して、そのＰピクチャの復号画像を生成する。その後、この装置は、そのＰピクチャの復号画像を再度符号化してＩピクチャの画像データを生成し、そのＩピクチャの画像データを、第２部分ストリームの先頭表示ピクチャであるＰピクチャと置き換える。

その後、この装置は、第１部分ストリームと第２部分ストリームを結合して第３のストリームを生成する。

また、特許文献２には、画像をフレームごとに符号化する画像蓄積再生装置が開示されている。この画像蓄積再生装置は、符号化手段と、蓄積手段と、受付け手段と、制御手段と、復号化手段と、イントラ符号手段と、送信手段とを有する。

符号化手段は、あらかじめ定められたフレーム数のフレーム内で、全ての位置のマクロブロックを、少なくとも１回は、あらかじめ定められたイントラモードで符号化し、そのイントラモードで符号化したマクロブロック以外のマクロブロックを、あらかじめ定められたインターモードで符号化する。蓄積手段は、符号化手段により符号化された画像を蓄積する。

受付け手段は、蓄積手段に蓄積された画像について、外部から再生開始位置を受付ける。制御手段は、受付け手段が受付けた再生開始位置から、前記あらかじめ定められたフレーム数分遡って、蓄積手段から画像を読み出す。復号化手段は、前記読み出された画像を復号化して、前記再生開始位置についての画像フレームを作成する。イントラ符号手段は、復号化手段で作成された画像フレームをイントラモードで符号化する。送信手段は、イントラ符号手段で符号化された画像フレームを送信する。
特開２００２−３００５２８号公報特開２００２−３１４９４０号公報

図１を参照して説明した従来の動画像変換装置は、端末から受信した画像データを常に復号して復号画像を生成する。そして、この動画像変換装置は、その復号画像のうち、蓄積を開始するフレームから蓄積を終了するフレームまでの間に存在する全ての復号画像を再符号化する。この動画像変換装置は、その再符号化によって生成された画像データを出力して蓄積する。

このように、従来の動画変換装置は、受信した画像データを常に復号し、変換開始が通知されてから変換終了が通知されるまでの期間に生成された全ての復号画像を再符号化する。このため、従来の動画変換装置は、画像の再符号化処理に多大な演算量を要する。この結果、例えば、同時に複数チャネルの画像データを変換する場合、画像処理を専用に行うためのDSP（Digital Signal Processor）が多数必要となり、装置が大規模になってしまう、という問題が生じる。

また、従来の動画変換装置においては、インターモードで符号化された画像フレームを、変換開始の先頭フレームとして用いられるイントラモードの画像フレームに変換する場合、変換前と同程度の画質を確保するためには符号量が増加する。このため、例えば変換後の画像データを配信する際に、画像データ量が、伝送容量を超えてしまう、という問題、および、画像と音声データとの同期がとれなくなる、という問題が生じる。

特許文献１および２等に開示された装置は、イントラモードに変換したフレームに続くインターモードのフレームを、復号および再符号化処理しないため、演算量は、図１を参照して説明した従来の動画像変換装置と比較して軽減される。

しかしながら、この装置は、イントラモードに変換する画像データを復号するために、復号に必要な過去の画像データを全て保持しておき、これら全てを、イントラモードへの変換開始を受け付けてから復号する。このため、この装置では、イントラモードへの変換開始を受け付けてからイントラモードへの変換を終了するまでの時間が長くなる。よって、この装置は即時性が要求されるサービス等に適用することに不向きである。

本発明は、上記課題に鑑みて創案されたものであって、その主たる目的は、演算量の増加を抑止して低減し、装置の大型化を抑止可能とする装置、方法とシステム並びにプログラムを提供することにある。

本発明の他の目的は、動画像を変換する際に必要な変換処理において、画像データの符号量が増加することにより、変換した動画像が正しく再生されない、という問題を解消する装置、方法とシステム並びにプログラムを提供することにある。

本発明の１つのアスペクト（側面）に係る方法は、圧縮符号化された画像ストリームを受け付ける工程と、指示されたフレームのストリーム又はマクロブロックのストリームをイントラモードのストリームに変換し、そのイントラモードのストリームを出力し、指示された以外の画像ストリームについては、受け付けられた画像ストリームをそのまま出力する工程と、を含む。

本発明に係る方法は、圧縮符号化された画像ストリームを受け付ける工程と、前記画像ストリームを常に復号して復号画像を導出し、前記復号画像に対して指示された任意のフレーム又はマクロブロックをイントラモードのストリームに変換し、前記イントラモードのストリームを出力し、前記指示された任意のフレーム又はマクロブロック以外の復号画像に対応する画像ストリームについては、前記画像ストリームをそのまま出力する工程と、を含む。

本発明において、前記変換時の量子化精度は、前記画像ストリームの符号量、前記復号時の量子化精度、及び目標とする出力符号量のうちの少なくとも一つを用いて制御されてもよい。

本発明において、前記画像ストリームを受け付ける工程では、前記画像ストリームとともに音声データも受け付けられ、前記イントラモードに変換後の前記ストリームの符号量が前記イントラモードに変換前の前記画像の符号量に対して変化した場合、前記音声データの再生時刻に関する情報を調整する工程がさらに含まれてもよい。

本発明の他のアスペクトに係る装置は、圧縮符号化された画像ストリームを受け付ける手段と、指示されたフレームのストリーム又はマクロブロックのストリームをイントラモードのストリームに変換し、そのイントラモードのストリームを出力し、指示された以外の画像ストリームについては、受け付けられた画像ストリームをそのまま出力する手段と、を含む。

本発明に係る装置は、圧縮符号化された画像ストリームを受け付ける入力部と、前記画像ストリームを常に復号して復号画像を導出し、前記復号画像に対して指示されたフレーム又はマクロブロックをイントラモードのストリームに変換し、前記イントラモードのストリームを出力し、前記指示されたフレーム又はマクロブロック以外の復号画像に対応する画像ストリームについては、前記画像ストリームをそのまま出力する制御部と、を含む。

本発明に係る装置において、制御部は、変換時の量子化精度を、画像ストリームの符号量、復号時の量子化精度、及び目標とする出力符号量のうち、少なくとも一つを用いて制御する。本発明に係る装置においては、入力部は、画像ストリームとともに音声データも受け付け、制御部は、イントラモードに変換後のストリームの符号量がイントラモードに変換前の画像の符号量に対して変化した場合、音声データの再生時刻に関する情報を調整してもよい。

本発明に係る装置は、少なくとも圧縮符号化された画像データを含む受信データを受け付け、前記受信データから少なくとも前記画像データを分離し、前記画像データを出力する分離部と、前記分離部から出力される前記画像データを受け付け、前記画像データを復号して復号画像を生成し、前記復号画像を符号化して画像データを生成し、前記生成された画像データを出力する画像データ変換部と、前記画像データ変換部から出力される前記画像データと、前記分離部から出力される前記画像データとを受け付け、入力される変換指示信号に基づき、出力する画像データを、前記画像データ変換部から出力される前記画像データと、前記分離部から出力される前記画像データと、のいずれかに切替える切替部と、前記切替部から出力される画像データを受け付け、前記画像データを出力する出力部と、を備える。前記画像データ変換部は、前記変換指示信号を受け付け、前記変換指示信号により変換開始が通知されたフレームに対応する復号画像をイントラモードで符号化して画像データを生成し、前記符号化にて得られた画像データを前記切替器に出力し、前記切替器は、前記変換指示信号により変換開始が通知された場合、変換開始のフレームとして、前記画像データ変換部から出力される画像データを前記出力部に出力し、それ以降のフレームから変換終了フレームとして、前記分離部から出力される画像データを前記出力部に出力してもよい。

本発明において、前記分離部は、前記画像データと、画像符号化に関する情報である制御データと、音声データと、を含む受信データを受け付け、前記受信データから、前記制御データと、前記画像データと、前記音声データとを分離し、前記制御データと、前記画像データと、前記音声データとを出力し、前記画像データ変換部は、前記制御データから得られた情報に基づいて、前記画像データを復号して前記復号画像を導出し、前記切替器は、前記音声データを受け付け、前記変換指示信号により通知された、変換開始から変換終了までの間、前記音声データを前記出力部に出力し、前記出力部は、前記切替部から前記画像データと前記音声データとを受け付け、前記画像データと前記音声データとを同期させて出力してもよい。

本発明において、前記出力部は、前記画像データ変換部で変換後の画像データの符号量が変換前の画像データの符号量に対して変化した場合、前記音声データの再生時刻に関する情報を調整する。

本発明において、前記出力部は、前記変換後の画像データの符号量が前記変換前の画像データの符号量より増えた量に応じて、前記音声データの再生タイミングを遅くしてもよい。本発明において、前記出力部は、前記変換開始のフレームの先頭に対応する前記音声データの箇所に、無音データを挿入してもよい。

本発明において、前記画像データ変換部は、画像復号部と、符号量制御部と、画像符号化部とを備え、前記画像復号部は、前記分離部から出力される前記画像データを受け付け、前記画像データを復号して復号画像を生成するとともに、復号時に得られた復号時量子化精度と、受信したフレーム単位、マクロブロック単位またはビデオパケット単位の受信符号量と、を前記符号量制御部に出力し、前記符号量制御部は、前記画像復号部からの前記復号時量子化精度と、前記受信符号量、及び、入力された目標符号量のうちの、少なくとも一つを用いて、符号化時の量子化精度を決定し、前記符号化時の量子化精度を前記画像符号化部に出力し、前記画像符号化部は、前記符号量制御部からの前記符号化時の量子化精度にしたがって、前記復号画像を符号化して前記画像データを生成し、前記生成された画像データを出力してもよい。

本発明の他のアスペクトに係るコンピュータプログラムは、動画像変換装置を構成するコンピュータに、圧縮符号化された画像ストリームを受け付ける処理と、前記画像ストリームを常に復号して復号画像を導出し、前記復号画像に対して指示された任意のフレーム又はマクロブロックをイントラモードのストリームに変換し、前記イントラモードのストリームを出力し、前記指示された任意のフレーム又はマクロブロック以外の復号画像に対応する画像ストリームについては、前記画像ストリームをそのまま出力する処理と、を実行させる。

本発明に係るコンピュータプログラムは、前記変換の際の量子化精度を、前記画像ストリームの符号量、前記復号時の量子化精度、及び、目標とする出力符号量のうちの、少なくとも一つを用いて制御する処理を、さらに、前記コンピュータに実行させてもよい。

本発明に係るコンピュータプログラムは、前記画像ストリームを受け付ける処理では、前記画像ストリームとともに音声データも受け付け、前記イントラモードに変換後の前記ストリームの符号量が前記イントラモードに変換前の前記画像の符号量に対して変化した場合、前記音声データの再生時刻に関する情報を調整する処理を、さらに、前記コンピュータに実行させてもよい。

本発明によれば、指定されたフレーム又はマクロブロックの画像をイントラモードのストリームに変換し、そのイントラモードのストリームを出力し、それ以外の画像データは受信した画像をそのまま出力する構成としたことにより、動画像を変換する際に必要な画像符号化における処理が削減される。本発明によれば、演算量を縮減し、装置の大型化を抑止可能としている。また、本発明によれば、従来方式よりも、多くのチャネル数の動画像を同時に変換することができる。

また、本発明によれば、変換した動画像の符号量が、伝送路の容量を超えないように、変換の際の量子化精度を制御でき、また、画像と音声の同期がずれないように、増加した符号量に応じて、音声データの再生時刻に関する情報を調整できる。このため、動画像を変換する際に必要な変換処理によって画像データの符号量が増加することにより、変換した動画像が正しく再生されない、という問題を回避することができる。

さらに、本発明によれば、圧縮符号化された画像データを常に復号して復号画像を生成しておき、変換指示信号にて変換が指示された際に、その復号画像がイントラモードのストリームに変換される。このため、イントラモードのストリームへの変換が指示されてからイントラフレームへの変換が終了するまでの時間を短縮することができる。

図１は、従来の装置の典型的な構成の一例を示す図である。図２は、本発明の一実施例の構成を示す図である。図３は、本発明の一実施例における画像データ変換部の構成の一例を示す図である。本発明の一実施例におけるデータ同期調整を説明するための図である。本発明の一実施例におけるデータ同期調整を説明するための図である。

符号の説明

１００受信データ
１０１、２０１データ受信・分離部
１０２制御データ
１０３画像データ
１０４音声データ
１０５画像データ復号部
１０６、２０６切替器
１０７画像データ符号化部
１０８データ出力部
１０９変換指示信号
２０５画像データ変換部
２０８データ同期・出力部
３０１画像復号部
３０２復号時量子化精度
３０３受信符号量
３０４目標符号量
３０５符号量制御部
３０６符号化時量子化精度
３０７画像符号化部

上記した本発明をさらに詳細に説述すべく、添付図面を参照して本発明を説明する。本発明では、画像データ変換部２０５は、データ受信・分離部２０１から提供された画像データのうち、変換開始が通知されたフレーム（変換開始フレーム）の画像データをイントラモードに変換し、その変換結果を、切替部２０６を介して出力する。変換開始フレーム以外の画像データについては、切替部２０６は、データ受信・分離部２０１から提供された画像データをそのまま出力する。

また、本発明においては、データ同期・出力部２０８は、イントラモードに変換後の画像データのサイズがイントラモードに変換前の画像データのサイズより増加した場合、画像と音声の同期がずれないように、音声の再生時刻を調整する。例えば、データ同期・出力部２０８は、画像と音声の同期がとれるように、音声データの再生タイミングを時間的に後ろにずらして遅らせる。

さらに、本発明においては、データ受信・分離部２０１から画像データを受け付ける画像データ変換部２０５は、該画像データを常に復号して復号画像を導出し、変換指示信号により変換開始が指示された際に導出された復号画像、換言すると、変換指示信号により変換開始が通知されたフレームまたはマクロブロックに対応する復号画像を、イントラモードのストリームに変換する。かかる構成により、イントラモードへの変換が指示されてからイントラモードへの変換が終了するまでの時間を短縮可能としている。

本発明に係る方法は、例えば以下のステップを含む。

ステップ１：データ受信・分離部２０１は、圧縮符号化された画像ストリームを少なくとも含む受信データから、画像ストリームを分離し、その分離された画像ストリームを、画像データ変換部２０５に出力する。

ステップ２：画像データ変換部２０５は、画像ストリームを常に復号してフレームごとに復号画像を導出し、前記復号画像に対して指示された任意のフレーム又はマクロブロックを、イントラモードのストリームに変換する。このとき、切替部２０６は、画像データ変換部２０５によって変換されたイントラモードのストリームを出力する。

ステップ３：指示された任意のフレーム又はマクロブロック以外の復号画像に対応する画像ストリームについては、切替部２０６は、データ受信・分離部２０１で分離された画像ストリームを、そのまま出力する。

本発明に係る方法において、データ同期・出力部２０８は、データを出力する際に、変換後の画像の符号量が変換前の符号量に対して変化した場合、音声の再生時刻に関する情報を調整してもよい。以下、実施例に即して説明する。

図２は、本発明の一実施例の構成を示す図である。図２を参照すると、本実施例に係る動画像変換装置は、データ受信・分離部２０１と、画像データ変換部２０５と、切替器２０６と、データ同期・出力部２０８とを備えている。

データ受信・分離部２０１は、入力部の一例である。また、画像データ変換部２０５と、切替器２０６と、データ同期・出力部２０８とは、制御部を構成する。

圧縮符号化されて伝送された受信データ（ストリーム）１００は、圧縮符号化された画像データ（ストリーム）１０３と、画像符号化に関する情報である制御データ１０２と、画像データ１０３と同期した音声データ１０４と、を含む。受信データ１００は、データ受信・分離部２０１に入力される。

データ受信・分離部２０１は、受信データ１００を、制御データ１０２、画像データ１０３、及び、音声データ１０４に分離する。

データ受信・分離部２０１は、制御データ１０２を、画像データ変換部２０５に提供する。

データ受信・分離部２０１は、画像データ１０３を、画像データ変換部２０５、及び切替器２０６に提供する。

データ受信・分離部２０１は、音声データ１０４を、切替器２０６に提供する。

画像データ変換部２０５は、制御データ１０２から得られた情報に基づいて画像データ１０３を常に復号して、フレームごとに復号画像を導出する。

さらに、画像データ変換部２０５は、変換指示信号１０９により変換開始が通知されたフレーム（任意のフレーム）の復号画像をイントラモードで符号化し（再符号化処理）、符号化して得られた画像データ（イントラモードのストリーム）を、切替器２０６に出力する。

画像データ変換部２０５は、変換指示信号１０９により変換開始が通知されたときに導出されたフレーム（復号画像）を、変換開始が通知されたフレーム（復号画像に対して指示された任意のフレーム）として用いる。

なお、変換指示信号１０９により変換開始が通知されたフレームの復号画像は、例えば、複数のマクロブロックから構成される。この場合、画像データ変換部２０５は、変換指示信号１０９により変換開始が通知されたときに導出されたフレーム（復号画像）に含まれるマクロブロックを、変換開始が通知されたマクロブロック（復号画像に対して指示された任意のマクロブロック）として、用いる。

画像データ変換部２０５は、イントラモードで符号化する際の量子化精度（一般に、「Ｑ値」と呼ばれる）として、例えば、予め定めた固定値、または、復号時のＱ値を利用する。または、画像データ変換部２０５は、イントラモードで符号化する際の量子化精度を、図３に示すような符号量制御にしたがって制御する。

図３は、図２の画像データ変換部２０５の構成を示す図である。図３を参照すると、画像データ変換部２０５は、画像復号部３０１と、符号量制御部３０５と、画像符号化部３０７を備えている。

画像復号部３０１は、制御データ１０２から得られた情報に基づいて画像データ１０３を常に復号して、フレームごとに復号画像を導出し、そのフレームごとの復号画像を、画像符号化部３０７に提供する。

また、画像復号部３０１は、画像データ１０３の復号時に得られた復号時量子化精度３０２と、受信したフレーム単位、あるいはマクロブロック単位、あるいはマクロブロックの集合であるビデオパケット単位の受信符号量（受信した画像ストリームの符号量）３０３と、を符号量制御部３０５に出力する。

符号量制御部３０５は、復号時量子化精度３０２、受信符号量３０３、及び入力された目標符号量３０４のうちの、少なくとも一つを用いて、符号化時の量子化精度３０６を決定し、その決定された符号化時の量子化精度３０６を、画像符号化部３０７に出力する。

画像符号化部３０７は、変換指示信号１０９を受け付け、変換指示信号１０９により変換開始が通知されたフレームまたはマクロブロックの復号画像を、符号化時の量子化精度３０６にしたがってイントラモードで符号化し、符号化して得られた画像データ（イントラモードのストリーム）を、切替器２０６に出力する。

なお、画像符号化部３０７は、変換指示信号１０９により変換開始が通知されたときに画像復号部３０１から導出されたフレーム（復号画像）を、変換開始が通知されたフレームとして用いる。

または、画像復号部３０７は、変換指示信号１０９により変換開始が通知されたときに画像復号部３０１から導出されたフレーム（復号画像）を構成するマクロブロックを、変換開始が通知されたマクロブロックとして用いる。

復号時量子化精度３０２は、画像復号部３０１での復号時に得られるパラメータであり、符号化後のフレームの符号量が目標符号量３０４に近づくように、画像符号化部３０７での符号化を制御する際に、有効な情報となる。例えば、受信符号量３０３が目標符号量３０４よりも大きい場合、符号量制御部３０５は、復号時量子化精度３０２よりも符号化時量子化精度３０６を粗くするような制御を行う。

符号化時の量子化精度３０６を最も大きくしても、イントラモードでの符号化により得られる画像データの符号量が目標符号量３０４を超えてしまう場合には、符号量制御部３０５は、画像符号化部３０７での符号化時にDCT係数の高次の値のいくつかを０にすることで、画像符号化部３０７が出力する符号量を小さくすることも可能である。

符号化時の量子化精度３０６が制御されるため、画像符号化部３０７で符号化されたフレームを含む動画像の符号量が、伝送路の容量を超えないようにすることが可能となる。

再び図２を参照すると、切替器２０６は、変換指示信号１０９により変換開始が通知された場合、変換開始の先頭フレームとして、画像データ変換部２０５の出力データ（イントラモードのストリーム）を選択し、その選択された出力データをデータ同期・出力部２０８に出力する。

また、切替器２０６は、変換開始の先頭フレームの次のフレームから変換終了フレームまでのフレームに対応するストリームとして、画像データ変換部２０５の出力データではなく、データ受信・分離部２０１から出力される画像データ（ストリーム）１０３を、データ同期・出力部２０８に出力する。なお、切替部２０６は、変換指示信号１０９により変換終了が通知されたときにデータ受信・分離部２０１から受け付けた画像データ１０３を、変換終了フレームとして用いる。

また、切替器２０６は、変換指示信号１０９により変換開始が通知されてから変換指示信号１０９により変換終了が通知されるまでの間にデータ受信・分離部２０１から受け付けた音声データ１０４を、データ同期・出力部２０８に出力する。

データ同期・出力部２０８は、データ受信・分離部２０１が受信データ１００を受信した時刻に基づく時刻情報を、画像データ変換部２０５から受け付けたイントラモードのストリームに付与し、時刻情報が付与されたイントラモードのストリームを出力する。

このとき、変換開始フレームの画像データの符号量は、イントラモードで符号化されることにより、データ受信・分離部２０１が受信した時の符号量よりも増加する場合が多い。このため、変換開始時刻で画像と音声を同期させると、画像が遅れて表示されてしまう。

そこで、図４Ｂで示すように、データ同期・出力部２０８は、画像データの変換開始フレームに対応する音声データの再生タイミングを後ろにずらす、つまり、その音声データの再生タイミングを遅らせる調整を行って、画像と音声とを同期させる。この際、画像の先頭に対応する音声データが存在しないと、再生時に問題が生じる場合には、データ同期・出力部２０８は、例えば、画像の先頭に対応する音声データとして、無音データを挿入する。

なお、図４Ａは、データ受信・分離部２０１が受信データ１００を受信したときの画像と音声の時間関係を模式的に示す図である。図４Ｂは、データ同期・出力部２０８から出力された画像と音声の時間関係を模式的に示す図である。

データ同期・出力部２０８は、画像データのフレームＮをイントラモードで符号化することによって受信時の符号量よりも増加した符号量に応じた時間だけ、画像データのフレームＮに対応する音声データｍ、ｍ＋１、ｍ＋２、ｍ＋３、ｍ＋４を、時間的に後方に移動する。

換言すると、データ同期・出力部２０８は、イントラモードで変換後の画像データのフレームＮに対応する音声データｍ、ｍ＋１、ｍ＋２、ｍ＋３、ｍ＋４を、変換後の画像データのフレームＮと同期する範囲内で、時間的に後方に移動する。図４Ｂの出力時のフレームＮにおいて、図４Ａの受信時のフレームＮにおける音声データｍ乃至ｍ＋４の位置には、音声データが存在しない。データ同期・出力部２０８は、この音声データが存在しない部分に、無音データを挿入してもよい。

なお、上記実施例の動画像変換装置において、データ受信・分離部２０１、画像データ変換部２０５、切替器２０６、データ同期・出力部２０８の各部の処理および機能は、動画像変換装置を構成するＣＰＵ（コンピュータ）上で実行されるプログラムで実現されてもよい。

例えば、データ受信・分離部２０１、画像データ変換部２０５、切替器２０６、データ同期・出力部２０８の各部の処理および機能を規定するプログラムが、コンピュータにて読み取り可能な記録媒体（例えば、メモリ）に記録され、動画像変換装置を構成するＣＰＵが、その記録媒体から、そのプログラムを読み取り実行する。

また、上記実施例の動画像変換装置は、他の通信装置との組合わせられて、システムを構成してもよいし、動画像の蓄積、配信を行うサーバ等に適用されてもよいことは勿論である。

以上、本発明を上記実施例に即して説明したが、本発明は上記実施例の構成にのみに制限されるものでなく、本発明の範囲内で当業者であればなし得るであろう各種変形、修正を含むことは勿論である。

Claims

圧縮符号化された画像ストリームとともに音声データも受け付ける工程と、
前記画像ストリームを常に復号して復号画像を導出し、前記復号画像に対して指示された任意のフレーム又はマクロブロックをイントラモードのストリームに変換し、前記イントラモードのストリームを出力し、前記指示された任意のフレーム又はマクロブロック以外の復号画像に対応する画像ストリームについては、前記画像ストリームをそのまま出力する工程と、
前記イントラモードに変換後の前記ストリームの符号量が前記イントラモードに変換前の前記画像ストリームの符号量に対して増加した場合、前記増加した符号量に応じて、前記音声データの再生時刻に関する情報を、当該再生時刻が遅延して前記画像ストリームと前記音声データが同期するように調整する工程と、
を含む動画像変換方法。
前記変換の際の量子化精度を、前記画像ストリームの符号量、前記復号時の量子化精度、及び、目標とする出力符号量のうちの、少なくとも一つを用いて制御する工程をさらに含む、請求項１に記載の動画像変換方法。
圧縮符号化された画像ストリームとともに音声データも受け付ける入力部と、
前記画像ストリームを常に復号して復号画像を導出し、前記復号画像に対して指示された任意のフレーム又はマクロブロックをイントラモードのストリームに変換し、前記イントラモードのストリームを出力し、前記指示された任意のフレーム又はマクロブロック以外の復号画像に対応する画像ストリームについては、前記画像ストリームをそのまま出力し、前記イントラモードに変換後の前記ストリームの符号量が前記イントラモードに変換前の前記画像ストリームの符号量に対して増加した場合、前記増加した符号量に応じて、前記音声データの再生時刻に関する情報を、当該再生時刻が遅延して前記画像ストリームと前記音声データが同期するように調整する制御部と、
を含む動画像変換装置。
前記制御部は、前記変換の際の量子化精度を、前記画像ストリームの符号量、前記復号時の量子化精度、及び、目標とする出力符号量のうちの、少なくとも一つを用いて制御する、請求項３に記載の動画像変換装置。
少なくとも圧縮符号化された画像データを含む受信データを受け付け、前記受信データから少なくとも前記画像データを分離し、前記画像データを出力する分離部と、
前記分離部より出力される前記画像データを受け付け、前記画像データを復号して復号画像を生成し、前記復号画像を符号化して画像データを生成し、前記生成された画像データを出力する画像データ変換部と、
前記画像データ変換部から出力される前記画像データと、前記分離部から出力される前記画像データとを受け付け、入力される変換指示信号に基づき、出力する画像データを、前記画像データ変換部から出力される前記画像データと、前記分離部から出力される前記画像データと、のいずれかに切替える切替部と、
前記切替部から出力される画像データを受け付け、前記画像データを出力する出力部と、
を備え、
前記画像データ変換部は、前記変換指示信号を受け付け、前記変換指示信号により変換開始が通知されたフレームに対応する復号画像をイントラモードで符号化して画像データを生成し、前記符号化にて得られた画像データを前記切替器に出力し、
前記切替器は、前記変換指示信号により変換開始が通知された場合、変換開始のフレームとして、前記画像データ変換部から出力される画像データを前記出力部に出力し、それ以降のフレームから変換終了フレームとして、前記分離部から出力される画像データを前記出力部に出力し、
前記分離部は、前記画像データと、画像符号化に関する情報である制御データと、音声データと、を含む受信データを受け付け、前記受信データから、前記制御データと、前記画像データと、前記音声データとを分離し、前記制御データと、前記画像データと、前記音声データとを出力し、
前記画像データ変換部は、前記制御データから得られた情報に基づいて、前記画像データを復号して前記復号画像を導出し、
前記切替器は、前記音声データを受け付け、前記変換指示信号により通知された、変換開始から変換終了までの間、前記音声データを前記出力部に出力し、
前記出力部は、前記切替部から前記画像データと前記音声データとを受け付け、前記画像データと前記音声データとを同期させて出力し、前記画像データ変換部で変換後の画像データの符号量が変換前の画像データの符号量に対して増加した場合、前記増加した符号量に応じて、前記音声データの再生時刻に関する情報を、当該再生時刻が遅延して前記画像データと前記音声データとが同期するように調整する、動画像変換装置。
前記出力部は、前記変換開始のフレームの先頭に対応する前記音声データの箇所に、無音データを挿入する、請求項５に記載の動画像変換装置。
前記画像データ変換部は、画像復号部と、符号量制御部と、画像符号化部とを備え、
前記画像復号部は、前記分離部から出力される前記画像データを受け付け、前記画像データを復号して復号画像を生成するとともに、復号時に得られた復号時量子化精度と、受信したフレーム単位、マクロブロック単位またはビデオパケット単位の受信符号量と、を前記符号量制御部に出力し、
前記符号量制御部は、前記画像復号部からの前記復号時量子化精度と、前記受信符号量、及び、入力された目標符号量のうちの、少なくとも一つを用いて、符号化時の量子化精度を決定し、前記符号化時の量子化精度を前記画像符号化部に出力し、
前記画像符号化部は、前記符号量制御部からの前記符号化時の量子化精度にしたがって、前記復号画像を符号化して前記画像データを生成し、前記生成された画像データを出力する、請求項５記載の動画像変換装置。
請求項３乃至７のいずれか１項に記載の動画像変換装置を具備する動画像変換システム。
請求項３乃至７のいずれか１項に記載の動画像変換装置を具備し、動画像の蓄積および配信を行うサーバ装置。
動画像変換装置を構成するコンピュータに、
圧縮符号化された画像ストリームとともに音声データも受け付ける処理と、
前記画像ストリームを常に復号して復号画像を導出し、前記復号画像に対して指示された任意のフレーム又はマクロブロックをイントラモードのストリームに変換し、前記イントラモードのストリームを出力し、前記指示された任意のフレーム又はマクロブロック以外の復号画像に対応する画像ストリームについては、前記画像ストリームをそのまま出力する処理と、
前記イントラモードに変換後の前記ストリームの符号量が前記イントラモードに変換前の前記画像ストリームの符号量に対して増加した場合、前記増加した符号量に応じて、前記音声データの再生時刻に関する情報を、当該再生時刻が遅延して前記画像ストリームと前記音声データとが同期するように調整する処理と、を実行させるプログラム。
前記変換の際の量子化精度を、前記画像ストリームの符号量、前記復号時の量子化精度、及び、目標とする出力符号量のうちの、少なくとも一つを用いて制御する処理を、さらに、前記コンピュータに実行させる、請求項１０に記載のプログラム。