Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7101753B2 - ビデオコーディング方法、装置、電子機器及び記憶媒体 - Google Patents
[go: Go Back, main page]

JP7101753B2 - ビデオコーディング方法、装置、電子機器及び記憶媒体 - Google Patents

ビデオコーディング方法、装置、電子機器及び記憶媒体 Download PDF

Info

Publication number
JP7101753B2
JP7101753B2 JP2020217666A JP2020217666A JP7101753B2 JP 7101753 B2 JP7101753 B2 JP 7101753B2 JP 2020217666 A JP2020217666 A JP 2020217666A JP 2020217666 A JP2020217666 A JP 2020217666A JP 7101753 B2 JP7101753 B2 JP 7101753B2
Authority
JP
Japan
Prior art keywords
target image
image block
degree
frames
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020217666A
Other languages
English (en)
Other versions
JP2022013601A (ja
Inventor
クゥー・リン
ウェンポン・ディン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2022013601A publication Critical patent/JP2022013601A/ja
Application granted granted Critical
Publication of JP7101753B2 publication Critical patent/JP7101753B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本出願の実施例は、ビデオ処理技術に関し、特にビデオコーディング分野に関し、具体的にビデオコーディング方法、装置、電子機器及び記憶媒体に関する。
HEVC(High Efficiency Video Coding、高効率ビデオコーディング)標準は、2013年にJCT-VCによって発布された新世代のビデオコーディング標準であり、従来のAVC(Advanced Video Coding、高度なビデオコーディング)標準と比較して、同じ知覚品質で最大50%のコードレートを節約することができる。このため、HEVC標準は、さまざまなプラットフォーム(ソーシャルネットワーク、オンデマンドテレビ、5G)のビデオサービスで広く使用されており、大規模なビデオデータの効率的な送信を保証できる。
HEVC標準は、主に、ブロックレベルでフレーム内又はフレーム間予測を実行するハイブリッドビデオコーディングフレームワークに依存し、それぞれ空間的及び時間的冗長性から利益を得る。ここで、フレーム間予測は、目標ブロックと参照ブロックとの残差をコーディングすることにより、コーディング時間の冗長性を削減することである。CU-Tree(又はMB-Treeと呼ばれる)アルゴリズムは、HEVCエンコーダに適用され、参照ブロックのコードレートを増加させることにより、コーディング時間の冗長性を大幅に削減するコアアルゴリズムである。
CU-Treeアルゴリズムに基づく、既存のビデオコーディング方法は、比較的簡単であり、コーディング時間の冗長性を十分に削減することはできない。
本開示の実施例は、ビデオコーディング方法、装置、電子機器及び記憶媒体を提供する。
本開示の一態様によれば、ビデオコーディング方法を提供し、
コーディング対象のビデオに関連付けられる目標画像グループにおける目標画像フレームの推定量子化パラメータを決定するステップと、
前記目標画像グループのフレーム間の画像の変化程度を決定するステップと、
前記目標画像フレームの推定量子化パラメータ及び前記フレーム間の画像の変化程度に応じて、前記目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する伝播比率を決定するステップと、
前記伝播比率に応じて、前記コーディング対象のビデオをコーディングするステップと、を含む。
本開示の別の態様によれば、ビデオコーディング装置を提供し、
コーディング対象のビデオに関連付けられる目標画像グループにおける目標画像フレームの推定量子化パラメータを決定するための量子化パラメータ推定モジュールと、
前記目標画像グループのフレーム間の画像の変化程度を決定するための変化程度決定モジュールと、
前記目標画像フレームの推定量子化パラメータ及び前記フレーム間の画像の変化程度に応じて、前記目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する伝播比率を決定するための伝播比率決定モジュールと、
前記伝播比率に応じて、前記コーディング対象のビデオをコーディングするためのビデオコーディング処理モジュールと、を含む。
本開示の別の態様によれば、電子機器を提供し、
少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサと通信可能に接続されるメモリと、を含み、
前記メモリには、前記少なくとも1つのプロセッサによって実行可能な命令が記憶されており、前記命令が実行される場合、前記少なくとも1つのプロセッサが本出願の実施例のいずれかに記載の方法を実行する。
本開示の別の態様によれば、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体をさらに提供し、前記命令が実行される場合、本出願の実施例のいずれかに記載の方法が実行される。
本開示の別の態様によれば、コンピュータプログラムをさらに提供し、前記コンピュータプログラムにおける命令が実行された場合に、本出願の実施例のいずれかに記載の方法が実行される。
本出願の技術によれば、ビデオコーディングプロセスを最適化し、コーディング時間の冗長性を削減する。
なお、発明の概要に記載された内容は、本開示の実施例の肝心又は重要な特徴を限定することを意図するものではなく、本開示の範囲を限定することを意図するものでもない。本開示の他の特徴は、以下の説明によって容易に理解されやすくなる。
図面は、本技術案をより理解するために使用されており、本出願を限定するものではない。
本出願の実施例に係るビデオコーディング方法のフローチャートである。 本出願の実施例に係るもう1つのビデオコーディング方法のフローチャートである。 本出願の実施例に係るもう1つのビデオコーディング方法のフローチャートである。 本出願の実施例に係るビデオコーディング装置の概略構造図である。 本出願の実施例のビデオコーディング方法を実現するための電子機器のブロック図である。
以下、図面と組み合わせて本出願の例示的な実施例を説明し、理解を容易にするためにその中には本出願の実施例の様々な詳細事項を含んでおり、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本出願の範囲及び趣旨から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができることを認識されたい。同様に、明確及び簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。
本出願の実施例によれば、本出願はビデオコーディング方法を提供する。
図1に示すように、本出願の実施例によりビデオコーディング方法のフローチャートである。本出願の実施例は、ビデオをコーディングする場合に適用することができ、当該方法は、ビデオコーディング装置によって実行することができ、当該装置は、ソフトウェア及び/又はハードウェアの方式を採用して実現することができ、一般的にコンピュータ、携帯電話などの電子装置に集積することができる。
具体的に、図1を参照して、当該方法は、具体的に以下のようなステップを含む。
S110:コーディング対象のビデオに関連付けられる目標画像グループにおける目標画像フレームの推定量子化パラメータを決定する。
本実施例において、コーディング対象のビデオは、複数の画像グループを含み、各画像グループは、複数の画像フレームを含み、各画像フレームは、複数の画像グロックを含む。目標画像グループは、実際のコーディング前の先読み(lookahead)プロセス中に現在処理されている画像グループであってもよい。
従来の技術において、HEVCエンコーダは、Iフレームをマークとしてビデオシーケンスを複数のGOP(Group of Pictures、画像グループ)に分割し、各GOPは、Pフレームをマークとして複数のミニ画像グループ(MiniGOP)に分割されることができる。ここで、本実施例に関する画像グループは、MiniGOPであってもよい。
実際のコーディング前の先読みプロセス中のアルゴリズムにおいて、複数のビデオ処理アルゴリズムを含むことができ、ここで、伝播アルゴリズムは、MiniGOPコーディング構造に応じてフレーム間の参照関係を決定し、動きの推定によって具体的なブロック間の参照関係を決定し、画像グループを単位として、ブロック参照関係に応じてエネルギーを参照ブロックに伝播する。ここで、伝播エネルギー量は、現在の画像ブロックのフレーム内コーディングのコスト値に受信されたエネルギーを加えたものであり、エネルギー伝播比率は、フレーム間予測のコスト値とフレーム内予測のコスト値の比率である。現在のMiniGOPにおいて、ある画像ブロックが受信するエネルギーが多いほど、他の画像ブロックから参照されるエネルギーが多くなることを説明するため、最後の実際のコーディング時に当該ブロックのコードレートを向上させることができる。
CU-TREEアルゴリズムのような一部の伝播アルゴリズムでは、参照程度は、入力ビデオにおいて算出されるため、計算時に、デフォルトでコードレートの影響を受けない。しかしながら、実際にはほとんどの場合、コードレートが高いほど、SKIPブロックの比率が低くなり、画像ブロックが参照画像ブロックを参照する回数が少なくなり、コードレートが低いほど、SKIPブロックの比率が高くなり、画像ブロックが参照画像ブロックを参照する回数が多くなる。したがって、コードレートが参照程度に与える影響を考慮せず、フレーム間予測のコスト値とフレーム内予測のコスト値との比率のみに依存してエネルギー伝播比率を算出すると、最終的に推定された画像ブロックの参照画像ブロックに対する参照程度は、実際のコーディング場合の参照程度よりも低くなり、コーディング時間の冗長性を十分に削減することはできない。
また、現在の伝播アルゴリズムは、フレーム内予測のコスト値及びフレーム間予測のコスト値が非常に小さい場合に計算効果が良くない。具体的に、この場合に、画像ブロックは、単純なブロックであり、参照画像ブロックに対するその変化が大きくない。実際のモード選択において、バルクSKIPモードでコーディングすることは、容易であり、これは、当該画像ブロックが参照画像ブロックに完全に依存するのと同じである。しかしながら、伝播アルゴリズムにおいて、フレーム内予測のコスト値も非常に小さいので、そのフレーム間予測のコスト値とフレーム内予測のコスト値との比率は、必ずしも小さくなるとは限らず、すなわち、最終的に推定された画像ブロックの参照画像ブロックに対する参照程度は、実際のコーディングの場合の参照程度よりも低いため、コーディング時間の冗長性を十分に削減することはできない。
上記問題に対して、本実施例は、コードレート及び画像内容に応じて画像ブロックの参照画像ブロックに対する参照関係を算出し、コードレート及び画像内容という2つの影響要因を組み合わせて考慮し、コーディング時間の冗長性をさらに削減し、コードレートを節約する。ここで、コードレートは、フレーム推定量子化パラメータによって特徴付けることができ、画像内容は、フレーム間の画像の変化程度によって特徴付けることができる。
例示的に、フレーム量子化パラメータがコードレートに直接関係するため、目標画像グループにおける目標画像フレームの推定量子化パラメータを決定する方法は、プリセットコードレート制御方式で、目標MiniGOP内のフレーム量子化パラメータを推定することを含むが、これに限定されない。ここで、プリセットコードレート制御方式は、例えば、CRF(Constant Rate Factor、固定コードレート係数)又はABR(Average Bitrate、平均ビットレート)であってもよい。具体的に、プリセットコードレート制御方式は、目標画像グループの前に処理され、前の画像グループで使用されたコードレート制御方式であってもよく、本実施例は、前の画像グループにおける各画像フレームをコードレートによって制御して取得された実際の量子化パラメータの平均値を目標画像グループにおける各画像フレームの推定量子化パラメータとすることができる。
S120:目標画像グループのフレーム間の画像の変化程度を決定する。
本実施例において、フレーム間の画像の変化程度は、目標画像グループに含まれる各画像フレーム間の画像内容の変化情況を測定するための指標であってもよく、すなわち、目標画像グループにおけるシーンの動きの激しさを特徴付けることができる。
選択可能な一実施形態において、目標画像グループのフレーム間の画像の変化程度を決定するステップは、具体的に、目標画像グループにおける目標画像フレームの数量、及び目標画像グループのフレーム内ブロックの比率値に応じて、目標画像グループのフレーム間の画像の変化程度を決定するステップを含む。
具体的に、目標画像グループに含まれる画像フレームの数量が、設定された数量閾値より大きく、かつフレーム内ブロック比率が設定された比率閾値より小さいことが決定された場合、目標画像グループのフレーム間の画像の変化程度が小さいと決定することができ、そうでない場合、目標画像グループのフレーム間の画像の変化程度が大きいとを決定する。
ここで、フレーム内ブロック比率は、目標画像グループにおけるフレーム内予測を使用する画像ブロックの数量と、フレーム間予測を使用する画像ブロックの数量との比率である。
目標画像グループにおける目標画像フレームの数量、及び目標画像グループのフレーム内ブロック比率を使用して、目標画像グループのフレーム間の画像の変化程度を決定することは、目標画像グループにおける各画像フレーム間の画像変化情況をより包括的かつ正確に反映することができ、当該フレーム間の画像の変化程度によって決定される目標画像ブロックの参照画像ブロックに対する伝播比率をより正確にすることができ、ビデオコーディング時間の冗長性を削減し、コードレートを節約するという有益な効果を有する。
S130:目標画像フレームの推定量子化パラメータ及び目標画像グループのフレーム間の画像の変化程度に応じて、目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する伝播比率を決定する。
例示的に、まず目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する伝播比率を大まかに推定し、次に目標画像フレームの推定量子化パラメータ及び目標画像グループのフレーム間の画像の変化程度に応じて、大まかに推定して取得された伝播比率を調整して、より正確な伝播比率を取得することができる。ここで、目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する伝播比率を大まかに推定する方式は、フレーム間予測のコスト値とフレーム内予測のコスト値の比率を調整待ち伝播比率とすることを含むが、これに限定されない。
S140:伝播比率に応じて、コーディング対象のビデオをコーディングする。
本実施例において、予め設定された伝播アルゴリズムを使用して、当該伝播比率によって、コーディング対象のビデオをコーディングすることができる。ここで、予め設定された伝播アルゴリズムは、CU-Treeアルゴリズムを含むが、これに限定されない。
具体的に、予め設定された伝播アルゴリズムに基づいて、伝播比率に従ってエネルギー伝播を行い、目標画像グループにおける各画像ブロックに対応する受信エネルギーを決定し、当該受信エネルギーに応じて各画像ブロックの量子化パラメータオフセットを決定し、各画像ブロックが属する画像フレームの推定量子化パラメータに基づいて、各画像ブロックの量子化パラメータオフセットを加え、各画像ブロックに対応する量子化パラメータを取得することができ、後続の実際のコーディングプロセスにおいて、目標画像グループにおける各画像ブロックに対応する量子化パラメータを参照してコーディングすることができる。上記プロセスは、コーディング対象のビデオに含まれるすべての画像グループに対して実行され、コーディング対象のビデオのコーディングプロセスを実現することができる。
本実施例の技術案によれば、コーディング対象のビデオに関連付けられる目標画像グループにおける目標画像フレームの推定量子化パラメータを決定し、当該目標画像グループのフレーム間の画像の変化程度を決定し、目標画像フレームの推定量子化パラメータ及び目標画像グループのフレーム間の画像の変化程度に応じて、目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する伝播比率を決定し、最後に伝播比率に応じて、コーディング対象のビデオをコーディングすることによって、従来の技術における不十分なコーディング時間の冗長性の問題を解決し、ビデオコーディングプロセスを最適化し、ビデオコーディング時間の冗長性を削減し、コードレートを節約する効果を達成する。
本出願の実施例によれば、本出願は、ビデオコーディング方法をさらに提供する。
図2に示すように、本出願の実施例に係るもう1つのビデオコーディング方法のフローチャートである。本実施例は、上記任意の実施例を細分化し、目標画像フレームの推定量子化パラメータ及び目標画像グループのフレーム間の画像の変化程度に応じて、目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する伝播比率を決定するステップを、目標画像フレームの推定量子化パラメータに応じて、目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する依存程度を決定するステップと、目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する依存程度、及び目標画像グループのフレーム間の画像の変化程度に応じて、目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する伝播比率を決定するステップと、を含むステップに細分化する。
具体的に、図2を参照して、本方法は、具体的に以下のようなステップを含む。
S210:コーディング対象のビデオに関連付けられる目標画像グループにおける目標画像フレームの推定量子化パラメータを決定する。
S220:目標画像グループのフレーム間の画像の変化程度を決定する。
S230:目標画像フレームの推定量子化パラメータに応じて、目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する依存程度を決定する。
本実施例において、目標画像フレームは、目標画像グループにおける現在処理されている画像フレームであってもよい。ここで、推定量子化パラメータは、目標画像フレームにおける伝播比率を上げる必要がある画像ブロックの数量を決定することに用いられることができる。コードレートが低い、すなわち画像フレームの推定量子化パラメータが高い場合、予め設定された依存程度条件を満たす画像ブロックが多くなり、目標画像フレームにおける調整する必要がある画像ブロックも多くなり、コードレートが高い、すなわち画像フレームの推定量子化パラメータが低い場合、予め設定された依存程度条件を満たす画像ブロックが少なくなり、目標画像フレームにおける調整する必要がある画像ブロックも少なくなる。
選択可能な一実施形態において、目標画像フレームの推定量子化パラメータに応じて、目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する依存程度を決定するステップは、具体的に、目標画像フレームの推定量子化パラメータに応じて、フレーム間コスト閾値を決定するステップと、目標画像フレームにおける目標画像ブロックのフレーム間予測コスト値及びフレーム間コスト閾値に応じて、目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する依存程度を決定するステップと、を含むことができる。
ここで、フレーム間コスト閾値は、目標画像フレームの推定量子化パラメータに応じて、予め設定された閾値関数によって生成されるものであり、閾値関数は、多項式関数であり、関数のパラメータは、複数のビデオシーケンスから得られた結果をフィッティングすることによって決定される。
例示的に、目標画像ブロックのフレーム間予測コスト値は、フレーム間コスト閾値より小さいことが決定された場合、目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する依存程度が大きいと決定し、そうでない場合、目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する依存程度が小さいと決定する。
目標画像フレームの推定量子化パラメータで決定されたフレーム間コスト閾値によって、目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する依存程度を判定することは、コードレートに応じて、目標画像フレームにおける参照画像ブロックに強く依存する目標画像ブロックの数量を動的に決定でき、これらの目標画像ブロックの伝播比率を上げることによって、コーディング時間の冗長性をさらに削減できるという有益な効果を有する。
S240:目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する依存程度、及び目標画像グループのフレーム間の画像の変化程度に応じて、目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する伝播比率を決定する。
例示的に、目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する依存程度、及び目標画像グループのフレーム間の画像の変化程度によって、フレーム間予測コスト値とフレーム内予測コスト値との比率を直接使用して算出された伝播比率を調整及び更新し、より正確な伝播比率を生成することができる。
選択可能な一実施形態において、目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する依存程度、及び目標画像グループのフレーム間の画像の変化程度に応じて、目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する伝播比率を決定するステップは、具体的に、目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する依存程度、及び目標画像グループのフレーム間の画像の変化程度に応じて、伝播比率の調整方式を決定するステップと、調整方式に応じて、予め設定された伝播比率の調整量に基づいて、目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する伝播比率を調整するステップと、を含むことができる。
ここで、調整方式は、伝播比率を増加させることであってもよい。具体的に、目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する依存程度が大きい、かつ目標画像グループのフレーム間画像の変化程度が低いことが決定された場合、目標画像ブロックの参照画像ブロックに対する参照程度は、大きいことが表され、目標画像ブロックの参照画像ブロックに対する伝播比率を増加させることができ、すなわち予め設定された伝播比率の調整量に基づいて、目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する伝播比率を増加させる。ここで、伝播比率の調整量は、複数のビデオシーケンスから得られた結果をフィッティングすることによって取得することができる。
このように設定すると、伝播比率に影響を与えるコードレートと画像シーンの動きの激しさ度によって、伝播比率を最適化し、より正確な伝播比率を取得することができ、ビデオコーディング時間の冗長性を効果的に低減し、全体のコードレートを低減し、同じ知覚品質で、コードレートを約10%節約することができる。
S250:伝播比率に応じて、コーディング対象のビデオをコーディングする。
本実施例の技術案によれば、上記実施例に基づいて、目標画像フレームの推定量子化パラメータに応じて、目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する依存程度を決定し、目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する依存程度、及び目標画像グループのフレーム間の画像の変化程度に応じて、目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する伝播比率を決定することによって、当該伝播比率を用いてビデオコーディングを行い、コードレート及び画像シーンの動きの激しさが伝播比率に与える影響によって、ビデオコーディング時間の冗長性を効果的に低減し、コードレートを節約する。
本出願の実施例によれば、本出願は、ビデオコーディング方法をさらに提供する。
図3に示すように、本出願の実施例に係るもう1つのビデオコーディング方法のフローチャートである。本実施例は、上記任意の実施例を細分化し、伝播比率に応じて、コーディング対象のビデオをコーディングするステップを、伝播アルゴリズムに基づいて、伝播比率に従って目標画像ブロックの量子化パラメータを決定するステップと、目標画像ブロックの量子化パラメータに応じて、コーディング対象のビデオをコーディングするステップと、を含むステップに細分化する。
具体的に、図3を参照して、本方法は、具体的に以下のようなステップを含む。
S310:コーディング対象のビデオに関連付けられる目標画像グループにおける目標画像フレームの推定量子化パラメータを決定する。
S320:目標画像グループのフレーム間の画像の変化程度を決定する。
S330:目標画像フレームの推定量子化パラメータ及び目標画像グループのフレーム間の画像の変化程度に応じて、目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する伝播比率を決定する。
S340:伝播アルゴリズムに基づいて、伝播比率に従って目標画像ブロックの量子化パラメータを決定する。
本実施例において、伝播アルゴリズムは、例えば、CU-Treeアルゴリズムであってもよく、目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する伝播比率を取得した後、当該伝播比率に従って目標画像ブロックの量子化パラメータを決定することができる。ここで、目標画像ブロックの量子化パラメータは、属する画像フレームの推定量子化パラメータ及び当該目標画像ブロックの量子化パラメータオフセットに基づいて取得することができる。具体的に、目標画像ブロックの量子化パラメータ=前記画像フレームの推定量子化パラメータ+目標画像ブロックの量子化パラメータオフセット。各フレームの画像には、基本的な量子化パラメータがあり、各画像ブロックには、独立したオフセットがあり、CU-Treeアルゴリズムについて、取得された画像ブロックの量子化パラメータオフセットは、すべて負の数である。
選択可能な一実施形態において、伝播アルゴリズムに基づいて、伝播比率に従って目標画像ブロックの量子化パラメータを決定するステップは、具体的に、伝播比率に従ってCU-Treeエネルギー伝播を行い、目標画像ブロックの受信エネルギーを取得するステップと、目標画像グループのフレーム間の画像の変化程度に応じて、目標画像ブロックの受信エネルギーを目標画像ブロックの量子化パラメータオフセットに変換するステップと、目標画像ブロックの量子化パラメータオフセット及び目標画像ブロックが属する目標画像フレームの推定量子化パラメータに応じて、目標画像ブロックの量子化パラメータを決定するステップと、を含むことができる。
ここで、画像ブロックが受信するエネルギーが多いほど、他の画像ブロックから参照されるエネルギーが多くなることが表明され、これに基づいて、目標画像ブロックの受信エネルギーを目標画像ブロックの量子化パラメータオフセットに変換することができる。具体的に、本実施例において、受信エネルギーを量子化パラメータオフセット値に変換しながら、シーンの動きの激しさの要因を追加し、すなわち目標画像グループのフレーム間の画像の変化程度に応じて、エネルギー変換を行う。具体的に、量子化パラメータオフセットは、各画像ブロックの量子化パラメータを調整することに用いられることによって、量子化パラメータの高い画像ブロックは、コーディング時に詳細度が低く、量子化パラメータの低い画像ブロックは、コーディング時に詳細度が高い。
目標画像グループのフレーム間の画像の変化程度によって、受信エネルギーを量子化パラメータオフセット値に変換することは、シーンの動きの激しさの影響を考慮することができ、動きが激しい場合に画像ブロックのその参照画像ブロックに対する参照程度を低減し、動きが静止している場合に画像ブロックのその参照画像ブロックに対する参照程度を増加させ、これにより、各画像ブロックの高速量子化パラメータ値の正確性を向上させ、画像の品質を確保しながら、コーディング時間の冗長性を削減するという利点を有する。
選択可能に、目標画像グループのフレーム間の画像の変化程度に応じて、目標画像ブロックの受信エネルギーを目標画像ブロックの量子化パラメータオフセットに変換するステップは、具体的に、目標画像グループのフレーム間の画像の変化程度に応じて、パラメータオフセット強度を決定するステップと、パラメータオフセット強度に基づいて、目標画像ブロックの受信エネルギーを目標画像ブロックの量子化パラメータオフセットに変換するステップと、を含むことができる。
具体的には、QP_offset=(-1)*強度*log(1+エネルギー/IntraCost)という式に基づき、受信エネルギーを量子化パラメータオフセット値に変換することができる。ここで、QP_offsetは、目標画像ブロックの量子化パラメータオフセットであり、IntraCostは、フレーム内予測コストであり、強度は、パラメータオフセット強度であり、エネルギーは、目標画像ブロックの受信エネルギーであり、強度値の初期値は、経験に応じて設定されたデフォルト値であってもよい。
例示的に、目標画像グループのフレーム間の画像の変化程度が大きい場合、すなわち動きが激しい場合、上記式の強度値を上げ、目標画像グループのフレーム間の画像の変化程度が小さい場合、すなわち動きが静止している場合、上記式の強度値を下げ、調節幅は、複数のビデオシーケンスの調節結果をフィッティングすることによって取得することができる。
目標画像グループのフレーム間の画像の変化程度に応じて、パラメータオフセット強度を決定して、量子化パラメータオフセット幅を変更する方式は、動きが激しい場合に画像ブロックのその参照画像ブロックに対する参照程度を低減し、動きが静止している場合に画像ブロックのその参照画像ブロックに対する参照程度を増加させることを実現することができ、各画像ブロックの高速量子化パラメータ値の正確性を向上させ、画像の品質を確保しながら、コーディング時間の冗長性を削減するという有益な効果を有する。
S350:目標画像ブロックの量子化パラメータに応じて、コーディング対象のビデオをコーディングする。
目標画像ブロックの量子化パラメータを取得した後、類推により、目標画像グループに含まれる各画像ブロックの量子化パラメータを決定し、次に画像グループを単位として、後続の正式なコーディングプロセスを行い、コーディング対象のビデオに関連付けられるすべての画像グループのコーディングを完成するまで、正式なコーディングプロセス中に各画像ブロックの量子化パラメータに基づいてコーディングし、コーディング対象のビデオに対するコーディングプロセスを実現する。
本実施例の技術案によれば、上記実施例に基づいて、目標画像ブロックの量子化パラメータを決定するプロセスにおいて、画像グループにおける画像の変化程度の要因を包括的に考慮し、最終的に取得された画像ブロックの量子化パラメータ値をより正確にして、ビデオコーディング時間の冗長性をさらに削減し、コードレートを節約する。
本出願の実施例によれば、本出願は、ビデオコーディング装置をさらに提供する。
図4に示すように、本出願の実施例に係るビデオコーディング装置の概略構造図である。当該装置は、ソフトウェア及び/又はハードウェアの方式を採用して実現することができ、本出願の任意の実施例に記載のビデオコーディング方法を実行する。具体的には、ビデオコーディング装置400は、量子化パラメータ推定モジュール401と、変化程度決定モジュール402と、伝播比率決定モジュール403と、ビデオコーディング処理モジュール404と、を含む。
ここで、ビデオコーディング装置400は、目標画像グループにおける目標画像フレームの推定量子化パラメータを決定することに用いられ、ここで、前記目標画像グループは、コーディング対象のビデオに関連付けられ、
変化程度決定モジュール402は、前記目標画像グループのフレーム間の画像の変化程度を決定することに用いられ、
伝播比率決定モジュール403は、前記目標画像フレームの推定量子化パラメータ及び前記フレーム間の画像の変化程度に応じて、前記目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する伝播比率を決定することに用いられ、
ビデオコーディング処理モジュール404は、前記伝播比率に応じて、前記コーディング対象のビデオをコーディングすることに用いられる。
選択可能に、伝播比率決定モジュール403は、具体的に、
前記目標画像フレームの推定量子化パラメータに応じて、前記目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する依存程度を決定するための程度決定サブモジュールと、
前記目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する依存程度、及び前記目標画像グループのフレーム間の画像の変化程度に応じて、前記目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する伝播比率を決定するための比率決定サブモジュールと、を含むことができる。
選択可能に、前記比率決定サブモジュールは、具体的に、
前記目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する依存程度、及び前記目標画像グループのフレーム間の画像の変化程度に応じて、前記伝播比率の調整方式を決定するための方式決定ユニットと、
前記調整方式に応じて、予め設定された伝播比率の調整量に基づいて、前記目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する伝播比率を調整するための比率調整ユニットと、を含むことができる。
選択可能に、前記程度決定サブモジュールは、具体的に、
前記目標画像フレームの推定量子化パラメータに応じて、フレーム間のコスト閾値を決定するための閾値決定ユニットと、
前記目標画像フレームにおける目標画像ブロックのフレーム間の予測コスト値及び前記フレーム間のコスト閾値に応じて、前記目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する依存程度を決定するためのコスト比較ユニットと、を含むことができる。
選択可能に、変化程度決定モジュール402は、具体的に、
前記目標画像グループにおける目標画像フレームの数量、及び前記目標画像グループのフレーム内ブロックの比率値に応じて、前記目標画像グループのフレーム間の画像の変化程度を決定することに用いられることができる。
選択可能に、ビデオコーディング処理モジュール404は、具体的に、
伝播アルゴリズムに基づいて、前記伝播比率に従って前記目標画像ブロックの量子化パラメータを決定するためのパラメータ決定サブモジュールと、
前記目標画像ブロックの量子化パラメータに応じて、前記コーディング対象のビデオをコーディングするためのビデオコーディングサブモジュールと、を含むことができる。
選択可能に、前記パラメータ決定サブモジュールは、具体的に、
前記伝播比率に従ってCU-Treeエネルギー伝播を行い、前記目標画像ブロックの受信エネルギーを取得するためのエネルギー受信ユニットと、
前記目標画像グループのフレーム間の画像の変化程度に応じて、前記目標画像ブロックの受信エネルギーを前記目標画像ブロックの量子化パラメータオフセットに変換するためのエネルギー変換ユニットと、
前記目標画像ブロックの量子化パラメータオフセット及び前記目標画像ブロックが属する目標画像フレームの推定量子化パラメータに応じて、前記目標画像ブロックの量子化パラメータを決定するためのパラメータ決定ユニットと、を含むことができる。
選択可能、前記エネルギー変換ユニットは、具体的に、
前記目標画像グループのフレーム間の画像の変化程度に応じて、パラメータオフセット強度を決定するための強度決定サブユニットと、
前記パラメータオフセット強度に基づいて、前記目標画像ブロックの受信エネルギーを前記目標画像ブロックの量子化パラメータオフセットに変換するためのオフセット決定サブユニットと、を含むことができる。
本出願の実施例により提供されるビデオコーディング装置は、本出願の任意の実施例により提供されるビデオコーディング方法を実行することができ、実行方法に対応する機能モジュール及び有益な効果を備える。
本出願の実施例によれば、本出願は、電子機器及び読み取り可能な記憶媒体をさらに提供する。
図5は、本出願の実施例に係るビデオコーディング方法の電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、及び他の適切なコンピュータなどの様々な形式のデジタルコンピュータを表すことを目的とする。電子機器は、携帯情報端末、携帯電話、スマートフォン、ウェアラブルデバイス、他の同様のコンピューティングデバイスなどの様々な形式のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は、単なる例であり、本明細書の説明及び/又は要求される本出願の実現を制限することを意図したものではない。
図5に示すように、当該電子機器は、1つ又は複数のプロセッサ501と、メモリ502と、高速インターフェースと低速インターフェースを含む各コンポーネントを接続するためのインターフェースと、を含む。各コンポーネントは、異なるバスで相互に接続され、共通のマザーボードに取り付けられるか、又は必要に応じて他の方式で取り付けることができる。プロセッサは、外部入力/出力装置(インターフェースに結合されたディスプレイデバイスなど)にGUIの図形情報をディスプレイするためにメモリに記憶されている命令を含む、電子機器内に実行される命令を処理することができる。他の実施形態では、必要であれば、複数のプロセッサ及び/又は複数のバスを、複数のメモリと複数のメモリとともに使用することができる。同様に、複数の電子機器を接続することができ、各電子機器は、部分的な必要な操作(例えば、サーバアレイ、ブレードサーバ、又はマルチプロセッサシステムとする)を提供することができる。図5では、1つのプロセッサ501を例とする。
メモリ502は、本出願により提供される非一時的なコンピュータ読み取り可能な記憶媒体である。ここで、前記メモリには、前記少なくとも1つのプロセッサが本出願により提供されるビデオコーディング方法を実行するように、少なくとも1つのプロセッサによって実行可能な命令が記憶されている。本出願の非一時的なコンピュータ読み取り可能な記憶媒体は、コンピュータに本出願が提供するビデオコーディング方法を実行させるためのコンピュータ命令が記憶されている。
メモリ502は、非一時的なコンピュータ読み取り可能な記憶媒体として、本出願の実施例におけるビデオコーディング方法に対応するプログラム命令/モジュール(例えば、図4に示す量子化パラメータ推定モジュール401、変化程度決定モジュール402、伝播比率決定モジュール403、及びビデオコーディング処理モジュール404)ような非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュールを記憶するために用いられる。プロセッサ501は、メモリ502に記憶されている非一時的なソフトウェアプログラム、命令及びモジュールを実行することによって、サーバの様々な機能アプリケーション及びデータ処理を実行し、すなわち上記方法の実施例におけるビデオコーディング方法を実現する。
メモリ502は、プログラム記憶領域及びデータ記憶領域を含むことができ、ここで、プログラム記憶領域は、オペレーティングシステム、少なくとも1つの機能に必要なアプリケーションプログラムを記憶することができ、データ記憶領域は、ビデオコーディング方法に基づく電子機器の使用によって作成されたデータなどを記憶することができる。また、メモリ502は、高速ランダム存取メモリを含むことができ、非一時的なメモリをさらに含むことができ、例えば、少なくとも1つのディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートストレージデバイスである。いくつかの実施例では、メモリ502は、プロセッサ501に対して遠隔に設置されたメモリを選択的に含むことができ、これらの遠隔メモリは、ネットワークを介してビデオコーディング方法の電子機器に接続されることができる。上記ネットワークの例は、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びその組み合わせを含むが、これらに限定されない。
ビデオコーディング方法の電子機器は、入力装置503と出力装置504とをさらに含むことができる。プロセッサ501、メモリ502、入力装置503、及び出力装置504は、バス又は他の方式を介して接続することができ、図5では、バスによる接続を例とする。
入力装置503は、入力された数字又は文字情報を受信することができ、及びビデオコーディング方法の電子機器のユーザ設定及び機能制御に関するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、1つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置504は、ディスプレイデバイス、補助照明デバイス(例えば、LED)、及び触覚フィードバックデバイス(例えば、振動モータ)などを含むことができる。当該ディスプレイデバイスは、液晶ディスプレイ(LCD)、発光ダイオード(LED)ディスプレイ、及びプラズマディスプレイを含むことができるが、これらに限定されない。いくつかの実施形態では、ディスプレイデバイスは、タッチスクリーンであってもよい。
本出願の実施例によれば、コンピュータプログラムが提供される。当該コンピュータプログラムにおける命令が実行された場合に、本出願の実施例のビデオコーディング方法が実行される。
本明細書で説明されるシステムと技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けASIC(特定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/又はそれらの組み合わせで実現することができる。これらの様々な実施形態は、以下を含んでも良い。1つ又は複数のコンピュータプログラムで実施されることを含むことができ、当該1つ又は複数のコンピュータプログラムは、少なくとも1つのプログラマブルプロセッサを含むプログラム可能なシステムで実行及び/又は解釈することができ、当該プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってもよく、ストレージシステム、少なくとも1つの入力装置、及び少なくとも1つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも1つの入力装置、及び当該少なくとも1つの出力装置に伝送することができる。
これらのコンピューティングプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる)は、プログラマブルプロセッサの機械命令を含んでもよく、高レベルのプロセス及び/又はオブジェクト指向プログラミング言語、及び/又はアセンブリ/機械言語でこれらのコンピューティングプログラムを実施することができる。本明細書に使用されるように、「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」という用語は、機械命令及び/又はデータをプログラマブルプロセッサに提供するために使用される任意のコンピュータプログラム製品、機器、及び/又は装置(例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス(PLD))を指し、機械読み取り可能な信号である機械命令を受信する機械読み取り可能な媒体を含む。「機械読み取り可能な信号」という用語は、機械命令及び/又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。
ユーザとのインタラクションを提供するために、ここで説明されているシステム及び技術をコンピュータ上で実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置(例えば、CRT(陰極線管)又はLCD(液晶ディスプレイ)モニタ)と、キーボード及びポインティングデバイス(例えば、マウス又はトラックボール)とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置は、ユーザとのインタラクションを提供するために用いられることもでき、例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック(例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック)であってもよく、任意の形式(音響入力と、音声入力と、触覚入力とを含む)でユーザからの入力を受信することができる。
ここで説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム(例えば、データサーバとする)、又はミドルウェアコンポーネントを含むコンピューティングシステム(例えば、アプリケーションサーバ)、又はフロントエンドコンポーネントを含むコンピューティングシステム(例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションする)、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施することができる。任意の形式又は媒体のデジタルデータ通信(例えば、通信ネットワーク)によってシステムのコンポーネントを相互に接続されることができる。通信ネットワークの例は、ローカルエリアネットワーク(LAN)と、ワイドエリアネットワーク(WAN)と、インターネットとを含む。
コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントは、スマートフォン、タブレット、ラップトップ、デスクトップコンピュータ、スマートスピーカ、スマートウォッチなどであることができるが、これに限定されない。サーバは、独立した物理サーバ、サーバクラスタ、複数の物理サーバで構成されるサーバクラスタ又は分散システム、クラウドコンピューティング、クラウドサービス、クラウドデータベース、クラウドストレージなどの基本的なクラウドコンピューティングサービスを提供するクラウドサーバでもよい。クライアントとサーバは、一般的に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、互いにクライアント-サーバ関係を有するコンピュータプログラムによってクライアントとサーバとの関係が生成される。
本出願の実施例の技術案によれば、コーディング対象のビデオに関連付けられる目標画像グループにおける目標画像フレームの推定量子化パラメータを決定し、当該目標画像グループのフレーム間の画像の変化程度を決定し、目標画像フレームの推定量子化パラメータ及び目標画像グループのフレーム間の画像の変化程度に応じて、目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する伝播比率を決定し、最後に伝播比率に応じて、コーディング対象のビデオをコーディングすることによって、従来の技術における不十分なコーディング時間の冗長性の問題を解決し、ビデオコーディングプロセスを最適化し、ビデオコーディング時間の冗長性を削減し、コードレートを節約するという効果を達成する。
上記に示される様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除することができることを理解されたい。例えば、本出願に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本出願で開示されている技術案の所望の結果を実現することができれば、本明細書では、限定されない。
上記具体的な実施形態は、本出願に対する保護範囲を制限するものではない。当業者は、設計要件と他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。任意の本出願の趣旨と原則内で行われる修正、同等の置換、及び改善などは、いずれも本出願の保護範囲内に含まれなければならない。

Claims (15)

  1. ビデオコーディング方法であって、
    コーディング対象のビデオに関連付けられる目標画像グループにおける目標画像フレームの推定量子化パラメータを決定するステップと、
    前記目標画像グループのフレーム間の画像の変化程度を決定するステップと、
    前記目標画像フレームの推定量子化パラメータに応じて、前記目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する依存程度を決定するステップと、
    前記目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する依存程度、及び前記目標画像グループのフレーム間の画像の変化程度に応じて、前記目標画像フレームにおける目標画像ブロックの参照画像ブロックに対するエネルギー伝播比率を決定するステップと、
    予め設定された伝播アルゴリズムを使用して、前記エネルギー伝播比率に従って前記目標画像ブロックの量子化パラメータを決定するステップと、
    前記目標画像ブロックの量子化パラメータに応じて、前記コーディング対象のビデオをコーディングするステップと、を含む、
    ことを特徴とするビデオコーディング方法。
  2. 前記目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する依存程度、及び前記目標画像グループのフレーム間の画像の変化程度に応じて、前記目標画像フレームにおける目標画像ブロックの参照画像ブロックに対するエネルギー伝播比率を決定する前記ステップは、
    前記目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する依存程度、及び前記目標画像グループのフレーム間の画像の変化程度に応じて、前記エネルギー伝播比率の調整方式を決定するステップと、
    前記調整方式に応じて、予め設定されたエネルギー伝播比率の調整量に基づいて、前記目標画像フレームにおける目標画像ブロックの参照画像ブロックに対するエネルギー伝播比率を調整するステップと、を含む、
    ことを特徴とする請求項1に記載のビデオコーディング方法。
  3. 前記目標画像フレームの推定量子化パラメータに応じて、前記目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する依存程度を決定する前記ステップは、
    前記目標画像フレームの推定量子化パラメータに応じて、フレーム間のコスト閾値を決定するステップと、
    前記目標画像フレームにおける目標画像ブロックのフレーム間の予測コスト値及び前記フレーム間のコスト閾値に応じて、前記目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する依存程度を決定するステップと、を含む、
    ことを特徴とする請求項1または2に記載のビデオコーディング方法。
  4. 前記目標画像グループのフレーム間の画像の変化程度を決定する前記ステップは、
    前記目標画像グループにおける目標画像フレームの数量、及び前記目標画像グループのフレーム内ブロックの比率値に応じて、前記目標画像グループのフレーム間の画像の変化程度を決定するステップを含む、
    ことを特徴とする請求項1または2に記載のビデオコーディング方法。
  5. 予め設定された伝播アルゴリズムを使用して、前記エネルギー伝播比率に従って前記目標画像ブロックの量子化パラメータを決定する前記ステップは、
    CU-Treeアルゴリズムを使用して、前記エネルギー伝播比率に従って前記目標画像ブロックに対してエネルギー伝播を行い、前記目標画像ブロックの受信エネルギーを取得するステップと、
    前記目標画像グループのフレーム間の画像の変化程度に応じて、前記目標画像ブロックの受信エネルギーを前記目標画像ブロックの量子化パラメータオフセットに変換するステップと、
    前記目標画像ブロックの量子化パラメータオフセット、及び前記目標画像ブロックが属する目標画像フレームの推定量子化パラメータに応じて、前記目標画像ブロックの量子化パラメータを決定するステップと、を含む、
    ことを特徴とする請求項1に記載のビデオコーディング方法。
  6. 前記目標画像グループのフレーム間の画像の変化程度に応じて、前記目標画像ブロックの受信エネルギーを前記目標画像ブロックの量子化パラメータオフセットに変換する前記ステップは、
    前記目標画像グループのフレーム間の画像の変化程度に応じて、パラメータオフセット強度を決定するステップと、
    前記パラメータオフセット強度に基づいて、前記目標画像ブロックの受信エネルギーを前記目標画像ブロックの量子化パラメータオフセットに変換するステップと、を含む、
    ことを特徴とする請求項5に記載のビデオコーディング方法。
  7. ビデオコーディング装置であって、
    コーディング対象のビデオに関連付けられる目標画像グループにおける目標画像フレームの推定量子化パラメータを決定するための量子化パラメータ推定モジュールと、
    前記目標画像グループのフレーム間の画像の変化程度を決定するための変化程度決定モジュールと、
    程度決定サブモジュールと比率決定サブモジュールとを含むエネルギー伝播比率決定モジュールであって、前記程度決定サブモジュールが、前記目標画像フレームの推定量子化パラメータに応じて、前記目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する依存程度を決定し、前記比率決定サブモジュールが、前記目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する依存程度、及び前記目標画像グループのフレーム間の画像の変化程度に応じて、前記目標画像フレームにおける目標画像ブロックの参照画像ブロックに対するエネルギー伝播比率を決定するエネルギー伝播比率決定モジュールと、
    パラメータ決定サブモジュールとビデオコーディングサブモジュールとを含むビデオコーディング処理モジュールであって、前記パラメータ決定サブモジュールが、予め設定された伝播アルゴリズムに基づいてを使用して、前記エネルギー伝播比率に従って前記目標画像ブロックの量子化パラメータを決定し、前記ビデオコーディングサブモジュールが、前記目標画像ブロックの量子化パラメータに応じて、前記コーディング対象のビデオをコーディングするビデオコーディング処理モジュールと、を含む、
    ことを特徴とするビデオコーディング装置。
  8. 前記比率決定サブモジュールは、
    前記目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する依存程度、及び前記目標画像グループのフレーム間の画像の変化程度に応じて、前記エネルギー伝播比率の調整方式を決定するための方式決定ユニットと、
    前記調整方式に応じて、予め設定されたエネルギー伝播比率の調整量に基づいて、前記目標画像フレームにおける目標画像ブロックの参照画像ブロックに対するエネルギー伝播比率を調整するための比率調整ユニットと、を含む、
    ことを特徴とする請求項7に記載のビデオコーディング装置。
  9. 前記程度決定サブモジュールは、
    前記目標画像フレームの推定量子化パラメータに応じて、フレーム間のコスト閾値を決定するための閾値決定ユニットと、
    前記目標画像フレームにおける目標画像ブロックのフレーム間予測のコスト値及び前記フレーム間のコスト閾値に応じて、前記目標画像フレームにおける目標画像ブロックの参照画像ブロックに対する依存程度を決定するためのコスト比較ユニットと、を含む、
    ことを特徴とする請求項7または8に記載のビデオコーディング装置。
  10. 前記変化程度決定モジュールは、
    前記目標画像グループにおける目標画像フレームの数量、及び前記目標画像グループのフレーム内ブロックの比率値に応じて、前記目標画像グループのフレーム間の画像の変化程度を決定することに用いられる、
    ことを特徴とする請求項7または8に記載のビデオコーディング装置。
  11. 前記パラメータ決定サブモジュールは、
    CU-Treeアルゴリズムを使用して、前記エネルギー伝播比率に従って前記目標画像ブロックに対してエネルギー伝播を行い、前記目標画像ブロックの受信エネルギーを取得するためのエネルギー受信ユニットと、
    前記目標画像グループのフレーム間の画像の変化程度に応じて、前記目標画像ブロックの受信エネルギーを前記目標画像ブロックの量子化パラメータオフセットに変換するためのエネルギー変換ユニットと、
    前記目標画像ブロックの量子化パラメータオフセット及び前記目標画像ブロックが属する目標画像フレームの推定量子化パラメータに応じて、前記目標画像ブロックの量子化パラメータを決定するためのパラメータ決定ユニットと、を含む、
    ことを特徴とする請求項7に記載のビデオコーディング装置。
  12. 前記エネルギー変換ユニットは、
    前記目標画像グループのフレーム間の画像の変化程度に応じて、パラメータオフセット強度を決定するための強度決定サブユニットと、
    前記パラメータオフセット強度に基づいて、前記目標画像ブロックの受信エネルギーを前記目標画像ブロックの量子化パラメータオフセットに変換するためのオフセット決定サブユニットと、を含む、
    ことを特徴とする請求項11に記載のビデオコーディング装置。
  13. 電子機器であって、
    少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサと通信可能に接続されるメモリと、を含み、
    前記メモリには、前記少なくとも1つのプロセッサによって実行可能な命令が記憶されており、前記命令が実行される場合、前記少なくとも1つのプロセッサが請求項1から6のいずれかに記載のビデオコーディング方法を実行する、
    ことを特徴とする電子機器。
  14. コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ命令が実行される場合、請求項1から6のいずれかに記載のビデオコーディング方法が実行される、
    ことを特徴とする非一時的なコンピュータ読み取り可能な記憶媒体。
  15. コンピュータプログラムであって、
    前記コンピュータプログラムにおける命令が実行された場合に、請求項1から6のいずれかに記載のビデオコーディング方法が実行される、
    ことを特徴とするコンピュータプログラム。
JP2020217666A 2020-06-29 2020-12-25 ビデオコーディング方法、装置、電子機器及び記憶媒体 Active JP7101753B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010615475.7 2020-06-29
CN202010615475.7A CN111757107B (zh) 2020-06-29 2020-06-29 一种视频编码方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
JP2022013601A JP2022013601A (ja) 2022-01-18
JP7101753B2 true JP7101753B2 (ja) 2022-07-15

Family

ID=72678410

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020217666A Active JP7101753B2 (ja) 2020-06-29 2020-12-25 ビデオコーディング方法、装置、電子機器及び記憶媒体

Country Status (5)

Country Link
US (1) US11700373B2 (ja)
EP (1) EP3934249B1 (ja)
JP (1) JP7101753B2 (ja)
KR (1) KR102513346B1 (ja)
CN (1) CN111757107B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116998148A (zh) * 2021-03-23 2023-11-03 华为技术有限公司 一种编码方法及装置
CN113099241B (zh) * 2021-03-31 2022-11-01 北京百度网讯科技有限公司 参考帧列表更新方法、装置、设备以及存储介质
CN113382258B (zh) * 2021-06-10 2022-10-21 北京百度网讯科技有限公司 视频编码方法、装置、设备和介质
CN113596442B (zh) * 2021-07-07 2022-10-04 北京百度网讯科技有限公司 视频处理方法、装置、电子设备及存储介质
CN114302139B (zh) * 2021-12-10 2024-09-24 阿里巴巴(中国)有限公司 视频编码方法、视频解码方法及装置
CN115396733A (zh) * 2022-09-02 2022-11-25 上海洛塔信息技术有限公司 视频帧传输方法、装置、设备、存储介质及产品
CN115514965B (zh) * 2022-09-05 2025-04-11 北京达佳互联信息技术有限公司 视频的编码方法、装置、电子设备及存储介质
KR102611050B1 (ko) 2022-11-18 2023-12-07 주식회사 파로스마린 수냉식 열교환 시스템을 포함하는 수소 연료 전지 선외기
CN116112676A (zh) * 2023-01-17 2023-05-12 北京达佳互联信息技术有限公司 视频编码方法及装置
CN117812267B (zh) * 2023-12-20 2024-12-13 镕铭微电子(济南)有限公司 量化参数优化方法、装置、电子设备及存储介质
CN121000871B (zh) * 2025-08-14 2026-01-27 摩尔线程智能科技(北京)股份有限公司 一种视频编码方法及装置、电子设备、存储介质和计算机程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004166088A (ja) 2002-11-14 2004-06-10 Matsushita Electric Ind Co Ltd 符号量制御装置、プログラム及び記録媒体
US20080025392A1 (en) 2006-07-27 2008-01-31 Samsung Electronics Co.; Ltd Method and apparatus for controlling video encoding data rate
WO2014120960A1 (en) 2013-01-30 2014-08-07 Intel Corporation Content adaptive bitrate and quality control by using frame hierarchy sensitive quantization for high efficiency next generation video coding
CN104811696A (zh) 2015-04-17 2015-07-29 北京奇艺世纪科技有限公司 一种视频数据的编码方法和装置
US20190089957A1 (en) 2018-11-19 2019-03-21 Intel Corporation Content adaptive quantization for video coding

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040076034A (ko) * 2003-02-24 2004-08-31 삼성전자주식회사 동 영상의 가변 비트율 부호화 방법 및 장치
US7403562B2 (en) * 2005-03-09 2008-07-22 Eg Technology, Inc. Model based rate control for predictive video encoder
US20110075730A1 (en) * 2008-06-25 2011-03-31 Telefonaktiebolaget L M Ericsson (Publ) Row Evaluation Rate Control
CN103167282B (zh) * 2011-12-16 2016-09-14 中国科学院沈阳自动化研究所 一种图像压缩动态调整的在线更新方法
CN106961603B (zh) * 2017-03-07 2018-06-15 腾讯科技(深圳)有限公司 帧内编码帧码率分配方法和装置
CN107690070B (zh) * 2017-08-23 2019-11-26 南通河海大学海洋与近海工程研究院 基于无反馈码率控制的分布式视频压缩感知系统及方法
JP7041379B2 (ja) * 2018-03-06 2022-03-24 日本電信電話株式会社 符号量推定装置、符号量推定方法及び符号量推定プログラム
CN111193927B (zh) * 2018-11-14 2022-09-23 腾讯科技(深圳)有限公司 编码数据处理方法、装置、计算机设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004166088A (ja) 2002-11-14 2004-06-10 Matsushita Electric Ind Co Ltd 符号量制御装置、プログラム及び記録媒体
US20080025392A1 (en) 2006-07-27 2008-01-31 Samsung Electronics Co.; Ltd Method and apparatus for controlling video encoding data rate
WO2014120960A1 (en) 2013-01-30 2014-08-07 Intel Corporation Content adaptive bitrate and quality control by using frame hierarchy sensitive quantization for high efficiency next generation video coding
CN104811696A (zh) 2015-04-17 2015-07-29 北京奇艺世纪科技有限公司 一种视频数据的编码方法和装置
US20190089957A1 (en) 2018-11-19 2019-03-21 Intel Corporation Content adaptive quantization for video coding

Also Published As

Publication number Publication date
EP3934249A1 (en) 2022-01-05
CN111757107B (zh) 2024-03-05
KR20220001420A (ko) 2022-01-05
JP2022013601A (ja) 2022-01-18
US20210409712A1 (en) 2021-12-30
CN111757107A (zh) 2020-10-09
KR102513346B1 (ko) 2023-03-23
EP3934249B1 (en) 2025-07-30
US11700373B2 (en) 2023-07-11

Similar Documents

Publication Publication Date Title
JP7101753B2 (ja) ビデオコーディング方法、装置、電子機器及び記憶媒体
KR102611628B1 (ko) 비디오 코딩 방법, 장치, 전자 기기 및 컴퓨터 판독 가능한 저장 매체
US11582449B2 (en) Method for image encoding, electronic device and storage medium
CN115868161B (zh) 基于强化学习的速率控制
CN111757111B (zh) 视频编码方法、装置、设备和存储介质
CN115514960A (zh) 视频编码方法、装置、电子设备与存储介质
CN113422957A (zh) 视频编码中的量化方法、装置、设备和存储介质
CN114501014A (zh) 一种视频编码参数处理方法、系统、设备及存储介质
JP7589359B2 (ja) データ処理方法、装置及びコンピュータプログラム。
CN111757104B (zh) 一种图像编码方法、装置、电子设备及存储介质
CN116866658A (zh) 视频数据的处理方法、装置、设备和介质
CN115914632A (zh) 视频编码方法、解码方法、视频编解码器及计算机介质
TWI543587B (zh) 速率控制方法及系統
CN104052999A (zh) 平行编码系统中执行速率控制的方法及平行编码系统
CN111669586B (zh) 编码方法、装置、设备和计算机存储介质
CN114245127B (zh) 一种云桌面编码器的参数调整方法、装置、设备及介质
CN116708810A (zh) 视频编码方法、装置、设备及存储介质
CN118042157A (zh) 视频码流处理方法、电子设备以及程序产品
CN119893168A (zh) 数据流传输方法、装置、计算机设备及介质
WO2026007747A1 (zh) 视频编码方法、云桌面图像的编码方法以及装置
CN118042139A (zh) 数据传输方法、数据处理方法、装置及设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220520

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20220527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220705

R150 Certificate of patent or registration of utility model

Ref document number: 7101753

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250