JP7513184B2 - 映像符号化方法、映像符号化装置、及び映像符号化プログラム - Google Patents

Description

開示の技術は、映像符号化方法、映像符号化装置、及び映像符号化プログラムに関する。

従来、ディジタル映像の伝送および配信においては、ＭＥＰＧ－２、Ｈ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）やＨ．２６５／ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）といった、映像符号化国際標準で定められている映像符号化を行うことで配信時の映像データ量を削減し、多様なネットワーク環境下での高精細な映像配信を実現している。

近年、３８４０×２１６０画素の解像度を有する４Ｋ映像や、さらに４Ｋ映像の４倍の解像度の７６８０×４３２０画素の解像度を有する８Ｋ映像等の超高精細映像の放送・配信サービスの普及拡大に伴い、更なる映像の高圧縮化の目的のため、Ｈ．２６５／ＨＥＶＣの次の映像符号化国際標準としてＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）が定められている。

Ｈ．２６５／ＨＥＶＣ、及びＶＶＣ等の符号化規格では、各フレームはまずＣＴＵ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）と呼ばれる符号化基本単位に分割される。これは、ＭＰＥＧ－２やＨ．２６４／ＡＶＣにおけるＭＢ（Ｍａｃｒｏ Ｂｌｏｃｋ）に相当する。

また、各ＣＴＵは、更にＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼ばれる単位に分割される。Ｈ．２６５／ＨＥＶＣでは、各ＣＴＵは、各ノードが４つの枝に分枝されたツリー構造である再帰的な４分木ブロック分割（Ｑｕａｄ Ｔｒｅｅ：、以下、「ＱＴ分割」という。）に基づいて分割される。そのため、取りうるＣＵの大きさとして８×８、１６×１６、３２×３２、６４×６４の候補があり、各々の大きさのＣＵの組み合わせによって、ＣＴＵが構成されることとなる。そして、各ＣＵについて、更に、予測処理単位であるＰＵ（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）、変換処理単位であるＴＵ（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）が設定され、各符号化処理が行われる。

一方、ＶＶＣでは、各ＣＴＵは、４分木ブロック分割だけでなく、ブロックを水平方向、又は垂直方向に、２等分に２分割する２分木ブロック分割（Ｂｉｎａｒｙ Ｔｒｅｅ分割、以下、「ＢＴ分割」という。）、ブロックを水平方向、又は垂直方向に１：２：１の辺の比で３分割する３分木ブロック分割（Ｔｅｒｎａｒｙ Ｔｒｅｅ分割、以下「ＴＴ分割」という。）が追加されている。ＶＶＣにおけるＣＵは、ＣＴＵに対して、ＱＴ分割を再帰的に繰り返した後に生成された各ＣＵについてＢＴ分割、又はＴＵ分割を、水平方向又は垂直方向に繰り返すことで、可変サイズのＣＵに分割する。そのため、ＶＶＣにおけるＣＵの大きさは、３２×４や８×１６のように、もととなるＣＴＵをＱＴ分割、ＴＴ分割、及びＢＴ分割を組み合わせて分割した様々な大きさの長方形、及び正方形を含む多くの大きさを選択可能で、これらにＣＵの大きさの組み合わせでＣＴＵが構成される。そのため、ＶＶＣでは、ＨＥＶＣ等と比べてより符号化対象フレームの絵柄や特徴に合わせた複雑なブロック分割形状を取ることができ、高効率な符号化を行うことができる。なお、ＶＶＣでは、ＣＵ単位に予測処理、周波数変換、及び量子化等の符号化が行われる（例えば、非特許文献１）。

Jianle Chen, Yan Ye, Seung Hwan Kim, "Algorithm description for Versatile Video Coding and Test Model 5 (VTM 5)", Joint Video Experts Team (JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Geneva, CH, 19-27 Mar. 2019, VTM algorithm description (JVET-N1002-v1)

しかしながら、ＶＶＣでのブロック分割パターンは、ＨＥＶＣと比べて非常に膨大なため、エンコーダが全ての分割パターンに対して符号化若しくは簡易的な評価を行い、符号化した結果若しくは簡易的な評価を行った結果の比較を行い、ＣＵの大きさを決定していくには、膨大な処理量が必要となる。

ＣＵの大きさを決定する際に、隣接ブロックの分割結果を用いて適応的に分割形状の枝刈りをすることで分割パターンを絞り込む方法なども考えられるが、枝刈りによる処理の削減度合いは、映像に応じて判定されるそれぞれのブロックの状況により変化するため、処理量が一定にならない。また、仮に枝刈りをしていたったとしても、各ＣＵの大きさにおいてＱＴ分割、ＢＴ分割、及びＴＴ分割をそれぞれ行い、大きさの判定を行う場合、各分割パターンに応じて、画面内予測処理・変換・量子化処理等を行って、ＲＤ（Ｒａｔｅ―Ｄｉｓｔｏｒｔｉｏｎ）コストに基づく評価を行うことは、大幅な処理量の増加となる。

本発明は、このような事情に鑑みてなされたもので、原画像の特徴に応じた画面内予測モードを維持しつつ、符号化におけるブロック分割決定の処理量を削減することを目的とする。

本開示の第１態様は、画像を分割したブロック単位で画像の符号化を行う映像符号化方法であって、画像をブロックに分割し、ブロック毎に予測された画像内予測モードを取得し、少なくとも何れかのブロックと隣接しあう複数のブロックの画像内予測モードに基づく結合パターンで、複数のブロックを結合するか否かを判定して、結合すると判定された場合、結合された結合ブロック毎に予測を行う、処理をコンピュータが実行する映像符号化方法である。

本開示の第２態様は、画像を分割したブロック単位で画像の符号化を行う映像符号化装置であって、画像をブロックに分割する分割部と、ブロック毎に予測された画像内予測モードを取得する取得部と、少なくとも何れかのブロックと隣接しあう複数のブロックの画像内予測モードに基づく結合パターンで、複数のブロックを結合するか否かを判定して、結合すると判定された場合、結合された結合ブロック毎に予測を行う結合部と、を備えた映像符号化装置である。

本開示の第３態様は、画像を分割したブロック単位で画像の符号化を行う映像符号化プログラムであって、画像をブロックに分割し、ブロック毎に予測された画像内予測モードを取得し、少なくとも何れかのブロックと隣接しあう複数のブロックの画像内予測モードに基づく結合パターンで、複数のブロックを結合するか否かを判定して、結合すると判定された場合、結合された結合ブロック毎に予測を行う、処理をコンピュータに実行させるための映像符号化プログラムである。

開示の技術によれば、原画像の特徴に応じた画面内予測モードを維持しつつ、符号化におけるブロック分割決定の処理量を削減することができる。

各実施形態に係る映像を符号化する処理の説明に供する映像符号化装置の機能構成の一例を示すブロック図である。 各実施形態に係る分割の説明に供するＣＴＵの一例を示す模式図である。 各実施形態に係る分割されたＣＵの説明に供するＣＴＵの一例を示す模式図である。 各実施形態に係る画像内予測モードの一例を示す図である。 各実施形態に係る映像符号化装置のハードウェア構成の一例を示すブロック図である。 第１実施形態に係る映像符号化装置のＣＵ分割部の機能構成の一例を示すブロック図である。 第１実施形態に係る判定処理におけるデータの流れの一例を示すデータフロー図である。 各実施形態に係る合算コスト値の導出の説明に供するＣＵの一例を示す図である。 各実施形態に係る結合パターンの説明に供するＣＵの一例を示す図である。 各実施形態に係る結合を行わない場合の説明に供するＣＵの一例を示す図である。 第１実施形態のＣＵのブロックの大きさを判定する判定処理の流れの一例を示すフローチャートである。 第１実施形態のＣＵを結合する結合処理の流れの一例を示すフローチャートである。 第２実施形態に係る映像符号化装置のＣＵ分割部の機能構成の一例を示すブロック図である。 第２実施形態に係る判定処理におけるデータの流れの一例を示すデータフロー図である。 第２実施形態に係る長方形のＣＵを含む場合の結合の説明に供するＣＵの一例を示す図である。 第２実施形態のＣＵのブロックの大きさを判定する判定処理の流れの一例を示すフローチャートである。 第２実施形態のＣＵを結合する結合処理の流れの一例を示すフローチャートである。

以下、図面を参照して、本発明を実施するための形態例を詳細に説明する。

［第１実施形態］
まず、図１から図３を参照して、映像符号化装置１によって、映像を符号化する処理について説明する。図１は、映像を符号化する処理の説明に供する映像符号化装置１の機能構成の一例を示すブロック図である。

図１に示すように、映像符号化装置１は、ＣＵ分割部１０、残差信号生成部１１、周波数変換部１２、量子化部１３、エントロピー符号化部１４、逆量子化部１５、逆周波数変換部１６、復号画像生成部１７、ループフィルタ処理部１８、参照画像バッファ部１９、及び予測画像生成部２０を備えている。

ＣＵ分割部１０は、符号化の対象である原画像のＣＴＵをＣＵに分割して、ＣＵの大きさの決定と各々のＣＵの予測モードの決定を行う。ここで、図２に示すように、原画像は、水平方向、及び垂直方向に１２８画素の範囲を一つのブロックとしたＣＴＵに分割される。ＣＴＵは、さらに再帰的に分割されたブロックであるＣＵに分割され、ＣＵを一つの単位として符号化する処理が行われる。なお、以下では、ＣＴＵ及びＣＵの大きさを「（水平方向の画素数）×（垂直方向の画素数）」とする。例えば、水平方向、及び垂直方向に１２８画素の範囲を一つのブロックとしたＣＴＵは、１２８×１２８と表記する。

一例として、図２に示すように、ＣＴＵを再帰的に４分割した６４×６４、３２×３２、１６×１６、８×８を一つのブロックとしたＣＵに分割され、さらには、ＣＴＵ及びＣＵは、水平方向、又は垂直方向に２分割、又は３分割されることがある。したがって、一例として図３に示すように、ＣＴＵ、及びＣＵは、２分割、３分割、及び４割され、各々の大きさのＣＵに分割される。

図１に示すＣＵ分割部１０は、符号化の対象である原画像、及び後述する参照画像バッファ部１９から復号画像を取得して、原画像に係る各々のＣＴＵを上述した各々のＣＵに分割する。ＣＵ分割部１０は、各々のＣＵの大きさに分割した原画像を残差信号生成部１１に出力し、ＣＵの大きさ、及び当該ＣＵの予測モードを予測画像生成部２０に出力する。なお、本発明に係るＣＵの分割方法、及び予測モードの導出方法については、後述する図４から図１７を参照して詳細に説明する。また、本実施形態に係る予測モードは、画像内予測モードである形態について説明する。画像内予測モードとは、符号化を行う対象のブロックよりも以前に符号化が終了している画像内のブロックから符号化を行うために参照するブロックを決定するための値であり、画像内予測モードの値によって参照するブロックが位置する方向が予め定められている。一例として図４に示すように、ＶＶＣの画像内予測モードは、左斜め下４５度（モード番号２）から右斜め上４５度（モード番号６６）の間で６５通りの方向から当該ＣＵの隣接画素を参照して予測を行うモードがある。また、画像内予測モードは、隣接画素の４点を用いて予測を行うＰｌａｎｎａｒモード（モード番号０）と、隣接画素の平均を用いて行うＤＣモード（モード番号１）と、があり、合計６７通りの予測モードが存在する。本実施形態では、画像内予測モードは、過去のサイズ判定処理によって導出され、参照画像に係る各々のＣＵに対応付けられており、参照画像から各々のＣＵに対応する画像内予測モードを取得する形態について説明する。

残差信号生成部１１は、ＣＵ分割部１０から各々のＣＵに分割された原画像を取得し、予測画像生成部２０から各々のＣＵに分割された原画像に対応する予測画像を取得する。残差信号生成部１１は、取得した原画像におけるＣＵと、原画像のＣＵに対応する予測画像におけるＣＵと、の差分を予測残差信号として周波数変換部１２に出力する。

周波数変換部１２は、残差信号生成部１１から予測残差信号を取得し、離散コサイン変換又は離散サイン変換による周波数変換を予測画像の水平方向及び予測画像の垂直方向の各々に対して実行する。周波数変換部１２は、周波数変換の結果として、導出した変換係数群を量子化部１３に出力する。

量子化部１３は、周波数変換部１２から変換係数群を取得し、所定の量子化パラメータを用いて、変換係数を量子化する。量子化部１３は、量子化された変換係数を、エントロピー符号化部１４、及び逆量子化部１５に出力する。

エントロピー符号化部１４は、量子化部１３から量子化された変換係数を取得し、量子化された変換係数をエントロピー符号化してビットストリームを導出する。エントロピー符号化部１４は、図示しない外部装置にエントロピー符号化の結果として導出したビットストリームを出力する。

逆量子化部１５は、量子化部１３から量子化された変換係数を取得し、量子化された変換係数に対して逆量子化処理を実行して、変換係数を生成する。逆量子化部１５は、逆量子化処理の結果として、変換係数を逆周波数変換部１６に出力する。

逆周波数変換部１６は、逆量子化部１５から変換係数を取得し、変換係数に対して逆周波数変換を実行して、予測残差信号を生成する。逆周波数変換部１６は、予測残差信号を復号画像生成部１７に出力する。

復号画像生成部１７は、逆周波数変換部１６から予測残差信号を取得し、後述する予測画像生成部２０から原画像の予測画像を取得する。復号画像生成部１７は、ＣＵ毎に、予測残差信号を予測画像に加算することによって、原画像の復号画像をＣＵ毎に生成する。復号画像生成部１７は、原画像の復号画像をループフィルタ処理部１８、及び参照画像バッファ部１９に出力する。

ループフィルタ処理部１８は、復号画像生成部１７から復号画像を取得し、符号化の歪みを低減するためのフィルタ処理を復号画像に対して実行する。ループフィルタ処理部１８は、フィルタ処理が実行された復号画像を参照画像バッファ部１９に出力する。

参照画像バッファ部１９は、復号画像生成部１７からフィルタ処理前の復号画像を取得し、ループフィルタ処理部１８からフィルタ処理後の復号画像を取得する。参照画像バッファ部１９は、取得したフィルタ処理前の復号画像、及びフィルタ処理後の復号画像を参照用の画像として記憶する。すなわち、参照画像バッファ部１９は、過去の原画像を復号した復号画像を参照用の画像として記憶する。

予測画像生成部２０は、ＣＵ分割部１０から原画像に係るＣＵの予測モードを取得し、参照用の画像として記憶されている過去の復号画像を参照画像バッファ部１９から取得する。予測画像生成部２０は、原画像の予測モード、及び過去の復号画像データに基づいて原画像の予測画像を生成する。予測画像生成部２０は、予測画像を残差信号生成部１１に出力する。

次に、図５を参照して、本実施形態に係る映像符号化装置１のハードウェア構成について説明する。図５は、映像符号化装置１のハードウェア構成を示すブロック図である。

図５に示すように、映像符号化装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３３、ストレージ３４、入力部３５、表示部３６、及び通信インタフェース（Ｉ／Ｆ）３７を有する。各構成は、バス３８を介して相互に通信可能に接続されている。

ＣＰＵ３１は、中央演算処理ユニットであり、各種プログラムの実行、及び各部の制御を行う。すなわち、ＣＰＵ３１は、ＲＯＭ３２、又はストレージ３４からプログラムを読み出し、ＲＡＭ３３を作業領域としてプログラムを実行する。ＣＰＵ３１は、ＲＯＭ３２、又はストレージ３４に記憶されているプログラムに従って、上記各構成の制御、及び各種の演算処理を行う。本実施形態では、ＲＯＭ３２、又はストレージ３４には、原画像に係るＣＵの大きさを判定するための判定処理プログラム、及び原画像に係るサブブロックを結合するための結合処理プログラムが格納されている。

ＲＯＭ３２は、各種プログラム及び各種データを格納する。ＲＡＭ３３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ３４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。

入力部３５は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。

表示部３６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部３６は、タッチパネル方式を採用して、入力部３５として機能しても良い。

通信インタフェース３７は、表示機器等の他の機器と通信するためのインタフェースである。当該通信には、たとえば、イーサネット（登録商標）若しくはＦＤＤＩ等の有線通信の規格、又は、４Ｇ、５Ｇ、若しくはＷｉ－Ｆｉ（登録商標）等の無線通信の規格が用いられる。

次に、図６及び図７を参照して、映像符号化装置１に係るＣＵ分割部１０の機能構成について説明する。図６は、映像符号化装置１に係るＣＵ分割部１０の機能構成の一例を示すブロック図である。図７は、ＣＵ分割部１０の機能に係る判定処理におけるデータの流れの一例を示すデータフロー図である。

図６に示すように、映像符号化装置１に係るＣＵ分割部１０は、機能構成として、取得部４１、導出部４２、判定部４３、結合処理部４４、及び出力部４５を備えている。ＣＰＵ３１が判定処理プログラムを実行することで、取得部４１、導出部４２、判定部４３、結合処理部４４、及び出力部４５として機能する。なお、結合処理部４４は、分割部４４Ａ、予測モード取得部４４Ｂ、及び結合部４４Ｃを備えている。

図７に示すように、取得部４１は、入力された原画像、及び過去に原画像を復号した復号画像を取得する。

導出部４２は、取得した原画像、及び復号画像から所定の大きさのＣＵに係るＲＤコストを導出する。ここで、所定の大きさのＣＵとは、６４×６４、３２×３２、１６×１６、８×８、及び４×４のＣＵである。また、本実施形態に係るＲＤコストは、原画像、及び復号画像から取得され、情報量の大きさ、及び符号化の誤差を示す値である。

一例として図８に示すように、導出部４２は、（０，０）、（４，０）、（０，４）、（４，４）を基点とした４×４のＣＵの各々のＲＤコストを合算した値（以下、「合算コスト値」という。）を導出する。導出部４２は、判定対象であるＣＵのＲＤコストとして、上述した４つの４×４のＣＵを内包する（０，０）を基点とした８×８のＣＵのＲＤコスト（以下、「対象コスト値」という。）を導出する。

導出部４２は、さらに１６×１６のＣＵの大きさの範囲において、（０，０）、（８，０）、（０，８）、（８，８）を基点とした８×８のＣＵの合算コスト値、及び当該４つの８×８のＣＵを内包する（０，０）を基点とした１６×１６のＣＵの対象コスト値を導出する。導出部は、同様に、３２×３２のＣＵの大きさの範囲、及び６４×６４のＣＵの大きさの範囲において、合算コスト値、及び対象コスト値を導出し、上述した処理を６４×６４のＣＵの対象コスト値を導出するまで再帰的に実行する。導出部４２は、６４×６４のＣＵの対象コスト値を導出した場合、次の６４×６４のＣＵの範囲（例えば、隣接するＣＵ）において同一の処理を再帰的に実行し、ＣＴＵに内包される全てのＣＵに対して処理が実行されるまで再帰的に実行する。

図７に示す判定部４３は、導出部４２によって導出された、４つのＣＵにおける各々のＲＤコストを合算した合算コスト値、及び当該４つのＣＵを内包するＣＵにおける対象コスト値を比較して、対象コスト値が合算コスト値以下であるか否かを判定する。一例として、判定部４３は、４つの４×４のＣＵにおける合算コスト値と、４つの４×４のＣＵを内包する８×８のＣＵにおける対象コスト値と、を比較して、対象コスト値が合算コスト値以下であるか否かを判定する。

一例として図７に示すように、判定部４３は、８×８判定として、４つの４×４のＣＵにおける合算コスト値、及び４つの４×４のＣＵを内包する８×８のＣＵにおける対象コスト値の比較を行う。次に、判定部４３は、１６×１６判定として、４つの８×８のＣＵにおける合算コスト値、及び４つの８×８のＣＵを内包する１６×１６のＣＵにおける対象コスト値の比較を行う。同様に、判定部４３は、３２×３２判定、及び６４×６４判定を行う。つまり、判定部４３は、小さいＣＵから大きいＣＵへ、判定するＣＵの大きさを拡大しながら、再帰的に合算コスト値と、対象コストと、を比較する判定を行う。判定部４３は、ＣＴＵに内包される全てのＣＵに対して処理が実行されるまで再帰的に判定を行う。

結合処理部４４は、対象コスト値が合算コスト値を超えていた場合、対象のＣＵに係るブロックを結合し、結合したＣＵの大きさ、当該ＣＵのＲＤコスト、及び当該ＣＵの予測モードを導出する。

具体的には、結合処理部４４に係る分割部４４Ａは、対象のＣＵを水平方向、及び垂直方向に、各々４分割した１６個のサブブロックに分割する。ここで、対象のＣＵが８×８のＣＵの場合、分割部４４Ａは、対象のＣＵを水平方向、及び垂直方向に、各々２分割した４個のサブブロックに分割する。

結合処理部４４における予測モード取得部４４Ｂは、サブブロックを各々のパターンで結合した結合候補の予測モードのばらつきＶｉを導出して取得する。ここで、結合パターンとは、一例として図９に示すように、対象のＣＵを水平方向にＢＴ分割、垂直方向にＢＴ分割、水平方向にＴＴ分割、及び垂直方向にＴＴ分割するように、サブブロックを結合した各々のパターンである。つまり、予測モード取得部４４Ｂは、対象のＣＵを水平方向にＢＴ分割した場合、垂直方向にＢＴ分割した場合、水平方向にＴＴ分割した場合、及び垂直方向にＴＴ分割した場合の各々の結合候補について、予測モードのばらつきＶｉを導出する。なお、予測モード取得部４４Ｂは、対象のＣＵが８×８のＣＵの場合、水平方向にＢＴ分割、及び垂直方向にＢＴ分割した場合の各々の結合候補について、ばらつきＶｉを導出する。

ここで、Ｖは、結合候補に係る予測モードのばらつきの度合であり、ｉは、ＣＵを分割したパターン（例えば、ｉ＝１の場合、水平方向にＢＴ分割したパターン等）を識別する記号である。また、本実施形態に係る予測モードのばらつきＶｉは、結合候補に内包されるサブブロックの予測モードの分散値である形態について説明する。しかし、これに限定されない。予測モードのばらつきＶｉは、結合候補に内包されるサブブロック間の予測モードの差分の絶対値を総和した差分絶対値和、又はサブブロックにおける予測モードの最大値と、最小値との差であってもよい。

図６に示す結合処理部４４における結合部４４Ｃは、導出した全ての予測モードのばらつきＶｉから最小のばらつきＶｉを特定し、特定したばらつきＶｉが閾値以下である場合、特定したばらつきＶｉに係るパターンを結合するパターンとして決定する。結合部４４Ｃは、決定したパターンに係る結合候補を結合されたＣＵとして、サブブロックを結合し、結合されたＣＵのＲＤコスト、及び予測モードを導出する。また、結合部４４Ｃは、特定したばらつきＶｉが閾値を超えている場合、サブブロックの結合を行わない。つまり、ＱＴ分割が行われたＣＵを組み合わせて、ＢＴ分割、又はＴＴ分割した際の形状を構成し、組み合わせたＣＵの予測モードに基づいて、ＢＴ分割、又はＴＴ分割した際の形状をＣＵの形状とするか否かの判定を行う。ここでは、分散が所定の閾値以下であれば、結合する一例を挙げている。

なお、本実施形態に係る閾値は、０以上の正の自然数である形態について説明する。例えば、予測モードのばらつきＶｉが分散値である場合、４つのサブブロックの画像内予測モード（モード番号）がおおよそ同一方向を示す１１、１２、１３、及び１４である場合、予測モードのばらつきＶｉは、１．６となる。一方、４つのサブブロックの画像内予測モード（モード番号）が各々異なる方向を示す１０、２０、３０、４０である場合、予測モードのばらつきＶｉは、１６６．６となる。つまり、予測モードのばらつきＶｉが分散値である場合において、おおよそ同一方向を示す画像内予測モードは、分散値が小さくなり、各々異なる方向を示す画像内予測モードは、分散値が大きくなる。そのため、閾値は、おおよそ同一方向を示す画像内予測モードに係るサブブロックを結合し、各々異なる方向を示す画像内予測モードに係るサブブロックを結合しないように、小さな値（例えば、１から９のうちの何れか１つの値）が設定されてもよい。

また、本実施形態に係る結合されたＣＵの予測モードは、結合されたＣＵに係るサブブロックの予測モードの平均値である形態について説明する。しかし、これに限定されない。結合されたＣＵに係るサブブロックの予測モードの最頻値であってもよい。例えば、予測モードがサブブロックの予測モードの平均値である場合、４つの結合前のＣＵのサブブロックにおいて、各々のサブブロックの予測モードが１１、１２、１４、及び１５である場合、結合後のＣＵの予測モードは、平均値の１３となる。また、予測モードがサブブロックの予測モードの最頻値である場合、４つの結合前のＣＵのサブブロックにおいて、各々のサブブロックの予測モードが１０、１０、１２、及び１４である場合、結合後のＣＵの予測モードは、最頻値の１０となる。

また、本実施形態に係る結合されたＣＵのＲＤコストは、結合されたＣＵに係るサブブロックのＲＤコストの合算値に、予め定められた値を加減算した値である形態について説明する。結合前の各々のサブブロックが保持するＲＤコストの合算値に、予め定められた値を加減算することによって、結合後の長方形形状のＣＵのＲＤコストを実際に符号化して導出するのではなく、既に導出済のＲＤコストを用いて簡易的に導出する可能である。また、図１０に示すように、結合候補における領域で結合した場合に、その領域内のＣＵの分割を伴う場合は、その結合は行わない。換言すると、結合候補に、結合済ＣＵに係るＣＵが全て内包されている場合、結合候補における領域内のＣＵの結合を行う。

図７に示す出力部４５は、各々のＣＵの大きさに分割された原画像、及び各々のＣＵの大きさ、各々のＣＵのＲＤコスト、及び各々のＣＵの予測モードを分割情報として、図１における残差信号生成部１１に出力する。ここで、判定部４３によって対象コスト値は、合算コスト値以下であると判定された場合、出力部４５は、対象のＣＵの大きさ、対象のＣＵのＲＤコスト、及び対象のＣＵの予測モードを出力する。また、判定部４３によって対象コスト値が合算コスト値を超えていると判定された場合、出力部４５は、結合されたＣＵの大きさ、結合処理部４４によって導出されたＲＤコスト、及び結合処理部４４によって導出された予測モードを出力する。

次に、図１１、及び図１２を参照して、本実施形態に係る映像符号化装置１の作用について説明する。図１１は、本実施形態に係る判定処理の一例を示すフローチャートである。ＣＰＵ３１がＲＯＭ３２又はストレージ３４から判定処理プログラムを読み出し、実行することによって、図１１に示す判定処理プログラムが実行される。図１１に示す判定処理プログラムは、例えば、原画像が入力され、符号化を実行する指示が入力された場合、実行される。

ステップＳ１０１において、ＣＰＵ３１は、原画像データ、及び復号画像データを取得する。

ステップＳ１０２において、ＣＰＵ３１は、原画像をＣＴＵ毎に分割し、ＣＴＵに対して６４×６４毎に分割して、判定を行う対象範囲である対象ＣＵを設定する。

ステップＳ１０３において、ＣＰＵ３１は、ブロック数Ｎに４を設定する。

ステップＳ１０４において、ＣＰＵ３１は、Ｎ×Ｎの大きさのＣＵにおける合算コスト値を導出する。なお、本実施形態に係るＮ×Ｎの大きさのＣＵにおける合算コスト値は、４×４、８×８、１６×１６、及び３２×３２の各々のＣＵの大きさにおいて、４つのＣＵのＲＤコストを合算した値である。

ステップＳ１０５において、ＣＰＵ３１は、Ｎに２を乗算し、１サイズ大きい対象ＣＵの大きさを得る。

ステップＳ１０６において、ＣＰＵ３１は、Ｎ×Ｎの大きさのＣＵを対象ＣＵとし、対象ＣＵの対象コスト値を導出する。ステップＳ１０３を経て、初めてステップＳ１０６の処理が行なわれる場合、ＣＰＵ３１は、８×８の大きさのＣＵを対象ＣＵとする。以後、ステップＳ１０４及びステップＳ１０５が繰り返される度に、ＣＰＵ３１は、対象ＣＵの大きさを、１６×１６、３２×３２、最後に６４×６４と大きくしていく。

ステップＳ１０７において、ＣＰＵ３１は、Ｎ×Ｎの判定として、対象コスト値、及び合算コスト値を比較する。ここで、例えば、対象コスト値が８×８の対象ＣＵにおけるＲＤコスト値である場合、当該対象ＣＵに内包される４つの４×４のＣＵのＲＤコストを合算した合算コスト値と、８×８の対象ＣＵにおけるＲＤコストである対象コスト値と、を比較する。

ステップＳ１０８において、ＣＰＵ３１は、対象コスト値が合算コスト値を超えるか否かの判定を行う。対象コスト値が合算コスト値を超える場合（ステップＳ１０８：ＹＥＳ）、ＣＰＵ３１は、ステップＳ１０９に移行する。一方、対象コスト値が合算コスト値を超えない（対象コスト値は、合算コスト値以下である）場合（ステップＳ１０８：ＮＯ）、ＣＰＵ３１は、ステップＳ１１１に移行する。

ステップＳ１０９において、ＣＰＵ３１は、ＣＵを予め定められた数に分割したサブブロックを結合する結合処理を行う。結合処理を行うことによって、ＱＴ分割で分割された複数のＣＵを結合し、ＢＴ分割、又はＴＴ分割された際に得られるような長方形のＣＵの形状が得られる。なお、本実施形態に係る結合処理は、後述する図１２において、詳細に説明する。

ステップＳ１１０において、ＣＰＵ３１は、結合したＣＵの大きさ、ＲＤコスト、及び予測モードを関連付けて記憶する。

ステップＳ１１１において、ＣＰＵ３１は、Ｎ×ＮのＣＵの大きさ、ＲＤコスト、及び予測モードを関連付けて記憶する。

ステップＳ１１２において、ＣＰＵ３１は、ブロック数Ｎが６４であるか否かの判定を行う。ブロック数Ｎが６４である場合（ステップＳ１１２：ＹＥＳ）、ＣＰＵ３１は、ステップＳ１１３に移行する。一方、ブロック数Ｎが６４でない場合（ステップＳ１１２：ＮＯ）、ＣＰＵ３１は、ステップＳ１０４に移行する。

ステップＳ１１３において、ＣＰＵ３１は、設定した対象範囲において、全ての範囲を比較したか否かの判定を行う。全ての範囲を比較した場合（ステップＳ１１３：ＹＥＳ）、ＣＰＵ３１は、ステップＳ１１４に移行する。一方、全ての範囲を比較していない場合（ステップＳ１１３：ＮＯ）、ＣＰＵ３１は、ステップＳ１１５に移行する。

ステップＳ１１４において、ＣＰＵ３１は、原画像、原画像における全てのＣＵの大きさ、ＲＤコスト、及び予測モードを分割情報として出力する。

ステップＳ１１５において、ＣＰＵ３１は、次の判定の対象範囲である対象ＣＵを設定し、ステップＳ１０３に移行する。

次に、図１２を参照して、結合処理について説明する。図１２は、本実施形態に係る結合処理の一例を示すフローチャートである。ＣＰＵ３１がＲＯＭ３２又はストレージ３４から結合処理プログラムを読み出し、実行することによって、図１２に示す結合処理プログラムが実行される。図１２に示す結合処理プログラムは、結合処理を実行する指示が入力された場合、実行される。

ステップＳ２０１において、ＣＰＵ３１は、対象ＣＵをサブブロック毎に分割する。なお、対象ＣＵとは、８×８、１６×１６、３２×３２、及び６４×６４の何れかのＣＵであり、対象ＣＵが１６×１６、３２×３２、及び６４×６４のＣＵの場合は、１６分割に分割し、対象ＣＵが８×８のＣＵの場合は、４分割に分割する。

ステップＳ２０２において、ＣＰＵ３１は、サブブロックの予測モードを取得する。

ステップＳ２０３において、ＣＰＵ３１は、対象ＣＵに対して、各々の結合パターン毎にサブブロックを結合した結合候補を取得する。なお、対象ＣＵが１６×１６、３２×３２、及び６４×６４のＣＵの場合は、図９に示すパターン１からパターン４の結合候補を取得し、対象ＣＵが８×８のＣＵの場合は、パターン１、及びパターン２の結合候補を取得する。

ステップＳ２０４において、ＣＰＵ３１は、結合候補毎の予測モードのばらつきＶｉを導出する。

ステップＳ２０５において、ＣＰＵ３１は、導出した予測モードのばらつきＶｉの中で、最小の予測モードのばらつきＶｍｉｎを特定する。

ステップＳ２０６において、ＣＰＵ３１は、特定した最小の予測モードのばらつきＶｍｉｎが閾値以下であるか否かの判定を行う。特定した予測モードのばらつきＶｉが閾値以下である場合（ステップＳ２０６：ＹＥＳ）、ＣＰＵ３１は、ステップＳ２０７に移行する。一方、特定した予測モードのばらつきＶｉが閾値以下でない（予測モードのばらつきＶｉが閾値を超える）場合（ステップＳ２０６：ＮＯ）、ＣＰＵ３１は、結合処理を終了する。

ステップＳ２０７において、ＣＰＵ３１は、特定した予測モードのばらつきＶｉに係るパターンを、サブブロックを結合するパターンとして決定する。

ステップＳ２０８において、ＣＰＵ３１は、結合したＣＵとして、決定したパターンにサブブロックを結合する。ここで、結合されることによって結合済ＣＵの結合パターンが変わってしまう場合、ＣＵの結合を行わない。

ステップＳ２０９において、ＣＰＵ３１は、結合したＣＵのＲＤコスト、及び予測モードを導出する。

以上説明したように、本実施形態によれば、原画像の特徴に応じた画面内予測モードを維持しつつ、エンコーダにおけるブロック分割決定の処理量を削減することができる。

本実施形態では、ＣＵの分割の状況に応じて、ブロックの分割、及びサブブロックの結合が行われる形態について説明した。ここで、ＣＴＵにおいて、細かな濃度変化、及びエッジが存在しない領域では、隣接ブロックが細かく分割されておらず、大きなＣＵによって構成されている傾向がある。そのため、細かな濃度変化、及びエッジが存在しない領域では、分割処理、及び結合処理が行われず処理量が減る傾向がある。一方で、ＣＴＵにおいて、細かな濃度変化、及びエッジが存在する領域では、隣接ブロックが細かく分割されている（小さいＣＵで構成されている）傾向がある。そのため、細かな濃度変化、及びエッジが存在する領域では、分割処理、及び結合処理が増える傾向がある。

また、例えば、垂直方向に線が伸びているようなエッジがある領域の場合、その領域を含むＣＵは、垂直方向に分割される傾向があり、当該ＣＵに垂直方向に隣接するＣＵも同様に垂直方向に分割される可能性が高い。そのため、垂直方向に線が伸びているようなエッジがある領域では、ＣＵを水平方向に分割、及び結合するような評価を行わなくてよい場合があるため、処理量を軽減することが可能である。

［第２実施形態］
第１実施形態では、判定部４３において、小さいＣＵから大きいＣＵへと、判定するＣＵの大きさを拡大しながら、再帰的に合算コスト値と、対象コストと、を比較して判定を行う形態について説明した。本実施形態では、判定部４３において、大きいＣＵから小さいＣＵへと判定するＣＵの大きさを縮小しながら、再帰的に合算コスト値と、対象コストと、を比較して判定を行う形態について説明する。

なお、本実施形態に係る映像符号化装置１の機能構成の一例を示す図（図１参照）、分割の説明に供するＣＴＵの一例を示す図（図２参照）、及び分割されたＣＵの説明に供するＣＴＵの一例を示す図（図３参照）は、第１実施形態と同様であるため、説明を省略する。また、本実施形態に係る映像符号化装置１のハードウェア構成を示す図（図５参照）、４つのＣＵを内包するＣＵの一例を示す図（図８参照）、及び結合のパターンを説明のためのＣＵの一例を示す図（図９参照）は、第１実施形態と同様であるため、説明を省略する。また、本実施形態に係る結合を行わないＣＵの一例を示す図（図１０）は、第１実施形態と同様であるため、説明を省略する。

図１３及び図１４を参照して、映像符号化装置１に係るＣＵ分割部１０の機能構成について説明する。図１３は、映像符号化装置１に係るＣＵ分割部１０の機能構成の例を示すブロック図である。図１４は、分割処理におけるデータの流れの一例を示すデータフロー図である。なお、図１３における図６に示すＣＵ分割部１０の機能と同一の機能については、図６と同一の符号を付して、その説明を省略する。また、図１４における図７に示すＣＵ分割部１０の機能と同一の機能については、図７と同一の符号を付して、その説明を省略する。

図１３に示すように、映像符号化装置１に係るＣＵ分割部１０は、機能構成として、取得部４１、導出部４２、判定部４６、結合処理部４４、及び出力部４５を備えている。ＣＰＵ３１が判定処理プログラムを実行することで、取得部４１、導出部４２、判定部４６、結合処理部４４、及び出力部４５として機能する。なお、結合処理部４４は、分割部４４Ｄ、予測モード取得部４４Ｂ、及び結合部４４Ｃを備えている。ＣＵ分割部１０は、判定部４６、及び分割部４４Ｄが、第１実施形態の判定部４３、及び分割部４４Ａとそれぞれ異なる。

図１４に示す判定部４６は、導出部４２によって導出された、４つのＣＵにおける各々のＲＤコストを合算した合算コスト値、及び当該４つのＣＵを内包するＣＵにおける対象コスト値を比較して、対象コスト値が合算コスト値以下であるか否かを判定する。一例として、判定部４６は、４つの３２×３２のＣＵにおける合算コスト値と、４つの３２×３２のＣＵを内包する６４×６４のＣＵにおける対象コスト値と、を比較して、対象コスト値が合算コスト値以下であるか否かを判定する。

図１４に示すように、判定部４６は、６４×６４判定として、４つの３２×３２のＣＵにおける合算コスト値、及び４つの３２×３２のＣＵを内包する６４×６４のＣＵにおける対象コスト値の比較を行う。次に、判定部４６は、３２×３２判定として、４つの１６×１６のＣＵにおける合算コスト値、及び４つの１６×１６のＣＵを内包する３２×３２のＣＵにおける対象コスト値の比較を行う。同様に、判定部４６は、１６×１６判定、及び８×８判定を行う。つまり、判定部４６は、大きいＣＵから小さいＣＵへ、判定するＣＵの大きさを縮小しながら、再帰的に合算コスト値と、対象コストと、を比較する判定を行う。判定部４６は、ＣＴＵに内包される全てのＣＵに対して処理が実行されるまで再帰的に判定を行う。なお。ＣＵの大きさを縮小しながら判定を行うことによって、ＣＵの大きさを縮小しながら判定を行う場合に比べて、判定処理の回数を削減され、処理量を減らすことが可能である。例えば、判定部４６は、６４×６４判定を行い、６４×６４のＣＵにおける対象コスト値が小さいと判定されると、対象ＣＵの大きさを６４×６４に決定し、６４×６４のＣＵに内包するＣＵの判定処理を行わなくてもよい。換言すると、判定部４６によって、大きいＣＵの方が、分割されたＣＵよりもＲＤコストが小さいと判定されるため、大きいＣＵを分割して結合する処理を行う必要がなくなる。

結合処理部４４は、対象コスト値が合算コスト値を超えていた場合、対象のＣＵに係るブロックを結合し、結合したＣＵの大きさ、当該ＣＵのＲＤコスト、及び当該ＣＵの予測モードを導出する。

具体的には、図１３に示す結合処理部４４に係る分割部４４Ｄは、対象のＣＵを水平方向、及び垂直方向について、各々４分割した１６個のサブブロックに分割する。ここで、対象のＣＵが８×８のＣＵの場合、分割部４４Ｄは、対象のＣＵを水平方向、及び垂直方向について、各々２分割した４個のサブブロックに分割する。

また、分割部４４Ｄは、図１５に示すように、結合によって、長方形のＣＵ（例えば、３２×６４のＣＵ等）に結合された場合、当該長方形のＣＵを８分割した正方形（例えば、１６×１６等）のサブブロックに分割する。当該正方形のサブブロックは、予測モード取得部４４Ｂ、及び結合部４４Ｃによって結合される。

次に、図１６、及び図１７を参照して、本実施形態に係る映像符号化装置１の作用について説明する。図１６は、本実施形態に係る判定処理の一例を示すフローチャートである。ＣＰＵ３１がＲＯＭ３２又はストレージ３４から判定処理プログラムを読み出し、実行することによって、図１６に示す判定処理プログラムが実行される。図１６に示す判定処理プログラムは、例えば、原画像が入力され、符号化を実行する指示が入力された場合、実行される。なお、図１６における図１１に示す判定処理と同一のステップについては、図１１と同一の符号を付して、その説明を省略する。

ステップＳ１１６において、ＣＰＵ３１は、ブロック数Ｎに６４を設定する。

ステップＳ１１７において、ＣＰＵ３１は、Ｎ×Ｎの対象コスト値を導出する。なお、本実施形態に係るＮ×Ｎの対象コスト値は、８×８、１６×１６、３２×３２、及び６４×６４のＣＵの対象コスト値である。

ステップＳ１１８において、ＣＰＵ３１は、Ｎに１／２を乗算し、１サイズ小さい対象ＣＵの大きさを得る。

ステップＳ１１９において、ＣＰＵ３１は、Ｎ×ＮのＣＵの合算コスト値を導出する。ステップＳ１１６を経て、初めてステップＳ１１９の処理が行なわれる場合、ＣＰＵ３１は、３２×３２の大きさのＣＵを対象ＣＵとする。以後、ステップＳ１１７及びステップＳ１１８が繰り返される度に、ＣＰＵ３１は、対象ＣＵの大きさを、１６×１６、８×８、最後に４×４と小さくしていく。

ステップＳ１２０において、ＣＰＵ３１は、ＣＵを結合する結合処理を行う。なお、本実施形態に係る結合処理は、後述する図１７において、詳細に説明する。

ステップＳ１２１において、ＣＰＵ３１は、対象ＣＵが６４×６４のＣＵであるか否かの判定を行う。対象ＣＵが６４×６４のＣＵである場合（ステップＳ１２１：ＹＥＳ）、ＣＰＵ３１は、ステップＳ１１３に移行する。一方、対象ＣＵが６４×６４のＣＵでない場合（ステップＳ１２１：ＮＯ）、ＣＰＵ３１は、ステップＳ１１２に移行する。

次に、図１７を参照して、結合処理について説明する。図１７は、本実施形態に係る結合処理の一例を示すフローチャートである。ＣＰＵ３１がＲＯＭ３２又はストレージ３４から結合処理プログラムを読み出し、実行することによって、図１７に示す結合処理プログラムが実行される。図１７に示す結合処理プログラムは、結合処理を実行する指示が入力された場合、実行される。なお、図１７における図１２に示す結合処理と同一のステップについては、図１２と同一の符号を付して、その説明を省略する。

ステップＳ２１０において、ＣＰＵ３１は、結合処理の対象である対象ＣＵのうち、長方形のＣＵが含まれていないか否かの判定を行う。長方形のＣＵが含まれていない場合（ステップＳ２１０：ＹＥＳ）、ＣＰＵ３１は、結合処理を終了する。一方、長方形のＣＵが含まれている場合（ステップＳ２１０：ＮＯ）、ＣＰＵ３１は、ステップＳ２１１に移行する。

ステップＳ２１１において、ＣＰＵ３１は、長方形のＣＵを結合する対象として、対象ＣＵに設定し、ステップＳ２０１に移行する。

以上説明したように、第２実施形態の表示制御装置は、大きいＣＵから小さいＣＵへと判定するＣＵの大きさを縮小しながら、ＣＵの大きさの判定、及びＣＵの結合を行う。これにより、ＣＵの大きさの判定、及びＣＵの結合の実行回数を削減できる。

なお、本実施形態に係る規格は、ＱＴ分割、ＢＴ分割、及びＴＴ分割等を用いるＶＶＣである形態について説明した。しかし、これに限定されない。例えば、ＱＴ分割、ＢＴ分割、及びＴＴ分割のように異なる形状に分割し、分割した単位で符号化を行う符号化規格であれば、如何なる規格であってもよい。

また、本実施形態では、ＱＴ分割を行ったＣＵに対して、大きさを判定、及び結合する処理を実行する形態について説明した。しかし、これに限定されない。ＢＴ分割、又はＴＴ分割を行ったＣＵに対して、大きさを判定、及び結合する処理を実行してもよい。なお、ＣＴＵ、及びＣＵをＱＴ分割することによって、均等なＣＵに分割され、Ｈ．２６５／ＨＥＶＣのエンコードに搭載されていた並列処理の実行が容易となる効果がある。

なお、上記各実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した表示制御処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、表示制御処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

また、上記各実施形態では、表示制御処理プログラムがストレージ３４に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

以上の実施形態に関し、更に以下の付記を開示する。

（付記項１）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
画像を分割したブロック単位で画像の符号化を行う映像符号化方法であって、
前記画像をブロックに分割し、
前記ブロック毎に予測された画像内予測モードを取得し、
少なくとも何れかのブロックと隣接しあう複数のブロックの画像内予測モードに基づく結合パターンで、前記複数のブロックを結合するか否かを判定して、結合すると判定された場合、結合された結合ブロック毎に予測を行う、
ように構成されている表示制御装置。

（付記項２）
映像符号化処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
画像を分割したブロック単位で前記画像の符号化を行う映像符号化処理は、
前記画像をブロックに分割し、
前記ブロック毎に予測された画像内予測モードを取得し、
少なくとも何れかのブロックと隣接しあう複数のブロックの画像内予測モードに基づく結合パターンで、前記複数のブロックを結合するか否かを判定して、結合すると判定された場合、結合された結合ブロック毎に予測を行う、
非一時的記憶媒体。

１４ エントロピー符号化部
４１ 取得部
４２ 導出部
４３、４６ 判定部
４４ 結合処理部
４４Ａ、４４Ｄ 分割部
４４Ｂ 予測モード取得部
４４Ｃ 結合部
４５ 出力部

Claims (7)

1. 画像を分割したブロック単位で前記画像の符号化を行う映像符号化方法であって、
   前記画像をブロックに分割し、
   符号化を行う対象のブロックである対象ブロックのＲＤコスト値である対象コスト値、及び前記対象ブロックを予め定められた大きさのブロックに分割し、前記分割されたブロックの各々のＲＤコスト値を合算した合算コスト値を導出し、
   前記対象コスト値が前記合算コスト値以下である場合、前記対象ブロックの大きさ、及び対象コスト値を出力し、
   前記対象コスト値が前記合算コスト値を超える場合、
   前記ブロック毎に予測された画像内予測モードを取得し、
   少なくとも何れかのブロックと隣接しあう複数のブロックの画像内予測モードに基づく結合パターンで、前記複数のブロックを結合するか否かを判定して、結合すると判定された場合、前記対象ブロックを、結合された結合ブロックに分割し、前記結合ブロックの大きさ、及び前記結合ブロック毎のＲＤコスト値を出力し、
   前記対象ブロック又は前記結合ブロック毎に予測を行う、
   処理をコンピュータが実行する映像符号化方法。
2. 前記コンピュータは、
   結合パターン毎に、予め定められた範囲の前記ブロックを結合候補として設定し、
   前記結合候補における前記画像内予測モードのばらつき度合のうち、前記ばらつき度合が最小となる結合候補における前記結合パターンを前記画像内予測モードに応じた結合パターンとして決定する
   請求項１に記載の映像符号化方法。
3. 前記コンピュータは、
   前記結合ブロックに係る前記ブロック間の前記画像内予測モードの差分和、又は前記結合ブロックに係る前記ブロックの前記画像内予測モードの分散を用いて、前記ばらつき度合を導出する
   請求項２に記載の映像符号化方法。
4. 前記コンピュータは、
   前記結合候補として、前記ブロックを水平方向、又は垂直方向に、２分割、又は３分割した範囲を設定する、
   請求項２又は請求項３に記載の映像符号化方法。
5. 前記コンピュータは、
   予め定められた前記対象ブロックの大きさ毎に、前記対象コスト値、及び前記合算コスト値の比較と、前記対象ブロックに内包される前記ブロックの結合と、を再帰的に実行する
   請求項１に記載の映像符号化方法。
6. 画像を分割したブロック単位で前記画像の符号化を行う映像符号化装置であって、
   前記画像をブロックに分割する分割部と、
   符号化を行う対象のブロックである対象ブロックのＲＤコスト値である対象コスト値、及び前記対象ブロックを予め定められた大きさのブロックに分割し、前記分割されたブロックの各々のＲＤコスト値を合算した合算コスト値を導出し、
   前記対象コスト値が前記合算コスト値以下である場合、前記対象ブロックの大きさ、及び対象コスト値を出力し、
   前記対象コスト値が前記合算コスト値を超える場合、
   前記ブロック毎に予測された画像内予測モードを取得する取得部と、
   少なくとも何れかのブロックと隣接しあう複数のブロックの画像内予測モードに基づく結合パターンで、前記複数のブロックを結合するか否かを判定して、結合すると判定された場合、前記対象ブロックを、結合された結合ブロックに分割し、前記結合ブロックの大きさ、及び前記結合ブロック毎のＲＤコスト値を出力し、
   前記対象ブロック又は前記結合された結合ブロック毎に予測を行う結合部と、
   を備えた映像符号化装置。
7. 画像を分割したブロック単位で前記画像の符号化を行う映像符号化プログラムであって、
   前記画像をブロックに分割し、
   符号化を行う対象のブロックである対象ブロックのＲＤコスト値である対象コスト値、及び前記対象ブロックを予め定められた大きさのブロックに分割し、前記分割されたブロックの各々のＲＤコスト値を合算した合算コスト値を導出し、
   前記対象コスト値が前記合算コスト値以下である場合、前記対象ブロックの大きさ、及び対象コスト値を出力し、
   前記対象コスト値が前記合算コスト値を超える場合、
   前記ブロック毎に予測された画像内予測モードを取得し、
   少なくとも何れかのブロックと隣接しあう複数のブロックの画像内予測モードに基づく結合パターンで、前記複数のブロックを結合するか否かを判定して、結合すると判定された場合、前記対象ブロックを、結合された結合ブロックに分割し、前記結合ブロックの大きさ、及び前記結合ブロック毎のＲＤコスト値を出力し、
   前記対象ブロック又は前記結合された結合ブロック毎に予測を行う、
   処理をコンピュータに実行させるための映像符号化プログラム。