JP4495580B2 - 面内予測装置および面内予測方法 - Google Patents

Description

本発明は、映像符号化における面内予測装置および面内予測方法に関し、特に、Ｈ．２６４等での面内予測における面内予測符号化効率を向上させる技術に関する。

近年、ブロードバンドなどの通信インフラの普及やパーソナルコンピュータ、ＨＤＤやＤＶＤなどをはじめとする大容量記憶装置、メモリカードなどの低価格化により、一般消費者が映像を編集、蓄積、配信、携帯するといった環境が整い、ますます利用者が増えてきている。

このように一般消費者が映像を扱うシーンが増える一方、パーソナルコンピュータの高性能化が進んだ現在でも、映像を扱うには十分な性能と言えない場面もある。例えば、映像の情報量は非常に多く、高性能なパーソナルコンピュータを用いても、動画圧縮を行うには、まだまだ時間がかかる。その解決策として、同じ符号化性能をより少ない演算量で処理する演算の高効率化が考えられる。また、高効率に演算を行えば消費電力削減につながり、携帯型撮影機器の電池寿命による撮影時間の制約を緩和できる。こうした背景の中、ますます高効率の動画圧縮技術が求められるようになっている。

そうした中、新たに誕生した国際標準動画圧縮規格Ｈ．２６４は、画質向上および符号効率向上を目的として、複数の動画圧縮ツールを用いる。また、Ｈ．２６４は、複数の予測手法を逐次比較し、符号化効率に優れるものを予測方法として選択し、符号化を行う特徴をもつ。

例えば、図１０に示されるＩピクチャに含まれる１６×１６画素のマクロブロックにおいて符号化する場合、マクロブロックを１６分割した４×４画素の各ブロックについて複数の方向からイントラ予測を行うと共に、マクロブロックについて複数の方向から面内予測（イントラ）予測を行う。

その代表例である、４ｘ４イントラ予測は、複数の予測方法を比較することにより、最も符号化効率に優れるものを選択している。

その予測方法には、図１１に示されるように、上のＭＢ（マクロブロック）から予測画素値を計算し、垂直方向に画素値を予測する予測モード０（ｖｅｒｔｉｃａｌ（垂直））、隣のＭＢから予測画素値を計算し、水平方向に画素値を予測する予測モード１（ｈｏｒｉｚｏｎｔａｌ（水平））、隣接のＭＢから予測画素値を計算し、水平から±２２．５度、−４４．５度ずらした方向に予測する予測モード８（ｈｏｒｉｚｏｎｔａｌ−ｕｐ（水平上））、予測モード６（ｈｏｒｉｚｏｎｔａｌ−ｄｏｗｎ（水平下））、予測モード４（ｄｉａｇｏｎａｌ−ｄｏｗｎ−ｒｉｇｈｔ（対角右））、隣接のＭＢから予測画素値を計算し、垂直から±２２．５度、−４４．５度ずらした方向に予測する予測モード５（ｖｅｒｔｉｃａｌ−ｒｉｇｈｔ（垂直右））、予測モード７（ｖｅｒｔｉｃａｌ−ｌｅｆｔ（垂直左））、予測モード３（ｄｉａｇｏｎａｌ−ｄｏｗｎ−ｌｅｆｔ（対角右））の８方向の予測処理に加え、隣接のＭＢから画素値を平均したものから予測する予測モード２（ＤＣ（平均））の全９通りある。

同じく、１６ｘ１６イントラ予測も複数の予測方法をもつ。この１６ｘ１６イントラ予測では同種の４通りの予測方法を持つ。

１６ｘ１６イントラ予測については、図１２に示されるように、予測モード０（ｖｅｒｔｉｃａｌ（垂直））、予測モード１（ｈｏｒｉｚｏｎｔａｌ（水平））、予測モード２（ＤＣ（平均））、予測モード３（ｐｌａｎｅ（面））の予測方法がある。

このため従来の面内予測装置では、図１３に示されるように、Ｉピクチャが入力されると、ブロック０について９通りの予測モードについて予測誤差（絶対値差分和）を計算する。つまり、９通りの予測モードについて、参照画素と符号化対象の画素の差分値および絶対値差分和を全部算出する。そして、面内予測装置は、予測誤差の最も小さいものをイントラ予測として利用する。なお、ここで絶対値差分和計算前に、直交変換処理後、すなわち周波数成分に変換してから、絶対値差分和を求めるようにしてもよい。

ブロック０のイントラ予測が終わると、面内予測装置は、上記と同様の処理を繰り返し、ブロック１〜ブロック１５のイントラ予測を行う。

ブロック１５のイントラ予測が終了すると、そのマクロブロックについて、４通りの予測モードについて、参照画素と符号化対象の画素の差分値および絶対値差分和を全部算出する。そして、面内予測装置は、予測誤差の最も小さいもの、つまり、例えば各ブロックの絶対値差分和のトータルと、マクロブロックの絶対値差分和の小さい方をイントラ予測として利用する。すなわち、各ブロックの絶対値差分和のトータルの方が小さい場合、面内予測装置は、各ブロックについての差分値を出力する。これと逆に、マクロブロックの絶対値差分和の方が小さい場合、面内予測装置は、マクロブロックについての差分値を出力する。このようにして、Ｉピクチャのデータ圧縮を行うようにしている。

しかしながら、上記したように、従来の面内予測装置において、現在公開されている国際標準の動画圧縮方式であるＨ．２６４のイントラ予測では、画質を高めるため複数の予測方法（４ｘ４イントラ予測では、９種、１６ｘ１６イントラ予測では、４種）で予測画像を作成し、さまざまな予測方法から最適な予測方法を選択する処理を順次行うので、すなわち、符号化した場合の結果に応じて符号効率の高いモードを選択する処理をシーケンスに行うため、４ｘ４イントラ予測と１６ｘ１６イントラ予測とを終えるのに時間がかかる。

つまり、Ｈ．２６４規格の面内予測方式のうち、４×４ブロック面内予測では、図１０に示す順序で、複数の方向からブロックについて符号化済みの画素値と符号化対象の画素値との差分を複数の方向からの予測モードで求め、各予測モードにおける絶対値差分和の最小値から採用する予測モードを決定し、決定した予測モードについて、符号化済みの画素値と符号化対象の画素値との差分を直交変換および量子化することにより量子化係数を算出し、その量子化係数を逆量子化および逆直交変換して復元した差分値と予測画素値とを加算する逆イントラ予測を行うことにより再現画像の画素値を算出する処理が行われる。例えば、ブロック３における面内予測は、規格上、ブロック２の復号画素を用いるため、図１４に示されるように、逐次処理となり、イントラ予測、直交変換、量子化などの処理を効率的に動作させることができず、時間がかかるという問題がある。

このため、現在、高画質、高効率の動画圧縮技術を実現するためには、画質に優れるＨ．２６４における面内予測の時間短縮が求められている。

この問題を解決するため、従来の面内予測装置では、面内予測処理を、図１５に示されるように、規格と異なるブロックの番号順に行うことにより、図１６に示されるように、ブロック４の処理の前に、ブロック３を行うことができ、イントラ予測、直交変換、量子化などの処理をより効率的に実行させることができるようにしている（特許文献１参照）。この結果、パイプライン動作を可能にしている。
特開２００４−１４０４７３号公報（第１頁−２１頁） 「Ｈ２６４ Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」（ｆｔｐ：／／ｆｔｐ．ｉｍｔｃ−ｆｉｌｅｓ．ｏｒｇ／ｊｖｔ−ｅｘｐｅｒｔｓ／２００３＿０９＿ＳａｎＤｉｅｇｏ／ＪＶＴ−Ｉ０５０．ｄｏｃ） "Ｈ．２６４／ＡＶＣ教科書 インプレス標準教科書シリーズ"， ＩＳＢＮ： ４８４４３１９８３３ ； （２００４／０７））

しかしながら、上記公報に開示された従来の面内予測装置では、４×４ブロックについて、イントラ予測、直交変換、量子化などの処理の効率的動作と、これらの処理のパイプライン動作とを可能にしているものの、例えば、第１５図に示されるブロック２や、ブロック３は、直前のブロックの復号化処理を待つ必要があるため、この箇所では逐次処理のままである。つまり、パイプラインハザードにより処理能力が低下するという問題が生じる。このようなハザードは、図１５における初めのブロック０，１，２や、終わりのブロック１３，１４，１５についても発生する。

また、１６×１６のマクロブロックについては、逐次処理のままであり、時間短縮の効果が低い。

また、規格の符号化順序と異なる順序で面内予測処理を行うため、処理結果を一時記憶するための追加の処理や、回路が必要になるという新たな問題が発生する。

そこで、本発明は、ハザード問題を回避し、時間短縮の効果を高めることができる面内予測装置を提供することを第１の目的とする。

また、処理結果を一時記憶するための追加の処理や、回路を不要にすることができる面内予測装置を提供することを第２の目的とする。

上記第１の目的を達成するために、本発明に係る面内予測装置においては、１つの画像を面内予測する面内予測装置であって、画像を構成する第１ブロックを複数に分割した第２ブロック単位で面内予測すると共に、当該第１ブロック全体で面内予測する面内予測手段と、前記面内予測手段が前記各第２ブロックの面内予測と、前記第１ブロック全体の面内予測とを並行して実行するように制御する制御手段とを備えることを特徴とする。

第１ブロックの面内予測については第２ブロックの面内予測結果を利用することがないので、第１ブロックの面内予測の初めから、第１ブロックの面内予測と第２ブロックの面内予測処理を並行して実行させることができる。つまり、第１ブロックの面内予測と第２ブロックの面内予測処理とをパイプライン処理することができる。したがって、ハザード問題を回避し、時間短縮の効果を高めることができる。

また、本発明に係る面内予測装置においては、前記制御手段は、前記各第２ブロックの面内予測処理における少なくとも一部の処理を停止している時に、前記第１ブロック全体の面内予測処理を前記面内予測手段が実行するように制御することを特徴とすることができる。

これにより、面内予測手段の一部を有効利用することができる。
また、本発明に係る面内予測装置においては、前記面内予測手段は、前記第２ブロックおよび第１ブロックについて符号化済みの画素値と符号化対象の画素値との差分を複数の方向からの予測モードで求め、各予測モードにおける絶対値差分和の最小値から採用する予測モードを決定する予測処理を実行する予測手段と、前記予測手段が決定した予測モードについて、符号化済みの画素値と符号化対象の画素値との差分を直交変換および量子化することにより量子化係数を算出する符号化処理およびその量子化係数を逆量子化および逆直交変換して復元した差分値と予測手段で求めた予測画素値とを加算する逆イントラ予測を行うことにより再現画像の画素値を算出する復号化処理を行う符号化・復号化手段とを備え、前記制御手段は、前記各第２ブロックにおける予測処理の実行を停止している間に、前記予測手段に前記第１ブロックにおける予測処理を実行させることを特徴とすることができる。

これにより、予測手段を有効利用することができる。
また、本発明に係る面内予測装置においては、前記制御手段は、前記第１ブロックにおける予測処理を前記予測手段が実行している間に、前記第２ブロックにおける前記符号化処理および復号化処理を前記符号化・復号化手段に実行させることを特徴とすることもできる。

これにより、符号化・復号化手段を有効利用することができるだけでなく、第２ブロックにおける前記符号化処理および復号化処理、ひいては第１および第２ブロックについての面内予測処理を短時間に終わらせることができる。

また、上記第２の目的を達成するために、本発明に係る面内予測装置においては、前記制御手段は、前記面内予測手段における前記第２ブロックの面内予測処理を、所定の順に処理するように制御することを特徴とすることもできる。

これにより、処理結果を一時記憶するための追加の処理や、回路を、不要にすることができる。

また、本発明に係る面内予測装置においては、前記第１ブロックは１６×１６画素のブロックおよび８×８画素のブロックの少なくともいずれか一方であり、前記第２ブロックは４×４画素のブロックおよび８×８画素のブロックの少なくともいずれか一方であることを特徴とすることもできる。

これにより、符号化対象となる画像の画素値の変化率の大きさに合わせて符号化効率の高い面内予測を行うことができる。

また、本発明に係る面内予測装置においては、前記制御手段は、前記第２ブロックの面内予測処理の順序における１番目と２番目の間の期間、２番目と３番目の間の期間、１３番目と１４番目の間の期間および１４番目と１５番目の間の期間の少なくとも一つの期間に、第１ブロック全体の面内予測処理を前記予測手段に実行させることを特徴とすることもできる。

これにより、ハザード問題を確実に回避することができる。
なお、本発明は、このような面内予測装置として実現することができるだけでなく、このような面内予測装置が備える特徴的な手段をステップとする面内予測方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

以上の説明から明らかなように、本発明に係る面内予測装置によれば、従来技術ではパイプライン化が困難であったブロックについても、１６×１６面内予測処理を適当に配置することによりパイプライン化が可能となる。したがって、ハザード問題を回避し、時間短縮の効果を高めることができる。また、符号化順序と面内予測順序とが同じであるため、処理結果を一時記憶するための追加処理・回路を必要とせず、回路規模・消費電力の点で有利である。特に、本発明は、独立に用いてもよいし、また、従来例に適用しても、さらなるパイプライン化が可能となるものであって、その効果は高い。

よって、本発明により、ハザード問題を回避し、時間短縮の効果を高めつつ、符号化効率を高める面内予測を行うことができ、面内予測装置が普及してきた今日における実用的価値は極めて高い。

以下、本発明の実施の形態に係る面内予測装置について、図面を参照しながら説明する。

図１は、本発明の実施の形態に係る面内予測装置が適用される符号化装置１の全体構成を示す機能ブロック図である。

符号化装置１は、Ｉピクチャについて面内（イントラ）予測符号化したり、ＰピクチャおよびＢピクチャについて面間（インター）符号化したりする装置であり、図１に示されるように、面内予測装置１１、減算器１２、モード切替スイッチ１３、変換部１４、量子化部１５、エントロピー符号化部１６、インター予測部１７および符号化制御部１８等とを備える。また、インター予測部１７は、モード切替スイッチ１７０、逆量子化部１７１、逆変換部１７２、加算器１７３、ループフィルタ１７４、フレームメモリ１７５、動き予測部１７６および動き補償部１７７等とから構成される。

インター符号化が行われるピクチャに関しては、その符号化対象となるピクチャは、マクロブロックと呼ばれる例えば水平１６×垂直１６画素のブロック（マクロブロック）に分割され、ブロック単位で以降の処理が行われる。

符号化対象のピクチャは減算器１２において動き補償部１７７の出力である予測画像信号との差分を取ることによって得られる差分画像をモード切替スイッチ１３を介して変換部１４に出力する。

変換部１４では周波数変換を、量子化部１５では量子化を行うことにより、変換係数からなる残差信号を生成する。

この残差信号は逆量子化部１７１において逆量子化され、逆変換部１７２において逆周波数変換等の画像復号化処理が行なわれことにより、残差復号化信号が生成される。加算器１７３は、残差復号化信号と予測画像信号との加算を行うことにより再構成画像信号を生成し、得られた再構成画像信号はループフィルタ１７４によりブロック歪みが除去された後、フレームメモリ１７５に格納される。

一方、フレームメモリ１７５から読み出されたマクロブロック単位の入力画像信号は動き予測部１７６にも入力される。ここでは、フレームメモリ１７５に格納されている１枚もしくは複数枚の符号化済みピクチャを探索対象とし、最も入力画像信号に近い画像領域を検出することによってその位置を指し示す動きベクトルとその際に選択されたピクチャを指し示す参照ピクチャインデックスを決定する。動きベクトルの検出はマクロブロックをさらに分割したブロック単位で行われる。動き予測部１７６は、得られた動きベクトルおよび参照ピクチャインデックスを用いて、フレームメモリ１７５に格納されている符号化済みピクチャから最適な画像領域を取り出し、予測画像を生成する。

上記の一連の処理によって出力された動きベクトル、参照ピクチャインデックス、残差符号化信号等の符号化情報に対してエントロピー符号化部１６において可変長符号化を施すことにより、この符号化処理によってデータ量の少ないビットストリームが出力される。

以上の処理の流れは画面間予測符号化を行った場合の動作であったが、スイッチ１３およびスイッチ１７０によって画面内予測符号化との切り替えがなされる。

イントラ符号化を行う場合は、動き補償による予測画像の生成は行われず、面内予測装置１１において、同一画面内の符号化済み領域から符号化対象領域の予測画像を生成し、差分を取ることによって差分画像信号を生成する。なお、この詳細については、後述する。この差分画像信号は、インター符号化の場合と同様に、変換部１４および量子化部１５において残差符号化信号に変換され、エントロピー符号化部１６において可変長符号化が施され、データ量の少ないビットストリームが出力される。

次いで、面内予測装置１１の詳細な構成について説明する。
図２は、図１に示される面内予測装置１１の詳細な機能構成を示すブロック図である。

図２に示されるように、面内予測装置１１は、メモリ１１１、メモリ１１２、予測部１１３、減算器１１４、直交変換・量子化部１１５、逆量子化・逆直交変換部１１６、加算器１１７、ブロック番号出力部１１８および制御部１１９の要素により構成される。

メモリ１１１は、入力信号であるＩピクチャ中の１つのマクロブロック（縦１６画素×横１６画素）分の画素値を記録するメモリである。メモリ１１２は、縦１７画素×横１７画素、つまり符号化済みの隣接画素の画素値と、再現画像などを格納する縦１６画素×横１６画素分の画素値とを記憶するメモリである。つまり、マクロブロックの処理開始にあたり、まず、メモリ１１２をクリアした上で、第１行には、入力されたマクロブロックのすぐ上の符号化済みマクロブロックの、最下行の画素値を書き込む。さらに、第１列には、すぐ左の符号化済みマクロブロックの最右行の画素値を書き込む。メモリ１１１およびメモリ１１２の概略図を第３図に示す。なお、図３（ａ）はメモリ１１１の概略構成を、図３（ｂ）はメモリ１１２の概略構成を、それぞれ示す。

ブロック番号出力部１１８は、第１０図に示されるブロック番号０〜１５を番号順に、つまり、規格通りに各ブロックの位置情報を出力する。

制御部１１９は、ブロック番号出力部１１８からの位置情報に基づき、ブロック番号が指定するブロック内の画素値をメモリ１１１から読み出すためのアドレス情報を、出力する。また、ブロック番号が指定するブロックの近傍の左画素と上画素を、メモリ１１２から読み出すためのアドレス情報を出力する。また、制御部１１９は、制御信号Ｓ（後述）を出力する。

これにより、制御部１１９は、図１０に示されるブロックの番号順に、４×４画素のブロックの面内予測と１６×１６画素のマクロブロックの面内予測とを、予測部１１３に並行して実行させることができる。ここで、並行して実行させるとは、同時に実行させる場合の他、時分割で実行させることを含む概念である。

図４は、予測部１１３が実行する予測処理の動作を示すフローチャートである。
予測部１１３は、画像を構成するあるマクロブロックについて（Ｓ１１）、１６分割されたすべてのブロックにつき（Ｓ１２）、４×４ブロックについて面内予測する（Ｓ１３）と共に、これと並行して１６×１６マクロブロックについて面内予測する（Ｓ１５）。

すべてのブロックにつき、４×４ブロックについての面内予測と、１６×１６マクロブロックについての面内予測とが終わると（Ｓ１６）、マクロブロックについての面内予測を終了する（Ｓ１７）。この後は、図１３に示される最後の処理、つまり予測部１１３は、例えば各ブロックの絶対値差分和のトータルと、マクロブロックの絶対値差分和の小さい方をイントラ予測として利用する。すなわち、各ブロックの絶対値差分和のトータルの方が小さい場合、面内予測装置は、各ブロックについての差分値を出力する。これと逆に、マクロブロックの絶対値差分和の方が小さい場合、面内予測装置は、マクロブロックについての差分値を出力する。このようにして、Ｉピクチャのデータ圧縮を行うようにしている。なお、ここで絶対値差分和計算前に、直交変換処理後、すなわち周波数成分に変換してから、絶対値差分和を求めるようにしてもよい。

この並行に実行される処理の詳細を説明する。
制御部１１９での入力であるブロックの位置情報と、アドレス情報、制御信号Ｓおよび予測処理との時系列での関係を図５に示す。つまり、入力である位置情報に対して、出力であるアドレス情報は２度生成される。また、制御信号Ｓは、位置情報ごとに「０」と「１」を順に出力する。ここで、制御信号Ｓが「１」の時にメモリ１１２へ出力するアドレス情報は、位置情報にかかわらず、マクロブロックの左近傍画素と上近傍画素（第３図右、斜線部）とを読み出すためのアドレス情報を出力する。

制御部１１９が出力するアドレス情報に基づき、メモリ１１１から面内予測の処理対象となる符号化４×４ブロックの画素値と、メモリ１１２から面内予測画素を計算するための近傍画素とが、それぞれ読み出され、予測部１１３に入力される。

予測部１１３は、制御信号Ｓが「０」の時には、４×４ブロックの９種類の予測方法から符号化効率が最良となる予測方法を決定し、その場合の予測画素値を算出する（なお、４×４ブロックや１６×１６ブロックでの予測方法の詳細については、前記規格書の８．３節もしくは前記解説書の５．１章を参照）。

ここで、最良となる予測方法の決定には、例えば、各予測方法により生成された予測画素値と、符号化対象である画素値との差分絶対値を、予測方法ごとに求め、これら値の最小となる場合の予測方法を、最良の予測方法である、と決定すればよい。

また、制御信号が「１」の場合には、１６×１６ブロックでの面内予測での４種類の予測方法について、符号化対照画素と予測画素との差分絶対値を計算し、これを保持しておく。そして、４ｘ４ブロックの１６個分の処理が完了した時点で、各ブロックの差分絶対値を予測方法ごとに求め、これらのうち値が最小となる場合の予測方法を、１６×１６ブロックでの面内予測の最良予測方法として出力する、などすればよい。

減算器１１４は、予測部１１３が出力する予測画素値と、メモリ１１１が出力する符号化対象である画素値との画素ごとの差分を求め、直交変換・量子化部１１５は、差分を直交変換し、量子化処理する。この結果を逆量子化・逆直交変換部１１６で処理してローカルデコードの差分画素値を生成し、これと予測部１１３が出力する予測画素値との画素ごとの和を加算器１１７で求め、メモリ１１２に書き込む。

以上の動作を第５図に示したブロック番号出力部１１８の出力ごとに行うことで、４×４面内予測と、１６×１６面内予測の処理を並行して行うことができる。

本構成によれば、４×４面内予測と、１６×１６面内予測とを交互に処理しており、第５図に示されるように、ブロック２での４×４面内予測処理の開始時には、ブロック１での逆量子化・逆直交変換が終了し、ローカルデコード結果のメモリ１１２への記録が完了しているため、ブロック２での４×４面内予測処理を直ちに開始することができる。このように、規格通りの符号化順序で４×４ブロックを処理しつつ、１６×１６ブロックの予測処理と４×４ブロックの直交変換・量子化処理、逆量子化・逆直交変換および逆面内予測処理とのパイプライン化が可能となる。さらに、規格通りの符号化順序で処理しているので、前のブロックの演算結果をメモリ１１２に記録しておくことで、次のブロックの予測処理でそのまま利用でき、中間結果を一時保存するための追加の処理や、回路が不要となる。

なお、上記実施の形態では、４×４ブロックについての面内予測処理と１６×１６マクロブロックについての面内予測処理とを並行して処理する場合について説明したが、これらの処理の少なくともいずれか一方と、図６に示される８×８ブロックについての面内予測処理とを並行して実行させるようにしてもよい。

つまり、図７に示されるように、４×４ブロックについての面内予測処理（Ｓ１３）と、８×８ブロックについての面内予測処理（Ｓ１４）と、１６×１６マクロブロックについての面内予測処理（Ｓ１５）とを並行して実行させるようにしてもよい。

また、図８に示されるように、４×４ブロックについての面内予測処理（Ｓ１３）と、８×８ブロックについての面内予測処理（Ｓ１４）とだけを並行して実行させるようにしてもよい。

さらに、図９に示されるように、８×８ブロックについての面内予測処理（Ｓ１４）と、１６×１６マクロブロックについての面内予測処理（Ｓ１５）とだけを並行して実行させるようにしてもよい。

これらの処理を適宜行うことにより、符号化対象となる画像の画素値の変化率の大きさに合わせて符号化効率の高い面内予測を行うことができる。

本発明により、パイプライン化が可能となり、結果として面内予測に用いる予測処理や、直交変換・量子化処理等の利用効率が高まるため、動作クロックをより低く抑えることができる。これは、特にハイビジョン画像など、一秒あたりの画素数が増加した場合に効果が顕著である。今後、記憶媒体（ＤＶＤや、メモリカード）の容量増大に伴い、家庭用ムービーでハイビジョン画像の撮影機能が重要となる。家庭用ムービーでは、低消費電力化が重要となるが、その場合に、本発明を用いることにより、動作クロックの増大を抑えることができ、消費電力の増加を抑え、長時間使用可能なムービーを実現でき、その効果は大である。

また、本発明をＣＰＵやＤＳＰなどで実現するようにしてもよい。
さらに、これらＣＰＵやＤＳＰなどで実行するためのプログラムの形態で用意し、これをネットワークや放送回線などを通して伝送し、機器にダウンロードして実行するようにしてもよい。そして、パーソナルコンピュータや、ＨＤＤレコーダ、ＤＶＤレコーダなどの他、ビデオカメラ、カメラ付き携帯電話機等に適用できる。また、このイントラ予測装置を備える符号化装置にも適用できる。

本発明の実施の形態に係る面内予測装置が適用される符号化装置１の全体構成を示す機能ブロック図である。 図１に示される面内予測装置１１の詳細な機能構成を示すブロック図である。 図２に示されるメモリ１１１およびメモリ１１２の概略図を示す図である。 図２に示される予測部１１３が実行する予測処理の動作を示すフローチャートである。 制御部１１９での入力であるブロックの位置情報と、アドレス情報、制御信号Ｓおよび予測処理との時系列での関係を示すシーケンス図である。 ４×４ブロックと、１６×１６マクロブロックと、８×８ブロックとの関係を示す図である。 予測部１１３が実行する他の予測処理の動作を示すフローチャートである。 予測部１１３が実行する他の予測処理の動作を示すフローチャートである。 予測部１１３が実行する他の予測処理の動作を示すフローチャートである。 規格にしたがう１６×１６画素のマクロブロックと４×４画素の各ブロックとの関係を示す図である。 ４×４ブロックについての予測モードを示す図である。 １６×１６マクロブロックについての予測モードを示す図である。 規格にしたがう従来の面内予測処理を示すシーケンス図である。 規格にしたがう予測処理の詳細を示す図である。 公報で開示された従来の１６×１６画素のマクロブロックと４×４画素の各ブロックとの関係を示す図である。 公報で開示された従来の面内予測処理を示すシーケンス図である。

符号の説明

１１ 面内予測装置
１１１ メモリ
１１２ メモリ
１１３ 予測部
１１４ 減算器
１１５ 直交変換・量子化部
１１６ 逆直交変換・逆量子化部
１１７ 加算器
１１８ ブロック番号出力部
１１９ 制御部

Claims (5)

1. １つの画像を面内予測する面内予測装置であって、
   画像を第１ブロック単位で画面内予測を行う第１面内予測モードと、当該第１ブロックを複数に分割した第２ブロック単位で画面内予測を行う第２面内予測モードと、を有する面内予測手段と、
   前記面内予測手段が前記第１面内予測モードの処理と、前記第２面内予測モードの処理と、を交互に実行するように制御する制御手段と
   を備え、
   前記制御手段は、前記面内予測手段に、前記第２ブロック単位で画素値を読み出させるとともに、読み出した画素値を前記第２面内予測モードで処理させ、さらに、前記第１面内予測モードの全体処理のうち、当該読み出した画素値に対応する部分の処理を行なわせるよう制御する
   ことを特徴とする面内予測装置。
2. 前記制御手段は、前記面内予測手段に対して、前記第２ブロック単位で画素値を読み出させるとともに、読み出した画素値を前記第２面内予測モードで処理させた後、前記第１面内予測モードで処理させる
   ことを特徴とする請求項１記載の面内予測装置。
3. 前記制御手段は、前記面内予測手段に対して、前記第２ブロック単位で読み出した画素値を前記第１面内予測モードで処理した後、当該第１面内予測モードの処理を一旦停止し、新たに第２ブロック単位で画素値を読み出すとともに、読み出した画素値を前記第２面内予測モードで処理させ、さらに読み出した画素値を当該第１面内予測モードで処理させる
   ことを特徴とする請求項２記載の面内予測装置。
4. 前記面内予測手段は、前記第２面内予測モードを実行し、予測画像を生成する特徴を有し、
   前記面内予測装置はさらに、前記予測画像と、前記画像と、を用いて当該画像を所定規格で符号化を行う符号化手段を備え、
   前記制御手段は、前記符号化手段における処理と、前記第１面内予測モードの処理と、を並列して処理するよう前記符号化手段と、前記面内予測手段と、を制御する
   ことを特徴とする請求項１から請求項３のいずれか１項に記載の面内予測装置。
5. １つの画像を面内予測する面内予測方法であって、
   画像を第１ブロック単位で画面内予測を行う第１面内予測モードと、当該第１ブロックを複数に分割した第２ブロック単位で画面内予測を行う第２面内予測モードと、を有する面内予測ステップと、
   前記面内予測ステップにおいて前記第１面内予測モードにおける処理全体のうち前記第２ブロック単位で処理を行なう部分処理と、前記第２面内予測モードと、を交互に実行するように制御する制御ステップと
   を含み、
   前記制御ステップでは、前記面内予測ステップにおいて、前記第２面内予測モードを実行する際に前記第２ブロック単位で読み出した画素値を基に前記部分処理を行わせるよう制御する
   ことを特徴とする面内予測方法。

Images