JP6696889B2 - 画像符号化装置、画像符号化方法及びコンピュータプログラム - Google Patents

Description

本発明は、画像（映像を含む）を符号化する技術に関する。

映像符号化の標準規格としてＨ．２６４／ＡＶＣやＨ．２６５／ＨＥＶＣ等の映像符号化方式が策定されている。ＨＥＶＣでは、符号化対象のピクチャがＬＣＵ（Largest Coding Unit）と呼ばれるブロックに分割され、分割されたＬＣＵごとに符号化が行われる。ＬＣＵは、四分木で最大３回まで更に分割することができ、最大で６４×６４画素、最小で８×８画素からなるＣＵ（Coding Unit）と呼ばれるブロックで構成される。以下、ｎ×ｎ画素（ｎは８の倍数）からなるブロックをｎ×ｎと略記する。

各ＣＵの符号化には、イントラ予測モードや、インター予測モード、ベクトル予測モード、マージモード、スキップモード等の複数の予測モードを用いることができる。イントラ予測モードは、符号化対象のブロック（以下「対象ブロック」という。）に隣接する符号化済みの画素に基づいて対象ブロック内の画素値を予測する予測モードである。インター予測モードは、符号化済みのフレームに基づいて対象ブロック内の画素値を予測する予測モードである。更に、インター予測モードには、差分動きベクトルを符号化する適応動きベクトル予測モードや、差分動きベクトルを伝送しないマージモード、マージモードで更に残差符号化係数も符号化しないスキップモード等の予測モードが規定されている。

また、イントラ予測モードでは、予測方向を３５パターンの中から選ぶことができ、適応動きベクトル予測モードでは予測方向を３パターンの中から選ぶことができる。更に、適応動きベクトル予測モードでは、動きベクトルを画面内の範囲から任意に決定することができる。このように、符号化に関する種々のパラメータ（以下「符号化パラメータ」という。）を膨大な選択肢の中から決定しなければならないことから、ＨＥＶＣには符号化パラメータの決定に長い時間を要してしまうという問題があった。非特許文献１には、このような問題に対して様々な高速化が図られた基本参照ソフトウェアＨＭ（以下「従来技術」という。）が記載されている。以下、従来技術を構成する２つの代表的なアルゴリズムである動き探索アルゴリズム及びイントラ予測モード決定アルゴリズムについて説明する。

（動き探索アルゴリズム）
動き探索アルゴリズムは、動きベクトルを探索するアルゴリズムである。動きベクトルは、水平成分及び垂直成分の値を持つ２次元ベクトルとして抽出される。従来技術の動き探索アルゴリズムは以下の手順で実施される。

ステップＳ１． 片方向予測（Ｌ０／Ｌ１）
ステップＳ１−１． 探索開始点の決定
ステップＳ１−２． 整数画素精度探索
ステップＳ１−３． 小数画素精度探索
ステップＳ２． 双方向予測（Ｂｉ）
ステップＳ２−１． 探索開始点の決定
ステップＳ２−２． 整数画素精度探索
ステップＳ２−３． 小数画素精度探索
ステップＳ３． コスト比較

動き探索では、まず片方向予測が実施される（ステップＳ１）。片方向予測では、予測動きベクトル（ＰＭＶ：Predicted Motion Vector）、隣接ブロックの動きベクトル、ゼロベクトルを候補として、それぞれのＳＡＤ（Sum of Absolute Differences）ベースのコスト評価によって探索開始点となる動きベクトルが決定される。このとき、コスト最小の動きベクトルが探索開始点に決定される（ステップＳ１−１）。

次に、決定された探索開始点を起点として、ＳＡＤベースのコストに基づくダイヤモンドサーチ（或いはラスターサーチ）が実施される。ここで探索されたコスト最小の動きベクトルを起点として、再度ダイヤモンドサーチが実施される。そして、再度のダイヤモンドサーチによって探索されたコスト最小の動きベクトルが整数画素精度での最適な動きベクトル（以下「最適ベクトル」という。）に決定される（ステップＳ１−２）。

次に、決定された整数画素精度の最適ベクトルを起点として、ＳＡＴＤ（Sum of Absolute Transformed Differences）ベースのコスト評価に基づく小数画素精度での探索（１／２画素精度→１／４画素精度の順にステップサーチ）が実施される。そして、小数画素精度での探索においてコスト最小の動きベクトルが、片方向予測の最終的な予測結果を示す動きベクトルとして決定される（ステップＳ１−３）。片方向予測では、これらの一連の探索処理がＬ０方向とＬ１方向のそれぞれについて実施される。

次に、双方向予測が実施される（ステップＳ２）。双方向予測におけるＬ１方向の探索は、Ｌ０方向の動きベクトルが、片方向予測の（整数画素精度での）探索結果に固定された状態で実施される。このとき、整数画素精度での探索と小数画素精度での探索とは、片方向予測と同様に行われる（ステップＳ２−１〜Ｓ２−３）。一方、双方向予測におけるＬ０方向の探索は、Ｌ１方向の動きベクトルが片方向予測の探索結果に固定された状態で実施される。双方向予測では、Ｌ０方向及びＬ１方向の探索結果のうち、より低コストである方の探索結果が最終的な予測結果を示す動きベクトルとして決定される。

最後に、片方向予測及び双方向予測の予測結果のうち、より低コストである方の予測結果が、動き探索アルゴリズムによる最終的な予測方向として決定される。続いて、イントラ予測モード決定アルゴリズムについて説明する。

（イントラ予測モード決定アルゴリズム）
イントラ予測モード決定アルゴリズムは、イントラ予測に用いる予測モードを決定するアルゴリズムである。従来のイントラ予測モード決定アルゴリズムは以下の手順で実施される。

ステップＳ１． ＳＡＴＤベースの最適化による候補モードの絞込
ステップＳ２． ＭＰＭ（Most Probable Mode）の算出
ステップＳ３． ＲＤ（Rate Distortion）最適化

まず、全てのイントラ予測モードについてのＳＡＴＤベースのコスト評価によって、候補モードの絞り込みが実施される。次に、対象ブロックのＭＰＭが算出される。ＭＰＭは３つの予測モードで構成され、下記の３パターンで算出される。ここで、対象ブロックの左隣のブロックのイントラ予測モードを“Ａ”、上隣のブロックのイントラ予測モードを“Ｂ”とする。ただし、隣接ブロックが符号化されてない等の理由で参照できない場合は“０”とする。なお、以下の各パターンの説明において、「ａ％ｂ」の記載はａをｂで除した余り（剰余）を表す。

（パターン１）Ａ＝Ｂで且つ２未満の場合
ＭＰＭ［０］＝０
ＭＰＭ［１］＝１
ＭＰＭ［２］＝２６

（パターン２）Ａ＝Ｂで且つ２以上の場合
ＭＰＭ［０］＝Ａ（＝Ｂ）
ＭＰＭ［１］＝２＋（Ａ＋２９）％３２
ＭＰＭ［２］＝２＋（Ａ−２＋１）％３２

（パターン３）Ａ≠Ｂの場合
ＭＰＭ［０］＝Ａ
ＭＰＭ［１］＝Ｂ
ＭＰＭ［２］＝ｉｆ（Ａ≠Ｂ≠０）０，
ｅｌｓｅ ｉｆ（Ａ≠Ｂ≠１）１，
ｅｌｓｅ ２６

以上がステップＳ１の処理である。最後にステップＳ１で絞り込まれた候補モードとＭＰＭとについてＲＤベースのコスト評価を実施し（ステップＳ２）、コスト最小のモードを最終的な予測モードとして決定する（ステップＳ３）。

株式会社インプレスジャパン，"インプレス標準教科書シリーズ Ｈ．２６５／ＨＥＶＣ教科書，" ２０１３年，Ｐ２３９，Ｐ２４５−２４８

このように、動き探索アルゴリズムでは、対象ブロックの周囲のブロックから得られる参照動きベクトルのうちコスト最小の動きベクトルを探索開始点とすることで探索点の削減が図られている。しかしながら、このような探索点開始点の決定方法では、参照動きベクトルのそれぞれについてコストを算出する必要があるため演算コストが大きい。また、コストが最小である動きベクトルが必ずしも最適な探索開始点であるとは限らず、参照動きベクトルの中にローカルミニマムとなるベクトルが存在する場合には最適な動きベクトルに到達できない可能性もある。

また、イントラ予測モード決定アルゴリズムでは、全ての予測モードに対してコストを算出する必要があるため演算コストが大きい。そこで、ＭＰＭが、選ばれやすい予測モードであることに着目してＭＰＭとその周囲の予測モードについてのみコストを算出する方法が考えられる。しかしながら、ＭＰＭの算出時に追加されるモード（０、１、２６）は一般的な映像の中で出現頻度が高いモードであるという理由で追加されているだけであり、ＭＰＭ以外の予測モードの出現頻度が高い映像に対しては必ずしも相関があるとは言えない。そのため、この方法を適用すると著しく符号化効率が低下する可能性があった。

このように、従来の符号化技術は、画像の性質を前提として予め規定された動作に従って参照情報を得る処理や、プロトコルの仕様として予め定められた値を参照情報とする動作が存在する。そのような動作により得られた参照情報は符号化対象画像との相関が必ずしも高いとは限らず、符号化歪みや演算量の増大を引き起こす場合がある。

上記事情に鑑み、本発明は、画像の符号化に係る演算量の削減を、予測精度の低下を抑制しつつ実現することができる技術を提供することを目的としている。

本発明の一態様は、画像の符号化に関する複数ステップの処理を実行する画像符号化装置であって、前記複数ステップの処理のうち、対象画像の符号化に関する符号化パラメータを取得する第一ステップの処理を実行する第一処理部と、前記複数ステップの処理のうち、前記第一ステップの後段で実行されるステップであって、前記符号化パラメータに基づく第二ステップの処理を実行する第二処理部と、前記符号化パラメータの性質を示す情報であって、符号化方式の制約に基づいて定められる性質情報を取得する性質情報取得部と、前記符号化パラメータと前記性質情報とに基づいて前記符号化パラメータの信頼度を取得する信頼度取得部と、前記第二ステップの処理を前記信頼度に基づいて制御する制御部と、を備える。

本発明の一態様は、上記の画像符号化装置であって、前記第一ステップの処理は符号化対象ブロックの画像から動きベクトルを取得する処理であり、前記第二ステップの処理は最適な動きベクトルである最適ベクトルを探索する処理であり、前記制御部は、前記信頼度に基づいて前記最適ベクトルの探索に要する処理量を制御する。

本発明の一態様は、上記の画像符号化装置であって、前記信頼度取得部は、動き探索の有無、予測モードの種別又はスケーリングの有無に基づいて前記符号化パラメータの信頼度を取得し、前記制御部は、前記信頼度の高さに応じた符号化パラメータを選択することで、前記最適ベクトルの探索に係る処理量及び処理精度を制御する。

本発明の一態様は、上記の画像符号化装置であって、前記第一ステップの処理はＭＰＭ（Most Probable Mode）を取得する処理であり、前記第二ステップの処理は前記ＭＰＭに基づいてイントラ予測モードを決定する処理であり、前記制御部は、前記第二ステップの処理において決定される前記イントラ予測モードの精度を制御する。

本発明の一態様は、上記の画像符号化装置であって、前記第二ステップの処理における対象画像の符号化方式は、前記対象画像を複数のブロックに分割して符号化する方式であり、前記信頼度取得部は、符号化対象ブロックに隣接するブロックの符号化モードに基づいて前記符号化パラメータの信頼度を取得する。

本発明の一態様は、画像の符号化に関する複数ステップの処理を実行する画像符号化装置が行う画像符号化方法であって、前記複数ステップの処理のうち、対象画像の符号化に関する符号化パラメータを取得する第一ステップの処理を実行する第一処理ステップと、前記複数ステップの処理のうち、前記第一ステップの後段で実行されるステップであって、前記符号化パラメータに基づく第二ステップの処理を実行する第二処理ステップと、前記符号化パラメータの性質を示す情報であって、符号化方式の制約に基づいて定められる性質情報を取得する性質情報取得ステップと、前記符号化パラメータと前記性質情報とに基づいて前記符号化パラメータの信頼度を取得する信頼度取得ステップと、前記第二ステップの処理を前記信頼度に基づいて制御する制御ステップと、を有する。

本発明の一態様は、上記の画像符号化装置としてコンピュータを機能させるためのコンピュータプログラムである。

本発明により、画像の符号化に係る演算量の削減を、予測精度の低下を抑制しつつ実現することが可能となる。

第１の実施形態における映像符号化装置１の構成例を示す図である。 第１の実施形態における動きベクトル検出部１１１の構成例を示す図である。 動きベクトルを決定する処理の流れを示すフローチャートである。 第１の実施形態における映像符号化装置１の動作例を示す図である。 第２の実施形態における映像符号化装置１ａの構成例を示す図である。 第２の実施形態におけるイントラ予測モード決定部１２０の構成例を示す図である。 イントラ予測モードを決定する処理の流れを示すフローチャートである。 第２の実施形態における映像符号化装置１ａの動作例を示す図である。

以下、本発明の実施形態について説明するが、実施形態の映像符号化装置が準拠する標準規格は特定の標準規格に限定されない。以下では、その一例として、Ｈ．２６５／ＨＥＶＣに準拠する映像符号化装置の実施形態について説明する。

＜第１の実施形態＞
図１は、第１の実施形態における映像符号化装置１の構成例を示す図である。映像符号化装置１には、符号化対象として入力される映像をなす時系列の画像データ（以下「入力画像」という。）がＣＵブロックごとに入力される。映像符号化装置１は、入力画像をＣＵブロックごとに符号化する。このＣＵブロックごとの符号化処理がラスタスキャンの順に繰り返し実行されることで、入力画像全体が符号化される。

映像符号化装置１（画像符号化装置の一例）は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、プログラムを実行する。映像符号化装置１は、プログラムの実行によって減算器１０１、直交変換／量子化部１０２、可変長符号化部１０３、逆量子化／逆直交変換部１０４、加算器１０５、ループフィルタ部１０６、復号ピクチャメモリ１０７、イントラ予測部１０８、インター予測部１０９、イントラ／インター切り替えスイッチ１１０及び動きベクトル検出部１１１を備える装置として機能する。なお、映像符号化装置１の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。

減算器１０１には、映像符号化装置１に入力された入力画像と、イントラ予測部１０８又はインター予測部１０９から出力される画像（以下「予測画像」という。）と、が入力される。減算器１０１は、入力画像と予測画像との差分によって表される差分画像を取得する。減算器１０１は、取得した差分画像を直交変換／量子化部１０２に出力する。

直交変換／量子化部１０２は、減算器１０１から出力された差分画像に対して直交変換及び量子化を施す。直交変換／量子化部１０２は、直交変換及び量子化を施した差分画像（以下「変換画像」という。）を、可変長符号化部１０３及び逆量子化／逆直交変換部１０４に出力する。

可変長符号化部１０３は、直交変換／量子化部１０２から出力された変換画像を可変長符号化する。この可変長符号化によって、入力画像の符号化データが生成される。可変長符号化部１０３は、生成した符号化データを出力する。

逆量子化／逆直交変換部１０４は、直交変換／量子化部１０２から出力された変換画像に対して逆量子化及び逆直交変換を施す。逆量子化／逆直交変換部１０４は、逆量子化及び逆直交変換を施した変換画像（以下「逆変換画像」という。）を加算器１０５に出力する。

加算器１０５は、逆量子化／逆直交変換部１０４から出力された逆変換画像と予測画像との和によって表される加算画像を、イントラ予測部１０８及びループフィルタ部１０６に出力する。

ループフィルタ部１０６は、加算器１０５から出力された加算画像にループフィルタを適用する。ループフィルタ部１０６は、ループフィルタが適用された加算画像（以下「復号画像」という。）を復号ピクチャメモリ１０７に出力する。

復号ピクチャメモリ１０７は、ループフィルタ部１０６の出力を格納する。復号ピクチャメモリ１０７に格納された復号画像は、インター予測部１０９及び動きベクトル検出部１１１に出力される。復号画像は、符号化対象ブロックのインター予測及び動きベクトルの検出時に参照画像として利用される。

イントラ予測部１０８は、加算器１０５から出力された加算画像を参照画像として、イントラ予測に基づく符号化対象ブロックの予測画像（以下「イントラ予測画像」という。）を生成する。

インター予測部１０９は、復号ピクチャメモリ１０７から出力される復号画像を参照画像として、インター予測に基づく符号化対象ブロックの予測画像（以下「インター予測画像」という。）を生成する。具体的には、インター予測部１０９は、動きベクトル検出部１１１から出力される動きベクトルと、参照画像である復号画像とに基づいてインター予測画像を生成する。

イントラ／インター切り替えスイッチ１１０は、符号化対象ブロックの予測モードに応じて、入力をイントラ予測部１０８又はインター予測部１０９に切り替えるスイッチである。イントラ／インター切り替えスイッチ１１０は、スイッチの切り替えによりイントラ予測部１０８又はインター予測部１０９から出力される予測画像を減算器１０１及び加算器１０５に出力する。

動きベクトル検出部１１１は、入力画像と復号ピクチャメモリから出力される参照画像（復号画像）とを用いて動きベクトルを検出する。動きベクトル検出部１１１は、検出した動きベクトルをインター予測部１０９に出力する。

図２は、第１の実施形態における動きベクトル検出部１１１の構成例を示す図である。動きベクトル検出部１１１は、動きベクトルメモリ１１２、信頼度情報メモリ１１３、探索制御部１１４及び動き探索部１１５を備える。

動きベクトルメモリ１１２は、動き探索部１１５から出力される動きベクトルを格納する。動きベクトルメモリ１１２に格納された動きベクトルは、探索制御部１１４によって参照される。

信頼度情報メモリ１１３は、動き探索部１１５から出力される信頼度情報を格納する。信頼度情報メモリ１１３に格納された信頼度情報は、探索制御部１１４によって参照される。信頼度情報は、画像の符号化に関するパラメータ（以下「符号化パラメータ」という。）の信頼性の高さ（以下「信頼度」という。）を表す情報である。信頼度は、符号化パラメータと、符号化パラメータの性質を示す性質情報とに基づいて決定される。性質情報は、符号化パラメータの取得方法や取得時に求まる値など、符号化方式の制約に基づいて定められる情報であればどのような情報であってもよい。以下、動きベクトルの信頼性の高さを信頼度と定義した場合の具体例について説明するが、その他、動きベクトル算出時の最小コストや、予測モードが選択された時の最適化方法、対象ブロックのＲＤコスト等が信頼度と定義されてもよい。本実施形態では、一例として下記２つの信頼度を定義する。

［第１の信頼度］
第１の信頼度は、動きベクトルの算出方法に基づいて定義される。この場合、動きベクトルが符号化パラメータであり、動きベクトルの算出方法が性質情報となる。このように定義された第１の信頼度は、次の二値のうちのいずれかの値を取り得る。
Ａ_１…動き探索により算出
Ａ_２…動き探索以外の方法により算出

［第２の信頼度］
第２の信頼度は、動きベクトルが用いられているブロックの予測モードに基づいて定義される。この場合、動きベクトルが符号化パラメータであり、動きベクトルが用いられているブロックの予測モードが性質情報となる。このように定義された第２の信頼度は、次の三値のうちのいずれかの値を取り得る。
Ｂ_１…適応動きベクトル予測モード
Ｂ_２…マージモード
Ｂ_３…スキップモード

探索制御部１１４は、動きベクトルメモリ１１２に格納された動きベクトルと、信頼度情報メモリ１１３に格納された信頼度情報とに基づいて、動き探索部１１５の探索開始点の決定及び処理レベルを制御する。

動き探索部１１５は、入力画像及び参照画像と、探索制御部１１４の制御情報とに基づいて動き探索を実行する。動き探索部１１５は、動き探索の実行によって、対象ブロックの動きベクトルを決定する。動き探索部１１５は、決定した動きベクトルを動きベクトルメモリ１１２に出力する。また、動き探索部１１５は、決定した動きベクトルの信頼度を算出し、算出した信頼度を示す信頼度情報を信頼度情報メモリ１１３に出力する。

図３は、動きベクトルを決定する処理の流れを示すフローチャートである。動きベクトルの決定は動き探索部１１５によって実行される。まず、動き探索部１１５は、検出済み動きベクトルに基づき、対象ブロックの各予測方向（Ｌ０／Ｌ１）についての予測動きベクトル（以下「ＰＭＶ」と記載する。）を算出する（ステップＳ１０１）。動き探索部１１５は、対象ブロックの各予測方向（Ｌ０／Ｌ１）のそれぞれについて２つずつのＰＭＶを算出する。ＰＭＶの算出方法はＨＥＶＣの規格に準ずる。

次に、動き探索部１１５は、各ＰＭＶの信頼度を評価する（ステップＳ１０２）。動き探索部１１５は、上記の信頼度情報に基づいて各ＰＭＶの信頼度を評価する。例えば、上記の第１及び第２の信頼度に基づく場合、動き探索部１１５は次に示すような評価方法で信頼度を評価してもよい。

［信頼度の評価方法］
（ケース１）第１の信頼度が異なる場合
この場合、動き探索部１１５は、第１の信頼度Ａ_１を持つＰＭＶの信頼度は、Ａ_２を持つＰＭＶの信頼度よりも高いと判定する。

（ケース２）第１の信頼度が等しい場合
この場合、動き探索部１１５は、スケーリングしていないＰＭＶの信頼度が、スケーリングしているＰＭＶの信頼度よりも高いと判定する。ここでいうスケーリングとは、ＰＭＶの算出時において、参照画像間距離が異なる場合に実施される動きベクトルのスケーリング処理を表す。

（ケース３）ケース１及びケース２の両方で信頼度が同じ場合
この場合、動き探索部１１５は、第２の信頼度に基づいて信頼度を評価する。具体的には、動き探索部１１５は、第２の信頼度Ｂ_１を持つＰＭＶ、Ｂ_２を持つＰＭＶ、Ｂ_３を持つＰＭＶの順に信頼度が高いと判定する。

探索制御部１１４は、このような信頼度の評価に基づいて、動き探索部１１５の探索開始点及び処理レベルを決定する（ステップＳ１０３）。

具体的には、探索制御部１１４は、ＰＭＶのいずれかの第１の信頼度がＡ_１であれば、その中で最も信頼度の高いＰＭＶ（以下「ＢｅｓｔＰＭＶ」という。）を探索開始点に決定する。なお、探索制御部１１４は、各ＰＭＶの信頼度が同じ場合にはインデックスの小さい方のＰＭＶを探索開始点に決定してもよい。また、探索制御部１１４は、各ＰＭＶの信頼度がいずれもＡ_３である場合には各ＰＭＶのコスト評価に基づいて探索開始点を決定してもよい。この場合、探索制御部１１４はコスト最小のＰＭＶを探索開始点に決定する。なお、ここでいうコストとは、対象ブロックと参照ブロックとの間の絶対誤差の和である。

また、探索制御部１１４は、ＢｅｓｔＰＭＶの信頼度に応じて処理レベルを決定する。本実施例では次のようにＢｅｓｔＰＭＶの信頼度が高いほど処理量が少なくなるように処理レベルが制御される。

［片方向探索における処理レベルの定義］
（ケース１）ＢｅｓｔＰＭＶの信頼度がＡ_１である場合
この場合、探索制御部１１４は、探索処理の処理レベルを小数画素精度と決定する。この処理レベルの決定により、対象ブロックの片方向探索において小数画素精度の探索が実施される。

（ケース２）ＢｅｓｔＰＭＶの信頼度がＡ_２である場合
この場合、探索制御部１１４は、探索処理の処理レベルを整数画素精度と決定する。この処理レベルの決定により、対象ブロックの片方向探索において、整数画素精度の探索と小数画素精度の探索との両方が実施される。

［双方向探索における処理レベルの定義］
（ケース１）各予測方向のＢｅｓｔＰＭＶの信頼度のうちの低い方がＡ_１である場合
この場合、探索制御部１１４は、信頼度が高い方を固定し、信頼度が低い方について小数画素精度の探索が実施されるように処理レベルを制御する。

（ケース２）各予測方向のＢｅｓｔＰＭＶの信頼度のうちの低い方がＡ_２である場合
この場合、探索制御部１１４は、信頼度が高い方を固定し、信頼度の低い方について整数画素精度の探索と小数画素精度の探索との両方が実施されるように処理レベルを制御する。なお、双方向探索では、ケース１及びケース２のいずれにおいても、探索開始点は片方向探索の結果に基づいて決定される。

このように決定された探索開始点及び処理レベルに基づいて、動き探索部１１５は動き探索を実施する（ステップＳ１０４）。具体的には、動き探索部１１５は、各探索点のコストが最小となる点を対象ブロックの最適な動きベクトル（最適ベクトル）として決定する。ここでのコストは、動きベクトル残差の符号化コストと、絶対誤差の和との重み付け和である。

図４は、第１の実施形態における映像符号化装置１の動作例を示す図である。図４（Ａ）はＰＭＶの算出例を示す図である。また、図４（Ｂ）は、図４（Ａ）に示すＰＭＶに基づいて決定された探索開始点及び処理レベルの具体例を示す図である。ここで、ＰＭＶが図４（Ａ）のように算出された場合の探索制御部１１４の動作として、まず信頼度の評価が行われる。図４（Ａ）の場合、Ｌ０方向においてはインデックス０のＰＭＶの信頼度（Ａ_１）がインデックス１のＰＭＶの信頼度（Ａ_２）よりも高い。この場合、探索制御部１１４は、インデックス０のＰＭＶを探索開始点に決定する。

一方、Ｌ１方向においては、インデックス０及びインデックス１の両方においてＰＭＶの信頼度（Ａ_２）が等しい。この場合、探索制御部１１４は、スケーリングの有無を識別し、スケーリングしていないインデックス１のＰＭＶを探索開始点に決定する。

また、図４（Ａ）の場合、Ｌ０方向の片方向探索におけるＢｅｓｔＰＭＶの信頼度がＡ_１であるため、探索制御部１１４はＬ０方向の片方向探索の処理レベルを小数画素精度に決定する。一方、Ｌ１方向の片方向探索におけるＢｅｓｔＰＭＶの信頼度がＡ_２であるため、探索制御部１１４はＬ１方向の片方向探索の処理レベルを整数画素精度及び小数画素精度の両方に決定する。

また、この場合、Ｌ０方向のＢｅｓｔＰＭＶの信頼度（Ａ_１）よりもＬ１方向のＢｅｓｔＰＭＶの信頼度（Ａ_２）の方が低いため、探索制御部１１４は、Ｌ０方向を固定し、Ｌ１方向について整数画素精度及び小数画素精度の両方の処理レベルでの探索が実施されるように制御する。

このように構成された第１の実施形態の映像符号化装置１は、動きベクトルに対する信頼度情報を記憶し、この信頼度情報を動きベクトルの検出時に利用する。このような構成を備えることにより、映像符号化装置１は、予測精度を向上させることができる。これは、動き探索の算出方法を信頼度情報として用いることで、同じＰＭＶ（予測動きベクトル）であっても動き探索によって算出されたＰＭＶの方が物体の動きをより正確に捉えていると考えられるためである。従来技術では、探索開始点の決定にコスト算出が必要であったが、本実施形態では信頼度（動き探索の算出方法）の評価だけで決定することができる。また、信頼度情報に基づいて動き探索の処理レベルを制御することで動き探索の演算量を抑えつつも適切な動きベクトルを算出することができる。

なお、第１の実施形態における動き探索部１１５は、本発明における第一処理部、第二処理部、性質情報取得部及び信頼度取得部の一例であり、探索制御部１１４は本発明における制御部の一例である。具体的には、動き探索部１１５が符号化パラメータである動きベクトルを算出する機能が、本発明における第一処理部の機能に該当する。また、動き探索部１１５が動きベクトルの信頼度に基づいて最適ベクトルを探索する機能が、本発明における第二処理部の機能に該当する。また、動き探索部１１５が、動きベクトルの算出方法や、動きベクトルが用いられているブロックの予測モードを識別する機能が、本発明における性質情報取得部の機能に該当する。また、動き探索部１１５が、動きベクトルの算出方法や、動きベクトルが用いられているブロックの予測モードに基づいて信頼度を算出する機能が、本発明における信頼度取得部の機能に該当する。そして、動き探索部１１５が最適ベクトルを探索する処理の処理レベルを、算出された信頼度に基づいて制御する機能が、本発明における制御部の機能に該当する。

＜第２の実施形態＞
図５は、第２の実施形態における映像符号化装置１ａの構成例を示す図である。映像符号化装置１ａは、動きベクトル検出部１１１を備えない点、イントラ予測モード決定部１２０をさらに備える点で第１の実施形態における映像符号化装置１と異なる。図５において、映像符号化装置１と同様の機能部には図１と同じ符号を付すことにより、これらの同様の機能部についての説明を省略する。

イントラ予測モード決定部１２０は、入力画像と加算画像とに基づいて、対象ブロックのイントラ予測モードを決定する。イントラ予測モード決定部１２０は、決定したイントラ予測モードをイントラ予測部１０８に通知する。

図６は、第２の実施形態におけるイントラ予測モード決定部１２０の構成例を示す図である。イントラ予測モード決定部１２０は、イントラ予測モードメモリ１２１、信頼度情報メモリ１２２、探索制御部１２３及びモード探索部１２４を備える。

イントラ予測モードメモリ１２１は、モード探索部１２４によって決定されたイントラ予測モードを格納する。イントラ予測モードメモリ１２１に格納されたイントラ予測モードは、探索制御部１２３によって参照される。

信頼度情報メモリ１２２は、モード探索部１２４から出力される信頼度情報を格納する。信頼度情報メモリ１２２に格納された信頼度情報は、探索制御部１２３によって参照される。以下、イントラ予測モードの信頼性の高さを信頼度と定義した場合の具体例について説明するが、その他、対象ブロックについてのＳＡＴＤコストやＲＤコスト等が信頼度と定義されてもよい。

本実施形態における信頼度は、イントラ予測モードの算出方法に基づいて定義される。この場合、イントラ予測モード（ＭＰＭ）が符号化パラメータであり、ＭＰＭの算出方法が性質情報となる。このように定義された信頼度は、ＲＤ最適化によって決定されたことを示す値Ａ、ＳＡＴＤ最適化により決定されたことを示す値Ｂ、それ以外の方法によって算出されたことを示す値Ｃのいずれかの値を取り得る。

探索制御部１２３は、イントラ予測モードメモリ１２１から参照されるイントラ予測モードと、信頼度情報メモリ１２２から参照される信頼度情報とに基づいて、モード探索部１２４の処理レベルを制御する。

モード探索部１２４は、入力画像及び参照画像と、探索制御部１２３の制御情報とに基づいて対象ブロックのイントラ予測モードを決定する。

図７は、イントラ予測モードを決定する処理の流れを示すフローチャートである。イントラ予測モードの決定はモード探索部１２４によって実行される。まず、モード探索部１２４は、対象ブロックのＭＰＭを算出する（ステップＳ２０１）。ＭＰＭの算出方法は、ＨＥＶＣの規格に準ずる。

次に、モード探索部１２４は、ＭＰＭの各イントラ予測モードの信頼度を評価する（ステップＳ２０２）。モード探索部１２４は、上記の信頼度情報に基づいて各イントラ予測モードの信頼度を評価する。例えば、上記の信頼度に基づく場合、モード探索部１２４は、Ａ、Ｂ、Ｃの順に信頼度が高いと判定する。

探索制御部１２３は、このような信頼度の評価に基づいて、モード探索部１２４の処理レベルを決定する。具体的には、探索制御部１２３は、信頼度が高いほど処理量が少なくなるようにイントラ予測モード探索の処理レベルを制御する。

［処理レベルの定義］
（ケース１）３つのＭＰＭの信頼度のうち２つがＡである場合
この場合、探索制御部１２３は、信頼度がＡの予測モード及びその周囲の予測モードのＭＰＭに基づいてＳＡＴＤベースの最適化を実施する。

（ケース２）３つのＭＰＭの信頼度のうち１つがＡである場合
この場合、探索制御部１２３は、全ての予測モードに対してＳＡＴＤベースの最適化を実施する。

（ケース３）ケース１及びケース２以外の場合
この場合、探索制御部１２３は、全ての予測モードに対してＳＡＴＤベースの最適化を実施することで候補モードを絞り、ＭＰＭを追加してＲＤベースの最適化を実施する。ここで、ＳＡＴＤベースの最適化は、各イントラ予測モードに対してＳＡＴＤベースのコストを算出し、最小コストのイントラ予測モードを決定する処理である。また、ＲＤベースの最適化はＲＤベースのコストを算出し、最小コストのイントラ予測モードを決定する処理である。モード探索部１２４は、このように決定された処理レベルに基づいて対象ブロックのイントラ予測モードを決定する。

図８は、第２の実施形態における映像符号化装置１ａの動作例を示す図である。図８（Ａ）はＭＰＭの第１の算出例を示す図である。この場合、０、１、２のインデックスで表される予測モードの信頼度がそれぞれＡ、Ａ、Ｃであるため、探索制御部１２３は処理レベルを上記ケース１のとおりに制御する。すなわち、この場合、探索制御部１２３は、信頼度がＡの予測モード及びその周囲の予測モードのＭＰＭに基づいてＳＡＴＤベースの最適化を実施する。

図８（Ｂ）はＭＰＭの第２の算出例を示す図である。この場合、０、１、２のインデックスで表される予測モードの信頼度がそれぞれＢ、Ｃ、Ｃであるため、探索制御部１２３は処理レベルを上記ケース３のとおりに制御する。すなわち、この場合、探索制御部１２３は、全ての予測モードに対してＳＡＴＤベースの最適化を実施することで候補モードを絞り、ＭＰＭを追加してＲＤベースの最適化を実施する。

図８（Ｃ）は、図８（Ａ）及び図８（Ｂ）に示すＭＰＭに基づいて決定された処理レベルの具体例を示す図である。なお、図８の例では、対象ブロックの周囲の予測モードを、対象ブロックの予測モード±１とした場合を示している。

このように構成された第２の実施形態における映像符号化装置１ａは、イントラ予測モードに対する信頼度情報を記憶し、この信頼度情報をイントラ予測モードの決定時に利用する。このような構成を備えることにより、映像符号化装置１ａは、信頼性の高い予測モードの周囲だけを探索することで符号化効率の低下を抑制することができる。これは、イントラ予測モードの算出方法を信頼度情報として用いた場合、同じＭＰＭのイントラ予測モードであっても最適化レベルの高い方法で算出された予測モードの方が、信頼性が高いと考えられるためである。従来技術では、ＭＰＭがどのように導出されたかに関係なく予測モードが評価されるため、演算コストが高くなってしまうが、本実施形態ではＭＰＭの信頼度（イントラ予測モードの算出方法）に基づいて処理レベルを制御することで演算コストを削減できる。

なお、第２の実施形態におけるモード探索部１２４は、本発明における第一処理部、第二処理部、性質情報取得部及び信頼度取得部の一例であり、探索制御部１２３は本発明における制御部の一例である。具体的には、モード探索部１２４が符号化パラメータであるイントラ予測モード（ＭＰＭ）を取得する機能が、本発明における第一処理部の機能に該当する。また、モード探索部１２４がＭＰＭの信頼度に基づいて最適なイントラ予測モードを探索する機能が、本発明における第二処理部の機能に該当する。また、モード探索部１２４がＭＰＭ動きベクトルの算出方法を識別する機能が、本発明における性質情報取得部の機能に該当する。また、モード探索部１２４がＭＰＭの算出方法に基づいて信頼度を算出する機能が、本発明における信頼度取得部の機能に該当する。そして、モード探索部１２４が最適なイントラ予測モードを探索する処理の処理レベルを、算出された信頼度に基づいて制御する機能が、本発明における制御部の機能に該当する。

以上、動き探索及びＭＰＭの算出に信頼度情報を用いることで処理精度を維持しつつ演算量を削減する映像符号化装置の実施形態について記載した。しかしながら、このように構成された映像符号化装置１及び１ａは、参照情報の信頼度を符号化パラメータに関する性質情報に基づいて評価し、その評価に基づき、後段の処理精度を制御するという本発明の一適用例に過ぎない。すなわち本発明は、映像符号化を実現する複数ステップの処理のうち、符号化パラメータを取得する第一ステップと、取得された符号化パラメータに基づいて第一ステップの後段で実行される第二ステップとの関係性にある他の処理にも適用可能である。本発明の適用により、上記実施形態における動き探索及びＭＰＭの算出と同様に、適用対象の処理について処理精度の低下を抑制しつつ、演算量を削減することができる。

上述した実施形態における映像符号化装置の一部又は全部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、画像（映像を含む）を符号化する装置に適用可能である。

１，１ａ…映像符号化装置、１０１…減算器、１０２…直行変換／量子化部、１０３…可変長符号化部、１０４…逆量子化／逆直交変換部、１０５…加算器、１０６…ループフィルタ部、１０７…復号ピクチャメモリ、１０８…イントラ予測部、１０９…インター予測部、１１０…イントラ／インター切り替えスイッチ、１１１…動きベクトル検出部、１１２…動きベクトルメモリ、１１３…信頼度情報メモリ、１１４…探索制御部、１１５…動き探索部、１２０…イントラ予測モード決定部、１２１…イントラ予測モードメモリ、１２２…信頼度情報メモリ、１２３…探索制御部、１２４…モード探索部

Claims (3)

1. 画像の符号化に関する複数ステップの処理を実行する画像符号化装置であって、
   符号化対象ブロックに隣接するブロックから動きベクトルを取得する第一ステップの処理を実行する第一処理部と、
   動き探索の有無、予測モードの種別又はスケーリングの有無に基づいて前記動きベクトルの信頼度を取得する信頼度取得部と、
   最も高い信頼度を有する動きベクトルを前記符号化対象ブロックの探索開始点とし、その探索処理の処理精度である処理レベルを前記探索開始点の動きベクトルの信頼度が高いほど処理量が少なくなるように決定する制御部と、
   前記探索開始点および探索処理の処理レベルに基づき、前記符号化対象ブロックの最適な動きベクトルである最適ベクトルを探索する第二ステップの処理を実行する第二処理部と、
   を備える画像符号化装置。
2. 画像の符号化に関する複数ステップの処理を実行する画像符号化装置が行う画像符号化方法であって、
   符号化対象ブロックに隣接するブロックから動きベクトルを取得する第一ステップの処理を実行する第一処理ステップと、
   動き探索の有無、予測モードの種別又はスケーリングの有無に基づいて前記動きベクトルの信頼度を取得する信頼度取得ステップと、
   最も高い信頼度を有する動きベクトルを前記符号化対象ブロックの探索開始点とし、その探索処理の処理精度である処理レベルを前記探索開始点の動きベクトルの信頼度が高いほど処理量が少なくなるように決定する制御ステップと、
   前記探索開始点および探索処理の処理レベルに基づき、前記符号化対象ブロックの最適な動きベクトルである最適ベクトルを探索する第二ステップの処理を実行する第二処理ステップと、
   を有する画像符号化方法。
3. 請求項１に記載された画像符号化装置としてコンピュータを機能させるためのコンピュータプログラム。

Images