JP7141007B2 - 符号化装置、符号化方法及びプログラム - Google Patents

Description

本発明は、符号化装置、符号化方法及びプログラムに関する。

オートエンコーダ（Auto Encoder）は、ニューラルネットワーク（Neural Network:N.N.）等の機械学習を利用するエンコーダ及びデコーダを備える。エンコーダは、符号化されていない画像（元画像）を符号化する場合がある。デコーダは、符号化データを復号することによって、元画像を復元する。エンコーダ及びデコーダは、任意の演算器の組み合わせで、それぞれ構成される。オートエンコーダに元画像が入力される場合、畳み込み演算器の組み合わせでエンコーダが構成され、エンコーダの逆演算器の組み合わせでデコーダが構成される。

オートエンコーダは、例えば誤差逆伝播法（Backpropagation）を利用する学習処理によって、ニューラルネットワークのパラメータを更新する。誤差逆伝播法では、学習用データが入力されたオートエンコーダの出力と教師データ（正解データ）との誤差が、予め設計された評価指標に基づいて導出される。誤差逆伝播法では、オートエンコーダの出力から入力に向かう順に、ニューラルネットワークのパラメータの勾配が誤差に基づいて導出される。パラメータは、導出された勾配に基づいて、所定の最適化方法によって更新される。

オートエンコーダに元画像が入力される場合、評価指標は元画像の復元精度に影響する。例えば、元画像に対する復号画像の誤差の平均二乗値が評価指標として使用される場合がある（非特許文献１参照）。この場合、復号画像の高周波数成分が欠落し、復号画像の主観品質が低下してしまうという問題がある。

この問題を解決する方法として、敵対的学習を用いる方法が提案されている（非特許文献２参照）。敵対的学習を用いる方法では、オートエンコーダから出力された復号画像とオートエンコーダに入力された元画像とが一致している確率を、判定器が出力する。オートエンコーダは、復号画像と元画像とが一致している確率を高くするように学習する。すなわち、オートエンコーダは、復号画像の空間分布が元画像の空間分布に近づくように学習する。このため、敵対的学習を用いる方法では、復号画像の高周波数成分が欠落しにくい。

J.Balle et al., "END-TO-END OPTIMIZED IMAGE COMPRESSION," arXiv, 3 Mar., 2017. O.Rippel et al., "Real-Time Adaptive Image Compression," arXiv, 16 May, 2017.

しかしながら、敵対的学習を用いる方法では、復号画像の高周波数成分が欠落しにくいが、復号画像の主観品質が低下してしまうという問題がある。すなわち、機械学習を利用して元画像が符号化される場合、オートエンコーダに入力された元画像内の物体構造と、オートエンコーダから出力された復号画像内の物体構造とが異なってしまう場合がある。例えば、元画像内の顔画像における目の配置と、復号画像内の顔画像における目の配置とが異なってしまう場合がある。この場合、復号画像の主観画質は低下する。このように従来では、機械学習を利用して元画像が符号化される場合に、復号画像の主観画質が低下してしまうという問題がある。

上記事情に鑑み、本発明は、機械学習を利用して元画像が符号化される場合に、復号画像の主観画質が低下することを抑止することが可能である符号化装置、符号化方法及びプログラムを提供することを目的としている。

本発明の一態様は、元画像の符号化データである第１符号化データと、前記元画像の符号化データの復号結果である復号画像の符号化データである第２符号化データとを関連付ける関連付け処理部と、前記第１符号化データと前記第２符号化データとの関連付けの結果に基づいて、符号化対象の画像である対象画像を符号化する符号化部とを備える符号化装置である。

本発明の一態様は、上記の符号化装置であって、前記関連付け処理部は、前記元画像が前記第１符号化データに符号化される処理である第１符号化処理と、前記第１符号化処理における前記第１符号化データが前記復号画像に復号される処理との両方を最適化し、前記第２符号化データは、前記第１符号化処理が前記復号画像に対しても実行されることによって得られたデータである。

本発明の一態様は、上記の符号化装置であって、前記関連付け処理部は、前記第１符号化データと前記第２符号化データとの間の差を少なくするように、前記第１符号化処理と前記復号される処理との両方を最適化する。

本発明の一態様は、上記の符号化装置であって、前記元画像が前記第１符号化データに符号化される処理である第１符号化処理を実行する第１符号化部と、前記元画像の符号化データである第３符号化データに前記元画像が符号化される処理である第２符号化処理を実行する第２符号化部とを備え、前記第２符号化処理は、予め最適化され、前記第２符号化データは、予め最適化された前記第２符号化処理が前記復号画像に対しても実行されることによって得られたデータであり、前記関連付け処理部は、前記第３符号化データと前記第２符号化データとの間の差を少なくするように、前記第１符号化処理と、前記第１符号化データが前記復号画像に復号される処理との両方を最適化する。

本発明の一態様は、上記の符号化装置であって、前記第２符号化データは、前記復号画像から抽出された特徴量に対して、予め最適化された前記第２符号化処理が実行されることによって得られたデータである。

本発明の一態様は、上記の符号化装置であって、前記第２符号化処理における前記元画像のデータの圧縮率は、前記第１符号化処理における前記元画像のデータの圧縮率よりも低い。

本発明の一態様は、上記の符号化装置であって、前記関連付け処理部は、前記元画像から抽出された特徴量に対して、前記元画像の復元精度を高くする前記特徴量の重み係数を大きくする。

本発明の一態様は、符号化装置が実行する符号化方法であって、元画像の符号化データである第１符号化データと、前記元画像の符号化データの復号結果である復号画像の符号化データである第２符号化データとを関連付けるステップと、前記第１符号化データと前記第２符号化データとの関連付けの結果に基づいて、符号化対象の画像である対象画像を符号化するステップとを含む符号化方法である。

本発明の一態様は、上記の符号化装置としてコンピュータを機能させるためのプログラムである。

本発明により、機械学習を利用して元画像が符号化される場合に、復号画像の主観画質が低下することを抑止することが可能である。

第１実施形態における、符号化システムの構成例を示す図である。 第１実施形態における、特徴量抽出部の構成例を示す図である。 第１実施形態における、再構成部の構成例を示す図である。 第１実施形態における、符号化装置の符号化処理の例を示すフローチャートである。 第１実施形態における、復号装置の復号処理の例を示すフローチャートである。 第１実施形態における、符号化システムの学習処理の例を示すフローチャートである。 第１実施形態における、各画像の例を示す図である。 第２実施形態における、符号化システムの構成例を示す図である。 第２実施形態における、符号化システムの学習処理の例を示すフローチャートである。

本発明の実施形態について、図面を参照して詳細に説明する。
以下では、元画像とは、符号化されていない画像である。元画像は、例えば、予め定められた撮影サイズの画像である。「ｘ」は、画像の水平方向の変数を表す。「ｙ」は、画像の垂直方向の変数を表す。「ｚ」は、画像のチャンネル方向の変数（色情報）を表す。元画像の水平方向に関する「ｘ」の次元数（サイズ）は、所定の整数値「Ｘ」である。元画像の垂直方向に関する「ｙ」の次元数は、所定の整数値「Ｙ」である。元画像のチャンネル方向に関する「ｚ」の次元数は、所定の整数値「Ｚ」である。元画像がグレー画像（モノクロ画像）である場合、元画像に関する「ｚ」の次元数「Ｚ」は１である。元画像がＲＧＢ（Red，Green，Blue）画像である場合、元画像に関する「ｚ」の次元数「Ｚ」は３である。

（第１実施形態）
図１は、符号化システム１ａの構成例を示す図である。符号化システム１ａは、機械学習を利用してデータを符号化するシステムである。符号化システム１ａは、例えば、オートエンコーダ（Auto Encoder）等のニューラルネットワークを用いてデータを符号化する。以下では、符号化システムは、一例として画像を符号化する。

符号化システム１ａが実行する処理の段階には、ニューラルネットワークの学習を実行する段階と、符号化対象の画像（以下「対象画像」という。）を符号化する段階とがある。

学習を実行する段階において、元画像をサンプルデータとするデータセットは、例えば、不揮発性の記録媒体に予め記憶されている。符号化システム１ａは、サンプルデータから抽出された元画像を、学習用画像としてニューラルネットワークに入力することによって、ニューラルネットワークの学習処理を実行する。

対象画像を符号化する段階において、符号化システム１ａは、学習済のニューラルネットワークに対象画像を入力することによって、対象画像を符号化する。なお、符号化システム１ａは、対象画像を符号化した後で、ニューラルネットワークの学習処理を再実行してもよい。

符号化システム１ａは、符号化装置２と、復号装置３とを備える。符号化装置２及び復号装置３の機能の一部又は全部は、ＣＰＵ（Central Processing Unit）等のプロセッサが、不揮発性の記録媒体（非一時的な記録媒体）であるメモリに記憶されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などの非一時的な記憶媒体である。プログラムは、電気通信回線を介して送信されてもよい。符号化装置２及び復号装置３の機能の一部又は全部は、例えば、ＬＳＩ（Large Scale Integration circuit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）又はＦＰＧＡ（Field
Programmable Gate Array）等を用いた電子回路（electronic circuit又はcircuitry）を含むハードウェアを用いて実現されてもよい。

次に、符号化装置２の構成例を説明する。
符号化装置２は、画像を符号化する画像処理装置である。学習を実行する段階において、符号化装置２は、サンプルデータから抽出された元画像を、学習用画像としてニューラルネットワークに入力することによって、ニューラルネットワークの学習処理を実行する。

学習を実行する段階において、符号化装置２は、データセットから抽出された元画像「Ｉ（ｘ，ｙ，ｚ）」を、学習用画像として取得する。対象画像を符号化する段階において、符号化装置２は、元画像「Ｉ（ｘ，ｙ，ｚ）」を、対象画像として取得する。符号化装置２は、元画像に対応するビットストリームを生成する。符号化装置２は、ビットストリームを復号装置３に出力する。

符号化装置２は、特徴量抽出部２０と、量子化部２１と、二値化部２２とを、符号化を実行する機能部（符号化部）として備える。符号化装置２は、学習処理部２３を更に備える。なお、学習処理部２３は、復号装置３に備えられてもよいし、符号化装置２及び復号装置３以外の情報処理装置に備えられてもよい。

学習を実行する段階において、特徴量抽出部２０は、データセットから抽出された元画像「Ｉ（ｘ，ｙ，ｚ）」を、学習用画像として取得する。元画像の画素値のビット精度は、「Ｂ」ビットであり、例えば８ビットである。特徴量抽出部２０は、画像の特徴量を元画像から抽出する。以下、元画像から抽出された特徴量を「第１特徴量」という。

ここで、特徴量抽出部２０は、「第１特徴量」にランダムノイズを加えても良い。ランダムノイズを加える理由は、符号化特徴が全て０になった場合でも学習が止まらないようにするためである。ランダムノイズを加えることで、学習が止まらないように制御することができる。加えられるノイズは、適宜に設定可能なノイズである。例えば、平均値「０」及び分散値「１」のガウス分布に従うノイズが加えられてもよいし、所定の範囲（例えば、－１から＋１までの範囲)の中から選ばれたランダムな値が加えられてもよい。特徴量抽出部２０は、第１特徴量「Ｆ_ｎ（ｘ，ｙ，ｚ）」を、量子化部２１及び学習処理部２３に出力する。

特徴量抽出部２０は、元画像に対応するビットストリームに基づいて元画像が復号された画像である復号画像を、復号装置３から取得する。以下、復号画像から抽出された特徴量を「第２特徴量」という。特徴量抽出部２０は、第２特徴量「Ｆ’_ｎ（ｘ，ｙ，ｚ）」を、復号画像から抽出する。特徴量抽出部２０は、第２特徴量「Ｆ’_ｎ（ｘ，ｙ，ｚ）」を、学習処理部２３に出力する。

量子化部２１は、第１特徴量に対して、量子化処理を実行する。量子化部２１は、量子化された第１特徴量を、符号化データに変換する。量子化部２１は、符号化データを二値化部２２に出力する。

二値化部２２は、生成された符号化データに対して、二値化処理を実行する。二値化部２２は、二値化された符号化データに基づいて、ビットストリームを生成する。

学習処理部２３（関連付け処理部）は、第１特徴量及び第２特徴量を、特徴量抽出部２０から取得する。学習処理部２３は、第１特徴量及び第２特徴量に基づいて、符号化装置２及び復号装置３の各ニューラルネットワークにおける学習処理（関連付け処理）を実行する。

学習処理部２３は、符号化された第１特徴量及び第２特徴量を用いた評価指標に基づいて、損失関数値を導出する。学習処理部２３は、損失関数値（encode feature loss）に基づいて、符号化装置２及び復号装置３の各ニューラルネットワークにおけるパラメータを更新する。例えば、学習処理部２３は、逆誤差伝播法を利用して、パラメータを更新する。

符号化装置２が対象画像を符号化する段階において、符号化装置２は、符号化装置２における学習済のニューラルネットワーク（特徴量抽出部２０）に対象画像を入力することによって、対象画像を符号化する。なお、符号化装置２は、対象画像を符号化した後で、ニューラルネットワーク（特徴量抽出部２０）の学習処理を再実行してもよい。

次に、復号装置３の構成例を説明する。
復号装置３は、画像データを復号する画像処理装置である。学習を実行する段階において、復号装置３は、元画像に対応するビットストリームを、符号化装置２から取得する。復号装置３は、ビットストリームに基づいて、符号化装置２の元画像に対応する復号画像（元画像の復元画像）を生成する。

復号装置３は、逆二値化部３０と、再構成部３１とを備える。逆二値化部３０は、符号化装置２から出力されたビットストリームに対して、逆二値化処理を実行する。逆二値化部３０は、逆二値化されたビットストリームを、画像の符号化データに変換する。逆二値化部３０は、画像の符号化データを、再構成部３１に出力する。

再構成部３１は、変換された符号化データに対して再構成処理を実行することによって、復号画像「Ｉ’（ｘ，ｙ，ｚ）」を生成する。再構成部３１は、生成された復号画像を、特徴量抽出部２０に出力する。

符号化装置２が対象画像を符号化する段階において、復号装置３は、復号装置３における学習済のニューラルネットワーク（再構成部３１）に符号化データを入力することによって、対象画像に対応する復号画像（対象画像の復元画像）を生成する。なお、復号装置３は、符号化装置２が対象画像を符号化した後で、復号装置３における学習済のニューラルネットワーク（再構成部３１）の学習処理を再実行してもよい。

次に、符号化装置２の特徴量抽出部２０の構成例の詳細を説明する。
図２は、特徴量抽出部２０の構成例を示す図である。特徴量抽出部２０は、Ｎ個（「Ｎ」は１以上の整数である。）の抽出層２００を備える。図２では、抽出層２００－１は、特徴量抽出部２０のニューラルネットワークにおいて、最も前段（入力側）の抽出層である。抽出層２００－Ｎは、特徴量抽出部２０のニューラルネットワークにおいて、最も後段（出力側）の抽出層である。

抽出層２００－ｎ（ｎ＝１，２，…，Ｎ）は、第１特徴量「Ｆ_ｎ（ｘ，ｙ，ｚ）」を、元画像「Ｉ（ｘ，ｙ，ｚ）」から抽出する。ここで、元画像から抽出された特徴量に基づいて生成された符号化データ（圧縮された元画像）の「ｘ」の次元数（サイズ）は、所定の整数値「Ｘ’」である。符号化データの「ｙ」の次元数は、所定の整数値「Ｙ’」である。符号化データの「ｚ」の次元数は、所定の整数値「Ｚ’」である。

抽出層２００は、畳込部２０１と、ダウンサンプリング部２０２と、非線形変換部２０３とを備える。畳込部２０１は、元画像「Ｉ（ｘ，ｙ，ｚ）」に対して畳み込み演算を実行する。ダウンサンプリング部２０２は、畳み込み演算が実行された元画像に対して、ダウンサンプリング処理を実行する。非線形変換部２０３は、ダウンサンプリング処理が実行された元画像の各画素に対して、非線形変換処理を実行する。

図１に示された量子化部２１は、非線形変換処理が実行された元画像を、畳込部２０１から取得する。量子化部２１は、取得された元画像の特徴量（各画素値）が所定のビット精度「Ｂ’」となるように、取得された元画像に対して量子化処理を実行する。

図１に示された二値化部２２は、量子化された特徴量に基づいて、符号化データを生成する。二値化部２２は、生成された符号化データに対して、二値化処理を実行する。二値化部２２は、二値化された符号化データに基づいて、ビットストリームを生成する。二値化部２２は、ビットストリームを復号装置３に出力する。ビットストリームは、所定の通信規格において定義されたヘッダを含んでもよい。

なお、二値化部２２は、ビットストリームに対して、更にエントロピー符号化を実行してもよい。これによって、二値化部２２は、ビットストリームのデータサイズを圧縮することができる。

次に、復号装置３の再構成部３１の構成例の詳細を説明する。
図３は、再構成部３１の構成例を示す図である。再構成部３１は、Ｍ個（「Ｍ」は１以上の整数。）の再構成層３１０を備える。図３では、再構成層３１０－１は、再構成部３１のニューラルネットワークにおいて、最も前段（入力側）の再構成層である。再構成層３１０－Ｍは、再構成部３１のニューラルネットワークにおいて、最も後段（出力側）の再構成層である。

再構成層３１０は、逆畳込部３１１と、非線形変換部３１２とを備える。逆畳込部３１１は、ビットストリームから変換された符号化データを、逆二値化部３０から取得する。逆畳込部３１１は、符号化データに対して逆畳み込み演算を実行する。非線形変換部３１２は、逆畳み込み演算が実行された符号化データに対して、非線形変換処理を実行する。非線形変換部３１２－Ｍは、非線形変換処理の結果である復号画像「Ｉ’（ｘ，ｙ，ｚ）」を、特徴量抽出部２０に出力する。

次に、符号化装置２の符号化処理の例を説明する。
図４は、符号化装置２の符号化処理の例を示すフローチャートである。学習を実行する段階において、特徴量抽出部２０は、第１特徴量を元画像から抽出する（ステップＳ１０１）。量子化部２１は、抽出された第１特徴量を量子化する（ステップＳ１０２）。二値化部２２は、量子化された第１特徴量に基づいて、符号化データを生成する（ステップＳ１０３）。

二値化部２２は、生成された符号化データに対して、二値化処理を実行する（ステップＳ１０４）。二値化部２２は、二値化された符号化データに基づいて、ビットストリームを生成する（ステップＳ１０５）。特徴量抽出部２０は、第２特徴量を復号画像から抽出する（ステップＳ１０６）。

なお、符号化装置２が対象画像を符号化する段階において、符号化装置２は、画像の特徴量を対象画像から抽出することによって、対象画像の符号化処理を実行する。

次に、復号装置３の復号処理の例を説明する。
図５は、復号装置３の復号処理の例を示すフローチャートである。学習を実行する段階において、逆二値化部３０は、符号化装置２から出力されたビットストリームに対して、逆二値化処理を実行する（ステップＳ２０１）。逆二値化部３０は、逆二値化されたビットストリームを、元画像の符号化データに変換する（ステップＳ２０２）。再構成部３１は、変換された符号化データに基づいて、復号画像を生成する（ステップＳ２０３）。

なお、符号化装置２が対象画像を符号化する段階において、復号装置３は、対象画像に対応する符号化データに基づいて、復号画像を生成する。

次に、機械学習処理の例を説明する。
図６は、符号化システム１ａの学習処理の例を示すフローチャートである。学習を実行する段階において、特徴量抽出部２０は、データセットから抽出された元画像「Ｉ（ｘ，ｙ，ｚ）」を取得する（ステップＳ３０１）。特徴量抽出部２０は、第１特徴量「Ｆ_ｎ（ｘ，ｙ，ｚ）」を、元画像から抽出する（ステップＳ３０２）。ここで、特徴量抽出部２０は、「第１特徴量」にランダムノイズを加えても良い。量子化部２１は、抽出された第１特徴量を量子化する。量子化部２１は、量子化された第１特徴量に基づいて、符号化データを生成する。二値化部２２は、生成された符号化データに対して、二値化処理を実行する。二値化部２２は、二値化された符号化データに基づいて、ビットストリームを生成する（ステップＳ３０３）。

逆二値化部３０は、ビットストリームを符号化装置２から取得する（ステップＳ３０４）。逆二値化部３０は、取得されたビットストリームに対して、逆二値化処理を実行する。逆二値化部３０は、逆二値化されたビットストリームを、画像の符号化データに変換する。再構成部３１は、変換された符号化データに基づいて、復号画像を生成する（ステップＳ３０５）。

特徴量抽出部２０は、復号画像を復号装置３から取得する（ステップＳ３０６）。特徴量抽出部２０は、第２特徴量「Ｆ’_ｎ（ｘ，ｙ，ｚ）」を、復号画像から抽出する（ステップＳ３０７）。

学習処理部２３は、第１特徴量及び第２特徴量を用いた評価指標「ｄｉｆｆ」に基づいて、例えば式（１）のように損失関数値「ｌｏｓｓ」を導出する。

ここで、ｗ_ｎ（ｘ，ｙ，ｚ）は、重み係数を表す。評価指標「ｄｉｆｆ（ａ，ｂ）」は、「ａ」と「ｂ」との間の距離（例えば、二乗誤差）を導出する関数の値である（ステップＳ３０８）。

学習処理部２３は、導出された損失関数値「ｌｏｓｓ」に基づいて、特徴量抽出部２０及び再構成部３１（オートエンコーダ）の各ニューラルネットワークにおけるパラメータを更新する。例えば、学習処理部２３は、逆誤差伝播法を利用して、パラメータを更新する（ステップＳ３０９）。

式（１）に示された重み係数「ｗ_ｎ（ｘ，ｙ，ｚ）」は、式（２）のように表される。

ここで、「ｃ_ｎ（ｘ，ｙ，ｚ）」は、正規化用の係数を表す。「ｆ」は、第１特徴量「Ｆ_ｎ（ｘ，ｙ，ｚ）」の「ｎ」、「ｘ」、「ｙ」及び「ｚ」の各要素以外を「０」にする処理を表す。「Ｑ」は、量子化処理を表す。「ｄｅｃ」は、復号処理を表す。

学習処理部２３は、第１特徴量「Ｆ_ｎ（ｘ，ｙ，ｚ）」の「ｎ」、「ｘ」、「ｙ」及び「ｚ」の各要素のみを用いて復号画像が生成される際に元画像（学習用画像）の復元精度を高くする各要素の特徴量の重み係数「ｗ_ｎ（ｘ，ｙ，ｚ）」を、例えば逆誤差伝播法によって大きくする。

学習処理部２３は、図６に示されたステップＳ３１０の動作の実行回数が所定回数以上であるか否かと、損失関数値「ｌｏｓｓ」が収束したか否かとを判定する（ステップＳ３１０）。実行回数が所定回数未満であり、且つ、損失関数値が収束していない場合（ステップＳ３１０：ＮＯ）、学習処理部２３は、ステップＳ３０１に処理を戻す。実行回数が所定回数以上である、又は、損失関数値が収束した場合（ステップＳ３１０：ＮＯ）、学習処理部２３は、図６に示された処理の実行を終了する。

次に、符号化システム１ａにおける画像処理の結果の例を説明する。
図７は、各画像の例を示す図である。対象画像１００は、対象画像の元画像である。復号画像１０１は、ＨＥＶＣ（High Efficiency Video Coding）に基づいて符号化された対象画像１００が復号された画像である。復号画像１０２は、非特許文献２に基づいて符号化された対象画像１００が復号された画像である。復号画像１０３は、符号化装置２によって符号化された対象画像１００が復号装置３によって復号された画像である。復号画像１０３では、復号画像１０１と比較して、高周波数成分の欠落が抑止されている。復号画像１０３では、復号画像１０２と比較して、対象画像１００の色差成分（色情報）の復元精度が向上している。

以上のように、第１実施形態の符号化システム１ａは、特徴量抽出部２０及び量子化部２１を含む符号化部と、学習処理部２３（関連付け処理部）とを備える。
学習処理部２３は、元画像の符号化データである第１符号化データと、元画像の符号化データの復号結果である復号画像の符号化データである第２符号化データとを関連付ける。符号化部は、第１符号化データと第２符号化データとの関連付けの結果（学習結果）に基づいて、対象画像を符号化する。

これによって、機械学習を利用して元画像が符号化される場合に、復号画像の主観画質が低下することを抑止することが可能である。

符号化システム１ａは、元画像を符号化装置２に入力して得られる第１特徴量と、元画像に対応する復号画像を符号化装置２に入力して得られる第２特徴量との誤差を最小化するように、ニューラルネットワークのパラメータを最適化する。符号化システム１ａは、非特許文献１に開示された方法のように空間領域ごとに誤差を最小化しないので、復号画像の解像度の低下を抑止することができる。

式（１）に例示された損失関数値は、オートエンコーダの元画像内の物体構造と、オートエンコーダから出力された復号画像内の物体構造とが異なるほど大きくなる。符号化システム１ａは、損失関数値に基づいて、元画像内の物体構造を保つように元画像を符号化する。これによって、符号化システム１ａは、復号画像の主観画質が低下することを抑止することが可能である。

学習処理部２３は、元画像が第１符号化データに符号化される処理である第１符号化処理と、第１符号化処理における第１符号化データが復号画像に復号される処理との両方を最適化してもよい。第２符号化データは、第１符号化処理が復号画像に対しても実行されることによって得られたデータでもよい。学習処理部２３は、第１符号化データと第２符号化データとの間の差を少なくするように、第１符号化処理と復号される処理との両方を最適化してもよい。学習処理部２３は、元画像から抽出された特徴量に対して、元画像の復元精度を高くする特徴量の重み係数を大きくしてもよい。

（第１変形例）
学習処理部２３は、式（１）に例示された評価指標「ｄｉｆｆ」の一部に基づいて、損失関数値「ｌｏｓｓ」を導出してもよい。学習処理部２３は、式（１）に例示された評価指標「ｄｉｆｆ」に、新たな項を追加してもよい。学習処理部２３は、新たな項が追加された評価指標に基づいて、損失関数値「ｌｏｓｓ」を導出してもよい。

（第２変形例）
符号化装置２は、第１復号画像から抽出された第２特徴量「Ｆ’_ｎ（ｘ，ｙ，ｚ）」に基づいて、ビットストリームを生成してもよい。復号装置３は、第２特徴量に基づいて生成されたビットストリームに応じて、第２復号画像を生成してもよい。特徴量抽出部２０は、第３特徴量「Ｆ’’_ｎ（ｘ，ｙ，ｚ）」を、第２復号画像から抽出してもよい。

学習処理部２３は、式（１）に示された第２特徴量「Ｆ’_ｎ（ｘ，ｙ，ｚ）」の代わりに、式（１）において第３特徴量「Ｆ’’_ｎ（ｘ，ｙ，ｚ）」を使用してもよい。学習処理部２３は、式（１）に新たな項を追加してもよい。例えば、学習処理部２３は、式（１）において、第１特徴量と第２特徴量と第３特徴量とを使用してもよい。

（第３変形例）
学習処理部２３は、符号化装置２が実行する画像の符号化処理における中間特徴量に、重み係数を与えてもよい。学習処理部２３は、ニューラルネットワークの各層の要素数に応じて、中間特徴量に重み係数を与えてもよい。学習処理部２３は、画像における特徴量の重要度に応じて、符号化された特徴量に重み係数を与えてもよい。例えば、学習処理部２３は、ＰＳＮＲ（Peak signal-to-noise ratio)の順に大きな重み係数を、符号化された特徴量に与えてもよい。

（第４変形例）
符号化装置２及び復号装置３は、符号化処理及び復号処理の組み合わせを、複数回繰り返してもよい。復号画像では情報が損失していることを考慮して、符号化装置２は復号画像を再符号化してもよい。

（第２実施形態）
第２実施形態では、学習済みのニューラルネットワークを有する特徴量抽出部２０が特徴量を画像から抽出する点が、第１実施形態と相違する。第２実施形態では、第１実施形態との相違点を説明する。

図８は、符号化システム１ｂの構成例を示す図である。符号化システム１ｂは、機械学習を利用してデータを符号化するシステムである。符号化システム１ｂは、例えば、オートエンコーダ等のニューラルネットワークを用いてデータを符号化する。符号化システム１ｂは、符号化装置２－１（第１符号化装置）と、符号化装置２－２（第２符号化装置）と、復号装置３とを備える。

符号化装置２－１は、学習途中のニューラルネットワークを用いて画像を符号化する画像処理装置である。学習を実行する段階において、符号化装置２－１は、データセットから抽出された元画像「Ｉ（ｘ，ｙ，ｚ）」を、学習用画像として取得する。符号化装置２－１は、元画像に対応するビットストリームを生成する。符号化装置２－１は、ビットストリームを復号装置３に出力する。

復号装置３は、符号化装置２－１の元画像に対応するビットストリームを、符号化装置２－１から取得する。復号装置３は、ビットストリームに基づいて、符号化装置２－１の元画像に対応する復号画像を生成する。復号装置３は、復号画像を符号化装置２－２に出力する。

符号化装置２－２は、例えば第１実施形態において説明された学習処理等で学習済みのニューラルネットワークを用いて画像を符号化する画像処理装置である。符号化装置２－２は、符号化装置２－１に入力された元画像「Ｉ（ｘ，ｙ，ｚ）」と同じ元画像を取得する。符号化装置２－２は、第１特徴量「Ｆ_ｎ（ｘ，ｙ，ｚ）」を、元画像から抽出する。符号化装置２－２は、復号画像を復号装置３から取得する。符号化装置２－２は、第２特徴量「Ｆ_ｎ（ｘ，ｙ，ｚ）」を、復号画像から抽出する。

符号化装置２－２は、第１特徴量及び第２特徴量を用いた評価指標に基づいて、損失関数値を導出する。符号化装置２－２は、損失関数値に基づいて、符号化装置２－１及び復号装置３の各ニューラルネットワークにおけるパラメータを更新する。例えば、符号化装置２－２は、逆誤差伝播法を利用して、パラメータを更新する。

次に、符号化装置２－１及び２－２の構成例を説明する。
符号化装置２－１は、特徴量抽出部２０－１と、量子化部２１－１と、二値化部２２－１を備える。符号化装置２－１は、学習処理部２３－１を備えてもよい。符号化装置２－２は、特徴量抽出部２０－２と、量子化部２１－２と、二値化部２２－２と、学習処理部２３－２とを備える。

特徴量抽出部２０－２は、特徴量抽出部２０－１に入力された元画像「Ｉ（ｘ，ｙ，ｚ）」と同じ元画像を取得する。特徴量抽出部２０－２は、第１特徴量「Ｆ_ｎ（ｘ，ｙ，ｚ）」を、元画像から抽出する。特徴量抽出部２０－２は、第１特徴量「Ｆ_ｎ（ｘ，ｙ，ｚ）」を、学習処理部２３－２に出力する。

特徴量抽出部２０－２は、復号画像を復号装置３から取得する。特徴量抽出部２０－２は、第２特徴量「Ｆ’_ｎ（ｘ，ｙ，ｚ）」を、復号画像から抽出する。特徴量抽出部２０－２は、第２特徴量を学習処理部２３－２に出力する。

学習処理部２３－２は、第１特徴量及び第２特徴量を用いた評価指標「ｄｉｆｆ」に基づいて、例えば式（１）のように損失関数値「ｌｏｓｓ」を導出する。

符号化装置２－１における元画像の特徴量の圧縮率は、元画像の次元数（Ｘ，Ｙ，Ｚ，Ｂ）と、符号化データの次元数（Ｘ’，Ｙ’，Ｚ’，Ｂ’）との比に基づいて、式（３）のように表現される。同様に、符号化装置２－２における元画像又は復号画像の特徴量の圧縮率は、元画像又は復号画像の次元数（Ｘ，Ｙ，Ｚ，Ｂ）と、符号化データの次元数（Ｘ’，Ｙ’，Ｚ’，Ｂ’）との比に基づいて、式（３）のように表現される。

ここで、符号化装置２－２（学習済のオートエンコーダ）が低圧縮の符号化処理を実行し、低圧縮と比較して高圧縮の符号化処理を符号化装置２－１（学習途中のオートエンコーダ）が実行する。符号化装置２－２の符号化処理の結果には、情報が十分に残る。低圧縮の符号化処理における符号化データでは「要素数（画素数）×ビット精度」のデータサイズが大きく、高圧縮の符号化処理における符号化データでは「要素数（画素数）×ビット精度」のデータサイズが小さい。すなわち、特徴量抽出部２０－２が第１特徴量を元画像から抽出する処理における画像の特徴量の圧縮率は、特徴量抽出部２０－１が第１特徴量を元画像から抽出する処理における画像の特徴量の圧縮率よりも低い。このため、符号化装置２－１では、符号化装置２－２の学習済のニューラルネットワークから得られた第１特徴量及び第２特徴量に基づいて、符号化装置２－１の学習途中のニューラルネットワークの最適化が実行される。すなわち、学習処理部２３－２は、特徴量抽出部２０－２から取得された第１特徴量及び第２特徴量の間の誤差に基づいて、特徴量抽出部２０－１及び再構成部３１－１の各ニューラルネットワークのパラメータを最適化する。特徴量抽出部２０－１及び再構成部３１－１の各ニューラルネットワークのパラメータは、再構成部３１－１の出力が特徴量抽出部２０－１の入力を復元するように、オートエンコーダとして最適化される。

学習処理部２３－２は、第１特徴量及び第２特徴量を用いた評価指標に基づいて、損失関数値を導出する。学習処理部２３－２は、損失関数値に基づいて、特徴量抽出部２０－１及び再構成部３１の各ニューラルネットワークにおけるパラメータを更新する。例えば、学習処理部２３－２は、逆誤差伝播法を利用して、パラメータを更新する。なお、学習処理部２３－２は、学習処理部２３－１を経由して、特徴量抽出部２０－１のニューラルネットワークのパラメータを更新してもよい。

次に、ニューラルネットワークの学習処理の例を説明する。
図９は、符号化システム１ｂの学習処理の例を示すフローチャートである。学習を実行する段階において、特徴量抽出部２０－１は、データセットから抽出された元画像「Ｉ（ｘ，ｙ，ｚ）」を取得する（ステップＳ４０１）。

量子化部２１－１は、抽出された第１特徴量を量子化する。二値化部２２－１は、量子化された第１特徴量に基づいて、符号化データを生成する。二値化部２２－１は、生成された符号化データに対して、二値化処理を実行する。二値化部２２－１は、二値化された符号化データに基づいて、ビットストリームを生成する（ステップＳ４０２）。

特徴量抽出部２０－２は、特徴量抽出部２０－１に入力された元画像「Ｉ（ｘ，ｙ，ｚ）」と同じ元画像を取得する（ステップＳ４０３）。特徴量抽出部２０－２は、第１特徴量「Ｆ_ｎ（ｘ，ｙ，ｚ）」を、元画像から抽出する（ステップＳ４０４）。

逆二値化部３０は、ビットストリームを二値化部２２－１から取得する（ステップＳ４０５）。逆二値化部３０は、二値化部２２－１から取得されたビットストリームに対して、逆二値化処理を実行する。逆二値化部３０は、逆二値化されたビットストリームを、画像の符号化データに変換する。再構成部３１は、変換された符号化データに基づいて、復号画像を生成する（ステップＳ４０６）。

特徴量抽出部２０－１は、復号画像を復号装置３から取得する（ステップＳ４０７）。特徴量抽出部２０－１は、第２特徴量「Ｆ’_ｎ（ｘ，ｙ，ｚ）」を、復号画像から抽出する（ステップＳ４０８）。

学習処理部２３－２は、第１特徴量及び第２特徴量を用いた評価指標「ｄｉｆｆ」に基づいて、損失関数値「ｌｏｓｓ」を導出する。学習処理部２３－１が損失関数値「ｌｏｓｓ」を導出してもよい（ステップＳ４０９）。

学習処理部２３－２は、損失関数値に基づいて、特徴量抽出部２０－１及び再構成部３１－１の各ニューラルネットワークにおけるパラメータを更新する。なお、学習処理部２３－２によって導出された損失関数値に基づいて、学習処理部２３－１が、特徴量抽出部２０－１及び再構成部３１－１の各ニューラルネットワークにおけるパラメータを更新してもよい（ステップＳ４１０）。

学習処理部２３－２は、図９に示されたステップＳ４１１の動作の実行回数が所定回数以上であるか否かと、損失関数値が収束したか否かとを判定する（ステップＳ４１１）。実行回数が所定回数未満であり、且つ、損失関数値が収束していない場合（ステップＳ４１１：ＮＯ）、符号化システム１ｂは、ステップＳ４０１に処理を戻す。実行回数が所定回数以上である、又は、損失関数値が収束した場合（ステップＳ４１１：ＮＯ）、符号化システム１ｂは、図９に示された処理の実行を終了する。

以上のように、第２実施形態の符号化システム１ｂは、特徴量抽出部２０－１（学習途中のニューラルネットワーク）及び量子化部２１－１を含む符号化装置２－１（第１符号化部）と、特徴量抽出部２０－２（学習済のニューラルネットワーク）及び量子化部２１－２を含む符号化装置２－２（第２符号化部）と、学習処理部２３（関連付け処理部）とを備える。符号化装置２－２において元画像が第３符号化データ（第３特徴量の符号化データ）に符号化される処理である第２符号化処理は、符号化装置２－２において予め最適化されている。第２符号化データ（第２特徴量の符号化データ）は、符号化装置２－２において予め最適化された第２符号化処理が復号画像に対しても実行されることによって得られたデータである。学習処理部２３は、符号化装置２－２において予め最適化された第２符号化処理における元画像の符号化データである第３符号化データと第２符号化データとの間の差を少なくするように、符号化装置２－１において元画像が第１符号化データに符号化される処理である第１符号化処理と、第１符号化データが復号画像に復号される処理との両方を最適化する。

これによって、機械学習を利用して元画像が符号化される場合に、復号画像の主観画質が低下することを抑止することが可能である。

第１実施形態では、学習途中のニューラルネットワークを有する符号化装置２が、特徴量を画像から抽出していた。このため、第１実施形態では、機械学習の速度が低下して、機械学習が進まない可能性がある。これに対して第２実施形態では、学習済みのニューラルネットワークを有する符号化装置２－２が、特徴量を画像から抽出する。これによって、第２実施形態では、機械学習の速度が低下しにくいので、機械学習が進まない可能性を低下させることができる。

第２符号化データ（第２特徴量の符号化データ）は、復号画像から抽出された第２特徴量に対して、符号化装置２－２において予め最適化された第２符号化処理が実行されることによって得られたデータである。符号化装置２－２の第２符号化処理における元画像のデータの圧縮率は、符号化装置２－１の第１符号化処理における元画像のデータの圧縮率よりも低い。符号化装置２－２の符号化処理の圧縮率が符号化装置２－１の符号化処理の圧縮率よりも低いので、符号化装置２－１では、符号化装置２－２の学習済のニューラルネットワークから得られた特徴量に基づいて、符号化装置２－１の学習途中のニューラルネットワークの最適化が実行される。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、データを符号化又は復号する装置に適用可能である。

１ａ，１ｂ…符号化システム、２…符号化装置、３…復号装置、２０…特徴量抽出部、２１…量子化部、２２…二値化部、２３…学習処理部、３０…逆二値化部、３１…再構成部、１００…対象画像、１０１…復号画像、１０２…復号画像、１０３…復号画像、２００…抽出層、２０１…畳込部、２０２…ダウンサンプリング部、２０３…非線形変換部、３１０…再構成層、３１１…逆畳込部、３１２…非線形変換部

Claims (9)

1. 元画像の符号化データである第１符号化データと、前記元画像の符号化データの復号結果である復号画像の符号化データである第２符号化データとを関連付ける関連付け処理部と、
   前記第１符号化データと前記第２符号化データとの関連付けの結果に基づいて、符号化対象の画像である対象画像を符号化する符号化部と
   を備える符号化装置。
2. 前記関連付け処理部は、前記元画像が前記第１符号化データに符号化される処理である第１符号化処理と、前記第１符号化処理における前記第１符号化データが前記復号画像に復号される処理との両方を最適化し、
   前記第２符号化データは、前記第１符号化処理が前記復号画像に対しても実行されることによって得られたデータである、
   請求項１に記載の符号化装置。
3. 前記関連付け処理部は、前記第１符号化データと前記第２符号化データとの間の差を少なくするように、前記第１符号化処理と前記復号される処理との両方を最適化する、
   請求項２に記載の符号化装置。
4. 前記元画像が前記第１符号化データに符号化される処理である第１符号化処理を実行する第１符号化部と、
   前記元画像の符号化データである第３符号化データに前記元画像が符号化される処理である第２符号化処理を実行する第２符号化部とを備え、
   前記第２符号化処理は、予め最適化され、
   前記第２符号化データは、予め最適化された前記第２符号化処理が前記復号画像に対しても実行されることによって得られたデータであり、
   前記関連付け処理部は、前記第３符号化データと前記第２符号化データとの間の差を少なくするように、前記第１符号化処理と、前記第１符号化データが前記復号画像に復号される処理との両方を最適化する、
   請求項１に記載の符号化装置。
5. 前記第２符号化データは、前記復号画像から抽出された特徴量に対して、予め最適化された前記第２符号化処理が実行されることによって得られたデータである、
   請求項４に記載の符号化装置。
6. 前記第２符号化処理における前記元画像のデータの圧縮率は、前記第１符号化処理における前記元画像のデータの圧縮率よりも低い、
   請求項４に記載の符号化装置。
7. 前記関連付け処理部は、前記元画像から抽出された特徴量に対して、前記元画像の復元精度を高くする前記特徴量の重み係数を大きくする、
   請求項１から請求項６のいずれか一項に記載の符号化装置。
8. 符号化装置が実行する符号化方法であって、
   元画像の符号化データである第１符号化データと、前記元画像の符号化データの復号結果である復号画像の符号化データである第２符号化データとを関連付けるステップと、
   前記第１符号化データと前記第２符号化データとの関連付けの結果に基づいて、符号化対象の画像である対象画像を符号化するステップと
   を含む符号化方法。
9. 請求項１から請求項７のいずれか一項に記載の符号化装置としてコンピュータを機能させるためのプログラム。

Images