JP7629915B2 - ゲームのスーパーレゾリューション - Google Patents

Description

（関連出願の相互参照）
本願は、２０１９年１１月１８日に出願された米国特許出願第１６／６８７，５６９号の利益を主張するものであり、本明細書に完全に記載されているかのように、参照により援用されている。

スーパーレゾリューション（super-resolution）とは、元の画像（例えば、ビデオ画像、写真）を、ニューラルネットワークを介してアップスケーリングし、元の画像に存在する情報量よりも多い情報（例えば、詳細（details））を抽出するプロセスである。スーパーレゾリューション技術は、異なる画像又はフレームからの情報を使用して、アップスケーリングされた画像を生成する。シーケンス内の各画像から詳細が抽出され、他の画像を再構築する。

添付の図面と併せて例として与えられる以下の説明から、より詳細な理解を得ることができる。

本開示の１つ以上の特徴が実装され得る例示的なデバイスのブロック図である。 追加の詳細を示す図１のデバイスのブロック図である。 本開示の特徴による、画像をスーパーレゾリューションする例示的な方法を示すフロー図である。 図３に示す方法のより詳細な例を示すフロー図である。 本開示の特徴による、サブピクセル畳み込みを使用して低解像度画像を高解像度画像に変換することを説明する図である。

従来のスーパーレゾリューション技術には、線形関数を使用して画像をアップスケーリングすることによってスーパーレゾリューションを実行する様々な従来のニューラルネットワークアーキテクチャが含まれる。ただし、これらの線形関数は、他のタイプの情報（例えば、非線形情報）の利点を利用しないため、通常、ぼやけた及び／又は破損した画像が生じる。さらに、従来のニューラルネットワークアーキテクチャは、一般化可能であり、当面の問題についての重要な知識がなくても動作するようにトレーニングされる。他の従来のスーパーレゾリューション技術は、深層学習アプローチを使用する。ただし、深層学習技術は、元の画像の重要な側面が組み込まれないため、その結果、色が失われ、詳細情報が失われる。

本願は、画像を効率的にスーパーレゾリューションするためのデバイス及び方法を提供することにより、画像がアップスケーリングされ、忠実度が向上しながら、画像の元の情報が保持され得る。デバイス及び方法は、完全に学習された環境で線形及び非線形のアップサンプリングを利用する。

デバイス及び方法は、畳み込み及び一般化可能な方法で画像を効率的にスーパーレゾリューションするゲーム用のスーパーレゾリューション（ＧＳＲ）ネットワークアーキテクチャを含む。ＧＳＲアーキテクチャは、画像凝縮と、線形及び非線形操作の組み合わせとを用いて、プロセスをゲームの実用レベルまで高速化する。ＧＳＲは、低品質スケールで画像をレンダリングして高品質の画像近似を生成し、高フレームレートを達成する。高品質の参照画像は、特定の構成の畳み込み層及び活性化関数を低品質の参照画像に適用することによって近似される。ＧＳＲネットワークは、画像のコーパスを用いて畳み込み層の重みをトレーニングすることにより、従来のスーパーレゾリューション技術よりも正確かつ効率的に、より汎化された問題（more generalized problems）をより近似する。

メモリ及びプロセッサを含む処理デバイスが提供される。プロセッサは、第一解像度を有する入力画像を受信し、線形アップスケーリングネットワークを介して入力画像をダウンサンプリングすることにより、入力画像の線形ダウンサンプリングバージョンを生成し、非線形アップスケーリングネットワークを介して入力画像をダウンサンプリングすることにより、入力画像の非線形ダウンサンプリングバージョンを生成するように構成されている。また、プロセッサは、入力画像のダウンサンプリングバージョンを、第一解像度よりも高い第二解像度を有する出力画像の画素（ピクセル）に変換し、表示のために出力画像を提供するように構成されている。

メモリと、第一解像度を有する入力画像を受信するように構成されたプロセッサと、を含む処理デバイスが提供される。また、プロセッサは、非線形アップスケーリングネットワークを介して入力画像の複数の非線形ダウンサンプリングバージョンを生成し、線形アップスケーリングネットワークを介して入力画像の１つ以上の線形ダウンサンプリングバージョンを生成するように構成されている。また、プロセッサは、非線形ダウンサンプリングバージョンと、１つ以上の線形ダウンサンプリングバージョンとを組み合わせて、複数の組み合わされたダウンサンプリングバージョンを提供するように構成されている。また、プロセッサは、第一解像度よりも高い第二解像度を有する出力画像の複数の画素ブロックの各々に、組み合わされたダウンサンプリングバージョンの各々の同一位置の画素を割り当てることにより、入力画像の組み合わされたダウンサンプリングバージョンを出力画像の画素に変換し、表示のために出力画像を提供するように構成されている。

処理パフォーマンスを向上させるスーパーレゾリューション処理方法が提供される。方法は、第一解像度を有する入力画像を受信することと、線形アップスケーリングネットワークを介して入力画像をダウンサンプリングすることにより、入力画像の線形ダウンサンプリングバージョンを生成することと、非線形アップスケーリングネットワークを介して入力画像をダウンサンプリングすることにより、入力画像の非線形ダウンサンプリングバージョンを生成することと、を含む。また、方法は、入力画像のダウンサンプリングバージョンを、第一解像度よりも高い第二解像度を有する出力画像の画素に変換することと、表示のために出力画像を提供することと、を含む。

図１は、本開示の１つ以上の特徴が実装され得る例示的なデバイス１００のブロック図である。デバイス１００は、例えば、コンピュータ、ゲーミングデバイス、ハンドヘルドデバイス、セットトップボックス、テレビ、携帯電話又はタブレットコンピュータを含み得る。デバイス１００は、プロセッサ１０２と、メモリ１０４と、ストレージ１０６と、１つ以上の入力デバイス１０８と、１つ以上の出力デバイス１１０と、を含む。また、デバイス１００は、オプションで、入力ドライバ１１２及び出力ドライバ１１４を含み得る。デバイス１００は、図１に示されていない追加のコンポーネントを含み得ることを理解されたい。

様々な代替例では、プロセッサ１０２は、中央処理装置（ＣＰＵ）、グラフィックスプロセシングユニット（ＧＰＵ）、別のタイプの計算アクセラレータ、同一のダイ上に位置するＣＰＵ及びＧＰＵ、又は、１つ以上のプロセッサコアを含み、各プロセッサコアは、ＣＰＵ、ＧＰＵ又は別のタイプのアクセラレータであり得る。例えば、複数のプロセッサは、１つの基板又は複数の基板上に含まれる。プロセッサは１つ以上の基板上にある。様々な代替例では、メモリ１０４は、プロセッサ１０２と同一のダイ上に位置している、又は、プロセッサ１０２とは別に位置している。メモリ１０４は、揮発性又は不揮発性のメモリ（例えば、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックＲＡＭ、キャッシュ）を含む。

ストレージ１０６は、固定又はリムーバブルストレージ（例えば、ハードディスクドライブ、ソリッドステートドライブ、光ディスク、フラッシュドライブ）を含む。入力デバイス１０８は、１つ以上の画像キャプチャデバイス（例えば、カメラ）、キーボード、キーパッド、タッチスクリーン、タッチパッド、検出器、マイクロフォン、加速度計、ジャイロスコープ、バイオメトリックスキャナ、又は、ネットワーク接続（例えば、無線ＩＥＥＥ８０２信号の送信及び／若しくは受信のための無線ローカルエリアネットワークカード）を含むが、これらに限定されない。出力デバイス１１０は、１つ以上のシリアルデジタルインタフェース（ＳＤＩ）カード、ディスプレイ、スピーカ、プリンタ、触覚フィードバックデバイス、１つ以上のライト、アンテナ、又は、ネットワーク接続（例えば、無線ＩＥＥＥ８０２信号の送信及び／若しくは受信のための無線ローカルエリアネットワークカード）を含むが、これらに限定されない。

入力ドライバ１１２は、プロセッサ１０２及び入力デバイス１０８と通信し、プロセッサ１０２が入力デバイス１０８から入力を受信することを可能にする。出力ドライバ１１４は、プロセッサ１０２及び出力デバイス１１０と通信し、プロセッサ１０２が出力デバイス１１０に出力を送信することを可能にする。入力ドライバ１１２及び出力ドライバ１１４は、例えば、ビデオキャプチャカード（例えば、ＳＤＩカード）等の１つ以上のビデオキャプチャデバイスを含む。図１に示すように、入力ドライバ１１２及び出力ドライバ１１４は、個別のドライバデバイスである。或いは、入力ドライバ１１２及び出力ドライバ１１４は、単一のデバイス（例えば、ＳＤＩカード）として統合され、このデバイスは、キャプチャされた画像データを受信し、処理された画像データ（例えば、パノラマスティッチ画像データ）を提供し、この処理された画像データは（例えば、ストレージ１０６に）格納され、（例えば、表示装置１１８を介して）表示され、又は、（例えば、無線ネットワークを介して）送信される。

入力ドライバ１１２及び出力ドライバ１１４がオプションのコンポーネントであることと、入力ドライバ１１２及び出力ドライバ１１４が存在しない場合には、デバイス１００が同様に動作することと、に留意されたい。一例では、図１に示すように、出力ドライバ１１４は、表示装置１１８に結合されたアクセラレーテッドプロセッシングデバイス（ＡＰＤ）１１６を含む。ＡＰＤは、プロセッサ１０２から計算コマンド及びグラフィックスレンダリングコマンドを受信し、それらの計算コマンド及びグラフィックスレンダリングコマンドを処理し、表示のために表示装置１１８に画素出力を提供するように構成されている。ＡＰＤ１１６は、例えば、単一命令複数データ（ＳＩＭＤ）パラダイムに従って計算を実行するように構成された１つ以上の並列処理ユニットを含む。したがって、本明細書では、様々な機能が、ＡＰＤ１１６によって又はＡＰＤ１１６と連動して実行されるものとして説明されているが、様々な代替例では、ＡＰＤ１１６によって実行されるものとして説明する機能は、ホストプロセッサ（例えば、プロセッサ１０２）によって駆動されず、表示装置１１８にグラフィカル出力を提供するように構成された同様の機能を有する他のコンピューティングデバイスによって追加的又は代替的に実行される。例えば、ＳＩＭＤパラダイムに従って処理タスクを行う何れかの処理システムが、本明細書で説明する機能を行うように構成され得ることが想到される。或いは、ＳＩＭＤパラダイムに従って処理タスクを行わないコンピューティングシステムが、本明細書で説明する機能を行うことが想到される。

図２は、ＡＰＤ１１６上での処理タスクの実行に関連する追加の詳細を示すデバイス１００のブロック図である。プロセッサ１０２は、システムメモリ１０４において、プロセッサ１０２による実行のための１つ以上の制御ロジックモジュールを維持する。制御論理モジュールは、オペレーティングシステム１２０と、カーネルモードドライバ１２２と、アプリケーション１２６と、を含む。これらの制御論理モジュールは、プロセッサ１０２及びＡＰＤ１１６の操作の様々な機能を制御する。例えば、オペレーティングシステム１２０は、ハードウェアと直接通信し、プロセッサ１０２で実行される他のソフトウェアにハードウェアへのインターフェースを提供する。カーネルモードドライバ１２２は、例えば、プロセッサ１０２上で実行されるソフトウェア（例えば、アプリケーション１２６）に対して、ＡＰＤ１１６の様々な機能にアクセスするためのアプリケーションプログラミングインターフェース（ＡＰＩ）を提供することによって、ＡＰＤ１１６の動作を制御する。また、カーネルモードドライバ１２２は、ＡＰＤ１１６の処理コンポーネント（以下にさらに詳細に説明するＳＩＭＤユニット１３８等）による実行のためにプログラムをコンパイルするジャストインタイムコンパイラを含む。

ＡＰＤ１１６は、グラフィックス操作及び非グラフィックス操作等のように、並列処理に適し得る選択された機能のコマンド及びプログラムを実行する。ＡＰＤ１１６は、プロセッサ１０２から受信したコマンドに基づいて、画素操作、幾何学計算、表示装置１１８への画像のレンダリング等のグラフィックスパイプライン操作を実行するために使用することができる。また、ＡＰＤ１１６は、プロセッサ１０２から受信したコマンドに基づいて、ビデオ、物理シミュレーション、計算流体力学、又は、他のタスクに関連する動作等のように、グラフィックス操作に直接関連しない計算処理操作も実行する。

ＡＰＤ１１６は、ＳＩＭＤパラダイムに従ってプロセッサ１０２の要求に応じて並列に操作を行うように構成された１つ以上のＳＩＭＤユニット１３８を含む計算ユニット１３２を含む。ＳＩＭＤパラダイムは、複数の処理要素が単一のプログラム制御フローユニット及びプログラムカウンタを共有し、ひいては、同じプログラムを実行するが、異なるデータでそのプログラムを実行することが可能なパラダイムである。一例では、各ＳＩＭＤユニット１３８は１６個のレーンを含み、各レーンは、ＳＩＭＤユニット１３８内の他のレーンと同時に同じ命令を実行するが、異なるデータでその命令を実行することができる。全てのレーンが所定の命令を実行する必要がない場合には、プレディケーション（predication）を使用してレーンをオフにすることができる。プレディケーションは、分岐する制御フローを有するプログラムを実行する場合にも使用することができる。より具体的には、制御フローが個々のレーンによって実行される計算に基づく条件付き分岐又は他の命令を有するプログラムの場合、現在実行されていない制御フローパスに対応するレーンのプレディケーション、及び、異なる制御フローパスの直列実行は、任意の制御フローを可能にする。

計算ユニット１３２での実行の基本単位はワークアイテム（work-item）である。各ワークアイテムは、特定のレーンにおいて並列に実行されるプログラムの単一のインスタンス化を表す。ワークアイテムは、単一のＳＩＭＤユニット１３８上で「ウェーブフロント（wavefront）」として同時に実行され得る。１つ以上のウェーブフロントが「ワークグループ」に含まれ、ワークグループは、同一のプログラムを実行するように指定されたワークアイテムの集合を含む。ワークグループは、ワークグループを構成するウェーブフロントの各々を実行することによって実行することができる。代替例では、ウェーブフロントは、単一のＳＩＭＤユニット１３８上で順次実行され、又は、異なるＳＩＭＤユニット１３８上で部分的若しくは完全に並列に実行される。ウェーブフロントは、単一のＳＩＭＤユニット１３８上で同時に実行可能なワークアイテムの最大の集合として考えられ得る。したがって、プロセッサ１０２から受信したコマンドが、プログラムが単一のＳＩＭＤユニット１３８上で同時に実行できない程度に特定のプログラムが並列処理されることを示す場合、そのプログラムは、２つ以上のＳＩＭＤユニット１３８上で並列処理されるウェーブフロント、又は、同一のＳＩＭＤユニット１３８上でシリアル処理される（又は、必要に応じて、並列処理及びシリアル処理の両方が行われる）ウェーブフロントに分割される。スケジューラ１３６は、異なる計算ユニット１３２及びＳＩＭＤユニット１３８上で様々なウェーブフロントをスケジューリングすることに関連する操作を行うように構成されている。

計算ユニット１３２によって与えられる並列性は、画素値計算、頂点変換及び他のグラフィックス操作等のグラフィックス関連操作に適している。したがって、いくつかの例において、プロセッサ１０２からグラフィックスプロセッシングコマンドを受信するグラフィックスプロセッシングパイプライン１３４は、並列に実行するために計算タスクを計算ユニット１３２に提供する。

また、計算ユニット１３２を使用して、グラフィックに関連しない、又は、グラフィックスプロセッシングパイプライン１３４の「通常」操作の一部として行われない計算タスク（例えば、グラフィックスプロセッシングパイプライン１３４の操作に対して行われる処理を補足するために行われるカスタム操作）を行う。プロセッサ１０２上で実行されるアプリケーション１２６又は他のソフトウェアは、そのような計算タスクを定義したプログラムを、実行のためにＡＰＤ１１６に送信する。

次に、画像をスーパーレゾリューションする例示的な方法を、図３及び図４を参照して説明する。図３は、画像をスーパーレゾリューションする例示的な方法を示すフロー図である。図４は、図３に示す方法のより詳細な例を示すフロー図である。

ブロック３０２に示すように、この方法は、低解像度画像を受信することを含む。ブロック３０２で低解像度画像を受信する前に、元の画像は、例えば、複数の従来の正規化技術のうち何れかを使用して前処理され、元の画像は、ブロック３０２で受信した低解像度の正規化された画像（すなわち、低解像度画像）に凝縮される。例えば、図４のブロック４０２に示すように、元の画像（例えば、１×３×２５６０×１４４０の解像度の画像）が受信され、前処理操作４０４（例えば、除算及び減算操作を含む）に従って前処理され（例えば、正規化され）、元の画像が、ブロック３０２で受信した低解像度の正規化された画像に凝縮される。

次に、低解像度画像は、ブロック３０４，３０６に示すように、２つの異なるプロセスに従って処理される。低解像度画像は、ブロック３０４に示す深層学習ベースの線形アップスケーリングネットワークに従って、又は、ブロック３０６に示す深層学習ベースの非線形アップスケーリングネットワークに従って処理される。図３に示す例では、ブロック３０４，３０６に示す各処理は、低解像度画像に対して動作し、並行して実行される。或いは、ハードウェアが並行処理をサポートしていない場合、線形アップスケーリング処理及び非線形アップスケーリング処理は、並行して実行されない。

深層学習ベースの線形アップスケーリングネットワークは、線形畳み込みフィルタを含み、この線形畳み込みフィルタは、画像をダウンサンプリングし（例えば、画像の解像度の１／２だけ）、画像から線形特徴を抽出して、少数（例えば、３個）の特徴チャネル（例えば、赤－緑－青（ＲＧＢ）チャネル）を有する画像から、より多数（例えば、２７個）の線形特徴チャネルを有するダウンサンプリング画像に変換する。すなわち、低解像度画像は、低解像度画像の多数（例えば、２７個）の線形ダウンサンプリングバージョンを生成するように処理される。深層学習ベースの非線形アップスケーリングネットワークは、一連の畳み込み演算子及び活性化関数を介して、低解像度画像を処理し、非線形特徴を抽出し、これらの特徴をダウンサンプリングし、低解像度画像の特徴情報量を増加させる。

線形アップスケーリング及び非線形アップスケーリングの組み合わせにより、線形アップスケーリングによる画像の色及び大きいスケールの特徴（人の目でより簡単に認知される大きいオブジェクト及び形状）の保存と、非線形アップスケーリングによる画像のより細かい特徴（例えば、曲線特徴、及び、低解像度では容易に認知されない特徴）の保存と、の両方が容易になる。線形操作は入力データのみを使用するが、非線形操作は入力データ及び他のデータ（すなわち、非入力データ）の両方を使用することにより、入力データが拡張される。非線形関数は、非線形関数（例えば、畳み込み演算）よりも効率的に画像の複雑な特徴（例えば、曲線）を正確に決定することを容易にする。

例えば、図４の左側の経路は、線形アップスケーリング処理３０４の一例を示し、図４の右側の経路は、非線形アップスケーリング処理３０６の一例を示す。図４の左側及び右側の経路に示す各畳み込み演算４０６（すなわち、各畳み込み層）は、低解像度画像の画素データのウィンドウに対して行列数学演算（例えば、行列乗算）を実行することにより、複数の特徴を有するが低解像度である画像の１つ以上のダウンサンプリングバージョン（すなわち、１つ以上の特徴マップ）が生成される。例えば、各畳み込み演算４０６は、畳み込み演算４０６が実行される毎に（例えば、ビデオストリームの画像毎に）、同じ数（すなわち、１つ以上）のダウンサンプリングバージョンを生成するように予め決定される（例えば、ビデオストリームの画像をスーパーレゾリューションするランタイム前に設定される）。

図４に示す例では、左側の経路（すなわち、線形アップスケーリング処理３０４）は、単一の畳み込み演算４０６を含み、右側の経路は、複数の線形畳み込み演算４０６を含む。また、右側の経路は、畳み込み演算４０６の間に積層された複数の非線形ポイントワイズ活性化関数４０８を含む。図４に示す畳み込み演算４０６及び活性化関数４０８の数は、一例に過ぎない。これらの例は、任意の数の畳み込み演算及び活性化関数を含むことができる。さらに、図４に示す寸法（例えば、１×３×２５６０×１４４０、４８×３×５×５、４８×４８×３×３、及び１×３×１５２０×２８８０）は、単なる例示に過ぎない。

各活性化関数４０８は、要素データを受信し、そのデータを非線形データに変換する非線形数学関数である。すなわち、各畳み込み演算４０６が右側の経路上の入力データに対して実行された後、非線形ポイントワイズ活性化関数４０８が適用されることにより、線形データが非線形データに変換される。畳み込み演算４０６の間に活性化関数４０８を積層することにより、一連の線形操作が一連の非線形操作に変換される。ニューラルネットワークがデータを処理することを学習すると、ネットワークは、畳み込み演算４０６の間の活性化関数の積層が実行されなかった場合よりも、元の画像のデータによる制約（すなわち、制限）が少なくなるため、入力データは、画像をスーパーレゾリューションするためにより効率的にワープ（warped）される。

図３に戻り参照すると、ブロック３０８（及び、図４）に示すように、低解像度画像３０２の線形ダウンサンプリング（例えば、１／２解像度）バージョンと、低解像度画像３０２の非線形ダウンサンプリングバージョンと、が組み合わされることにより、低解像度画像３０２の組み合わされたいくつかのダウンサンプリングバージョンが提供される。低解像度画像３０２のこれらのダウンサンプリングバージョンは、低解像度で画像から多数の特徴（すなわち、特徴チャネル）を抽出する。

ブロック３１０に示すように、この方法は、画素シャッフルプロセス３１０を含む。例えば、画素シャッフルプロセス３１０は、以下により詳細に説明するように、図４に示す形状変更操作（reshape operations）４１０及び転置操作（transpose operations）４１２等の操作を実行し、高解像度画像３１２を提供することを含む。

図５は、本開示の特徴による、サブピクセル（すなわち、サブ解像度ピクセル）畳み込みを使用して低解像度画像を高解像度画像に変換することを示す図である。図５の最初の３つの部分（隠れ層として注釈が付けられている）は、図３に示す処理経路（すなわち、線形アップスケーリング処理３０４又は非線形アップスケーリング処理３０６）のうち何れかに従って、低解像度画像５０２の複数のダウンサンプリングバージョン５０４を生成するために、低解像度画像５０２から特徴の抽出することを示す。低解像度画像３０２のダウンサンプリングバージョン５０４は、画像３０２から多数の特徴を抽出するために、本明細書では、特徴マップ５０４及び組み合わされた特徴マップ５０６とも呼ばれる。

図４に示す例では、左側の経路での線形アップスケーリング処理３０４は、単一の畳み込み演算４０６（すなわち、単一の隠れ層）を含み、この単一の畳み込み演算は、少数（例えば、３個）の特徴（例えば、ＲＧＢ色特徴）を有する低解像度画像５０２の画素データのウィンドウに対して実行されることにより、色特徴と、非色特徴と、色情報及び非色情報と、を有する特徴を含む、より多数（例えば、４８個）の特徴を有する画像５０２の線形ダウンサンプリングバージョン（すなわち、特徴マップ５０４）が生成される。

図４の右側の経路の非線形アップスケーリング処理３０６は、３組の畳み込み演算４０６（すなわち、３つの隠れ層）と、１つの活性化関数４０８と、を含む。すなわち、画像５０２の画素データのウィンドウに対して、第一畳み込み演算４０６、続いて活性化関数４０８（例えば、「Ｔａｎｈ」関数）が実行されることにより、画像５０２の第一非線形バージョン（すなわち、特徴マップ５０４）が生成される。次に、画像５０２の画素データのウィンドウに対して、第二畳み込み演算４０６、続いて第二活性化関数４０８が実行されることにより、画像５０２の第二非線形バージョン（すなわち、特徴マップ５０４）が生成される。次に、画像５０２の画素データのウィンドウに対して、第三畳み込み演算４０６、続いて第三活性化関数４０８が実行されることにより、画像５０２の第三非線形バージョン（すなわち、特徴マップ５０４）が生成される。

図５の第四部分及び第五部分（サブピクセル畳み込み層として注釈が付けられている）は、線形アップスケーリング処理３０４及び非線形アップスケーリング処理３０６から得られる低解像度画像５０２の組み合わされたいくつかのダウンサンプリングバージョン５０６からの高解像度画像５０８の生成を示す。

画素シャッフルプロセス３１０は、低解像度画素情報を使用してより高い解像度で各ブロック５１０を生成することにより、低解像度特徴マップ５０６を高解像度画像５０８の画素に変換することを含む。図５の例に示すように、高解像度画像５０８は、９つの画素の繰り返しパターンを有する複数の３×３高解像度画素ブロック５１０を含む。さらに、低解像度画像３０２の９つのダウンサンプリングバージョン５０６（１）～５０６（９）は、９つの画素の高解像度画素ブロック５１０に対応するように生成され、ここでは、ダウンサンプリングバージョン５０６のうち８つは、画像３０２のシフトされた低解像度バージョンを表し、ダウンサンプリングバージョン５０６のうち１つは、画像３０２のシフトされていない低解像度バージョンを表す。

例えば、ダウンサンプリングバージョン５０６（１）は、１画素位置だけ上に（すなわち、Ｙ方向の上に）、及び、１画素位置だけ左に（すなわち、Ｘ方向の左に）シフトされた画像３０２の低解像度バージョンを表す。ダウンサンプリングバージョン５０６（２）は、１画素位置だけ上に（すなわち、Ｙ方向の上に）シフトされた画像３０２の低解像度バージョンを表す。ダウンサンプリングバージョン５０６（３）は、１画素位置だけ上に（すなわち、Ｙ方向の上に）、及び、１画素位置だけ右に（すなわち、Ｘ方向の右に）シフトされた画像３０２の低解像度バージョンを表す。ダウンサンプリングバージョン５０６（４）は、１画素位置だけ左に（すなわち、Ｘ方向の左に）シフトされた画像３０２の低解像度バージョンを表す。ダウンサンプリングバージョン５０６（５）は、画像３０２のシフトされていない低解像度バージョンを表す。ダウンサンプリングバージョン５０６（６）は、１画素位置だけ右に（すなわち、Ｘ方向の右に）シフトされた画像３０２の低解像度バージョンを表す。ダウンサンプリングバージョン５０６（７）は、１画素位置だけ下に（すなわち、Ｙ方向の下に）、及び、１画素位置だけ左に（すなわち、Ｘ方向の左に）シフトされた画像３０２の低解像度バージョンを表す。ダウンサンプリングバージョン５０６（８）は、１画素位置だけ下に（すなわち、Ｙ方向の下に）シフトされた画像３０２の低解像度バージョンを表す。ダウンサンプリングバージョン５０６（９）は、１画素位置だけ下に（すなわち、Ｙ方向の下に）、及び、１画素位置だけ右に（すなわち、Ｘ方向の右に）シフトされた画像３０２の低解像度バージョンを表す。

画素シャッフルプロセス３１０は、高解像度画素ブロック５１０の各々に、９つの低解像度特徴マップ５０６の各々における同一位置の画素を割り当てることによって実施される。例えば、高解像度画像５０８の左上隅部に位置する第一高解像度画素ブロック５１０は、高解像度画素ブロック５１０の画素位置１に、第一低解像度特徴マップ５０６（１）の左上隅部の画素（すなわち、同一位置の画素）を割り当てることと、高解像度画素ブロック５１０の画素位置２に、第二低解像度特徴マップ５０６（２）の左上隅部に位置する画素を割り当てることと、高解像度画素ブロック５１０の画素位置３に、第三低解像度特徴マップ５０６（３）の左上隅部に位置する画素を割り当てることと、高解像度画素ブロック５１０の画素位置４に、第四低解像度特徴マップ５０６（４）の左上隅部に位置する画素を割り当てることと、高解像度画素ブロック５１０の画素位置５に、第五低解像度特徴マップ５０６（５）の左上隅部に位置する画素を割り当てることと、高解像度画素ブロック５１０の画素位置６に、第六低解像度特徴マップ５０６（６）の左上隅部に位置する画素を割り当てることと、高解像度画素ブロック５１０の画素位置７に、第七低解像度特徴マップ５０６（７）の左上隅部に位置する画素を割り当てることと、高解像度画素ブロック５１０の画素位置８に、第八低解像度特徴マップ５０６（８）の左上隅部に位置する画素を割り当てることと、高解像度画素ブロック５１０の画素位置９に、第九低解像度特徴マップ５０６（９）の左上隅部に位置する画素を割り当てることと、によって生成される。

次の高解像度画素ブロック５１０（すなわち、第一高解像度画素ブロック５１０の右側のブロック）は、第一高解像度画素ブロック５１０と同様の方法で、高解像度画素ブロック５１０の各画素位置１～９に、各々の低解像度特徴マップ５０６（１）～５０６（９）の各々における同一位置の画素（すなわち、左上隅部の画素の右側に位置する画素）を割り当てることによって生成される。プロセスは、高解像度画像５０８の残りの高解像度画素ブロック５１０の各々について続行される。

画素シャッフルプロセス３１０が実行された後であって、高解像度画像３１２を生成する前に、加算及び乗算操作を含む追加の処理操作４１４が実行されることにより、減算及び除算操作４０４によって実行される元の画像４０２の正規化が元に戻され、元の画像４０２が標準色空間に戻される。

本明細書の開示に基づいて、多くの変形が可能であることを理解されたい。特徴及び要素が特定の組み合わせで上述されているが、各特徴又は要素は、他の特徴及び要素なしに単独で、又は、他の特徴及び要素と共に若しくは他の特徴及び要素なしに様々な組み合わせで使用することができる。

図に示され、及び／又は、本明細書で説明する様々な機能ユニット（限定されないが、プロセッサ１０２、入力ドライバ１１２、入力デバイス１０８、出力ドライバ１１４、出力デバイス１１０、アクセラレーテッド処理デバイス１１６、スケジューラ１３６、グラフィックスプロセッシングパイプライン１３４、計算ユニット１３２、及び、ＳＩＭＤユニット１３８を含む）は、汎用コンピュータ、プロセッサ若しくはプロセッサコアとして、又は、プログラム、ソフトウェア若しくはファームウェアとして実装され、非一時的なコンピュータ可読媒体又は別の媒体に記憶され、汎用コンピュータ、プロセッサ又はプロセッサコアによって実行可能であり得る。提供される方法は、汎用コンピュータ、プロセッサ又はプロセッサコアにおいて実装することができる。適切なプロセッサは、例として、汎用プロセッサ、専用プロセッサ、従来のプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアに関連する１つ以上のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路、他のタイプの集積回路（ＩＣ）、及び／又は、状態機械を含む。処理されたハードウェア記述言語（ＨＤＬ）命令の結果と、ネットリストを含む他の中間データ（コンピュータ可読媒体に記憶することが可能な命令）と、を使用して製造プロセスを構成することによって、かかるプロセッサを製造することができる。このような処理の結果は、本開示の特徴を実装するプロセッサを製造する半導体製造工程において使用されるマスクワークであってもよい。

本明細書で提供される方法又はフローチャートは、汎用コンピュータ又はプロセッサによる実行のために非一時的なコンピュータ可読記憶媒体に組み込まれたコンピュータプログラム、ソフトウェア又はファームウェアで実施できる。非一時的なコンピュータ可読記憶媒体の例は、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスク及び着脱可能ディスク等の磁気媒体、磁気光学媒体、並びに、ＣＤ－ＲＯＭディスク及びデジタル多用途ディスク（ＤＶＤ）等の光学媒体を含む。

Claims (20)

1. メモリと、
   プロセッサと、
   を備える処理デバイスであって、
   前記プロセッサは、
   第一解像度を有する入力画像を受信することと、
   線形アップスケーリングネットワークを介して、前記入力画像の少なくとも１つの線形ダウンサンプリングバージョンを生成することと、
   非線形アップスケーリングネットワークを介して、前記入力画像の少なくとも１つの非線形ダウンサンプリングバージョンを生成することと、
   前記入力画像の各ダウンサンプリングバージョンの同一位置の画素を出力画像の複数の画素ブロックの各々に割り当てることによって、前記入力画像の少なくとも１つの線形ダウンサンプリングバージョン及び前記入力画像の少なくとも１つの非線形ダウンサンプリングバージョンを、前記第一解像度よりも高い第二解像度を有する前記出力画像の画素に変換することと、
   前記出力画像を表示するために提供することと、
   を行うように構成されている、
   処理デバイス。
2. 前記プロセッサは、複数の畳み込み演算の各々の間に活性化関数を積層して、一連の線形操作を一連の非線形操作に変換することによって、前記非線形アップスケーリングネットワークを介して、前記入力画像の少なくとも１つの非線形ダウンサンプリングバージョンを生成するように構成されている、
   請求項１の処理デバイス。
3. 前記プロセッサは、前記入力画像の画素のウィンドウに対して１つ以上の畳み込み演算を実行することによって、前記線形アップスケーリングネットワークを介して、前記入力画像の少なくとも１つの線形ダウンサンプリングバージョンを生成するように構成されている、
   請求項１の処理デバイス。
4. 前記プロセッサは、前記出力画像について複数の画素ブロックを生成することによって、前記入力画像の少なくとも１つのダウンサンプリングバージョン及び前記入力画像の少なくとも１つの非線形ダウンサンプリングバージョンを画素に変換するように構成されており、各画素ブロックは、前記入力画像の各ダウンサンプリングバージョンの同一位置の画素を含む、
   請求項１の処理デバイス。
5. 前記出力画像の各画素ブロックは複数の画素を含み、各画素は、各画素ブロックのいくつかの異なる画素位置のうち何れかの位置に配置されており、
   前記複数の画素ブロックの異なる画素位置は、前記入力画像の対応するダウンサンプリングバージョンの同一位置の画素を含む、
   請求項４の処理デバイス。
6. 各画素ブロックの異なる画素位置の総数は、前記入力画像のダウンサンプリングバージョンの総数に等しい、
   請求項５の処理デバイス。
7. 前記線形アップスケーリングネットワークは、１つ以上の畳み込み演算を含み、前記非線形アップスケーリングネットワークは、複数の畳み込み演算を含み、各畳み込み演算は、対応する畳み込み演算が実行される毎に、同じ数の線形ダウンサンプリングバージョン、又は、同じ数の非線形ダウンサンプリングバージョンを生成する、
   請求項１の処理デバイス。
8. メモリと、
   プロセッサと、
   を備える処理デバイスであって、
   前記プロセッサは、
   第一解像度を有する入力画像を受信することと、
   非線形アップスケーリングネットワークを介して、前記入力画像の複数の非線形ダウンサンプリングバージョンを生成することと、
   線形アップスケーリングネットワークを介して、前記入力画像の複数の線形ダウンサンプリングバージョンを生成することと、
   前記複数の非線形ダウンサンプリングバージョンと、前記複数の線形ダウンサンプリングバージョンと、を組み合わせて、複数の組み合わされたダウンサンプリングバージョンを提供することと、
   出力画像の複数の画素ブロックの各々に、前記組み合わされたダウンサンプリングバージョンの各々における同一位置の画素を割り当てることによって、前記入力画像の前記組み合わされたダウンサンプリングバージョンを、前記第一解像度よりも高い第二解像度を有する前記出力画像の画素に変換することと、
   前記出力画像を表示するために提供することと、
   を行うように構成されている、
   処理デバイス。
9. 前記複数の線形及び非線形ダウンサンプリングバージョンの各々は、色特徴と、非色特徴と、色情報及び非色情報を有する特徴と、のうち少なくとも１つを含む、
   請求項８の処理デバイス。
10. 前記プロセッサは、前記入力画像の前記複数の線形ダウンサンプリングバージョンと並行して、前記入力画像の前記複数の非線形ダウンサンプリングバージョンを生成するように構成されている、
    請求項８の処理デバイス。
11. 前記プロセッサは、畳み込み演算の間に活性化関数を積層して一連の線形操作を一連の非線形操作に変換することによって、前記複数の非線形ダウンサンプリングバージョンを生成するように構成されている、
    請求項８の処理デバイス。
12. 前記プロセッサは、前記入力画像の画素のウィンドウに対して少なくとも１つの畳み込み演算を実行することによって、前記線形アップスケーリングネットワークを介して、前記入力画像の前記複数の線形ダウンサンプリングバージョンを生成するように構成されている、
    請求項８の処理デバイス。
13. 前記出力画像の各画素ブロックは複数の画素を含み、各画素は、各画素ブロックのいくつかの異なる位置のうち何れかの位置に配置されており、
    各位置は、前記入力画像の対応するダウンサンプリングバージョンの前記同一位置の画素を含む、
    請求項８の処理デバイス。
14. 各画素ブロックの前記異なる位置の総数は、前記入力画像のダウンサンプリングバージョンの総数に等しい、
    請求項１３の処理デバイス。
15. 前記線形アップスケーリングネットワークは、１つ以上の畳み込み演算を含み、前記非線形アップスケーリングネットワークは、複数の畳み込み演算を含み、各畳み込み演算は、対応する畳み込み演算が実行される毎に、同じ数の線形ダウンサンプリングバージョン、又は、同じ数の非線形ダウンサンプリングバージョンを生成する、
    請求項８の処理デバイス。
16. 第一解像度を有する入力画像を受信することと、
    線形アップスケーリングネットワークを介して前記入力画像をダウンサンプリングすることによって、前記入力画像の少なくとも１つの線形ダウンサンプリングバージョンを生成することと、
    非線形アップスケーリングネットワークを介して前記入力画像をダウンサンプリングすることによって、前記入力画像の少なくとも１つの非線形ダウンサンプリングバージョンを生成することと、
    前記入力画像の各ダウンサンプリングバージョンの同一位置の画素を出力画像の複数の画素ブロックの各々に割り当てることによって、前記入力画像の少なくとも１つの線形ダウンサンプリングバージョン、及び、前記入力画像の少なくとも１つの非線形ダウンサンプリングバージョンを、前記第一解像度よりも高い第二解像度を有する出力画像の画素に変換することと、
    前記出力画像を表示するために提供することと、を含む、
    スーパーレゾリューション処理方法。
17. 前記非線形アップスケーリングネットワークを介して、前記入力画像の少なくとも１つの非線形ダウンサンプリングバージョンを生成することは、複数の畳み込み演算の各々の間に活性化関数を積層して、一連の線形操作を一連の非線形操作に変換することを含む、
    請求項１６のスーパーレゾリューション処理方法。
18. 前記線形アップスケーリングネットワークを介して、前記入力画像の少なくとも１つの線形ダウンサンプリングバージョンを生成することは、前記入力画像の画素のウィンドウに対して畳み込み演算を実行することを含む、
    請求項１６のスーパーレゾリューション処理方法。
19. 前記入力画像の少なくとも１つの線形ダウンサンプリングバージョン及び前記入力画像の少なくとも１つの非線形ダウンサンプリングバージョンを前記画素に変換することは、前記出力画像について複数の画素ブロックを生成することを含み、各画素ブロックは、前記入力画像の各ダウンサンプリングバージョンの同一位置の画素を含む、
    請求項１６のスーパーレゾリューション処理方法。
20. 前記線形アップスケーリングネットワークは、１つ以上の畳み込み演算を含み、前記非線形アップスケーリングネットワークは、複数の畳み込み演算を含み、各畳み込み演算は、対応する畳み込み演算が実行される毎に、同じ数の線形ダウンサンプリングバージョン、又は、同じ数の非線形ダウンサンプリングバージョンを生成する、
    請求項１６のスーパーレゾリューション処理方法。

Images