JP7766404B2 - 画像処理装置、画像形成システム、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像形成システム、画像処理方法及びプログラムに関する。

デジタルカメラ等の撮像装置に利用される撮像素子は、その各画素上に例えば、ＲＧＢ三原色のカラーフィルタをそれぞれ装着している。これにより各画素は、特定の波長光の光成分を受光することができる。各画素上に配置されるＲＧＢカラーフィルタの配列として、例えばベイヤ配列がある。ベイヤ配列による撮像画像は、ＲＧＢの色情報をそれぞれ有する画素で構成された、いわゆるモザイク画像となる。撮像装置の現像処理部は、撮像素子で得られたモザイク画像からカラー画像を得るために、デモザイク処理を行う。デモザイク処理は、モザイク画像上に点在する各ＲＧＢ画素に対して、線形フィルタを適用することをいう。これにより、各ＲＧＢ画素で不足しているＲＧＢの色情報は、各ＲＧＢ画素の周辺のＲＧＢ画素に基づいて、補間される。色情報を補間するための線形補間法は、補間精度が低いため、これまでに数多くの非線形補間法が提案されてきた。しかしながら、様々な非線形補間法は、色情報を完全に補間できない画像領域を有する。そのため、デモザイク処理は、例えば偽色及びアーティファクトが発生する課題を有していた。

そこで、デモザイク処理で深層学習技術を応用したデータ駆動型の補間法が提案されている。非特許文献１は、ノイズの少ない教師画像を用いて、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）ベースのデモザイクネットワーク（以下ＣＮＮ）を訓練する方法を開示している。非特許文献１の方法は、教師画像の画素値を最小値０から最大値１までの区間に収まるように、画素値を正規化する。この区間は、画素値レンジと呼ばれる。画像処理装置は、画素値レンジに収まるように正規化された画素値を含む教師画像を用いて、ＣＮＮに教師画像の特徴を学習させる。画像処理装置は、教師画像を学習済みのＣＮＮに対し、モザイク画像（入力画像）を入力し、ＣＮＮはモザイク画像をＲＧＢ画像に変換するための推論（出力）を行う。ここで、推論は推定ともいう。

Michael Gharbi、外３名、"Deep Joint Demosaicking and Denoising"、[online]、平成２８年、Siggraph Asia 2016、[令和３年２月２５日検索]、インターネット＜URL：https://groups.csail.mit.edu/graphics/demosaicnet/＞

しかしながら、モザイク画像の特定の画素及び特定のチャネル（ＲＧＢ）の画素値が０又は１付近である場合、ＣＮＮが推論した画像においてアーティファクトが発生するという課題がある。

本発明は、画像のデモザイク処理で発生する色の劣化を抑制し、画像の色の品質を向上させることを目的とする。

本発明の目的を達成するために、本発明の一実施形態に係る画像処理装置は、以下の構成を備える。すなわち、画像処理装置は、所定のカラーフィルタ配列のモザイク画像に対するデモザイク処理を行うモデルを保持する保持手段と、教師画像を取得する取得手段と、モザイク画像を前記モデルに入力して得られる出力画像の画素値が前記教師画像の画素値レンジに含まれるように、前記教師画像の画素値レンジを伸長する伸長手段と、前記教師画像に対応するモザイク画像であり、前記伸長手段により伸長された画素値レンジと略一致する画素値レンジを有する生徒画像を生成する生成手段と、前記生徒画像を前記モデルに入力して得られる出力画像と前記画素値レンジが伸長された教師画像との残差に基づいて前記モデルのパラメータを補正する補正手段と、を備える。

本発明によれば、画像のデモザイク処理で発生する色の劣化を抑制し、画像の色の品質を向上させることができる。

本実施形態に係る画像形成システムの構成図。 本実施形態に係るＣＮＮによる推論画像の生成を説明する図。 先行技術におけるアーティファクトの発生原理を説明する図。 第１実施形態、第２実施形態に係る画像処理装置のブロック図。 第１実施形態、第２実施形態に係る画像変換処理のフローチャート。 第３実施形態に係る画像処理装置のブロック図。 第３実施形態に係る画像変換処理のフローチャート。 本実施形態に係る教師画像の生成処理を説明する図。 本実施形態に係る画素値レンジを説明する図。 本実施形態に係る入力画像の生成処理を説明する図。 本実施形態に係るＣＮＮの処理を説明する図。 第２実施形態に係るＣＮＮの学習の流れを説明する図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１実施形態）
以下では、本実施形態に係る画像形成システム１０について説明する。

図１は、第１実施形態の画像形成システム１０の構成の一例を示す図である。画像形成システム１０は、画像処理装置１００、操作部１１０、外部記憶装置１０８及び表示装置１０９を含む。画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、記憶部１０４、入力インターフェース１０５、出力インターフェース１０６、撮像部１１１、ＧＰＵ１１２を含む。画像処理装置１００の各構成要素は、バス１０７によって相互に接続されている。また、画像処理装置１００は、入力インターフェース１０５を介して外部記憶装置１０８及び操作部１１０に接続されている。また、画像処理装置１００は、出力インターフェース１０６を介して外部記憶装置１０８及び表示装置１０９に接続されている。

ＣＰＵ１０１は、中央処理演算装置を示すプロセッサであり、後述するＲＡＭ１０２及びＲＯＭ１０３に格納されたコンピュータプログラムを実行して、画像形成システム１０全体の動作を制御する。なお、ＣＰＵ１０１が画像形成システム１０全体を制御する場合を一例として説明しているが、複数のハードウェア（不図示）が、制御に係る処理を分担することにより、画像形成システム１０全体を制御してもよい。

ＲＡＭ１０２は、作業用のメインメモリであり、記憶部１０４から読み込んだコンピュータプログラム及びデータ並びに入力インターフェース１０５を介して外部から受信したデータを一時的に記憶する記憶領域を有する。また、ＲＡＭ１０２は、ＣＰＵ１０１が各種の処理を実行する際に使用する記憶領域及びＧＰＵ１１２が画像処理を実行する際に使用する記憶領域として使用される。ＲＯＭ１０３は、読み出し可能メモリのことであり、画像形成システム１０における各部の設定パラメータ及びブートプログラム等を記憶する記憶領域を有する。

記憶部１０４は、例えばＨＤＤ（ハードディスクドライブ）のような大容量情報記憶装置である。記憶部１０４は、例えば光ディスクドライブ及びフラッシュメモリ等の記憶デバイスであってよい。記憶部１０４は、ＯＳ（オペレーティングシステム）、ＣＰＵ１０１に各種処理を実行させるためのコンピュータプログラム及びデータ等を保存する。また、記憶部１０４は、画像形成システム１０の各構成要素の処理によって生成される一時的なデータ（例えば、入力又は出力の画像データ及びＧＰＵ１１２による画像変換情報等）を保持する。記憶部１０４に記憶されたコンピュータプログラム及びデータは、ＣＰＵ１０１による制御に従って適宜読み取られ、ＲＡＭ１０２に記憶される。

入力インターフェース１０５は、例えばＵＳＢ及びＩＥＥＥ１３９４等のシリアルバスインターフェースである。ＣＰＵ１０１は、入力インターフェース１０５を介して、外部装置（不図示）からデータ及び命令等を受信する。本実施形態において、ＣＰＵ１０１は、入力インターフェース１０５を介して、外部記憶装置１０８からデータを取得する。

出力インターフェース１０６は、入力インターフェース１０５と同様の構成を有し、例えばＵＳＢ、ＩＥＥＥ１３９４等のシリアルバスインターフェースである。なお、出力インターフェース１０６は、例えばＤＶＩ、ＨＤＭＩ（登録商標）等の映像出力端子であってもよい。画像処理装置１００は、出力インターフェース１０６を介して、外部装置（不図示）にデータ等を出力する。ＣＰＵ１０１は、処理した画像データ等を出力インターフェース１０６経由で表示装置１０９に出力する。

バス１０７は、画像形成システム１０における各構成要素間でデータをやり取りするためのデータ伝送路である。画像形成システム１０の各構要素は、全てバス１０７で接続されており、例えばＣＰＵ１０１は、バス１０７を介してＲＯＭ１０３に対してデータのやり取りを行うことができる。

外部記憶装置１０８は、例えば、ＨＤＤ、メモリカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ等の記憶媒体である。外部記憶装置１０８は、記憶部１０４が記憶する各種データを記憶することもできる。表示装置１０９は、ＣＰＵ１０１による各種の処理結果を画像及び文字等で表示するための、例えばＣＲＴディスプレイ及びＬＣＤ（液晶）ディスプレイ等である。なお、表示装置１０９は、画像処理装置１００と一体となっていてもよく、ユーザによるタッチ操作が可能なタッチパネルを備えていてもよい。また、表示装置１０９が操作部１１０の一部として機能してもよい。

操作部１１０は、例えばマウス及びキーボード等の入力装置であり、ユーザの指示を受け付ける。また、ＣＰＵ１０１は、操作部１１０に入力されたユーザの指示を、入力インターフェース１０５を介して取得する。撮像部１１１は、画像処理装置１００で処理を行うための入力画像を撮像する。撮像部１１１は、例えば記録媒体上に形成された記録画像を撮像するためのイメージセンサ（例えば、ＣＣＤ、ＣＭＯＳ等）を備える。ＧＰＵ１１２は、撮像部１１１で取得した画像の画像処理を行うためのプロセッサである。ＧＰＵ１１２は、ＣＰＵ１０１から処理をするよう命じられたデータに対して演算を行い、その結果をＣＰＵ１０１に出力する。ＣＰＵ１０１は、バス１０７を介して記憶部１０４へデータを書き込むことと、記憶部１０４に記憶されたデータの読出しを行う。

以下では、本実施形態における、深層学習技術を応用した画像処理技術全般で用いられる畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）について説明する。ＣＮＮとは、学習により生成したフィルタを画像に対して畳み込んだ後、非線形演算を繰り返し行う学習型の画像処理技術である。ＣＮＮは、モデルともいう。フィルタは、画像の特徴を抽出するための検出器であり、局所受容野とも呼ばれる。画像に対してフィルタを畳み込む非線形演算により得られる画像は、特徴マップと呼ばれる。また、ＣＮＮの学習は、入力画像と出力画像のペアを含む学習データに基づいて行われる。ＣＮＮの学習は、具体的には、入力画像から出力画像を得るための高精度に変換可能なフィルタの値（パラメータ）を生成することと、パラメータを補正することを含む。

画像の色情報として、例えばＲＧＢカラーチャネルを有する場合及び特徴マップが複数枚の画像から構成されている場合、畳み込み演算に用いるフィルタは、チャネル数又は画像枚数に応じた複数のチャネルを有する。すなわち、畳み込みフィルタは、縦横サイズ、枚数及びチャネル数を含む４次元配列で表現される。画像（又は特徴マップ）に対してフィルタを畳み込んだ後の非線形演算処理は、層という単位で表現される。例えば、ｎ層目の特徴マップ又はｎ層目のフィルタ等と呼ばれる。また、例えばフィルタの畳み込みと非線形演算を３回繰り返すＣＮＮは、３層のネットワーク構造を有する。この処理は、以下の数１のように表される。

数１において、Ｗｎはｎ層目のフィルタ、ｂｎはｎ層目のバイアス、Ｇは非線形演算子、Ｘｎはｎ層目の特徴マップ、＊は畳み込み演算子である。なお、各パラメータの右肩の（ｌ）は、ｌ番目のフィルタ又は特徴マップであることを表す。フィルタ及びバイアスは、後述する学習により生成され、これらはネットワークパラメータとも呼ばれる。非線形演算の方法として、例えばシグモイド関数及びＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）が用いられる。ＲＥＬＵは、入力値が０以下の場合に出力値を常に０とし、入力値が０より大きい場合に出力値を入力値と同じ値となるようにする関数である。ＲｅＬＵは、以下の数２で表される。

数２において、Ｘが入力値であり、Ｇ（Ｘ）が出力値である。次に、ＣＮＮの学習について説明する。ＣＮＮの学習は、学習用の入力画像とそれに対応する出力画像のペアを含む学習データを用いて、以下の数３で表される目的関数を最小化することを含む。

数３は、入力値と出力値との間の誤差を測るための損失関数である。数３において、Ｘｉはｉ番目に入力した学習画像データであり、Ｙｉはｉ番目に出力した学習画像データである。Ｆは、ＣＮＮの各層で行う数１による演算を統合して表した関数である。θは、ネットワークパラメータ（フィルタ及びバイアスを含む）である。||Ｆ（Ｘｉ；θ）―Ｙｉ||２は、Ｌ２ノルムであり、ＦとＹｉのそれぞれのベクトル要素の２乗和の平方根である。ｎは、学習に用いる学習データの全画像枚数である。一般的に、学習データの全画像枚数は多いため、確率的勾配降下法は、ＣＮＮの学習のために、学習用の画像からランダムに選んだ一部の画像を使用する。これにより、多くの学習データをＣＮＮに学習させる場合の計算負荷が低減される。また、目的関数の最小化（最適化）法として、例えばモーメンタム法、ＡｄａＧｒａｄ法、ＡｄａＤｅｌｔａ法、Ａｄａｍ法の方法が知られている。また、各方法は異なる収束性を有するため、ＣＮＮの学習時間の差異が生じることが知られている。なお、ＣＮＮの学習における最適化法は、上記のいずれかの方法が使用されてよい。Ａｄａｍ法は、以下の数４で表される。

数４において、θｉｔは反復ｔ回目におけるｉ番目のネットワークパラメータであり、ｇはθｉｔに関する損失関数Ｌの勾配である。また、ｍ及びｖはモーメントベクトルであり、αは基本学習率であり、β１及びβ２はハイパーパラメータであり、εは小さい定数である。ＣＮＮを用いたネットワークとして、例えば画像認識分野のＲｅｓＮｅｔ及び超解像分野におけるＲＥＤ－Ｎｅｔが知られている。両者のネットワークは、ＣＮＮに畳み込み層及びプーリング層等を多層設けて、フィルタによる畳み込み演算を何回も行う。これにより、双方のネットワークは、ＣＮＮの学習を高精度化する。例えば、ＲｅｓＮｅｔは畳み込み層をショートカットする経路を設けたネットワーク構造を有し、これにより１５２層の多層ネットワークを実現することができ、人間の認識率に迫る高精度な認識を実現している。なお、ＣＮＮに多層を設けることにより、ＣＮＮの学習が高精度化する理由は、非線形演算を何回も繰り返すことで、入力と出力の間の非線形な関係を正確に表現できるためである。

以下では、先行技術においてアーティファクトが発生する原理を図２及び図３を参照しながら説明する。アーティファクトとは、デモザイク処理で発生するデータの誤り及び信号の歪みのことをいう。デモザイク処理とは、ＲＧＢカラーフィルタで得られた画素値を用いて、色情報を補間する処理である。アーティファクトの発生原理の説明のために、ＣＮＮのデモザイク処理における推論（入力画像から出力画像を算出するプロセス）について説明する。図２（ａ）及び図２（ｂ）は、ＣＮＮが入力画像に基づいて出力画像を推論する様子を示す図である。図２（ａ）で、画像２０１はＣＮＮが推論した出力画像であり、出力画像は画像の中央部に円を有する。画像２０２及び画像２０３は、ＣＮＮに入力するための入力画像である。画像２０２は、右半円部と矩形を組み合わせた形状を有し、画像２０３は、左半円部と矩形を組み合わせた形状を有する。画像２０１は、画像２０２及び画像２０３を組み合わせることにより得られる。図２（ｂ）の画像２０４は、画像２０５及び画像２０６を組み合わせることにより得られる。図２（ｂ）の細部の説明は、図２（ａ）と同様であるので省略する。

まず、画像処理装置１００は、大量の画像を含む学習データを用いて、デモザイク処理用のＣＮＮ（不図示）を学習させる。このとき、ＣＮＮは学習済みの学習データを、例えば記憶部１０４に格納する。これにより、学習済みのＣＮＮは、学習データに基づいて、未学習の入力画像から出力画像を得るための推論を行うことができる。ＣＮＮが、入力画像（例えば、画像２０２と画像２０３）に基づいて、出力画像を推論する一例を説明する。ここで、期待される出力画像は、入力画像をデモザイク処理することにより得られる画像２０１である。ＣＮＮは、画像２０１を生成するために、記憶部１０４に格納した学習データの中から、画像２０１に特徴が類似する画像を呼び出す。

ＣＮＮが、画像２０１に完全に一致する画像を学習している場合、ＣＮＮは学習済みの画像を直接出力すればよい。しかし、ＣＮＮが画像２０１に完全に一致する画像を学習していない場合、ＣＮＮは画像２０１と類似する２つ以上の画像（例えば、画像２０２と画像２０３）を呼び出す。ＣＮＮは、２つ以上の画像を、例えばアルファブレンディング等の方法で組み合わせることにより、画像２０１を得る。アルファブレンディング（以下ブレンド）とは、画像に係数（α値）を掛け合わせることで、画像に透明な表現を与える方法である。ＣＮＮは、画像２０２と画像２０３のそれぞれの前景の色をブレンドすることにより、画像２０１に示す円の色を表現することができる。なお、図２（ｂ）の画像２０４を出力するためのＣＮＮによる推論プロセスは、画像２０１と同様であるので、説明を省略する。

図３は、画像の画素値レンジを説明するための図である。図３は、画素値レンジ３０１、画素値レンジ３０２及び画素値レンジ３０３を示す。画像２０１の円の色を表現するためのブレンド方法について、画素値レンジ３０１を用いて説明する。ＣＮＮは、画像２０１の円の色が有する画素値ｐを表現するために、画像２０２の前景の色が有する画素値（ｐ－ζ）と、画像２０３の前景の色が有する画素値（ｐ＋η）を、割合（α：β）でそれぞれブレンドする。ここで、割合αは画像２０２の前景色をブレンドする割合であり、割合βは画像２０３の前景色をブレンドする割合である。画像２０２の前景色と画像２０３の前景色をそれぞれブレンドする割合と、画素値ｐと画像２０２の画素値の差分ηと、画素値ｐと画像２０３の画素値の差分ζは、α：β＝η：ζで表される。ここで、条件は、ζが正（ζ＞０）、ηが正（η＞０）である。

図２の説明に戻って、画像２０４の円の色のように画素値が飽和している場合のＣＮＮの推論プロセスについて説明する。画素値の飽和とは、画素値が画素値レンジの上側境界である１と略一致する、いわゆる輝度が高い状態を示す。ＣＮＮは、画像２０４の画素値ｐを出力するために、画像２０４に類似する画像として、前景が暗い画素値（ｐ－ζ）を有する画像２０５と、前景の画素値が１と略一致する画素値（ｐ＋η）を有する画像２０６を呼び出す。次に、図３における画素値レンジ３０２は、画像２０４、画像２０５及び画像２０６の画素値の関係を示す。画素値レンジ３０２で、画像２０４の画素値ｐと画像２０６の前景色の画素値（ｐ＋η）が１であるため、画素値ｐと画素値（ｐ＋η）との差分は０である。このとき、画像２０６の前景色をブレンドする割合αは０となる。しかし、ＣＮＮは、画像２０４の円の色が有する画素値ｐを表現するために、画像２０６の前景色の画素値（ｐ＋η）をブレンドしなければならない。ここで、画像２０５の前景色の割合αは、正（α＞０）でなければならない。その結果、ＣＮＮは、画像２０５の前景色の割合βの値を決定できず、画像２０４の画素値ｐの出力に失敗する。具体的には、ＣＮＮは、画像２０４の画素値ｐを、割合αが０である場合の画素値として出力するか、又は、割合αが正（α＞０）である場合の画素値として出力する。つまり、ＣＮＮによる画素値ｐの出力結果に応じて、画像２０４の円の色を表現している領域の画素値は変化し、画素値のばらつきが生じる。この領域は、アーティファクトとして、人間の目に知覚される。

アーティファクトの発生要因を以下で説明する。画素値レンジ３０２で画素値ｐと画像２０６の画素値（ｐ＋η）が１である場合、画素値（ｐ＋η）よりも大きい画素値を有する画像が存在しない（画素値レンジ３０２の破線部）。すなわち、画像２０４の画素値ｐを推論するための画像２０６の画素値（ｐ＋η）が、学習時の画素値レンジ３０２の上側境界より大きい領域にないことを意味する。そこで、本実施形態は、ＣＮＮが出力画像の画素値を精度よく推論できるように、出力画像の画素値を考慮した画素値レンジを使用する。本実施形態は、ＣＮＮに学習させる入力画像に対しゲインを適用することにより、画素値レンジが１を超える入力画像を取得する。本実施形態は、出力画像の画素値が学習時の画像の画素値レンジに含まれるように、画素値レンジが伸長された画像を用いて、ＣＮＮを学習させる。これにより、図３の画素値レンジ３０３で、学習時の入力画像の画素値レンジが、出力画像の画素値ｐを中央部に含むことができ、出力画像のアーティファクトは低減され得る。なお、アーティファクトの発生を抑制するために、学習時の入力画像の画素値レンジを伸長する方法を説明したが、推論前にＣＮＮに入力する入力画像の画素値レンジを縮小してもよい。本実施形態は、ＣＮＮの推論による出力画像の画素値ｐが、学習時の画素値レンジの上側境界上にある場合を一例として説明した。なお、ＣＮＮの推論による出力画像の画素値ｐが、学習時の画素値レンジの下側境界上にある場合に対しても上記と同様の方法が適用されてもよい。

図４は、画像処理装置１００の構成を示す図である。画像処理装置１００は、教師画像取得部４０１、画素値レンジ伸長部４０２、データセット生成部４０３、ネットワークパラメータ取得部４０４を含む。画像処理装置１００は、デモザイク学習部４０５、入力画像取得部４０６、デモザイク推論部をさらに含む。画像処理装置１００の構成で、例えば、１つの機能部を複数の機能部に分割して保有してもよく、２つ以上の機能部を１つの機能部に統合してもよい。また、図４の構成は、２以上の画像処理装置１００によって実現されてもよい。その場合、複数の画像処理装置１００は、電気回路及び有線若しくは無線のネットワークを介して接続される。複数の画像処理装置１００は、相互にデータ通信を行って協調動作を行うことにより、各処理を実行することができる。図４に示す各構成部を処理の主体として説明する場合があるが、ＣＰＵ１０１が画像処理装置１００の各機能部に対応するコンピュータプログラムを実行することにより、各機能部の機能が実現される。なお、各機能部は他のハードウェアで実現されてもよい。

教師画像取得部４０１は、ＲＧＢ形式の教師画像を記憶部１０４又は外部記憶装置１０８から取得する。画素値レンジ伸長部４０２は、教師画像取得部４０１が取得した教師画像の画素値レンジを伸長することができる。データセット生成部４０３は、画素値レンジが伸長された教師画像に対し、ＲＧＢカラーフィルタ配列パターンに基づいて、サブサンプリングを行う。サブサンプリングとは、一定のルールに基づいて画素の色情報を間引くことで、画質を大幅に劣化させることなく画像のデータ量を削減することをいう。

ネットワークパラメータ取得部４０４は、デモザイク処理の学習時に使用するＣＮＮのネットワークパラメータを取得する。ネットワークパラメータとは、ＣＮＮを構成する各フィルタの係数のことである。デモザイク学習部４０５は、受信したネットワークパラメータに基づいて、ＣＮＮの重み係数を初期化し、教師画像と生徒画像のペアを用いてＣＮＮを学習させる。入力画像取得部４０６は、デモザイク処理を行うための入力画像８０１を記憶部１０４から取得する。デモザイク推論部４０７は、デモザイク学習部４０５によって、学習データを学習済みのＣＮＮを使用する。

図５は、画像処理装置１００の機能による画像処理の一連の流れを説明する図である。以下、図５を参照しつつ、画像処理装置１００の機能による処理の概要を説明する。Ｓ５０１で、教師画像取得部４０１は、ＲＧＢ形式の教師画像８０３を取得する。教師画像は、非特許文献１の方法に従って生成される。ここで、図８は教師画像取得部４０１の画像取得要領を示す。図８に示すように、撮像部１１１は、ＲＧＢを含む入力画像８０１を取得し、これに対して簡易デモザイク処理を行うことでＲＧＢ画像８０２を生成する。撮像部１１１は、ＲＧＢ画像８０２の画像を縮小することにより、教師画像８０３を生成する。簡易デモザイク処理は、例えばｂｉｌｉｎｅａｒ補間であるが、他のデモザイク処理であってもよい。また、本実施形態のカラーフィルタ配列は、ベイヤ配列を示すが、例えばＸ－Ｔｒａｎｓ等のカラーフィルタ配列であってもよい。

また、非特許文献１の方法以外の方法により、ＲＧＢ形式の教師画像８０３を取得しても構わない。教師画像取得部４０１は、例えば、事前に撮像部１１１によって撮像された教師画像８０３を記憶部１０４から読み出してもよい。また、教師画像取得部４０１は、撮像部１１１の撮像素子の位置をずらしながら撮像することで得られるＲＧＢ形式の教師画像８０３を取得してもよい。次に、教師画像取得部４０１は、以下の数５に示す方法で、取得した教師画像８０３の画素値が、０から１までの区間を有する画素値レンジに収まるように正規化する。

ここで、Ｘｉｎｐｕｔは取得した教師画像８０３の画素値であり、ｎｍａｘはＸｉｎｐｕｔの画素値における最大値であり、Ｘｎｏｒｍは正規化された教師画像８０３の画素値である。例えば、Ｘｉｎｐｕｔが８ｂｉｔ画像の場合、ｎｍａｘは２５５であり、Ｘｉｎｐｕｔが１４ｂｉｔ画像の場合、ｎｍａｘは１６３８３となる。教師画像取得部４０１は、正規化した教師画像８０３を、画素値レンジ伸長部４０２に送信する。Ｓ５０２で、画素値レンジ伸長部４０２は、受信した教師画像８０３の画素値レンジを、以下の数６に従って伸長する。

ここで、Ｘｒａｎｇｅは画素値レンジ伸長後の教師画像８０３の画素値レンジであり、ρｉｎｆは画素値レンジの下方向伸長幅であり、ρｓｕｐは画素値レンジの上方向伸長幅である。伸長した画素値レンジを得るための変換式は、ｆ（Ｘｎｏｒｍ）で表される。ここで、図９は、教師画像８０３の画素値レンジの伸長及び縮小の関係を示す図である。図９は、画素値レンジ９０１、画素値レンジ９０２、画素値レンジ９０３、画素値レンジ９０４及び画素値レンジ９０５を示す。図９において、教師画像８０３の画素値レンジ９０１は、最小値０から最大値１までの画素値を有する。一方、画素値レンジ９０１を伸長することにより得られる画素値レンジ９０２は、最小値－ρｉｎｆから最大値１＋ρｓｕｐまでの画素値を有する。

下方向伸長幅ρｉｎｆ及び上方向伸長幅ρｓｕｐは、予め規定した所定の値に基づいて、決定されてもよい。また、画素値レンジの伸長幅は、教師画像８０３ごとに異なる伸長幅であってもよく、それらの伸長幅は乱数に基づいて決定されてもよい。画素値レンジ伸長部４０２は、教師画像８０３の特徴に基づいて、画素値レンジの伸長幅を決定してもよい。画素値レンジ伸長部４０２は、例えば、所定の伸長幅で教師画像８０３の画素値レンジを伸長する際、教師画像８０３の画素値が０から１までの区間を逸脱する画素の割合を計算する。画素値レンジ伸長部４０２は、画素値レンジを逸脱する画素の割合が、例えば予め規定した閾値を超えるか否かに基づいて、伸長幅を決定してもよい。

図９で画素値レンジ９０４は、最小値０から最大値１までの画素値レンジ内にゼロ点Ｚ（黒点）を有する。画素値レンジ９０４を伸長した画素値レンジ９０５は、最小値－ρｉｎｆから最大値１＋ρｓｕｐまでの画素値レンジ内にゼロ点ｆ（ｚ）（黒点）を有する。ここで、画素値レンジ伸長部４０２は、画素値レンジを伸長する際、画素値レンジ９０４のゼロ点ｚと画素値レンジ９０５のゼロ点ｆ（ｚ）を一致させつつ、画素値レンジ９０４の画素値レンジを伸長する。ゼロ点とは、撮像部１１１の撮像素子が受光した光量が０である場合の画素値である。加法性ノイズによって画素値が負になることを防ぐために、ゼロ点は例えばｚ＝１／３２などの値に設定される。画素値レンジ伸長部４０２は、画素値レンジ伸長後のゼロ点ｆ（ｚ）の値が伸長前のゼロ点ｚと同一となるように、伸長幅を決定する。画素値レンジ伸長部４０２は、上方向伸長幅ρｓｕｐを、数７に従って決定する。

これにより、図９で画素値レンジを伸長する前の画素値レンジ９０４と、画素値レンジを伸長した後の画素値レンジ９０５のゼロ点が一致する。その結果、本実施形態は、ＣＮＮによる推論時に教師画像８０３の画素値レンジの境界（最小値０又は最大値１）に存在する画素値に対する推論精度を向上させることができる。画素値レンジ伸長部４０２は、画素値レンジを伸長した教師画像８０３を、データセット生成部４０３に送信する。

Ｓ５０３で、データセット生成部４０３は、受信した教師画像８０３に対しカラーフィルタ配列パターンに基づいて、サブサンプリングを行うことにより、入力画像８０１を生成する。図１０は、撮像部１１１の撮像素子のカラーフィルタ配列に基づいて、入力画像を生成する流れを示す。図１０で、データセット生成部４０３は、教師画像８０３のＲ成分１００１、Ｇ成分１００２、Ｂ成分１００３に対し、カラーフィルタ配列１００５に基づくサブサンプリングを行うことにより、生徒画像１００４を得る。データセット生成部４０３は、生成された生徒画像１００４と教師画像８０３を含む画像セットを、デモザイク学習部４０５に送信する。

図５の説明に戻って、Ｓ５０４で、ネットワークパラメータ取得部４０４は、デモザイク処理でＣＮＮを学習させるためのネットワークパラメータを取得する。ネットワークパラメータは、Ｈｅの正規分布に従う乱数として設定される。Ｈｅの正規分布とは、以下の数８に示されるように、平均が０であり、かつ、分散がσｈである正規分布である。

ここで、ｍＮはＣＮＮを構成する層間のニューロン数である。なお、数８以外の方法でネットワークパラメータを決定してもよい。ネットワークパラメータ取得部４０４は、取得したネットワークパラメータを、デモザイク学習部４０５に送信する。Ｓ５０５で、デモザイク学習部４０５は、受信したネットワークパラメータでＣＮＮの重み係数を初期化した後、受信した画像セットを用いてＣＮＮを学習させる。デモザイク学習部４０５は、教師画像８０３を用いてＣＮＮ学習させる。図１１は、本実施形態のＣＮＮの構造と学習の一連の流れを示す。図１１でＣＮＮは、生徒画像１００４、欠損画像１１０１ａから欠損画像１１０１ｃ、フィルタ１１０２、連結層１１０３、出力画像１１０４ａから出力画像１１０４ｃを含む。ＣＮＮは、数１に基づく演算を行うために、複数のフィルタ１１０２を備える。ＣＮＮに生徒画像１００４が入力されると、ＣＮＮは、生徒画像１００４を３チャネル（ＲＧＢ）の欠損画像１１０１ａ、欠損画像１１０１ｂ、欠損画像１１０１ｃに変換する。Ｒチャネルの欠損画像１１０１ａは、生徒画像１００４のＲ成分の画素（着色部）のみを含み、他の画素成分（ＧＢ）の画素値は０（白色部）として設定されている。

Ｇチャネルの欠損画像１１０１ｂは、生徒画像１００４のＧ成分の画素（着色部）のみを含み、他の画素成分（ＲＢ）の画素値は０（白色部）として設定されている。Ｂチャネルの欠損画像１１０１ｃは、生徒画像１００４のＢ成分の画素（着色部）のみを含み、他の画素成分（ＲＧ）の画素値は０（白色部）として設定されている。なお、欠損画像１１０１ａから欠損画像１１０１ｃにおいて、各欠損画像における欠損部（画素値が０の部分）は、バイリニア補間等の手法により、画素値の補間が行われてもよい。次に、ＣＮＮは、欠損画像１１０１ａから欠損画像１１０１ｃに対して、フィルタ１１０２を順次適用することにより、特徴マップを算出する。

図１１で連結層１１０３は、算出された特徴マップと欠損画像１１０１ａから欠損画像１１０１ｃとをチャネル方向に連結する。特徴マップと欠損画像のチャネル数がそれぞれｎ１とｎ２である場合、連結結果のチャネル数はｎ１＋ｎ２となる。ＣＮＮは、この連結結果に対してフィルタ１１０２を介して、３チャネルの出力を行うことにより、出力画像１１０４ａ、出力画像１１０４ｂ、出力画像１１０４ｃを得る。ＣＮＮは、各出力画像と教師画像８０３の間の各残差を計算し、画像全体についてその平均を取ることにより、損失関数の値を算出する。ＣＮＮは、算出された損失関数の値に基づいて、例えば誤差逆伝播法などによってネットワークパラメータの更新を行う。

ネットワークパラメータの更新後、図５のＳ５０６でＣＰＵ１０１は、ＣＮＮの学習が完了したか否かの判定を行う。ＣＰＵ１０１は、ＣＮＮの学習完了を判定する判定基準として、例えば学習（ネットワークパラメータの更新）の反復回数が閾値を超えるか否かにより判定する。なお、ＣＮＮの学習完了の判定基準は、上記に限定されない。例えば、ネットワークパラメータの更新前後における残差（教師画像８０３と各出力画像との差分）が、規定値より小さいか否かを判定する判定基準であってもよい。また、各出力画像と教師画像８０３の間の各残差が規定値より小さいか否かを判定する判定基準であってもよい。ＣＮＮの学習が完了していない場合、処理はＳ５０１に戻り、データセット生成部４０３は、次の画像セットを生成して、デモザイク学習部４０５は画像セットに基づいて、学習を再開する（Ｓ５０６でＮｏ）。ＣＮＮの学習が完了した場合、デモザイク学習部４０５は、更新したネットワークパラメータを、デモザイク推論部４０７に送信する（Ｓ５０６でＹｅｓ）。

Ｓ５０７で、入力画像取得部４０６は、デモザイク処理を行うための入力画像８０１を撮像部１１１で撮像する。なお、入力画像８０１は、事前に撮像部１１１により撮像された画像であってよく、それは記憶部１０４に記憶されてもよい。入力画像取得部４０６は、取得した入力画像８０１を、デモザイク推論部４０７に送信する。Ｓ５０８でデモザイク推論部４０７は、デモザイク学習部４０５が使用したＣＮＮを使用する。デモザイク推論部４０７は、ＣＮＮのネットワークパラメータを、デモザイク学習部４０５から受信したネットワークパラメータで初期化する。デモザイク推論部４０７は、ネットワークパラメータが更新されたＣＮＮを用いて、デモザイク学習部４０５が学習時に行った方法と同様に、入力画像８０１の推論を行う。これにより、デモザイク推論部４０７は、デモザイク画像として出力画像１１０４ａから出力画像１１０４ｃを得る。

本実施形態では、入力画像８０１の画素値を正確に推論するために、推論時の入力画像８０１の画素値が、学習時の画素値レンジに含まれるように、学習時の画素値レンジを伸長した後にＣＮＮを学習させる方法を説明した。なお、学習時の画素値レンジは、推論時の画素値を包含できる範囲で、画素値レンジの上側又は下側境界のいずれかを伸長した画素値レンジであってもよい。

以上で説明したように、第１実施形態によれば、画像の輝度に基づいて画像を学習するモデルの学習に用いる第１画像を取得する。第１画像の第１輝度が閾値を超える場合、第１輝度とは異なる輝度を有する画像として、第２画像を生成することができる。第１実施形態によれば、第１輝度と第２画像の第２輝度とに基づいて、モデルが有する画像を学習するためのパラメータを補正することができる。これにより、画像のデモザイク処理で発生する色の劣化を抑制し、画像の色の品質を向上させることができる。

（第２実施形態）
以下、第２実施形態は、第１実施形態と異なる差分について説明する。

第１実施形態は、推論時の入力画像８０１の画素値レンジよりも伸長した教師画像８０３を、ＣＮＮに学習させる一例について説明した。第２実施形態は、画素値レンジを伸長しない教師画像８０３を用いてＣＮＮに学習させた後、画素値レンジを伸長した教師画像８０３を用いてＣＮＮに学習させる。第２実施形態は、画素値レンジを伸長しない事前学習と画素値レンジを伸長する本学習を含む。これにより、第２実施形態は、画素値レンジの上側及び下側境界ならびに中央に存在し得る画素値の推論に対応するＣＮＮの学習を行うことができる。第２実施形態は、入力画像８０１の画素値の推論に対するロバスト性を高めることができる。

図１２は、本実施形態における学習の流れを説明する図である。以下、図１２を参照しつつ、学習の流れを説明する。図１２のＳ１２０１で、ＣＮＮに対する事前学習として、画素値レンジ伸長部４０２は、教師画像８０３の下側伸長幅ρｉｎｆと上側伸長幅ρｓｕｐを伸長しない。なお、画素値レンジ伸長部４０２は、第１実施形態よりも小さい伸長幅で教師画像８０３の画素値レンジを伸長してもよい。以降、本実施形態は、第１実施形態と同様の要領で教師画像８０３を用いてＣＮＮを学習させる。これにより、本実施形態は、画素値レンジの中央部に対応する画素値の学習をＣＮＮに対して行うことができる。ＣＮＮの学習が完了した後、デモザイク学習部４０５は、事前学習により得られたネットワークパラメータを出力する。

次に、ＣＮＮに対する本学習として、画素値レンジ伸長部４０２は、第１実施形態と同程度に画素値レンジを伸長した教師画像８０３を生成し、デモザイク学習部４０５は、この教師画像８０３を用いてＣＮＮの学習を行う。この際、ネットワークパラメータ取得部４０４は、事前学習で出力したネットワークパラメータを取得する。デモザイク学習部４０５は、このネットワークパラメータを初期値としてＣＮＮの学習を行う。これにより、デモザイク学習部４０５は、学習済みの画素値レンジの上側又は下側境界において、入力画像８０１の画素値の推論精度を向上させることができる。なお、デモザイク学習部４０５は、学習済みのネットワークパラメータを記憶部１０４、記憶媒体（不図示）又はｗｅｂ（不図示）から取得してもよい。学習済みのネットワークパラメータを取得することが、事前学習であってもよい。つまり、本学習でネットワークパラメータ取得部４０４は、事前学習を行うことなく取得した学習済みのネットワークパラメータを使用してもよい。

以上で説明したように、第２実施形態によれば、ＣＮＮの２段階学習により、画素値レンジの上側又は下側境界及び中央部の全領域を含む画像の画素値の学習を行うことができる。これにより、推論時に発生するアーティファクトがより低減され得る。また、事前学習は、ＣＮＮにとって学習が容易な画素値レンジを伸長しない教師画像８０３を使用した学習である。本学習は、ＣＮＮにとって学習が困難な画素値レンジを伸長した教師画像８０３を使用した学習である。第２実施形態によれば、例えば２段階学習のようなカリキュラム学習に基づいて、少ない計算コストで、かつ、高いアーティファクト抑制効果を実現することができる。なお、学習の段階数は、上記の２段階に限定されることはなく、複数の画素値レンジの伸長幅に対応する段階数であってもよい。また、１段階学習の中で、画素値レンジの伸長幅を動的に増やす複数の段階が、設定されてもよい。

以上で説明したように、第２実施形態によれば、第１画像は、モデルが既に学習した画像であり、生成手段は、第３輝度が、第１輝度を超える場合、第３輝度とは異なる輝度を有する第４画像を生成する。第２実施形態によれば、補正手段は、第１輝度と第４画像の第４輝度とに基づいて、モデルが有する画像を学習するためのパラメータを補正することができる。これにより、画像のデモザイク処理で発生する色の劣化を抑制し、画像の色の品質を向上させることができる。

（第３実施形態）
以下、第３実施形態は、第１実施形態と第２実施形態と異なる差分について説明する。

第１実施形態及び第２実施形態は、ＣＮＮの学習時における教師画像８０３の画素値レンジを推論時の入力画像８０１の画素値レンジよりも伸長することを説明した。第３実施形態は、学習時の画素値レンジを伸長させることなしに、学習時の画素値レンジに推論時の画素値レンジが含まれるように、推論時の画素値レンジを縮小する例を説明する。図６は、第３実施形態の画像処理装置１００の構成を示すブロック図である。図６で画像処理装置１００は、画素値レンジ縮小部６０１、画素値レンジ復元部６０２を含む。画素値レンジ縮小部６０１は、入力画像取得部４０６によって取得された入力画像８０１の画素値レンジを縮小する。画素値レンジ復元部６０２は、デモザイク推論部４０７によって推論された各出力画像を画素値レンジ縮小部６０１によって縮小される前の画素値レンジと同一となるよう復元する。図７は、画像処理装置１００の機能による画像処理の一連の流れを説明する図である。以下、本実施形態に係る画像処理装置１００の構成について、図６と図７を参照しつつ説明する。

本実施形態は、学習時に教師画像８０３の画素値レンジを全く伸長しない点で、第１実施形態及び第２実施形態とは異なる。本実施形態の学習時の画素値レンジは、図９に示す画素値レンジ９０１のように、最小値０から最大値１までの区間を有する。図７のＳ７０１で、画素値レンジ縮小部６０１は、入力画像取得部４０６から受信した入力画像の画素値レンジを、数６に基づいて縮小する。ここで、下側縮小幅ρｉｎｆと上側縮小幅ρｓｕｐは予め規定した所定の値であってよい。このときの条件は、ρｉｎｆ＜０及びρｓｕｐ＜０である。画素値レンジ縮小部６０１が、入力画像に対し縮小処理を行うことにより、以下の結果を得る。

図９に示すように、最小値０から最大値１までの画素値レンジ９０１は、縮小処理されることにより、最小値－ρｉｎｆから最大値１＋ρｓｕｐまでの範囲を含む画素値レンジ９０３となる。画素値レンジ縮小部６０１は、画素値レンジ９０３を有する画像を、デモザイク推論部４０７に送信する。Ｓ５０８で、デモザイク推論部４０７は、画素値レンジ９０３を有する画像をＣＮＮに入力することにより、出力画像（デモザイク画像）を得る。デモザイク推論部４０７は、出力画像を画素値レンジ復元部６０２に送信する。Ｓ７０２で画素値レンジ復元部６０２は、デモザイク推論部４０７から受信した出力画像の画素値レンジを、以下の数９に基づいて復元する。

ここで、Ｘｄｅｍｏｓａｉｃｋｅｄは、出力画像（デモザイク画像）の画素値レンジである。Ｘｒｅｃｏｖｅｒは、画素値レンジが縮小される前の状態となるように復元された出力画像の画素値レンジである。数９は、数６の逆変換である。数９は、デモザイク画像の画素値レンジを、入力画像取得部４０６が取得した入力画像が有する画素値レンジと略一致するように復元する。本実施形態において、下側縮小幅ρｉｎｆと上側縮小幅ρｓｕｐは、画素値レンジの縮小率を種々変化させることで得られる複数の縮小幅からの選択により決定されてよい。下側縮小幅ρｉｎｆと上側縮小幅ρｓｕｐを決定するための具体的な方法を以下に示す。

例えば、教師画像取得部４０１は、ＲＧＢ形式の教師画像８０３と、教師画像８０３をサブサンプリングすることにより生成した入力画像８０１を取得する。次に、デモザイク推論部４０７は、下側縮小幅ρｉｎｆと上側縮小幅ρｓｕｐの縮小幅が小さく設定された入力画像８０１に対するデモザイク処理を行う。デモザイク推論部４０７は、デモザイク処理で得られた出力画像のアーティファクトの発生度に基づいて、各縮小幅の縮小率を判定する。アーティファクトの発生度は、画素値レンジの上側又は下側境界における、出力画像の画素値と教師画像８０３の画素値の間の誤差平均で評価される。デモザイク推論部４０７が、アーティファクトの発生度（頻度）が規定値を超えると判定した場合、画素値レンジ縮小部６０１は、下側縮小幅ρｉｎｆと上側縮小幅ρｓｕｐの各縮小幅を１０％増加させることにより、画素値レンジを縮小する。

デモザイク推論部４０７は、縮小した画素値レンジを有する入力画像８０１に対して再度デモザイク処理を行う。これらの縮小処理及びデモザイク処理等は、複数回繰り返される。デモザイク推論部４０７が、アーティファクト発生度が規定値を超えないと判定した場合、画素値レンジ縮小部６０１は画素値レンジの縮小を終了する。このとき、取得された画像が、最終的な出力画像となる。なお、下側縮小幅ρｉｎｆと上側縮小幅ρｓｕｐの縮小幅の増加率は、１０％でなくてもよい。アーティファクト発生度の評価方法は、上記に限定されることはなく、例えばユーザが直接目視で確認するなどの方法であってもよい。本実施形態は、学習時に教師画像８０３の画素値レンジの伸長を行わず、推論時の入力画像８０１に対する画素値レンジを縮小する一例を説明した。なお、学習時に教師画像８０３の画素値レンジの伸長を行い、推論時の入力画像８０１に対する画素値レンジの縮小をさらに行ってもよい。

以上で説明したように、第３実施形態によれば、画像の輝度に基づいて画像を学習するモデルの既に学習した第５画像と、モデルが学習していない第６画像を取得し、第６画像の第６輝度が、第５画像の第５輝度を超えるか否かを判定することができる。第３実施形態によれば、第５輝度とは異なる輝度を有する画像として、判定結果に応じて第６画像を第７画像として生成することができる。第３実施形態によれば、第５画像の学習結果を有するモデルによって、第７画像の第７輝度を推定することができる。これにより、第３実施形態によれば、画像のデモザイク処理で発生する色の劣化を抑制し、画像の色の品質を向上させることができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０：画像形成システム、１００：ＣＰＵ、１０１：ＲＡＭ、１０２：ＲＯＭ、１０３：操作部、１０４：表示部、１０５：記憶部

Claims (8)

1. 所定のカラーフィルタ配列のモザイク画像に対するデモザイク処理を行うモデルを保持する保持手段と、
   教師画像を取得する取得手段と、
   モザイク画像を前記モデルに入力して得られる出力画像の画素値が前記教師画像の画素値レンジに含まれるように、前記教師画像の画素値レンジを伸長する伸長手段と、
   前記教師画像に対応するモザイク画像であり、前記伸長手段により伸長された画素値レンジと略一致する画素値レンジを有する生徒画像を生成する生成手段と、
   前記生徒画像を前記モデルに入力して得られる出力画像と前記画素値レンジが伸長された教師画像との残差に基づいて前記モデルのパラメータを補正する補正手段と、
   を備える、画像処理装置。
2. 前記伸長手段は、前記画素値レンジを逸脱する画素の割合が閾値を超えるか否かに基づいて、前記画素値レンジを伸長する幅を決定する、
   請求項１に記載の画像処理装置。
3. 前記補正手段が補正したパラメータを有する前記モデルによって、モザイク画像をデモザイク処理した出力画像を推論する推論手段をさらに備える、
   請求項１又は２に記載の画像処理装置。
4. 前記補正手段が補正したパラメータを含む、前記モデルのパラメータを記憶する記憶手段をさらに備える、
   請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記伸長手段は、前記画素値レンジの上限側の画素値と下限側の画素値の少なくともいずれかを伸長する、
   請求項１から４のいずれか１項に記載の画像処理装置。
6. 撮像装置と、
   複数の請求項１から５のいずれか１項に記載の画像処理装置と、
   を備える、画像処理システム。
7. 画像処理装置が実行する画像処理方法であって、
   所定のカラーフィルタ配列のモザイク画像に対するデモザイク処理を行うモデルを保持する保持工程と、
   教師画像を取得する取得工程と、
   モザイク画像を前記モデルに入力して得られる出力画像の画素値が前記教師画像の画素値レンジに含まれるように、前記教師画像の画素値レンジを伸長する伸長工程と、
   前記教師画像に対応するモザイク画像であり、前記伸長工程により伸長された画素値レンジと略一致する画素値レンジを有する生徒画像を生成する生成工程と、
   前記生徒画像を前記モデルに入力して得られる出力画像と前記画素値レンジが伸長された教師画像との残差に基づいて前記モデルのパラメータを補正する補正工程と、
   を含む、画像処理方法。
8. コンピュータを、請求項１から５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。