JP7074877B2 - ネットワーク最適化方法及び装置、画像処理方法及び装置、記憶媒体及びコンピュータプログラム - Google Patents

Description

本開示は、ネットワーク最適化に関し、特に、ネットワーク最適化方法及び装置、画像処理方法及び装置、並びに記憶媒体に関する。

歩行者再識別は、識別性ある特徴を学習して歩行者の検索とマッチングを行うことを主旨とする。一般的に、画像データセットにおける歩行者姿勢の多様性、背景の多様性等は、身元特徴の抽出に影響を与える。現在、関連技術において深度ニューラルネットワークによって特徴を抽出し分解して身元を認識するようになっている。

本開示の実施例は、ネットワーク最適化の技術的解決手段を提供する。

本開示の一方面によれば、ニューラルネットワークを最適化するネットワーク最適化方法であって、同じ対象物の画像で構成されたペア画像及び異なる対象物の画像で構成されたペア画像を含む画像サンプル群を取得することと、前記画像サンプル群中の画像の、身元特徴を含む第１特徴及び属性特徴を含む第２特徴を取得し、画像の第１特徴を用いて第１分類結果を得ることと、前記画像サンプル群内のペア画像に対して、ペア画像の第１画像の第１特徴と第２画像の第２特徴を用いて新しい第１画像を生成し、且つ第１画像の第２特徴と第２画像の第１特徴を用いて新しい第２画像を生成する特徴交換処理を実行して、新しいペア画像を得ることと、所定方式を用いて、前記第１分類結果の第１損失値、前記新しいペア画像の第２損失値、及び前記新しいペア画像の第１特徴と第２特徴の第３損失値を取得することと、所定要求が満たされるまでに、少なくとも前記第１損失値、第２損失値及び第３損失値に基づいてニューラルネットワークのパラメータを調整することと、を含むネットワーク最適化方法を提供する。

いくつかの可能な実施形態では、前記画像サンプル群中の画像の第１特徴と第２特徴を取得することは、前記ペア画像の２つの画像を前記ニューラルネットワークの身元コーディングネットワークモジュール及び属性コーディングネットワークモジュールに入力することと、前記身元コーディングネットワークモジュールを用いて前記ペア画像の２つの画像の第１特徴を取得し、前記属性コーディングネットワークモジュールを用いて前記ペア画像の２つの画像の第２特徴を取得することと、を含む。

いくつかの可能な実施形態では、所定方式を用いて、前記第１分類結果の第１損失値、前記新しいペア画像の第２損失値、及び前記新しいペア画像の第１特徴と第２特徴の第３損失値を取得することは、前記身元コーディングネットワークモジュールによって取得された第１特徴の第１分類結果を取得することと、第１所定方式を用いて、前記第１分類結果及び前記画像サンプル群中の画像に対応する真の分類結果に基づいて、前記第１損失値を取得することと、を含む。

いくつかの可能な実施形態では、前記方法は、前記ペア画像の２つの画像を前記身元コーディングネットワークモジュールに入力する前に、前記ペア画像の２つの画像における対象物の画像領域にノイズを加えることを更に含む。

いくつかの可能な実施形態では、前記画像サンプル群内のペア画像に対して特徴交換処理を実行して新しいペア画像を得ることは、前記画像サンプル群内のペア画像の画像の第１特徴と第２特徴を前記ニューラルネットワークの生成ネットワークモジュールに入力することと、前記生成ネットワークモジュールによって前記画像サンプル群内のペア画像に対して前記特徴交換処理を実行して、前記新しいペア画像を得ることと、を含む。

いくつかの可能な実施形態では、入力されたペア画像が同じ対象物の画像である場合に、前記画像サンプル群内のペア画像に対して特徴交換処理を実行して新しいペア画像を得ることは、前記ペア画像の画像に対して１回の特徴交換処理を実行して前記新しいペア画像を得るステップを含み、前記ペア画像の画像に対して１回の特徴交換処理を実行して前記新しいペア画像を得ることは、ペア画像の第１画像の第１特徴と第２画像の第２特徴を用いて新しい第１画像を生成し、前記第１画像の第２特徴と第２画像の第１特徴を用いて新しい第２画像を生成することを含む。

いくつかの可能な実施形態では、入力されたペア画像が異なる対象物の画像である場合に、前記画像サンプル群内のペア画像に対して特徴交換処理を実行して新しいペア画像を得ることは、前記ペア画像の画像に対して２回の特徴交換処理を実行して新しいペア画像を得ることを含み、前記ペア画像の画像に対して２回の特徴交換処理を実行して新しいペア画像を得ることは、ペア画像の第１画像の第１特徴と第２画像の第２特徴を用いて新しい第１中間画像を生成し、前記第１画像の第２特徴と第２画像の第１特徴を用いて新しい第２中間画像を生成することと、前記第１中間画像の第１特徴と第２中間画像の第２特徴を用いて新しい第１画像を生成し、前記第１中間画像の第２特徴と第２中間画像の第１特徴を用いて新しい第２画像を生成することと、を含む。

いくつかの可能な実施形態では、所定方式を用いて、前記第１分類結果の第１損失値、前記新しいペア画像の第２損失値、及び前記新しいペア画像の第１特徴と第２特徴の第３損失値を取得することは、第２所定方式を用いて、前記生成ネットワークモジュールによって取得された新しいペア画像の、対応する原ペア画像に対する第２損失値を取得することを含む。

いくつかの可能な実施形態では、所定方式を用いて、前記第１分類結果の第１損失値、前記新しいペア画像の第２損失値、及び前記新しいペア画像の第１特徴と第２特徴の第３損失値を取得することは、第３所定方式に従って、前記新しいペア画像の第１特徴と第２特徴、及び前記新しいペア画像に対応する原ペア画像の第１特徴と第２特徴に基づいて、前記新しいペア画像の第１特徴と第２特徴の第３損失値を得ることを含む。

いくつかの可能な実施形態では、前記方法は、前記画像サンプル群内のペア画像に対して特徴交換処理を実行して新しいペア画像を得る後、生成した新しいペア画像を前記ニューラルネットワークの識別ネットワークモジュールに入力して、前記新しいペア画像の真の程度を示すラベル特徴を得ることと、第４所定方式を用いて、前記ラベル特徴に基づいて前記新しいペア画像の第４損失値を取得することと、を更に含む。

いくつかの可能な実施形態では、所定要求が満たされるまでに、少なくとも前記第１損失値、第２損失値及び第３損失値に基づいてニューラルネットワークのパラメータを調整することは、前記第１損失値、第２損失値、第３損失値及び第４損失値に基づいて前記ニューラルネットワークの損失値を得ることと、所定要求が満たされるまでに、前記ニューラルネットワークの損失値に基づいて前記ニューラルネットワークのパラメータを調整することと、を含む。

いくつかの可能な実施形態では、前記第１損失値、第２損失値、第３損失値及び第４損失値に基づいて前記ニューラルネットワークの損失値を得ることは、前記ニューラルネットワークに入力された画像サンプル群が同じ対象物のペア画像である場合、第５所定方式を用いて、前記第１損失値、第２損失値、第３損失値及び第４損失値に基づいて前記ニューラルネットワークの第１ネットワーク損失値を取得することと、前記ニューラルネットワークに入力された画像サンプル群が異なる対象物のペア画像である場合、第６所定方式を用いて、前記第１損失値、第２損失値、第３損失値及び第４損失値に基づいて前記ニューラルネットワークの第２ネットワーク損失値を得ることと、前記第１ネットワーク損失値と第２ネットワーク損失値との加算結果に基づいて前記ニューラルネットワークの損失値を得ることと、を含む。

本開示の第２方面によれば、入力画像を受信することと、ニューラルネットワークモデルによって前記入力画像の第１特徴を認識することと、前記第１特徴に基づいて前記入力画像における対象物の身元を決定することと、を含み、前記ニューラルネットワークモデルは、第１方面のいずれか一項に記載のネットワーク最適化方法によって最適化処理されて得られたネットワークモデルである画像処理方法を提供する。

本開示の第３方面によれば、同じ対象物の画像で構成されたペア画像、及び異なる対象物の画像で構成されたペア画像を含む画像サンプル群を取得するための取得モジュールと、前記画像サンプル群中の画像の第１特徴と第２特徴を取得するための特徴コーディングネットワークモジュールと、画像の第１特徴に基づいて第１分類結果を得るための分類モジュールと、前記画像サンプル群内のペア画像に対して、ペア画像の第１画像の第１特徴と第２画像の第２特徴を用いて新しい第１画像を生成し、且つ第１画像の第２特徴と第２画像の第１特徴を用いて新しい第２画像を生成する特徴交換処理を実行して、新しいペア画像を得るための生成ネットワークモジュールと、所定方式を用いて、前記第１分類結果の第１損失値、前記新しいペア画像の第２損失値、及び前記新しいペア画像の第１特徴と第２特徴の第３損失値を取得するための損失値取得モジュールと、所定要求が満たされるまでに、少なくとも前記第１損失値、第２損失値及び第３損失値に基づいてニューラルネットワークのパラメータを調整するための調整モジュールと、を含むネットワーク最適化装置を提供する。

いくつかの可能な実施形態では、前記特徴コーディングネットワークモジュールは、身元コーディングネットワークモジュール及び属性コーディングネットワークモジュールを含み、前記取得モジュールは、更に、前記ペア画像の２つの画像を前記身元コーディングネットワークモジュール及び属性コーディングネットワークモジュールに入力するために用いられ、前記身元コーディングネットワークモジュールは、前記ペア画像の２つの画像の第１特徴を取得するために用いられ、前記属性コーディングネットワークモジュールは、前記ペア画像の２つの画像の第２特徴を取得するために用いられる。

いくつかの可能な実施形態では、前記損失値取得モジュールは、更に、前記身元コーディングネットワークモジュールによって取得された第１特徴に対応する第１分類結果を取得し、第１所定方式を用いて、前記第１分類結果及び前記画像サンプル群中の画像に対応する真の分類結果に基づいて、前記第１損失値を取得するために用いられる。

いくつかの可能な実施形態では、前記装置は、前記ペア画像の２つの画像を前記身元コーディングネットワークモジュールに入力する前に、前記ペア画像の２つの画像における対象物の画像領域にノイズを加えるための前処理モジュールを更に含む。

いくつかの可能な実施形態では、前記生成ネットワークモジュールは、更に、入力されたペア画像が同じ対象物の画像である場合に、前記ペア画像の画像に対して１回の特徴交換処理を実行して前記新しいペア画像を得るために用いられ、具体的には、ペア画像の第１画像の第１特徴と第２画像の第２特徴を用いて新しい第１画像を生成し、前記第１画像の第２特徴と第２画像の第１特徴を用いて新しい第２画像を生成するために用いられる。

いくつかの可能な実施形態では、前記生成ネットワークモジュールは、更に、入力されたペア画像が異なる対象物の画像である場合に、前記ペア画像の画像に対して２回の特徴交換処理を実行して新しいペア画像を得るために用いられ、具体的には、ペア画像の第１画像の第１特徴と第２画像の第２特徴を用いて新しい第１中間画像を生成し、前記第１画像の第２特徴と第２画像の第１特徴を用いて新しい第２中間画像を生成することと、前記第１中間画像の第１特徴と第２中間画像の第２特徴を用いて新しい第１画像を生成し、前記第１中間画像の第２特徴と第２中間画像の第１特徴を用いて新しい第２画像を生成することとに用いられる。

いくつかの可能な実施形態では、前記損失値取得モジュールは、更に、第２所定方式を用いて、前記生成ネットワークモジュールによって取得された新しいペア画像の、対応する原ペア画像に対する第２損失値を取得するために用いられる。

いくつかの可能な実施形態では、前記損失値取得モジュールは、更に、第３所定方式に従って、前記新しいペア画像の第１特徴と第２特徴、及び前記新しいペア画像に対応する原ペア画像の第１特徴と第２特徴に基づいて、前記新しいペア画像の第１特徴と第２特徴の第３損失値を得るために用いられる。

いくつかの可能な実施形態では、前記装置は、前記新しいペア画像を受信し、前記新しいペア画像の真の程度を示すラベル特徴を得るための識別ネットワークモジュールを更に含み、前記損失値取得モジュールは、更に、第４所定方式を用いて、前記ラベル特徴に基づいて前記新しいペア画像の第４損失値を取得するために用いられる。

いくつかの可能な実施形態では、前記調整モジュールは、更に、前記第１損失値、第２損失値、第３損失値及び第４損失値に基づいて前記ニューラルネットワークの損失値を得ることと、所定要求が満たされるまでに、前記ニューラルネットワークの損失値に基づいて前記ニューラルネットワークのパラメータを調整することとに用いられる。

いくつかの可能な実施形態では、前記調整モジュールは、更に、前記ニューラルネットワークに入力された画像サンプル群が同じ対象物のペア画像である場合、第５所定方式を用いて、前記第１損失値、第２損失値、第３損失値及び第４損失値に基づいて前記ニューラルネットワークの第１ネットワーク損失値を得ることと、前記ニューラルネットワークに入力された画像サンプル群が異なる対象物のペア画像である場合、第６所定方式を用いて、前記第１損失値、第２損失値、第３損失値及び第４損失値に基づいて前記ニューラルネットワークの第２ネットワーク損失値を得ることと、前記第１ネットワーク損失値と第２ネットワーク損失値との加算結果に基づいて前記ニューラルネットワークの損失値を得ることとに用いられる。

本開示の第４方面によれば、入力画像を受信するための受信モジュールと、ニューラルネットワークモデルによって前記入力画像の第１特徴を認識するための認識モジュールと、前記第１特徴に基づいて前記入力画像における対象物の身元を決定するための身元決定モジュールと、を含み、前記ニューラルネットワークモデルは、第１方面のいずれか一項に記載のネットワーク最適化方法によって最適化処理されて得られたネットワークモデルである画像処理装置を提供する。

本開示の第５方面によれば、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、前記プロセッサは、第１方面及び第２方面のいずれか一項に記載の方法を実行するように構成される電子機器を提供する。

本開示の第６方面によれば、コンピュータプログラム命令が記憶されているコンピュータ読取可能な記憶媒体であって、前記コンピュータプログラム命令は、プロセッサにより実行されると、第１方面及び第２方面のいずれか一項に記載の方法を実現させるコンピュータ読取可能な記憶媒体を提供する。

本開示の一方面によれば、コンピュータ読取可能なコードを含み、前記コンピュータ読取可能なコードが電子機器上で実行されると、前記電子機器のプロセッサに上記ネットワーク最適化方法を実現するための命令を実行させるコンピュータプログラムを提供する。

本開示の実施例は、入力画像の第１特徴（身元特徴）と第１特徴以外の第２特徴を効果的に抽出することができ、２枚の画像の第２特徴を交換して新しいピクチャーを形成することによって、身元に関連する特徴と身元に関連しない特徴を成功的に分離することができ、ここで、身元に関連する特徴は歩行者再識別に効果的に利用可能である。本開示の実施例は、訓練段階でも適用段階でも画像データセット以外の補助情報を一切必要とせず、十分な監督を提供し、認識精度を効果的に高めることができる。

以上の一般的な説明と以下の詳細的な説明は、解釈的や例示的なものに過ぎず、本開示を制限しないことを理解すべきである。

図面を参照しながら例示的な実施例を詳細に説明することによって、本開示の他の特徴および方面は明確になる。

明細書の一部として含まれる図面は、本開示に合致する実施例を示し、明細書と共に本開示の技術的手段を説明するために用いられる。

本開示の実施例に係るネットワーク最適化方法のフローチャートを示す。 本開示の実施例に係るネットワーク最適化方法におけるステップＳ２００のフローチャートを示す。 本開示の実施例に係るネットワーク最適化方法におけるステップＳ３００のフローチャートを示す。 本開示の実施例に係るネットワーク最適化方法におけるステップＳ３０３のフローチャートを示す。 本開示の実施例に係る画像処理方法におけるステップＳ４００のフローチャートを示す。 本開示の実施例に係る第１タイプのサンプルを用いてネットワーク最適化処理を実行する過程模式図を示す。 本開示の実施例に係る第２タイプのサンプルを用いてネットワーク最適化処理を実行する過程模式図を示す。 本開示の実施例に係る画像処理方法のフローチャートを示す。 本開示の実施例に係るネットワーク最適化装置のブロック図を示す。 本開示の実施例に係る画像処理装置のブロック図を示す。 本開示の実施例に係る電子機器８００のブロック図を示す。 本開示の実施例に係る電子機器１９００のブロック図を示す。

以下に図面を参照しながら本開示の様々な例示的実施例、特徴および方面を詳細に説明する。図面において、同じ符号が同じまたは類似する機能の要素を表す。図面において実施例の様々な方面を示したが、特に断らない限り、比例に従って図面を描く必要がない。

ここの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されたいかなる実施例も他の実施例より好ましい又は優れたるものであると理解すべきではない。

本明細書において、用語の「及び／又は」は、関連対象の関連関係を記述するためのものに過ぎず、３つの関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａのみが存在し、ＡとＢが同時に存在し、Ｂのみが存在するという３つの場合を示すことができる。また、本明細書において、用語の「少なくとも１つ」は複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組合を示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むということは、Ａ、Ｂ及びＣから構成される集合から選択されたいずれか１つ又は複数の要素を含むことを示すことができる。

また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的な詳細を示す。当業者であれば、何らかの具体的な詳細がなくても、本開示は同様に実施できるということを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者に既知の方法、手段、要素および回路について、詳細な説明を省略する。

本開示の実施例は、ニューラルネットワーク又は他の機械学習ネットワークの訓練に利用可能なネットワーク最適化方法を提供する。例えば、目標ユーザの顔認識、身元検証等を行うシーンの機械学習ネットワークの訓練過程に用いられてもよく、画像真偽判定等の高精度要求のネットワークの訓練過程に用いられてもよく、本開示は具体的な適用シーンを制限しなく、本開示で提供されるネットワーク最適化方法を用いて実施される過程であれば、全て本開示の保護範囲内に含まれる。本開示の実施例は、ニューラルネットワークを例として説明するが、これに限定されない。本開示の実施例のネットワーク最適化方法によって訓練した後、ネットワークは、対象物である人物に対する認識精度が高くなり、また、画像以外の他の補助情報の入力の必要がなくなり、簡単で便利である特徴を有する。

本開示の実施例で提供されるネットワーク最適化方案は、ユーザ機器（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、携帯機器、ユーザ端末、端末、セルラーホン、コードレス電話、パーソナル・デジタル・アシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、手持ち装置、計算装置、車載装置、ウエアラブルデバイス等の端末装置、サーバ又は他の種類の電子機器により実行されてもよい。いくつかの可能な実施形態では、このネットワーク最適化方法はプロセッサによってメモリに記憶されているコンピュータ読取可能な命令を呼び出して実現されてもよい。

図１は本開示の実施例に係るネットワーク最適化方法のフローチャートを示す。図１に示すように、本開示の実施例のネットワーク最適化方法は、同じ対象物の画像で構成されたペア画像、及び異なる対象物の画像で構成されたペア画像を含む画像サンプル群を取得するＳ１００と、前記画像サンプル群中の画像の、身元特徴を含む第１特徴及び属性特徴を含む第２特徴を取得し、画像の第１特徴を用いて第１分類結果を得るＳ２００と、前記画像サンプル群内の画像に対して、ペア画像の第１画像の第１特徴と第２画像の第２特徴を用いて新しい第１画像を生成し、且つ第１画像の第２特徴と第２画像の第１特徴を用いて新しい第２画像を生成する特徴交換処理を実行して、新しいペア画像を得るＳ３００と、所定方式を用いて、前記第１分類結果の第１損失値、前記新しいペア画像の第２損失値、及び前記新しいペア画像の第１特徴と第２特徴の第３損失値を取得するＳ４００と、所定要求が満たされるまでに、少なくとも前記第１損失値、第２損失値及び第３損失値に基づいて、ニューラルネットワークのパラメータを調整するＳ５００と、を含んでもよい。

本開示の実施例では、ニューラルネットワークを訓練する時に、まずニューラルネットワークに、ニューラルネットワークを訓練するサンプル画像である画像サンプル群を入力するようにしてもよい。本開示の実施例では、画像サンプル群は、同じ対象物の異なる画像で構成されたペア画像である第１タイプのサンプル、及び異なる対象物の異なる画像で構成されたペア画像である第２タイプのサンプルといった２つのタイプの画像サンプルを含み、即ち、第１タイプのサンプルにおいて、各ペア画像毎の画像は同じ対象物の異なる画像であり、第２タイプのサンプルにおいて、各ペア画像毎の画像は異なる対象物の異なる画像であるようにしてもよい。ここで、各ペア画像毎は、下記の第１画像及び第２画像のような２つの画像を含んでもよい。また、本開示の実施例は、この２つのタイプの画像サンプルをそれぞれ用いてニューラルネットワークを訓練するようにしてもよい。

更に、本開示の実施例の画像サンプル群中の少なくとも１つの画像は、画像における対象物に対応し、画像における対象物の人物の身元を識別するための身元標識を有するようにしてもよい。本開示の実施例では、画像サンプル群中の少なくとも１つの画像は、それに含まれる対象物に対応する、行列の形式で示す真の分類ラベルを有してもよい。この真の分類ラベルに基づいて、ニューラルネットワークモデルによる分類結果の正確度を比較し、例えば、対応する損失値を決定することができる。

いくつかの可能な実施形態では、画像サンプル群を取得する方式は、通信コンポーネントを用いて、他の電子機器、例えばサーバ、携帯電話、任意のコンピュータ装置等から画像サンプル群を受信する方式を含んでもよい。ここで、画像サンプル群中の少なくとも１つの画像は、カメラによって取得された映像画像、コーディング処理した複数のペア画像であってもよいが、本開示を具体的に限定するものでない。

画像サンプル群を取得した後、ニューラルネットワークの具体的な最適化過程を実行することができる。ステップＳ２００において、まず、各ペア画像毎の第１画像と第２画像の第１特徴及び第２特徴を認識するようにしてもよい。ここで、第１特徴は、例えば、服飾の色、形状、アクセサリー特徴等画像における対象物の身元特徴を含んでもよく、第２特徴は、例えば、属性特徴のような第１特徴以外の特徴であってもよく、対象物である人物の姿勢特徴、背景特徴、環境特徴等を含んでもよい。以下、第１特徴と第２特徴の取得方式について例を挙げて説明する。

図２は本開示の実施例に係るネットワーク最適化方法におけるステップＳ２００のフローチャートを示す。前記画像サンプル群中の画像の第１特徴と第２特徴を取得し、画像の第１特徴を用いて第１分類結果を得ることは、前記ペア画像の２つの画像を前記ニューラルネットワークの身元コーディングネットワークモジュール及び属性コーディングネットワークモジュールに入力するＳ２０１と、前記身元コーディングネットワークモジュールを用いて前記ペア画像の２つの画像の第１特徴を取得し、前記属性コーディングネットワークモジュールを用いて前記ペア画像の２つの画像の第２特徴を取得するＳ２０２と、前記ニューラルネットワークの分類モジュールを用いて前記第１特徴に対応する第１分類結果を得るＳ２０３と、を含む。

ここで、本開示の実施例のニューラルネットワークは、画像における対象物の身元特徴を認識するための身元コーディングネットワークモジュール、及び画像における対象物の属性特徴を認識するための属性コーディングネットワークモジュールを含んでもよい。従って、取得された画像サンプル群中の少なくとも１つのペア画像を上記身元コーディングネットワークモジュール及び属性コーディングネットワークモジュールにそれぞれ入力し、身元コーディングネットワークモジュールによって、受信したペア画像の２つの画像の第１特徴を取得し、属性コーディングネットワークモジュールによって、受信したペア画像の２つの画像の第２特徴を取得することができる。例えば、入力されたペア画像の２つの画像をそれぞれＡ及びＢで示すと、身元コーディングネットワークモジュールによって取得されたＡの第１特徴がＡ_uであり、身元コーディングネットワークモジュールによって取得されたＢの第１特徴がＢ_uであり、属性コーディングネットワークモジュールによって取得されたＡの第２特徴がＡ_vであり、属性コーディングネットワークモジュールによって取得されたＢの第２特徴がＢ_vである。

ここで、身元コーディングネットワークモジュールは、所定の人物特徴の抽出アルゴリズムを用いて画像の第１特徴を抽出してもよく、又は、畳み込みモジュール、プーリングモジュール等の第１特徴を取得するためのモジュールユニットを含んでもよい。本開示の実施例は、身元コーディングネットワークモジュールの構造について、具体的に限定しなく、画像の第１特徴を抽出できれば、本開示の実施例の身元コーディングネットワークモジュールとすることができる。

以上と同様に、属性コーディングネットワークモジュールは、所定の姿勢特徴及び背景特徴のアルゴリズムを用いて画像の第２特徴を抽出してもよく、又は、畳み込みモジュール等のモジュールユニットを含んでもよい。本開示の実施例は、属性コーディングネットワークモジュールの構造について、具体的に限定しなく、画像の第２特徴を抽出できれば、本開示の実施例の属性コーディングネットワークモジュールとすることができる。

本開示の実施例は、ペア画像の２つの画像の第１特徴と第２特徴が抽出された後、第１特徴を利用して分類認識を実行し、また、後続の特徴交換処理を実行するようにしてもよい。

本開示の実施例のニューラルネットワークは、入力側が身元コーディングネットワークモジュールの出力側に接続されて、前記身元コーディングネットワークモジュールから出力された第１特徴を受信し、受信した第１特徴に基づいて第１分類結果を得る分類モジュールを更に含んでもよい。ここで、前記第１分類結果は、第１特徴に対応する身元標識の予測結果を示し、対象標識と予測される確率を要素とする行列の形式で示してもよい。本開示の実施例の分類モジュールの構成については、所定の分類原則によって第１特徴の分類を実行し、第１特徴に対応する第１分類結果を得るものであれば、自由に設定することができる。第１分類結果が得られた後、この第１分類結果に対応する第１損失値を取得し、更にこの第１損失値に基づいてニューラルネットワークの損失値を決定し、ネットワークのパラメータをフィードバック調整することができる。

また、各画像の第１特徴と第２特徴が得られた後、ペア画像の２つの画像に対して特徴交換処理を行うことができる。ここで、上記の実施例の通り、特徴交換処理は、ペア画像の第１画像の第２特徴と第２画像の第２特徴を交換し、第１特徴と交換後の第２特徴に基づいて新しい画像を得ることができる。

特徴交換処理によって、１つの画像の第１特徴と別の１つの画像の第２特徴を組み合わせて新しい画像を形成することができる。この新しい画像を用いて分類することにより、身元特徴に基づく人物身元の認識を効果的に実現し、背景、姿勢等の属性の影響を低減することができる。

図３は本開示の実施例に係る画像処理方法におけるステップＳ３００のフローチャートを示す。前記画像サンプル群内のペア画像に対して特徴交換処理を実行して新しいペア画像を得ることは、前記画像サンプル群内のペア画像を前記ニューラルネットワークの生成ネットワークモジュールに入力するＳ３０１と、前記生成ネットワークモジュールによって前記画像サンプル群内のペア画像に対して前記特徴交換処理を実行して、前記新しいペア画像を得るＳ３０２と、を含んでもよい。

本開示の実施例では、ニューラルネットワークは、身元コーディングネットワークモジュール及び属性コーディングネットワークモジュールによって得られた第１特徴と第２特徴に対して特徴交換処理を実行し、交換後の特徴に基づいて新しい画像を得る生成ネットワークモジュールを更に含んでもよい。具体的には、本開示の実施例では、上記の実施例の通り、入力された画像サンプル群は、２つのタイプの画像サンプル群を含んでもよい。ここで、第１タイプのサンプル中のペア画像は同じ対象物の画像である。本開示の実施例は、第１タイプのサンプルのペア画像について、各ペア画像毎の画像に対して１回の特徴交換処理を実行するようにしてもよい。

第１タイプのサンプルについて、前記画像サンプル群内の画像に対して特徴交換処理を実行して新しいペア画像を得ることは、前記ペア画像の画像に対して１回の特徴交換処理を実行して前記新しいペア画像を得ることを含んでもよい。この過程は、各ペア画像の第１画像の第１特徴と第２画像の第２特徴を用いて新しい第１画像を生成し、前記第１画像の第２特徴と第２画像の第１特徴を用いて新しい第２画像を生成することを含んでもよい。

第１タイプのサンプル内のペア画像の２つの画像が同一対象物の異なる画像であるので、特徴交換処理を実行して得られた新しい画像は、依然として同一対象物の画像である。特徴交換処理が完了した後、得られた新しい画像と対応する原画像との相違、及び新しい画像の第１特徴及び第２特徴と対応する原画像の第１特徴及び第２特徴の相違に応じて、ニューラルネットワークの損失値を決定してもよい。また、生成した新しい画像を直接利用して認識分類を実行してもよく、この場合、生成した新しいペア画像を分類モジュールに入力し、分類を実行して第２分類結果を得てもよい。

例えば、第１タイプのサンプル中のペア画像は、画像Ａ及び画像Ｂを含み、身元コーディングネットワークモジュールによって取得されたＡの第１特徴がＡ_uであり、身元コーディングネットワークモジュールによって取得されたＢの第１特徴がＢ_uであり、属性コーディングネットワークモジュールによって取得されたＡの第２特徴がＡ_vであり、属性コーディングネットワークモジュールによって取得されたＢの第２特徴がＢ_vである。Ａ及びＢはそれぞれ同じ対象物の第１画像及び第２画像であり、第１画像と第２画像が異なるものである。特徴交換処理を実行する時に、Ａの第１特徴Ａ_u及びＢの第２特徴Ｂ_vを用いて新しい第１画像Ａ′を得て、Ｂの第１特徴Ｂ_u及びＡの第２特徴Ａ_vを用いて新しい第２画像Ｂ′を得るようにしてもよい。

以上のように、本開示の実施例のニューラルネットワークは、受信した第１特徴と第２特徴に基づいて新しい画像を生成するための生成ネットワークモジュールを含んでもよい。例えば、生成ネットワークモジュールは、少なくとも１つの畳み込みユニットを含んでもよく、又は、他の処理ユニットを含んでもよい。生成ネットワークモジュールによって、第１特徴と第２特徴に対応する画像を得ることができる。即ち、生成ネットワークによって、上記第２特徴の交換、交換後の特徴に基づく画像生成の過程を実施することができる。

上記特徴交換処理によって、２枚の画像の第２特徴を交換することで新しいピクチャーを形成でき、それによって身元に関連する特徴と身元に関連しない特徴を成功的に分離することができる。このような方式でニューラルネットワークを訓練することにより、ニューラルネットワークによる身元特徴の認識精度を高めることができる。

また、本開示の実施例の画像サンプル群は、含まれるペア画像が異なる対象物の画像である第２タイプのサンプル群を更に含んでもよい。本開示の実施例は、第２タイプのサンプル内のペア画像について、各ペア画像毎の画像に対して２回の特徴交換処理を実行するようにしてもよい。

図４は、第２タイプのサンプル群について、本開示の実施例に係るネットワーク最適化方法におけるステップＳ３０３のフローチャートを示す。入力されたペア画像が異なる対象物の画像である場合に、前記画像サンプル群内の画像に対して特徴交換処理を実行して新しいペア画像を得ることは、前記ペア画像の画像に対して２回の特徴交換処理を実行して新しいペア画像を得ることを含んでもよい。この過程は、前記第２タイプのサンプル内の各ペア画像毎の第１画像の第１特徴と第２画像の第２特徴を用いて新しい第１中間画像を生成し、前記第１画像の第２特徴と第２画像の第１特徴を用いて新しい第２中間画像を生成するＳ３０３１と、前記第１中間画像の第１特徴と第２中間画像の第２特徴を用いて新しい第１画像を生成し、前記第１中間画像の第２特徴と第２中間画像の第１特徴を用いて新しい第２画像を生成するＳ３０３２と、を含んでもよい。

例えば、身元コーディングネットワークモジュールによって取得されたＡの第１特徴がＡ_uであり、身元コーディングネットワークモジュールによって取得されたＢの第１特徴がＢ_uであり、属性コーディングネットワークモジュールによって取得されたＡの第２特徴がＡ_vであり、属性コーディングネットワークモジュールによって取得されたＢの第２特徴がＢ_vである。ＡとＢはそれぞれ異なる対象物の第１画像と第２画像である。一回目の特徴交換処理を実行する時に、Ａの第１特徴Ａ_uとＢの第２特徴Ｂ_vを用いて新しい第１中間画像Ａ′を得、Ｂの第１特徴Ｂ_uとＡの第２特徴Ａ_vを用いて新しい第２中間画像Ｂ′を得るようにしてもよい。二回目の特徴交換処理を実行する時に、身元コーディングネットワークモジュール及び属性コーディングネットワークモジュールを再度用いて第１中間画像Ａ′の第１特徴Ａ′_uと第２特徴Ａ′_v、及び第２中間画像Ｂ′の第１特徴Ｂ′_uと第２特徴Ｂ′_vをそれぞれ取得し、更に、生成ネットワークを用いて第１中間画像Ａ′の第２特徴Ａ′_vと第２中間画像Ｂ′の第２特徴Ｂ′_vの交換処理を実行し、第１中間画像Ａ′の第１特徴Ａ′_uと第２中間画像Ｂ′の第２特徴Ｂ′_vを用いて新しい第１画像Ａ′′を生成し、第１中間画像Ａ′の第２特徴Ａ′_vと第２中間画像Ｂ′の第１特徴Ｂ′_uを用いて新しい第２画像Ｂ′′を生成するようにしてもよい。

上記の２回の特徴交換処理によって、２枚の画像の第２特徴を交換することで新しいピクチャーを形成することができる。第２タイプのサンプルについて、同じ対象物のペア画像の場合の訓練過程との相違は、一回目の特徴交換処理の後、直接的な画素レベルの監督がないので、二回目の特徴交換処理を行って原画像に対応する画像を生成し、この過程を循環生成過程にしてもよい点にある。

特徴交換処理の実行が完了した後、得られた新しい画像と対応する原画像との間の相違、及び新しい画像の第１特徴及び第２特徴と対応する原画像の第１特徴及び第２特徴の相違を利用してもよく、また、この新しい画像の第１特徴を分類モジュールに入力し、分類処理を実行して第２分類結果を得てもよい。ここで、第１タイプのサンプルの場合に、最終的な新しい画像の第１特徴の第２分類結果を直接得ることができるが、第２タイプのサンプルの場合に、最終的な新しい画像の第１特徴の第２分類結果を得ることに加えて、中間画像の第１特徴の第２分類結果も得ることができる。本開示の実施例は、上記第２分類結果、新しい画像と原画像との間の相違、及び特徴間の相違に基づいてニューラルネットワークを最適化してもよい。即ち、本開示の実施例は、ニューラルネットワークの損失値が所定要求を満たし、例えば、損失閾値より低くなるまでに、ニューラルネットワークの各ネットワークモジュールによって得られた出力結果の損失値に基づいて、ニューラルネットワークをフィードバック調整してもよい。本開示の実施例のニューラルネットワークの損失関数は、ネットワークモジュールの損失関数に関連し、例えば、複数のネットワークモジュールの損失関数の加重和であってもよい。それによって、各ネットワークモジュールの損失値に基づいてニューラルネットワークの損失値を得て、損失値が損失閾値より低いという所定要求を満たすまでに、ニューラルネットワークの各ネットワークモジュールのパラメータを調整することができる。この損失閾値について、当業者により必要に応じて設定してもよく、本開示は具体的に限定しない。

以下、本開示の実施例のフィードバック調整過程を詳細に説明する。

身元コーディングネットワークモジュールによって画像の第１特徴が得られた後、分類モジュールによってこの第１特徴に基づいて第１分類結果を得ることができる。本開示の実施例は、第１所定方式を用いて、前記身元コーディングネットワークモジュールによって取得された第１特徴を用いて得られた第１分類結果の第１損失値を取得してもよい。ここで、図５は本開示の実施例に係る画像処理方法におけるステップＳ４００のフローチャートを示す。第１損失値を取得する過程は、前記身元コーディングネットワークモジュールによって取得された第１特徴の第１分類結果を取得するＳ４０１と、第１所定方式を用いて、前記第１分類結果及び前記画像サンプル群中の画像に対応する真の分類結果に基づいて、前記第１損失値を取得するＳ４０２と、を含む。

上記の実施例の通り、ステップＳ２００において、サンプル中の画像の第１特徴を取得した場合に、分類モジュールによってこの第１特徴の分類認識を実行して、第１特徴に対応する第１分類結果を得て、この第１分類結果は、各身元ラベルに対応する確率を要素とする行列の形式で示してもよい。本開示の実施例では、この第１分類結果と真の分類結果を比較することにより第１差値を得て、この第１差値を第１損失値として決定してもよい。又は、別の実施例では、第１分類結果と真の分類結果を分類モジュールの第１損失関数に入力して第１損失値を得てもよい。本開示は、第１損失値の取得方式を具体的に限定しない。

本開示の実施例では、第１タイプのサンプル及び第２タイプのサンプルによってニューラルネットワークを訓練する場合に、採用される損失関数は同じであっても、異なってもよい。また、本開示の実施例は、第１タイプのサンプルによって訓練して得られたニューラルネットワークの損失値、と第２タイプのサンプルによって訓練して得られたニューラルネットワークの損失値を加算処理して、最終的なニューラルネットワークの損失値を得て、この損失値を用いてネットワークに対するフィードバック調整処理を行うようにしてもよい。ここで、フィードバック調整は、ニューラルネットワークの各ネットワークモジュールのパラメータを調整してもよく、一部のネットワークモジュールのパラメータのみを調整してもよく、本開示は具体的に限定しない。

まず、本開示の実施例は、第１所定方式を用いて、前記身元コーディングネットワークモジュールによって取得された第１特徴を用いて得られた第１分類結果の第１損失値を得てもよい。ここで、第１所定方式は以下の式（１）で示してもよい。

ただし、

は要素の乗算を示し、Ｃ（Ｉ）は第１分類結果に対応するＮ次元の予測特徴ベクトルを示し、Ｌは対応する原画像の真のラベルに対応するＮ次元の特徴ベクトル（真の分類結果）であり、Ｉ_tは第１損失関数に対応する第１損失値であり、ｉが１以上Ｎ以下の変数である。

上記形態によれば、分類モジュールによって得られた第１分類結果の第１損失値を得ることができる。ここで、本開示の実施例は、この第１損失値に基づいて身元コーディングネットワークモジュール、属性コーディングネットワークモジュール及び分類モジュールのパラメータをフィードバック調整してもよく、この第１損失値及び他のネットワークモジュールの損失値に基づいてニューラルネットワークの全体の損失値を決定して、ニューラルネットワークの少なくとも１つのネットワークモジュールを統一的にフィードバック調整してもよく、本開示はフィードバック調整を限定しない。

本開示の実施例は、更に、生成ネットワークモジュールによって生成した新しいペア画像を処理して、新しいペア画像の第２損失値及び対応する特徴の第３損失値を得るようにしてもよい。ここで、第２損失値の決定方式は、第２所定方式を用いて、前記生成ネットワークモジュールによって取得された新しいペア画像の、原ペア画像に対する第２損失値を取得する方式を含んでもよい。

本開示の実施例では、生成ネットワークによって新しいペア画像を得て、新しいペア画像と原ペア画像との間の相違に基づいて、第２損失値を決定するようにしてもよい。
第１タイプのサンプルについて、前記第２所定方式は式（２）で示してもよい。

ただし、Ｘ_u及びＸ_vはそれぞれ原ペア画像の第１画像及び第２画像であり、

及び

はそれぞれ新しいペア画像の新しい第１画像及び新しい第２画像であり、Ｌ_irは第２損失関数に対応する第２損失値であり、|| ||₁は１ノルムを示す。

上記形態によれば、第１タイプのサンプルについて、生成ネットワークモジュールによって生成した新しいペア画像に対応する第２損失値を得ることができる。

第２タイプのサンプルについて、前記第２所定方式は式（３）で示してもよい。

ただし、Ｘ_uは原ペア画像の第１画像であり、

は新しいペア画像の第１画像であり、Ｙ_wは原ペア画像の第２画像であり、

は新しいペア画像の第２画像である。

また、本開示の実施例は、更に、新しい第２ペア画像の特徴に対応する第３損失値を取得してもよい。第３所定方式によって前記第３損失値を取得してもよい。
ここで、第３所定方式は式（４）で示してもよい。

ただし、Ｉ_Xuは原ペア画像の第１画像Ｘ_uの第１特徴を示し、

は新しい第１画像

の第１特徴であり、Ｉ_xvは原ペア画像の第２画像Ｘ_vの第２特徴を示し、

は新しい第２画像

の第２特徴であり、Ｔは転置演算であり、Ｌ_sは第３損失関数に対応する損失値であり、|| ||₂は２ノルムを示す。

上記形態によれば、分類モジュールによって、生成ネットワークモジュールで生成した新しいペア画像の特徴に対応する第３損失値を得ることができる。

以上と同様に、本開示の実施例は、それぞれ第２損失値及び第３損失値に基づいて、生成ネットワークモジュールのパラメータをフィードバック調整してもよく、第１損失値、第２損失値及び第３損失値に基づいて、ニューラルネットワークの複数のネットワークモジュールを一括にフィードバック調整してもよい。例えば、本開示のいくつかの可能な実施形態では、上記第１損失値、第２損失値及び第３損失値の加重和によってニューラルネットワークの損失値を得てもよく、つまり、ニューラルネットワークの損失関数が上記第１損失関数、第２損失関数及び第３損失関数の加重和であり、それぞれの損失関数の重みを具体的に限定しなく、当業者により必要に応じて自由に設定可能である。得られた損失値が損失閾値より大きい場合、複数のネットワークモジュールのパラメータをフィードバック調整し、損失値が損失閾値より小さくなると、訓練を終了して、ニューラルネットワークの最適化を完成させる。また、本開示の実施例では、第１タイプのサンプルのペア画像に基づいて訓練する場合の第１損失関数、第２損失関数及び第３損失関数は、第２タイプのサンプルのペア画像に基づいて訓練する場合の第１損失関数、第２損失関数及び第３損失関数と異なってもよいが、本開示を具体的に限定するものでない。

また、本開示の実施例のニューラルネットワークをより精度よく訓練するために、本開示の実施例のニューラルネットワークは、生成した新しいペア画像の真偽程度（真の程度のラベル特徴）を識別するための識別ネットワークモジュールを更に含み、この真偽程度に基づいて、識別ネットワークモジュールで決定された、生成した新しいペア画像に対応する第４損失値を取得するようにしてもよい。本開示の実施例の識別ネットワーク及び生成ネットワークは敵対的生成ネットワークを構成してもよい。この敵対的生成ネットワークの具体的な構造について、当業者により従来の技術手段に基づいて適切な構造を選択して配置することができ、本開示で具体的に限定しない。ここで、本開示の実施例は、生成した新しいペア画像を前記ニューラルネットワークの識別ネットワークモジュールに入力し、第４所定方式を用いて前記新しいペア画像の第４損失値を取得するようにしてもよい。

ここで、第４所定方式は式（５）で示す。

ただし、Ｄは識別ネットワークモジュールのモデル関数を示し、Ｅ［］は期待値を示し、Ｘは新しい画像に対応する原画像、即ち真の画像を示し、

は識別ネットワークモジュールに入力される新しい画像を示し、Ｄ（Ｘ）は識別ネットワークモジュールによる、真の画像のラベル特徴を示し、

は識別ネットワークモジュールによる、入力された新しい画像のラベル特徴を示す。ただし、

の要素は０～１の数値であり、１に近接するほど、この要素の真の程度が高い。

本開示の実施例では、識別ネットワークモジュールの訓練過程を単独して実行し、即ち、識別ネットワークモジュールに生成した新しい画像及び対応する真の画像を入力し、第４損失関数に対応する損失値が要求される損失閾値より低くなるまでに、上記第４損失関数に基づいて識別ネットワークモジュールを訓練するようにしてもよい。

他のいくつかの可能な実施例では、識別ネットワークモジュールを上記の身元コーディングネットワークモジュール、属性コーディングネットワークモジュール及び生成ネットワークモジュールとともに訓練するようにしてもよい。それに対応して、本開示の実施例のステップＳ４００は、上記第１損失値、第２損失値、第３損失値及び第４損失値に基づいてニューラルネットワークの損失値を取得するようにしてもよい。つまり、ニューラルネットワークの損失関数は、上記第１損失関数、第２損失関数、第３損失関数及び第４損失関数の加重和であり、各損失関数の重みについて、本開示は具体的に限定しなく、当業者により必要に応じて自由に設定可能である。得られた損失値が損失閾値より大きい場合、ニューラルネットワークの複数のネットワークモジュールのパラメータをフィードバック調整し、損失値が損失閾値より小さくなると、訓練を終了し、ニューラルネットワークの最適化を完成させる。

また、本開示の実施例では、第１タイプのサンプルのペア画像に基づいて訓練する場合の第１損失関数、第２損失関数及び第３損失関数は、第２サンプル群のペア画像に基づいて訓練する場合の第１損失関数、第２損失関数及び第３損失関数と異なってもよいが、本開示を具体的に限定するものではない。

本開示のいくつかの可能な実施例では、身元コーディングネットワークモジュール及び属性コーディングネットワークモジュールに入力した画像サンプル群が同じ対象物のペア画像である場合（第１タイプのサンプル）、第５所定方式を用いて、前記第１損失値、第２損失値、第３損失値及び第４損失値に基づいて前記ニューラルネットワークの第１ネットワーク損失値を取得し、ただし、第５所定方式は式（６）で示す。

ただし、λ_ir、λ_s及びλ_advはそれぞれ第２損失関数、第３損失関数及び第４損失関数の重みであり、Ｌ_intraは第１ネットワーク損失値である。

身元コーディングネットワークモジュール及び属性コーディングネットワークモジュールに入力した画像サンプル群が異なる対象物のペア画像である場合、第６所定方式を用いて、前記第１損失値、第２損失値、第３損失値及び第４損失値に基づいて前記ニューラルネットワークの第２ネットワーク損失値を得る。ただし、第６所定方式は式（７）で示す。

ただし、λ_cr、λ_s及びλ_advはそれぞれ第２損失関数、第３損失関数及び第４損失関数の重みであり、Ｌ_interは第２ネットワーク損失値である。

本開示の実施例は、第１ネットワーク損失値と第２ネットワーク損失値の加算結果に基づいて、ニューラルネットワークの損失値を得るようにしてもよく、即ち、ニューラルネットワークの損失値Ｌ＝Ｌ_intra＋Ｌ_interでってもよい。訓練過程で、得られた損失値が損失閾値より大きい場合、ニューラルネットワークのパラメータをフィードバック調整し、例えば、複数のネットワークモジュール（身元コーディングネットワークモジュール、属性コーディングネットワークモジュール、生成ネットワークモジュール及び識別ネットワークモジュール等）のパラメータをフィードバック調整し、ニューラルネットワークの損失値が損失閾値より小さくなると、訓練を終了し、ニューラルネットワークの最適化を完成させするようにしてもよい。又は、別の実施例では、第１損失値に基づいて身元コーディングネットワークモジュール、属性コーディングネットワークモジュール及び分類モジュールのパラメータを調整し、第２損失値及び第３損失値に基づいて生成ネットワークモジュールのパラメータをフィードバック調整し、第４損失値に基づいて識別ネットワークモジュールのパラメータを調整し、損失値が対応する損失関数の損失閾値より小さくなると、訓練を終了するようにしてもよい。即ち、本開示の実施例は、任意のネットワークモジュールを単独してフィードバック調整し訓練してもよく、ニューラルネットワークの損失値に基づいて、ニューラルネットワークの一部又は全部のネットワークモジュールを一括的調整してもよく、当業者により必要に応じて適切な方式を選択してこの調整過程を実行することができる。

また、本開示の実施例では、ニューラルネットワークの身元特徴の認識精度を高めるために、前記画像サンプル群を身元コーディングネットワークモジュールに入力する前に、画像にノイズを加え、例えば、前記ペア画像の２つの画像における対象物の画像領域にノイズを加えるようにしてもよい。本開示の実施例では、対象物である人物の画像領域の一部に被覆層を加えるようにノイズを加えることができる。前記被覆層の大きさは、当業者により必要に応じて自由に設定することができ、本開示は限定しない。本開示の実施例では、身元コーディングネットワークモジュールに入力される画像のみにノイズを加え、他のネットワークモジュールにノイズを導入しない。このようにすれば、ニューラルネットワークの身元認識の精度を効果的に高めることができる。

本開示の実施例をより明瞭に説明するために、以下、例を挙げて第１タイプのサンプル及び第２タイプのサンプルに基づく訓練過程を説明する。

図６は本開示の実施例に係わる第１タイプのサンプルを用いてネットワーク最適化処理を実行する過程模式図を示す。ここで、同一対象物の２つの画像Ｘｕ及びＸｖを身元コーディングネットワークＥｉｄに入力して第１特徴を取得し、画像Ｘｕ及びＸｖを属性コーディングネットワークＥａに入力して第２特徴を取得し、第１特徴を分類器Ｃに入力して第１分類結果を取得し、また第１損失値Ｌｃを取得するようにしてもよい。ここで、身元コーディングネットワークＥｉｄに入力される画像にノイズを加え、例えば、対象物である人物の領域に被覆マップを加えて一部の領域を遮蔽してもよい。

ペア画像の第２特徴を交換し、生成ネットワークモジュールＧを用いて交換処理後の２つの新しい画像を取得し、２つの新しい画像に対応する第２損失値Ｌｉｒ、及び２つの新しい画像の第１特徴と第２特徴に対応する第３損失値Ｌｓを得、新しい画像を識別ネットワークモジュールＤに入力して第４損失値Ｌａｄｖを得る。この時に、第１損失値Ｌｃ、第２損失値Ｌｉｒ、第３損失値Ｌｓ及び第４損失値Ｌａｄｖを用いてニューラルネットワークの損失値を得て、この損失値が損失閾値より小さくなると、訓練を終了し、そうでなければ、ニューラルネットワークの少なくとも１つのネットワークモジュールのパラメータをフィードバック調整することができる。

図７は本開示の実施例に係わる第２タイプのサンプルを用いてネットワーク最適化処理を実行する過程模式図を示す。ここで、異なる対象物の２つの画像Ｘｕ及びＹｗを身元コーディングネットワークＥｉｄに入力して第１特徴を取得し、画像Ｘｕ及びＹｗを属性コーディングネットワークＥａに入力して第２特徴を取得し、第１特徴を分類器Ｃに入力して第１分類結果を取得し、また第１損失値Ｌｃを取得するようにしてもよい。ここで、身元コーディングネットワークＥｉｄに入力される画像にノイズを加え、例えば、対象物である人物の領域に被覆マップを加えて一部の領域を遮蔽してもよい。

ペア画像の第２特徴を交換し、生成器によって交換処理後の２つの中間画像を得、更に身元コーディングネットワークモジュールＥｉｄ及び属性コーディングネットワークモジュールＥａによって、これらの２つの中間画像の第１特徴と第２特徴を得、続いて中間画像の第２特徴を交換して新しい画像を得る。この時に、２つの新しい画像に対応する第２損失値Ｌｓ、及び２つの新しい画像の第１特徴と第２特徴に対応する第３損失値Ｌｃｒを得、中間画像又は新しい画像を識別ネットワークモジュールＤに入力して第４損失値Ｌａｄｖを得る。この時に、第１損失値、第２損失値、第３損失値及び第４損失値を用いてニューラルネットワークの損失値を得て、この損失値が損失閾値より小さくなると、訓練を終了し、そうでなければ、ニューラルネットワークの少なくとも１つのネットワークモジュールのパラメータをフィードバック調整することができる。

本開示の実施例は、入力画像の第１特徴（身元特徴）と第１特徴以外の第２特徴を効果的に抽出することができ、２枚の画像の第２特徴を交換して新しいピクチャーを形成することによって、身元に関連する特徴と身元に関連しない特徴を効果的に分離することができ、ここで、身元に関連する特徴は、歩行者再識別に効果的に利用可能である。本開示の実施例では、訓練段階でも適用段階でも画像データセット以外の補助情報を一切必要とせず、十分な監督を提供し、認識精度を効果的に高めることができる。

具体的な実施形態の上記方法において、各ステップの記述順序は厳しい実行順序であるというわけではなく、実施プロセスの何の制限にもならなく、各ステップの具体的な実行順序はその機能と可能な内在的論理に依存することが当業者に理解される。

また、本開示の実施例は、第１方面で提供された画像最適化方法によって得られたニューラルネットワークを用いて画像認識を実行して、入力画像に対応する身元の認識結果を取得することができる画像処理方法更に提供する。

図８は本開示の実施例に係る画像処理方法のフローチャートを示す。ここで、前記方法は、入力画像を受信するＳ１０と、ニューラルネットワークモデルによって前記入力画像の第１特徴を認識するＳ２０と、前記第１特徴に基づいて前記入力画像における対象物の身元を決定するＳ３０と、を含み、前記ニューラルネットワークモデルは、第１方面のいずれか一項に記載のネットワーク最適化方法によって最適化処理されて得られたネットワークモデルである。

本開示の実施例では、第１方面によって訓練して、要求を満たすニューラルネットワークモデルを得て、更にこのニューラルネットワークモデルを用いて画像における対象物の身元認識を実行するようにしてもよく、即ち、ニューラルネットワークモデルを用いて、画像認識等を実行可能な画像処理装置を形成して、この装置を用いて上記身元認識過程を実行するようにしてもよい。

本開示の実施例では、複数の人物の情報、例えば、人物の画像、及び対応する氏名、年齢、職務等のような身元情報を含むデータベースを有してもよく、本開示はこれを限定しない。

本開示の実施例では、入力画像が受信した後、受信した入力画像の第１特徴をデータベースにおける人物の画像と照合し、データベースにおいてマッチングする人物を判定することができる。本開示の実施例において、ニューラルネットワークモデルは、上記実施例によって訓練されて精度要求を満たすものであるので、入力画像とマッチングする対象物を精確に検索して、更にそれに対応する身元情報を取得することができる。

本開示の実施例の画像処理方法によければ、画像における対象物の身元を高速に認識し、認識精度を高めることができる。

本開示で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて実施例を形成することができることが理解され、紙数に限りがあるので、本開示では詳細な説明を省略する。

また、本開示は、画像処理装置、電子機器、コンピュータ読取可能な記憶媒体、プログラムを更に提供し、それらはいずれも本開示で提供される画像処理方法のいずれか１つを実現することに利用可能であり、対応する技術的解決手段及び説明については、方法部分の対応の記載を参照すればよく、詳細な説明を省略する。

図９は本開示の実施例に係るネットワーク最適化装置のブロック図を示す。図９に示すように、前記ネットワーク最適化装置は、同じ対象物の画像で構成されたペア画像、及び異なる対象物の画像で構成されたペア画像を含む画像サンプル群を取得するための取得モジュール１０と、前記画像サンプル群中の画像の第１特徴と第２特徴を取得するための特徴コーディングネットワークモジュール２０と、画像の第１特徴に基づいて第１分類結果を得るための分類モジュール３０と、前記画像サンプル群内のペア画像に対して、ペア画像の第１画像の第１特徴と第２画像の第２特徴を用いて新しい第１画像を生成し、且つ第１画像の第２特徴と第２画像の第１特徴を用いて新しい第２画像を生成する特徴交換処理を実行して、新しいペア画像を得るための生成ネットワークモジュール４０と、所定方式を用いて、前記第１分類結果の第１損失値、前記新しいペア画像の第２損失値、及び前記新しいペア画像の第１特徴と第２特徴の第３損失値を取得するための損失値取得モジュール５０と、所定要求が満たされるまでに、少なくとも前記第１損失値、第２損失値及び第３損失値に基づいてニューラルネットワークのパラメータを調整するための調整モジュール６０と、を含む。

いくつかの可能な実施形態では、前記特徴コーディングネットワークモジュールは、身元コーディングネットワークモジュール及び属性コーディングネットワークモジュールを含み、前記取得モジュールは、更に、前記ペア画像の２つの画像を前記身元コーディングネットワークモジュール及び属性コーディングネットワークモジュールに入力するために用いられ、前記身元コーディングネットワークモジュールは、前記ペア画像の２つの画像の第１特徴を取得するために用いられ、前記属性コーディングネットワークモジュールは、前記ペア画像の２つの画像の第２特徴を取得するために用いられる。

いくつかの可能な実施形態では、前記損失値取得モジュールは、更に、前記身元コーディングネットワークモジュールによって取得された第１特徴に対応する第１分類結果を取得し、第１所定方式を用いて、前記第１分類結果及び前記画像サンプル群中の画像に対応する真の分類結果に基づいて、前記第１損失値を取得するために用いられる。

いくつかの可能な実施形態では、前記装置は、前記ペア画像の２つの画像を前記身元コーディングネットワークモジュールに入力する前に、前記ペア画像の２つの画像における対象物の画像領域にノイズを加えるための前処理モジュールを更に含む。

いくつかの可能な実施形態では、前記生成ネットワークモジュールは、更に、入力されたペア画像が同じ対象物の画像である場合に、前記ペア画像の画像に対して１回の特徴交換処理を実行して前記新しいペア画像を得るために用いられ、それは、ペア画像の第１画像の第１特徴と第２画像の第２特徴を用いて新しい第１画像を生成することと、前記第１画像の第２特徴と第２画像の第１特徴を用いて新しい第２画像を生成することを含む。

いくつかの可能な実施形態では、前記生成ネットワークモジュールは、更に、入力されたペア画像が異なる対象物の画像である場合に、前記ペア画像の画像に対して２回の特徴交換処理を実行して新しいペア画像を得るために用いられ、それは、ペア画像の第１画像の第１特徴と第２画像の第２特徴を用いて新しい第１中間画像を生成し、前記第１画像の第２特徴と第２画像の第１特徴を用いて新しい第２中間画像を生成することと、前記第１中間画像の第１特徴と第２中間画像の第２特徴を用いて新しい第１画像を生成し、前記第１中間画像の第２特徴と第２中間画像の第１特徴を用いて新しい第２画像を生成すること、を含む。

いくつかの可能な実施形態では、前記損失値取得モジュールは、更に、第２所定方式を用いて、前記生成ネットワークモジュールによって取得された新しいペア画像の、対応する原ペア画像に対する第２損失値を取得するために用いられる。

いくつかの可能な実施形態では、前記損失値取得モジュールは、更に、第３所定方式に従って、前記新しいペア画像の第１特徴と第２特徴、及び前記新しいペア画像に対応する原ペア画像の第１特徴と第２特徴に基づいて、前記新しいペア画像の第１特徴と第２特徴の第３損失値を得るために用いられる。

いくつかの可能な実施形態では、前記装置は、前記新しいペア画像を受信し、前記新しいペア画像の真の程度を示すラベル特徴を得るための識別ネットワークモジュールを更に含み、前記損失値取得モジュールは、更に、第４所定方式を用いて、前記ラベル特徴に基づいて前記新しいペア画像の第４損失値を取得するために用いられる。

いくつかの可能な実施形態では、前記調整モジュールは、更に、前記第１損失値、第２損失値、第３損失値及び第４損失値を用いて前記ニューラルネットワークの損失値を得ることと、所定要求が満たされるまでに、前記ニューラルネットワークの損失値に基づいて前記ニューラルネットワークのパラメータを調整することとに用いられる。

いくつかの可能な実施形態では、前記調整モジュールは、更に、前記ニューラルネットワークに入力された画像サンプル群が同じ対象物のペア画像である場合に、第５所定方式を用いて、前記第１損失値、第２損失値、第３損失値及び第４損失値に基づいて前記ニューラルネットワークの第１ネットワーク損失値を得ることと、前記ニューラルネットワークに入力された画像サンプル群が異なる対象物のペア画像である場合に、第６所定方式を用いて、前記第１損失値、第２損失値、第３損失値及び第４損失値に基づいて前記ニューラルネットワークの第２ネットワーク損失値を得ることと、前記第１ネットワーク損失値と第２ネットワーク損失値との加算結果に基づいて、前記ニューラルネットワークの損失値を得ることとに用いられる。

図１０は本開示の実施例に係る画像処理装置のブロック図を示す。図に示すように、画像処理装置は、入力画像を受信するための受信モジュール１００と、ニューラルネットワークモデルによって前記入力画像の第１特徴を認識するための認識モジュール２００と、前記第１特徴に基づいて前記入力画像における対象物の身元を決定するための身元決定モジュール３００と、を含み、前記ニューラルネットワークモデルは、第１方面のいずれか一項に記載のネットワーク最適化方法によって最適化処理されて得られたネットワークモデルであるようにしてもよい。

いくつかの実施例では、本開示の実施例で提供された装置が備えた機能又はモジュールは、上記方法実施例に記載の方法を実行するために用いられ、その具体的な実現形態については、上記方法実施例の説明を参照すればよく、簡単化するために、ここで重複説明は割愛する。

本開示の実施例は、更に、コンピュータプログラム命令が記憶されているコンピュータ読取可能な記憶媒体であって、前記コンピュータプログラム命令は、プロセッサにより実行されると、上記方法を実現させるコンピュータ読取可能な記憶媒体を提供する。コンピュータ読取可能な記憶媒体は、不揮発性コンピュータ読取可能な記憶媒体であってもよい。

本開示の実施例は、更に、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、前記プロセッサは上記方法を実行するように構成される電子機器を提供する。

本開示の実施例は、更に、コンピュータ読取可能なコードを含み、コンピュータ読取可能なコードが機器上で実行されと、機器のプロセッサに以上の実施例のいずれか１つで提供された上記方法を実現するための命令を実行させるコンピュータプログラム製品を提供する。

電子機器は、端末、サーバ又は他の形態の装置として提供されてもよい。

図１１は本開示の実施例に係る電子機器８００のブロック図を示す。例えば、装置８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信装置、ゲームコンソール、タブレット装置、医療機器、フィットネス器具、パーソナル・デジタル・アシスタントなどの端末であってもよい。

図１１を参照すると、電子機器８００は処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６のうちの一つ以上を含んでもよい。

処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、命令を実行して上記方法の全てまたは一部のステップを実行するために、一つ以上のプロセッサ８２０を含んでもよい。また、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもよい。

メモリ８０４は、電子機器８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、電子機器８００において運用するあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または非揮発性記憶装置またはそれらの組み合わせによって実現できる。

電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および電子機器８００のための電力生成、管理および配分に関連する他のコンポーネントを含んでもよい。

マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャを検知するために、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関する持続時間および圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または後面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または後面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラおよび後面カメラは固定された光学レンズ系、または焦点距離および光学ズーム能力を有するものであってもよい。

オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、一つのマイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は、電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６を介して送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するための一つのスピーカーを含む。

Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限定されない。

センサコンポーネント８１４は電子機器８００の各面の状態評価のための一つ以上のセンサを含む。例えば、センサコンポーネント８１４は、電子機器８００のオン／オフ状態、例えば電子機器８００の表示装置およびキーパッドのようなコンポーネントの相対的位置決めを検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成された近接センサを含む。センサコンポーネント８１４はさらに、ＣＭＯＳまたはＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。

通信コンポーネント８１６は電子機器８００と他の機器との間の有線または無線通信を実現するように構成される。電子機器８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルを介して外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールは無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標／ＢＴ）技術および他の技術によって実現できる。

例示的な実施例では、電子機器８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いることができる。

例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能な記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は電子機器８００のプロセッサ８２０によって実行されると、上記方法を実行することができる。

図１２は例示的な一実施例に基づいて示された電子機器１９００のブロック図である。例えば、電子機器１９００はサーバとして提供されてもよい。図１２を参照すると、電子機器１９００は、さらに一つ以上のプロセッサを含む処理コンポーネント１９２２、および、処理コンポーネント１９２２によって実行可能な命令、例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリ資源を含む。メモリ１９３２に記憶されたアプリケーションプログラムは、それぞれが１つの命令群に対応する一つ以上のモジュールを含んでもよい。また、処理コンポーネント１９２２は、命令を実行することによって上記方法を実行するように構成される。

電子機器１９００はさらに、電子機器１９００の電源管理を実行するように構成された一つの電源コンポーネント１９２６、電子機器１９００をネットワークに接続するように構成された一つの有線または無線ネットワークインタフェース１９５０、および一つの入出力（Ｉ／Ｏ）インタフェース１９５８を含んでもよい。電子機器１９００はメモリ１９３２に記憶されたオペレーティングシステム、例えばＷｉｎｄｏｗｓ（登録商標） ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭまたは類似するものに基づいて動作できる。

例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能な記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令は、電子機器１９００の処理コンポーネント１９２２によって実行されると、上記方法を実行することができる。

本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の各方面を実現させるためのコンピュータ読み取り可能なプログラム命令を有しているコンピュータ読み取り可能な記憶媒体を含んでもよい。

コンピュータ読み取り可能な記憶媒体は命令実行装置に使用される命令を保存および記憶可能な有形装置であってもよい。コンピュータ読み取り可能な記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のさらなる具体的な例（非網羅的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内の突起構造のような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能な記憶媒体は瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過する光パルス）、または電線を経由して伝送される電気信号と解釈されるものではない。

ここで記述したコンピュータ読み取り可能なプログラム命令はコンピュータ読み取り可能な記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークを経由して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ読み取り可能なプログラム命令を受信し、該コンピュータ読み取り可能プログラム命令を転送し、各計算／処理機器内のコンピュータ読み取り可能な記憶媒体に記憶させる。

本開示の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能なプログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能なプログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ読み取り可能なプログラム命令を実行することにより、本開示の各方面を実現できるようにしてもよい。

ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各態様を説明した。フローチャートおよび／またはブロック図の各ブロック、およびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能なプログラム命令によって実現できることを理解すべきである。

これらのコンピュータ読み取り可能なプログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供されて、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行ると、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現するように機械を製造してもよい。また、これらのコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体に記憶し、それによってコンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよい。命令が記憶されているコンピュータ読み取り可能な記憶媒体は、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各方面を実現するための命令を有する製品を含む。

コンピュータ読み取り可能なプログラムは、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードし、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実施なプロセスを生成し、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令によりフローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。

図面のうちフローチャートおよびブロック図は本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は図面に付した順序と異なる順序で実現してもよい。例えば、連続的な二つのブロックは実質的に並行に実行してもよく、また、係る機能によって、逆な順序で実行してもよい場合がある。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことにも注意すべきである。

以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に用いられた用語は、各実施例の原理、実際の適用または従来技術への技術的改善を好適に解釈するか、または他の当業者に本明細書に披露された各実施例を理解させるためのものである。

本開示は、２０１９年１月１５日に中国特許局に提出された、出願番号が２０１９１００３６０９６．Ｘで、発明の名称が「ネットワーク最適化方法及び装置、画像処理方法及び装置、並びに記憶媒体」である中国特許出願の優先権を主張し、その開示の全ての内容が参照によって本開示に組み込まれる。

Claims (16)

1. ニューラルネットワークを最適化するネットワーク最適化方法であって、
   同じ対象物の画像で構成されたペア画像、及び異なる対象物の画像で構成されたペア画像を含む画像サンプル群を取得することと、
   前記画像サンプル群中の画像の、身元特徴を含む第１特徴及び属性特徴を含む第２特徴を取得し、画像の第１特徴を用いて第１分類結果を得ることと、
   前記画像サンプル群内のペア画像に対して、前記ペア画像の第１画像の第１特徴と第２画像の第２特徴を用いて新しい第１画像を生成し、且つ前記第１画像の第２特徴と前記第２画像の第１特徴を用いて新しい第２画像を生成する特徴交換処理であって、前記第１画像の第２特徴と前記第２画像の第２特徴を交換することを含む前記特徴交換処理を実行して、新しいペア画像を得ることと、
   前記第１画像、前記第２画像、前記新しい第１画像及び前記新しい第２画像に基づいて、前記第１分類結果の第１損失値、前記新しいペア画像の第２損失値、及び前記新しいペア画像の第１特徴と第２特徴の第３損失値を取得することと、
   前記第１損失値、前記第２損失値又は前記第３損失値に基づいて、前記ニューラルネットワークの損失値を取得することと、
   前記ニューラルネットワークの損失値が損失閾値よりも低いという所定要求が満たされるまでに、少なくとも前記第１損失値、前記第２損失値及び前記第３損失値に基づいてニューラルネットワークのパラメータを調整することと、を含むことを特徴とするネットワーク最適化方法。
2. 前記画像サンプル群中の画像の第１特徴と第２特徴を取得することは、
   前記ペア画像の２つの画像を前記ニューラルネットワークの身元コーディングネットワークモジュール及び属性コーディングネットワークモジュールに入力することと、
   前記身元コーディングネットワークモジュールを用いて前記ペア画像の２つの画像の第１特徴を取得し、前記属性コーディングネットワークモジュールを用いて前記ペア画像の２つの画像の第２特徴を取得することと、を含むことを特徴とする請求項１に記載の方法。
3. 前記第１画像、前記第２画像、前記新しい第１画像及び前記新しい第２画像に基づいて、前記第１分類結果の第１損失値、前記新しいペア画像の第２損失値、及び前記新しいペア画像の第１特徴と第２特徴の第３損失値を取得することは、
   前記身元コーディングネットワークモジュールによって取得された前記第１特徴の前記第１分類結果を取得することと、
   前記第１分類結果及び前記画像サンプル群中の画像に対応する真の分類結果に基づいて、前記第１損失値を取得することと、を含むことを特徴とする請求項２に記載の方法。
4. 前記ペア画像の２つの画像を前記身元コーディングネットワークモジュールに入力する前に、
   前記ペア画像の２つの画像における対象物の画像領域にノイズを加えることを更に含むことを特徴とする請求項２又は３に記載の方法。
5. 前記画像サンプル群内のペア画像に対して特徴交換処理を実行して新しいペア画像を得ることは、
   前記画像サンプル群内のペア画像の画像の第１特徴と第２特徴を前記ニューラルネットワークの生成ネットワークモジュールに入力することと、
   前記生成ネットワークモジュールによって前記画像サンプル群内のペア画像に対する前記特徴交換処理を実行して、前記新しいペア画像を得ることと、を含むことを特徴とする請求項１～４のいずれか一項に記載の方法。
6. 入力されたペア画像が同じ対象物の画像である場合に、前記画像サンプル群内のペア画像に対して特徴交換処理を実行して新しいペア画像を得ることは、前記ペア画像の画像に対して１回の特徴交換処理を実行して前記新しいペア画像を得ることを含み、
   前記ペア画像の画像に対して１回の特徴交換処理を実行して前記新しいペア画像を得ることは、
   前記ペア画像の第１画像の第１特徴と第２画像の第２特徴を用いて新しい第１画像を生成し、前記第１画像の第２特徴と前記第２画像の第１特徴を用いて新しい第２画像を生成することを含み、
   及び／又は、入力されたペア画像が異なる対象物の画像である場合に、前記画像サンプル群内のペア画像に対して特徴交換処理を実行して新しいペア画像を得ることは、前記ペア画像の画像に対して２回の特徴交換処理を実行して新しいペア画像を得ることを含み、
   前記ペア画像の画像に対して２回の特徴交換処理を実行して新しいペア画像を得ることは、
   前記ペア画像の第１画像の第１特徴と第２画像の第２特徴を用いて新しい第１中間画像を生成し、前記第１画像の第２特徴と第２画像の第１特徴を用いて新しい第２中間画像を生成することと、
   前記第１中間画像の第１特徴と前記第２中間画像の第２特徴を用いて新しい第１画像を生成し、前記第１中間画像の第２特徴と第２中間画像の第１特徴を用いて新しい第２画像を生成することと、を含むことを特徴とする請求項１～５のいずれか一項に記載の方法。
7. 前記第１画像、前記第２画像、前記新しい第１画像及び前記新しい第２画像に基づいて、前記第１分類結果の第１損失値、前記新しいペア画像の第２損失値、及び前記新しいペア画像の第１特徴と第２特徴の第３損失値を取得することは、
   原ペア画像及び前記生成ネットワークモジュールによって取得された新しいペア画像に基づいて、前記新しいペア画像の、対応する前記原ペア画像に対する第２損失値を取得することを含むことを特徴とする請求項５に記載の方法。
8. 前記第１画像、前記第２画像、前記新しい第１画像及び前記新しい第２画像に基づいて、前記第１分類結果の第１損失値、前記新しいペア画像の第２損失値、及び前記新しいペア画像の第１特徴と第２特徴の第３損失値を取得することは、
   前記新しいペア画像の第１特徴と第２特徴、及び前記新しいペア画像に対応する原ペア画像の第１特徴と第２特徴に基づいて、前記新しいペア画像の第１特徴と第２特徴の第３損失値を得ることを含むことを特徴とする請求項１～７のいずれか一項に記載の方法。
9. 前記画像サンプル群内のペア画像に対して特徴交換処理を実行して新しいペア画像を得る後、
   生成した前記新しいペア画像を前記ニューラルネットワークの識別ネットワークモジュールに入力して、前記新しいペア画像の真の程度を示すラベル特徴を得ることと、
   前記ラベル特徴に基づいて前記新しいペア画像の第４損失値を取得することと、を更に含むことを特徴とする請求項１～８のいずれか一項に記載の方法。
10. 前記ニューラルネットワークの損失値が損失閾値よりも低いという所定要求が満たされるまでに、少なくとも前記第１損失値、前記第２損失値及び前記第３損失値に基づいてニューラルネットワークのパラメータを調整することは、
    前記第１損失値、前記第２損失値、前記第３損失値及び前記第４損失値に基づいて前記ニューラルネットワークの損失値を得ることと、
    前記所定要求が満たされるまでに、前記ニューラルネットワークの損失値に基づいて前記ニューラルネットワークのパラメータを調整することと、を含むことを特徴とする請求項９に記載の方法。
11. 前記第１損失値、前記第２損失値、前記第３損失値及び前記第４損失値に基づいて前記ニューラルネットワークの損失値を得ることは、
    前記ニューラルネットワークに入力された画像サンプル群が同じ対象物のペア画像である場合、前記第１損失値、前記第２損失値、前記第３損失値及び前記第４損失値に基づいて前記ニューラルネットワークの第１ネットワーク損失値を得ることと、
    前記ニューラルネットワークに入力された画像サンプル群が異なる対象物のペア画像である場合、前記第１損失値、前記第２損失値、前記第３損失値及び前記第４損失値に基づいて前記ニューラルネットワークの第２ネットワーク損失値を得ることと、
    前記第１ネットワーク損失値と前記第２ネットワーク損失値との加算結果に基づいて、前記ニューラルネットワークの損失値を得ることと、を含むことを特徴とする請求項１０に記載の方法。
12. 入力画像を受信することと、
    ニューラルネットワークモデルによって前記入力画像の第１特徴を認識することと、
    前記第１特徴に基づいて前記入力画像における対象物の身元を決定することと、を含み、
    前記ニューラルネットワークモデルは、請求項１～１１のいずれか一項に記載のネットワーク最適化方法によって最適化処理されて得られたネットワークモデルであることを特徴とする画像処理方法。
13. 同じ対象物の画像で構成されたペア画像、及び異なる対象物の画像で構成されたペア画像を含む画像サンプル群を取得するための取得モジュールと、
    前記画像サンプル群中の画像の第１特徴と第２特徴を取得するための特徴コーディングネットワークモジュールと、
    画像の第１特徴に基づいて第１分類結果を得るための分類モジュールと、
    前記画像サンプル群内のペア画像に対して、前記ペア画像の第１画像の第１特徴と第２画像の第２特徴を用いて新しい第１画像を生成し、且つ前記第１画像の第２特徴と前記第２画像の第１特徴を用いて新しい第２画像を生成する特徴交換処理であって、前記第１画像の第２特徴と前記第２画像の第２特徴を交換することを含む前記特徴交換処理を実行して、新しいペア画像を得るための生成ネットワークモジュールと、
    前記第１画像、前記第２画像、前記新しい第１画像及び前記新しい第２画像に基づいて、前記第１分類結果の第１損失値、前記新しいペア画像の第２損失値、及び前記新しいペア画像の第１特徴と第２特徴の第３損失値を取得し、前記第１損失値、前記第２損失値又は前記第３損失値に基づいて、ニューラルネットワークの損失値を取得する損失値取得モジュールと、
    前記ニューラルネットワークの損失値が損失閾値よりも低いという所定要求が満たされるまでに、少なくとも前記第１損失値、前記第２損失値及び前記第３損失値に基づいてニューラルネットワークのパラメータを調整するための調整モジュールと、を含むネットワーク最適化装置。
14. プロセッサと、
    プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、
    前記プロセッサは、請求項１～１１のいずれか一項に記載の方法を実行するように構成されることを特徴とする画像処理装置。
15. コンピュータプログラム命令が記憶されているコンピュータ読取可能な記憶媒体であって、前記コンピュータプログラム命令は、プロセッサにより実行されると、請求項１～１１のいずれか一項に記載の方法を実現させることを特徴とするコンピュータ読取可能な記憶媒体。
16. コンピュータ読取可能なコードを含み、前記コンピュータ読取可能なコードが電子機器上で実行されると、前記電子機器のプロセッサに請求項１～１１のいずれか一項に記載の方法を実現するための命令を実行させることを特徴とするコンピュータプログラム。

Images