JP6956252B2 - 顔表情合成方法、装置、電子機器及びコンピュータプログラム - Google Patents

Description

本願は、２０１７年０７月３１日に中国特許庁に出願された、出願番号が２０１７１０６４０５３７．８で、発明の名称が「顔表情合成方法、装置及び電子機器」である中国特許出願の優先権を主張し、その全文を引用により本願に組み込む。

本願はデータ処理の技術分野に関し、具体的に顔表情合成方法、装置、電子機器及び記憶媒体に関する。

顔表情とは、喜び、驚き、悲しみ、恐れ、内気、怒り等々の目の筋肉、顔の筋肉及び口の筋肉の変化による様々な感情状態の表現を指す。顔表情は、微妙なボディランゲージとして、人々が感情情報を伝える重要な手段であり、顔画像に対して表情分析を行うことによって、ユーザの内なる世界を効果的に理解し、対面の交流をより鮮明にすることができる。

近年、顔表情の合成は、キャラクタアニメーション、ヒューマンコンピュータインタラクション及びテレビ会議などのアプリケーションで大きな注目を集めている。人々は、個人の興味又は実際のニーズに応じて、顔のある状態を複数の状態に置き換えて多様に表すことにより、公衆の娯楽性及び趣味性を向上させることができる。

関連技術では、一般的には、色ヒストグラム、肌色融合アルゴリズム及び直接貼り付け等の方式で、顔表情の置き換えを実現し、例えば、ユーザＡの怒った口をユーザＢの笑顔の口に置き換え、ユーザＣの笑顔の一重まぶたの目をユーザＤの怒った二重まぶたの目に置き換える。しかし、顔表情の変化は、顔特徴全体の動作変形（例えば、口や目の開閉）だけでなく、局所的な外観のわずかな変化も含む。従来の顔表情合成方法による合成効果は不十分であり、肌色融合が不均一で、顔器官の位置決めが不正確で、エッジが違和感を与えるなどの問題があり、顔表情の合成効率が低くなってしまう。

それに鑑みて、本願の実施例は、顔表情合成方法、装置、電子機器及び記憶媒体を提供することにより、従来の顔表情合成方法による合成画像に存在している肌色融合が不均一で、顔器官の位置決めが不正確で、エッジが違和感を与えるなどの技術的問題を解決する。

上記技術的問題を解決するために、本願の実施例は以下の技術案を提供する。

本願の実施例は顔表情合成方法を提供し、前記顔表情合成方法は、
ターゲットオブジェクトの処理待ち顔画像を取得し、顔認証技術を使用して前記処理待ち顔画像を処理し、前記処理待ち顔画像の肌色情報を得るステップと、
表情素材画像ライブラリにおいて、前記肌色情報とマッチングするターゲット表情素材画像を選別するステップと、
前記ターゲット表情素材画像において、ターゲット合成領域に対応する領域画像を抽出するステップと、
前記領域画像と前記処理待ち顔画像に対してポアソン融合処理を行って、前記ターゲットオブジェクトのターゲット顔画像を得るステップと、を含む。

本願の実施例はさらに顔表情合成装置を提供し、前記顔表情合成装置は、
ターゲットオブジェクトの処理待ち顔画像を取得するように構成される画像取得モジュールと、
顔認証技術を使用して前記処理待ち顔画像を処理し、前記処理待ち顔画像の肌色情報を得るように構成される画像処理モジュールと、
表情素材画像ライブラリにおいて、前記肌色情報とマッチングするターゲット表情素材画像を選別するように構成される画像選別モジュールと、
前記ターゲット表情素材画像において、ターゲット合成領域に対応する領域画像を抽出するように構成される画像抽出モジュールと、
前記領域画像と前記処理待ち顔画像に対してポアソン融合処理を行って、前記ターゲットオブジェクトのターゲット顔画像を得るように構成される画像融合モジュールと、を備える。

本願の実施例はさらに電子機器を提供し、前記電子機器は、
通信インタフェースと、
上記顔表情合成方法を実現する複数の命令を記憶するように構成されるメモリと、
ターゲットオブジェクトの処理待ち顔画像を取得し、顔認証技術を使用して前記処理待ち顔画像を処理し、前記処理待ち顔画像の肌色情報を得る命令と、表情素材画像ライブラリにおいて、前記肌色情報とマッチングするターゲット表情素材画像を選別する命令と、前記ターゲット表情素材画像において、ターゲット合成領域に対応する領域画像を抽出する命令と、前記領域画像と前記処理待ち顔画像に対してポアソン融合処理を行って、前記ターゲットオブジェクトのターゲット顔画像を得る命令と、を含む前記複数の命令をロードして実行するように構成されるプロセッサと、を備える。

上記技術案に基づき、本願の実施例は、ターゲット表情素材を選択して処理待ち顔画像と合成する際に、処理待ち顔画像と表情素材画像との肌色差を考慮して、選択したターゲット表情素材画像が処理待ち顔の肌色と非常に類似するようにし、ひいては同じであるようにする。それにより、抽出した領域画像を処理待ち顔画像に合成するときに、両者の間が完全に融合されることを確保し、最終的に得られた合成画像の肌色全体が調和し、自然であり、領域画像の表情の細部を保留し、顔器官の位置決め精度を向上させて、得られた合成画像はより鮮明になる。

本願の実施例に係る電子機器のハードウェア構造図である。 本願の実施例に係る顔表情合成方法のフローチャート図である。 本願の実施例に係る顔画像から抽出された顔特徴点の模式図である。 本願の実施例に係るターゲットオブジェクトの処理待ち顔画像の模式図である。 本願の実施例に係るターゲット表情素材画像の模式図である。 本願の実施例に係る図４ｂのターゲット表情素材画像に対して得られたターゲット合成領域である。 本願の実施例に係る図４ｂのターゲット表情素材画像において、図４ｃに示されるターゲット合成領域に対応する領域画像である。 本願の実施例に係るターゲット顔画像の模式図である。 本願の実施例に係るターゲット顔画像の模式図である。 本願の実施例に係る画像合成の模式図である。 本願の実施例に係る顔表情合成方法のシグナリング図である。 本願の実施例に係る処理待ち顔表情の選択インタフェースである。 本願の実施例に係る別の顔表情合成方法のフローチャート図である。 本願の実施例に係るターゲットオブジェクトの処理待ち顔画像である。 図９ａの処理待ち顔画像に対して選別されたターゲット表情素材画像である。 図９ｂに示される領域画像を図９ａの処理待ち顔画像に合成した合成画像である。 本願の実施例に係るターゲットオブジェクトの処理待ち顔画像である。 図９ｄの処理待ち顔画像に対して選別されたターゲット表情素材画像である。 図９ｅに示される領域画像を図９ｄの処理待ち顔画像に合成した合成画像である。 本願の実施例に係る顔表情合成装置の構造ブロック図である。 本願の実施例に係る別の顔表情合成装置の構造ブロック図である。 本願の実施例に係るさらに別の顔表情合成装置の構造ブロック図である。 本願の実施例に係るさらに別の顔表情合成装置の構造ブロック図である。

本願の実施例又は関連技術の技術案をより明瞭に説明するために、以下では実施例又は関連技術の説明に必要な図面を簡単に説明し、明らかなように、以下で説明される図面は単に本願の実施例であり、当業者にとって、創造的な労働を必要とせずに、これらの図面に基づいて他の図面を得ることができる。

以下では、本願の実施例の図面を参照しながら、本願の実施例の技術案を明瞭で完全に説明し、勿論、説明される実施例は本願の一部の実施例に過ぎず、全ての実施例ではない。本願の実施例に基づいて、当業者が創造的な労働を必要とせずに得る全ての他の実施例は、いずれも本願の保護範囲に属する。

なお、本願の実施例に係る顔表情合成方法はデータ処理能力を有する電子機器に適用できる。該電子機器はネットワーク側に設置されたサーバであってもよく、ユーザ側に設置されたＰＣ（パーソナルコンピュータ）などの端末機器であってもよい。該コンピューティング機器は機能が本願の実施例に係る顔表情合成方法に応じたプログラムをロードすることによって、本願の実施例に係る顔表情合成方法を実施することができる。該プログラムはコンピューティング機器のメモリに記憶され、プロセッサにより呼び出されてプログラム機能を実現する。

好ましくは、図１は本願の実施例に係る電子機器のハードウェア構造のブロック図を示し、図１に示すように、該電子機器は、通信インタフェース１１、メモリ１２、プロセッサ１３及び通信バス１４などを備えてもよい。

本願の実施例では、通信インタフェース１１、メモリ１２、プロセッサ１３、通信バス１４はいずれも少なくとも１つを有し、通信インタフェース１１、メモリ１２、プロセッサ１３は通信バス１４を介して相互の通信を完了することができる。

好ましくは、通信インタフェース１１は、通信モジュールのインタフェース、例えば、ＧＳＭ(登録商標)モジュールのインタフェースであってもよく、他の機器とのデータインタラクション、例えば、表情素材ライブラリからフィードバックされた必要なターゲット表情素材画像の受信等々を実現するように構成される。

プロセッサ１３は、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵと略称）であってもよく、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣと略称）であってもよく、本願の実施例に係る顔表情合成方法を実施するように構成される１つ又は複数の集積回路であってもよい。

メモリ１２は、高速ＲＡＭメモリを含んでもよく、不揮発性メモリ（ｎｏｎ−ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、例えば、少なくとも１つのディスクメモリを含んでもよい。

本願では、メモリ１２は、本願の実施例に係る顔表情合成方法を実現するための複数の命令からなるプログラムを記憶することができ、プロセッサ１３は、メモリ１２に記憶されているプログラムを呼び出してロードし、それにより、本願の実施例に係る顔表情合成方法を実現し、実現過程は以下の対応する実施例の説明を参照できる。

なお、図１に示される電子機器のハードウェア構造は好ましいものに過ぎず、必要に応じて、コンピューティング機器には、ディスプレイスクリーン、情報入力装置（キーボード、マウスなど）、グラフィックプロセッサ、画像コレクターなどが設置されてもよく、本願はここで一々詳しく説明しない。

以下、電子機器の観点から、本願の実施例に係る顔表情合成方法を説明し、以下で説明される方法ステップは電子機器が対応するプログラムを実行することによって実施する。

図２は本願の実施例に係る顔表情合成方法のフローチャート図であり、該方法は電子機器に適用でき、図２に示すように、該方法は、ステップＳ２０１〜ステップＳ２０５を含んでもよい。

ステップＳ２０１において、ターゲットオブジェクトの処理待ち顔画像を取得する。

本願では、顔画像は、２次元画像であってもよく、端末機器がカメラによって収集したターゲットオブジェクトを含む画像であってもよく、ローカル画像ライブラリから取得されたターゲットオブジェクトを含む画像であってもよく、他の機器から送信された画像であってもよく、本願はターゲットオブジェクトの顔画像の取得方式を限定しない。

好ましくは、本実施例に係る顔表情合成方法を実現する電子機器が端末機器である場合、実際のアプリケーションでは、端末機器は、カメラによって画像を直接収集し、収集した画像を顔検出アルゴリズムで処理し、該画像にターゲットオブジェクトの顔画像が存在するか否かを判断し、存在しないと、ターゲットオブジェクトの顔画像を取得するまで、次のフレームの画像に対して顔検出を行い続け、存在すると、ターゲットオブジェクトの顔領域部分を抽出して、処理待ち顔画像を得る。

勿論、端末機器はローカル画像ライブラリに記憶されている複数の顔画像を直接表示し、ユーザが必要に応じて、その中から１つの顔画像をターゲットオブジェクトの処理待ち顔画像として選択してもよい。また、端末機器は他の方式でターゲットオブジェクトの処理待ち顔画像を取得してもよく、例えば、ネットワークを介してウェブページからダウンロードする等々が挙げられ、本願はここで一々列挙しない。

本願の別の実施例として、本実施例に係る顔表情合成方法を実現する電子機器がサーバである場合、ユーザは端末機器によってターゲットオブジェクトの処理待ち顔画像を特定した後、該サーバに直接アップロードして後続の処理を行うことができる。

ステップＳ２０２において、顔認証技術を使用して処理待ち顔画像を処理し、処理待ち顔画像の肌色情報を得る。

好ましくは、本願では、ターゲットオブジェクトの処理待ち顔画像を取得した後、本願は顔特徴点位置決めアルゴリズムで、該処理待ち顔画像を処理することができ、自動的に位置決めされた複数の重要な顔特徴点、例えば、目、鼻先、口もと、眉毛及び顔各部の輪郭点等々は、図３の黒い点に示される。それにより、第１顔特徴点は処理待ち顔画像の複数の重要な顔特徴点であってもよい。

顔特徴点位置決めアルゴリズムは、アクティブな形状モデル（Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ：ＡＳＭと略称）アルゴリズム、アクティブな外観モデル（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ：ＡＡＭと略称）アルゴリズム等々をさらに含んでもよく、主に顔のテクスチャ特徴及び各特徴点間の位置制約を利用して実現され、本願は顔特徴点の識別の実現方法を詳しく説明しない。

好ましくは、上記各部の位置する領域の形状を決定するように、必要に応じて、特定された重要な顔特徴点をマーキングすることができ、本願は重要な顔特徴点のマーキング方法を限定しない。

肌色情報の検出が必要なターゲット合成領域及び／又は顔領域全体を特定した後、対応する領域内の顔特徴点を利用して、対応する多角形の図形を形成することができ、該多角形画像の頂点は対応する領域内の第１顔特徴点であってもよく、辺は、通常、対応する領域内の第１顔特徴点を含まず、例えば、図３の口境界の重要な特徴点を接続して形成された多角形の図形に示されるが、これに限定されない。

その後、本願は肌色検出アルゴリズムで、形成された各多角形の図形内の画像を検出し、対応する肌色情報を、ターゲット表情素材画像の後続の選別条件として得る。

なお、本願では、異なる選別条件に応じて、肌色情報を検出する必要がある領域（即ち、多角形の図形で囲まれる領域）は異なり、例えば、処理待ち顔画像の顔領域全体に対して肌色検出を行い、及び／又は口領域などのターゲット合成領域に対して肌色検出を行い、処理待ち顔画像における他の領域に対して肌色検出を行う。

異なる肌色情報の検出領域については、表情素材画像ライブラリにおける各表情素材画像の分類記憶方式が異なる必要があり、実現過程は以下の対応する実施例の説明を参照でき、本実施例はここで詳しく説明しない。

ステップＳ２０３において、表情素材画像ライブラリにおいて、該肌色情報とマッチングするターゲット表情素材画像を選別する。

実際のアプリケーションでは、異なるユーザの肌色が異なるため、同一表情素材を使用すると、ユーザの肌色要件を満たさないことが多く、処理待ち顔画像と表情素材画像を融合するときに、両者の肌色が大きく異なり、得られた合成画像は非常に不自然になってしまう。これに基づき、本願は、ターゲットオブジェクトの処理待ち顔表情合成用の素材を選別するときに、両者の肌色差の状況を考慮する。

好ましくは、表情素材画像ライブラリでは、その含まれる複数の表情素材画像を対応する肌色情報に応じて分類して記憶することができる。同一表情素材画像の光照射条件が異なる場合、検出される肌色情報が通常異なるため、本実施例では、同一表情素材画像に対して、光照射条件をさらに組み合わせて、肌色情報の分類記憶を実現してもよく、本願はその記憶方式を限定せず、例えば、テーブル対応関係表、マッピング関数などの方式であってもよく、本願はここで詳しく説明しない。

複数の表情素材画像を肌色情報に応じて分類するときに、各表情素材画像の顔全体の肌色情報、ターゲット合成領域の肌色情報及び／又は他の領域の肌色情報などの複数の肌色情報に基づいて分類することができ、それにより、表情素材画像の分類精度を向上させる。これに基づき、ターゲット表情素材画像を選別するときに、複数の肌色情報に応じて選別を実現することができ、選別された画像と処理待ち顔画像との肌色マッチング度を大幅に向上させ、最終的に得られたターゲット顔画像が自然であることを確保する。

好ましくは、本願は、顔識別アルゴリズムを採用して、各表情素材画像の顔画像領域、各部領域及び対応する肌色情報を取得することができ、実現方法は詳しく説明しない。

ステップＳ２０４において、ターゲット表情素材画像におけるターゲット合成領域に対応する領域画像を抽出する。

好ましくは、上記処理待ち顔画像におけるターゲット合成領域の取得方式と類似し、本願はターゲット表情素材画像の顔特徴点を識別し、得られた複数の顔特徴点を利用して、多角形の図形を形成することにより、ターゲット合成領域に対応する領域画像を取得することもできる。

例えば、ターゲットオブジェクトの顔画像が図４ａに示され、取得されるターゲット表情素材画像が図４ｂに示されると仮定し、ターゲットオブジェクトの処理待ち顔画像における口領域を置き換え、即ち、ターゲット表情素材画像における口領域を処理待ち顔画像に合成する必要があると仮定する場合、ターゲット表情素材画像における口領域の重要な特徴点を接続して、図４ｃに示される多角形の図形を形成することにより、該多角形の図形に対応する図４ｄに示される領域画像を取得することができる。

なお、ターゲット表情素材画像におけるターゲット合成領域に対応する領域画像の抽出方式は、以上に説明された方式に限定されない。

ステップＳ２０５において、領域画像と処理待ち顔画像に対してポアソン融合処理を行って、ターゲットオブジェクトのターゲット顔画像を得る。

実際のアプリケーションでは、一般的な画像フィルタリング・ノイズ除去アルゴリズムは、画像に対してグローバル処理を行うこと、及び局所オペレータを使用することの２種類に大きく分けられ、グローバル処理の主な思想は、まず画像を数学的に変換し、次に変換ドメインでフィルタリングし、最終的に逆変換してノイズ除去後の画像を得ることであり、局所オペレータを使用する方法の主な思想は、ノイズ含有画像のある画素を処理し、該画素のみに対して局所オペレータを使用することであり、ノイズモデルを推定できない又は推定しにくい状況に適用でき、通常、従来の分野平均法、メディアンフィルタリングアルゴリズム及びテンプレート平滑化アルゴリズムなどを含むが、それら方法は、画像のノイズを効果的にフィルタリングすると同時に、画像のエッジ及び細部を不明瞭にし、画像の処理効果に悪影響をある程度与え、できるだけ多い細部情報を保持して合成後の画像を真実、自然にするという本来の意図に反する。

これに対して、本願は光照射などの要素の細部画像の空間位置情報を考慮し、ポアソンアルゴリズムで、取得された領域画像をフィルタリング処理し、フィルタリング後の画像をポアソン融合方法で、処理待ち顔画像に合成し、ターゲット顔画像を得る。ポアソンアルゴリズムで領域画像及び処理待ち顔画像への処理過程は以下の実施例の説明を参照でき、本実施例はここで詳しく説明しない。なお、ポアソンアルゴリズムで、領域画像と処理待ち顔画像の融合を実現する処理方法は、本願の以下の実施例に説明される方法に限定されず、本願はここでそれを例として説明する。

以上のように、本願は、ターゲット表情素材を選択する際に、処理待ち顔画像と表情素材画像との肌色差を考慮して、選択したターゲット表情素材画像と処理待ち顔との肌色が非常に類似し、ひいては同じであり、それにより、抽出した領域画像を処理待ち顔画像に合成するときに、両者を完全に融合することができ、得られた合成画像は肌色全体が自然で、滑らかである。

また、画像融合過程で、本願は、ポアソン融合方式で、取得された領域画像をフィルタリング処理し、処理後の表情の細部をより堅牢にし、合成結果の口領域のゴーストを減少させ、ターゲットオブジェクトの顔の光照射及び肌色情報を効果的に保持する。

好ましくは、上記画像の融合処理過程をより明瞭に説明するために、本願は図５に示される模式図を参照して説明し、図５の画像Ａ（ＩｍａｇｅＡ）は入力されたターゲットオブジェクトの処理待ち顔画像で、画像Ｂ（ＩｍａｇｅＢ）は取得されたターゲット表情素材の領域画像である。

画像融合過程で、ＩｍａｇｅＢがＩｍａｇｅＡに基づいて色変換を行うとともに、自体画像の特徴細部、例えば、エッジ、コーナー、トランジションなどをある方式で保留できることは期待される。実際のアプリケーションでは、通常、ポアソンアルゴリズムにより、ＩｍａｇｅＢの絶対情報（例えば、色）の調整が許可されるが、ＩｍａｇｅＡに貼り付けた後、できるだけＩｍａｇｅＢの相対情報（例えば、画像勾配）が保留される。該技術的効果を実現するために、下式（１）でターゲット顔画像の境界制約を実現できるが、これに限定されない。

式（１）中、Ａは上記入力されたターゲットオブジェクトの処理待ち顔画像ＩｍａｇｅＡを示し、Ｂはターゲット表情素材の領域画像ＩｍａｇｅＢを示し、Ｈは合成後のターゲット顔画像を示し、∀（ｘ，ｙ）はＨの全ての画素を示し、∂Ｂは領域画像ＩｍａｇｅＢの境界を示す。

本願では、画像融合処理後に得られたターゲット顔画像Ｈの境界上の画素は、通常、該境界上のＡの画素と完全に同じであり、それにより、Ｂがその境界外側の画素とマッチングでき、Ｂの境界でのＡの画素を内側にブレンドする。

合成後のターゲット顔画像の合成品質を確保し、合成されたターゲット顔画像の合成領域が違和感を与えないようにするために、通常、Ｈ内部の画素の勾配がＢ内部の画素の勾配に等しい必要があり、それに対して、本願は、画像の勾配スポット∇Ｂ_(x,y)が該画素Ｂ（ｘ，ｙ）とその全ての隣接画素（例えば、画素Ｂ（ｘ，ｙ）と隣接するＢ（ｘ−１，ｙ）、Ｂ（ｘ＋１，ｙ）、Ｂ（ｘ，ｙ−１）、Ｂ（ｘ，ｙ＋１）などの４つの画素点）との差異の総和であると定義でき、即ち、下式（２）であり、この方式で画素の勾配を計算できるが、この画素勾配計算方法に限定されない。

式（２）中、Ｂ（ｘ，ｙ）は画像Ｂの画素を示し、∇は画像画素の勾配符号を示す。

好ましくは、画素の勾配の計算過程で、ある画素の隣接画素が画像の境界画素である場合、式（３）でＢ内の画素を計算でき、得られる結果は、通常、固定値である。隣接画素が選択された画素境界外に位置する場合、該隣接画素を除外できる。

（ｘ，ｙ）は２次元（２Ｄ）ネットワーク上で興味ある画素位置であり、Ｎは、Ｈの画素が境界を含む（画像の外側に拡大する画素数が４以下である）選択領域内に、実際に有する有効隣接画素の数量であり、Ωは境界を除外したＢ及びＨの選択領域であり、局所「Ω」は選択領域の境界であり、（ｄｘ，ｄｙ）は｛（−１，０）、（１，０）、（０，−１）、（０，１）｝の部分集合に属する。好ましくは、上記式（３）は以下のとおり分解できる。

式（３）の等式左側では、Ｈ（ｘ，ｙ）とその全てのＮ個の隣接画素との差に対して総和計算を行うことによって、未知点Ｈ（ｘ，ｙ）の空間勾配を計算し、等式左側の第１の総和計算は、Ｈ（ｘ，ｙ）と選択領域Ωの他の画素点（ｘ’，ｙ’）との差を示し、（ｘ’，ｙ’）はＨ（ｘ，ｙ）の隣接画素の位置であり、第２の総和計算はＨ（ｘ，ｙ）と境界画素点との差異を示す。等式右側は単に（ｘ，ｙ）での画像Ｂの勾配であり、Ｈ（ｘ，ｙ）での新しい画像Ｈの勾配とマッチングすると期待される。

なお、カラー画像については、それぞれＲ、Ｇ、Ｂの３つのチャンネルの画素を方程式によって解くことができ、各チャンネルの解き過程は上記に説明された計算過程を参照でき、本願はここで一々詳しく説明しない。

図６は、本願の実施例に係る別の顔表情合成方法のシグナリング図であり、本実施例は電子機器の各構成ハードウェアの観点から説明するが、本実施例に説明されるこの実現方式に限定されない。図６に示すように、該方法は、以下のステップＳ６０１〜ステップＳ６１０を含んでもよい。

ステップＳ６０１において、画像コレクターはターゲットオブジェクトに対して画像収集を行って、処理待ち顔画像を得る。

本願では、顔認証技術を組み合わせて収集された画像を識別し、現在収集された画像に含まれるターゲットオブジェクトの顔情報を特定し、該画像を処理待ち顔画像とし、又は該画像の顔画像を処理待ち顔画像として抽出し、本願はこれを限定しない。

ステップＳ６０２において、画像コレクターは処理待ち顔画像をプロセッサに送信する。

なお、プロセッサが処理待ち顔画像を取得する方式は、本実施例で説明される画像コレクターが収集してプロセッサに送信する方式に限定されず、上記図２に対応する実施例の対応する部分で説明されたように、ローカルに記憶されたターゲットオブジェクトに関する複数の画像を取得し、次に、図７に示すように、ユーザが自分の需要に応じて、その中から１つの画像を、処理待ち顔画像として選択してもよく、本願はここで一々詳しく説明しない。

ステップＳ６０３において、プロセッサは処理待ち顔画像の第１顔特徴点を識別する。

図３に示すように、本願は顔特徴点位置決めアルゴリズムで、該処理待ち顔画像を処理することができ、自動的に位置決めされた複数の重要な顔特徴点は第１顔特徴点である。また、上記各部の位置する領域の形状を決定するように、必要に応じて、特定された重要な顔特徴点をマーキングすることができ、本願は重要な顔特徴点のマーキング方法を限定しない。

ステップＳ６０４において、プロセッサは第１顔特徴点のマーキング情報を利用して、処理待ち顔画像におけるターゲット合成領域の第１領域画像を決定する。

処理待ち顔画像の第１顔特徴点が眉毛、目、鼻、口及び顔の輪郭線に位置するため、得られた複数の重要な顔特徴点のマーキング情報に基づいて、ターゲットオブジェクトの各部（例えば、目、鼻、口、眉毛及び顔など）の形状、例えば、口領域、目領域、鼻領域等々を得ることができ、本実施例は口領域の置き換えのみを例として説明し、他の領域の置き換え方式はこれと類似し、本願はここで一々詳しく説明しない。

それにより、ターゲット合成領域は処理待ち顔画像における口領域であってもよく、第１領域画像は該処理待ち顔画像における口領域画像である。上記図３に示すように、重要な口特徴点を接続することによって、口領域及びその画像を決定することができるが、これに限定されない。

つまり、処理待ち顔画像におけるターゲット合成領域の第１顔特徴点に対応する多角形の図形を取得し、該多角形の図形の頂点はターゲット合成領域の第１顔特徴点であり、その辺は、通常、該第１顔特徴点を含まない。その後、該多角形の図形に対応する画像を、処理待ち顔画像の置き換える必要がある第１領域として抽出する。

ステップＳ６０５において、プロセッサは第１領域画像及び処理待ち顔画像における他の領域画像に対して肌色検出を行い、第１領域画像の第１肌色情報及び他の領域画像の第２肌色情報を決定する。

本願では、例えば、ＯｐｅｎＣＶ皮膚検出アルゴリズム、異なる色空間領域分割に基づく皮膚アルゴリズムなどで、処理待ち顔画像の第１領域画像及び他の領域画像（特に、ターゲット合成領域と隣接する領域画像）に対する肌色検出を実現することができ、画像の肌色検出の実現過程については、本願はここで詳しく説明しない。本願は、得られた第１肌色情報及び第２肌色情報に含まれる内容、例えば、対応する部分の画素値などを限定しない。

それにより、上記第１肌色情報は、ターゲットオブジェクトの処理待ち顔画像の置き換える必要がある領域画像の肌色情報、即ち、口領域の肌色情報であり、第２肌色情報は、ターゲットオブジェクトの口以外の他の領域画像の肌色情報である。

本願の別の実施例として、本願は、上記方式で、処理待ち顔画像におけるターゲット合成領域のみに対して肌色検出を行って、対応する第１肌色情報を得てもよい。

ステップＳ６０６において、プロセッサは表情素材画像ライブラリを読み取り、第１肌色情報及び前記第２肌色情報とマッチングするターゲット表情素材画像を選別する。

本実施例では、表情素材画像ライブラリに対して画像選別を行うときに、ターゲット合成領域の肌色情報及び他の領域の肌色情報を同時に考慮し、得られたターゲット表情素材画像の精度を向上させ、さらに、最終的に得られた合成画像の肌色全体が自然で、滑らかであることを確保する。

本願の別の実施例として、実際のアプリケーションでは、ターゲットオブジェクトの顔の他の部分画像（即ち、ターゲット合成領域以外の領域の画像）を変える必要がない場合、顔の他の部分の肌色差異状況を考慮せず、第１ターゲット領域の肌色マッチング度を直接考慮してもよく、つまり、第１肌色情報とマッチングするターゲット表情素材画像を直接選別する。

なお、上記異なる選別方式の説明に基づき、本願では、表情素材画像ライブラリにおける各表情素材画像の分類記憶方式は異なる。第１肌色情報及び第２肌色情報を利用してターゲット表情素材画像の選別を行う必要がある場合、ターゲット合成領域の肌色情報及び他の領域の肌色情報などの少なくとも２つの標準に基づいて分類記憶を行うことができる。第１肌色情報を利用してターゲット表情素材画像の選別を行う必要がある場合、各表情素材画像のターゲット合成領域（即ち、上記ターゲットオブジェクトの顔表情と合成する領域）の肌色情報に基づいて分類記憶を行うことができる。本願は各表情素材画像の分類記憶方式を限定しない。

好ましくは、本願では、フォーム方式で各表情素材画像の顔画像領域、各部領域及び対応する肌色情報の記憶を実現することができ、このように、該フォームの選別条件（例えば、上記第１肌色情報及び第２肌色情報、又は第２肌色情報又は第１肌色情報のみ）を特定した後、それと該フォームの対応する項目の肌色情報とを比較し、例えば、第１肌色情報と第１ターゲット領域に対応する各表情素材画像の領域画像の肌色情報とを比較し、第２肌色情報と各表情素材画像の顔画像の肌色情報とを比較し、それにより、該第１肌色情報及び第２肌色情報とマッチングするターゲット表情素材画像を選別する。

本願の別の実施例として、表情素材画像を選別する前、本願は、表情素材画像の肌色情報と第１肌色情報とのマッチング値（例えば、類似値）の第１範囲、及び表情素材画像の肌色情報と第２肌色情報とのマッチング値の第２範囲を予め設定してもよい。このように、選別するときに、各表情素材画像の肌色情報に、第１肌色情報及び第２肌色情報の両方と同じ表情素材画像が存在するか否かを検出することができ、存在する場合、それを直接ターゲット素材画像とすることができ、存在しない場合、第２肌色情報とのマッチング度が第２範囲内にある表情素材画像に、第１肌色情報と最もマッチングする肌色情報に対応する表情素材画像をターゲット表情素材画像として選別し、又は第１肌色情報とのマッチング度が第１範囲内にある表情素材画像に、第２肌色情報と最もマッチングする肌色情報に対応する表情素材画像をターゲット表情素材画像として選別することができる。ユーザの設定に従って決められ、本願はこれを限定しない。

好ましくは、各表情素材画像の肌色情報に、第１肌色情報及び第２肌色情報の両方と同じ表情素材画像が存在しないと検出した場合、第１肌色情報とのマッチング度が第１範囲内にある表情素材画像、及び第２肌色情報とのマッチング度が第２範囲内にある複数の表情素材画像を選別し、これら複数の表情素材画像を表示し、ユーザが個人的な興味に応じて１つをターゲット表情素材画像として選択してもよい。

勿論、第１肌色情報又は第２肌色情報とマッチングするターゲット表情素材画像のみを選別する必要がある場合、第１肌色情報とマッチングするターゲット表情素材画像の選別を例として説明し、まず、各表情素材画像の肌色情報に、第１肌色情報と同じ表情素材画像が存在するか否かを検出し、存在する場合、それを直接ターゲット素材画像とすることができ、存在しない場合、該第１肌色情報と最もマッチングする肌色情報に対応する表情素材画像をターゲット表情素材画像として選別することができる。

好ましくは、本願の表情素材画像ライブラリは、電子機器のローカルに位置してもよく、ネットワーク側に位置してもよく、電子機器により第１肌色情報及び第２肌色情報がネットワーク側に送信されて、選別が行われ、選別されたターゲット表情素材画像が電子機器にフィードバックされ、過程は本実施例と類似し、本願は例を挙げて説明しない。

ステップＳ６０７において、プロセッサはターゲット表情素材画像の第２顔特徴点を識別し、第２顔特徴点を利用して、ターゲット表情素材画像におけるターゲット合成領域の第２領域画像を決定する。

ターゲット表情素材画像の第２顔特徴点の識別、及び第２領域画像の特定の実現方法は、上記処理待ち顔画像の第１顔特徴点の識別、及び第１領域画像の特定の実現方法についての説明を参照でき、本実施例はここで繰り返し説明しない。

実際のアプリケーションでは、ターゲット表情素材画像の第２顔特徴点（即ち、ターゲット表情素材の重要な特徴点、図３に示される黒い点）を特定した後、予め設定された要件に従って、処理待ち顔画像と合成するための第２領域画像を選択することができる。予め設定された要件は、処理待ち顔画像の置き換える必要がある第１領域画像に基づいて決められ、ターゲット合成領域を示す情報、例えば、ターゲット合成領域の空間座標などを含んでもよい。本願は該予め設定された要件に含まれる内容を限定しない。

上記図４ａ、図４ｂ、図４ｃ及び図４ｄに示すように、ターゲット合成領域は図４ａの口領域であり、従って、本実施例では、選別によって、図４ｂに示されるターゲット表情素材画像を得た後、重要な特徴点からなる多角形の図形を利用して、図４ｄに示される口領域の画像、即ち、第２領域画像を得ることができる。つまり、ターゲット表情素材画像におけるターゲット合成領域の第２顔特徴点からなる多角形の図形を取得し、該多角形の図形に対応する第２領域画像を抽出して、ターゲット表情素材画像の、処理待ち顔表情と合成するための領域画像を得る。

好ましくは、取得された第２領域画像を処理待ち顔画像の置き換える必要がある領域と合致させ、つまり、得られた図４ｄに示される口領域の画像を図４ａに示される処理待ち顔画像に融合し、該口寸法と顔寸法との関係を調和させることを確保するために、予め複数のサンプルユーザの顔画像によって得られた顔画像３次元モデルを利用して実現することができる。好ましくは、まず、顔画像３次元モデルにターゲット領域を特定し、次に、それぞれターゲットオブジェクトの処理待ち顔画像及びターゲット表情素材画像を該３次元モデルにマッピングし、それにより、第１領域画像及び第２領域画像を取得し、第１領域画像と第２領域画像を揃えて合致させることを確保する。

本願は、第２領域画像に対して拡大縮小処理を行うことにより、処理後の第２領域画像と処理待ち顔画像を全体的に調和させ、図４ｅに示される第２領域画像が小さすぎるなどの調和しない状況が発生し、得られる合成画像全体が不自然であることを回避することができる。

本願の別の実施例として、本願は、選別によってターゲット表情素材画像を得た後、且つ第２領域画像を抽出する前、ターゲット表情素材画像全体に対して拡大縮小処理を行ってもよく、それにより、処理後のターゲット表情素材画像と処理待ち顔画像を揃え、抽出された第２領域画像の処理待ち顔画像への合成の調和等々を確保する。

なお、第１領域画像及び第２領域画像の取得方法は、上記に説明された実現方式に限定されず、座標位置決めなどの方式で特定してもよく、本願はここで一々詳しく説明しない。

ステップＳ６０８において、プロセッサはポアソン融合方式で、第２領域画像を処理待ち顔画像に合成して、ターゲットオブジェクトのターゲット顔画像を得る。

好ましくは、上記実施例のポアソン融合方式の説明を参照し、ステップＳ６０８は、第２領域画像の画素及びその対応隣接画素を利用して、第２領域画像の画素勾配を計算するステップと、ポアソンアルゴリズムで第２領域画像を前記処理待ち顔画像に合成し、得られた合成画像の画素勾配を計算するステップと、合成画像の画素勾配が第２領域画像の画素勾配に等しいと確認した場合、該合成画像をターゲットオブジェクトのターゲット顔画像とするステップと、逆に、合成画像の画素勾配が第２領域画像の画素勾配に等しくないと確認した場合、合成画像の画素勾配が第２領域画像の画素勾配に等しくなるまで、第２領域画像の画素を調整して、得られるターゲット顔画像の調和を確保するステップと、を含んでもよい。

ステップＳ６０９において、プロセッサは得られたターゲット顔画像をディスプレイに送信する。

好ましくは、合成画像の共有を実現するように、プロセッサは得られたターゲット顔画像をメモリに送信して記憶してもよく、又はネットワーク側に送信してもよく、本願はその実現方法を限定しない。

ステップＳ６１０において、ディスプレイは該ターゲット顔画像を表示する。

本実施例では、ディスプレイに表示された図４ｆに示される合成画像に基づいて、ユーザにとって必要な画像であるか否かを判断することができ、ＮＯである場合、ユーザに期待される合成画像を得るように、上記方式で改めて画像合成を行うことができる。

以上のように、本実施例では、処理待ち顔画像の置き換える必要がある領域の肌色情報、及び他の領域の肌色情報を組み合わせて、ターゲット表情素材画像の選別を実現し、ターゲット表情素材画像におけるターゲット合成領域の領域画像と処理待ち顔画像との合致度を大幅に向上させ、得られた合成画像の肌色全体が調和し、自然であることを確保し、顔器官の位置決めを確保し、領域画像の表情の細部を保留し、それにより、得られた合成画像はより鮮明になり、顔表情画像の合成効率を向上させる。

本願に係る顔表情合成技術案の上記説明に基づき、ソーシャルプラットフォームなどの実際のアプリケーションでは、楽しみを増すために、上記画像合成方法を利用して、自分で選択した２つの顔画像に対して表情交換を行い、又は選択した１つの顔画像のある領域画像を利用して別の顔画像の対応する領域画像を置き換えることにより、顔の表情を変える結果を取得することができ、例えば、怒っているオブジェクトを喜んでいるオブジェクトに変える。

好ましくは、図８に示される顔表情合成方法のフローチャート図を参照し、ユーザがオブジェクトＡ（図９ａ又は図９ｄ）の口の表情を置き換えようとする場合、上記方式で、オブジェクトＡ及びその口領域の肌色情報を組み合わせて、画像合成を実現するオブジェクトＢの画像を選択することができる。例えば、図９ａに示される処理待ち顔画像に対して、図９ｂに示されるターゲット表情素材画像を選別し、図９ｄに示される処理待ち顔画像に対して、図９ｅに示されるターゲット表情素材画像を選別する。その後、領域画像の抽出及び前処理を行い、ポアソン融合アルゴリズムで、オブジェクトＢの口領域をオブジェクトＡの画像に融合し、それにより、オブジェクトＡはオブジェクトＢの口の表情を有する。例えば、図９ｃに示される合成画像は、図９ａの口を閉じて笑う口を、図９ｂに示される口を開けて笑う口に置き換え、図９ｆに示される合成画像は、図９ｄの歯をむき出して笑う口を、図９ｅに示される舌を出す口に置き換える。

それにより、本願は上記方式でターゲットオブジェクトの様々な表情を得ることができ、ユーザが顔表情を使用するときの楽しみを増す。

なお、本願の上記ターゲット合成領域は口領域に限定されず、目領域、鼻領域等々であってもよく、実現方法は類似し、本願はここで一々詳しく説明しない。

図１０は、本願の実施例に係る顔表情合成装置の構造ブロック図であり、該装置は電子機器に適用され、該電子機器は端末機器又はサーバなどであってもよく、つまり、本願に係る該装置は端末側又はネットワーク側に適用でき、構成構造が同じであり、本願はこれをそれぞれ説明しない。本実施例では、該装置は、画像取得モジュール１０１と、画像処理モジュール１０２と、画像選別モジュール１０３と、画像抽出モジュール１０４と、画像融合モジュール１０５と、を備えてもよい。

画像取得モジュール１０１は、ターゲットオブジェクトの処理待ち顔画像を取得するように構成される。

好ましくは、本願では、画像取得モジュール１０１は、画像コレクターを介して処理待ち顔画像を取得してもよく、通信インタフェースを介して他の機器から伝送された処理待ち顔画像を取得してもよく、本願はこれを限定しない。

画像処理モジュール１０２は、顔認証技術を使用して前記処理待ち顔画像を処理し、前記処理待ち顔画像の肌色情報を得るように構成される。

好ましくは、図１１に示すように、該画像処理モジュール１０２は、
前記処理待ち顔画像の第１顔特徴点を識別するように構成される第１顔特徴点識別ユニット１０２１と、
前記第１顔特徴点を利用して、前記処理待ち顔画像におけるターゲット合成領域の第１領域画像を決定するように構成される第１領域画像決定ユニット１０２２と、
前記第１領域画像に対して肌色検出を行って、第１肌色情報を得るように構成される第１肌色検出ユニット１０２３と、を備えてもよい。

顔特徴点の抽出及び画像の肌色検出方法は、上記実施例の対応する部分の説明を参照でき、本実施例はここで繰り返し説明しない。

また、図１１に示すように、該画像処理モジュール１０２は、
前記処理待ち顔画像における他の領域画像に対して肌色検出を行って、第２肌色情報を得るように構成される第２肌色検出ユニット１０２４をさらに備えてもよい。

画像処理モジュール１０２の異なる構成は、ターゲット表情素材画像を選別する選別根拠が異なるように構成される。

画像選別モジュール１０３は、表情素材画像ライブラリにおいて、前記肌色情報とマッチングするターゲット表情素材画像を選別するように構成される。

本願では、画像処理モジュール１０２が第１肌色情報又は第２肌色情報のみを取得する場合、該画像選別モジュール１０３は、第１肌色情報又は第２肌色情報とマッチングするターゲット表情素材画像を選別するように構成され、画像処理モジュール１０２が第１肌色情報及び第２肌色情報を取得する場合、該画像選別モジュール１０３は、第１肌色情報及び第２肌色情報とマッチングするターゲット表情素材画像を選別するように構成される。

異なる選別方式に対して、表情素材画像ライブラリ内に各表情素材画像を記憶する方式は異なってもよく、内容は上記方法実施例の対応する部分の説明を参照できる。

画像抽出モジュール１０４は、前記ターゲット表情素材画像において、ターゲット合成領域に対応する領域画像を抽出するように構成される。

好ましくは、図１２に示すように、画像抽出モジュール１０４は、
前記ターゲット表情素材画像の第２顔特徴点を識別するように構成される第２顔特徴点識別ユニット１０４１と、
前記第２顔特徴点を利用して、前記ターゲット表情素材画像において、ターゲット合成領域に対応する第２領域画像を決定するように構成される第２領域画像決定ユニット１０４２と、を備えてもよい。

画像融合モジュール１０５は、前記領域画像と前記処理待ち顔画像に対してポアソン融合処理を行って、前記ターゲットオブジェクトのターゲット顔画像を得るように構成される。

好ましくは、図１３に示すように、該画像融合モジュール１０５は、
前記領域画像の画素及びその対応隣接画素を利用して、前記領域画像の画素勾配を計算するように構成される画素勾配計算ユニット１０５１と、
ポアソンアルゴリズムで前記領域画像を前記処理待ち顔画像に合成し、得られた合成画像の画素勾配を計算するように構成される画像合成ユニット１０５２と、
前記合成画像の画素勾配が前記領域画像の画素勾配に等しいと確認した場合、前記合成画像を前記ターゲットオブジェクトのターゲット顔画像とするように構成されるターゲット顔画像特定ユニット１０５３と、
前記合成画像の画素勾配が前記領域画像の画素勾配に等しくないと確認した場合、前記合成画像の画素勾配が前記領域画像の画素勾配に等しくなるまで、前記領域画像の画素を調整するように構成される領域画像調整ユニット１０５４と、を備えてもよい。

本願の別の実施例として、上記各実施例に基づき、該装置は、
前記処理待ち顔画像に基づいて、前記ターゲット表情素材画像に対して拡大縮小処理を行って、処理後のターゲット表情素材画像が前記処理待ち顔画像に揃うようにするように構成される画像調整モジュールをさらに備えてもよい。

なお、画像融合処理の前に、領域画像の調整方法は画像調整モジュールの方式に限定されず、上記方法実施例の対応する部分の説明を参照でき、本実施例はここで繰り返し説明しない。

以上のように、本願では、ターゲットオブジェクトの処理待ち顔画像のある領域の表情画像を変更する必要がある場合、該領域の肌色情報及び他の領域の肌色情報に基づいて、肌色がマッチングするターゲット表情素材画像を選択することができ、それにより、該ターゲット表情素材画像から得られるターゲット合成領域の領域画像を処理待ち顔画像に合成して得られる合成画像の肌色全体が調和することを確保し、且つ領域画像の表情の細部を保留し、合成画像がより鮮明になる。本願は顔特徴点に基づきターゲット合成領域を位置決めするため、置き換える必要がある器官の位置決め精度を確保し、顔表情画像の合成効率を向上させる。

以上、主に顔表情合成装置の機能モジュールを説明し、以下、ハードウェア構成の観点から、電子機器のハードウェア構造を説明する。

上記図１に示される電子機器のハードウェア構造図を参照し、該電子機器は、通信インタフェース１１、メモリ１２及びプロセッサ１３を備えてもよい。

通信インタフェース１１は、他の機器との通信を実現し、又はローカルメモリ１２に記憶された表情素材画像を読み取るように構成される。

メモリ１２は、上記顔表情合成方法を実現する複数の命令を記憶するように構成される。

プロセッサ１３は、
ターゲットオブジェクトの処理待ち顔画像を取得し、顔認証技術を使用して前記処理待ち顔画像を処理し、前記処理待ち顔画像の肌色情報を得る命令と、
表情素材画像ライブラリにおいて、前記肌色情報とマッチングするターゲット表情素材画像を選別する命令と、
前記ターゲット表情素材画像において、ターゲット合成領域に対応する領域画像を抽出する命令と、
前記領域画像と前記処理待ち顔画像に対してポアソン融合処理を行って、前記ターゲットオブジェクトのターゲット顔画像を得る命令と、を含む、メモリ１２に記憶された複数の命令をロードして実行するように構成される。

本願の実施例はさらに記憶媒体を提供する。好ましくは、本実施例では、上記記憶媒体には、実行するときにデータロード方法を実行するように構成されるコンピュータプログラムが記憶されている。

好ましくは、本実施例では、上記記憶媒体は、上記実施例に示されるネットワークにおける複数のネットワーク機器のうちの少なくとも１つのネットワーク機器に位置してもよい。

好ましくは、本実施例では、記憶媒体は、
ターゲットオブジェクトの処理待ち顔画像を取得し、顔認証技術を使用して前記処理待ち顔画像を処理し、前記処理待ち顔画像の肌色情報を得るステップＳ１と、
表情素材画像ライブラリにおいて、前記肌色情報とマッチングするターゲット表情素材画像を選別するステップＳ２と、
前記ターゲット表情素材画像において、ターゲット合成領域に対応する領域画像を抽出するステップＳ３と、
前記領域画像と前記処理待ち顔画像に対してポアソン融合処理を行って、前記ターゲットオブジェクトのターゲット顔画像を得るステップＳ４と、を実行するためのプログラムコードを記憶するように構成される。

好ましくは、記憶媒体はさらに、前記処理待ち顔画像の第１顔特徴点を識別するステップと、前記第１顔特徴点を利用して、前記処理待ち顔画像におけるターゲット合成領域の第１領域画像を決定するステップと、前記第１領域画像に対して肌色検出を行って、第１肌色情報を得るステップと、を実行するためのプログラムコードを記憶するように構成される。

好ましくは、記憶媒体はさらに、表情素材画像ライブラリにおいて、前記第1肌色情報とマッチングするターゲット表情素材を選別するステップを実行するためのプログラムコードを記憶するように構成される。

好ましくは、記憶媒体はさらに、前記処理待ち顔画像における他の領域画像に対して肌色検出を行って、第２肌色情報を得るステップを実行するためのプログラムコードを記憶するように構成され、表情素材画像ライブラリにおいて、前記肌色情報とマッチングするターゲット表情素材画像を選別するステップは、表情素材画像ライブラリにおいて、前記第１肌色情報及び前記第２肌色情報とマッチングするターゲット表情素材を選別するステップを含む。

好ましくは、記憶媒体はさらに、前記ターゲット表情素材画像の第２顔特徴点を識別するステップと、前記第２顔特徴点を利用して、前記ターゲット表情素材画像において、ターゲット合成領域に対応する第２領域画像を決定するステップと、を実行するためのプログラムコードを記憶するように構成される。

好ましくは、記憶媒体はさらに、前記ターゲット表情素材画像において、ターゲット合成領域に対応する領域画像を抽出する前、前記処理待ち顔画像に基づいて、前記ターゲット表情素材画像に対して拡大縮小処理を行って、処理後のターゲット表情素材画像が前記処理待ち顔画像に揃うステップを実行するためのプログラムコードを記憶するように構成される。

好ましくは、記憶媒体はさらに、前記ターゲット表情素材画像におけるターゲット合成領域の顔特徴点に対応する多角形の図形を取得するステップであって、前記多角形の図形の頂点が前記ターゲット合成領域の顔特徴点であるステップと、前記多角形の図形に対応する画像を、処理待ち顔表情と合成するための領域画像として抽出するステップと、を実行するためのプログラムコードを記憶するように構成される。

好ましくは、記憶媒体はさらに、前記領域画像の画素及びその対応隣接画素を利用して、前記領域画像の画素勾配を計算するステップと、ポアソンアルゴリズムで前記領域画像を前記処理待ち顔画像に合成し、得られた合成画像の画素勾配を計算するステップと、前記合成画像の画素勾配が前記領域画像の画素勾配に等しいと確認した場合、前記合成画像を前記ターゲットオブジェクトのターゲット顔画像とするステップと、前記合成画像の画素勾配が前記領域画像の画素勾配に等しくないと確認した場合、前記合成画像の画素勾配が前記領域画像の画素勾配に等しくなるまで、前記領域画像の画素を調整するステップと、を実行するためのプログラムコードを記憶するように構成される。

好ましくは、本実施例の具体的な例は上記実施例に説明された例を参照でき、本実施例はここで繰り返し説明しない。

好ましくは、本実施例では、上記記憶媒体は、Ｕディスク、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、モバイルディスク、磁気ディスク又は光ディスクなどのプログラムコードを記憶できる様々な媒体を含むが、それらに限定されない。

本明細書の各実施例は進歩的な方法で説明され、各実施例の説明の焦点は、他の実施例との相違点であり、各実施例の同一又は類似の部分については、相互に参照をしてもよい。実施例に開示されている装置及び電子機器は、実施例に開示されている方法に対応するので、簡単に説明され、関連部分については方法部分の説明を参照すればよい。

当業者であれば、本明細書に開示されている実施例に説明された各例のユニット及びアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア又はそれら２つの組み合わせで実現可能であることを理解でき、ハードウェアとソフトウェアとの交換性を明瞭に説明するために、上記の説明では、機能の観点から各例の構成及びステップを一般的に説明した。これらの機能がハードウェアそれともソフトウェア形態で実行されるかは、技術案の特定応用及び設計制約条件に決められる。当業者は各特定の応用に対して異なる方法で説明された機能を実現することができ、この実現は本願の範囲を超えると見なされるべきではない。

本明細書に開示されている実施例に説明された方法又はアルゴリズムのステップは、直接ハードウェアや、プロセッサによって実行されるソフトウェアモジュールや、又はそれら２つの組み合わせで実施されてもよい。ソフトウェアモジュールは、ランダムアクセスメモリ（ＲＡＭ）、メモリ、読み出し専用メモリ（ＲＯＭ）、電気的プログラマブルＲＯＭ、電気的消去可能プログラマブルＲＯＭ、レジスタ、ハードディスク、リムーバブル磁気ディスク、ＣＤ−ＲＯＭ、又は技術分野において周知の他の形の任意の記憶媒体に配置されてもよい。

開示された実施例の上記説明によって、当業者は本願を実施又は使用することができる。これらの実施例の様々な変更は当業者にとって明らかである。本明細書に定義される一般原理は、本願の精神又は範囲を逸脱することなく他の実施例で実施されることができる。したがって、本願は本明細書に記載されるこれらの実施例に限定されるものではなく、本明細書に開示されている原理及び新しい特徴と一致している最大の範囲で認められるものとする。

１０１ 画像取得モジュール
１０２ 画像処理モジュール
１０３ 画像選別モジュール
１０４ 画像抽出モジュール
１０５ 画像融合モジュール

Claims (6)

1. 電子機器が実行する顔表情合成方法であって、
   ターゲットオブジェクトの処理待ち顔画像を取得し、前記処理待ち顔画像に対して肌色検出を行い、前記処理待ち顔画像の肌色情報を得るステップと、
   表情素材画像ライブラリにおいて、前記肌色情報とマッチングするターゲット表情素材画像を選別するステップと、
   前記処理待ち顔画像に基づいて、前記ターゲット表情素材画像に対して拡大縮小処理を行って、拡大縮小処理後のターゲット表情素材画像が前記処理待ち顔画像に揃うようにするステップと、
   前記処理待ち顔画像の第１顔特徴点を識別するステップと、
   前記第１顔特徴点を利用して、前記処理待ち顔画像におけるターゲット合成領域を決定し、および、前記ターゲット合成領域の第１領域画像を決定するステップと、
   前記ターゲット表情素材画像の第２顔特徴点を識別するステップと、
   前記第２顔特徴点を利用して、前記ターゲット表情素材画像において、前記ターゲット合成領域に対応する第２領域画像を抽出するステップと、 前記第２領域画像と前記処理待ち顔画像に対してポアソン融合処理を行って、前記ターゲットオブジェクトのターゲット顔画像を得るステップと、を含み、
   前記処理待ち顔画像の肌色情報を得るステップは、
   前記第１領域画像に対して肌色検出を行って、第１肌色情報を得ることと、
   前記処理待ち顔画像における他の領域画像に対して肌色検出を行って、第２肌色情報を得ることとを含み、
   前記表情素材画像ライブラリにおいて、前記肌色情報とマッチングするターゲット表情素材画像を選別するステップは、
   表情素材画像ライブラリにおいて、前記第１肌色情報及び前記第２肌色情報とマッチングするターゲット表情素材を選別することを含む、
   顔表情合成方法。
2. 前記ターゲット表情素材画像において、ターゲット合成領域に対応する領域画像を抽出するステップは、
   前記ターゲット表情素材画像におけるターゲット合成領域の顔特徴点に対応する多角形の図形を取得するステップであって、前記多角形の図形の頂点が前記ターゲット合成領域の顔特徴点であるステップと、
   前記多角形の図形に対応する画像を、処理待ち顔表情と合成するための領域画像として抽出するステップと、を含む、請求項１に記載の顔表情合成方法。
3. 前記領域画像と前記処理待ち顔画像に対してポアソン融合処理を行って、前記ターゲットオブジェクトのターゲット顔画像を得るステップは、
   前記領域画像の画素及びその対応隣接画素を利用して、前記領域画像の画素勾配を計算するステップと、
   ポアソンアルゴリズムで前記領域画像を前記処理待ち顔画像に合成し、得られた合成画像の画素勾配を計算するステップと、
   前記合成画像の画素勾配が前記領域画像の画素勾配に等しいと確認した場合、前記合成画像を前記ターゲットオブジェクトのターゲット顔画像とするステップと、
   前記合成画像の画素勾配が前記領域画像の画素勾配に等しくないと確認した場合、前記合成画像の画素勾配が前記領域画像の画素勾配に等しくなるまで、前記領域画像の画素を調整するステップと、を含む、請求項１に記載の顔表情合成方法。
4. 請求項１から３のいずれか一項に記載の方法を行うように構成された顔表情合成装置。
5. 電子機器であって、
   通信インタフェースと、
   請求項１から３のいずれか１項に記載の顔表情合成方法を実現する複数の命令を記憶するように構成されるメモリと、
   ターゲットオブジェクトの処理待ち顔画像を取得し、前記処理待ち顔画像に対して肌色検出を行い、前記処理待ち顔画像の肌色情報を得る命令と、表情素材画像ライブラリにおいて、前記肌色情報とマッチングするターゲット表情素材画像を選別する命令と、前記ターゲット表情素材画像において、ターゲット合成領域に対応する領域画像を抽出する命令と、前記領域画像と前記処理待ち顔画像に対してポアソン融合処理を行って、前記ターゲットオブジェクトのターゲット顔画像を得る命令と、を含む前記複数の命令をロードして実行するように構成されるプロセッサと、を備える、電子機器。
6. 顔表情合成装置のコンピュータに、前記請求項１から３のいずれか１項に記載の顔表情合成方法を実行させるためのコンピュータプログラム。

Images