JP5840528B2 - 顔画像合成装置及び顔画像合成方法 - Google Patents

Description

本発明は、画像合成（画像ブレンディング）技術に関する。

現在、多くの画像処理アプリケーションが存在しており、これら画像処理アプリケーションは、画像合成（画像ブレンディング）等のような様々な編集機能を有する。画像合成によれば、ユーザは、複数の画像から所望の新たな画像を生成することができる。画像合成には、例えば、被写体画像と背景画像との合成、被写体画像の或る一部（例えば、顔部）の他人画像の一部への置き換え等のように様々な利用形態がある。

しかしながら、画像合成により得られた画像には、違和感や不自然さが残る場合がある。そこで、下記各特許文献では、違和感や不自然さを残さない画像合成手法が提案されている。

特許文献１には、被写体画像から精度よく被写体抽出を行い、抽出された被写体の画像と背景画像との撮影条件の違いをなくした自然な合成画像を自動的に得る手法が提案されている。特許文献２には、対象者の顔画像からしみ又はしわを除去し、指定された年齢に対応するしみモデル又はしわモデルを当該対象者の顔画像に適用することで、指定された年齢に対応する顔画像を合成する手法が提案されている。特許文献３には、被写体像の顔画像部分を合成用の顔画像に置き換える手法が提案されている。

特開２０００−２０９４２５号公報 特開２００７−１２８１７１号公報 特開２０１０−８６１７８号公報

しかしながら、上述のような各手法は、転写元の顔画像におけるメークアップ（makeup）等のテクスチャ情報を転写先の顔画像に合成する形態に対してそのまま適用できるものではない。仮に適用できたとしても、テクスチャ情報を転写した顔画像から不自然さや違和感を取り払うことは困難である。

本発明は、上述のような課題に鑑みてなされたものであり、転写元顔画像のテクスチャ情報を違和感なく転写先顔画像に合成する技術を提供することにある。

本発明の各態様では、上述した課題を解決するために、それぞれ以下の構成を採用する。

第１の態様は、顔画像合成装置に関する。第１態様に係る顔画像合成装置は、転写元顔画像及び転写先顔画像を取得する画像取得部と、転写元顔画像及び転写先顔画像から、各顔で共通する複数の特徴点をそれぞれ取得する特徴取得部と、転写元顔画像及び転写先顔画像を、各特徴点を頂点とする複数の三角形状にそれぞれ区分けする区分部と、転写元顔画像の特徴点と転写先顔画像の特徴点との対応関係に基づいて、転写元顔画像が複数の三角形状に区分けされた各分割画像を、対応する転写先顔画像の三角形状にそれぞれ変形させるワーピング処理部と、ワーピング処理部による変形処理後のマスク画像における複数の分割画像の中の、マスク画像の外縁に位置する２つの特徴点を頂点とする複数の外縁分割画像を少なくとも含む分割画像群に対して、マスク画像と転写先顔画像との合成画像に対するマスク画像の合成割合を示すブレンディング重みが外縁に近づく程減少するブレンディング重み関数を適用することにより、マスク画像を補整する第１補整部と、転写先顔画像が複数の三角形状に区分けされた複数の分割画像の中の、外縁に位置する２つの特徴点を頂点とする複数の外縁分割画像を少なくとも含む分割画像群に対して、合成画像に対する転写先顔画像の合成割合を示す逆ブレンディング重みが外縁に近づく程増加するような逆ブレンディング重み関数を適用することにより、転写先顔画像を補整する第２補整部と、補整されたマスク画像と補整された転写先顔画像とを合成する合成処理部と、を備える。

第２の態様は、顔画像合成方法に関する。第２態様に係る顔画像合成方法は、少なくとも１台のコンピュータが、転写元顔画像及び転写先顔画像を取得し、転写元顔画像及び転写先顔画像から、各顔で共通する複数の特徴点をそれぞれ取得し、転写元顔画像及び転写先顔画像を、各特徴点を頂点とする複数の三角形状にそれぞれ区分けし、転写元顔画像の特徴点と転写先顔画像の特徴点との対応関係に基づいて、転写元顔画像が複数の三角形状に区分けされた各分割画像を、対応する転写先顔画像の三角形状にそれぞれ変形させ、転写元顔画像の各分割画像の変形後のマスク画像における複数の分割画像の中の、マスク画像の外縁に位置する２つの特徴点を頂点とする複数の外縁分割画像を少なくとも含む分割画像群に対して、マスク画像と転写先顔画像との合成画像に対するマスク画像の合成割合を示すブレンディング重みが外縁に近づく程減少するブレンディング重み関数を適用することにより、マスク画像を補整し、転写先顔画像が複数の三角形状に区分けされた複数の分割画像の中の、外縁に位置する２つの特徴点を頂点とする複数の外縁分割画像を少なくとも含む分割画像群に対して、合成画像に対する転写先顔画像の合成割合を示す逆ブレンディング重みが外縁に近づく程増加するような逆ブレンディング重み関数を適用することにより、転写先顔画像を補整し、補整されたマスク画像と補整された転写先顔画像とを合成する、ことを含む。

なお、本発明の他の態様としては、上記第１態様に係る各構成をコンピュータに実現させるプログラムであってもよいし、このようなプログラムを格納するコンピュータが読み取り可能な記憶媒体であってもよい。この記憶媒体は、非一時的な有形の媒体を含む。

上記各態様によれば、転写元顔画像のテクスチャ情報を違和感なく転写先顔画像に合成する技術を提供することができる。

第１実施形態における顔画像合成装置のハードウェア構成例を概念的に示す図である。 第１実施形態における顔画像合成装置の処理構成例を概念的に示す図である。 区分けされた三角形に対するワーピング処理の概念を示す図である。 第１実施形態における顔画像合成装置の動作例を示すフローチャートである。 マスク画像の形成過程を概念的に示す図である。 補整されたマスク画像と補整された転写先顔画像との合成過程を概念的に示す図である。 ブレンディング重み関数ｗ１（ｌ）及びその関数により補整されたマスク画像の例を示す図である。 ブレンディング重み関数ｗ２（ｌ）及びその関数により補整されたマスク画像の例を示す図である。 ブレンディング重み関数ｗ３（ｌ）及びその関数により補整されたマスク画像の例を示す図である。 ブレンディング重み関数ｗ４（ｌ）及びその関数により補整されたマスク画像の例を示す図である。 ブレンディング重み関数ｗ５（ｌ）及びその関数により補整されたマスク画像の例を示す図である。 各ブレンディング重み関数の官能評価結果を示す図である。 第２実施形態における顔画像合成装置の動作例を示すフローチャートである。 処理時間の比較例を示す図である。 第２実施形態における顔画像合成装置の別形態の動作例を示すフローチャートである。

以下、本発明の実施の形態について説明する。なお、以下に挙げる実施形態は例示であり、本発明は以下の実施形態の構成に限定されない。

本実施形態における顔画像合成装置は、転写元顔画像及び転写先顔画像を取得する画像取得部と、当該転写元顔画像及び当該転写先顔画像から、各顔で共通する複数の特徴点をそれぞれ取得する特徴取得部と、当該転写元顔画像及び当該転写先顔画像を、各特徴点を頂点とする複数の三角形状にそれぞれ区分けする区分部と、当該転写元顔画像の特徴点と当該転写先顔画像の特徴点との対応関係に基づいて、当該転写元顔画像が複数の三角形状に区分けされた各分割画像を、対応する転写先顔画像の三角形状にそれぞれ変形させるワーピング処理部と、このワーピング処理部による変形処理後のマスク画像における複数の分割画像の中の、マスク画像の外縁に位置する２つの特徴点を頂点とする複数の外縁分割画像を少なくとも含む分割画像群に対して、マスク画像と転写先顔画像との合成画像に対するマスク画像の合成割合を示すブレンディング重みが外縁に近づく程減少するブレンディング重み関数を適用することにより、マスク画像を補整する第１補整部と、当該転写先顔画像が複数の三角形状に区分けされた複数の分割画像の中の、外縁に位置する２つの特徴点を頂点とする複数の外縁分割画像を少なくとも含む分割画像群に対して、合成画像に対する転写先顔画像の合成割合を示す逆ブレンディング重みが外縁に近づく程増加するような逆ブレンディング重み関数を適用することにより、転写先顔画像を補整する第２補整部と、補整されたマスク画像と補整された転写先顔画像とを合成する合成処理部と、を有する。

また、本実施形態における顔画像合成方法は、少なくとも１台のコンピュータが、転写元顔画像及び転写先顔画像を取得し、当該転写元顔画像及び当該転写先顔画像から、各顔で共通する複数の特徴点をそれぞれ取得し、当該転写元顔画像及び当該転写先顔画像を、各特徴点を頂点とする複数の三角形状にそれぞれ区分けし、当該転写元顔画像の特徴点と当該転写先顔画像の特徴点との対応関係に基づいて、転写元顔画像が複数の三角形状に区分けされた各分割画像を、対応する転写先顔画像の三角形状にそれぞれ変形させ、転写元顔画像の各分割画像の変形後のマスク画像における複数の分割画像の中の、マスク画像の外縁に位置する２つの特徴点を頂点とする複数の外縁分割画像を少なくとも含む分割画像群に対して、マスク画像と転写先顔画像との合成画像に対するマスク画像の合成割合を示すブレンディング重みが外縁に近づく程減少するブレンディング重み関数を適用することにより、マスク画像を補整し、当該転写先顔画像が複数の三角形状に区分けされた複数の分割画像の中の、外縁に位置する２つの特徴点を頂点とする複数の外縁分割画像を少なくとも含む分割画像群に対して、合成画像に対する転写先顔画像の合成割合を示す逆ブレンディング重みが外縁に近づく程増加するような逆ブレンディング重み関数を適用することにより、転写先顔画像を補整し、補整されたマスク画像と補整された転写先顔画像とを合成する、ことを含む。

本実施形態では、転写元顔画像及び転写先顔画像が、各顔で共通する各特徴点を頂点とする複数の三角形状にそれぞれ区分けされ、転写元顔画像において区分けされた各分割画像が、転写先顔画像と転写元顔画像との各特徴点の対応関係に基づいて変形（ワーピング）される。転写元顔画像のワーピング処理により形成されるであろう画像がマスク画像と表記される。よって、マスク画像自体は、合成処理の中間段階において生成されてもよいし、中間段階では生成されず、合成画像内でのみ存在するものであってもよい。マスク画像は、転写元顔画像における特徴点で囲まれた領域の顔形状を、転写先顔画像における当該領域の顔形状に変形することにより得られる画像を示し、転写元の顔の当該領域のテクスチャ情報と転写先の顔の当該領域の顔形状とから形成される。

本実施形態では、当該マスク画像における複数の分割画像の中の、複数の外縁分割画像を少なくとも含む分割画像群がブレンディング重み関数によりそれぞれ補整され、転写先顔画像の複数の分割画像の中の、複数の外縁分割画像を少なくとも含む分割画像群が逆ブレンディング重み関数によりそれぞれ補整される。そして、このように補整されたマスク画像及び補整された転写先顔画像が合成される。これにより、生成された合成画像では、合成される顔領域の外縁に近い程、マスク画像の割合が低く、かつ、転写先画像の割合が高くなる。なお、ブレンディング重み関数又は逆ブレンディング重み関数の適用対象となる分割画像群とは、複数の外縁分割画像のみを含んでもよいし、それに加えて他の分割画像を含んでもよいことを意味する。

従って、本実施形態によれば、合成画像において、転写元顔画像のテクスチャが合成されたマスク領域の輪郭境界に近づく程、元の顔画像（転写先顔画像）の割合が高くなるため、合成画像の当該境界付近を自然な見栄えとすることができる。一方で、当該境界付近以外の他の部分については、転写元顔画像のテクスチャの割合が高くなるため、転写元の顔のテクスチャを十分に転写することができる。結果として、本実施形態によれば、転写元顔画像のテクスチャ情報を違和感なく転写先顔画像に合成することができる。

更に、本実施形態では、合成割合を示すブレンディング重みを決定するブレンディング重み関数が、各顔で共通する顔の特徴点で区分けされた分割画像群に対して適用される。これにより、本実施形態によれば、マスク画像の外縁付近に対して単純にぼかし処理を施して合成する手法に比べて、当該マスク領域の輪郭境界付近を顔のテクスチャや形状に対応するグラデーションにより合成することができるため、より自然な状態の合成画像とすることができる。

例えば、転写元顔画像を何らかの化粧料が施された化粧顔の画像とすれば、その化粧情報をテクスチャ情報として、転写先顔画像に違和感なく十分に反映させることができる。これによれば、実際に顔に化粧料を施すことなく、転写先顔画像に写る顔に様々な化粧料を様々な化粧方法で施した場合の化粧効果をそれぞれ模擬することができる。即ち、本実施形態における顔画像合成装置は、例えば、化粧品カウンタにおける化粧カウンセリングや化粧料の推奨等の販促ツールとして用いることもできる。

以下、上述の実施形態について更に詳細を説明する。
［第１実施形態］

〔装置構成〕
図１は、第１実施形態における顔画像合成装置１０のハードウェア構成例を概念的に示す図である。第１実施形態における顔画像合成装置１０は、いわゆるコンピュータであり、例えば、バス５で相互に接続される、ＣＰＵ（Central Processing Unit）２、メモリ３、入出力インタフェース（Ｉ／Ｆ）４等を有する。メモリ３は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ハードディスク、可搬型記憶媒体等である。

入出力Ｉ／Ｆ４は、入力部７、出力部９、ネットワーク（図示せず）を介して他のコンピュータと通信を行う通信装置等と接続される。入力部７は、キーボード、マウス等のようなユーザ操作の入力を受け付ける装置である。出力部９は、ディスプレイ装置やプリンタ等のようなユーザに情報を提供する装置である。なお、顔画像合成装置１０のハードウェア構成は制限されない。

図２は、第１実施形態における顔画像合成装置１０の処理構成例を概念的に示す図である。第１実施形態における顔画像合成装置１０は、画像取得部１１、特徴取得部１２、区分部１３、ワーピング処理部１４、マスク補整部１５、転写先補整部１６、合成処理部１７等を有する。これら各処理部は、例えば、ＣＰＵ２によりメモリ３に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力Ｉ／Ｆ４を介してインストールされ、メモリ３に格納されてもよい。

画像取得部１１は、転写元顔画像及び転写先顔画像の各画像データをそれぞれ取得する。各画像データは、可搬型記録媒体、他のコンピュータ等から入出力Ｉ／Ｆ４を経由して取得される。取得される画像データは、顔画像が含まれていれば特に限定されず、背景画像が含まれていても目元や口元等の顔の一部分の画像データであっても、いずれでも構わない。当該画像データは、例えば、ＪＰＥＧ形式、ＧＩＦ形式等のファイルとして取得される。以降、転写元顔画像及び転写先顔画像の画像データを単に転写元顔画像及び転写先顔画像とも表記する。

特徴取得部１２は、転写元顔画像及び転写先顔画像から、転写しようとする顔画像領域を特定するために用いられる、各顔で共通する複数の特徴点をそれぞれ取得する。取得される特徴点は、顔を構成する特徴的な部分を示す。このような顔の特徴点を抽出する技術は、顔認識技術等で利用されている周知の技術が利用されればよいため、ここでは説明を省略する。なお、当該特徴点は、マウス等の入力部７を用いたユーザ操作に応じて取得されるようにしてもよい。

区分部１３は、転写元顔画像及び転写先顔画像を、各特徴点を頂点とする複数の三角形状にそれぞれ区分けする。三角形状の頂点としてどの特徴点を選択するかは任意であるが、区分けされた複数の三角形状の平面が元の顔の立体的形状により近くなるように、頂点を選択するのが好ましい。この区分けでは、例えば、各三角形状を形成する３つの特徴点（座標）の組み合わせが特定される。

ワーピング処理部１４は、転写元顔画像の特徴点と転写先顔画像の特徴点との対応関係に基づいて、転写元顔画像が複数の三角形状に区分けされた各分割画像を、対応する転写先顔画像の三角形状にそれぞれ変形（ワーピング）させる。このような処理には、例えば、ピースワイズアフィン（Piecewise Affine）変換（以降、単にアフィン変換と表記する）が利用される。転写元顔画像の特徴点と転写先顔画像の特徴点との対応関係とは、各顔で共通する特徴点を対応付けた関係を示す。例えば、目頭と目尻とが特徴点に含まれる場合、転写元顔画像の目頭を示す点と転写先顔画像の目頭を示す点とが対応付けられ、転写元顔画像の目尻を示す点と転写先顔画像の目尻を示す点とが対応付けられる。ワーピング処理部１４は、ワーピング処理によりマスク画像自体を生成するようにしてもよい。

図３は、区分けされた三角形に対するワーピング処理の概念を示す図である。図３において、符号３１が転写元顔画像内の或る三角形を示し、符号３２が転写先顔画像内の対応する三角形を示す。つまり、Ｘ_１とＸ_１'、Ｘ_２とＸ_２'、Ｘ_３とＸ_３'がそれぞれ共通の特徴点の対応関係を示す。ワーピング処理部１４は、三角形３１を三角形３２に変形させる。

ここで、三角形３１内の任意の点をＸ＝［ｘ、ｙ］^Ｔ（Ｔは転置を示す）で示し、三角形３１の各頂点をＸ_１＝［ｘ_１、ｙ_１］^Ｔ、Ｘ_２＝［ｘ_２、ｙ_２］^Ｔ、Ｘ_３＝［ｘ_３、ｙ_３］^Ｔで示した場合、任意の点Ｘは次の（式１）で示される。
Ｘ＝Ｘ_１＋β（Ｘ_２−Ｘ_１）＋γ（Ｘ_３−Ｘ_１）
＝αＸ_１＋βＸ_２＋γＸ_３ （式１）
α＝１−（β＋γ）

係数α、係数β及び係数γは、次の連立方程式を解くことで得られる。
（ｘ−ｘ_１）＝β（ｘ_２−ｘ_１）＋γ（ｘ_３−ｘ_１）
（ｙ−ｙ_１）＝β（ｙ_２−ｙ_１）＋γ（ｙ_３−ｙ_１）
なお、得られた係数α、係数β及び係数γが全て、０以上でかつ１以下の条件を満たす場合、その点Ｘがその三角形の内部の点である。

結果として、ワーピング後の三角形３２内の任意の点Ｘ'は、係数α、係数β及び係数γを用いて、次の（式２）で計算される。
Ｘ'＝αＸ_１'＋βＸ_２'＋γＸ_３' （式２）

ここで、係数βと係数γとの和は、図３に示されるように、各三角形内の任意の点（Ｘ、Ｘ'）における、各三角形の１つの頂点（Ｘ_１、Ｘ_１'）からその任意の点を通り他の２つの頂点間（Ｘ_２とＸ_３の間、Ｘ_２'とＸ_３'の間）を結ぶ辺までの距離に対する、当該１つの頂点（Ｘ_１、Ｘ_１'）から当該任意の点までの距離の割合を示す。このように、ワーピング処理部１４のアフィン変換において算出される係数β及び係数γは、後述するマスク補整部１５及び転写先補整部１６により利用される。

マスク補整部１５は、当該マスク画像に含まれる複数の分割画像のうち、マスク画像の外縁に位置する２つの特徴点を頂点とする複数の外縁分割画像を特定し、特定された複数の外縁分割画像に対してブレンディング重み関数を適用することによりマスク画像を補整する。マスク補整部１５は、本発明における第１特定部及び第１補整部に相当する。

外縁分割画像の特定には、様々な方法があり、本実施形態では、その方法を限定しない。その特定は、例えば、他の分割画像と共有しない辺を１つ以上持つ分割画像を検出することで実現されてもよいし、外縁に位置する特徴点を２つ以上持つ分割画像を検出することで実現されてもよい。

ブレンディング重み関数は、外縁を形成する画素に適用されるブレンディング重みを重み下限値（０）とし、外縁に位置する頂点以外の頂点（以降、内部頂点とも表記する）を形成する画素に適用されるブレンディング重みを重み上限値（０より大きく１以下の値）とし、その間の各画素に対して適用される各ブレンディング重みを、その画素が外縁から当該内部頂点へ近づくにつれて重み下限値から重み上限値へ徐々に遷移させる関数である。ブレンディング重み関数は、各外縁分割画像に含まれる各画素に適用される各ブレンディング重みを、内部頂点から各画素を通り外縁に位置する頂点間を結ぶ辺（以降、底辺とも表記する）までの距離に対する、その内部頂点から各画素までの距離の割合に応じて決定する。内部頂点においては転写元の顔のテクスチャを十分に転写するために、重み上限値は１に設定されることが望ましい。

よって、ブレンディング重み関数はｗ（ｌ）と表記することができる。変数ｌは、上記距離の割合を示す。マスク補整部１５は、上記係数β及び係数γをワーピング処理部１４から取得し、係数β及び係数γの和をブレンディング重み関数の入力（ｌ）として用いることにより、外縁分割画像内の各画素に適用される各ブレンディング重みをそれぞれ算出する。これにより、ブレンディング重みの演算を高速化することができる。ここで、画素にブレンディング重みを適用するとは、画素の輝度値にブレンディング重みの値を掛け合わせることを意味する。

転写先補整部１６は、転写先顔画像が複数の三角形状に区分けされた複数の分割画像のうち、外縁に位置する２つの特徴点を頂点とする複数の外縁分割画像を特定し、特定された複数の外縁分割画像に対して逆ブレンディング重み関数を適用することにより、転写先顔画像を補整する。転写先補整部１６は、本発明における第２特定部及び第２補整部に相当する。外縁分割画像の特定方法については、マスク補整部１５と同様である。

逆ブレンディング重み関数は、上記ブレンディング重みが示す合成割合の残りの割合、即ち、合成画像に対する転写先顔画像の合成割合を示す逆ブレンディング重みを出力する。逆ブレンディング重み関数は、外縁を形成する画素に適用される逆ブレンディング重みを上記重み上限値（０より大きく１以下の値）とし、内部頂点を形成する画素に適用される逆ブレンディング重みを重み下限値（０）とし、その間の各画素に対して適用される各逆ブレンディング重みを、その画素が外縁から当該内部頂点へ近づくにつれて重み上限値から重み下限値へ徐々に遷移させる関数である。よって、逆ブレンディング重み関数は、（１−ブレンディング重み関数ｗ（ｌ））である。

転写先補整部１６は、マスク補整部１５と同様に、ワーピング処理部１４により算出された係数β及び係数γの和を逆ブレンディング重み関数の入力（ｌ）として用いることにより、外縁分割画像内の各画素に適用される各逆ブレンディング重みをそれぞれ算出する。なお、転写先補整部１６は、マスク補整部１５により算出された各ブレンディング重みを取得し、マスク画像の外縁分割画像内の各画素と転写先顔画像の外縁分割画像内の各画素との対応関係に基づいて、取得された各ブレンディング重みから各逆ブレンディング重みを算出してもよい。逆ブレンディング重みは、１−ブレンディング重みで算出される。

転写先顔画像における外縁分割画像以外の分割画像で区分けされた領域については、合成割合が実質的に０に設定される。言い換えれば、当該領域については、輝度値が実質的に０に設定される。実質的に０とは、合成後に転写先顔画像のその領域のテクスチャが視認されない程度の値を意味する。

合成処理部１７は、マスク補整部１５により補整されたマスク画像と、転写先補整部１６により補整された転写先顔画像とを合成する。ここで、マスク顔画像をｆ_１で示し、転写先顔画像におけるマスク画像と合成される領域の画像（マスク領域画像）をｆ_２で示した場合、合成処理部１７により合成された顔画像におけるマスク領域画像ｆは、以下の式で表すことができる。ｗはブレンディング重み関数を示す。
ｆ＝ｗ・ｆ_１＋（１−ｗ）・ｆ_２

〔動作例〕
以下、第１実施形態における顔画像合成方法について説明する。図４は、第１実施形態における顔画像合成装置１０の動作例を示すフローチャートである。

第１実施形態における顔画像合成方法では、転写元顔画像に写る顔のテクスチャを転写先顔画像に転写するにあたり、まず、顔画像合成装置１０が、転写元顔画像及び転写先顔画像を取得する（Ｓ４１）。

顔画像合成装置１０は、転写元顔画像及び転写先顔画像から、各顔で共通する複数の特徴点をそれぞれ抽出し（Ｓ４２）、転写元顔画像及び転写先顔画像を、各特徴点を頂点とする複数の三角形状（分割画像）にそれぞれ区分けする（Ｓ４３）。

続いて、顔画像合成装置１０は、転写元顔画像の特徴点と転写先顔画像の特徴点との対応関係に基づいて、転写元顔画像の各分割画像を、対応する転写先顔画像の各三角形状にそれぞれ変形させる（Ｓ４４）。

図５は、マスク画像の形成過程を概念的に示す図である。符号５１は転写元顔画像を示し、符号５２は転写先顔画像を示す。図５の例では、転写元顔画像５１に写る顔には化粧が施されており、転写先顔画像５２に写る顔は未化粧顔である。符号５４及び５５は、転写元顔画像５１及び転写先顔画像５２が分割画像に区分けされるイメージをそれぞれ示す。なお、符号５１、５２、５４及び５５に示される画像では、個人情報保護の観点から目周辺が黒く塗りつぶされている。これは、本顔画像合成装置１０の処理に関連するものではない。

また、図５の例では、目を示す領域がマスク画像の対象から外されている。この場合には、区分部１３が目を示す領域を区分け対象とせず、ワーピング処理部１４が、特徴点で囲まれる領域の中から目を示す領域を除外して、ワーピング処理を適用するようにすればよい。このように、本実施形態における顔画像合成装置１０は、転写元顔画像の中の特徴点で囲まれる領域の中から、合成対象から除外する領域を指定させることもできる。この除外領域についての情報は、予めメモリ３に格納されていてもよいし、入力部７から入力されてもよい。

符号５７は、転写元顔画像における特徴点で囲まれた領域の画像、即ち、テクスチャを取得する顔領域の画像を示す。顔画像合成装置１０は、この顔領域画像５７をアフィン変換する。図５の例に示されるように、アフィン変換後のマスク画像５８では、転写元顔画像５１の当該領域のテクスチャ情報が残されつつ、その領域の顔形状は転写先顔画像５２の顔形状に変換される。

顔画像合成装置１０は、当該マスク画像に含まれる複数の分割画像の中から、マスク画像の外縁に位置する２つの特徴点を頂点とする複数の外縁分割画像を特定し、更に、転写先顔画像に含まれる複数の分割画像の中から、当該複数の外縁分割画像を特定する（Ｓ４５）。

顔画像合成装置１０は、マスク画像に関する少なくとも複数の外縁分割画像に対してブレンディング重み関数を適用することにより、マスク画像を補整する（Ｓ４６）。

更に、顔画像合成装置１０は、転写先顔画像に関する少なくとも複数の外縁分割画像に対して逆ブレンディング重み関数を適用することにより、転写先顔画像を補整する（Ｓ４７）。このとき、顔画像合成装置１０は、転写先顔画像における外縁分割画像以外の分割画像で区分けされた領域について、合成後にその領域のテクスチャが視認されないように合わせて補整する。

最後に、顔画像合成装置１０は、補整されたマスク画像と補整された転写先顔画像とを合成する（Ｓ４８）。

図６は、補整されたマスク画像と補整された転写先顔画像との合成過程を概念的に示す図である。符号６１は、補整された転写先顔画像を示し、符号６２は、補整されたマスク画像を示し、符号６３は、それらの合成画像を示す。なお、符号６３に示される画像では、個人情報保護の観点から目周辺が黒く塗りつぶされている。これは、本顔画像合成装置１０の処理に関連するものではない。また、図６の例では、図５の例と同様に、目を示す領域が合成対象から外されている。

なお、図４の例のフローチャートでは、複数のステップ（処理）が順番に記載されているが、本実施形態で実行される処理ステップの実行順序は、その記載の順番に制限されない。例えば、（Ｓ４６）及び（Ｓ４７）の順番は逆でもよいし、それらは並行に実行されてもよい。

〔第１実施形態の作用及び効果〕
このように、第１実施形態では、マスク画像の外縁分割画像に適用されるブレンディング重み関数が、外縁を形成する画素に適用されるブレンディング重みを０（重み下限値）とし、それ以外の内部頂点を形成する画素に適用されるブレンディング重みを０より大きく１以下の重み上限値とし、その間の各画素に対して適用される各ブレンディング重みを、その画素が外縁から当該内部頂点へ近づくにつれて重み下限値から重み上限値へ徐々に遷移させる。これにより、第１実施形態では、マスク画像の合成画像に対する合成割合が、顔の特徴点との位置関係において、顔の内側の特徴点（内部頂点）に近づく程高く、その内部頂点から外縁方向に離れる程低く設定される。

このように、第１実施形態によれば、顔の造形に応じて合成割合が適応的に変えられるため、転写元顔画像のテクスチャが転写されたマスク領域の輪郭境界を自然な見栄えとすることができると共に、当該マスク領域の内側については転写元顔画像のテクスチャを十分に反映させることができる。

また、第１実施形態によれば、ブレンディング重み関数又は逆ブレンディング重み関数の適用対象を外縁分割画像のみとしている。このように関数の適用対象を絞ったとしても、転写先顔画像のマスク領域及びマスク画像の中では、外縁分割画像が外縁周辺領域のほとんどをカバーしているため、上述のような効果は薄れることがない。

更に、第１実施形態によれば、ブレンディング重み関数及び逆ブレンディング重み関数の関数適用単位を外縁分割画像単位としている。これにより、第１実施形態では、ブレンディング重みを得るためのブレンディング重み関数の入力に、アフィン変換において各分割画像内の任意の点を各頂点との関係で示すために算出される係数（β及びγ）を用いることができる。結果、当該ブレンディング重みの算出負荷を低減することができ、当該ブレンディング重みを用いたことによる処理負荷及び処理時間の増加を抑制することができる。言い換えれば、第１実施形態によれば、ブレンディング重みを用いない合成処理と略同様の処理速度を実現することができる。

以下に実施例を挙げ、上述の第１実施形態を更に詳細に説明する。本発明は以下の実施例から何ら限定を受けない。

実施例１として、上述のブレンディング重み関数ｗ（ｌ）の複数の具体例について説明する。ここでは、以下に示す５つのブレンディング重み関数が例に挙げられる。なお、ｌは、０以上１以下の値であり、ｅｘｐ｛｝は指数関数を示す。

図７Ａは、ブレンディング重み関数ｗ１（ｌ）及びその関数により補整されたマスク画像の例を示す図である。図７Ｂは、ブレンディング重み関数ｗ２（ｌ）及びその関数により補整されたマスク画像の例を示す図である。図７Ｃは、ブレンディング重み関数ｗ３（ｌ）及びその関数により補整されたマスク画像の例を示す図である。図７Ｄは、ブレンディング重み関数ｗ４（ｌ）及びその関数により補整されたマスク画像の例を示す図である。図７Ｅは、ブレンディング重み関数ｗ５（ｌ）及びその関数により補整されたマスク画像の例を示す図である。

以下、上述の各ブレンディング重み関数の官能評価結果について説明する。各ブレンディング重み関数を用いて合成された各合成画像を刺激として用いた一対比較法によりアンケート調査が行われた。具体的には、３種類の化粧顔画像が転写元顔画像として用いられ、各化粧顔画像から６種類の方法（タイプ０からタイプ５）で合成画像がそれぞれ生成される。タイプ０は、本実施形態とは異なる手法、即ち、補整なく合成する手法であり、タイプ１から５は、上述のブレンディング重み関数ｗ１（ｌ）からｗ５（ｌ）を用いる手法である。

アンケート調査では、同一の化粧顔画像から生成された６枚の合成画像からランダムに抽出された２枚の合成画像の各組について、１０名の評価者（男子５名、女子５名）が次のように評価する。各評価者は、一方（例えば左）の画像を基準とした他方（例えば右）の画像を、２つの評価項目について、−３点から３点で採点する。第１評価項目は、自然か否かであり、第２評価項目は、テクスチャ（化粧）が十分に転写されているか否かである。

図８は、各ブレンディング重み関数の官能評価結果を示す図である。図８には、２つの評価項目に関し、各タイプの合成画像の平均スコアがそれぞれ示されている。図８によれば、どのブレンディング重み関数を用いたとしても本実施形態の手法で生成された合成画像は、補整なく合成する手法（タイプ０）で生成された合成画像よりも自然な状態であることが証明された。また、テクスチャの転写についても、タイプ４のブレンディング重み関数によれば、タイプ０よりも高評価を得ることができた。なお、他のタイプのブレンディング重み関数におけるテクスチャの転写についても、タイプ０と１点未満の差であり、或る程度の評価を受けている。よって、本実施形態によれば、転写元顔画像のテクスチャを十分に転写することができることが証明されたと言える。

［第２実施形態］
上述の第１実施形態では、ブレンディング重みの適用対象を、外縁に位置する２つの特徴点を頂点とする外縁分割画像としているが、１つの頂点のみが外縁に位置する分割画像も更にブレンディング重みの適用対象とされてもよい。以降、１つの頂点のみが外縁に位置する分割画像は、上記外縁分割画像と区別するために付属外縁分割画像と表記される。以下、第２実施形態における顔画像合成装置１０について、第１実施形態と異なる内容を中心に説明し、第１実施形態と同一内容については適宜説明を省略する。

〔装置構成〕
第２実施形態における顔画像合成装置１０のハードウェア構成及び処理構成は、第１実施形態と同様であるため、ここでは説明を省略する。第２実施形態では、顔画像合成装置１０の一部の処理部の処理内容が第１実施形態と異なる。

マスク補整部１５は、ワーピング処理部１４によるワーピング後のマスク画像に含まれる複数の分割画像のうち、複数の外縁分割画像に加えて、複数の付属外縁分割画像を更に特定する。そして、マスク補整部１５は、外縁分割画像に対するブレンディング重み関数の適用に加えて、更に、特定された複数の付属外縁分割画像の各々に対して付属ブレンディング重み関数を適用することによりマスク画像を補整する。

付属ブレンディング重み関数は、外縁に位置する１つの頂点（外縁頂点）を形成する画素に適用されるブレンディング重みを重み下限値（０）とし、他の頂点間を結ぶ底辺に対応する画素に適用されるブレンディング重みを重み上限値（０より大きく１以下の値）とし、その間の各画素に対して適用される各ブレンディング重みを、その画素が外縁頂点から底辺へ近づくにつれて重み下限値から重み上限値へ徐々に遷移させる関数である。付属ブレンディング重み関数は、各付属外縁分割画像に含まれる各画素に適用される各ブレンディング重みを、外縁頂点から各画素を通り他の頂点間を結ぶ底辺までの距離に対する、外縁頂点から各画素までの距離の割合に応じて決定する。

付属ブレンディング重み関数はａｗ（ｌ）と表記される。変数ｌは第１実施形態と同様に、上記距離の割合を示す。マスク補整部１５は、ワーピング処理部１４から取得される係数β及び係数γの和を付属ブレンディング重み関数の入力（ｌ）としても用いることができる。

転写先補整部１６は、転写先顔画像の複数の分割画像の中から、複数の外縁分割画像に加えて、複数の当該付属外縁分割画像を更に特定する。そして、転写先補整部１６は、外縁分割画像に対する逆ブレンディング重み関数の適用に加えて、特定された複数の付属外縁分割画像の各々に対して逆付属ブレンディング重み関数をそれぞれ適用することにより転写先顔画像を更に補整する。

逆付属ブレンディング重み関数は、付属ブレンディング重み関数から得られるブレンディング重みが示す合成割合の残りの割合、即ち、合成画像に対する転写先顔画像の合成割合を示す逆ブレンディング重みを出力する。逆付属ブレンディング重み関数は、外縁頂点を形成する画素に適用される逆ブレンディング重みを上記重み上限値（０より大きく１以下の値）とし、他の頂点間を結ぶ底辺に対応する画素に適用される逆ブレンディング重みを重み下限値（０）とし、その間の各画素に対して適用される各逆ブレンディング重みを、その画素が外縁頂点から底辺へ近づくにつれて重み上限値から重み下限値へ徐々に遷移させる関数である。よって、逆付属ブレンディング重み関数は、（１−付属ブレンディング重み関数ａｗ（ｌ））である。

転写先補整部１６は、ワーピング処理部１４により算出された係数β及び係数γの和を逆付属ブレンディング重み関数の入力（ｌ）としても用いることができる。転写先補整部１６は、付属ブレンディング関数から得られた各ブレンディング重みから、逆付属ブレンディング重み関数が出力すべき各逆ブレンディング重みを算出してもよい。

〔動作例〕
以下、第２実施形態における顔画像合成方法について説明する。図９は、第２実施形態における顔画像合成装置１０の動作例を示すフローチャートである。図９では、図４に示される第１実施形態と同一処理については同じ符号が付されている。

顔画像合成装置１０は、当該マスク画像に含まれる複数の分割画像の中から、複数の外縁分割画像及び複数の付属外縁分割画像を特定し、更に、転写先顔画像に含まれる複数の分割画像の中から、複数の外縁分割画像及び複数の付属外縁分割画像を特定する（Ｓ９５）。

（Ｓ９６）において、顔画像合成装置１０は、マスク画像に関する複数の付属外縁分割画像に対して付属ブレンディング重み関数を適用することにより、マスク画像を更に補整する。また、（Ｓ９７）において、顔画像合成装置１０は、転写先顔画像に関する複数の付属外縁分割画像に対して逆付属ブレンディング重み関数を適用することにより、転写先顔画像を補整する。

顔画像合成装置１０は、外縁分割画像及び付属外縁分割画像を対象に補整されたマスク画像と補整された転写先顔画像とを合成する（Ｓ４８）。なお、上述の（Ｓ９６）及び（Ｓ９７）と、（Ｓ４６）及び（Ｓ４７）とは並列に実行されてもよいし、実行順が入れ代わってもよい。

〔第２実施形態の作用及び効果〕
上述のように、第２実施形態は、外縁に位置する２つの特徴点を頂点とする外縁分割画像のみでなく、１つの頂点のみが外縁に位置する付属外縁分割画像をも補整対象とする。付属外縁分割画像に対しては、基準点からの距離の割合に対して決められるブレンディング重みの遷移がブレンディング重み関数と逆となる付属ブレンディング重み関数が適用される。これは、外縁分割画像と付属外縁分割画像とでは、規準点から各画素に向かう方向が逆となるからである。

従って、第２実施形態によれば、外縁に頂点が位置する全ての分割画像に対して補整が適用されるため、転写元顔画像のテクスチャが転写されたマスク領域の輪郭境界をより一層自然な見栄えとすることができる。

なお、付属ブレンディング重み関数ａｗ（ｌ）の実施例としては、実施例１として示された各ブレンディング重み関数ｗ（ｌ）の各グラフを、ｌの値が大きくなる程、ａｗ（ｌ）の値が大きくなるように、左右反転させたものが利用されてもよい。

［変形例］
第２実施形態では、各外縁分割画像に対してブレンディング重み関数又は逆ブレンディング重み関数が適用され、各付属外縁分割画像に対して付属ブレンディング重み関数又は逆付属ブレンディング重み関数が適用されることにより、マスク画像及び転写先顔画像が補整された（マスク補整部１５及び転写先補整部１６）。しかしながら、各重み関数の適用対象は、外縁分割画像及び付属外縁分割画像に制限されない。例えば、外縁分割画像及び付属外縁分割画像の周辺の複数の分割画像も当該適用対象とされてもよい。

また、上述の各実施形態では、ブレンディング重み関数、付属ブレンディング重み関数、逆ブレンディング重み関数、及び、逆付属ブレンディング重み関数の適用単位（関数適用単位）が、外縁分割画像毎又は付属外縁分割画像毎とされたが、少なくとも１つの外縁分割画像又は付属外縁分割画像を含む複数の分割画像を適用単位としてもよい。この場合には、適用単位となる複数の分割画像の各集合のうち、外縁から顔の内側方向に最も離れた特徴点を基準点に設定し、その基準点から各画素を通り外縁に位置する頂点間を結ぶ辺までの距離に対する、その基準点から各画素までの距離の割合が算出され、その割合がブレンディング重み関数又は逆ブレンディング重み関数に入力されればよい。同様に、外縁頂点を基準点として、その基準点から各画素を通り内側頂点間を結ぶ辺までの距離に対する、その基準点から各画素までの距離の割合が算出され、その割合が付属ブレンディング重み関数又は逆付属ブレンディング重み関数に入力されればよい。

また、上述の各実施形態では、ブレンディング重み関数、逆ブレンディング重み関数、付属ブレンディング重み関数及び逆付属ブレンディング重み関数の各入力として、アフィン変換において算出された係数β及び係数γの和が利用されたが、係数β及び係数γを使わず、上述のように距離の割合が独自に算出されてもよい。特に、当該関数適用単位を複数の分割画像とする場合には、当該距離の割合が独自に算出される。

図１０は、処理時間の比較例を示す図である。タイプ０は、本実施形態とは異なる手法、即ち、補整なく合成する手法を示し、タイプ１は、上述の変形例における手法、即ち、ブレンディング重み関数の入力を独自に計算する手法を示し、タイプ２は、上述の第１実施形態及び第２実施形態における手法、即ち、ブレンディング重み関数の入力に係数β及びγを用いる手法を示す。

図１０によれば、第１実施形態及び第２実施形態の手法（タイプ２）によれば、変形例の手法（タイプ１）よりも処理速度を高速化することができることが証明されると共に、タイプ０と０．５秒程度しか変わらないため、ブレンディング重みを用いない合成処理と略同様の処理速度を実現できることが証明される。なお、変形例の手法（タイプ１）であっても、タイプ０と１秒程度しか変わらないため、当該ブレンディング重みを用いたことによる処理時間の増加は僅かであると言える。

また、上述の各実施形態では、図１のように、顔画像合成装置１０が１台のコンピュータで実現される例を示したが、顔画像合成装置１０は複数のコンピュータ（複数のＣＰＵ）で実現されてもよい。例えば、特徴取得部１２、区分部１３及びワーピング処理部１４が１つのコンピュータで実現され、マスク補整部１５、転写先補整部１６及び合成処理部１７が他のコンピュータで実現されてもよい。

［補足］
上述の各実施形態及び各変形例では、転写元顔画像のワーピング処理、マスク画像の補整、転写先顔画像の補整、及び、補整されたマスク画像と補整された転写先顔画像の合成の各処理が、処理対象領域の画像全体或いは分割画像全体を処理単位として、それぞれ実行されるよう説明した。この説明は、当該各処理が画素などのようなより小さい処理単位で実行される形態を排除するものではない。即ち、上述の各実施形態及び各変形例は、これら各処理が画素等のようなより小さい処理単位で実行される形態を包含するものである。

上記各処理が画素単位で行われる場合には、図１１に示されるように、顔画像合成装置１０は動作すればよい。図１１は、第２実施形態における顔画像合成装置１０の別形態の動作例を示すフローチャートである。図１１には、上述の各処理が画素単位で行われる形態が例示される。図１１の例では、図９における（Ｓ４４）以降の各工程が、（Ｓ１１１）以降の各工程に置き換えられている。即ち、図１１の例によれば、（Ｓ１１１）から（Ｓ１２０）の各工程が画素単位に繰り返し実行されることで、最終的な合成画像が生成される。なお、第１実施形態に関する図４の動作例ついても、（Ｓ４４）以降が、（Ｓ１１６）、（Ｓ１１７）及び（Ｓ１１８）以外の（Ｓ１１１）以降の工程に置き換えられれば、同様の別形態を示すことができる。

顔画像合成装置１０は、（Ｓ４１）、（Ｓ４２）及び（Ｓ４３）の後、転写先顔画像から処理対象の画素を選択する（Ｓ１１１）。以降、この選択された画素を転写先画素と表記する。なお、処理対象の画素とは、転写先顔画像の中の転写元顔画像と合成される領域内の任意の画素を意味する。

顔画像合成装置１０は、転写元顔画像の複数の分割画像の中から、転写先画素に対応する画素情報を取得する（Ｓ１１２）。転写先画素に対応する、転写元顔画像内の画素の特定は、アフィン変換によるワーピング処理に対応する。以降、特定された転写元顔画像内の画素をマスク画素と表記し、取得された画素情報をマスク画素情報と表記する。

顔画像合成装置１０は、（Ｓ１１１）で選択された転写先画素が外縁分割画像内の画素か否かの判定（Ｓ１１３）、及び、当該転写先画素が付属外縁分割画像内の画素か否かの判定（Ｓ１１６）を行う。顔画像合成装置１０は、当該転写先画素が外縁分割画像内の画素であれば（Ｓ１１３；ＹＥＳ）、マスク画素情報を、当該転写先画素の位置に応じてブレンディング重み関数から取得されるブレンディング重みで補整し（Ｓ１１４）、転写先画素情報を、当該転写先画素の位置に応じて逆ブレンディング重み関数から取得される逆ブレンディング重みで補整する（Ｓ１１５）。なお、逆ブレンディング重みは、１からブレンディング重みを減算することにより取得されてもよい。

顔画像合成装置１０は、当該転写先画素が付属外縁分割画像内の画素であれば（Ｓ１１３；ＮＯ、Ｓ１１６；ＹＥＳ）、マスク画素情報を、当該転写先画素の位置に応じて付属ブレンディング重み関数から取得される付属ブレンディング重みで補整し（Ｓ１１７）、転写先画素情報を、当該転写先画素の位置に応じて逆付属ブレンディング重み関数から取得される逆付属ブレンディング重みで補整する（Ｓ１１８）。なお、逆付属ブレンディング重みは、１から付属ブレンディング重みを減算することにより取得されてもよい。

顔画像合成装置１０は、補整されたマスク画素情報と補整された転写先画素情報とを合成し、合成画像内の１画素とする（Ｓ１１９）。一方、当該転写先画素が外縁分割画像内の画素でも付属外縁分割画像内の画素でもない場合には（Ｓ１１３；ＮＯ、Ｓ１１６；ＮＯ）、顔画像合成装置１０は、マスク画素情報と転写先画素情報とをそのまま合成する。

顔画像合成装置１０は、上述の各工程を、転写先顔画像の合成領域内の全画素についてそれぞれ実行する（Ｓ１２０）。

このような形態の場合、ワーピング処理部１４、マスク補整部１５、転写先補整部１６及び合成処理部１７は、それぞれ区別されず、１つの合成処理部１７に統合されてもよい。

２ ＣＰＵ
３ メモリ
４ 入出力Ｉ／Ｆ
７ 入力部
９ 出力部
１０ 顔画像合成装置
１１ 画像取得部
１２ 特徴取得部
１３ 区分部
１４ ワーピング処理部
１５ マスク補整部
１６ 転写先補整部
１７ 合成処理部

Claims (6)

1. 転写元顔画像及び転写先顔画像を取得する画像取得部と、
   前記転写元顔画像及び前記転写先顔画像から、各顔で共通する複数の特徴点をそれぞれ取得する特徴取得部と、
   前記転写元顔画像及び前記転写先顔画像を、前記各特徴点を頂点とする複数の三角形状にそれぞれ区分けする区分部と、
   前記転写元顔画像の特徴点と前記転写先顔画像の特徴点との対応関係に基づいて、前記転写元顔画像が前記複数の三角形状に区分けされた各分割画像を、対応する転写先顔画像の三角形状にそれぞれ変形させるワーピング処理部と、
   前記ワーピング処理部による変形処理後のマスク画像における複数の分割画像の中から、該マスク画像の外縁に位置する２つの特徴点を頂点とする複数の外縁分割画像を特定する第１特定部と、
   前記転写先顔画像が前記複数の三角形状に区分けされた複数の分割画像の中から、外縁に位置する２つの特徴点を頂点とする複数の外縁分割画像を特定する第２特定部と、
   前記マスク画像と前記転写先顔画像との合成画像に対する前記マスク画像の合成割合を示すブレンディング重みが前記外縁に近づく程減少するブレンディング重み関数を、前記第１特定部で特定された前記複数の外縁分割画像のみに対してそれぞれ適用することにより、前記マスク画像を補整する第１補整部と、
   前記合成画像に対する前記転写先顔画像の合成割合を示す逆ブレンディング重みが前記外縁に近づく程増加する逆ブレンディング重み関数を、前記第２特定部で特定された前記複数の外縁分割画像のみに対してそれぞれ適用することにより、前記転写先顔画像を補整する第２補整部と、
   前記補整されたマスク画像と前記補整された転写先顔画像とを合成する合成処理部と、
   を備え、
   前記ブレンディング重み関数及び前記逆ブレンディング重み関数は、前記各外縁分割画像に含まれる各画素に適用される前記各ブレンディング重み及び前記各逆ブレンディング重みを、前記外縁に位置する頂点以外の内部頂点から各画素を通り前記外縁に位置する頂点間を結ぶ底辺までの距離に対する、該内部頂点から各画素までの距離の割合に応じて決定し、
   前記第１補整部及び前記第２補整部は、前記ワーピング処理部で実行されるピースワイズアフィン変換において前記各分割画像内の任意の点を各頂点との関係で示すために算出される係数を用いて前記距離の割合を算出する、
   顔画像合成装置。
2. 前記第１特定部は、前記マスク画像の前記複数の分割画像の中から、１つの頂点のみが前記外縁に位置する複数の付属外縁分割画像を更に特定し、
   前記第２特定部は、前記転写先顔画像の前記複数の分割画像の中から、１つの頂点のみが前記外縁に位置する複数の付属外縁分割画像を更に特定し、
   前記第１補整部は、前記マスク画像に関し前記第１特定部で特定された前記複数の付属外縁分割画像の各々に対して、前記ブレンディング重みが前記外縁に近づく程減少する付属ブレンディング重み関数をそれぞれ適用することにより前記マスク画像を更に補整し、
   前記第２補整部は、前記転写先顔画像に関し前記第２特定部で特定された前記複数の付属外縁分割画像の各々に対して、前記逆ブレンディング重みが前記外縁に近づく程増加する逆付属ブレンディング重み関数をそれぞれ適用することにより前記転写先顔画像を更に補整し、
   前記付属ブレンディング重み関数及び前記逆付属ブレンディング重み関数は、各画素に適用される前記各ブレンディング重み及び前記各逆ブレンディング重みを、前記外縁に位置する１つの外縁頂点から各画素を通り他の頂点間を結ぶ底辺までの距離に対する、該外縁頂点から各画素までの距離の割合に応じて決定し、
   前記第１補整部及び前記第２補整部は、前記ワーピング処理部で実行されるピースワイズアフィン変換において前記各分割画像内の任意の点を各頂点との関係で示すために算出される係数を用いて前記距離の割合を算出する、
   請求項１に記載の顔画像合成装置。
3. 前記ブレンディング重み関数は、前記外縁に対応する画素に適用されるブレンディング重みを重み下限値０とし、少なくとも１つの前記外縁分割画像を含む関数適用単位に含まれる１つの特徴点である基準点に対応する画素に適用されるブレンディング重みを０より大きく１以下の重み上限値とし、その間の各画素に対して適用される各ブレンディング重みを、その画素が前記外縁から前記内部頂点へ近づくにつれて該重み下限値から該重み上限値へ徐々に遷移させ、
   前記付属ブレンディング重み関数は、前記外縁頂点に対応する画素に適用されるブレンディング重みを前記重み下限値とし、前記他の頂点間を結ぶ底辺に対応する画素に適用されるブレンディング重みを前記重み上限値とし、その間の各画素に対して適用される各ブレンディング重みを、その画素が前記外縁頂点から該底辺へ近づくにつれて前記重み下限値から前記重み上限値へ徐々に遷移させる、
   請求項２に記載の顔画像合成装置。
4. 前記逆ブレンディング重み関数は、（１−前記ブレンディング重み関数）であり、
   前記逆付属ブレンディング重み関数は、（１−前記付属ブレンディング重み関数）である請求項２又は３に記載の顔画像合成装置。
5. 少なくとも１台のコンピュータが、
   転写元顔画像及び転写先顔画像を取得し、
   前記転写元顔画像及び前記転写先顔画像から、各顔で共通する複数の特徴点をそれぞれ取得し、
   前記転写元顔画像及び前記転写先顔画像を、前記各特徴点を頂点とする複数の三角形状にそれぞれ区分けし、
   前記転写元顔画像の特徴点と前記転写先顔画像の特徴点との対応関係に基づいて、前記転写元顔画像が前記複数の三角形状に区分けされた各分割画像を、対応する転写先顔画像の三角形状にそれぞれ変形させ、
   前記変形の後のマスク画像における複数の分割画像の中から、該マスク画像の外縁に位置する２つの特徴点を頂点とする複数の外縁分割画像を特定し、
   前記転写先顔画像が前記複数の三角形状に区分けされた複数の分割画像の中から、外縁に位置する２つの特徴点を頂点とする複数の外縁分割画像を特定し、
   前記マスク画像と前記転写先顔画像との合成画像に対する前記マスク画像の合成割合を示すブレンディング重みが前記外縁に近づく程減少するブレンディング重み関数を、前記マスク画像に関して特定された前記複数の外縁分割画像のみに対してそれぞれ適用することにより、前記マスク画像を補整し、
   前記合成画像に対する前記転写先顔画像の合成割合を示す逆ブレンディング重みが前記外縁に近づく程増加する逆ブレンディング重み関数を、前記転写先顔画像に関して特定された前記複数の外縁分割画像のみに対してそれぞれ適用することにより、前記転写先顔画像を補整し、
   前記補整されたマスク画像と前記補整された転写先顔画像とを合成する、
   ことを含み、
   前記ブレンディング重み関数及び前記逆ブレンディング重み関数は、前記各外縁分割画像に含まれる各画素に適用される前記各ブレンディング重み及び前記各逆ブレンディング重みを、前記外縁に位置する頂点以外の内部頂点から各画素を通り前記外縁に位置する頂点間を結ぶ底辺までの距離に対する、該内部頂点から各画素までの距離の割合に応じて決定し、
   前記マスク画像及び前記転写先顔画像の補整は、前記変形のために実行されるピースワイズアフィン変換において前記各分割画像内の任意の点を各頂点との関係で示すために算出される係数を用いて前記距離の割合を算出する、
   顔画像合成方法。
6. 少なくとも１台のコンピュータに、
   転写元顔画像及び転写先顔画像を取得する画像取得部と、
   前記転写元顔画像及び前記転写先顔画像から、各顔で共通する複数の特徴点をそれぞれ取得する特徴取得部と、
   前記転写元顔画像及び前記転写先顔画像を、前記各特徴点を頂点とする複数の三角形状にそれぞれ区分けする区分部と、
   前記転写元顔画像の特徴点と前記転写先顔画像の特徴点との対応関係に基づいて、前記転写元顔画像が前記複数の三角形状に区分けされた各分割画像を、対応する転写先顔画像の三角形状にそれぞれ変形させるワーピング処理部と、
   前記ワーピング処理部による変形処理後のマスク画像における複数の分割画像の中から、該マスク画像の外縁に位置する２つの特徴点を頂点とする複数の外縁分割画像を特定する第１特定部と、
   前記転写先顔画像が前記複数の三角形状に区分けされた複数の分割画像の中から、外縁に位置する２つの特徴点を頂点とする複数の外縁分割画像を特定する第２特定部と、
   前記マスク画像と前記転写先顔画像との合成画像に対する前記マスク画像の合成割合を示すブレンディング重みが前記外縁に近づく程減少するブレンディング重み関数を、前記第１特定部で特定された前記複数の外縁分割画像のみに対してそれぞれ適用することにより、前記マスク画像を補整する第１補整部と、
   前記合成画像に対する前記転写先顔画像の合成割合を示す逆ブレンディング重みが前記外縁に近づく程増加する逆ブレンディング重み関数を、前記第２特定部で特定された前記複数の外縁分割画像のみに対してそれぞれ適用することにより、前記転写先顔画像を補整する第２補整部と、
   前記補整されたマスク画像と前記補整された転写先顔画像とを合成する合成処理部と、
   を実現させ、
   前記ブレンディング重み関数及び前記逆ブレンディング重み関数は、前記各外縁分割画像に含まれる各画素に適用される前記各ブレンディング重み及び前記各逆ブレンディング重みを、前記外縁に位置する頂点以外の内部頂点から各画素を通り前記外縁に位置する頂点間を結ぶ底辺までの距離に対する、該内部頂点から各画素までの距離の割合に応じて決定し、
   前記第１補整部及び前記第２補整部は、前記ワーピング処理部で実行されるピースワイズアフィン変換において前記各分割画像内の任意の点を各頂点との関係で示すために算出される係数を用いて前記距離の割合を算出する、
   プログラム。