JP6804562B2

JP6804562B2 - 提案システム、提案方法、サーバ及びコンピュータプログラム

Info

Publication number: JP6804562B2
Application number: JP2018562480A
Authority: JP
Inventors: 智荒木
Original assignee: RASYSA.COM CORPORATION
Current assignee: RASYSA.COM CORPORATION
Priority date: 2017-01-23
Filing date: 2018-01-23
Publication date: 2020-12-23
Anticipated expiration: 2038-01-23
Also published as: WO2018135665A1; JPWO2018135665A1

Description

本発明は、ユーザの顔の輪郭線に応じて、適切なヘアスタイル、化粧、服装を提案することができる提案システム、提案方法、サーバ及びコンピュータプログラムに関する。

ユーザが自分に似合うヘアスタイルであるか否かを目視で確認するために、画像を用いたシミュレーションシステムが多数開発されている。例えば、特許文献１では、メイクアップやヘアスタイル等をシミュレーションし、シミュレーション後の結果を並べて表示することができる美容シミュレーションシステムが開示されている。

従来のヘアスタイルのシミュレーションでは、システムが網羅的にヘアスタイルをシミュレーションしてユーザが好みのヘアスタイルを選択する。したがって、多くのヘアスタイルの中からユーザが好みのヘアスタイルを選択することができる。

特開２０１３−１７８７８９号公報

しかし、ヘアスタイルを類別するだけでも、その数は膨大になる。また、ユーザによって似合うヘアスタイルもあれば、似合わないヘアスタイルもある。それらが網羅的に表示される場合、ユーザは、自分がどのヘアスタイルを選択すればいいのか迷いが生じることが多く、最初に目に留まったヘアスタイルを妥協的に選択することが多いという問題点があった。

また、ヘアスタイルが似合うか否かは、人の顔の輪郭線の形状、例えば顔の形が丸型、卵型、ベースボール型等により一定の傾向が出やすい。また、目、鼻、口等のパーツの大きさや位置、顔全体とのバランスによっても似合うヘアスタイルに一定の傾向が見られる。したがって、これらの輪郭データを取得することにより、より似合う可能性の高いヘアスタイルを提案できるようにすることが望ましい。

また、化粧の施し方、服装についても、似合うか似合わないかは、人の顔の輪郭線の形状や、目、鼻、口等のパーツの大きさや位置、顔全体とのバランスによって大きく変わる。したがって、化粧の施し方や服装についても、より似合う可能性の高いものを提案することが好ましい。

本発明は上記事情に鑑みてなされたものであり、ユーザの顔の輪郭線に応じて、適切なヘアスタイル、化粧、服装を提案することができる提案システム、提案方法、サーバ及びコンピュータプログラムを提供することを目的とする。

上記目的を達成するために第１発明に係る提案システムは、複数の端末装置と一又は複数のサーバとで構成されており、前記端末装置は、ユーザ自身の顔を撮像する撮像手段と、撮像された顔の画像データから顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを抽出して前記サーバへ転送して記憶させる輪郭データ抽出手段とを有し、前記サーバは、記憶されている顔の部分の輪郭線を、事前に記憶してあるヘアスタイルを示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理するマッチング手段と、輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの髪の部分とを重ね合わせて第１の合成画像を生成する合成画像生成手段とを有し、前記端末装置は、前記サーバで生成された第１の合成画像を取得してタッチディスプレイに表示する合成画像表示手段を有する提案システムにおいて、前記端末装置は、表示されている複数の前記第１の合成画像から一の前記第１の合成画像の選択を受け付ける選択受付手段を備え、前記サーバは、前記端末装置で一の前記第１の合成画像の選択を受け付けた時点で、選択を受け付けた一の前記第１の合成画像の基礎となったモデル画像データと輪郭データとを対応付けて記憶するモデル画像データ記憶手段を備え、前記端末装置は、撮像された顔の画像データの入力を受け付ける画像データ受付手段を備え、前記サーバは、前記輪郭データ抽出手段により、前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する、事前に記憶してある複数の輪郭データを検索する輪郭データ検索手段を備え、前記サーバの前記合成画像生成手段は、検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、前記端末装置で入力を受け付けた顔の画像データと合成された複数の第２の合成画像を生成し、前記端末装置の前記合成画像表示手段は、前記サーバで生成された前記第２の合成画像を取得してタッチディスプレイに表示することを特徴とする。

また、第２発明に係る提案システムは、第１発明において、前記輪郭データは、顔の部分の輪郭線だけでなく、目、鼻、口の輪郭線も含むことが好ましい。

また、第３発明に係る提案システムは、第１又は第２発明において、前記モデル画像データ記憶手段は、前記輪郭データと、顔に施される化粧をイメージ別にパターン化した複数の化粧パターンデータとを対応付けて記憶していることが好ましい。

また、第４発明に係る提案システムは、第１乃至第３発明のいずれか１つにおいて、前記モデル画像データ記憶手段は、前記輪郭データと、服装の画像データを含む複数のファッションデータとを対応付けて記憶していることが好ましい。

また、第５発明に係る提案システムは、第１乃至第４発明のいずれか１つにおいて、前記端末装置は、ユーザの属性を示す属性情報を取得する属性取得手段を備え、前記サーバの前記モデル画像データ記憶手段は、前記端末装置で取得された前記属性情報と対応付けて、前記端末装置で選択を受け付けた一の第１の合成画像の基礎となったモデル画像データと輪郭データとを記憶することが好ましい。

また、第６発明に係る提案システムは、第５発明において、前記サーバの前記輪郭データ検索手段は、前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する輪郭データを、前記属性情報に応じて検索することが好ましい。

次に、上記目的を達成するために第７発明に係る提案方法は、複数の端末装置と一又は複数のサーバとで構成されており、前記端末装置は、ユーザ自身の顔を撮像する撮像手段と、撮像された顔の画像データから顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを抽出して前記サーバへ転送して記憶させる輪郭データ抽出手段とを有し、前記サーバは、記憶されている顔の部分の輪郭線を、事前に記憶してあるヘアスタイルを示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理するマッチング手段と、輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの髪の部分とを重ね合わせて第１の合成画像を生成する合成画像生成手段とを有し、前記端末装置は、前記サーバで生成された第１の合成画像を取得してタッチディスプレイに表示する合成画像表示手段を有する提案システムで実行することが可能な提案方法において、前記端末装置は、表示されている複数の前記第１の合成画像から一の前記第１の合成画像の選択を受け付ける工程を含み、前記サーバは、前記端末装置で一の前記第１の合成画像の選択を受け付けた時点で、選択を受け付けた一の前記第１の合成画像の基礎となったモデル画像データと輪郭データとを対応付けて記憶する工程を含み、前記端末装置は、撮像された顔の画像データの入力を受け付ける工程を含み、前記サーバは、前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する、事前に記憶してある複数の輪郭データを検索する工程を含み、検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、前記端末装置で入力を受け付けた顔の画像データと合成された複数の第２の合成画像を生成し、前記サーバで生成された前記第２の合成画像を取得してタッチディスプレイに表示することを特徴とする。

また、第８発明に係る提案方法は、第７発明において、前記輪郭データは、顔の部分の輪郭線だけでなく、目、鼻、口の輪郭線も含むことが好ましい。

また、第９発明に係る提案方法は、第７又は第８発明において、前記輪郭データと、顔に施される化粧をイメージ別にパターン化した複数の化粧パターンデータとを対応付けて記憶していることが好ましい。

また、第１０発明に係る提案方法は、第７乃至第９発明のいずれか１つにおいて、前記輪郭データと、服装の画像データを含む複数のファッションデータとを対応付けて記憶していることが好ましい。

また、第１１発明に係る提案方法は、第７乃至第１０発明のいずれか１つにおいて、前記端末装置は、ユーザの属性を示す属性情報を取得する工程を含み、前記サーバは、前記端末装置で取得された前記属性情報と対応付けて、前記端末装置で選択を受け付けた一の前記第１の合成画像の基礎となったモデル画像データと輪郭データとを記憶することが好ましい。

また、第１２発明に係る提案方法は、第１１発明において、前記サーバは、前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する輪郭データを、前記属性情報に応じて検索することが好ましい。

次に、上記目的を達成するために第１３発明に係るサーバは、外部の端末装置とデータ通信することが可能に接続されており、前記端末装置から、撮像された顔の画像データから抽出された、顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを受信して記憶する輪郭データ記憶手段と、記憶されている顔の部分の輪郭線を、事前に記憶してあるヘアスタイルを示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理するマッチング手段と、輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの髪の部分とを重ね合わせて第１の合成画像を生成する合成画像生成手段と、生成した第１の合成画像を前記端末装置へ送信する合成画像送信手段を有するサーバにおいて、前記端末装置で一の前記第１の合成画像の選択を受け付けた時点で、選択を受け付けた一の前記第１の合成画像の基礎となったモデル画像データと輪郭データとを対応付けて記憶するモデル画像データ記憶手段と、前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する、事前に記憶してある複数の輪郭データを検索する輪郭データ検索手段とを備え、前記合成画像生成手段は、検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、前記端末装置で入力を受け付けた顔の画像データと合成された複数の第２の合成画像を生成し、前記合成画像送信手段は、生成された前記第２の合成画像を前記端末装置へ送信することを特徴とする。

また、第１４発明に係るサーバは、第１３発明において、前記輪郭データは、顔の部分の輪郭線だけでなく、目、鼻、口の輪郭線も含むことが好ましい。

また、第１５発明に係るサーバは、第１３又は第１４発明において、前記モデル画像データ記憶手段は、前記輪郭データと、顔に施される化粧をイメージ別にパターン化した複数の化粧パターンデータとを対応付けて記憶していることが好ましい。

また、第１６発明に係るサーバは、第１３乃至第１５発明のいずれか１つにおいて、前記モデル画像データ記憶手段は、前記輪郭データと、服装の画像データを含む複数のファッションデータとを対応付けて記憶していることが好ましい。

また、第１７発明に係るサーバは、第１３乃至第１６発明のいずれか１つにおいて、前記モデル画像データ記憶手段は、前記端末装置で取得されたユーザの属性を示す属性情報と対応付けて、前記端末装置で選択を受け付けた一の前記第１の合成画像の基礎となったモデル画像データと輪郭データとを記憶することが好ましい。

また、第１８発明に係るサーバは、第１７発明において、前記輪郭データ検索手段は、前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する輪郭データを、前記属性情報に応じて検索することが好ましい。

次に、上記目的を達成するために第１９発明に係るコンピュータプログラムは、外部の端末装置とデータ通信することが可能に接続されており、前記端末装置から、撮像された顔の画像データから抽出された、顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを受信して記憶する輪郭データ記憶手段と、記憶されている顔の部分の輪郭線を、事前に記憶してあるヘアスタイルを示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理するマッチング手段と、輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの髪の部分とを重ね合わせて第１の合成画像を生成する合成画像生成手段と、生成した第１の合成画像を前記端末装置へ送信する合成画像送信手段を有するサーバで実行することが可能なコンピュータプログラムにおいて、前記サーバを、前記端末装置で一の前記第１の合成画像の選択を受け付けた時点で、選択を受け付けた一の前記第１の合成画像の基礎となったモデル画像データと輪郭データとを対応付けて記憶するモデル画像データ記憶手段、及び前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する、事前に記憶してある複数の輪郭データを検索する輪郭データ検索手段として機能させ、前記合成画像生成手段を、検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、前記端末装置で入力を受け付けた顔の画像データと合成された複数の第２の合成画像を生成する手段として機能させ、前記合成画像送信手段を、生成された前記第２の合成画像を取得して前記端末装置へ送信する手段として機能させることを特徴とする。

また、第２０発明に係るコンピュータプログラムは、第１９発明において、前記輪郭データは、顔の部分の輪郭線だけでなく、目、鼻、口の輪郭線も含むことが好ましい。

次に、上記目的を達成するために第２１発明に係る提案システムは、複数の端末装置と一又は複数のサーバとで構成されており、前記端末装置は、ユーザ自身の顔を撮像する撮像手段と、撮像された顔の画像データから顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを抽出して前記サーバへ転送して記憶させる輪郭データ抽出手段とを有し、前記サーバは、記憶されている顔の部分の輪郭線を、事前に記憶してある顔に施される化粧をイメージ別にパターン化した複数の化粧パターンを示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理するマッチング手段と、輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの顔の部分とを重ね合わせて第１の合成画像を生成する合成画像生成手段とを有し、前記端末装置は、前記サーバで生成された第１の合成画像を取得してタッチディスプレイに表示する合成画像表示手段を有する提案システムにおいて、前記端末装置は、表示されている複数の前記第１の合成画像から一の前記第１の合成画像の選択を受け付ける選択受付手段を備え、前記サーバは、前記端末装置で一の前記第１の合成画像の選択を受け付けた時点で、選択を受け付けた一の前記第１の合成画像の基礎となったモデル画像データと輪郭データとを対応付けて記憶するモデル画像データ記憶手段を備え、前記端末装置は、撮像された顔の画像データの入力を受け付ける画像データ受付手段を備え、前記サーバは、前記輪郭データ抽出手段により、前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する、事前に記憶してある複数の輪郭データを検索する輪郭データ検索手段を備え、前記サーバの前記合成画像生成手段は、検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、前記端末装置で入力を受け付けた顔の画像データと合成された複数の第２の合成画像を生成し、前記端末装置の前記合成画像表示手段は、前記サーバで生成された前記第２の合成画像を取得してタッチディスプレイに表示することを特徴とする。

また、第２２発明に係る提案システムは、第２１発明において、前記輪郭データは、顔の部分の輪郭線だけでなく、目、鼻、口の輪郭線も含むことが好ましい。

また、第２３発明に係る提案システムは、第２１又は第２２発明において、前記モデル画像データ記憶手段は、前記輪郭データと、ヘアスタイルを示すモデル画像データとを対応付けて記憶していることが好ましい。

また、第２４発明に係る提案システムは、第２１乃至第２３発明のいずれか１つにおいて、前記モデル画像データ記憶手段は、前記輪郭データと、服装の画像データを含む複数のファッションデータとを対応付けて記憶していることが好ましい。

次に、上記目的を達成するために第２５発明に係る提案システムは、複数の端末装置と一又は複数のサーバとで構成されており、前記端末装置は、ユーザ自身の顔を撮像する撮像手段と、撮像された顔の画像データから顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを抽出して前記サーバへ転送して記憶させる輪郭データ抽出手段とを有し、前記サーバは、記憶されている顔の部分の輪郭線を、事前に記憶してある服装を示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理するマッチング手段と、輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの服装の部分とを重ね合わせて第１の合成画像を生成する合成画像生成手段とを有し、前記端末装置は、前記サーバで生成された第１の合成画像を取得してタッチディスプレイに表示する合成画像表示手段を有する提案システムにおいて、前記端末装置は、表示されている複数の前記第１の合成画像から一の前記第１の合成画像の選択を受け付ける選択受付手段を備え、前記サーバは、前記端末装置で一の前記第１の合成画像の選択を受け付けた時点で、選択を受け付けた一の前記第１の合成画像の基礎となったモデル画像データと輪郭データとを対応付けて記憶するモデル画像データ記憶手段を備え、前記端末装置は、撮像された顔の画像データの入力を受け付ける画像データ受付手段を備え、前記サーバは、前記輪郭データ抽出手段により、前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する、事前に記憶してある複数の輪郭データを検索する輪郭データ検索手段を備え、前記サーバの前記合成画像生成手段は、検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、前記端末装置で入力を受け付けた顔の画像データと合成された複数の第２の合成画像を生成し、前記端末装置の前記合成画像表示手段は、前記サーバで生成された前記第２の合成画像を取得してタッチディスプレイに表示することを特徴とする。

また、第２６発明に係る提案システムは、第２５発明において、前記輪郭データは、顔の部分の輪郭線だけでなく、目、鼻、口の輪郭線も含むことが好ましい。

また、第２７発明に係る提案システムは、第２５又は第２６発明において、前記モデル画像データ記憶手段は、前記輪郭データと、ヘアスタイルを示すモデル画像データとを対応付けて記憶していることが好ましい。

また、第２８発明に係る提案システムは、第２５乃至第２７発明のいずれか１つにおいて、前記モデル画像データ記憶手段は、前記輪郭データと、顔に施される化粧をイメージ別にパターン化した複数の化粧パターンデータとを対応付けて記憶していることが好ましい。

第１発明、第７発明、第１３発明及び第１９発明では、端末装置は、表示されている複数の第１の合成画像から一の第１の合成画像の選択を受け付ける。サーバは、端末装置で一の第１の合成画像の選択を受け付けた時点で、選択を受け付けた一の第１の合成画像の基礎となったモデル画像データと輪郭データとを対応付けて記憶する。端末装置は、撮像された顔の画像データの入力を受け付け、サーバは、端末装置で入力を受け付けた顔の画像データから抽出された複数の輪郭データに近接する、事前に記憶してある複数の輪郭データを検索する。検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、端末装置で入力を受け付けた顔の画像データと合成された複数の第２の合成画像を生成し、端末装置のタッチディスプレイに表示する。これにより、ユーザが、好みであるヘアスタイルに対応するモデル画像データ、似合うと判断したヘアスタイルに対応するモデル画像データを、ユーザの輪郭データと対応付けて記憶することができるので、類似している輪郭データを有する他のユーザに対して、よく好まれるヘアスタイル、似合うと判断されるヘアスタイル等に相当するモデル画像データを用いて生成された合成画像を優先して表示することができ、迷うことなく、また後悔することなくヘアスタイルを選択することが可能となる。

第２発明、第８発明、第１４発明及び第２０発明では、輪郭データは、顔の部分の輪郭線だけでなく、目、鼻、口の輪郭線も含むので、顔の外形だけではなく、目、鼻、口の配置が類似している他のユーザに好まれる、あるいは似合うと判断されるヘアスタイル等に相当するモデル画像データを用いて生成された合成画像を優先して表示することが可能となる。

第３発明、第９発明及び第１５発明では、輪郭データと、顔に施される化粧をイメージ別にパターン化した複数の化粧パターンデータとを対応付けて記憶しているので、類似している輪郭データを有する他のユーザに対して、よく好まれる化粧パターン、似合うと判断される化粧パターン等に相当するモデル画像データを用いて生成された合成画像を優先して表示することができ、迷うことなく、また後悔することなく化粧パターンを選択することが可能となる。

第４発明、第１０発明及び第１６発明では、輪郭データと、服装の画像データを含む複数のファッションデータとを対応付けて記憶しているので、類似している輪郭データを有する他のユーザに対して、よく好まれる服装、似合うと判断される服装等に相当するモデル画像データを用いて生成された合成画像を優先して表示することができ、迷うことなく、また後悔することなく服装を選択することが可能となる。

第５発明、第１１発明及び第１７発明では、端末装置は、ユーザの属性を示す属性情報を取得し、サーバは、端末装置で取得された属性情報と対応付けて、端末装置で選択を受け付けた一の第１の合成画像の基礎となったモデル画像データと輪郭データとを記憶するので、属性情報に応じて合成画像として表示されるヘアスタイルを更新することが可能となる。ここで、属性情報とは、性別、年齢、肌の色、登録時期、国籍や出身地等に関する情報である。

第６発明、第１２発明及び第１８発明では、サーバは、端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する輪郭データを、属性情報に応じて検索するので、属性情報に合致するヘアスタイルに相当するモデル画像データを用いて生成された合成画像を優先して表示することが可能となる。

第２１発明では、サーバは、記憶されている顔の部分の輪郭線を示す輪郭データを、顔に施される化粧をイメージ別にパターン化した複数の化粧パターンを示すモデル画像データと対応付けて記憶してある。端末装置は、表示されている複数の第１の合成画像から一の第１の合成画像の選択を受け付け、サーバは、端末装置で一の第１の合成画像の選択を受け付けた時点で、選択を受け付けた一の第１の合成画像の基礎となったモデル画像データと輪郭データとを対応付けて記憶する。端末装置は、撮像された顔の画像データの入力を受け付け、サーバは、端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する、事前に記憶してある複数の輪郭データを検索する。サーバは、検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、端末装置で入力を受け付けた顔の画像データと合成された複数の第２の合成画像を生成し、端末装置は、サーバで生成された第２の合成画像を取得してタッチディスプレイに表示する。これにより、ユーザが、好みである化粧パターンに対応するモデル画像データ、似合うと判断した化粧パターンに対応するモデル画像データを、ユーザの輪郭データと対応付けて記憶することができるので、類似している輪郭データを有する他のユーザに対して、よく好まれる化粧パターン、似合うと判断される化粧パターン等に相当するモデル画像データを用いて生成された合成画像を優先して表示することができ、迷うことなく、また後悔することなく化粧パターンを選択することが可能となる。

第２２発明では、輪郭データは、顔の部分の輪郭線だけでなく、目、鼻、口の輪郭線も含むので、顔の外形だけではなく、目、鼻、口の配置が類似している他のユーザに好まれる、あるいは似合うと判断される化粧パターン等に相当するモデル画像データを用いて生成された合成画像を優先して表示することが可能となる。

第２３発明では、輪郭データと、ヘアスタイルを示すモデル画像データとを対応付けて記憶しているので、類似している輪郭データを有する他のユーザに対して、よく好まれるヘアスタイル、似合うと判断されるヘアスタイル等に相当するモデル画像データを用いて生成された合成画像を優先して表示することができ、迷うことなく、また後悔することなくヘアスタイルを選択することが可能となる。

第２４発明では、輪郭データと、服装の画像データを含む複数のファッションデータとを対応付けて記憶しているので、類似している輪郭データを有する他のユーザに対して、よく好まれる服装、似合うと判断される服装等に相当するモデル画像データを用いて生成された合成画像を優先して表示することができ、迷うことなく、また後悔することなく服装を選択することが可能となる。

第２５発明では、サーバは、記憶されている顔の部分の輪郭線を示す輪郭データを、服装を示すモデル画像データと対応付けて記憶してある。端末装置は、表示されている複数の第１の合成画像から一の第１の合成画像の選択を受け付け、サーバは、端末装置で一の第１の合成画像の選択を受け付けた時点で、選択を受け付けた一の第１の合成画像の基礎となったモデル画像データと輪郭データとを対応付けて記憶する。端末装置は、撮像された顔の画像データの入力を受け付け、サーバは、端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する、事前に記憶してある複数の輪郭データを検索する。サーバは、検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、端末装置で入力を受け付けた顔の画像データと合成された複数の第２の合成画像を生成し、端末装置は、サーバで生成された第２の合成画像を取得してタッチディスプレイに表示する。これにより、ユーザが、好みであるファッションデータに対応するモデル画像データ、似合うと判断した服装に対応するモデル画像データを、ユーザの輪郭データと対応付けて記憶することができるので、類似している輪郭データを有する他のユーザに対して、よく好まれる服装、似合うと判断される服装等に対応するモデル画像データを用いて生成された合成画像を優先して表示することができ、迷うことなく、また後悔することなく服装を選択することが可能となる。

第２６発明では、輪郭データは、顔の部分の輪郭線だけでなく、目、鼻、口の輪郭線も含むので、顔の外形だけではなく、目、鼻、口の配置が類似している他のユーザに好まれる、あるいは似合うと判断される服装等に相当するモデル画像データを用いて生成された合成画像を優先して表示することが可能となる。

また、第２７発明では、輪郭データと、ヘアスタイルを示すモデル画像データとを対応付けて記憶しているので、類似している輪郭データを有する他のユーザに対して、よく好まれるヘアスタイル、似合うと判断されるヘアスタイル等に相当するモデル画像データを用いて生成された合成画像を優先して表示することができ、迷うことなく、また後悔することなくヘアスタイルを選択することが可能となる。

また、第２８発明では、輪郭データと、顔に施される化粧をイメージ別にパターン化した複数の化粧パターンデータとを対応付けて記憶しているので、類似している輪郭データを有する他のユーザに対して、よく好まれる化粧パターン、似合うと判断される化粧パターン等に相当するモデル画像データを用いて生成された合成画像を優先して表示することができ、迷うことなく、また後悔することなく化粧パターンを選択することが可能となる。

本発明によれば、ユーザが、好みであるヘアスタイル、化粧パターン、服装に対応するモデル画像データ、似合うと判断したモデル画像データを、ユーザの輪郭データと対応付けて記憶することができるので、類似している輪郭データを有する他のユーザに対して、よく好まれるヘアスタイル、化粧パターン、服装、似合うと判断されるヘアスタイル、化粧パターン、服装等に相当するモデル画像データを用いて生成された合成画像を優先して表示することができ、迷うことなく、また後悔することなくヘアスタイル、化粧パターン、服装を選択することが可能となる。

本発明の実施の形態に係る提案システムの構成を示す模式図である。本発明の実施の形態に係る提案システムの端末装置の構成を示す模式ブロック図である。本発明の実施の形態に係る提案システムのサーバを、ＣＰＵを用いて構成した例を示すブロック図である。本発明の実施の形態に係る輪郭データの例示図である。本発明の実施の形態に係るヘアスタイル提案システムの端末装置及びサーバのモデル画像データを記憶する工程における機能ブロック図である。本発明の実施の形態に係るヘアスタイル提案システムの端末装置及びサーバの合成画像を表示する工程における機能ブロック図である。本発明の実施の形態に係るヘアスタイル提案システムの端末装置の合成画像表示画面の例示図である。本発明の実施の形態に係るヘアスタイル提案システムの提案するヘアスタイルの決定方法を説明する図表である。本発明の実施の形態に係るヘアスタイル提案システムの端末装置のＣＰＵ及びサーバのＣＰＵのモデル画像データを記憶する工程における処理手順を示すフローチャートである。本発明の実施の形態に係るヘアスタイル提案システムの端末装置のＣＰＵ及びサーバのＣＰＵの合成画像を表示する工程における処理手順を示すフローチャートである。本発明の実施の形態に係る提案システムにおけるメイクパターン適用処理の提示図である。

図１は、本発明の実施の形態に係る提案システムの構成を示す模式図である。図１に示すように、本実施の形態に係る提案システムは、それぞれのユーザが所持しながら使用する複数の端末装置１が、インターネット２等のネットワーク網を介してデータ通信することが可能にサーバ３に接続されている。図１では、サーバ３は単体で構成されているが、マルチサーバ、仮想サーバ等のように複数のサーバで構成されていても良い。

端末装置１は、タブレットやスマートフォン等の移動可能で、しかも携帯可能な端末装置であることが好ましい。ユーザが移動しながら自分のお気に入りのヘアスタイルを確認することができるからである。

図２は、本発明の実施の形態に係る提案システムの端末装置１の構成を示す模式ブロック図である。本実施の形態に係る端末装置１は、少なくともＣＰＵ（中央演算装置）１１、メモリ１２、記憶装置１３、Ｉ／Ｏインタフェース１４、ビデオインタフェース１５、タッチディスプレイ１６、撮像手段１７、通信インタフェース１８及び上述したハードウェアを接続する内部バス１９で構成されている。

ＣＰＵ１１は、内部バス１９を介して端末装置１の上述したようなハードウェア各部と接続されており、上述したハードウェア各部の動作を制御するとともに、記憶装置１３に記憶されたコンピュータプログラム１０１に従って、種々のソフトウェア的機能を実行する。メモリ１２は、ＳＲＡＭ、ＳＤＲＡＭ等の揮発性メモリで構成され、コンピュータプログラム１０１の実行時にロードモジュールが展開され、コンピュータプログラム１０１の実行時に発生する一時的なデータ等を記憶する。

記憶装置１３は、内蔵される固定型記憶装置（ハードディスク）、ＲＯＭ等で構成されている。記憶装置１３に記憶されたコンピュータプログラム１０１は、通信インタフェース１８を介して接続されている外部コンピュータからダウンロードされ、実行時には記憶装置１３からメモリ１２へ展開して実行される。もちろん、プログラム及びデータ等の情報を記録したＳＤカード等の可搬型記録媒体からのリーダ／ライタを備えている場合には、可搬型記録媒体からコンピュータプログラム１０１を読み出しても良い。

記憶装置１３には、本実施の形態では、ヘアスタイルに関する情報の一部が記憶されている。ヘアスタイルに関する情報としては、シミュレーションに用いるヘアスタイルのモデル画像データ、ヘアスタイルを識別する情報等が含まれる。具体的には、例えばサーバ３から受信した、ユーザの顔の輪郭線から抽出したモデル画像データでシミュレーションした合成画像が記憶される。なお、本実施の形態では、モデル画像データとユーザの顔の画像データとの合成処理はサーバ３で実施することを想定しているが、特にこれに限定されるものではなく、モデル画像データをサーバ３から受信して記憶しておき、ユーザの顔の画像データとの合成処理を端末装置１で実施しても良い。

通信インタフェース１８は内部バス１９に接続されており、インターネット２、無線ＬＡＮ、ＷＡＮ等の外部のネットワーク網に接続されることにより、外部コンピュータ等とデータ送受信を行うことが可能となっている。

Ｉ／Ｏインタフェース１４及びビデオインタフェース１５は、液晶ディスプレイで構成されたタッチディスプレイ１６と接続され、ヘアスタイルの画像データとユーザの顔の画像データとの合成画像を選択することが可能に表示する。もちろん、携帯可能な端末装置であれば、本構成に限定されるものではない。

撮像手段１７は、ＣＣＤカメラ等であり、ユーザ自身の顔を撮像して、撮像した顔の画像データにヘアスタイルの画像データを合成することにより、ヘアスタイルごとに自分の状態を確認することができる。

図３は、本発明の実施の形態に係る提案システムのサーバ３を、ＣＰＵを用いて構成した例を示すブロック図である。図３に示すように、サーバ３は、少なくともＣＰＵ（中央演算装置）３１、メモリ３２、記憶装置３３、Ｉ／Ｏインタフェース３４、ビデオインタフェース３５、可搬型ディスクドライブ３６、通信インタフェース３７及び上述したハードウェアを接続する内部バス３８で構成されている。

ＣＰＵ３１は、内部バス３８を介してサーバ３の上述したようなハードウェア各部と接続されており、上述したハードウェア各部の動作を制御するとともに、記憶装置３３に記憶しているコンピュータプログラム１００に従って、種々のソフトウェア的機能を実行する。メモリ３２は、ＳＲＡＭ、ＳＤＲＡＭ等の揮発性メモリで構成され、コンピュータプログラム１００の実行時にロードモジュールが展開され、コンピュータプログラム１００の実行時に発生する一時的なデータ等を記憶する。

記憶装置３３は、内蔵される固定型記憶装置（ハードディスク）、ＲＯＭ等で構成されている。記憶装置３３に記憶しているコンピュータプログラム１００は、プログラム及びデータ等の情報を記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体９０から、可搬型ディスクドライブ３６によりダウンロードされ、実行時には記憶装置３３からメモリ３２へ展開して実行される。もちろん、通信インタフェース３７を介して、接続されている外部のコンピュータからダウンロードされたコンピュータプログラムであっても良い。

また記憶装置３３は、輪郭データ記憶部３３１及びモデル画像データ記憶部３３２を備えている。輪郭データ記憶部３３１には、撮像されたユーザの顔の画像データから抽出した顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを記憶する。輪郭データは、ユーザの顔の画像データから輪郭線を抽出して、複数の代表点（特徴点）の座標値として記憶する。

図４は、本発明の実施の形態に係る輪郭データの例示図である。図４の例では、顔の画像データに基づいて、顔の外形（部分）の輪郭を示す輪郭線、目、鼻、口を示す輪郭線を、座標値として記憶している。各番号は、座標値を示す代表点（特徴点）を示しており、顔の外形の輪郭線は代表点‘０’から‘１４’までの１５点で表されている。同様に、目、鼻、口についても、それぞれ代表点の座標値として記憶しておくことにより、顔全体のバランス、目、鼻、口等のパーツの大きさや配置等の情報を得ることができる。

図３に戻って、モデル画像データ記憶部３３２には、ユーザによる選択を受け付けた合成画像の基礎となったモデル画像データと、選択を受け付けたユーザの輪郭データとを対応付けて記憶する。これにより、他のユーザの顔の画像データから抽出した輪郭データをキー情報としてモデル画像データ記憶部３３２を検索することができ、類似の輪郭データを有する他のユーザが選択することが多かったヘアスタイルのモデル画像データを抽出することが可能となる。なお、モデル画像データとしては、ヘアスタイルの他、化粧パターン、服装のモデル画像データを含んでも良い。つまり、輪郭データとヘアスタイルのモデル画像データとを対応付けて記憶するほか、輪郭データと化粧パターンのモデル画像データとを、輪郭データと服装のモデル画像データとを、それぞれ対応付けて記憶する。

通信インタフェース３７は内部バス３８に接続されており、インターネット２、ＬＡＮ、ＷＡＮ等の外部のネットワークに接続されることにより、外部のコンピュータ、例えば端末装置１等とデータ送受信を行うことが可能となっている。

Ｉ／Ｏインタフェース３４は、キーボード３３３、マウス３３４等のデータ入力媒体と接続され、データの入力を受け付ける。また、ビデオインタフェース３５は、ＣＲＴモニタ、ＬＣＤ等の表示装置３３５と接続され、所定の画像を表示する。

以下、上述した構成の提案システムの動作について説明する。なお、以下の説明では、輪郭データに基づいてヘアスタイルを提案するヘアスタイル提案システムを例に挙げて説明する。同様の構成で、輪郭データに基づいて化粧パターンを提案する化粧パターン提案システム、輪郭データに基づいて服装を提案する服装提案システムとしても機能させることができることは言うまでもない。図５は、本発明の実施の形態に係るヘアスタイル提案システムの端末装置１及びサーバ３のモデル画像データを記憶する工程における機能ブロック図である。図５の例では、サーバ３を単体で構成しているが、サーバ３を複数有する構成であっても良い。

図５において、端末装置１の撮像部（撮像手段）１１１は、ヘアスタイルをシミュレーションするユーザ自身の顔を撮像する。撮像部１１１で撮像された顔の画像データは、端末装置１の記憶装置１３に記憶される。撮像部１１１としては、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等を採用する。記憶装置１３への記憶時には、顔の画像データを識別する識別情報と対応付けて記憶される。

輪郭データ抽出部１１２は、撮像された顔の画像データから顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを抽出する。輪郭データ抽出部１１２の輪郭データ送信部１１３は、抽出した輪郭データをサーバ３へ送信し、サーバ３の記憶装置３３の輪郭データ記憶部３３１に記憶させる。

サーバ３の輪郭データ受信部３１１は、端末装置１で抽出した輪郭データを受信する。輪郭データ登録部（輪郭データ記憶手段）３１２は、輪郭データを記憶装置３３の輪郭データ記憶部３３１に記憶する。実際には、輪郭データを識別する輪郭ＩＤと対応付けて、輪郭データとして座標値群を記憶する。

マッチング部３１３は、記憶されている顔の部分の輪郭線（輪郭データ）に基づいて、ヘアスタイルを示すモデル画像データから抽出した顔の部分の輪郭データとマッチング処理する。合成画像生成部３１４は、撮像された顔の画像データの顔の部分と、モデル画像データの髪の部分とを重ね合わせることで合成して、所望のヘアスタイルにした場合の合成画像（第１の合成画像）を生成する。合成画像送信部３１５は、生成された合成画像を端末装置１に送信する。

端末装置１の合成画像受信部１１４は、生成された合成画像を受信し、合成画像表示部１１７は、受信した複数の合成画像を表示する。本実施の形態では、ユーザは、このタイミングで表示されている合成画像のヘアスタイルが気に入ったか否かの選択をすることができる。

すなわち、選択受付部１１５は、表示されている複数の合成画像の中からユーザが気に入ったヘアスタイルに相当する合成画像の選択を受け付ける。この時点で端末装置１は、サーバ３に選択情報として、選択を受け付けた合成画像の識別情報を送信する。識別情報には、合成画像を識別する情報の他、合成画像を生成する基礎となったモデル画像データを識別するモデル画像ＩＤ及び輪郭データを識別する輪郭ＩＤも含まれる。

選択情報である識別情報を受信したサーバ３のモデル画像データ登録部（モデル画像データ記憶手段）３１６は、端末装置１で合成画像の選択を受け付けた時点で、選択を受け付けた合成画像の基礎となったモデル画像データと輪郭データとを対応付けてモデル画像データ記憶部３３２に記憶する。モデル画像データと輪郭データとの対応付けは、モデル画像ＩＤと輪郭ＩＤとを対応付けることにより容易に記憶することができる。

図６は、本発明の実施の形態に係るヘアスタイル提案システムの端末装置１及びサーバ３の合成画像を表示する工程における機能ブロック図である。図５と同様、図６の例でも、サーバ３を単体で構成しているが、サーバ３を複数有する構成であっても良い。

図６において、端末装置１の画像データ受付部１１６は、撮像された顔の画像データの入力を受け付ける。輪郭データ抽出部１１２は、入力を受け付けた顔の画像データから顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを抽出する。輪郭データ抽出部１１２の輪郭データ送信部１１３は、抽出した輪郭データをサーバ３へ送信し、サーバ３の記憶装置３３の輪郭データ記憶部３３１に記憶させる。

なお、本実施の形態では、輪郭データ抽出部１１２を端末装置１に備えているが、特にこれに限定されるものではなく、サーバ３に備えていても良い。この場合、大容量データである顔の画像データを送信することになるので、通信負荷は増大する。

図７は、本発明の実施の形態に係るヘアスタイル提案システムの端末装置１の合成画像表示画面の例示図である。図７の例では、ユーザが選択することが可能な合成画像を並列に合成画像表示領域７１に表示している。もちろん、合成画像ではなく、ユーザの顔の画像データと合成する前のヘアスタイルに関する画像データだけを、並列に表示しても良い。

また、図７の例のように９つの画像データを合成画像表示領域７１に並列に一括表示するのではなく、ヘアスタイルごとに一枚ずつ合成画像表示領域７１に全画面表示しても良いし、ヘアスタイルの画像データだけを、一枚ずつ合成画像表示領域７１に全画面表示しても良い。

図７では、カーソル７０の表示位置を、矢印ボタン７２、７３、７４、７５で移動する。カーソル７０が端に位置するときには、そのままスクロールして合成画像表示領域７１に別のヘアスタイルを示す画像を表示する。ユーザは、カーソル７０が所望のヘアスタイルを示す画像に位置する状態で選択ボタン７６を選択する。これにより、自分の所望のヘアスタイルを選択することができる。

図６に戻って、サーバ３の輪郭データ受信部３１１は、端末装置１で抽出した輪郭データを受信する。輪郭データ登録部（輪郭データ記憶手段）３１２は、輪郭データを記憶装置３３の輪郭データ記憶部３３１に記憶する。

輪郭データ検索部３２１は、輪郭データ抽出部１１２により、端末装置１で入力を受け付けた顔の画像データから抽出された輪郭データに近接する輪郭データを検索する。キー情報として輪郭データを用いる場合、代表点ごとに距離の差分を算出し、距離の差分の合計が最も短い輪郭データを抽出する。

例えば、キー情報となる入力を受け付けた輪郭データの代表点０の座標値を（０：ｘ₁₀、ｙ₁₀）、代表点１の座標値を（１：ｘ₁₁、ｙ₁₁）、・・・、代表点Ｎの座標値を（Ｎ：ｘ_1N、ｙ_1N）とする。記憶されている任意の輪郭データの代表点０の座標値を（０：ｘ_n0、ｙ_n0）、代表点１の座標値を（１：ｘ_n1、ｙ_n1）、・・・、代表点Ｎの座標値を（Ｎ：ｘ_nN、ｙ_nN）とすると、代表点ごとの差分の総和Ｓは、（式１）で表すことができる。

総和Ｓが小さい輪郭データから順に一定の差以内の複数の輪郭データを抽出することにより、顔全体の輪郭がより類似しているユーザが選択したヘアスタイルに相当するモデル画像データとの合成画像を生成することができる。

なお、目、鼻、口等のパーツの配置のバランスを考慮する場合、代表点ごとの距離の差分が一定値以下であることを抽出条件に含めても良い。これにより、例えば目以外の座標値がほぼ一致しているが目だけが極端に位置が相違するような輪郭データを選択するリスクを抑制することが可能となる。

合成画像生成部３１４は、検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、入力を受け付けた顔の画像データと合成された複数の合成画像（第２の合成画像）を生成する。合成画像送信部３１５は、生成された合成画像を端末装置１に送信する。

端末装置１の合成画像受信部１１４は、生成された合成画像を受信し、合成画像表示部１１７は、受信した合成画像を表示する。合成画像は、図７に示すように、ヘアスタイルとしてユーザに似合う可能性が高い候補である９つの合成画像を合成画像表示領域７１に並列に一括表示しても良い。ただし、これに限定されるものではなく、例えばスクロールして順次合成画像を表示できるようにしても良い。

これにより、ユーザには、顔の輪郭データが類似している他のユーザがお気に入りだとして登録しているモデル画像データと合成した合成画像が表示されるので、よりお気に入りのヘアスタイルである可能性が高いヘアスタイルを有する合成画像を優先して表示することができ、確実にお気に入りのヘアスタイルを探し出すことが可能となる。

なお、輪郭データに対応付けて記憶されるモデル画像データは、ユーザがお気に入りであるヘアスタイルに対応するモデル画像データとして事前に登録しておくことが好ましい。この場合、登録されるモデル画像データの個数は問わない。

そして、輪郭データ検索部３２１では、ユーザの輪郭データに類似している度合を算出して類似度とし、類似度の高い順に所定数の輪郭データを抽出しても良い。上述の実施例では、類似度の高い順に輪郭データとモデル画像データとを合成しているが、実際には対応付けられているモデル画像データは複数である。したがって、表示の優先順位を決定しなければならない。

本実施の形態では、輪郭データの類似度を点数表示し、類似度が上位の所定数の輪郭データを抽出した時点で、輪郭データごとに対応付けられているモデル画像データに類似度を付与する。そして、モデル画像データごとに付与された類似度の総和を算出する。これにより、輪郭データが類似する他のユーザがお気に入りに登録する可能性が高いモデル画像データであるほど、類似度の総和が高い点数になる。したがって、類似度の総和の高い順に輪郭データとモデル画像データとの合成画像を生成して表示するようにすることで、類似する輪郭データを有する他のユーザがお気に入りになる可能性が高いヘアスタイルを提案することが可能となる。

図８は、本発明の実施の形態に係るヘアスタイル提案システムの提案するヘアスタイルの決定方法を説明する図表である。図８において、ＳＥＱ１〜６は、ユーザの輪郭データに類似する輪郭データを類似度の高い順に並べたものである。類似度は１００点満点で換算されており、高い順に‘９０’、‘８８’、‘８６’、‘８４’、‘８０’、‘７５’となっている。次に好きなヘアスタイル１〜２０は、輪郭データに対応付けられているモデル画像データに対応するヘアスタイルを示している。説明のために２０個にしているが、ここはデータ数が多くなればなるほど高い精度でお気に入りのヘアスタイルを提案できるようになる。

そして、輪郭データのＳＥＱ１には、ヘアスタイル３、５、６、９、１３、１７、１９に対応するモデル画像データが対応付けて記憶されていることを示している。対応するヘアスタイルそれぞれに、輪郭データの類似度が割り当てられている。同様に輪郭データのＳＥＱ２〜６についても、ヘアスタイルそれぞれに輪郭データの類似度を割り当てる。これにより、ヘアスタイルに重みづけを行うことができ、上位の輪郭データに対応付けて記憶されているモデル画像データに対応するヘアスタイルほど、上位に表示されやすくなる。

具体的には、ヘアスタイルそれぞれに割り当てられている類似度の総和を算出する。算出された類似度の総和が大きい順にランク付けを行い、ランクの高い順に、輪郭データとヘアスタイルに対応するモデル画像データとの合成画像を表示する。これにより、類似度の高い輪郭データを有するユーザにより好まれやすいヘアスタイルから順に提案することが可能となる。図８の例では、ヘアスタイル５が一番類似度の総和が高く（ランクが‘１’）、以下、ヘアスタイル３、ヘアスタイル６、・・・というように表示の優先順位を特定することができる。

図９は、本発明の実施の形態に係るヘアスタイル提案システムの端末装置１のＣＰＵ１１及びサーバ３のＣＰＵ３１のモデル画像データを記憶する工程における処理手順を示すフローチャートである。図９の例でも、サーバ３を単体で構成しているが、サーバ３を複数有する構成であっても良い。

図９において、端末装置１のＣＰＵ１１は、ヘアスタイルをシミュレーションするユーザ自身の顔を撮像する（ステップＳ９１１）。ＣＰＵ１１は、撮像した顔の画像データを記憶装置１３に記憶する（ステップＳ９１２）。

ＣＰＵ１１は、撮像された顔の画像データから顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを抽出する（ステップＳ９１３）。ＣＰＵ１１は、抽出した輪郭データをサーバ３へ送信する（ステップＳ９１４）。

サーバ３のＣＰＵ３１は、端末装置１で抽出された輪郭データを受信する（ステップＳ９３１）。ＣＰＵ３１は、受信した輪郭データを記憶装置３３の輪郭データ記憶部３３１に記憶する（ステップＳ９３２）。

ＣＰＵ３１は、抽出した顔の部分の輪郭線（輪郭データ）に基づいて、ヘアスタイルを示すモデル画像データから抽出した顔の部分の輪郭データとマッチング処理する（ステップＳ９３３）。ＣＰＵ３１は、撮像された顔の画像データの顔の部分と、モデル画像データの髪の部分とを重ね合わせることで合成して、所望のヘアスタイルにした場合の合成画像（第１の合成画像）を生成し（ステップＳ９３４）、生成された合成画像を端末装置１に送信する（ステップＳ９３５）。

端末装置１のＣＰＵ１１は、生成された合成画像を受信し（ステップＳ９１５）、受信した合成画像を表示する（ステップＳ９１６）。本実施の形態では、ユーザは、このタイミングで表示されている合成画像のヘアスタイルが気に入ったか否かの選択をすることができる。

すなわち、ＣＰＵ１１は、ユーザが気に入ったヘアスタイルに相当する合成画像の選択を受け付け（ステップＳ９１７）、選択を受け付けた合成画像の識別情報をサーバ３へ送信する（ステップＳ９１８）。識別情報には、合成画像を識別する情報の他、合成画像を生成する基礎となったモデル画像データ及び輪郭データを識別する情報も含まれる。

サーバ３のＣＰＵ３１は、識別情報を受信し（ステップＳ９３６）、選択を受け付けた合成画像の基礎となったモデル画像データと輪郭データとを対応付けてモデル画像データ記憶部３３２に記憶する（ステップＳ９３７）。

図１０は、本発明の実施の形態に係るヘアスタイル提案システムの端末装置１のＣＰＵ１１及びサーバ３のＣＰＵ３１の合成画像を表示する工程における処理手順を示すフローチャートである。図９と同様、図１０の例でも、サーバ３を単体で構成しているが、サーバ３を複数有する構成であっても良い。

図１０において、端末装置１のＣＰＵ１１は、撮像された顔の画像データの入力を受け付ける（ステップＳ１０１１）。ＣＰＵ１１は、入力を受け付けた顔の画像データから顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを抽出し（ステップＳ１０１２）、抽出した輪郭データをサーバ３へ送信する（ステップＳ１０１３）。

なお、本実施の形態では、端末装置１で輪郭データを抽出しているが、特にこれに限定されるものではなく、サーバ３へ輪郭データを送信した後にサーバ３で抽出しても良い。この場合、大容量データである顔の画像データを送信することになるので、通信負荷は増大する。

サーバ３のＣＰＵ３１は、端末装置１で抽出した輪郭データを受信し（ステップＳ１０３１）、輪郭データを記憶装置３３の輪郭データ記憶部３３１に記憶する（ステップＳ１０３２）。ＣＰＵ３１は、端末装置１で入力を受け付けた顔の画像データから抽出された輪郭データに近接する輪郭データを検索する（ステップＳ１０３３）。キー情報として輪郭データを用いる場合、例えば代表点ごとに距離の差分を算出し、距離の差分の合計が短い順に複数の輪郭データを抽出する。

ＣＰＵ３１は、検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、入力を受け付けた顔の画像データと合成された複数の合成画像（第２の合成画像）を生成する（ステップＳ１０３４）。ＣＰＵ３１は、生成された合成画像を端末装置１に送信する（ステップＳ１０３５）。

端末装置１のＣＰＵ１１は、生成された合成画像を受信し（ステップＳ１０１４）、受信した合成画像を表示する（ステップＳ１０１５）。

以上のように本実施の形態によれば、ユーザは顔の輪郭データが類似している他のユーザがお気に入りだとして登録しているモデル画像データと合成した合成画像が表示されるので、よりお気に入りのヘアスタイルである可能性が高いヘアスタイルを有する合成画像を優先して表示することができ、確実にお気に入りのヘアスタイルを探し出すことが可能となる。

なお、モデル画像データ記憶部３３２においては、輪郭データとモデル画像データとを対応付けて記憶しているが、モデル画像データとして、ヘアスタイルのモデル画像だけではなく、顔に施される化粧をイメージ別にパターン化した複数の化粧パターンデータを輪郭データと対応付けて記憶しても良い。例えば、かわいい系のメイクパターン、クール系のメイクパターン、キレイ系のメイクパターン等、ユーザが選んだヘアスタイルに似合うと判断して、輪郭データに対応付けたメイクパターンとして記憶しておく。

これにより、顔の輪郭に応じたメイクパターンを提案することができ、ユーザは、自分の顔の輪郭に似合うメイクパターンを知ることが可能となる。

なお、メイクパターンは、取得したユーザの顔の輪郭データに応じて、変形させることによりメイク後の状態を表示している。図１１は、本発明の実施の形態に係る提案システムにおけるメイクパターン適用処理の提示図である。

図１１（ａ）に示す画像を端末装置１の撮像部１１１で取得し、輪郭データを抽出する。化粧パターンデータは、抽出した輪郭データと同様の数の代表点の座標値とメイクの色合いあるいは濃淡の程度を座標値と輝度値として記憶している。

図１１（ｂ）は、化粧パターンデータの例示図である。図１１（ｂ）では、取得した顔の輪郭データと化粧パターンデータとの輪郭は一致していない。そこで、化粧パターンデータをマッチング処理する。

具体的には、図１１（ｂ）の化粧パターンデータを顔の画像データの輪郭線とマッチング処理して、図１１（ｃ）に示すように変形後の化粧パターンデータを生成する。変形後の化粧パターンデータを顔の画像データに適用することで、図１１（ｄ）に示すようなメイク後の顔の画像データを得ることができる。このように、かわいい系のメイクパターン、クール系のメイクパターン、キレイ系のメイクパターン等の化粧パターンデータを適用することで、メイク後の顔の画像データを容易に得ることができる。

同様に、モデル画像データ記憶部３３２に、輪郭データと複数の服装の画像データをファッションデータとを対応付けて記憶しても良い。例えば、かわいい系の服装、クール系の服装等、ユーザが選んだヘアスタイルに似合うと判断したファッションデータを、輪郭データと対応付けて記憶しておく。

これにより、顔の輪郭に応じた服装を提案することができ、ユーザは、自分の顔の輪郭に似合う服装を知ることが可能となる。なお、ファッションデータは、取得したユーザの顔の輪郭データに応じて、大きさを変形させても良い。より具体的には、ユーザの服装のサイズ（例えばＳ／Ｍ／Ｌ）、身長や体重の情報を取得することで、それに応じて服装の大きさを変形させるようにしても良い。

このように、輪郭データとヘアスタイルを示す画像データと、輪郭データと化粧パターンの画像データと、輪郭データと服装の画像データを、それぞれ対応付けて記憶することにより、輪郭データが類似しているユーザの嗜好を反映させてヘアスタイル、化粧パターン、服装を提案することができる。もちろん、データ量が増えれば増えるほど、いわゆるビッグデータとしてデータが収集される場合には、より正しくユーザの嗜好を反映させた結果として、ヘアスタイル、化粧パターン、服装を提案することが可能となる。

さらに、端末装置１に、ユーザの属性を示す属性情報を取得する属性取得部１１８（図５参照）を備え、サーバ３のモデル画像データ記憶部３３２には、取得した属性情報と対応付けて、選択を受け付けた合成画像の基礎となったモデル画像データと輪郭データとを記憶しても良い。属性情報とは、例えば性別に関する情報、年齢に関する情報、肌の色に関する情報等の個人情報の他、国籍や出身地、あるいはユーザが顔の画像データを登録した登録時期等を意味している。

このように、サーバ３のモデル画像データ記憶部３３２にモデル画像データ、輪郭データの他に属性情報も対応付けて記憶させておくことにより、端末装置１で入力を受け付けた顔の画像データから抽出された輪郭データに近接する複数の輪郭データを、輪郭データ検索部３２１により属性情報に応じて検索することが可能となる。例えば年齢によってヘアスタイルの選択傾向が大きく変わる場合、年齢に適応したヘアスタイルを優先的に選択して合成画像を生成して表示することができる。

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。例えば、端末装置１だけで構成されていても良いし、クラウドサーバを用いて、いつでもだれでも使うことが可能としても良い。

また、実施例では、輪郭データとヘアスタイルを示すモデル画像データとを対応付けてヘアスタイル提案システムを主体に記載しているが、特にこれに限定されるものではない。例えば輪郭データと化粧パターンを示すモデル画像データ（化粧パターンデータ）とを対応付けて化粧パターン提案システムを主体にしても良いし、輪郭データと服装を示すモデル画像データ（ファッションデータ）とを対応付けて服装提案システムを主体にしても良い。

１端末装置
２インターネット
３サーバ
１１、３１ＣＰＵ
１２、３２メモリ
１３、３３記憶装置
１７撮像手段
１００、１０１コンピュータプログラム

Claims

複数の端末装置と一又は複数のサーバとで構成されており、
前記端末装置は、
ユーザ自身の顔を撮像する撮像手段と、
撮像された顔の画像データから顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを抽出して前記サーバへ転送して記憶させる輪郭データ抽出手段と
を有し、
前記サーバは、
記憶されている顔の部分の輪郭線を、事前に記憶してあるヘアスタイルを示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理するマッチング手段と、
輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの髪の部分とを重ね合わせて第１の合成画像を生成する合成画像生成手段と
を有し、
前記端末装置は、前記サーバで生成された第１の合成画像を取得してタッチディスプレイに表示する合成画像表示手段を有する提案システムにおいて、
前記端末装置は、
表示されている複数の前記第１の合成画像から一の前記第１の合成画像の選択を受け付ける選択受付手段を備え、
前記サーバは、
前記端末装置で一の前記第１の合成画像の選択を受け付けた時点で、選択を受け付けた一の前記第１の合成画像の基礎となったモデル画像データと輪郭データとを対応付けて記憶するモデル画像データ記憶手段を備え、
前記端末装置は、
撮像された顔の画像データの入力を受け付ける画像データ受付手段を備え、
前記サーバは、
前記輪郭データ抽出手段により、前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する、事前に記憶してある複数の輪郭データを検索する輪郭データ検索手段を備え、
前記サーバの前記合成画像生成手段は、検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、前記端末装置で入力を受け付けた顔の画像データと合成された複数の第２の合成画像を生成し、
前記端末装置の前記合成画像表示手段は、前記サーバで生成された前記第２の合成画像を取得してタッチディスプレイに表示することを特徴とする提案システム。
前記輪郭データは、顔の部分の輪郭線だけでなく、目、鼻、口の輪郭線も含むことを特徴とする請求項１に記載の提案システム。
前記モデル画像データ記憶手段は、前記輪郭データと、顔に施される化粧をイメージ別にパターン化した複数の化粧パターンデータとを対応付けて記憶していることを特徴とする請求項１又は２に記載の提案システム。
前記モデル画像データ記憶手段は、前記輪郭データと、服装の画像データを含む複数のファッションデータとを対応付けて記憶していることを特徴とする請求項１乃至３のいずれか一項に記載の提案システム。
前記端末装置は、ユーザの属性を示す属性情報を取得する属性取得手段を備え、
前記サーバの前記モデル画像データ記憶手段は、前記端末装置で取得された前記属性情報と対応付けて、前記端末装置で選択を受け付けた一の第１の合成画像の基礎となったモデル画像データと輪郭データとを記憶することを特徴とする請求項１乃至４のいずれか一項に記載の提案システム。
前記サーバの前記輪郭データ検索手段は、前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する輪郭データを、前記属性情報に応じて検索することを特徴とする請求項５に記載の提案システム。
複数の端末装置と一又は複数のサーバとで構成されており、
前記端末装置は、
ユーザ自身の顔を撮像する撮像手段と、
撮像された顔の画像データから顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを抽出して前記サーバへ転送して記憶させる輪郭データ抽出手段と
を有し、
前記サーバは、
記憶されている顔の部分の輪郭線を、事前に記憶してあるヘアスタイルを示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理するマッチング手段と、
輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの髪の部分とを重ね合わせて第１の合成画像を生成する合成画像生成手段と
を有し、
前記端末装置は、前記サーバで生成された第１の合成画像を取得してタッチディスプレイに表示する合成画像表示手段を有する提案システムで実行することが可能な提案方法において、
前記端末装置は、
表示されている複数の前記第１の合成画像から一の前記第１の合成画像の選択を受け付ける工程を含み、
前記サーバは、
前記端末装置で一の前記第１の合成画像の選択を受け付けた時点で、選択を受け付けた一の前記第１の合成画像の基礎となったモデル画像データと輪郭データとを対応付けて記憶する工程を含み、
前記端末装置は、
撮像された顔の画像データの入力を受け付ける工程を含み、
前記サーバは、
前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する、事前に記憶してある複数の輪郭データを検索する工程を含み、
検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、前記端末装置で入力を受け付けた顔の画像データと合成された複数の第２の合成画像を生成し、
前記サーバで生成された前記第２の合成画像を取得してタッチディスプレイに表示することを特徴とする提案方法。
前記輪郭データは、顔の部分の輪郭線だけでなく、目、鼻、口の輪郭線も含むことを特徴とする請求項７に記載の提案方法。
前記輪郭データと、顔に施される化粧をイメージ別にパターン化した複数の化粧パターンデータとを対応付けて記憶していることを特徴とする請求項７又は８に記載の提案方法。
前記輪郭データと、服装の画像データを含む複数のファッションデータとを対応付けて記憶していることを特徴とする請求項７乃至９のいずれか一項に記載の提案方法。
前記端末装置は、ユーザの属性を示す属性情報を取得する工程を含み、
前記サーバは、前記端末装置で取得された前記属性情報と対応付けて、前記端末装置で選択を受け付けた一の前記第１の合成画像の基礎となったモデル画像データと輪郭データとを記憶することを特徴とする請求項７乃至１０のいずれか一項に記載の提案方法。
前記サーバは、前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する輪郭データを、前記属性情報に応じて検索することを特徴とする請求項１１に記載の提案方法。
外部の端末装置とデータ通信することが可能に接続されており、
前記端末装置から、撮像された顔の画像データから抽出された、顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを受信して記憶する輪郭データ記憶手段と、
記憶されている顔の部分の輪郭線を、事前に記憶してあるヘアスタイルを示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理するマッチング手段と、
輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの髪の部分とを重ね合わせて第１の合成画像を生成する合成画像生成手段と、
生成した第１の合成画像を前記端末装置へ送信する合成画像送信手段を有するサーバにおいて、
前記端末装置で一の前記第１の合成画像の選択を受け付けた時点で、選択を受け付けた一の前記第１の合成画像の基礎となったモデル画像データと輪郭データとを対応付けて記憶するモデル画像データ記憶手段と、
前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する、事前に記憶してある複数の輪郭データを検索する輪郭データ検索手段と
を備え、
前記合成画像生成手段は、検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、前記端末装置で入力を受け付けた顔の画像データと合成された複数の第２の合成画像を生成し、
前記合成画像送信手段は、生成された前記第２の合成画像を前記端末装置へ送信することを特徴とするサーバ。
前記輪郭データは、顔の部分の輪郭線だけでなく、目、鼻、口の輪郭線も含むことを特徴とする請求項１３に記載のサーバ。
前記モデル画像データ記憶手段は、前記輪郭データと、顔に施される化粧をイメージ別にパターン化した複数の化粧パターンデータとを対応付けて記憶していることを特徴とする請求項１３又は１４に記載のサーバ。
前記モデル画像データ記憶手段は、前記輪郭データと、服装の画像データを含む複数のファッションデータとを対応付けて記憶していることを特徴とする請求項１３乃至１５のいずれか一項に記載のサーバ。
前記モデル画像データ記憶手段は、前記端末装置で取得されたユーザの属性を示す属性情報と対応付けて、前記端末装置で選択を受け付けた一の前記第１の合成画像の基礎となったモデル画像データと輪郭データとを記憶することを特徴とする請求項１３乃至１６のいずれか一項に記載のサーバ。
前記輪郭データ検索手段は、前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する輪郭データを、前記属性情報に応じて検索することを特徴とする請求項１７に記載のサーバ。
外部の端末装置とデータ通信することが可能に接続されており、
前記端末装置から、撮像された顔の画像データから抽出された、顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを受信して記憶する輪郭データ記憶手段と、
記憶されている顔の部分の輪郭線を、事前に記憶してあるヘアスタイルを示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理するマッチング手段と、
輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの髪の部分とを重ね合わせて第１の合成画像を生成する合成画像生成手段と、
生成した第１の合成画像を前記端末装置へ送信する合成画像送信手段を有するサーバで実行することが可能なコンピュータプログラムにおいて、
前記サーバを、
前記端末装置で一の前記第１の合成画像の選択を受け付けた時点で、選択を受け付けた一の前記第１の合成画像の基礎となったモデル画像データと輪郭データとを対応付けて記憶するモデル画像データ記憶手段、及び
前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する、事前に記憶してある複数の輪郭データを検索する輪郭データ検索手段
として機能させ、
前記合成画像生成手段を、検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、前記端末装置で入力を受け付けた顔の画像データと合成された複数の第２の合成画像を生成する手段として機能させ、
前記合成画像送信手段を、生成された前記第２の合成画像を取得して前記端末装置へ送信する手段として機能させることを特徴とするコンピュータプログラム。
前記輪郭データは、顔の部分の輪郭線だけでなく、目、鼻、口の輪郭線も含むことを特徴とする請求項１９に記載のコンピュータプログラム。
複数の端末装置と一又は複数のサーバとで構成されており、
前記端末装置は、
ユーザ自身の顔を撮像する撮像手段と、
撮像された顔の画像データから顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを抽出して前記サーバへ転送して記憶させる輪郭データ抽出手段と
を有し、
前記サーバは、
記憶されている顔の部分の輪郭線を、事前に記憶してある顔に施される化粧をイメージ別にパターン化した複数の化粧パターンを示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理するマッチング手段と、
輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの顔の部分とを重ね合わせて第１の合成画像を生成する合成画像生成手段と
を有し、
前記端末装置は、前記サーバで生成された第１の合成画像を取得してタッチディスプレイに表示する合成画像表示手段を有する提案システムにおいて、
前記端末装置は、
表示されている複数の前記第１の合成画像から一の前記第１の合成画像の選択を受け付ける選択受付手段を備え、
前記サーバは、
前記端末装置で一の前記第１の合成画像の選択を受け付けた時点で、選択を受け付けた一の前記第１の合成画像の基礎となったモデル画像データと輪郭データとを対応付けて記憶するモデル画像データ記憶手段を備え、
前記端末装置は、
撮像された顔の画像データの入力を受け付ける画像データ受付手段を備え、
前記サーバは、
前記輪郭データ抽出手段により、前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する、事前に記憶してある複数の輪郭データを検索する輪郭データ検索手段を備え、
前記サーバの前記合成画像生成手段は、検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、前記端末装置で入力を受け付けた顔の画像データと合成された複数の第２の合成画像を生成し、
前記端末装置の前記合成画像表示手段は、前記サーバで生成された前記第２の合成画像を取得してタッチディスプレイに表示することを特徴とする提案システム。
前記輪郭データは、顔の部分の輪郭線だけでなく、目、鼻、口の輪郭線も含むことを特徴とする請求項２１に記載の提案システム。
前記モデル画像データ記憶手段は、前記輪郭データと、ヘアスタイルを示すモデル画像データとを対応付けて記憶していることを特徴とする請求項２１又は２２に記載の提案システム。
前記モデル画像データ記憶手段は、前記輪郭データと、服装の画像データを含む複数のファッションデータとを対応付けて記憶していることを特徴とする請求項２１乃至２３のいずれか一項に記載の提案システム。
複数の端末装置と一又は複数のサーバとで構成されており、
前記端末装置は、
ユーザ自身の顔を撮像する撮像手段と、
撮像された顔の画像データから顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを抽出して前記サーバへ転送して記憶させる輪郭データ抽出手段と
を有し、
前記サーバは、
記憶されている顔の部分の輪郭線を、事前に記憶してある服装を示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理するマッチング手段と、
輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの服装の部分とを重ね合わせて第１の合成画像を生成する合成画像生成手段と
を有し、
前記端末装置は、前記サーバで生成された第１の合成画像を取得してタッチディスプレイに表示する合成画像表示手段を有する提案システムにおいて、
前記端末装置は、
表示されている複数の前記第１の合成画像から一の前記第１の合成画像の選択を受け付ける選択受付手段を備え、
前記サーバは、
前記端末装置で一の前記第１の合成画像の選択を受け付けた時点で、選択を受け付けた一の前記第１の合成画像の基礎となったモデル画像データと輪郭データとを対応付けて記憶するモデル画像データ記憶手段を備え、
前記端末装置は、
撮像された顔の画像データの入力を受け付ける画像データ受付手段を備え、
前記サーバは、
前記輪郭データ抽出手段により、前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する、事前に記憶してある複数の輪郭データを検索する輪郭データ検索手段を備え、
前記サーバの前記合成画像生成手段は、検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、前記端末装置で入力を受け付けた顔の画像データと合成された複数の第２の合成画像を生成し、
前記端末装置の前記合成画像表示手段は、前記サーバで生成された前記第２の合成画像を取得してタッチディスプレイに表示することを特徴とする提案システム。
前記輪郭データは、顔の部分の輪郭線だけでなく、目、鼻、口の輪郭線も含むことを特徴とする請求項２５に記載の提案システム。
前記モデル画像データ記憶手段は、前記輪郭データと、ヘアスタイルを示すモデル画像データとを対応付けて記憶していることを特徴とする請求項２５又は２６に記載の提案システム。
前記モデル画像データ記憶手段は、前記輪郭データと、顔に施される化粧をイメージ別にパターン化した複数の化粧パターンデータとを対応付けて記憶していることを特徴とする請求項２５乃至２７のいずれか一項に記載の提案システム。