JP7351165B2 - Image processing device, makeup simulation device, image processing method and program - Google Patents
Image processing device, makeup simulation device, image processing method and program Download PDFInfo
- Publication number
- JP7351165B2 JP7351165B2 JP2019173596A JP2019173596A JP7351165B2 JP 7351165 B2 JP7351165 B2 JP 7351165B2 JP 2019173596 A JP2019173596 A JP 2019173596A JP 2019173596 A JP2019173596 A JP 2019173596A JP 7351165 B2 JP7351165 B2 JP 7351165B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- cosmetics
- user
- makeup
- display area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、画像処理装置、メイクシミュレーション装置、画像処理方法及びプログラムに関する。 The present invention relates to an image processing device, a makeup simulation device, an image processing method, and a program.
ユーザが化粧品によりメイクアップ（以下、「メイク」と呼ぶ。）した後の状態をシミュレーションするメイクシミュレーションの技術が知られている。例えば、特許文献１は、人物の顔画像にメイクパーツを重畳して表示装置に表示させるメイクシミュレーション装置を開示している。 2. Description of the Related Art Makeup simulation techniques are known that simulate the state of a user after applying makeup (hereinafter referred to as "makeup") using cosmetics. For example, Patent Document 1 discloses a makeup simulation device that superimposes makeup parts on a face image of a person and displays the superimposed makeup parts on a display device.
ところで、化粧品の中にはパール剤やラメ剤が含まれている製品が市販されており、真珠のように様々な色を発する仕上がりや金属表面のように光を反射し光沢を放つ仕上がりを演出するために用いられている。しかしながら、従来のメイクシミュレーション画像においては、特許文献１のようにそもそも光るエフェクトがなかったり、光る部分が常に一定の光り方をするように表示されたり、上記パール剤やラメ剤による色合いや光沢が適切に表現されていないという課題がある。 By the way, there are cosmetic products on the market that contain pearl agents and glitter agents, which produce a finish that emits a variety of colors like a pearl or a finish that reflects light and gives off a gloss like a metal surface. It is used to However, in conventional makeup simulation images, as in Patent Document 1, there is no shining effect in the first place, the shining part is always displayed in a certain way, and the color and luster due to the pearl agent and glitter agent are The problem is that it is not expressed properly.
本発明は、以上のような課題を解決するためのものであり、効果的なグリッター表現が可能な画像処理装置、メイクシミュレーション装置、画像処理方法及びプログラムを提供することを目的とする。 The present invention is intended to solve the above problems, and aims to provide an image processing device, a makeup simulation device, an image processing method, and a program that can effectively express glitter.
上記目的を達成するため、本発明に係る画像処理装置は、
ユーザの顔が撮像された撮像画像を表示する第１の表示領域と、化粧品を表現する化粧品画像を表示する第２の表示領域とを有する表示部と、
前記ユーザ及び前記第２の表示領域のうちの少なくとも一方の姿勢を検出する検出部と、
前記第１の表示領域に表示された前記撮像画像にメイク画像を表示する表示制御部と、を備え、
前記表示制御部は、前記検出部により検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整し、
前記ユーザの姿勢は、目周辺に設定された特徴点の位置関係の変化に基づいて算出される、
ことを特徴とする。
In order to achieve the above object, an image processing device according to the present invention includes:
a display unit having a first display area that displays a captured image of a user's face; and a second display area that displays a cosmetics image representing cosmetics;
a detection unit that detects a posture of at least one of the user and the second display area;
a display control unit that displays a makeup image on the captured image displayed in the first display area,
The display control unit adjusts the glitter expression of at least one of the makeup image and the cosmetics image based on the posture detected by the detection unit,
The user's posture is calculated based on a change in the positional relationship of feature points set around the eyes.
It is characterized by
本発明によれば、効果的なグリッター表現ができる。 According to the present invention, effective glitter expression can be achieved.
以下、本発明の実施形態について、図面を参照して説明する。なお、図中同一又は相当する部分には同一符号を付す。 Embodiments of the present invention will be described below with reference to the drawings. In addition, the same reference numerals are given to the same or corresponding parts in the figures.
（実施形態１）
図１に、本発明の実施形態１に係るメイクシミュレーション装置１の外観を模式的に示す。メイクシミュレーション装置１は、ユーザが化粧品によりメイクした後の状態をコンピュータ上でシミュレーションする装置である。メイクシミュレーション装置１を用いることで、ユーザは、本物の化粧品を用いることなく気軽にメイクの練習をすることや、メイク後の状態を事前に確認することができる。
(Embodiment 1)
FIG. 1 schematically shows the appearance of a makeup simulation device 1 according to Embodiment 1 of the present invention. The makeup simulation device 1 is a device that simulates on a computer the state of a user after applying makeup using cosmetics. By using the makeup simulation device 1, the user can easily practice makeup without using real cosmetics and can check the state after applying makeup in advance.
図１に示すように、メイクシミュレーション装置１は、画像処理装置１０と、指示装置３０と、を備える。画像処理装置１０は、ユーザの顔が撮像された撮像画像に対して、メイク後の状態を表す画像をシミュレーションにより生成して表示する装置である。画像処理装置１０は、メイク用のパレットを模擬した形状をしている。
As shown in FIG. 1, the makeup simulation device 1 includes an
図２に示すように、実施形態１に係るメイクシミュレーション装置１は、後述するタッチパネル１６の位置や角度を変化させることにより、タッチパネル１６に表示された化粧品画像のラメ感やパール感等が変化するように表示する装置である。
As shown in FIG. 2, the makeup simulation device 1 according to the first embodiment changes the glittery feeling, pearly feeling, etc. of the cosmetic image displayed on the
図３に、画像処理装置１０のハードウェア構成を示す。画像処理装置１０は、制御部１１と、記憶部１２と、操作部１３と、撮像部１４と、表示部１５と、タッチパネル１６と、通信部１７と、加速度検知部（検出部）１８と、を備える。
FIG. 3 shows the hardware configuration of the
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を備える。ＣＰＵは、例えばマイクロプロセッサ等を備え、様々な処理及び演算を実行する中央演算処理部として機能する。制御部１１において、ＣＰＵは、システムバスを介して画像処理装置１０の各部に接続されており、ＲＯＭに記憶されている制御プログラムを読み出して、ＲＡＭをワークメモリとして用いながら、画像処理装置１０全体の動作を制御する。
The
また、制御部１１は、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）等のような画像処理用のプロセッサと、処理される画像を一時的に保存するバッファメモリと、を備える。制御部１１は、画像処理用のプロセッサにより、周知の画像処理の手法を用いて、撮像部１４により得られた撮像画像を処理する。
Further, the
記憶部１２は、フラッシュメモリ、ハードディスク等の不揮発性メモリを備える。記憶部１２は、制御部１１が各種処理を行うために使用するプログラム及びデータを記憶する。記憶部１２は、図４に示すような、後述する光反射エフェクトテーブルＥを記憶する。光反射エフェクトテーブルＥは、本実施形態では、実際に表示する化粧品を所定の角度に傾けて撮像した画像から生成されたエフェクト素材を使用する。また、記憶部１２は、制御部１１が各種処理を行うことにより生成又は取得するデータを記憶する。
The
操作部１３は、入力キー、ボタン、スイッチ等を備え、ユーザから操作指示を受け付ける。
The
撮像部１４は、いわゆるカメラであって、被写体から射出された光を集光するレンズと、集光した光を受けて被写体の画像を取得するＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子と、撮像素子から電気信号として送られた撮像データをデジタルデータに変換するＡ／Ｄ（Analog/Digital）変換器と、を備える。撮像部１４は、図１に示すように、表示部１５の近傍に配置されており、表示部１５を見ながら画像処理装置１０を使用しているユーザの顔を撮像する。
The
図３に戻って、表示部（第１の表示領域）１５は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の表示デバイスである。表示部１５は、図１に示すように、画像処理装置１０の上側の面に配置されており、撮像部１４の撮像により得られた撮像画像を表示する。表示部１５は、第１の表示部として機能する。
Returning to FIG. 3, the display unit (first display area) 15 is a display device such as a liquid crystal display or an organic EL (Electro Luminescence) display. The
タッチパネル（第２の表示領域）１６は、タッチスクリーン等とも呼ばれ、画像を表示する表示装置と位置の入力を受け付ける位置入力装置とが互いに重畳して配置されたデバイスである。タッチパネル１６は、図１に示すように、画像処理装置１０の下側の面に配置されており、メイクシミュレーションにおいてユーザの顔に仮想的に塗布される化粧品を表現する化粧品画像を表示する。図２に示すように、ラメ感やパール感を有する化粧品の化粧品画像は、ラメ感やパール感を有する実際の化粧品のように、タッチスクリーンの角度の変化によってグリッターが変化するように表示される。タッチパネル１６は、第２の表示部として機能する。また、タッチパネル１６は、表示装置に画像が表示されている時に、タッチパネル１６の表面に対する接触による操作を位置入力装置により受け付ける。
The touch panel (second display area) 16 is also called a touch screen or the like, and is a device in which a display device that displays an image and a position input device that accepts position input are arranged so as to overlap each other. As shown in FIG. 1, the
通信部１７は、画像処理装置１０が指示装置３０を含む外部の機器と通信するためのインタフェースを備える。通信部１７は、例えば、無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信、又はＵＳＢ（Universal Serial Bus）ケーブル等の有線通信を介して外部の機器と通信する。
The
加速度検知部１８は、機械式、振動式、半導体式等の周知の方式で加速度を検知する加速度センサを備えており、画像処理装置１０の全体に加えられる加速度を検知する。加速度検知部１８は、例えば画像処理装置１０がユーザに把持された状態で傾けられた場合のように、画像処理装置１０に加速度が加えられた場合に、その加速度を検知する。
The
図１に戻って、指示装置３０は、メイクシミュレーションにおいて化粧品を選択し、選択した化粧品を仮想的に塗布する顔の位置を指示するための装置である。指示装置３０は、スティック状をしており、いわゆる化粧筆（化粧ブラシ、メイクブラシ）のような、顔に化粧品を塗布するために用いられる塗布ツールを模擬する部材である。ユーザは、指示装置３０を手で把持し、画像処理装置１０に表示された化粧品画像及びユーザの顔を、指示装置３０の端部で指し示すようにして使用する。指示装置３０は、指示体として機能する。
Returning to FIG. 1, the
指示装置３０は、図示を省略するが、タッチパネル１６の表面やユーザの顔等に接触する側の先端部に、取り外し可能なアタッチメント（取り付け部材）を備える。アタッチメントは、仮想的に化粧品を付着させて塗布するための部品である。アタッチメントとして、ペン状、ブラシ状等の様々な形状のものを指示装置３０に取り付けることができる。指示装置３０に取り付けられるアタッチメントに応じて、メイクシミュレーションにおける化粧品の塗布の態様が変化する。ユーザは、指示装置３０に所望の形状のアタッチメントを付け替えてメイクをシミュレーションすることができる。
Although not shown, the
図５に、指示装置３０のハードウェア構成を示す。指示装置３０は、制御部３１と、記憶部３２と、接触検知部３４と、加速度検知部３５と、通信部３７と、を備える。
FIG. 5 shows the hardware configuration of the
制御部３１は、ＣＰＵ、ＲＯＭ及びＲＡＭを備える。ＣＰＵは、例えばマイクロプロセッサ等を備え、様々な処理及び演算を実行する中央演算処理部として機能する。制御部１１において、ＣＰＵは、システムバスを介して指示装置３０の各部に接続されており、ＲＯＭに記憶されている制御プログラムを読み出して、ＲＡＭをワークメモリとして用いながら、指示装置３０全体の動作を制御する。
The
記憶部３２は、フラッシュメモリ、ハードディスク等の不揮発性メモリを備える。記憶部３２は、制御部３１が各種処理を行うために使用するプログラム及びデータを記憶する。また、記憶部３２は、制御部３１が各種処理を行うことにより生成又は取得するデータを記憶する。
The
接触検知部３４は、指示装置３０の端部に対する接触を検知する。接触検知部３４は、静電容量式、歪みゲージ式等の周知の方式で圧力を検知する圧力センサを備える。接触検知部３４は、指示装置３０に取り付けられたアタッチメントに、タッチパネル１６の表面やユーザの顔等の物体が接触した場合、その接触によってアタッチメントに加えられる圧力を圧力センサにより検知する。これにより、接触検知部３４は、指示装置３０の端部に対する接触を検知する。
The
加速度検知部３５は、機械式、振動式、半導体式等の周知の方式で加速度を検知する加速度センサを備えており、指示装置３０の全体に加えられる加速度を検知する。加速度検知部３５は、例えば指示装置３０がユーザに把持された状態で振り払われた場合のように、指示装置３０に加速度が加えられた場合に、その加速度を検知する。
The
通信部３７は、指示装置３０が画像処理装置１０と通信するためのインタフェースを備える。通信部３７は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信、又はＵＳＢケーブル等の有線通信を介して画像処理装置１０と通信する。
The
次に、図６を参照して、メイクシミュレーション装置１の機能的な構成について説明する。図６に示すように、画像処理装置１０は、機能的に、画像取得部１１０と、表示制御部１２０と、顔検出部（検出部）１３０と、操作受付部１４０、情報受信部１５０と、保持量設定部１６０と、接触位置特定部１７０と、を備える。制御部１１において、ＣＰＵがＲＯＭに記憶されたプログラムをＲＡＭに読み出して実行することにより、これら各部として機能する。
Next, with reference to FIG. 6, the functional configuration of the makeup simulation device 1 will be described. As shown in FIG. 6, the
また、指示装置３０は、機能的に、情報送信部３１０を備える。制御部３１において、ＣＰＵがＲＯＭに記憶されたプログラムをＲＡＭに読み出して実行することにより、情報送信部３１０として機能する。
Further, the
画像処理装置１０において、画像取得部１１０は、撮像部１４による撮像により得られた撮像画像を取得する。図７に、ユーザＵがメイクシミュレーション装置１を用いてメイクのシミュレーションを行うために、画像処理装置１０の表示部１５に向かい合っている状態を示す。撮像部１４は、図７において破線で示す視野の内側、具体的には表示部１５に向かい合っているユーザＵの顔を含む範囲を撮像する。
In the
このように、撮像部１４の設置位置及び光軸の向きは、ユーザＵが表示部１５に向かい合っている場合にユーザＵの顔が撮像部１４の視野に含まれるように、調整されている。そのため、ユーザＵが表示部１５に向かい合っている場合、画像取得部１１０は、ユーザＵの顔が撮像された撮像画像を取得する。画像取得部１１０は、画像処理装置１０がユーザＵにより使用されている間、このような撮像部１４によりユーザＵの顔が撮像された撮像画像を継続的に取得する。画像取得部１１０は、制御部１１が撮像部１４等と協働することにより実現される。
In this way, the installation position and the direction of the optical axis of the
表示制御部１２０は、画像取得部１１０により取得された撮像画像を、第１の表示部である表示部１５に表示する。例えば図７に示したように撮像部１４の視野内にユーザＵの顔が含まれている場合、表示制御部１２０は、ユーザの顔が撮像された撮像画像を表示部１５に表示する。これにより、表示制御部１２０は、表示部１５に向かい合っているユーザＵの顔の様子をリアルタイムで表示する。このように撮像されたユーザの顔画像が表示部１５に表示されることで、ユーザは、表示部１５に表示された自分の顔画像を鏡に映った顔のように見ながら、メイクをシミュレーションすることができる。
The
更に、表示制御部１２０は、化粧品を表現する化粧品画像を、第２の表示部であるタッチパネル１６に表示する。化粧品画像は、メイクシミュレーションにおいてユーザＵの顔に仮想的に塗布される化粧品を視覚的に表現する画像である。表示制御部１２０は、化粧品画像として、複数の化粧品を表現する画像を表示する。また、表示制御部１２０は、図２に示すように、ラメ感やパール感を有する化粧品には、後述するグリッターエフェクトを化粧品画像に重畳して表示する。
Furthermore, the
具体的に説明すると、表示制御部１２０は、例えば図７に示すように、タッチパネル１６上の表示領域を縦方向及び横方向に複数に区切ることで、複数の部分領域に分割する。そして、表示制御部１２０は、化粧品画像として、複数の部分領域のそれぞれに異なる化粧品を表現する画像を表示する。
Specifically, as shown in FIG. 7, for example, the
ここで、複数の部分領域のそれぞれに表示される化粧品は、色、光沢、質感等の少なくとも１つの特徴が異なる化粧品であって、ユーザＵの顔に仮想的に塗布してメイク後の状態をシミュレーションすることが可能な化粧品である。色、光沢、質感等が異なる複数の化粧品を表現する化粧品画像がタッチパネル１６に表示されることにより、ユーザＵは、複数の化粧品のうちからメイクシミュレーションを望む化粧品を選択して使用することができる。
Here, the cosmetics displayed in each of the plurality of partial areas are cosmetics that differ in at least one characteristic such as color, gloss, texture, etc., and are virtually applied to the user U's face to see the state after makeup. It is a cosmetic product that can be simulated. By displaying cosmetic images representing a plurality of cosmetic products with different colors, gloss, textures, etc. on the
このような複数の化粧品を表現する化粧品画像は、記憶部１２に予め記憶されている。表示制御部１２０は、画像処理装置１０の使用時に化粧品画像を記憶部１２から読み出してタッチパネル１６に表示する。ラメ感やパール感を有する化粧品には、図４に示す光反射エフェクトテーブルＥから、画像処理装置１０のＸ軸方向（短辺方向）及びＹ軸方向（長辺方向）の傾きに応じたエフェクト画像を重畳して表示する。本実施形態では、Ｘ軸方向に２５°ずつ５段階、Ｙ軸方向に１５°ずつ９段階の画像処理装置１０の傾きに対応したエフェクト画像を有する光反射エフェクトテーブルＥが記憶部１２に記憶されている。画像処理装置１０の傾きは、加速度検知部１８によって検知され、表示制御部１２０は、これに応じたエフェクト画像を重畳表示する。
Cosmetics images representing such a plurality of cosmetics are stored in the
このようにユーザＵの顔が撮像された撮像画像がリアルタイムで表示部１５に表示され、且つ、化粧品画像がタッチパネル１６に表示されることにより、ユーザは、画像処理装置１０を、化粧用のパレットのように取り扱うことができる。また、画像処理装置１０を傾けることでラメ感やパール感のある化粧品の表示の変化が生じるため、ユーザは、ラメ感やパール感のある化粧品を他の化粧品と容易に区別することができる。表示制御部１２０は、制御部１１が表示部１５、タッチパネル１６等と協働することにより実現される。
In this way, the captured image of user U's face is displayed on the
図６に戻って、顔検出部１３０は、画像取得部１１０により取得された撮像画像のうちから顔画像を検出する。具体的に説明すると、顔検出部１３０は、画像取得部１１０により撮像画像が取得されると、周知の顔認識の手法を用いて、撮像画像に目、鼻、眉等の顔部位が含まれているか否かを判定する。判定の結果、撮像画像に顔部位が含まれている場合、顔検出部１３０は、撮像画像における顔部位の座標及びサイズを検出する。
Returning to FIG. 6, the
また、顔検出部１３０は、検出した顔部位に基づいて顔の輪郭部分を識別し、顔全体の領域を検出する。そして、顔検出部１３０は、撮像画像における顔全体の領域を、仮想的に化粧品が塗布される対象となるバーチャルメイク領域として決定する。顔検出部１３０は、制御部１１が記憶部１２等と協働することにより実現される。
Furthermore, the
操作受付部１４０は、タッチパネル１６に化粧品画像が表示されている時に、指示装置３０がタッチパネル１６の表面に接触することによる操作を受け付ける。図７に、指示装置３０の先端部がタッチパネル１６の表面に接触した例を示す。ユーザＵは、メイクシミュレーション装置１を用いてメイク後の状態をシミュレーションする場合、図７に示すように、指示装置３０を手で把持し、その先端部を化粧品画像が表示されているタッチパネル１６の表面に接触させる。
The
このような指示装置３０をタッチパネル１６の表面に接触させる動作は、化粧用のパレットに収納されている化粧品を化粧筆の先端部に保持（付着）させる動作を模擬したものである。操作受付部１４０は、指示装置３０によるタッチパネル１６の表面に対する接触を検知することにより、ユーザからの操作を受け付ける。
The operation of bringing the indicating
より詳細には、操作受付部１４０は、指示装置３０がタッチパネル１６の表面に接触すると、タッチパネル１６の位置入力装置の機能により、その接触の位置座標を検知する。そして、操作受付部１４０は、タッチパネル１６に化粧品画像として表示されている複数の化粧品のうちの、検知された位置座標に表示されている化粧品を、ユーザＵの顔に仮想的に塗布される化粧品として選択する。
More specifically, when the
このように、ユーザＵは、指示装置３０を化粧筆のように用いてタッチパネル１６の表面に接触させることにより、複数の化粧品のうちから、ユーザＵの顔に仮想的に塗布する化粧品を選択する。操作受付部１４０は、制御部１１がタッチパネル１６等と協働することにより実現される。
In this way, the user U selects a cosmetic product to virtually apply to the user U's face from among a plurality of cosmetic products by using the
図６に戻って、指示装置３０において、情報送信部３１０は、通信部３７を介して画像処理装置１０と通信することにより、接触情報及び加速度情報を画像処理装置１０に送信する。情報送信部３１０は、制御部３１が通信部３７等と協働することにより実現される。
Returning to FIG. 6, in the
第１に、情報送信部３１０は、接触検知部３４により検知された接触に関する接触情報を画像処理装置１０に送信する。ここで、接触情報は、具体的には、接触検知部３４により検知された接触の強さと、その接触の時間長と、その接触の位置の移動距離と、を示す情報である。接触の強さは、その接触の際に指示装置３０の先端部に加えられた圧力の大きさに相当し、指示装置３０の先端部に設けられている圧力センサにより検知される。接触の時間長は、指示装置３０の先端部が物体に接触を開始してから、その接触が解除されるまでの時間の長さに相当する。接触の位置の移動距離は、指示装置３０の先端部を物体に接触したまま滑らせるように移動させた場合における、その接触が開始された位置から接触が解除された位置までの距離に相当する。
First, the
より詳細には、接触検知部３４により接触が検知される場合として、主に２つの場合が挙げられる。第１の場合は、例えば図７に示したように、ユーザＵが、タッチパネル１６に表示された化粧品画像から化粧品を選択するために、指示装置３０の先端部をタッチパネル１６の表面に接触させる場合である。第２の場合は、図８に示すように、ユーザＵが、選択した化粧品を顔に仮想的に塗布するために、指示装置３０の先端部をユーザＵの顔に接触させる場合である。ユーザＵは、指示装置３０の先端部をタッチパネル１６の表面に接触させた後、図８に示すように、化粧筆を顔に当てて化粧品を塗布する動作を模擬するために、指示装置３０の先端部を顔に接触させる。
More specifically, there are two main cases in which contact is detected by the
以下では、第１の場合における接触の強さ、接触の時間長及び接触の位置の移動距離を「第１の接触に関する第１の値」と呼ぶ。また、第２の場合における接触の強さ、接触の時間長及び接触の位置の移動距離を「第２の接触に関する第２の値」と呼ぶ。情報送信部３１０は、第１の接触が検知された場合、すなわち指示装置３０によるタッチパネル１６の表面への接触が検知された場合、検知された接触に関する第１の値を示す接触情報を画像処理装置１０に送信する。これに対して、情報送信部３１０は、第２の接触が検知された場合、すなわち指示装置３０によるユーザＵの顔への接触が検知された場合、検知された接触に関する第２の値を示す接触情報を画像処理装置１０に送信する。
Hereinafter, the contact strength, the contact time length, and the moving distance of the contact position in the first case will be referred to as "first value related to the first contact." In addition, the contact strength, contact time length, and movement distance of the contact position in the second case are referred to as "second values related to the second contact." When a first contact is detected, that is, when a contact on the surface of the
第２に、情報送信部３１０は、加速度検知部３５により検知された加速度を示す加速度情報を画像処理装置１０に送信する。具体的に説明すると、加速度検知部３５は、指示装置３０の全体に対して加えられた加速度を検知する。情報送信部３１０は、加速度検知部３５により、指示装置３０の全体に対して予め定められた閾値よりも大きい加速度が加えられたか否かを判定する。
Second, the
指示装置３０に対して閾値よりも大きい加速度が加えられる場合とは、具体的には、ユーザＵが指示装置３０に仮想的に保持されている化粧品の保持量を減らすために、手で把持している指示装置３０を空中で振る動作を行った場合である。このような動作は、化粧筆の先端部に付着した化粧品を空中に飛散させる動作を模擬したものである。情報送信部３１０は、このように指示装置３０の全体に閾値よりも大きい加速度が加えられた場合、その加速度を示す加速度情報を、予め定められた一定の時間間隔で画像処理装置１０に送信する。
Specifically, the case where an acceleration larger than the threshold value is applied to the
画像処理装置１０において、情報受信部１５０は、通信部１７を介して指示装置３０と通信し、情報送信部３１０により送信された接触情報及び加速度情報を受信する。情報受信部１５０は、制御部１１が通信部１７等と協働することにより実現される。
In the
保持量設定部１６０は、指示装置３０に仮想的に保持される化粧品の保持量を、第１の接触に関する第１の値に基づいて設定する。指示装置３０に仮想的に保持される化粧品の保持量は、記憶部１２に保持データ２１として記憶されている。保持量設定部１６０は、制御部１１が記憶部１２等と協働することにより実現される。
The holding
図９に、記憶部１２に記憶されている保持データ２１の例を示す。図９に示すように、保持データ２１は、指示装置３０の先端部に保持されている化粧品の種類と、その化粧品の保持量（付着量）と、を示すデータである。
FIG. 9 shows an example of the retained
保持量設定部１６０は、操作受付部１４０により操作が受け付けられた場合、保持データ２１に記憶されている化粧品の種類を更新する。例えば、操作受付部１４０により受け付けられた操作により、タッチパネル１６に表示された複数の化粧品のうちから「化粧品Ａ」の種類の化粧品が選択された場合、保持量設定部１６０は、保持データ２１に記憶されている化粧品の種類を「化粧品Ａ」に更新する。
The retention
更に、保持量設定部１６０は、情報受信部１５０が指示装置３０から接触情報又は加速度情報を受信すると、受信された接触情報又は加速度情報に基づいて、保持データ２１を更新する。
Further, when the
第１に、保持量設定部１６０は、情報受信部１５０が指示装置３０から接触情報を取得すると、取得された接触情報に基づいて、保持データ２１に記憶されている化粧品の保持量を設定する。具体的に説明すると、保持量設定部１６０は、情報受信部１５０がタッチパネル１６の表面への接触に関する接触情報を取得した場合、取得された接触情報により示される第１の値に応じて、保持データ２１に記憶されている保持量を設定する。また、保持量設定部１６０は、情報受信部１５０がユーザＵの顔への接触に関する接触情報を取得した場合、取得された接触情報により示される第２の値に応じて、保持データ２１に記憶されている保持量を設定する。
First, when the
一般的に、ユーザＵがパレットから化粧品を付着させるために化粧筆をパレットに接触させた場合、その接触が強いほど、化粧筆により多くの量の化粧品が付着される。また、接触の時間が長いほど、そして接触状態での移動距離が長いほど、化粧筆により多くの量の化粧品が付着される。このような特徴を模擬するため、保持量設定部１６０は、情報受信部１５０がタッチパネル１６の表面への接触に関する接触情報を取得した場合、取得された接触情報により示される第１の値がより大きいほど、保持量をより大きく増加させる。
Generally, when the user U brings a makeup brush into contact with a palette in order to apply cosmetics from the palette, the stronger the contact, the more cosmetics will be deposited on the makeup brush. Also, the longer the contact time and the longer the distance traveled in contact, the more cosmetics will be deposited on the makeup brush. In order to simulate such characteristics, the retention
同様に、ユーザＵが顔に化粧品を塗布するために化粧筆を顔に接触させた場合、その接触が強いほど、ユーザＵの顔により多くの量の化粧品が塗布される。また、接触の時間が長いほど、そして接触状態での移動距離が長いほど、ユーザＵの顔により多くの量の化粧品が塗布される。このような特徴を模擬するため、保持量設定部１６０は、情報受信部１５０がユーザＵの顔への接触に関する接触情報を取得した場合、取得された接触情報に示される第２の値がより大きいほど、保持量をより大きく減少させる。
Similarly, when the user U brings the makeup brush into contact with the face to apply cosmetics to the face, the stronger the contact, the more cosmetics are applied to the user's U face. Moreover, the longer the contact time and the longer the moving distance in the contact state, the more cosmetics are applied to the face of the user U. In order to simulate such characteristics, when the
第２に、保持量設定部１６０は、情報受信部１５０が指示装置３０から加速度情報を取得すると、取得された加速度情報に基づいて、保持データ２１に記憶されている化粧品の保持量を更新する。具体的に説明すると、保持量設定部１６０は、情報受信部１５０により取得された加速度情報に示される加速度がより大きい場合、保持データ２１に記憶されている化粧品の保持量をより大きく減少させる。このように加速度に応じて化粧品の保持量を減少させることにより、ユーザＵは、指示装置３０を振るという自然な動作で化粧品の保持量を調整することができる。
Second, when the
図６に戻って、接触位置特定部１７０は、図７に示したように指示装置３０がタッチパネル１６の表面に接触することによる操作が受け付けられた後において、図１０に示したように指示装置３０がユーザＵの顔に接触した場合、画像取得部１１０により取得された撮像画像に基づいて、ユーザＵの顔における指示装置３０が接触した接触位置を特定する。接触位置特定部１７０は、制御部１１が記憶部１２等と協働することにより実現される。
Returning to FIG. 6, the contact
具体的に説明すると、接触位置特定部１７０は、第１に、ユーザＵが指示装置３０を顔に近付けたか否かを、画像取得部１１０により取得された撮像画像に基づいて判定する。ユーザＵが指示装置３０を顔に近付けた場合、撮像部１４の視野内に指示装置３０が入るため、図１０に示すように、撮像画像に指示装置３０の画像が含まれる。接触位置特定部１７０は、撮像画像における、顔検出部１３０により検出されたユーザＵの顔領域（すなわちバーチャルメイク領域）の内側に、指示装置３０の画像が含まれているか否かを判定する。
Specifically, the contact
ユーザＵの顔領域の内側に指示装置３０の画像が含まれている場合、第２に、接触位置特定部１７０は、情報受信部１５０が指示装置３０から接触情報を受信したか否かを判定する。そして、接触位置特定部１７０は、情報受信部１５０が接触情報を受信した場合、指示装置３０の先端部がユーザＵの顔に接触したと判定する。このように、接触位置特定部１７０は、画像取得部１１０により取得された撮像画像と、情報受信部１５０により受信された接触情報と、に基づいて、指示装置３０がユーザＵの顔に接触したか否かを判定する。
When the image of the
指示装置３０がユーザＵの顔に接触したと判定した場合、接触位置特定部１７０は、撮像画像におけるその接触位置を特定する。具体的に説明すると、接触位置特定部１７０は、撮像画像に撮像された指示装置３０の先端部の座標を接触位置として特定する。例えばユーザＵが目の周囲に指示装置３０の先端部を接触させた場合、接触位置特定部１７０は、目の周囲の位置を接触位置として特定する。これにより、接触位置特定部１７０は、指示装置３０の先端部がユーザＵの顔のどの位置に接触したかを特定し、化粧品が仮想的に塗布される位置を決定する。
If it is determined that the
表示制御部１２０は、表示部１５に表示された撮像画像における、接触位置特定部１７０により特定された接触位置に対応する部分が加工されたメイク画像を表示する。ここで、メイク画像とは、ユーザＵの顔のメイク後の状態をシミュレーションするための画像であって、化粧品がユーザＵの顔に実際に塗布された場合にどのように塗布されるかを表現する画像である。
The
具体的には、メイク画像は、ユーザＵの顔が撮像された撮像画像における、接触位置特定部１７０により特定された接触位置に、化粧品がユーザＵの顔に塗布された状態を表現するメイクパーツが重ねられることにより加工された画像である。例えばユーザＵが目の周囲に指示装置３０の先端部を接触させた場合、表示制御部１２０は、図１０に示すように、メイク画像として、ユーザＵの目の周囲にメイクパーツ４１が重ねられることにより加工された画像を表示する。なお、メイク画像におけるメイクパーツ４１以外の部分は、撮像画像と同じであって、撮像画像から加工が加えられていない。このようなメイク画像により、表示制御部１２０は、メイク後のユーザＵの顔の状態を表現する。
Specifically, the makeup image is a makeup part that represents a state in which cosmetics are applied to the face of the user U at the contact position specified by the contact
表示制御部１２０は、操作受付部１４０により受け付けられた操作により複数の化粧品のうちから選択された化粧品に対応するメイクパーツ４１を撮像画像に重ねる。言い換えると、表示制御部１２０は、ユーザＵにより選択された化粧品の色、光沢、質感等の特徴と同様の特徴を有するメイクパーツ４１を、ユーザＵの顔画像に重ねて表示する。これにより、表示制御部１２０は、ユーザＵにより選択された化粧品が実際に塗布された状態を忠実に表現する。
The
更に、表示制御部１２０は、メイク画像として、画像取得部１１０により取得された撮像画像における、接触位置特定部１７０により特定された接触位置に対応する部分が、第１の接触に関する第１の値と第２の接触に関する第２の値とに基づいて加工された画像を表示部１５に表示する。言い換えると、表示制御部１２０は、指示装置３０によるタッチパネル１６の表面及びユーザＵの顔への接触の強さ、接触の時間長、及び接触の位置に基づいて、メイクパーツの濃度を変化させる。ここで、メイクパーツの濃度は、メイクパーツが表示部１５に表示された際における色の濃さを意味する。
Furthermore, the
具体的に図１０に、メイクパーツ４１よりも高い濃度のメイクパーツ４２が、ユーザＵの顔が撮像された撮像画像に重ねて表示された例を示す。一般的に、ユーザＵが顔に化粧品を塗布するために化粧筆を顔に接触させた場合、その接触が強いほど、ユーザＵの顔により多くの量の化粧品が塗布される。また、接触の時間が長いほど、そして接触状態での移動距離が長いほど、ユーザＵの顔により多くの量の化粧品が塗布される。このような特徴を模擬するため、表示制御部１２０は、指示装置３０がユーザＵの顔に接触した時に情報受信部１５０が指示装置３０から取得した接触情報を参照し、接触情報により示される第２の値がより大きいほど、メイクパーツの濃度をより高くする。
Specifically, FIG. 10 shows an example in which
更には、接触の強さ等が同じであっても、化粧筆に保持されている化粧品の量が大きいほど、ユーザＵの顔により多くの量の化粧品が塗布される。そのため、表示制御部１２０は、保持データ２１に記憶されている保持量を参照して、保持量がより大きいほど、メイクパーツの濃度をより高くする。
Furthermore, even if the strength of contact is the same, the larger the amount of cosmetics held by the makeup brush, the more cosmetics will be applied to the user's U's face. Therefore, the
このように、表示制御部１２０は、指示装置３０に仮想的に保持されている化粧品の保持量と、指示装置３０によるユーザＵの顔への接触の強さ等と、のそれぞれがより大きくなると、図１０に示すように、メイクパーツ４１よりも濃度が高いメイクパーツ４２が撮像画像に重ねられたメイク画像を表示する。これにより、タッチパネル１６の表面又はユーザＵの顔に対する接触の強さ等によって実際のメイクとは異なる仕上がりになることを抑制することができる。そのため、メイク後の状態をよりリアルにシミュレーションすることができる。
In this way, the
以上のように構成されるメイクシミュレーション装置１において実行される処理の流れについて、図１１～図１３を参照して説明する。 The flow of processing executed in the makeup simulation device 1 configured as described above will be explained with reference to FIGS. 11 to 13.
まず、図１１に示すフローチャートを参照して、指示装置３０において実行される処理の流れについて説明する。図１１に示す処理は、指示装置３０の電源が投入されており、指示装置３０が正常な処理が実行可能な状態において、随時実行される。
First, the flow of processing executed by the
図１１に示す処理を開始すると、指示装置３０において、制御部３１は、接触検知部３４により検知された接触に関する接触情報の送信タイミングが到来したか否か判定する（ステップＳ１１）。接触情報の送信タイミングは、予め定められた一定の時間間隔で繰り返し到来する。
When the process shown in FIG. 11 is started, in the
接触情報の送信タイミングが到来した場合（ステップＳ１１；ＹＥＳ）、制御部３１は、情報送信部３１０として機能し、接触検知部３４により検知された指示装置３０の先端部に対する接触の強さ、接触の時間長、及び接触の位置の移動距離を示す接触情報を画像処理装置１０に送信する（ステップＳ１２）。例えば、ユーザＵが化粧品を選択するために、指示装置３０の先端部をタッチパネル１６の表面に接触させた場合、制御部３１は、その接触の強さを示す接触情報を画像処理装置１０に送信する。或いは、ユーザＵが化粧品を顔に仮想的に塗布するために、指示装置３０の先端部をユーザＵの顔に接触させた場合、制御部３１は、その接触の強さを示す接触情報を画像処理装置１０に送信する。なお、制御部３１は、接触検知部３４により検知された接触の強さの値がゼロであっても、すなわち指示装置３０の先端部に何も接触していない場合であっても、送信タイミングが到来した時点における接触の強さの値を示す接触情報を画像処理装置１０に送信する。一方で、接触情報の送信タイミングが到来していない場合（ステップＳ１１；ＮＯ）、制御部３１は、ステップＳ１２の処理をスキップする。
When the contact information transmission timing has arrived (step S11; YES), the
第２に、制御部３１は、加速度検知部３５により検知された加速度を示す加速度情報の送信タイミングが到来したか否かを判定する（ステップＳ１３）。加速度情報の送信タイミングは、予め定められた一定の時間間隔で繰り返し到来する。ここで、加速度情報の送信タイミングは、接触情報の送信タイミングと同じであっても良いし、異なっていても良い。
Second, the
加速度情報の送信タイミングが到来した場合（ステップＳ１３；ＹＥＳ）、制御部３１は、情報送信部３１０として機能し、加速度検知部３５により検知された加速度を示す加速度情報を画像処理装置１０に送信する（ステップＳ１４）。ここで、制御部３１は、加速度検知部３５により検知された加速度の値がゼロであっても、すなわち指示装置３０に加速度が加えられていない場合であっても、送信タイミングが到来した時点における加速度の値を示す加速度情報を画像処理装置１０に送信する。一方で、加速度情報の送信タイミングが到来していない場合（ステップＳ１３；ＮＯ）、制御部３１は、ステップＳ１４の処理をスキップする。
When the transmission timing of acceleration information has arrived (step S13; YES), the
その後、制御部３１は、処理をステップＳ１１に戻し、ステップＳ１１からステップＳ１４の処理を繰り返す。すなわち、制御部３１は、接触を検知した場合に接触情報を送信し、加速度を検知した場合に加速度情報を送信する処理を繰り返す。
After that, the
次に、図１２に示すフローチャートを参照して、画像処理装置１０において実行される基本画像処理について説明する。基本画像処理は、画像処理装置１０の電源が投入されて正常な処理が可能な状態になると、開始する。
Next, basic image processing executed in the
なお、画像処理装置１０において、制御部１１は、図１２に示す処理を実行している間、情報受信部１５０として機能し、指示装置３０から接触情報又は加速度情報が送信される毎に、送信された接触情報又は加速度情報を受信する。
Note that in the
図１２に示す処理を開始すると、画像処理装置１０において、制御部１１は、表示制御部１２０として機能し、タッチパネル１６に化粧品画像を表示する（ステップＳ１０１）。具体的に説明すると、制御部１１は、例えば図７に示したように、タッチパネル１６上に区分けされた複数の領域にそれぞれ異なる種類の化粧品を表現する化粧品画像をタッチパネル１６に表示する。
When the process shown in FIG. 12 is started, in the
図１２に戻り、タッチパネル１６に化粧品画像を表示すると、制御部１１は、画像取得部１１０として機能し、撮像を開始する（ステップＳ１０２）。具体的に説明すると、制御部１１は、撮像部１４による撮像を開始し、表示部１５の正面の空間の様子を表す撮像画像を取得する。例えば図７に示したようにユーザＵが表示部１５の方を向いている場合、制御部１１は、ユーザＵの顔が撮像された撮像画像を取得する。
Returning to FIG. 12, when the cosmetics image is displayed on the
撮像を開始すると、制御部１１は、表示制御部１２０として機能し、撮像により得られた撮像画像を表示部１５に表示する（ステップＳ１０３）。具体的に説明すると、制御部１１は、例えば図７に示したように、表示部１５に向かい合っているユーザＵの顔画像を含む撮像画像を表示部１５に表示する。
When imaging starts, the
図１２に戻り、撮像画像を表示すると、制御部１１は、タッチパネル１６の表面に対する接触を検知したか否かを判定する（ステップＳ１０４）。例えば図７に示したように、ユーザＵは、タッチパネル１６に表示された化粧品画像のうちから化粧品を選択するために、指示装置３０の先端部をタッチパネル１６の表面に接触させる。制御部１１は、このような指示装置３０によるタッチパネル１６の表面に対する接触の有無を判定する。
Returning to FIG. 12, once the captured image is displayed, the
図１２に戻り、タッチパネル１６の表面に対する接触を検知した場合（ステップＳ１０４；ＹＥＳ）、制御部１１は、操作受付部１４０として機能し、化粧品を選択する（ステップＳ１０５）。具体的に説明すると、制御部１１は、タッチパネル１６に表示されている複数の化粧品のうちから、ステップＳ１０４で検知された接触の位置に表示されている化粧品を、メイクシミュレーションに用いられる化粧品として選択する。
Returning to FIG. 12, when contact with the surface of the
化粧品を選択すると、制御部１１は、保持量設定部１６０として機能し、指示装置３０に仮想的に保持される化粧品の保持量を算出する（ステップＳ１０６）。具体的に説明すると、ステップＳ１０４で指示装置３０によるタッチパネル１６の表面に対する接触が検知された際、指示装置３０でも、接触検知部３４によりその接触が検知される。制御部１１は、ステップＳ１０４で指示装置３０によるタッチパネル１６の表面に対する接触が検知された時に指示装置３０から送信された接触情報により示される接触の強さに応じて、指示装置３０に仮想的に保持される化粧品の保持量を算出する。
When a cosmetic is selected, the
保持量を算出すると、制御部１１は、保持データ２１を更新する（ステップＳ１０７）。具体的に説明すると、制御部１１は、保持データ２１に記憶されている化粧品の種類を、ステップＳ１０５で選択された化粧品の種類に更新する。また、制御部１１は、保持データ２１に記憶されている化粧品の保持量を、ステップＳ１０６で算出した保持量に更新する。
After calculating the retention amount, the
これに対して、ステップＳ１０４でタッチパネル１６の表面に対する接触を検知していない場合（ステップＳ１０４；ＮＯ）、制御部１１は、ステップＳ１０５～Ｓ１０７の処理をスキップする。
On the other hand, if contact with the surface of the
次に、制御部１１は、顔検出部１３０として機能し、撮像画像から顔領域を検出する（ステップＳ１０８）。具体的に説明すると、制御部１１は、周知の顔認識の手法を用いて、撮像部１４により得られた撮像画像のうちから、ユーザＵの目、鼻、眉等の顔部位、及び顔全体の領域を検出する。そして、制御部１１は、撮像画像における顔全体の領域をバーチャルメイク領域として決定する。
Next, the
顔画像を検出すると、制御部１１は、指示装置３０がユーザＵの顔に接触したか否かを判定する（ステップＳ１０９）。具体的に説明すると、制御部１１は、ステップＳ１０８で検出された顔領域の内側に指示装置３０の画像が含まれ、且つ、指示装置３０から接触情報を取得した場合に、指示装置３０がユーザの顔に接触したと判定する。
Upon detecting the face image, the
指示装置３０がユーザＵの顔に接触していない場合（ステップＳ１０９；ＮＯ）、制御部１１は、処理をステップＳ１０３に戻す。すなわち、制御部１１は、指示装置３０によるユーザＵの顔に対する接触を検知するまで、ステップＳ１０３～Ｓ１０８の処理を繰り返す。
If the
これに対して、指示装置３０がユーザＵの顔に接触した場合（ステップＳ１０９；ＹＥＳ）、制御部１１は、接触位置特定部１７０として機能し、撮像画像における接触位置を特定する（ステップＳ１１０）。具体的に説明すると、制御部１１は、指示装置３０においてユーザＵの顔への接触が検知されたタイミングでの、撮像画像における指示装置３０の先端部の座標を、接触位置として特定する。
On the other hand, when the
接触位置を特定すると、制御部１１は、メイクパーツの濃度を設定する（ステップＳ１１１）。具体的に説明すると、制御部１１は、保持データ２１に記憶されている保持量と、ステップ１０９において指示装置３０から取得した接触情報により示される接触の強さと、のそれぞれがより大きいほど、メイクパーツの濃度をより高く設定する。
After specifying the contact position, the
メイクパーツの濃度を設定すると、制御部１１は、表示制御部１２０として機能し、メイク画像を表示する（ステップＳ１１２）。具体的に説明すると、制御部１１は、ユーザＵの顔がリアルタイムで撮像された撮像画像におけるステップＳ１１０で特定した接触位置に、ステップＳ１１１で設定した濃度のメイクパーツを重ねることにより、メイク後のユーザＵの顔の状態を表現するメイク画像を生成する。そして、制御部は、生成されたメイク画像を表示部１５に表示する。
After setting the density of the makeup parts, the
メイク画像を表示すると、制御部１１は、保持量設定部１６０として機能し、保持データ２１を更新する（ステップＳ１１３）。具体的に説明すると、制御部１１は、ステップ１０９において指示装置３０から取得した接触情報により示される接触の強さに基づいて、保持データ２１に記憶されている化粧品の保持量を減少させる。
When the makeup image is displayed, the
保持データ２１を更新すると、制御部１１は、処理をステップＳ１０３に戻し、ステップＳ１０３からステップＳ１１３の処理を再び実行する。このように、制御部１１は、ユーザＵがメイクシミュレーション装置１を用いてメイクシミュレーションを継続している限り、ステップＳ１０３からステップＳ１１３の処理を繰り返し、ユーザＵのメイク後の状態をシミュレーションする画像を生成して表示する処理を実行する。
After updating the held
なお、図１２では省略したが、制御部１１は、ステップＳ１０３からステップＳ１１３の処理を実行している間、指示装置３０から加速度情報を受信したか否かを判定する。指示装置３０から加速度情報を受信すると、制御部１１は、受信した加速度情報により示される加速度が閾値よりも大きいか否かを判定する。そして、制御部１１は、取得した加速度情報により示される加速度が閾値よりも大きい場合、加速度がより大きいほど、保持データ２１に保存されている保持量をより大きく減少させる。
Although not shown in FIG. 12, the
次に、図１３に示すフローチャートを参照して、画像処理装置１０のタッチパネル１６において実行されるパレットエフェクト処理について説明する。パレットエフェクト処理は、画像処理装置１０の電源が投入されて正常な処理が可能な状態になると、基本画像処理と平行して開始する。
Next, palette effect processing executed on the
パレットエフェクト処理を開始すると、画像処理装置１０において、制御部１１は、表示制御部１２０として機能し、タッチパネル１６に化粧品画像を表示する（ステップＳ２０１）。制御部１１は、このときのタッチパネル１６の姿勢（傾き、角度）を、加速度検知部１８より取得し、基準点の姿勢に設定する。本実施形態では、タッチパネル１６が床面に水平である姿勢が基準点の姿勢に設定される。
When the palette effect process is started, in the
タッチパネル１６に化粧品画像を表示すると、制御部１１は、図４に示す光反射エフェクトテーブルＥの画像から基準点（０，０）のエフェクト画像を決定する。本実施形態では、図４の中央に示した画像を基準点のエフェクト画像とする（ステップＳ２０２）。
When the cosmetics image is displayed on the
制御部１１は、タッチパネル１６の化粧品画像のうち、グリッター感を有する化粧品画像に、基準点（０，０）のエフェクト画像を重畳して表示する（ステップＳ２０３）。具体的に説明すると、制御部１１は、例えば図２の中央に示したように、グリッター感のある化粧品画像が光を反射しているように表示する。
The
次に、制御部１１は、タッチパネル１６の化粧品画像の表示をＯＦＦにする指示があるか否かを判定する（ステップＳ２０４）。タッチパネル１６の化粧品画像の表示をＯＦＦにする指示がある場合（ステップＳ２０４；ＹＥＳ）、制御部１１は、タッチパネル１６の表示を終了する。タッチパネル１６の化粧品画像の表示をＯＦＦにする指示がない場合（ステップＳ２０４；ＮＯ）、ステップＳ２０５に進む。
Next, the
制御部１１は、加速度検知部１８を利用してタッチパネル１６の傾き（動き）の有無を判定する（ステップＳ２０５）。加速度検知部１８がタッチパネル１６の傾きを検出していない場合（ステップＳ２０５；ＮＯ）、制御部１１は、処理をステップＳ２０４に戻す。すなわち、制御部１１は、タッチパネル１６の傾きを検知するまで、光反射エフェクトテーブルＥのエフェクト画像を重畳して表示する処理を繰り返す。加速度検知部１８がタッチパネル１６の傾きを検出した場合（ステップＳ２０５；ＹＥＳ）、ステップＳ２０６に進む。
The
ステップＳ２０６では、制御部１１は、加速度検知部１８を利用してタッチパネル１６の基準点（０，０）に対するＸ軸及びＹ軸方向の角度を算出する。
In step S206, the
その後、制御部１１は、算出した角度をＸ軸方向は２５°刻みで、Ｙ軸方向は１５°刻みで光反射エフェクトテーブルＥに対応する座標に換算する（ステップＳ２０７）。
After that, the
ステップＳ２０８に進み、制御部１１は、図１４に示すように、換算された座標に対応するエフェクト画像を光反射エフェクトテーブルＥからセット（選択）する。
Proceeding to step S208, the
その後、制御部１１は、セットしたエフェクト画像をタッチパネル１６の所定の化粧品画像に重畳して表示し（ステップＳ２０９）、ステップＳ２０４に戻る。
After that, the
以上説明したように、実施形態１に係るメイクシミュレーション装置１は、パレットエフェクト処理により、ラメ感やパール感を有する化粧品画像がタッチパネル１６の姿勢（傾き）に応じてエフェクト画像の光り方（グリッター）を変化させる（異ならせる）ことにより、ユーザＵに効果的なグリッター表現ができる。
As described above, the makeup simulation device 1 according to the first embodiment uses palette effect processing to change the cosmetic image having a glittery or pearly feel to the way the effect image shines (glitter) depending on the attitude (tilt) of the
（実施形態２）
次に、本発明の実施形態２について説明する。実施形態１と同様の構成及び機能は適宜省略する。
(Embodiment 2)
Next, a second embodiment of the present invention will be described. Configurations and functions similar to those in Embodiment 1 will be omitted as appropriate.
実施形態１では、タッチパネル１６上のラメ感やパール感のある化粧品画像が、タッチパネル１６の傾きに応じて光り方が変化した。これに対して、実施形態２では、タッチパネル１６上のラメ感やパール感のある化粧品画像だけでなく、ユーザＵの顔が撮像された撮像画像に重畳されたメイクパーツもラメ感やパール感のある化粧品についてはユーザＵの顔の姿勢にあわせて光り方が変化する（異なる）。
In the first embodiment, the way the cosmetics image on the
実施形態２に係る画像処理装置１０の機能的な構成を示す。実施形態２では、実施形態１同様に、画像処理装置１０は、機能的に、画像取得部１１０と、表示制御部１２０と、顔検出部１３０と、操作受付部１４０、情報受信部１５０と、保持量設定部１６０と、接触位置特定部１７０と、を備える。
2 shows a functional configuration of an
顔検出部１３０は、ユーザＵの顔領域の検出時に、例えば図１５に示す右目の周辺に設定された１０ヶ所の特徴点Ｆの互いの位置関係の変化によって、ユーザＵの顔の姿勢（回転や傾き）を検出する。また、顔検出部１３０は、目頭の特徴点Ｆと瞼の頂点の特徴点Ｆとの距離Ａ、及びアイメイクの塗り幅を基準として、顔と画像処理装置１０ａとの距離の変化を算出する。
When detecting the face area of the user U, the
表示制御部１２０は、顔検出部１３０が算出した顔画像の姿勢に対応したエフェクト画像を、図１６に示すように、光反射エフェクトテーブルＥの画像から選択する。その後、表示制御部１２０は、選択したエフェクト画像を、顔と画像処理装置１０ａとの距離の変化に応じて拡大縮小を行った後、メイクパーツに重畳させる。
The
次に、図１７に示すフローチャートを参照して、実施形態２において行われるメイクグリッター表示処理について説明する。この処理は、画像処理装置１０の電源が投入されて正常な処理が可能な状態になると、開始する。また、説明を簡略化するため、右目についてのメイクパーツの説明のみを行う。
Next, the makeup glitter display processing performed in the second embodiment will be described with reference to the flowchart shown in FIG. 17. This process starts when the power of the
メイクグリッター表示処理を開始すると、画像処理装置１０において、制御部１１は、表示制御部１２０として機能し、表示部１５に撮像したユーザＵの顔画像を表示する（ステップＳ３０１）。制御部１１は、表示ＯＮ時に映った顔画像の特徴点Ｆを、基準点として設定する。実施形態１同様に、図４より、基準点のエフェクト画像（０，０）を設定する（ステップＳ３０２）。本実施形態では、ユーザＵの顔が表示部１５に対して正対している姿勢が基準点の姿勢に設定される。
When the makeup glitter display process is started, in the
次に、制御部１１は、表示部１５の表示をＯＦＦにする指示があるか否かを判定する（ステップＳ３０３）。表示部１５の表示をＯＦＦにする指示がある場合（ステップＳ３０３；ＹＥＳ）、制御部１１は、表示部１５の表示を終了する。表示部１５の表示をＯＦＦにする指示がない場合（ステップＳ３０３；ＮＯ）、ステップＳ３０４に進む。
Next, the
制御部１１は、撮像部１４にユーザＵの顔画像を撮像させる。制御部１１は、顔検出部（検出部）１３０として機能し、撮像した画像から顔画像の右目の１０ヶ所の特徴点Ｆを検出する（ステップＳ３０４）。
The
制御部１１は、ステップＳ３０２での特徴点Ｆの位置関係と検出した顔画像の右目の１０ヶ所の特徴点Ｆの互いの位置とを比較し、顔画像の姿勢（回転角度または傾き（実施形態１同様にＸ軸方向は２５°刻み、Ｙ軸方向は１５°刻みの角度））を算出する（ステップＳ３０５）。また、制御部１１は、ステップＳ３０２での図２０に示す距離Ａと検出した顔画像での目頭から瞼の頂点の特徴点Ｆまでの距離Ａとを比較し、顔画像の拡大・縮小率を算出する（ステップＳ３０６）。
The
制御部１１は、基本画像処理で得られた右目のメイクパーツを読み込む（ステップＳ３０７）。また、制御部１１は、算出した回転角度に合わせたエフェクト画像を図４に示す光反射エフェクトテーブルＥの画像から選択する（ステップＳ３０８）。
The
その後、制御部１１は、読み込んだメイクパーツと選択したエフェクト画像とを合成する（ステップＳ３０９）。制御部１１は、合成したデータを、算出した回転角度及び拡大・縮小率に合わせて変形する（ステップＳ３１０）。
After that, the
制御部１１は、変形した合成データを右目の撮像画像と合成する（ステップＳ３１０）。制御部１１は、合成した右目の画像を表示部１５に表示する（ステップＳ３１２）。その後、ステップＳ３０３に戻る。
The
以上説明したように、実施形態２に係るメイクシミュレーション装置１では、メイクグリッター処理により、表示制御部は、検出部が撮像画像から検出したユーザＵの顔の回転や傾き（姿勢）に応じて、ラメ感やパール感を有する化粧品を塗布した状態を示すメイク画像に含まれるエフェクト画像の光り方（グリッター）を調整する。ユーザＵの顔の回転や傾きが変化する場合には、表示制御部は、エフェクト画像の光り方を変化させる。これにより、メイクシミュレーション装置１は、ユーザＵのメイク画像の変化が実際のラメ感やパール感を有する化粧品を塗布した場合に近い効果的なグリッター表現ができる。 As described above, in the makeup simulation device 1 according to the second embodiment, by the makeup glitter processing, the display control unit can perform Adjusts the way the effect image shines (glitter) included in the makeup image showing the applied state of cosmetics having a glittery or pearly feel. When the rotation or inclination of the user U's face changes, the display control unit changes the way the effect image is lit. As a result, the makeup simulation device 1 can perform an effective glitter expression in which the change in the makeup image of the user U is similar to when applying cosmetics that have an actual glittery or pearly feel.
（変形例）
以上に本発明の実施形態について説明したが、上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、本発明の実施形態は種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。
(Modified example)
Although the embodiments of the present invention have been described above, the above embodiments are merely examples, and the scope of application of the present invention is not limited thereto. That is, the embodiments of the present invention can be applied in various ways, and all embodiments are included within the scope of the present invention.
例えば、上記実施形態２では、表示部１５及びタッチパネル１６がエフェクト画像を表示できたが、表示部１５のみがエフェクト画像を表示できても良い。
For example, in the second embodiment, the
上記実施形態では、加速度検知部１８や目の特徴点Ｆの位置関係で角度の算出を行ったが、例えば顔部分にセンサやマーカを付けて顔の向きや距離を検出しても良い。
In the embodiment described above, the angle is calculated based on the positional relationship between the
また、上記実施形態では、画像処理装置１０は、表示部１５とタッチパネル１６とを備えており、表示部１５に撮像画像を表示し、タッチパネル１６に化粧品画像を表示した。しかしながら、本発明において、画像処理装置１０は、タッチパネル１６とは独立した表示部１５を備えていなくても良い。言い換えると、本発明に係る画像処理装置１０は、表示部として１つのタッチパネル１６のみを備える一般的なスマートフォンやタブレット端末等にも適用することができる。タッチパネル１６とは独立した表示部１５を備えていない場合、画像処理装置１０は、１つのタッチパネル１６の表示領域を２つに分割し、そのうちの第１の表示領域に撮像画像を表示し、第２の表示領域に化粧品画像を表示する。この場合、第１の表示領域が第１の表示部として機能し、第２の表示領域が第２の表示部として機能する。或いは、画像処理装置１０は、表示部を有さず、外部機器のディスプレイ等に撮像画像を表示しても良い。
Further, in the embodiment described above, the
上記実施形態では、タッチパネル１６の角度や顔の角度によってエフェクト画像を変化させたが、例えば光源の位置を指やキー入力等で操作して移動させることにより、タッチパネル１６の角度や顔の角度を変えずにエフェクト画像を変化させる構成としても良い。
In the above embodiment, the effect image is changed depending on the angle of the
上記実施形態１では、エフェクト画像と化粧品画像とは別の画像であったが、化粧品画像をあらかじめ合成したエフェクト画像を光反射エフェクトテーブルＥに記憶していても良い。 In the first embodiment, the effect image and the cosmetics image are separate images, but the light reflection effect table E may store an effect image obtained by combining the cosmetics images in advance.
また、上記実施形態２では、右目のメイクに限定して説明したが、左目やリップ、チーク等についても同様にエフェクト画像を変化させても良い。また、特徴点を設定する箇所は、右目だけでなく、左目、鼻、顔の輪郭や口等であっても良い。 Further, in the second embodiment, the explanation has been limited to the makeup of the right eye, but the effect image may be changed similarly for the left eye, lips, cheeks, etc. Furthermore, the location where the feature point is set is not limited to the right eye, but may also be the left eye, nose, facial contour, mouth, etc.
上記実施形態では、光反射エフェクトテーブルＥは、横方向９段階、縦方向５段階とした。しかしながら、本発明において、光反射エフェクトテーブルＥは、より細分化してグリッター表現の変化をよりリアルにしても良い。また、回転角度が大きい場合には、複数のエフェクト画像を変化する角度にあわせて順に表示させることにより、段階的にグリッター表現を変化させるとよりリアルなグリッター表現となって良い。 In the above embodiment, the light reflection effect table E has nine stages in the horizontal direction and five stages in the vertical direction. However, in the present invention, the light reflection effect table E may be further divided to make changes in glitter expression more realistic. Further, when the rotation angle is large, a more realistic glitter expression can be obtained by displaying a plurality of effect images in order according to the changing angle and changing the glitter expression in stages.
上記実施形態では、グリッター表現は、エフェクト画像を化粧品画像やメイクパーツに重畳させて表現したが、例えば、化粧品画像自体やメイクパーツ自体の一部分の画素の輝度を変化させる等で表現しても良い。 In the above embodiment, the glitter expression is expressed by superimposing the effect image on the cosmetic image or makeup parts, but it may also be expressed by, for example, changing the brightness of a part of the pixels of the cosmetic image itself or the makeup parts themselves. .
上記実施形態では、表示制御部１２０は、複数の化粧品を表現する化粧品画像をタッチパネル１６に表示した。しかしながら、本発明において、表示制御部１２０は、化粧品画像として１種類のみの化粧品を表現する画像を表示しても良い。また、構成をより簡略化するために、例えば指示装置３０から加速度検知部３５等を省略することも可能である。
In the embodiment described above, the
上記実施形態では、制御部１１において、ＣＰＵがＲＯＭに記憶されたプログラムを実行することによって、図６に示した各部として機能した。しかしながら、本発明において、制御部１１は、ＣＰＵの代わりに、例えばＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、各種制御回路等の専用のハードウェアを備え、専用のハードウェアが、図６に示した各部として機能しても良い。この場合、各部の機能それぞれを個別のハードウェアで実現しても良いし、各部の機能をまとめて単一のハードウェアで実現しても良い。また、各部の機能のうち、一部を専用のハードウェアによって実現し、他の一部をソフトウェア又はファームウェアによって実現しても良い。
In the above embodiment, the CPU in the
なお、本発明に係る機能を実現するための構成を予め備えた画像処理装置として提供できることはもとより、プログラムの適用により、既存の情報処理装置等を、本発明に係る画像処理装置として機能させることもできる。すなわち、上記実施形態で例示した画像処理装置１０による各機能構成を実現させるためのプログラムを、既存の情報処理装置等を制御するＣＰＵ等が実行できるように適用することで、本発明に係る塗布装置として機能させることができる。
In addition to being able to provide an image processing device that is pre-equipped with a configuration for realizing the functions according to the present invention, it is also possible to make an existing information processing device or the like function as an image processing device according to the present invention by applying a program. You can also do it. That is, by applying a program for realizing each functional configuration of the
また、このようなプログラムの適用方法は任意である。プログラムを、例えば、フレキシブルディスク、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ、メモリカード等のコンピュータ読み取り可能な記憶媒体に格納して適用できる。さらに、プログラムを搬送波に重畳し、インターネットなどの通信媒体を介して適用することもできる。例えば、通信ネットワーク上の掲示板（ＢＢＳ：Bulletin Board System）にプログラムを掲示して配信してもよい。そして、このプログラムを起動し、ＯＳ（Operating System）の制御下で、他のアプリケーションプログラムと同様に実行することにより、上記の処理を実行できるように構成してもよい。 Moreover, the method of applying such a program is arbitrary. The program can be applied by being stored in a computer-readable storage medium such as a flexible disk, a CD (Compact Disc)-ROM, a DVD (Digital Versatile Disc)-ROM, a memory card, or the like. Furthermore, the program can be superimposed on a carrier wave and applied via a communication medium such as the Internet. For example, the program may be posted and distributed on a bulletin board system (BBS) on a communication network. The above-mentioned process may be executed by starting this program and executing it in the same way as other application programs under the control of an OS (Operating System).
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲とが含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。 Although the preferred embodiments of the present invention have been described above, the present invention is not limited to such specific embodiments, and the present invention includes the invention described in the claims and the equivalent scope thereof. included. Below, the invention described in the original claims of the present application will be added.
（付記１）
ユーザの顔が撮像された撮像画像を表示する第１の表示領域と、化粧品を表現する化粧品画像を表示する第２の表示領域とを有する表示部と、
前記ユーザ及び前記第２の表示領域のうちの少なくとも一方の姿勢を検出する検出部と、
前記第１の表示領域に表示された前記撮像画像にメイク画像を表示する表示制御部と、を備え、
前記表示制御部は、前記検出部により検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整する、
ことを特徴とする画像処理装置。
(Additional note 1)
a display unit having a first display area that displays a captured image of a user's face; and a second display area that displays a cosmetics image representing cosmetics;
a detection unit that detects a posture of at least one of the user and the second display area;
a display control unit that displays a makeup image on the captured image displayed in the first display area,
The display control unit adjusts the glitter expression of at least one of the makeup image and the cosmetics image based on the posture detected by the detection unit.
An image processing device characterized by:
（付記２）
化粧品を表現する化粧品画像を表示する表示部と、
ユーザ及び前記表示部のうちの少なくとも一方の姿勢を検出する検出部と、
前記ユーザの顔が撮像された撮像画像にメイク画像を外部機器に表示する表示制御部と、を備え、
前記表示制御部は、前記検出部により検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整する、
ことを特徴とする画像処理装置。
(Additional note 2)
a display unit that displays a cosmetic image representing the cosmetic;
a detection unit that detects the posture of at least one of the user and the display unit;
a display control unit that displays a makeup image on an external device in a captured image in which the user's face is captured;
The display control unit adjusts the glitter expression of at least one of the makeup image and the cosmetics image based on the posture detected by the detection unit.
An image processing device characterized by:
（付記３）
前記表示制御部は、前記姿勢の変化に基づいて前記グリッター表現を変化させる、
ことを特徴とする付記１又は２に記載の画像処理装置。
(Additional note 3)
The display control unit changes the glitter expression based on the change in the posture.
The image processing device according to appendix 1 or 2, characterized in that:
（付記４）
前記メイク画像は、前記第１の表示領域に表示された前記撮像画像において、前記化粧品が前記ユーザの顔に塗布された状態を表現するメイクパーツが重ねられた画像である、
ことを特徴とする付記１に記載の画像処理装置。
(Additional note 4)
The makeup image is an image in which makeup parts representing a state in which the cosmetics are applied to the user's face are superimposed on the captured image displayed in the first display area.
The image processing device according to supplementary note 1.
（付記５）
前記ユーザの姿勢は、目周辺に設定された特徴点の位置関係の変化に基づいて算出される、
ことを特徴とする付記１から４のいずれか１つに記載の画像処理装置。
(Appendix 5)
The user's posture is calculated based on a change in the positional relationship of feature points set around the eyes.
5. The image processing device according to any one of Supplementary Notes 1 to 4.
（付記６）
複数のエフェクト画像を記憶する記憶部を更に備え、
前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現の変化は、前記メイク画像及び前記化粧品画像のうちの少なくとも一方に、前記複数のエフェクト画像を順に重畳して表示することにより表現される、
ことを特徴とする付記１から５のいずれか１つに記載の画像処理装置。
(Appendix 6)
It further includes a storage section for storing a plurality of effect images,
A change in the glitter expression of at least one of the makeup image and the cosmetics image is expressed by displaying the plurality of effect images superimposed in order on at least one of the makeup image and the cosmetics image. ,
6. The image processing device according to any one of Supplementary Notes 1 to 5.
（付記７）
複数のエフェクト画像を記憶する記憶部を更に備え、
前記複数のエフェクト画像は、前記化粧品画像に予め重畳され、
前記化粧品画像のグリッター表現の変化は、前記複数のエフェクト画像を順に表示することにより表現される、
ことを特徴とする付記１から５のいずれか１つに記載の画像処理装置。
(Appendix 7)
It further includes a storage section for storing a plurality of effect images,
The plurality of effect images are superimposed on the cosmetic image in advance,
The change in glitter expression of the cosmetics image is expressed by sequentially displaying the plurality of effect images.
6. The image processing device according to any one of Supplementary Notes 1 to 5.
（付記８）
付記１から７のいずれか１つに記載の画像処理装置と、指示体と、を有する、
ことを特徴とするメイクシミュレーション装置。
(Appendix 8)
comprising the image processing device according to any one of Supplementary Notes 1 to 7 and an indicator;
A makeup simulation device characterized by:
（付記９）
ユーザの顔が撮像された撮像画像を取得し、
取得された前記撮像画像を第１の表示領域に表示し、
化粧品を表現する化粧品画像を第２の表示領域に表示し、
前記ユーザ及び前記第２の表示領域のうちの少なくとも一方の姿勢を検出し、
前記第１の表示領域に表示された前記撮像画像にメイク画像を表示し、
検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整する、
ことを特徴とする画像処理方法。
(Appendix 9)
Obtain a captured image of the user's face,
displaying the acquired captured image in a first display area;
displaying a cosmetics image representing the cosmetics in a second display area;
detecting the posture of at least one of the user and the second display area;
displaying a makeup image on the captured image displayed in the first display area;
adjusting the glitter expression of at least one of the makeup image and the cosmetics image based on the detected posture;
An image processing method characterized by:
（付記１０）
コンピュータを、
ユーザの顔が撮像された撮像画像を表示する第１の表示領域と、化粧品を表現する化粧品画像を表示する第２の表示領域とを有する表示部、
前記ユーザ及び前記第２の表示領域のうちの少なくとも一方の姿勢を検出する検出部、
前記第１の表示領域に表示された前記撮像画像にメイク画像を表示する表示制御部、として機能させ、
前記表示制御部は、前記検出部により検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整する、
プログラム。
(Appendix 10)
computer,
a display unit having a first display area that displays a captured image of a user's face; and a second display area that displays a cosmetics image representing cosmetics;
a detection unit that detects the posture of at least one of the user and the second display area;
functioning as a display control unit that displays a makeup image on the captured image displayed in the first display area;
The display control unit adjusts the glitter expression of at least one of the makeup image and the cosmetics image based on the posture detected by the detection unit.
program.
１…メイクシミュレーション装置、１０…画像処理装置、１１…制御部、１２…記憶部、１３…操作部、１４…撮像部、１５…表示部、１６…タッチパネル、１７…通信部、１８…加速度検知部、２１…保持データ、３０…指示装置、３１…制御部、３２…記憶部、３４…接触検知部、３５…加速度検知部、３７…通信部、４１，４２…メイクパーツ、１１０…画像取得部、１２０…表示制御部、１３０…顔検出部、１４０…操作受付部、１５０…情報受信部、１６０…保持量設定部、１７０…接触位置特定部、１８０…接触情報取得部、３１０…情報送信部、Ｕ…ユーザ DESCRIPTION OF SYMBOLS 1...Makeup simulation device, 10...Image processing device, 11...Control unit, 12...Storage unit, 13...Operation unit, 14...Imaging unit, 15...Display unit, 16...Touch panel, 17...Communication unit, 18...Acceleration detection Part, 21...Holding data, 30...Instruction device, 31...Control unit, 32...Storage unit, 34...Contact detection unit, 35...Acceleration detection unit, 37...Communication unit, 41, 42...Make parts, 110...Image acquisition Part, 120...Display control unit, 130...Face detection unit, 140...Operation reception unit, 150...Information reception unit, 160...Retention amount setting unit, 170...Contact position identification unit, 180...Contact information acquisition unit, 310...Information Transmitter, U...user
Claims (15)
前記ユーザ及び前記第２の表示領域のうちの少なくとも一方の姿勢を検出する検出部と、
前記第１の表示領域に表示された前記撮像画像にメイク画像を表示する表示制御部と、を備え、
前記表示制御部は、前記検出部により検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整し、
前記ユーザの姿勢は、目周辺に設定された特徴点の位置関係の変化に基づいて算出される、
ことを特徴とする画像処理装置。 a display unit having a first display area that displays a captured image of a user's face; and a second display area that displays a cosmetics image representing cosmetics;
a detection unit that detects a posture of at least one of the user and the second display area;
a display control unit that displays a makeup image on the captured image displayed in the first display area,
The display control unit adjusts the glitter expression of at least one of the makeup image and the cosmetics image based on the posture detected by the detection unit,
The user's posture is calculated based on a change in the positional relationship of feature points set around the eyes.
An image processing device characterized by:
前記ユーザ及び前記第２の表示領域のうちの少なくとも一方の姿勢を検出する検出部と、
前記第１の表示領域に表示された前記撮像画像にメイク画像を表示する表示制御部と、
複数のエフェクト画像を取得する取得部と、を備え、
前記表示制御部は、前記検出部により検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整し、
前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現の変化は、前記メイク画像及び前記化粧品画像のうちの少なくとも一方に、前記複数のエフェクト画像を順に重畳して表示することにより表現される、
ことを特徴とする画像処理装置。 a display unit having a first display area that displays a captured image of a user's face; and a second display area that displays a cosmetics image representing cosmetics;
a detection unit that detects a posture of at least one of the user and the second display area;
a display control unit that displays a makeup image on the captured image displayed in the first display area;
an acquisition unit that acquires a plurality of effect images;
The display control unit adjusts the glitter expression of at least one of the makeup image and the cosmetics image based on the posture detected by the detection unit,
A change in the glitter expression of at least one of the makeup image and the cosmetics image is expressed by displaying the plurality of effect images superimposed in order on at least one of the makeup image and the cosmetics image. ,
An image processing device characterized by:
前記ユーザ及び前記第２の表示領域のうちの少なくとも一方の姿勢を検出する検出部と、
前記第１の表示領域に表示された前記撮像画像にメイク画像を表示する表示制御部と、
複数のエフェクト画像を取得する取得部と、を備え、
前記表示制御部は、前記検出部により検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整し、
前記複数のエフェクト画像は、前記化粧品画像に予め重畳され、
前記化粧品画像のグリッター表現の変化は、前記複数のエフェクト画像を順に表示することにより表現される、
ことを特徴とする画像処理装置。 a display unit having a first display area that displays a captured image of a user's face; and a second display area that displays a cosmetics image representing cosmetics;
a detection unit that detects a posture of at least one of the user and the second display area;
a display control unit that displays a makeup image on the captured image displayed in the first display area;
an acquisition unit that acquires a plurality of effect images;
The display control unit adjusts the glitter expression of at least one of the makeup image and the cosmetics image based on the posture detected by the detection unit,
The plurality of effect images are superimposed on the cosmetic image in advance,
The change in glitter expression of the cosmetics image is expressed by sequentially displaying the plurality of effect images.
An image processing device characterized by:
ユーザ及び前記表示部のうちの少なくとも一方の姿勢を検出する検出部と、
前記ユーザの顔が撮像された撮像画像にメイク画像を外部機器に表示する表示制御部と、を備え、
前記表示制御部は、前記検出部により検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整し、
前記ユーザの姿勢は、目周辺に設定された特徴点の位置関係の変化に基づいて算出される、
ことを特徴とする画像処理装置。 a display unit that displays a cosmetic image representing the cosmetic;
a detection unit that detects the posture of at least one of the user and the display unit;
a display control unit that displays a makeup image on an external device in a captured image in which the user's face is captured;
The display control unit adjusts the glitter expression of at least one of the makeup image and the cosmetics image based on the posture detected by the detection unit,
The user's posture is calculated based on a change in the positional relationship of feature points set around the eyes.
An image processing device characterized by:
ユーザ及び前記表示部のうちの少なくとも一方の姿勢を検出する検出部と、 a detection unit that detects the posture of at least one of the user and the display unit;
前記ユーザの顔が撮像された撮像画像にメイク画像を外部機器に表示する表示制御部と、 a display control unit that displays a makeup image on an external device in a captured image in which the user's face is captured;
複数のエフェクト画像を取得する取得部と、を備え、 an acquisition unit that acquires a plurality of effect images;
前記表示制御部は、前記検出部により検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整し、 The display control unit adjusts the glitter expression of at least one of the makeup image and the cosmetics image based on the posture detected by the detection unit,
前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現の変化は、前記メイク画像及び前記化粧品画像のうちの少なくとも一方に、前記複数のエフェクト画像を順に重畳して表示することにより表現される、 A change in the glitter expression of at least one of the makeup image and the cosmetics image is expressed by displaying the plurality of effect images superimposed in order on at least one of the makeup image and the cosmetics image. ,
ことを特徴とする画像処理装置。 An image processing device characterized by:
ユーザ及び前記表示部のうちの少なくとも一方の姿勢を検出する検出部と、 a detection unit that detects the posture of at least one of the user and the display unit;
前記ユーザの顔が撮像された撮像画像にメイク画像を外部機器に表示する表示制御部と a display control unit that displays a makeup image on an external device on a captured image in which the user's face is captured;
複数のエフェクト画像を取得する取得部と、を備え、 an acquisition unit that acquires a plurality of effect images;
前記表示制御部は、前記検出部により検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整し、 The display control unit adjusts the glitter expression of at least one of the makeup image and the cosmetics image based on the posture detected by the detection unit,
前記複数のエフェクト画像は、前記化粧品画像に予め重畳され、 The plurality of effect images are superimposed on the cosmetic image in advance,
前記化粧品画像のグリッター表現の変化は、前記複数のエフェクト画像を順に表示することにより表現される、 The change in glitter expression of the cosmetics image is expressed by sequentially displaying the plurality of effect images.
ことを特徴とする画像処理装置。 An image processing device characterized by:
ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。 The display control unit changes the glitter expression based on the change in the posture.
The image processing device according to any one of claims 1 to 6 .
ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。 The makeup image is an image in which makeup parts representing a state in which the cosmetics are applied to the user's face are superimposed on the captured image displayed in the first display area.
The image processing device according to any one of claims 1 to 3 .
ことを特徴とするメイクシミュレーション装置。 comprising the image processing device according to any one of claims 1 to 8 and an indicator;
A makeup simulation device characterized by:
取得された前記撮像画像を第１の表示領域に表示し、
化粧品を表現する化粧品画像を第２の表示領域に表示し、
前記ユーザ及び前記第２の表示領域のうちの少なくとも一方の姿勢を検出し、
前記第１の表示領域に表示された前記撮像画像にメイク画像を表示し、
検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整し、
前記ユーザの姿勢は、目周辺に設定された特徴点の位置関係の変化に基づいて算出される、
ことを特徴とする画像処理方法。 Obtain a captured image of the user's face,
displaying the acquired captured image in a first display area;
displaying a cosmetics image representing the cosmetics in a second display area;
detecting the posture of at least one of the user and the second display area;
displaying a makeup image on the captured image displayed in the first display area;
adjusting the glitter expression of at least one of the makeup image and the cosmetics image based on the detected posture;
The user's posture is calculated based on a change in the positional relationship of feature points set around the eyes.
An image processing method characterized by:
取得された前記撮像画像を第１の表示領域に表示し、 displaying the acquired captured image in a first display area;
化粧品を表現する化粧品画像を第２の表示領域に表示し、 displaying a cosmetics image representing the cosmetics in a second display area;
前記ユーザ及び前記第２の表示領域のうちの少なくとも一方の姿勢を検出し、 detecting the posture of at least one of the user and the second display area;
前記第１の表示領域に表示された前記撮像画像にメイク画像を表示し、 displaying a makeup image on the captured image displayed in the first display area;
複数のエフェクト画像を取得し、 Get multiple effect images,
検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整し、 adjusting the glitter expression of at least one of the makeup image and the cosmetics image based on the detected posture;
前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現の変化は、前記メイク画像及び前記化粧品画像のうちの少なくとも一方に、前記複数のエフェクト画像を順に重畳して表示することにより表現される、 A change in the glitter expression of at least one of the makeup image and the cosmetics image is expressed by displaying the plurality of effect images superimposed in order on at least one of the makeup image and the cosmetics image. ,
ことを特徴とする画像処理方法。 An image processing method characterized by:
取得された前記撮像画像を第１の表示領域に表示し、 displaying the acquired captured image in a first display area;
化粧品を表現する化粧品画像を第２の表示領域に表示し、 displaying a cosmetics image representing the cosmetics in a second display area;
前記ユーザ及び前記第２の表示領域のうちの少なくとも一方の姿勢を検出し、 detecting the posture of at least one of the user and the second display area;
前記第１の表示領域に表示された前記撮像画像にメイク画像を表示し、 displaying a makeup image on the captured image displayed in the first display area;
複数のエフェクト画像を取得し、 Get multiple effect images,
検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整し、 adjusting the glitter expression of at least one of the makeup image and the cosmetics image based on the detected posture;
前記複数のエフェクト画像は、前記化粧品画像に予め重畳され、 The plurality of effect images are superimposed on the cosmetic image in advance,
前記化粧品画像のグリッター表現の変化は、前記複数のエフェクト画像を順に表示することにより表現される、 The change in glitter expression of the cosmetics image is expressed by sequentially displaying the plurality of effect images.
ことを特徴とする画像処理方法。 An image processing method characterized by:
ユーザの顔が撮像された撮像画像を表示する第１の表示領域と、化粧品を表現する化粧品画像を表示する第２の表示領域とを有する表示部、
前記ユーザ及び前記第２の表示領域のうちの少なくとも一方の姿勢を検出する検出部、
前記第１の表示領域に表示された前記撮像画像にメイク画像を表示する表示制御部、として機能させ、
前記表示制御部は、前記検出部により検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整し、
前記ユーザの姿勢は、目周辺に設定された特徴点の位置関係の変化に基づいて算出される、
プログラム。 computer,
a display unit having a first display area that displays a captured image of a user's face; and a second display area that displays a cosmetics image representing cosmetics;
a detection unit that detects the posture of at least one of the user and the second display area;
functioning as a display control unit that displays a makeup image on the captured image displayed in the first display area;
The display control unit adjusts the glitter expression of at least one of the makeup image and the cosmetics image based on the posture detected by the detection unit,
The user's posture is calculated based on a change in the positional relationship of feature points set around the eyes.
program.
ユーザの顔が撮像された撮像画像を表示する第１の表示領域と、化粧品を表現する化粧品画像を表示する第２の表示領域とを有する表示部、 a display unit having a first display area that displays a captured image of a user's face; and a second display area that displays a cosmetics image representing cosmetics;
前記ユーザ及び前記第２の表示領域のうちの少なくとも一方の姿勢を検出する検出部、 a detection unit that detects the posture of at least one of the user and the second display area;
前記第１の表示領域に表示された前記撮像画像にメイク画像を表示する表示制御部、 a display control unit that displays a makeup image on the captured image displayed in the first display area;
複数のエフェクト画像を取得する取得部、として機能させ、 Functions as an acquisition unit that acquires multiple effect images,
前記表示制御部は、前記検出部により検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整し、 The display control unit adjusts the glitter expression of at least one of the makeup image and the cosmetics image based on the posture detected by the detection unit,
前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現の変化は、前記メイク画像及び前記化粧品画像のうちの少なくとも一方に、前記複数のエフェクト画像を順に重畳して表示することにより表現される、 A change in the glitter expression of at least one of the makeup image and the cosmetics image is expressed by displaying the plurality of effect images superimposed in order on at least one of the makeup image and the cosmetics image. ,
プログラム。 program.
ユーザの顔が撮像された撮像画像を表示する第１の表示領域と、化粧品を表現する化粧品画像を表示する第２の表示領域とを有する表示部、 a display unit having a first display area that displays a captured image of a user's face; and a second display area that displays a cosmetics image representing cosmetics;
前記ユーザ及び前記第２の表示領域のうちの少なくとも一方の姿勢を検出する検出部、 a detection unit that detects the posture of at least one of the user and the second display area;
前記第１の表示領域に表示された前記撮像画像にメイク画像を表示する表示制御部、 a display control unit that displays a makeup image on the captured image displayed in the first display area;
複数のエフェクト画像を取得する取得部、として機能させ、 Functions as an acquisition unit that acquires multiple effect images,
前記表示制御部は、前記検出部により検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整し、 The display control unit adjusts the glitter expression of at least one of the makeup image and the cosmetics image based on the posture detected by the detection unit,
前記複数のエフェクト画像は、前記化粧品画像に予め重畳され、 The plurality of effect images are superimposed on the cosmetic image in advance,
前記化粧品画像のグリッター表現の変化は、前記複数のエフェクト画像を順に表示することにより表現される、 The change in glitter expression of the cosmetics image is expressed by sequentially displaying the plurality of effect images.
プログラム。 program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019173596A JP7351165B2 (en) | 2019-09-24 | 2019-09-24 | Image processing device, makeup simulation device, image processing method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019173596A JP7351165B2 (en) | 2019-09-24 | 2019-09-24 | Image processing device, makeup simulation device, image processing method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021049088A JP2021049088A (en) | 2021-04-01 |
| JP7351165B2 true JP7351165B2 (en) | 2023-09-27 |
Family
ID=75155106
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019173596A Active JP7351165B2 (en) | 2019-09-24 | 2019-09-24 | Image processing device, makeup simulation device, image processing method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7351165B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7849105B2 (en) * | 2022-12-28 | 2026-04-21 | 株式会社 資生堂 | Customized dispensing system and customized dispensing method |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014134890A (en) | 2013-01-08 | 2014-07-24 | Sharp Corp | Image data processing device |
| WO2018159231A1 (en) | 2017-02-28 | 2018-09-07 | パナソニックＩｐマネジメント株式会社 | Makeup simulation device, method and non-transitory storage medium |
-
2019
- 2019-09-24 JP JP2019173596A patent/JP7351165B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014134890A (en) | 2013-01-08 | 2014-07-24 | Sharp Corp | Image data processing device |
| WO2018159231A1 (en) | 2017-02-28 | 2018-09-07 | パナソニックＩｐマネジメント株式会社 | Makeup simulation device, method and non-transitory storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021049088A (en) | 2021-04-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101791366B1 (en) | Enhanced virtual touchpad and touchscreen | |
| US9829989B2 (en) | Three-dimensional user input | |
| US20210183158A1 (en) | Placement and manipulation of objects in augmented reality environment | |
| CN109725782B (en) | Method and device for realizing virtual reality, intelligent equipment and storage medium | |
| US20120072857A1 (en) | Computer-readable storage medium, display control apparatus, display control method and display control system | |
| JP2004078977A (en) | Interface device | |
| CN110520822B (en) | Control device, information processing system, control method, and program | |
| US9153071B2 (en) | Game apparatus, game program and game system | |
| CN109992175B (en) | Object display method, device and storage medium for simulating blind feeling | |
| JP7351165B2 (en) | Image processing device, makeup simulation device, image processing method and program | |
| JP2014199479A (en) | Program and information processor | |
| CN108021227A (en) | Method for rapidly moving in virtual reality and virtual reality device | |
| JP2024097787A (en) | IMAGE PROCESSING DEVICE, MAKEUP SIMULATION DEVICE, IMAGE PROCESSING METHOD, AND PROGRAM | |
| JP7605263B2 (en) | Image processing device, image processing method and program | |
| JP7547875B2 (en) | Information processing device and program | |
| JP2019046472A (en) | Image processing apparatus, image processing method | |
| KR102827521B1 (en) | Electronic device and method for providing visual effect using the same | |
| JP2024047587A (en) | Information processing system and program | |
| WO2022201736A1 (en) | Information processing device, information processing method, and program | |
| KR20250096330A (en) | Input device for VR | |
| JP2026005115A (en) | Information processing device, information processing system, information processing program, and information processing method | |
| CN120103961A (en) | Interaction method, device, storage medium, equipment and program product | |
| HK40061847A (en) | Drawing method, device, computer apparatus, and storage medium | |
| CN120500674A (en) | Wearable device and method for identifying an area displaying an image | |
| CN121232960A (en) | Control setup methods, devices, equipment and storage media |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220825 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230516 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230523 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230724 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230815 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230828 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7351165 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |