JP7585568B2 - Estimation method and estimation device - Google Patents
Estimation method and estimation device Download PDFInfo
- Publication number
- JP7585568B2 JP7585568B2 JP2020131963A JP2020131963A JP7585568B2 JP 7585568 B2 JP7585568 B2 JP 7585568B2 JP 2020131963 A JP2020131963 A JP 2020131963A JP 2020131963 A JP2020131963 A JP 2020131963A JP 7585568 B2 JP7585568 B2 JP 7585568B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- waves
- heart rate
- beauty
- alpha
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 16
- 230000008451 emotion Effects 0.000 claims description 49
- 230000003796 beauty Effects 0.000 claims description 42
- 239000002537 cosmetic Substances 0.000 claims description 14
- 230000036651 mood Effects 0.000 claims description 5
- 210000004556 brain Anatomy 0.000 description 43
- 238000010586 diagram Methods 0.000 description 20
- 230000001936 parietal effect Effects 0.000 description 13
- 230000002123 temporal effect Effects 0.000 description 12
- 238000011156 evaluation Methods 0.000 description 10
- 230000009471 action Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 210000001002 parasympathetic nervous system Anatomy 0.000 description 8
- 210000002820 sympathetic nervous system Anatomy 0.000 description 8
- 230000002596 correlated effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 230000002889 sympathetic effect Effects 0.000 description 4
- 101150065817 ROM2 gene Proteins 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000012417 linear regression Methods 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 206010041349 Somnolence Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 235000013402 health food Nutrition 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000491 multivariate analysis Methods 0.000 description 1
- 239000002304 perfume Substances 0.000 description 1
- 238000013186 photoplethysmography Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000002453 shampoo Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Description
本発明は、推定方法および推定装置に関する。 The present invention relates to an estimation method and an estimation device.
従来、化粧品等に対する感情を評価する方法が知られている。特許文献1では、化粧品等によって生じる「ときめき」感情を評価する方法および装置が開示されている。
Conventionally, methods for evaluating emotions toward cosmetics and the like are known.
しかしながら、特許文献1では、感情を評価される者が感情評価アンケートに回答し、感情評価アンケートへの回答に応じて取得される因子得点に基づいて、感情が評価される(特許文献1の明細書の段落[0062]、[0063]、および、図16のS301、S302等)。そのため、感情を評価される者が、感情評価アンケートに正確に回答できなかった場合には、その者の感情は正確に評価されない。
However, in
そこで、本発明の一実施形態では、美容に関する事象に対するユーザの感情の推定の精度を向上することを目的とする。 Therefore, one embodiment of the present invention aims to improve the accuracy of estimating a user's emotions regarding beauty-related events.
本発明の一態様は、ユーザの脳波のθ波、α波、β波の各パワー値のうちの少なくとも1つおよび心拍数を取得するステップと、前記ユーザの脳波のθ波、α波、β波の各パワー値のうちの少なくとも1つおよび前記心拍数から導出される心拍に関する情報に基づいて、美容に関する事象に対する前記ユーザの感情を推定するステップと、を含む。 One aspect of the present invention includes the steps of acquiring at least one of the power values of theta waves, alpha waves, and beta waves of a user's electroencephalogram and a heart rate, and estimating the user's feelings regarding a beauty event based on at least one of the power values of theta waves, alpha waves, and beta waves of the user's electroencephalogram and information related to the heart rate derived from the heart rate.
本発明によれば、美容に関する事象に対するユーザの感情の推定の精度を向上することができる。 The present invention can improve the accuracy of estimating a user's feelings regarding beauty-related events.
以下、図面に基づいて本発明の実施の形態を説明する。 The following describes an embodiment of the present invention based on the drawings.
<用語の説明>
・「美容に関する事象」とは、基礎化粧品・メーキャップ化粧品・シャンプー等の化粧品、化粧用具、美顔器等の美容家電、香水、美容サプリメント・健康食品、マッサージ、エステティック等のうちの少なくとも1つに関する事象のことを言う。例えば、「美容に関する事象」は、ユーザに美容を施すこと(例えば、ユーザに化粧を施すこと)、ユーザに美容を施すことをシミュレーションすること(例えば、ユーザに化粧を施すことをシミュレーションすること)、化粧品を含む美容に関する情報(例えば、広告、宣伝等)をユーザへ提供すること等のうちの少なくとも1つを含む。
・「ユーザの感情」とは、ユーザが美容に関する事象に対して抱く気持ちである。例えば、「ユーザの感情」は、美容に関する事象に対する、感情価(肯定的な感情(ポジティブな感情)または否定的な感情(ネガティブな感情))、気持ちが明るい、誰かに会いたい、自信があるといった感情である。
・「心拍に関する情報」とは、心拍数に基づいて導出される心拍に関する情報である。例えば、「心拍に関する情報」は、心拍数の最大値(最も多い値)、最小値(最も少ない値)、平均心拍数、平均心拍間隔、心拍間隔の中央値、心拍変動等のうちの少なくとも1つを含む。
<Terminology>
"Beauty-related events" refers to events related to at least one of cosmetics such as basic cosmetics, makeup cosmetics, shampoo, etc., makeup tools, beauty appliances such as facial massagers, perfumes, beauty supplements and health foods, massages, esthetics, etc. For example, "beauty-related events" include at least one of providing beauty to a user (e.g., applying makeup to a user), simulating providing beauty to a user (e.g., simulating applying makeup to a user), providing information related to beauty including cosmetics (e.g., advertisements, promotions, etc.) to a user, etc.
"User emotion" refers to the feelings that a user has toward a beauty-related event. For example, "user emotion" refers to the emotional valence (positive emotion or negative emotion) toward a beauty-related event, such as feeling cheerful, wanting to meet someone, or feeling confident.
"Heartbeat-related information" refers to information about the heartbeat derived based on the heart rate. For example, "heartbeat-related information" includes at least one of the maximum (highest value) and minimum (lowest value) of the heart rate, the average heart rate, the average heartbeat interval, the median of the heartbeat interval, and heartbeat variability.
<全体の構成>
図1は、本発明の一実施形態に係る全体の構成図である。図1に示されるように、推定装置10は、任意のネットワークを介して、脳波取得装置21および心拍数取得装置22と通信可能に接続されている。また、推定装置10は、任意のネットワークを介して、出力装置30と通信可能に接続されている。以下、それぞれについて説明する。
<Overall composition>
Fig. 1 is a diagram showing an overall configuration according to an embodiment of the present invention. As shown in Fig. 1, an
なお、推定装置10と脳波取得装置21と心拍数取得装置22と出力装置30とは、同一の場所に設置されてもよいし、推定装置10と脳波取得装置21と心拍数取得装置22と出力装置30とのうちの少なくとも1つが他の装置から離れた遠隔地に設置されてもよい。
The
推定装置10は、ユーザ40の脳波および心拍に関する情報に基づいて、美容に関する事象に対するユーザ40の感情を推定する。推定装置10は、1つまたは複数のコンピュータからなる。また、推定装置10は、任意のネットワークを介して、脳波取得装置21、心拍数取得装置22、出力装置30とデータを送受信することができる。後段で、図2を参照しながら、推定装置10について詳細に説明する。
The
脳波取得装置21は、ユーザ40の脳波を測定するための装置である。脳波取得装置21は、測定したユーザ40の脳波のデータを、推定装置10へ送信する。なお、ユーザ40の脳波は、任意の装置を用いて任意の測定法で測定されてよい。
The
心拍数取得装置22は、ユーザ40の心拍数を測定するための装置である。心拍数取得装置22は、測定したユーザ40の心拍数のデータを、推定装置10へ送信する。なお、ユーザ40の心拍数は、任意の装置を用いて任意の測定法で測定されてよい。例えば、rPPG(Remote Photo Plethysmography)による測定法が用いられる。
The heart
出力装置30は、美容に関する事象に対するユーザ40の感情を表示するための装置である。具体的には、出力装置30は、推定装置10が推定した美容に関する事象に対するユーザ40の感情を、推定装置10から受信してディスプレイ上に表示する。出力装置30は、パーソナルコンピュータ、タブレット等の任意の装置であってよい。
The
なお、図1では、推定装置10と出力装置30とを別々の装置として説明したが、推定装置10と出力装置30とを1つの装置で実装するようにしてもよい。
Note that in FIG. 1, the
<機能ブロック>
図2は、本発明の一実施形態に係る推定装置10の機能ブロック図である。図2に示されるように、推定装置10は、取得部101と、推定部102と、出力部103とを備える。また、推定装置10は、プログラムを実行することで、取得部101、推定部102、出力部103として機能する。
<Function block>
Fig. 2 is a functional block diagram of the
取得部101は、脳波取得装置21から、ユーザ40の脳波のデータを取得する。具体的には、取得部101は、脳波取得装置21から、ユーザ40の脳波のθ波、α波、β波の各パワー値のうちの少なくとも1つのデータを取得する。また、取得部101は、心拍数取得装置22から、ユーザ40の心拍数のデータを取得する。
The
例えば、取得部101は、ユーザ40に美容を施すこと、ユーザに美容を施すことをシミュレーションすること、化粧品を含む美容に関する情報(例えば、広告、宣伝等)をユーザ40へ提供すること等の美容に関する事象が生じた後(例えば、ユーザ40が体験について振り返り、思考や評価を行っている間)のユーザ40の脳波および心拍数のデータを取得する。
For example, the
推定部102は、取得部101が取得したユーザ40の脳波および心拍数に基づいて、美容に関する事象に対するユーザ40の感情を推定する。具体的には、推定部102は、ユーザ40の脳波のθ波、α波、β波の各パワー値のうちの少なくとも1つおよび心拍に関する情報(例えば、心拍数の最大値、最小値、平均心拍数、平均心拍間隔、心拍間隔の中央値、心拍変動等)に基づいて、美容に関する事象に対するユーザ40の感情を推定する。
The
なお、推定部102は、ユーザ40の脳波のθ波のパワー値とα波のパワー値とβ波のパワー値、および、心拍に関する情報(例えば、心拍数の最大値、最小値、平均心拍数、平均心拍間隔、心拍間隔の中央値、心拍変動等)に基づいて、美容に関する事象に対するユーザ40の感情を推定する構成とすることもできる。
The
例えば、推定部102は、美容に関する事象に対するユーザ40の感情を0から100の数値として推定することができる。
For example, the
また、推定部102は、所定の範囲(例えば、0から49)の数値であるとネガティブな感情であると推定し、所定の範囲(例えば、51から100)の数値であるとポジティブな感情であると推定することができる。また、推定部102は、所定の範囲(例えば、50)の数値であると無反応であると推定することができる。
The
また、推定部102は、所定の範囲(例えば、0から49)の数値であると、ユーザ40が"気持ちが明るい"と感じていないと推定し、所定の範囲(例えば、51から100)の数値であると、ユーザ40が"気持ちが明るい"と感じていると推定することができる。また、推定部102は、所定の範囲(例えば、50)の数値であると無反応であると推定することができる。
Furthermore, the
また、推定部102は、所定の範囲(例えば、0から49)の数値であると、ユーザ40が"誰かに会いたい"と感じていないと推定し、所定の範囲(例えば、51から100)の数値であると、ユーザ40が"誰かに会いたい"と感じていると推定することができる。また、推定部102は、所定の範囲(例えば、50)の数値であると無反応であると推定することができる。
Furthermore, the
また、推定部102は、所定の範囲(例えば、0から49)の数値であると、ユーザ40が"自信がある"と感じていないと推定し、所定の範囲(例えば、51から100)の数値であると、ユーザ40が"自信がある"と感じていると推定することができる。また、推定部102は、所定の範囲(例えば、50)の数値であると無反応であると推定することができる。
The
後段で図4~図13を参照しながら詳細に説明するように、発明者は、ユーザ40の脳波および心拍に関する情報から、美容に関する事象に対するユーザ40の感情を推定する、線形回帰(例えば、線形SVR(Linear Support Vector Regression))モデルを作成した。そのため、本発明では、推定部102が、ユーザ40の脳波および心拍に関する情報と、線形回帰モデルと、に基づいて、美容に関する事象に対するユーザ40の感情を推定することができる。
As will be described in detail later with reference to Figures 4 to 13, the inventors have created a linear regression (e.g., linear SVR (Linear Support Vector Regression)) model that estimates the user's 40 feelings regarding beauty-related events from information regarding the user's 40 brain waves and heart rate. Therefore, in the present invention, the
ユーザ40がポジティブな感情を抱いているのか、あるいは、ネガティブな感情を抱いているのかを推定する場合、例えば、推定部102が用いる脳波は、ユーザ40の前頭部のθ波、α波、β波、中心部のθ波、α波、β波、側頭部のθ波、α波、β波、後頭部のθ波、α波、β波、頭頂部のθ波、α波、β波のうちの少なくとも1つを含む。また、例えば、推定部102が用いる脳波は、ユーザ40の左前頭部(F3)のθ波、右前頭部(F4)のθ波、左外側前頭部(F7)のθ波、右外側前頭部(F8)のθ波、正中前頭部(Fz)のθ波、左中心部(C3)のθ波、右中心部(C4)のθ波、右中側頭部(T8)のθ波、左頭頂部(P3)のθ波、右頭頂部(P4)のθ波、左後側頭部(P7)のθ波、右後側頭部(P8)のθ波、正中頭頂部(Pz)のθ波、左後頭部(O1)のθ波、右後頭部(O2)のθ波、左前頭部(F3)のα波、左外側前頭部(F7)のα波、右外側前頭部(F8)のα波、正中前頭部(Fz)のα波、左中心部(C3)のα波、右中心部(C4)のα波、左中側頭部(T7)のα波、右中側頭部(T8)のα波、正中心部(Cz)のα波、左頭頂部(P3)のα波、右頭頂部(P4)のα波、右後側頭部(P8)のα波、正中頭頂部(Pz)のα波、左後頭部(O1)のα波、右後頭部(O2)のα波、右前頭部(F4)のβ波、右外側前頭部(F8)のβ波、右中心部(C4)のβ波、左中側頭部(T7)のβ波、右中側頭部(T8)のβ波、正中心部(Cz)のβ波、左頭頂部(P3)のβ波、正中頭頂部(Pz)のβ波、左後頭部(O1)のβ波、右後頭部(O2)のβ波のうちの少なくとも1つを含む。
When estimating whether a
例えば、推定部102が用いる心拍に関する情報は、ユーザ40の心拍数の最大値、最小値、平均心拍数、平均心拍間隔、心拍間隔の中央値、心拍変動のうちの少なくとも1つを含む。
For example, the information about the heart rate used by the
出力部103は、推定部102が推定したユーザ40の感情を出力する。例えば、出力部103は、美容に関する事象に対するユーザ40の感情を出力装置30へ送信する、あるいは、美容に関する事象に対するユーザ40の感情を推定装置10等の記憶装置に記憶する。
The
<方法>
図3は、本発明の一実施形態に係る推定処理のフローチャートである。本発明の一実施形態では、推定装置10が推定処理を実行する。
Methods
3 is a flowchart of an estimation process according to an embodiment of the present invention. In the embodiment of the present invention, the
ステップ11(S11)において、取得部101は、ユーザ40の脳波および心拍数を取得する。具体的には、取得部101は、脳波取得装置21から、ユーザ40の脳波のθ波、α波、β波の各パワー値のうちの少なくとも1つのデータを取得する。また、取得部101は、心拍数取得装置22から、ユーザ40の心拍数のデータを取得する。
In step 11 (S11), the
ステップ12(S12)において、推定部102は、S11で取得されたユーザ40の脳波および心拍数に基づいて、美容に関する事象に対するユーザ40の感情を推定する。具体的には、推定部102は、ユーザ40の脳波のθ波、α波、β波の各パワー値のうちの少なくとも1つ、および、ユーザ40の心拍に関する情報に基づいて、美容に関する事象に対するユーザ40の感情を推定する。
In step 12 (S12), the
ステップ13(S13)において、出力部103は、S12で推定されたユーザ40の感情を出力する。
In step 13 (S13), the
以下、図4~図13を参照しながら、ユーザ40の脳波および心拍に関する情報から、美容に関する事象に対するユーザ40の感情を推定する、線形回帰モデルを作成するために実施された実験について説明する。
Below, with reference to Figures 4 to 13, we will explain the experiments conducted to create a linear regression model that estimates the emotions of
図4は、本発明の一実施形態に係る化粧行動時の流れを説明するための図である。本実験では、「ノーメイク(所要時間:4分)」、「スキンケア(所要時間:9分)」、「ベースメーク(所要時間:9分)」、「アイメーク(所要時間:9分)」、「チーク・リップ(所要時間:9分)」の順で、被験者に対する各行動が行われた。 Figure 4 is a diagram for explaining the flow of makeup actions according to one embodiment of the present invention. In this experiment, each action was performed on the subject in the following order: "No makeup (time required: 4 minutes)", "Skin care (time required: 9 minutes)", "Base makeup (time required: 9 minutes)", "Eye makeup (time required: 9 minutes)", and "Cheeks and lips (time required: 9 minutes)".
<主観評価>
ステップごとに、モニタ上に次に行う化粧の内容が提示された。被験者は、化粧の準備ができたらキーボードのスペースキーを押し、化粧の作業を開始した。化粧時間は5分であり、5分経過したらコンピュータから純音が提示された。ただし、その時点で化粧が完了していない場合は継続して化粧を行った。指定された化粧の作業が完了したら、被験者はスペースキーを押した。スペースキーが押下されると純音が提示された。被験者は、この音を合図に鏡を2分間注視し、顔の観察を行った。観察開始から2分経過すると再度純音が提示され、次の化粧の内容の指示がモニタ上に提示された。その音を合図に、実験担当者が感情・感性的評価を行う質問紙を被験者に提示した。被験者は、13項目の質問紙に記入した後次の作業に移行した。なお、一連の化粧を2回(高価格帯ラインの化粧品と低価格帯ラインの化粧品の2パターン)繰り返した。
<Subjective evaluation>
For each step, the next makeup step was presented on the monitor. When the subject was ready to apply makeup, they pressed the space bar on the keyboard and started applying makeup. The time to apply makeup was 5 minutes, and after 5 minutes, a pure tone was presented by the computer. However, if the makeup was not completed at that point, the subject continued applying makeup. When the designated makeup step was completed, the subject pressed the space bar. When the space bar was pressed, a pure tone was presented. The subject gazed at the mirror for 2 minutes and observed the face, using this sound as a signal. After 2 minutes had passed from the start of the observation, a pure tone was presented again, and instructions for the next makeup step were displayed on the monitor. Using this sound as a signal, the experimenter presented the subject with a questionnaire for emotional and emotional evaluation. The subject filled out the 13-item questionnaire and then moved on to the next task. The series of makeup steps was repeated twice (two patterns, one for high-priced cosmetics and one for low-priced cosmetics).
質問紙の13項目は、「使い心地が良い」、「肌触りが良い」、「気持ちが明るい」、「落ち着いた」、「すっきりした」、「顔全体の印象が良い」、「誰かに会いたい」、「自信がある」、「集中した」、「不安な」、「不快な」、「満足した」、「眠気がある」である。 The 13 questions in the questionnaire were: "Comfortable to use," "Feels good on the skin," "Mood is cheerful," "Calm," "Refreshed," "Good overall impression of face," "Want to meet someone," "Confident," "Concentrated," "Anxious," "Uncomfortable," "Satisfied," and "Feeling sleepy."
<脳波および心拍数の測定>
被験者が鏡を注視し顔の観察を行ってるとき(図4の単一化粧区間の観察(120秒))に、被験者の脳波および心拍数の測定が行われた。脳波の測定では、Fp1(眼電図用),F3/4, F7/8, Fz, C3/4, T7/8, Cz, P3/4, P7/8, Pz, O1/2, M2(基準電極用)の19か所の電極を用いた。なお、分析において、各電極の電圧値から(M2/2)の値を減算した。
<Electroencephalogram and heart rate measurement>
While the subject gazed into the mirror and observed his/her face (observation of the single makeup section (120 seconds) in Figure 4), the subject's brain waves and heart rate were measured. Nineteen electrodes were used to measure the brain waves: Fp1 (for electrooculogram), F3/4, F7/8, Fz, C3/4, T7/8, Cz, P3/4, P7/8, Pz, O1/2, and M2 (reference electrode). In the analysis, the value of (M2/2) was subtracted from the voltage value of each electrode.
図5は、本発明の一実施形態に係る化粧行動とユーザの感情の評価との関係を説明するための図である。本実験では、被験者のポジティブ・ネガティブ、気持ちが明るい、誰かに会いたい、自信があるという感情(各行動の結果の被験者の主観評価)が図5のように変化した。具体的には、図5の(1)に示されるように、行動が進むにつれて(つまり、化粧が進むにつれて)気分が上昇していく傾向があった。また、図5の(2)に示されるように、行動が進むにつれて(つまり、化粧が進むにつれて)"気持ちが明るい"という感情が上昇していく傾向があった。また、図5の(3)に示されるように、行動が進むにつれて(つまり、化粧が進むにつれて)"誰かに会いたい"という感情が上昇していく傾向があった。また、図5の(4)に示されるように、行動が進むにつれて(つまり、化粧が進むにつれて)"自信がある"という感情が上昇していく傾向があった。 Figure 5 is a diagram for explaining the relationship between makeup actions and the evaluation of the user's emotions according to one embodiment of the present invention. In this experiment, the subjects' positive/negative, cheerful, wanting to meet someone, and confident emotions (subjects' subjective evaluation of the results of each action) changed as shown in Figure 5. Specifically, as shown in (1) of Figure 5, there was a tendency for mood to improve as the action progressed (i.e., as the makeup progressed). Also, as shown in (2) of Figure 5, there was a tendency for the emotion "cheerful" to increase as the action progressed (i.e., as the makeup progressed). Also, as shown in (3) of Figure 5, there was a tendency for the emotion "wanting to meet someone" to increase as the action progressed (i.e., as the makeup progressed). Also, as shown in (4) of Figure 5, there was a tendency for the emotion "confident" to increase as the action progressed (i.e., as the makeup progressed).
上述したように、一連の化粧を2回(高価格帯ラインの化粧品と低価格帯ラインの化粧品の2パターン)繰り返しており、図5から、感情の変化が単なる時間変化ではないことが分かる。 As mentioned above, the makeup series was repeated twice (one with a high-end line of cosmetics and one with a low-end line of cosmetics), and Figure 5 shows that the change in emotion is not simply a change over time.
次に、本実験では、2(アルゴリズム)×11(応答変数)×6(特徴量)=132パターンのモデルを作成して、モデル検証を行った。 Next, in this experiment, we created a model with 2 (algorithms) x 11 (response variables) x 6 (features) = 132 patterns and performed model verification.
<特徴量>
特徴量として、
・HR+HRV+EEG: 心拍数,心拍変動,θ,α,β(79次元)
・HR+EEG: 心拍数,θ,α,β(56次元)
・HR+HRV: 心拍数と心拍変動(28次元)
・EEG: θ,α,β(51次元)
・HR: 心拍数(5次元)
・HRV: 心拍変動(23次元)
を用いた。
<Features>
As features,
・HR+HRV+EEG: Heart rate, heart rate variability, θ, α, β (79 dimensions)
・HR+EEG: Heart rate, θ, α, β (56 dimensions)
・HR+HRV: Heart rate and heart rate variability (28 dimensions)
・EEG: θ, α, β (51 dimensions)
・HR: Heart rate (5 dimensions)
・HRV: Heart rate variability (23 dimensions)
was used.
<アルゴリズム・ハイパーパラメータ>
アルゴリズム・ハイパーパラメータとして、
・Linear Support Vector Regression
(ハイパーパラメータ
Cost: 2^-20から2^15まで
Loss: Epsilon insensitive, Squared epsilon insensitive)
・Ridge regression
(ハイパーパラメータ
Alpha: 2^-20から2^15まで
Solver: 'auto', 'svd', 'cholesky', 'lsqr', 'sparse_cg', 'sag', 'saga')
を用いた。
<Algorithm/hyperparameters>
As algorithm hyperparameters,
・Linear Support Vector Regression
(Hyperparameters
Cost: 2^-20 to 2^15
Loss: Epsilon insensitive, Squared epsilon insensitive)
Ridge regression
(Hyperparameters
Alpha: 2^-20 to 2^15
Solver: 'auto', 'svd', 'cholesky', 'lsqr', 'sparse_cg', 'sag', 'saga')
was used.
<応答変数>
・ポジティブ・ネガティブ
・使い心地が良い
・肌触りが良い
・気持ちが明るい
・落ち着いた
・すっきりした
・顔全体の印象が良い
・誰かに会いたい
・自信がある
・集中した
・満足した
<Response variable>
・Positive・Negative・Easy to use・Feels good on the skin・Mood is bright・Calm・Refreshed・Good overall facial impression・Want to meet someone・Confident・Concentrated・Satisfied
なお、上記の<応答変数>の"ポジティブ・ネガティブ"は、主観評価の13項目である「使い心地が良い」、「肌触りが良い」、「気持ちが明るい」、「落ち着いた」、「すっきりした」、「顔全体の印象が良い」、「誰かに会いたい」、「自信がある」、「集中した」、「不安な」、「不快な」、「満足した」、「眠気がある」を主成分分析して合成した変数である。上記の<応答変数>の"ポジティブ・ネガティブ"は、第1主成分(肯定的な感情・感性の項目と負の、否定的な感情の項目と正の相関)、第2主成分(運動・体性感覚にかかわる項目と正の、自信や見た目にかかわる項目と負の相関)、第3主成分(眠気と強い負の相関)、第4主成分(集中と強い負の相関)、第5主成分(スッキリ感と負の相関)のうちの第1主成分である。このように、予測する対象は、主成分分析のような多変量解析で求めた指標(合成変数)でもよい。 The "positive/negative" response variable above is a composite variable obtained by performing principal component analysis on 13 subjective evaluation items: "comfortable to use," "good to the touch," "cheerful," "calm," "refreshed," "good overall facial impression," "want to meet someone," "confident," "concentrated," "anxious," "unpleasant," "satisfied," and "drowsy." The "positive/negative" response variable above is the first principal component of the first principal component (negative correlation with positive emotion/sensitivity items, positive correlation with negative emotion items), the second principal component (positive correlation with motor/somatosensory items, negative correlation with confidence/appearance items), the third principal component (strong negative correlation with drowsiness), the fourth principal component (strong negative correlation with concentration), and the fifth principal component (negative correlation with refreshed feeling). In this way, the target to be predicted may be an index (composite variable) obtained by multivariate analysis such as principal component analysis.
そして、上記の各特徴量および各アルゴリズム・ハイパーパラメータを組み合わせたモデルで推定された感情と、図4の被験者の主観評価と、を比較したところ、両者が最も一致するのは、線形SVRであることを発明者は見出した。より具体的には、平均相関係数が最も高かったのは、「誰かに会いたい」の得点を、「心拍数、心拍変動、脳波」から「線形SVR」で予測した場合であった。なお、同特徴量(心拍数、心拍変動、脳波)の場合、「気持ちが明るい」、「自信がある」も比較的精度が高かった。脳波のみ、心拍数と脳波を組み合わせた場合も比較的高めの相関係数が得られた。これらより、特徴量に脳波が含まれることが重要であることが推察される。 The inventors then compared the emotions estimated by a model combining the above features and algorithms/hyperparameters with the subjective evaluations of the subjects in Figure 4, and found that the linear SVR provided the best agreement between the two. More specifically, the highest average correlation coefficient was obtained when the score for "want to meet someone" was predicted using the linear SVR from heart rate, heart rate variability, and brain waves. In addition, with the same features (heart rate, heart rate variability, and brain waves), "feeling cheerful" and "confident" were also relatively accurately predicted. Relatively high correlation coefficients were also obtained when only brain waves and a combination of heart rate and brain waves were used. From these findings, it can be inferred that it is important that brain waves are included in the features.
図6および図7は、本発明の一実施形態に係るユーザの感情(ポジティブ-ネガティブ)と相関する脳波および心拍に関する情報を説明するための図である。図6および図7に示されるように、心拍数はほとんど寄与していない。心拍変動において、LF/HF、LF nu、HF nuで典型的な交感・副交感神経系の非対称性が見て取れる(交感神経系活動に負の係数、副交感神経系に正の係数)。脳波は、特にAlpha-bandが強く寄与する傾向がある(Thetaは外側前頭部、右中心部、左頭頂部、後頭部において比較的高い負の係数。Alphaは広範囲の電極において、高い負の係数。Betaは中心部と後頭部において負の係数)。 Figures 6 and 7 are diagrams for explaining information on brain waves and heart rate that correlate with the user's emotions (positive-negative) according to one embodiment of the present invention. As shown in Figures 6 and 7, heart rate makes almost no contribution. In heart rate variability, typical asymmetry of the sympathetic and parasympathetic nervous systems can be seen in LF/HF, LF nu, and HF nu (negative coefficient for sympathetic nervous system activity, positive coefficient for parasympathetic nervous system activity). EEG tends to have a particularly strong contribution from the Alpha-band (Theta has a relatively high negative coefficient in the lateral frontal, right central, left parietal, and occipital regions. Alpha has a high negative coefficient in a wide range of electrodes. Beta has a negative coefficient in the central and occipital regions).
図8および図9は、本発明の一実施形態に係るユーザの感情(気持ちが明るい)と相関する脳波および心拍に関する情報を説明するための図である。図8および図9に示されるように、心拍数はほとんど寄与していない。心拍変動において、LF/HF、LF nu、HF nuで典型的な交感・副交感神経系の非対称性が見て取れる(交感神経系活動に正の係数、副交感神経系に負の係数)。脳波は、後頭部のAlpha-bandとBeta-bandが強く寄与する傾向がある(Thetaは右半球の前頭部、側頭部および左半球の中心部と後側頭部で負の、右後頭部で正の係数。Alphaは左前頭部、前頭―中心部、後頭部で正の、右後側頭部で負の係数。Betaは中心部と後頭部において負の係数)。 8 and 9 are diagrams for explaining information on brain waves and heart rate that correlate with the user's emotions (cheerful mood) according to one embodiment of the present invention. As shown in Figs. 8 and 9, the heart rate makes almost no contribution. In the heart rate variability, typical asymmetry of the sympathetic and parasympathetic nervous systems can be seen in LF/HF, LF nu, and HF nu (positive coefficient for sympathetic nervous system activity, negative coefficient for parasympathetic nervous system activity). In the brain waves, the Alpha-band and Beta-band in the occipital region tend to make a strong contribution (Theta is a negative coefficient in the frontal and temporal regions of the right hemisphere and the central and posterior temporal regions of the left hemisphere, and a positive coefficient in the right occipital region. Alpha is a positive coefficient in the left frontal region, frontal-central region, and occipital region, and a negative coefficient in the right posterior temporal region. Beta is a negative coefficient in the central region and occipital region).
図10および図11は、本発明の一実施形態に係るユーザの感情(誰かに会いたい)と相関する脳波および心拍に関する情報を説明するための図である。図10および図11に示されているように、心拍数はほとんど寄与していない。心拍変動において、LF/HF、LF nu、HF nuで典型的な交感・副交感神経系の非対称性が見て取れる(交感神経系活動に負の係数、副交感神経系に正の係数)。脳波は、特にAlpha-bandが強く寄与する傾向がある(Thetaは右前頭部、右中心部、左頭頂部と後頭部において正の係数。Alphaは左後側頭部を除き、正の係数。Betaは左右頭頂部で優勢な正の係数)。 Figures 10 and 11 are diagrams for explaining information on brain waves and heart rate that correlate with a user's emotion (wanting to see someone) according to one embodiment of the present invention. As shown in Figures 10 and 11, heart rate makes almost no contribution. In heart rate variability, typical asymmetry of the sympathetic and parasympathetic nervous systems can be seen in LF/HF, LF nu, and HF nu (negative coefficient for sympathetic nervous system activity, positive coefficient for parasympathetic nervous system activity). EEG tends to be strongly contributed by the Alpha-band in particular (Theta is a positive coefficient in the right frontal, right central, left parietal, and occipital regions. Alpha is a positive coefficient except for the left occipital region. Beta is a positive coefficient that is dominant in the left and right parietal regions).
図12および図13は、本発明の一実施形態に係るユーザの感情(自信がある)と相関する脳波および心拍に関する情報を説明するための図である。図12および図13に示されているように、心拍数はほとんど寄与していない。心拍変動において、LF/HF、LF nu、HF nuで典型的な交感・副交感神経系の非対称性が見て取れる(交感神経系活動に負の係数、副交感神経系に正の係数)。脳波は、特にAlpha-bandが強く寄与する傾向がある(Thetaは右中心部、左頭頂部、後頭部において正の係数。Alphaは右後側頭部を除き頭皮上全体で正の係数。Betaはあまり寄与していない)。 Figures 12 and 13 are diagrams for explaining information on brain waves and heart rate that correlate with the user's emotion (confident) according to one embodiment of the present invention. As shown in Figures 12 and 13, the heart rate makes almost no contribution. In the heart rate variability, typical asymmetry of the sympathetic and parasympathetic nervous systems can be seen in LF/HF, LF nu, and HF nu (negative coefficient for sympathetic nervous system activity, positive coefficient for parasympathetic nervous system activity). In brain waves, the Alpha-band in particular tends to make a strong contribution (Theta has a positive coefficient in the right central area, left parietal area, and occipital area. Alpha has a positive coefficient over the entire scalp except for the right occipital area. Beta does not contribute much).
<効果>
このように、本発明の一実施形態では、美容に関する事象に対するユーザの感情を推定することができる。例えば、化粧品で化粧を施されたユーザが、その化粧品に対してポジティブな感情を抱いているのか、あるいは、ネガティブな感情を抱いているのかを生理学的な指標に基づいて推定することができる。
<Effects>
In this manner, in one embodiment of the present invention, it is possible to estimate a user's feelings toward a beauty-related event. For example, it is possible to estimate, based on physiological indices, whether a user who has applied makeup with a cosmetic product has a positive or negative feeling toward the cosmetic product.
<ハードウェア構成>
図14は、本発明の一実施形態に係る推定装置10のハードウェア構成の一例を示すブロック図である。推定装置10は、CPU(Central Processing Unit)1、ROM(Read Only Memory)2、RAM(Random Access Memory)3を有する。CPU1、ROM2、RAM3は、いわゆるコンピュータを形成する。
<Hardware Configuration>
14 is a block diagram showing an example of a hardware configuration of an
また、推定装置10は、補助記憶装置4、表示装置5、操作装置6、I/F(Interface)装置7、ドライブ装置8を有することができる。なお、推定装置10の各ハードウェアは、バスBを介して相互に接続されている。
The
CPU1は、補助記憶装置4にインストールされている各種プログラムを実行する演算デバイスである。
The
ROM2は、不揮発性メモリである。ROM2は、補助記憶装置4にインストールされている各種プログラムをCPU1が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ROM2はBIOS(Basic Input/Output System)やEFI(Extensible Firmware Interface)等のブートプログラム等を格納する、主記憶デバイスとして機能する。
ROM2 is a non-volatile memory. ROM2 functions as a primary storage device that stores various programs, data, etc. required for CPU1 to execute various programs installed in the
RAM3は、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等の揮発性メモリである。RAM3は、補助記憶装置4にインストールされている各種プログラムがCPU1によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
RAM3 is a volatile memory such as DRAM (Dynamic Random Access Memory) or SRAM (Static Random Access Memory). RAM3 functions as a main memory device that provides a working area in which various programs installed in the
補助記憶装置4は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。
The
表示装置5は、推定装置10の内部状態等を表示する表示デバイスである。
The
操作装置6は、推定装置10の管理者が推定装置10に対して各種指示を入力する入力デバイスである。
The
I/F装置7は、ネットワークに接続し、出力装置30と通信を行うための通信デバイスである。
The I/
ドライブ装置8は記憶媒体9をセットするためのデバイスである。ここでいう記憶媒体9には、CD-ROM、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記憶媒体9には、EPROM (Erasable Programmable Read Only Memory)、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
The
なお、補助記憶装置4にインストールされる各種プログラムは、例えば、配布された記憶媒体9がドライブ装置8にセットされ、該記憶媒体9に記録された各種プログラムがドライブ装置8により読み出されることでインストールされる。あるいは、補助記憶装置4にインストールされる各種プログラムは、I/F装置7を介して、ネットワークよりダウンロードされることでインストールされてもよい。
The various programs to be installed in the
以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 Although the examples of the present invention have been described in detail above, the present invention is not limited to the specific embodiments described above, and various modifications and variations are possible within the scope of the gist of the present invention as described in the claims.
10 推定装置
21 脳波取得装置
22 心拍数取得装置
30 出力装置
40 ユーザ
101 取得部
102 推定部
103 出力部
10
Claims (10)
前記ユーザの脳波のθ波、α波、β波の各パワー値のうちの少なくとも1つおよび前記心拍数から導出される心拍に関する情報に基づいて、前記美容に関する事象に対する前記ユーザの感情を推定するステップと
を含む方法。 acquiring at least one of the power values of theta waves, alpha waves, and beta waves of the user's electroencephalogram and a heart rate only after a beauty event has occurred and when the user is evaluating the beauty event ;
and estimating the user's feelings regarding the beauty event based on at least one of the power values of theta waves, alpha waves, and beta waves of the user's electroencephalogram and information regarding the heart rate derived from the heart rate.
前記取得したユーザの脳波のθ波、α波、β波の各パワー値のうちの少なくとも1つおよび前記心拍数から導出される心拍に関する情報に基づいて、前記美容に関する事象に対する前記ユーザの感情を推定する推定部と
を備えた推定装置。 an acquisition unit that acquires at least one of the power values of theta waves, alpha waves, and beta waves of the user's electroencephalogram and a heart rate only after a beauty event has occurred and when the user is evaluating the beauty event ;
and an estimation unit that estimates the user's feelings regarding the beauty event based on at least one of the power values of theta waves, alpha waves, and beta waves of the acquired user's electroencephalogram and information related to the heart rate derived from the heart rate.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020131963A JP7585568B2 (en) | 2020-08-03 | 2020-08-03 | Estimation method and estimation device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020131963A JP7585568B2 (en) | 2020-08-03 | 2020-08-03 | Estimation method and estimation device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022028509A JP2022028509A (en) | 2022-02-16 |
| JP7585568B2 true JP7585568B2 (en) | 2024-11-19 |
Family
ID=80267382
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020131963A Active JP7585568B2 (en) | 2020-08-03 | 2020-08-03 | Estimation method and estimation device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7585568B2 (en) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000210290A (en) | 1999-01-21 | 2000-08-02 | Naris Cosmetics Co Ltd | Measurement of amenity |
| JP2000354588A (en) | 1999-04-13 | 2000-12-26 | Naris Cosmetics Co Ltd | Evaluating method and designing method for cosmetic material |
| JP2004261276A (en) | 2003-02-28 | 2004-09-24 | Matsushita Electric Ind Co Ltd | Optical output device, relay device, and information processing terminal |
| JP2007307294A (en) | 2006-05-22 | 2007-11-29 | Lion Corp | Cosmetic evaluation system and cosmetic evaluation method |
| JP2018187287A (en) | 2017-05-11 | 2018-11-29 | 学校法人 芝浦工業大学 | Sensitivity estimation device, sensitivity estimation system, sensitivity estimation method and program |
| JP2019030557A (en) | 2017-08-09 | 2019-02-28 | 沖電気工業株式会社 | Presentation device, presentation method, emotion estimation server, emotion estimation method, and emotion estimation system |
| JP2019509452A (en) | 2015-12-09 | 2019-04-04 | サムスン エレクトロニクス カンパニー リミテッド | Method and apparatus for controlling equipment based on biological information |
| JP2019185173A (en) | 2018-04-03 | 2019-10-24 | 日本メナード化粧品株式会社 | Method and device for evaluating exciting feeling |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3485272B2 (en) * | 1994-04-27 | 2004-01-13 | ポーラ化成工業株式会社 | Satisfaction measurement method of cosmetic finish |
-
2020
- 2020-08-03 JP JP2020131963A patent/JP7585568B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000210290A (en) | 1999-01-21 | 2000-08-02 | Naris Cosmetics Co Ltd | Measurement of amenity |
| JP2000354588A (en) | 1999-04-13 | 2000-12-26 | Naris Cosmetics Co Ltd | Evaluating method and designing method for cosmetic material |
| JP2004261276A (en) | 2003-02-28 | 2004-09-24 | Matsushita Electric Ind Co Ltd | Optical output device, relay device, and information processing terminal |
| JP2007307294A (en) | 2006-05-22 | 2007-11-29 | Lion Corp | Cosmetic evaluation system and cosmetic evaluation method |
| JP2019509452A (en) | 2015-12-09 | 2019-04-04 | サムスン エレクトロニクス カンパニー リミテッド | Method and apparatus for controlling equipment based on biological information |
| JP2018187287A (en) | 2017-05-11 | 2018-11-29 | 学校法人 芝浦工業大学 | Sensitivity estimation device, sensitivity estimation system, sensitivity estimation method and program |
| JP2019030557A (en) | 2017-08-09 | 2019-02-28 | 沖電気工業株式会社 | Presentation device, presentation method, emotion estimation server, emotion estimation method, and emotion estimation system |
| JP2019185173A (en) | 2018-04-03 | 2019-10-24 | 日本メナード化粧品株式会社 | Method and device for evaluating exciting feeling |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022028509A (en) | 2022-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Giannakakis et al. | Review on psychological stress detection using biosignals | |
| Jerčić et al. | Modeling cognitive load and physiological arousal through pupil diameter and heart rate | |
| Brown et al. | Coherence between subjective experience and physiology in emotion: Individual differences and implications for well-being. | |
| Pawling et al. | A positive touch: C-tactile afferent targeted skin stimulation carries an appetitive motivational value | |
| Kreibig et al. | The psychophysiology of mixed emotional states | |
| Ioannou et al. | Thermal infrared imaging in psychophysiology: potentialities and limits | |
| Nacke | An introduction to physiological player metrics for evaluating games | |
| JP6166463B2 (en) | A method for assessing product effectiveness using objective and non-invasive methods for quantifying itching | |
| Rojo et al. | Through your skin to your heart and brain: A critical evaluation of physiological methods in Cognitive Translation and Interpreting Studies | |
| Bartolo et al. | Gestures convey different physiological responses when performed toward and away from the body | |
| CN111107786A (en) | Application of Wavelet Analysis for Time Variation of Actual Signals | |
| Kirsch et al. | Psychophysiological characteristics of pediatric posttraumatic stress disorder during script-driven traumatic imagery | |
| Alshaikhli et al. | A study on the effects of EEG and ECG signals while listening to Qur'an recitation | |
| Park et al. | Gamma EEG correlates of haptic preferences for a dial interface | |
| Zullino et al. | Local back massage with an automated massage chair: general muscle and psychophysiologic relaxing properties | |
| JPWO2021100880A5 (en) | ||
| JP7585568B2 (en) | Estimation method and estimation device | |
| JP7311118B2 (en) | Emotion estimation method and emotion estimation system | |
| JP7767763B2 (en) | Biological information processing device and biological information processing system | |
| Kikuchi et al. | MindSpace: Improving Relaxation Break and Performance Using a Device Exterting Tactile Sensation of Life-like Breathing Movement with Squeeze-like Deep Touch Pressure on Users' Upper Chest Area | |
| Davis-Stewart | Stress detection: Stress detection framework for mission-critical application: Addressing cybersecurity analysts using facial expression recognition | |
| Badesa et al. | Evaluation of performance and heart rate variability during intensive usage of a BCI-controlled hand exoskeleton | |
| Merla | Revealing psychophysiology and emotions through thermal infrared imaging | |
| Sen et al. | GSR-based auto-monitoring of pain initiation/elimination time using nonlinear dynamic model | |
| de Tommaso et al. | The measure of randomness by leave-one-out prediction error in the analysis of EEG after laser painful stimulation in healthy subjects and migraine patients |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230602 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240319 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240702 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240801 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20241008 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241011 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7585568 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |