JP7683161B2 - Skin color unevenness display method, skin color unevenness evaluation method, skin color unevenness display device, and skin color unevenness display program - Google Patents
Skin color unevenness display method, skin color unevenness evaluation method, skin color unevenness display device, and skin color unevenness display program Download PDFInfo
- Publication number
- JP7683161B2 JP7683161B2 JP2021062020A JP2021062020A JP7683161B2 JP 7683161 B2 JP7683161 B2 JP 7683161B2 JP 2021062020 A JP2021062020 A JP 2021062020A JP 2021062020 A JP2021062020 A JP 2021062020A JP 7683161 B2 JP7683161 B2 JP 7683161B2
- Authority
- JP
- Japan
- Prior art keywords
- color difference
- calculated
- value
- skin
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Description
本発明は、肌の色ムラ表示方法、肌の色ムラ評価方法、肌の色ムラ表示装置、及び肌の色ムラ表示プログラムに関する。 The present invention relates to a method for displaying skin color unevenness, a method for evaluating skin color unevenness, a device for displaying skin color unevenness, and a program for displaying skin color unevenness.
近年、肌を含む画像に対して画像解析を行うことで、肌状態の評価、顔の見た目の年齢の評価等がなされている。特許文献１には、肌画像からシワ等の２以上の特徴指標を算出し、２以上の特徴量に基づいて肌の官能評価を決定する方法が記載されている。 In recent years, image analysis has been performed on images that include skin to evaluate skin conditions and the apparent age of the face. Patent Document 1 describes a method for calculating two or more characteristic indices, such as wrinkles, from a skin image and determining a sensory evaluation of the skin based on the two or more characteristic indices.
特許文献２には、被検対象の肌画像をデジタル画像として撮像し、この画像の単位領域と隣接する領域との色情報から色差を算出し、更にその色差の頻度分布を求める肌状態の評価方法が記載されている。 Patent document 2 describes a method for evaluating skin condition in which a digital image of the skin of a subject is captured, color differences are calculated from color information between unit areas of the image and adjacent areas, and the frequency distribution of the color differences is calculated.
また、肌の色ムラを評価する方法として、特許文献３には、皮膚の画像から３次元空間の直交座標系で表される色成分値を取得し、任意の画素とそれに隣接する８つの画素に対する移動ベクトルを複数計算し、当該移動ベクトルの平均値を算出することで、肌の色ムラを評価する方法が記載されている。 Patent document 3 also describes a method for evaluating uneven skin tone by acquiring color component values expressed in a Cartesian coordinate system in three-dimensional space from an image of the skin, calculating multiple movement vectors for an arbitrary pixel and its eight neighboring pixels, and calculating the average value of the movement vectors.
特許文献４には、肌のくすみを評価する手段として、肌の色ムラを算出する方法が開示されている。具体的には、肌画像から肌の色情報を取得し、肌の色情報から色ムラ指数を取得し、色ムラ指数に基づいて肌画像に対応する肌のくすみを評価する方法が記載されている。 Patent Document 4 discloses a method for calculating skin color unevenness as a means for evaluating skin dullness. Specifically, the method describes a method for acquiring skin color information from a skin image, acquiring a color unevenness index from the skin color information, and evaluating the skin dullness corresponding to the skin image based on the color unevenness index.
上記先行技術のあるところ、本発明は、肌の色ムラを表現及び評価するための新たな技術を提供すること課題とする。 Given the above prior art, the present invention aims to provide a new technology for expressing and evaluating uneven skin tone.
上記課題を解決する本発明は、
被験者の肌画像について、画素ごとに隣接画素との色差を算出する算出工程と、
前記色差の算出値の出現頻度をグラフ又はチャートで表示する表示工程を備える、肌の色ムラ表示方法である。
The present invention solves the above problems,
A calculation step of calculating a color difference between each pixel and an adjacent pixel in the skin image of the subject;
The method further comprises a display step of displaying the frequency of occurrence of the calculated color difference values in a graph or chart.
本発明の肌の色ムラ表示方法は、画素単位の色差で表されるミクロな色ムラに基づいて、肌全体のマクロな色ムラの傾向を客観的に表現することができる。 The skin color unevenness display method of the present invention can objectively express the tendency of macro color unevenness on the entire skin based on the micro color unevenness represented by the color difference on a pixel-by-pixel basis.
本発明の好ましい形態では、さらに、前記算出工程で算出された前記色差を、その算出値に基づいて２以上のグループに分類する分類工程を含み、
前記表示工程は、前記色差の算出値の出現頻度として、前記分類工程で分類された前記グループの構成比を表示する。
色差の算出値の出現頻度を各グループの構成比で表現することで、肌全体の色ムラの傾向を明確に認識することができる。
In a preferred embodiment of the present invention, the method further includes a classifying step of classifying the color differences calculated in the calculating step into two or more groups based on the calculated values,
The display step displays a constituent ratio of the groups classified in the classification step as an occurrence frequency of the calculated color difference values.
By expressing the occurrence frequency of the calculated color difference values as the composition ratio of each group, the tendency of uneven skin tone as a whole can be clearly recognized.
本発明の好ましい形態では、前記算出工程は、第１の時点における第１の色差を算出する工程と、前記第１の時点より後の第２の時点における第２の色差を算出する工程を含み、
前記表示工程は、前記第１の色差の算出値から得られる第１のグラフ又はチャートと、前記第２の色差の算出値から得られる第２のグラフ又はチャートを一図で表示する。
このように複数の時点に係るグラフ等を並べて表示することで、経時の肌の色ムラの変化を容易に表現することができる。
In a preferred embodiment of the present invention, the calculation step includes a step of calculating a first color difference at a first time point, and a step of calculating a second color difference at a second time point after the first time point,
The display step displays, in one diagram, a first graph or chart obtained from the calculated value of the first color difference and a second graph or chart obtained from the calculated value of the second color difference.
By displaying graphs relating to multiple time points side by side in this manner, it is possible to easily show changes in skin tone unevenness over time.
本発明の好ましい形態では、前記グラフ又はチャートが積み立て棒グラフである。
積み立て棒グラフを用いることで、前記グループの構成比を容易に表現することができる。
In a preferred form of the invention, the graph or chart is a stacked bar graph.
By using a stacked bar graph, the composition ratio of the groups can be easily expressed.
本発明の好ましい形態では、前記表示工程では、前記グラフ又はチャートと並べて、前記肌画像を表示する。
肌画像を並べて表示することで、肌画像から感覚的に認識される肌の色ムラと、色差に基づく客観的な肌の色ムラを比較することができる。
In a preferred embodiment of the present invention, the display step displays the skin image alongside the graph or chart.
By displaying the skin images side by side, it is possible to compare skin color unevenness that is intuitively recognized from the skin images with objective skin color unevenness based on color differences.
また、本発明は、
被験者の肌画像について、画素ごとに隣接画素との色差を算出する算出工程と、
前記色差の算出値の出現頻度に基づいて、肌の色ムラを評価する評価工程を備える、肌の色ムラ評価方法にも関する。
本発明の肌の色ムラ評価方法を用いることで、画素単位の色差で表されるミクロな色ムラに基づいて、肌全体のマクロな色ムラの傾向を客観的に評価することができる。
The present invention also provides a method for producing a method for manufacturing a semiconductor device comprising the steps of:
A calculation step of calculating a color difference between each pixel and an adjacent pixel in the skin image of the subject;
The present invention also relates to a method for evaluating skin color unevenness, comprising an evaluation step of evaluating skin color unevenness based on the frequency of occurrence of the calculated color difference values.
By using the method for evaluating skin color unevenness of the present invention, it is possible to objectively evaluate the tendency of macroscopic color unevenness of the entire skin based on the microscopic color unevenness represented by the color difference on a pixel-by-pixel basis.
本発明の好ましい形態では、前記算出工程は、第１の時点における第１の色差を算出する工程と、前記第１の時点より後の第２の時点における第２の色差を算出する工程を含み、
前記評価工程は、前記第１の色差の算出値と前記第２の色差の算出値の出現頻度を比較することにより、肌の色ムラの変化を評価する。
異なる時点の色差を比較することで、肌の色ムラの変化を適切に評価することができる。
In a preferred embodiment of the present invention, the calculation step includes a step of calculating a first color difference at a first time point, and a step of calculating a second color difference at a second time point after the first time point,
The evaluation step evaluates a change in skin color unevenness by comparing the occurrence frequency of the calculated value of the first color difference with the calculated value of the second color difference.
By comparing the color differences at different points in time, changes in skin tone can be properly evaluated.
また、本発明は、
被験者の肌画像について、画素ごとに隣接画素との色差を算出する算出手段と、
前記色差の算出値の出現頻度をグラフ又はチャートで表示する表示手段と、
を備える、肌の色ムラ表示装置である。
The present invention also provides a method for producing a method for manufacturing a semiconductor device comprising the steps of:
A calculation means for calculating a color difference between each pixel and an adjacent pixel in a skin image of a subject;
a display means for displaying the occurrence frequency of the calculated color difference values in a graph or chart;
The present invention relates to a skin color unevenness display device.
また、本発明は、コンピュータを、
被験者の肌画像について、画素ごとに隣接画素との色差を算出する算出手段と、
前記色差の算出値の出現頻度をグラフ又はチャートで表示する表示手段と、
として機能させるための、肌の色ムラ表示プログラムである。
The present invention also provides a computer comprising:
A calculation means for calculating a color difference between each pixel and an adjacent pixel in a skin image of a subject;
a display means for displaying the occurrence frequency of the calculated color difference values in a graph or chart;
This is a skin tone unevenness display program that functions as a skin tone unevenness display program.
本発明によれば、肌の色ムラを表現及び評価するための新たな技術を提供することができる。 The present invention provides a new technology for expressing and evaluating uneven skin tone.
＜１＞色ムラの表示方法
以下、本発明の肌の色ムラ表示方法（以下、「色ムラ表示方法」ともいう）の実施形態について詳述する。
本実施形態の色ムラ表示方法は、被験者の肌画像を取得する画像取得工程、画素ごとに隣接画素との色差を算出する算出工程、当該色差の算出値を２以上のグループに分類する分類工程、及び、色差の算出値の出現頻度をグラフ又はチャートで表示する表示工程を含む。
<1> Method for Displaying Color Unevenness Hereinafter, an embodiment of a method for displaying skin color unevenness (hereinafter, also referred to as a "method for displaying color unevenness") of the present invention will be described in detail.
The color unevenness display method of this embodiment includes an image acquisition step of acquiring a skin image of a subject, a calculation step of calculating the color difference between each pixel and adjacent pixels, a classification step of classifying the calculated color difference values into two or more groups, and a display step of displaying the frequency of occurrence of the calculated color difference values in a graph or chart.
以下、本発明の色ムラ表示方法、及び当該色ムラ表示方法により得られる表示物の実施形態を例に挙げ、本発明を詳細に説明する。 The present invention will be described in detail below with reference to an embodiment of the color unevenness display method of the present invention and an object obtained by the color unevenness display method.
（１）画像取得工程
画像取得工程では、被験者の肌画像を取得する。肌画像としては、好ましくは頬領域の肌画像を用いる。ここで、肌画像は、一般的なビデオカメラ又はデジタルカメラで撮像した画像を用いてよく、本発明においては、カラー画像を取得することが好ましい。
(1) Image Acquisition Step In the image acquisition step, a skin image of the subject is acquired. As the skin image, a skin image of the cheek region is preferably used. Here, the skin image may be an image captured by a general video camera or digital camera, and in the present invention, it is preferable to acquire a color image.
肌画像は、後のステップにおける画像解析に耐え得る程度の解像度を有していることが好ましい。撮像時、色差を算出すべき画素数に応じて画像の解像度を適宜設定してもよい。画像の解像度は、好ましくは３５万画素以上、より好ましくは１００万画素以上、より好ましくは３００万画素以上、より好ましくは５００万画素以上である。
また、画像取得後に画像の解像度を任意の値に変更することで、適切な画素の肌画像を得てもよい。
It is preferable that the skin image has a resolution that can withstand image analysis in a later step. When capturing an image, the resolution of the image may be appropriately set according to the number of pixels for which color differences are to be calculated. The image resolution is preferably 350,000 pixels or more, more preferably 1 million pixels or more, more preferably 3 million pixels or more, and more preferably 5 million pixels or more.
Moreover, after an image is acquired, the resolution of the image may be changed to an arbitrary value to obtain a skin image with appropriate pixels.
なお、本発明の色ムラ表示方法は、肌画像を撮像する工程を含む必要はなく、予め取得した肌画像を用いて以下の工程を行ってもよい。 The color unevenness display method of the present invention does not need to include a step of capturing a skin image, and the following steps may be performed using a previously acquired skin image.
（２）算出工程
続いて、肌画像から画素ごとの色差を算出する方法について詳述する。
画素ごとの色差は、取得した肌画像に任意の領域を定めて算出することが好ましい。評価領域は、被験者の実際の肌の領域のサイズとして好ましくは、１×１ｃｍ以上、より好ましくは３×３ｃｍ以上、さらに好ましくは５×５ｃｍ以上の範囲とすることができ、その形状は、矩形又は正方形であることが好ましい。
(2) Calculation Step Next, a method for calculating the color difference for each pixel from the skin image will be described in detail.
The color difference for each pixel is preferably calculated by defining an arbitrary region in the acquired skin image. The evaluation region can be a range of preferably 1×1 cm or more, more preferably 3×3 cm or more, and even more preferably 5×5 cm or more as the size of the actual skin region of the subject, and the shape of the evaluation region is preferably rectangular or square.
色差は、画素の各色成分値を用いて算出することができる。色成分値としては、ＲＧＢ表色系、のＲ値、Ｇ値、Ｂ値や、ＣＩＥＬ＊ａ＊ｂ＊表色系のＬ＊値、ａ＊値、ｂ＊値、マンセル表色系の明度、色相、彩度等が挙げられる。 The color difference can be calculated using the color component values of the pixels, such as the R, G, and B values of the RGB color system, the L*, a * , and b* values of the CIE L * a * b* color system, and the lightness, hue, and saturation of the Munsell color system.
ここで、デジタルカメラ等から取得されたＲＧＢ画像をＬ＊ａ＊ｂ＊画像に変換する場合は、既存の変換式を用いることができる。すなわち、３２５色の標準肌色色票（財団法人日本色彩研究所製の肌色を全て網羅した色票（Ｌ＊４５．６～８５．９、ａ＊０．５～２６．１、ｂ＊１．８～４０．７））を用い、重回帰分析によりＲＧＢの輝度をＬ＊ａ＊ｂ＊値に変換するための変換式（下式）を求め、これを画像解析アプリケーションソフトに組み込み、ＲＧＢ画像をＬ＊ａ＊ｂ＊画像に変換した。数１式において、実測値との相関とは、Ｌ＊ａ＊ｂ＊画像による解析結果とＲＧＢ解析による解析結果との相関を指す。 Here, when converting an RGB image obtained from a digital camera or the like into an L * a * b * image, an existing conversion formula can be used. That is, a 325-color standard skin color chart (a color chart covering all skin colors (L * 45.6-85.9, a * 0.5-26.1, b * 1.8-40.7) manufactured by the Japan Color Research Institute Foundation) was used, and a conversion formula (below) for converting RGB luminance into L * a * b * values was obtained by multiple regression analysis, which was incorporated into image analysis application software to convert the RGB image into an L * a * b * image. In formula 1, the correlation with the actual measured value refers to the correlation between the analysis result from the L * a * b * image and the analysis result from the RGB analysis.
色差の算出は、以下の手順で行う。まず、画素の一つを注目画素と定め、当該注目画素を囲む８個の画素を、隣接画素とする（図１左参照）。続いて、当該注目画素と隣接画素の色成分値を用いて、注目画素１つにつき複数の色差を算出する。この時、色差が重複して算出されることを避けるため、注目画素１つにつき、４つの隣接画素を用いて算出することが好ましい。例えば、連続した４つの隣接画素を色差の算出位置として固定し（図１右参照）、全ての注目画素について同一の算出位置の隣接画素を用いて色差を算出する。このような算出方法を用いることで、色差の重複算出を避けるとともに、色ムラの表示に十分な量の色差の値を得ることができる。 The color difference is calculated using the following procedure. First, one pixel is designated as the pixel of interest, and the eight pixels surrounding the pixel of interest are designated as adjacent pixels (see Figure 1, left). Next, multiple color differences are calculated for each pixel of interest using the color component values of the pixel of interest and the adjacent pixels. In this case, to avoid duplicate calculations of color differences, it is preferable to use four adjacent pixels for each pixel of interest. For example, four consecutive adjacent pixels are fixed as color difference calculation positions (see Figure 1, right), and color differences are calculated for all pixels of interest using adjacent pixels at the same calculation positions. Using this calculation method makes it possible to avoid duplicate calculations of color differences and obtain a color difference value sufficient for displaying color unevenness.
注目画素の色差は、既存の算出式を用いて算出することができ、例えば、下記数２式を用いて算出することができる。 The color difference of the pixel of interest can be calculated using an existing formula, for example, the following formula 2:
以下の分類工程、及び表示工程では、色差の算出値を使用する。色差の算出値は、注目画素から得た複数の色差の値の全てであってもよいし、注目画素ごとに求めた色差の算出値の代表値であってもよいが、好ましくは色差の算出値の代表値を用いる。
色差の算出値の代表値は、算出した複数の色差の算出値から、平均値、中央値、最頻出値等を算出することで求めることができる。
In the classification step and display step described below, the calculated color difference value is used. The calculated color difference value may be all of the multiple color difference values obtained from the pixel of interest, or may be a representative value of the calculated color difference values obtained for each pixel of interest, but it is preferable to use the representative value of the calculated color difference values.
The representative value of the calculated color difference values can be found by calculating the average, median, most frequent value, etc., from a plurality of calculated color difference values.
また、色差の算出は、評価領域内の画素すべてを注目画素とし、注目画素ごとに色差の算出を行うことが好ましい。ただし、評価領域にホクロ、創傷等を含む領域が存在する場合、当該領域を除いて、色差を算出することができる。 In addition, it is preferable to calculate the color difference for each pixel of interest, with all pixels in the evaluation area being treated as pixels of interest. However, if the evaluation area includes an area that contains a mole, scar, etc., the color difference can be calculated excluding that area.
（３）分類工程
続いて、色差の算出値を、その値に基づいて２以上のグループに分類する。ここで、色差を分類するグループ数は特に限定されるものではないが、好ましくは２～８、より好ましくは２～５、さらに好ましくは２～３のグループに分類することが好ましい。
(3) Classification step Next, the calculated color difference values are classified into two or more groups based on the values. Here, the number of groups into which the color differences are classified is not particularly limited, but it is preferable to classify the color differences into 2 to 8 groups, more preferably 2 to 5 groups, and even more preferably 2 to 3 groups.
また、分類工程において使用する色差の算出値は、上記（２）で算出したすべての色差の算出値を用いてもよいし、所定の範囲を設定し（以下、設定した範囲を解析範囲という）、該解析範囲に含まれる色差の算出値のみについて、分類工程にてグループ分けを行ってもよい。 The calculated color difference values used in the classification process may be all of the calculated color difference values calculated in (2) above, or a predetermined range may be set (hereinafter, the set range is referred to as the analysis range), and only the calculated color difference values included in the analysis range may be grouped in the classification process.
色差の算出値に基づくグループ分けでは、色差ΔＥ＊
ａｂが０．３～５．０の範囲内にグループの境界線を設けることが好ましい。
例えば、色差の算出値に基づき２つのグループに分類する場合、色差ΔＥ＊
ａｂの境界は、好ましくは０．３～５．０、より好ましくは０．６～２．５、より好ましくは０．６～１．２の範囲内に設定することができる。
上記範囲に境界線を設けグループ分けを行うことで、肌の色ムラの評価をより正確に行うことができる。
In grouping based on the calculated color difference, it is preferable to set the boundary line of the groups within the range of the color difference ΔE * ab of 0.3 to 5.0.
For example, when classifying into two groups based on the calculated color difference, the boundary of the color difference ΔE * ab can be set preferably within the range of 0.3 to 5.0, more preferably 0.6 to 2.5, and more preferably 0.6 to 1.2.
By dividing the above ranges into groups by setting boundaries, it is possible to more accurately evaluate uneven skin tone.
また、色差の算出値を３つのグループに分類する場合、色差ΔＥ＊ ａｂの境界は、好ましくは０．３～０．９及び１．０～２．５の範囲、より好ましくは０．５～０．８及び１．０～１．５の範囲の計２か所設定することが好ましい。具体的には、第１のグループ及び第２のグループの境界をΔＥ＊ ａｂ＝０．６の位置に設定し、第２のグループ及び第３のグループの境界をΔＥ＊ ａｂ＝１．２の位置に設定する例が好ましく挙げられる。 Furthermore, when classifying the calculated color difference values into three groups, it is preferable to set the boundary of the color difference ΔE * ab at two positions, preferably in the ranges of 0.3 to 0.9 and 1.0 to 2.5, and more preferably in the ranges of 0.5 to 0.8 and 1.0 to 1.5. Specifically, a preferred example is one in which the boundary between the first group and the second group is set at a position of ΔE * ab = 0.6, and the boundary between the second group and the third group is set at a position of ΔE * ab = 1.2.
また、色差の算出値のグループ分けは、色差の算出値を任意の数に分割する形態であってもよい。
例えば、２つのグループに分類する場合、色差の算出値を所定の値で等間隔に分割することにより、複数のグループに分割する形態であってもよいし、グループの境界線を色差の算出値の中央値に設定する形態、色差の算出値の最小値から１／３の値に設定する形態、色差の算出値の最大値から１／３の値に設定する形態等も好ましく例示できる。
３つのグループに分類する場合、色差の算出値を所定の値で等間隔に分割することにより、複数のグループに分割する形態であってもよいし、色差の算出値の中央値、色差の算出値の最小値から１／３の値、色差の算出値の最大値から１／３の値から選ばれる２か所にグループの境界線を設定する形態も好ましく例示できる。
Furthermore, the color difference calculation values may be grouped in a manner that divides the color difference calculation values into any number of groups.
For example, when classifying into two groups, the calculated color difference value may be divided at equal intervals by a predetermined value to divide into multiple groups. Preferred examples include setting the boundary line of the groups to the median value of the calculated color difference value, to a value that is 1/3 of the minimum value of the calculated color difference value, or to a value that is 1/3 of the maximum value of the calculated color difference value.
When classifying into three groups, the calculated color difference may be divided into a plurality of groups by equally dividing the calculated color difference by a predetermined value. Alternatively, preferred examples include setting group boundaries at two points selected from the median of the calculated color difference, one-third of the minimum value of the calculated color difference, and one-third of the maximum value of the calculated color difference.
なお、算出工程で得られた色差の算出値をそのまま評価結果として用いる場合には、上記分類工程は適宜省略することができる。例えば、下記表示工程において、色差の算出値を累積相対度数のグラフで表示する場合には、当該分類工程は省略可能である。 When the calculated color difference value obtained in the calculation step is used as the evaluation result as it is, the classification step can be omitted as appropriate. For example, when the calculated color difference value is displayed as a graph of cumulative relative frequency in the display step described below, the classification step can be omitted.
（４）表示工程
表示工程では、色差の算出値の出現頻度を、グラフ、チャート等（以下、単にグラフ等ともいう）で図式化する。色差の算出値の出現頻度は、分類工程で得られたグループの構成比を用いて図式化する態様でもよいし、算出工程で得られた色差の算出値をそのままグラフ化する態様であってもよい。
(4) Display Step In the display step, the occurrence frequency of the calculated color difference values is diagrammed in the form of a graph, chart, etc. (hereinafter, also simply referred to as a graph, etc.) The occurrence frequency of the calculated color difference values may be diagrammed using the composition ratio of the groups obtained in the classification step, or the calculated color difference values obtained in the calculation step may be graphed as they are.
色差の算出値の出現頻度としてグループの構成比を表示する場合には、色差の算出値の総数を基準（１００％）とした各グループの構成比を表示することができる。このとき、色差の算出値として、画素ごとに求めたすべての色差の算出値を利用してもよいし、画素ごとの色差の算出値の代表値を利用してもよい。 When displaying the composition ratio of groups as the frequency of occurrence of color difference calculation values, the composition ratio of each group can be displayed with the total number of color difference calculation values as the reference (100%). In this case, the calculated color difference value may be all the calculated color difference values obtained for each pixel, or a representative value of the calculated color difference values for each pixel may be used.
また、分類工程にて色差の算出値の解析範囲を設定した場合には、該解析範囲内の色差の算出値の総数を基準（１００％）とした場合の各グループの構成比を表示することが好ましい。 In addition, if an analysis range for the color difference calculation values is set in the classification process, it is preferable to display the composition ratio of each group when the total number of color difference calculation values within that analysis range is set as the standard (100%).
グラフ等の種類は、例として、積み上げ棒グラフ、棒グラフ、円グラフ、累積相対度数のグラフなどが挙げられ、本発明においては特に積み上げ棒グラフを用いることが好ましい。 Examples of types of graphs include stacked bar graphs, bar graphs, pie charts, and cumulative relative frequency graphs, and in the present invention, it is particularly preferable to use stacked bar graphs.
図２は、上述の分類工程において、算出したΔＥ＊ ａｂの値に基づいて色差の算出値を３つのグループに分類した後、各グループの構成比を積み上げ棒グラフで表した表示物の例を示す。 FIG. 2 shows an example of a display in which the calculated color difference values are classified into three groups based on the calculated ΔE * ab values in the above classification process, and the composition ratio of each group is represented by a stacked bar graph.
各グループは、図２に示すように、視認性を向上させるため、それぞれ異なる色で着色されていることが好ましい。例えば、色差の算出値が小さいグループほど、明度が高く白に近い色で、色差の算出値が大きいグループほど、明度が低く黒に近い色で着色することができる。このような着色とすることで、各グループが示す色ムラの度合いについて、直感的に認識することが可能となる。
また、注目すべきグループが際立つように着色する形態であってもよく、例えば、注目グループのみ他のグループと色相の異なる色で着色する形態や、注目グループのみ斜線等のパターンで塗りつぶす形態とすることができる。
As shown in Fig. 2, it is preferable that each group is colored in a different color to improve visibility. For example, a group having a smaller calculated color difference value can be colored in a color with high brightness and close to white, and a group having a larger calculated color difference value can be colored in a color with low brightness and close to black. By coloring in this way, it becomes possible to intuitively recognize the degree of color unevenness indicated by each group.
Furthermore, noteworthy groups may be colored to make them stand out. For example, only the noteworthy groups may be colored in a color that is different from the other groups, or only the noteworthy groups may be filled in with a pattern such as diagonal lines.
また、表示工程では、上述のグラフ等と、評価領域に係る肌画像を並べて表示することが好ましい。図２には、肌画像（図２左）と棒グラフ（図２右）を左右に並べて表示する態様を示す。
色差の算出領域と同一領域の肌画像をグラフ等と並べて表示することで、肌画像から感覚的に認識される肌の色ムラと、色差に基づく客観的な肌の色ムラを比較することができる。
In addition, in the display step, it is preferable to display the above-mentioned graphs and the like and a skin image related to the evaluation region side by side. Fig. 2 shows an embodiment in which a skin image (left side of Fig. 2) and a bar graph (right side of Fig. 2) are displayed side by side.
By displaying a skin image of the same area as the color difference calculation area alongside a graph or the like, it is possible to compare skin color unevenness perceived intuitively from the skin image with objective skin color unevenness based on color difference.
本発明の実施形態として、複数の肌画像から得られる肌の色ムラを一図で表示する形態も好ましく挙げられる。以下に当該形態について詳述する。なお、上述の各工程についての説明は、当該実施形態にも妥当するので、適宜説明を省略する。 An embodiment of the present invention is also preferably one in which skin color unevenness obtained from multiple skin images is displayed in a single image. This embodiment is described in detail below. Note that the explanations of each of the above steps are also applicable to this embodiment, so they will be omitted where appropriate.
本実施形態の色ムラ表示方法は、複数の肌画像からそれぞれ色差を算出し、色差の算出値に基づくグループの構成比をグラフ等で表示し、得られた複数のグラフ等を一図で表示する。 The color unevenness display method of this embodiment calculates color differences from multiple skin images, displays the composition ratio of groups based on the calculated color difference values in a graph or the like, and displays the resulting multiple graphs in a single figure.
上述のように複数の肌画像から色ムラを対比して表示する場合には、上記（３）分類工程において、所定の解析範囲を設定し、該解析範囲に含まれる色差の算出値をグループに分類する形態とすることが好ましい。以下、２つの肌画像を用いて色差の算出値の解析範囲を決定する方法について説明する。 When comparing and displaying color unevenness from multiple skin images as described above, it is preferable to set a predetermined analysis range in the classification step (3) above, and classify the calculated color difference values included in the analysis range into groups. Below, we will explain how to determine the analysis range for the calculated color difference values using two skin images.
第一に、２つの肌画像について、所定の階級ごとに色差の算出値の度数を算出する。この時、階級の幅を０．３とすることが好ましい。 First, for the two skin images, the frequency of the calculated color difference values is calculated for each predetermined class. At this time, it is preferable to set the class width to 0.3.
続いて、各々の肌画像について、算出した度数を用いて階級ごとの累積度数を算出する。さらに、該累積度数について、階級ごとに、２つの肌画像に由来する累積度数の差分を算出する。なお、累積度数の差分は、絶対値とする。 Next, for each skin image, the calculated frequency is used to calculate the cumulative frequency for each class. Furthermore, for the cumulative frequency, the difference between the cumulative frequencies derived from the two skin images is calculated for each class. Note that the difference between the cumulative frequencies is an absolute value.
前記累積度数の差分を用いて、累積度数差分占有比を算出する。累積度数差分占有比は、階級ごとの累積度数の差分の占有比を表し、各階級の累積度数の差分を、全階級の累積度数の差分の合計値で割ることにより算出することができる。また、累積度数差分占有比は、全階級の累積度数の差分の合計値を１とした場合の比率で表すものとする。 The cumulative frequency difference occupancy ratio is calculated using the cumulative frequency difference. The cumulative frequency difference occupancy ratio represents the occupancy ratio of the cumulative frequency difference for each class, and can be calculated by dividing the cumulative frequency difference for each class by the sum of the cumulative frequency differences for all classes. The cumulative frequency difference occupancy ratio is expressed as a ratio when the sum of the cumulative frequency differences for all classes is set to 1.
最後に、累積度数差分占有比を用いて、階級ごとの累積度数差分占有比の累積値を算出する。当該累積度数差分占有比の累積値が０．１～０．９９となる階級に着目し、当該階級の範囲を、分類工程で用いる色差の算出値の解析範囲とすることができる。
このようにして色差の算出値の解析範囲を設定した場合、上記（３）分類工程で用いる色差の算出値は、解析範囲に含まれる値のみを用いて行うことができる。
Finally, the cumulative frequency difference occupancy ratio is used to calculate the cumulative value of the cumulative frequency difference occupancy ratio for each class. Focusing on the classes in which the cumulative value of the cumulative frequency difference occupancy ratio is 0.1 to 0.99, the range of the classes can be set as the analysis range of the calculated color difference values used in the classification process.
When the analysis range of the calculated color difference values is set in this manner, the calculated color difference values used in the classification step (3) above can be calculated using only values included in the analysis range.
また、本発明の色ムラ表示方法において、複数の肌画像は、同一被験者の異なる肌領域から取得されたものであってもよく、同一被験者の同一の肌領域から取得されたものであってもよい。 In addition, in the color unevenness display method of the present invention, the multiple skin images may be obtained from different skin regions of the same subject, or may be obtained from the same skin region of the same subject.
同一の肌領域から取得された肌画像を用いる場合、所定の肌領域からある時点（第１の時点）の肌画像を取得し、その後（すなわち、第２の時点）に同一の肌領域から再び肌画像を取得し、各肌画像から算出した色差の算出値に基づいて生成した各々のグラフ等を一図で表示することができる。 When using skin images acquired from the same skin region, a skin image is acquired from a specific skin region at a certain point in time (a first point in time), and then a skin image is acquired again from the same skin region later (i.e., a second point in time), and each graph, etc., generated based on the calculated color difference values calculated from each skin image can be displayed in a single diagram.
上記実施形態の例として、化粧料使用前の肌の色ムラと、化粧料使用後の肌の色ムラを比較する形態を挙げることができる。例えば、図３は、化粧料の使用前の肌の色ムラを示す棒グラフと、化粧料（美容液）の使用後３ヶ月の肌の色ムラを示す棒グラフを一図で表示する実施形態を示す。 An example of the above embodiment is a form in which uneven skin tone before and after the use of cosmetics is compared. For example, FIG. 3 shows an embodiment in which a bar graph showing uneven skin tone before the use of cosmetics and a bar graph showing uneven skin tone three months after the use of cosmetics (serum) are displayed in a single diagram.
このように化粧料使用前後のグラフ等を並べて表示することで、化粧料の使用による肌の色ムラの変化を表現することができる。 By displaying graphs of before and after cosmetic use side by side in this way, it is possible to show the change in skin tone unevenness caused by the use of cosmetics.
上述の化粧料としては、スキンケアに用いる化粧水、乳液、美容液等の基礎化粧料や、ファンデーション、下地等のメーキャップ化粧料の何れを用いても良いが、本発明は、基礎化粧料の使用前後の肌の色ムラを表示するために用いることが好ましい。すなわち、本発明は、素肌の色ムラを表示するのに好適である。 The above-mentioned cosmetic product may be any basic cosmetic product used for skin care, such as lotion, milky lotion, or serum, or makeup cosmetic product such as foundation or base, but the present invention is preferably used to display uneven skin tone before and after the use of a basic cosmetic product. In other words, the present invention is suitable for displaying uneven skin tone.
ここで、本発明の色ムラ表示方法は、第１の時点及び第２の時点のグラフ等を、１組のみ表示する形態に限られず、２組以上の第１の時点及び第２の時点のグラフ等を表示する形態であってもよい。すなわち、被験者の同一領域の肌画像を２回以上経時的に取得し、時点ごとに作成した複数のグラフ等を一図で表示してもよい。 The color unevenness display method of the present invention is not limited to displaying only one set of graphs, etc., for the first and second time points, but may display two or more sets of graphs, etc., for the first and second time points. In other words, skin images of the same area of the subject may be obtained two or more times over time, and multiple graphs, etc., created for each time point may be displayed in a single figure.
また、化粧料の使用前、使用１週間後、使用２週間後といった複数の時点の肌からそれぞれ色差を算出し、各々の色差の算出値に基づくグラフ等を一図で表示することで、化粧料の使用による肌の色ムラの変化を表現することができる。 In addition, by calculating the color difference from the skin at multiple points in time, such as before using the cosmetic product, one week after use, and two weeks after use, and displaying a graph or the like based on each calculated color difference value in a single diagram, it is possible to express the change in skin color unevenness caused by using the cosmetic product.
このように、同一の肌領域に係る複数時点のグラフ等を一図で表示することで、肌の色ムラの経時的変化を客観的に捉えることが可能となる。当該表示方法は、スキンケア製品、医薬品等を継続的に使用した場合に、肌の色ムラに変化が生じているかを評価する場合等に利用することができる。 In this way, by displaying graphs etc. for the same skin area at multiple points in time in one diagram, it becomes possible to objectively grasp changes in skin tone unevenness over time. This display method can be used, for example, to evaluate whether there is a change in skin tone unevenness when skin care products, medicines, etc. are used continuously.
また、本発明の色ムラ表示方法は、異なる肌領域に係るグラフ等を一図で表示する形態とすることもできる。例えば、所定の肌領域（第１の肌領域）から取得された画像に基づくグラフ等と、第１の肌領域と異なる肌領域（第２の肌領域）から取得された画像に基づくグラフ等を一図で表示することで、肌領域ごとの色ムラを容易に対比することができる。 The color unevenness display method of the present invention can also be configured to display graphs, etc. relating to different skin regions in a single figure. For example, by displaying a graph, etc. based on an image acquired from a specific skin region (first skin region) and a graph, etc. based on an image acquired from a skin region different from the first skin region (second skin region) in a single figure, color unevenness for each skin region can be easily compared.
例えば、右頬及び左頬のそれぞれについてグラフ等を作成し、該グラフ等を一図で表示することで、両頬の色ムラの差異を一目で認識でき、色ムラの比較を容易に行うことができる。 For example, by creating a graph or the like for each of the right and left cheeks and displaying the graphs or the like in a single image, the difference in uneven skin tone between the two cheeks can be recognized at a glance, and uneven skin tone can be easily compared.
＜２＞色ムラの評価方法
本発明の肌の色ムラ評価方法（以下、「色ムラ評価方法」ともいう）は、前述した色ムラ表示方法における算出工程において算出された色差の算出値に基づいて、肌の色ムラを評価する評価工程を備える。なお、画像取得工程、算出工程、及び分類工程は、上記＜１＞に記載の説明を援用する。
以下、本発明の色ムラの評価方法における評価工程について詳述する。
The skin color unevenness evaluation method of the present invention (hereinafter also referred to as the "color unevenness evaluation method") includes an evaluation step of evaluating skin color unevenness based on the color difference calculated in the calculation step in the color unevenness display method described above. Note that the image acquisition step, calculation step, and classification step are the same as those described in the above item <1>.
The evaluation steps in the method for evaluating color unevenness of the present invention will be described in detail below.
評価工程では、上述の方法により得られた色差の算出値の出現頻度に基づいて、被験者の肌の色ムラの評価を行う。
具体的には、予め設定した２以上のグループに色差の算出値を分類し、色差の算出値の総数を基準（１００％）とした各グループの構成比により、評価領域内の肌の色ムラを評価する。
In the evaluation step, the unevenness of skin tone of the subject is evaluated based on the occurrence frequency of the calculated color difference values obtained by the above-mentioned method.
Specifically, the calculated color difference values are classified into two or more predetermined groups, and the skin color unevenness within the evaluation area is evaluated based on the composition ratio of each group with the total number of calculated color difference values as the standard (100%).
色差の算出値のグループ分けは、好ましくは、色差の算出値の大きさに準じて行う。例えば、２つのグループに色差の算出値を分類する場合、色差の算出値が所定の値未満であるものを色ムラの小さいグループ、所定の値以上であるものを色ムラの大きいグループに分類することができる。 The color difference calculation values are preferably grouped according to the magnitude of the calculated color difference value. For example, when classifying the calculated color difference values into two groups, those with a calculated color difference value less than a predetermined value can be classified into a group with small color unevenness, and those with a calculated color difference value equal to or greater than the predetermined value can be classified into a group with large color unevenness.
また、色差の算出値のグループ分けは、上記＜１＞（３）分類工程で記載した方法を用いて行うことが好ましく、例えば、色差ΔＥ＊ ａｂが０．３～５．０の範囲内にグループの境界線を設けることが好ましい。 The grouping of the calculated color difference values is preferably performed using the method described in the above item <1>(3) Classification step. For example, it is preferable to set the boundary line of the groups within the color difference ΔE * ab range of 0.3 to 5.0.
評価領域内の肌の色ムラは、各グループの構成比を比較することにより評価することができる。
例えば、２つのグループに色差の算出値を分類する場合、色差の算出値の小さいグループの構成比が、色差の算出値の大きいグループの構成比よりも大きい場合に、評価領域内の色ムラは小さいと評価する態様が挙げられる。
３つ以上のグループに色差の算出値を分類する場合、色差の算出値が最も大きいグループの構成比が所定の比率よりも小さく、かつ、色差の算出値の値が最も小さいグループの構成比が所定の比率よりも大きい場合に、評価領域内の色ムラは小さいと評価する態様や、予め評価対象と定めたグループの構成比率に基づいて、評価領域の色ムラを評価する態様が挙げられる。
Skin color unevenness within the evaluation area can be evaluated by comparing the composition ratio of each group.
For example, when classifying the calculated color difference values into two groups, if the composition ratio of the group with a small calculated color difference value is greater than the composition ratio of the group with a large calculated color difference value, the color unevenness within the evaluation area can be evaluated as small.
When classifying the calculated color difference values into three or more groups, there are embodiments in which the color unevenness in the evaluation area is evaluated to be small if the composition ratio of the group with the largest calculated color difference value is smaller than a predetermined ratio and the composition ratio of the group with the smallest calculated color difference value is greater than a predetermined ratio, and there are also embodiments in which the color unevenness of the evaluation area is evaluated based on the composition ratio of groups previously determined to be evaluated.
また、本発明の色ムラ評価方法は、複数の肌画像を用いることで、肌の色ムラを評価する形態であってもよい。複数の肌画像は、異なる肌領域から取得されたものであってもよく、同一の肌領域から取得されたものであってもよい。 The color unevenness evaluation method of the present invention may be in a form in which multiple skin images are used to evaluate skin color unevenness. The multiple skin images may be obtained from different skin regions, or may be obtained from the same skin region.
以下、複数の肌画像を用いて色ムラの評価を行う実施形態について詳述する。 Below, we will explain in detail an embodiment in which multiple skin images are used to evaluate color unevenness.
同一の肌領域から複数の肌画像を取得する場合、例えば、ある時点（第１の時点）の肌画像から色差（第１の色差）を算出し、その後（第２の時点）、同一の肌領域を撮像した肌画像から色差（第２の色差）を算出する。各色差を用いて、時点ごとに色差の算出値を複数のグループに分類し、当該グループの構成比に基づいて評価領域内の肌の色ムラを評価することができる。 When multiple skin images are obtained from the same skin region, for example, a color difference (first color difference) is calculated from a skin image at a certain point in time (first point in time), and then (second point in time) a color difference (second color difference) is calculated from a skin image captured of the same skin region. Using each color difference, the calculated color difference values for each point in time can be classified into multiple groups, and the skin color unevenness in the evaluation region can be evaluated based on the composition ratio of the groups.
具体的には、２つのグループに色差の算出値を分類する場合、色差の算出値の大きいグループに係る構成比が、第１の時点と比して第２の時点で小さい場合に、当該評価領域は肌の色ムラが改善されたと評価することができる。 Specifically, when classifying the calculated color difference values into two groups, if the composition ratio of the group with the larger calculated color difference value is smaller at the second time point compared to the first time point, the evaluation area can be evaluated as having improved skin tone unevenness.
ここで、本発明の色ムラ評価方法は、第１の色差に基づくグループの構成比と、第２の色差に基づくグループの構成比を１組のみ比較する形態に限られず、２組以上のグループの構成比を比較する形態であってもよい。すなわち、被験者の肌画像を２回以上経時的に取得し、肌画像から取得される複数の色差の算出値からそれぞれグループの構成比を求め、肌の経時的な色ムラの変化を評価してもよい。 The color unevenness evaluation method of the present invention is not limited to a form in which the composition ratio of a group based on the first color difference and the composition ratio of a group based on the second color difference are compared in only one set, but may be a form in which the composition ratios of two or more sets of groups are compared. In other words, skin images of a subject may be obtained two or more times over time, and the composition ratios of each group may be calculated from the calculated values of multiple color differences obtained from the skin images, and changes in skin color unevenness over time may be evaluated.
本発明の色ムラ評価方法の一実施形態においては、第１の色差は化粧料の使用前の肌から取得した肌画像を用いて算出されたものであり、第２の色差は化粧料の使用後の肌から取得した肌画像を用いて算出されたものである。 In one embodiment of the color unevenness evaluation method of the present invention, the first color difference is calculated using a skin image obtained from the skin before the use of the cosmetic product, and the second color difference is calculated using a skin image obtained from the skin after the use of the cosmetic product.
また、本発明の色ムラ評価方法は、異なる肌領域に係る色ムラを比較することで評価する形態とすることもできる。例えば、所定の肌領域（第１の肌領域）から取得された画像に基づいて算出された第１の色差と、第１の肌領域と異なる肌領域（第２の肌領域）から取得された画像に基づいて算出された第２の色差から、両領域の色ムラを比較することができる。 The color unevenness evaluation method of the present invention can also be configured to evaluate by comparing color unevenness in different skin regions. For example, the color unevenness of both regions can be compared based on a first color difference calculated based on an image acquired from a specific skin region (first skin region) and a second color difference calculated based on an image acquired from a skin region (second skin region) different from the first skin region.
具体的には、異なる肌領域から取得した肌画像について、それぞれ色差を算出し、得られた色差の算出値を予め定めた複数のグループに分類する。色差を２つのグループに分類した場合、色差の算出値の小さいグループに着目し、当該グループの構成比が大きい肌領域の方が、肌の色ムラが小さいと評価することができる。 Specifically, the color difference is calculated for each skin image obtained from different skin regions, and the calculated color difference values are classified into a number of predetermined groups. When the color difference is classified into two groups, the group with the smaller calculated color difference value is focused on, and the skin region with a larger proportion of that group can be evaluated as having less uneven skin tone.
＜３＞色ムラ表示装置
以下、色ムラ表示装置について、図４を参照しながら説明を加える。なお、本発明の色ムラの表示装置は、上記＜１＞の項目で説明した色ムラの表示方法を実施するための装置である。したがって、上記＜１＞に係る説明は、以下の装置に関しても妥当する。
<3> Display device with color unevenness The display device with color unevenness will now be described with reference to Fig. 4. The display device with color unevenness of the present invention is a device for implementing the method for displaying color unevenness described in the above item <1>. Therefore, the description related to the above item <1> also applies to the following device.
図４に示すように、本発明の色ムラ表示装置は、被験者の肌画像を取得する画像取得手段１１と、肌画像から画素ごとに隣接画素との色差を算出する算出手段１２と、色差の算出に必要な各種の式等を記憶する記憶部１３と、色差の算出値の出現頻度をグラフ又はチャートで表示する表示手段１４と、を備える。 As shown in FIG. 4, the color unevenness display device of the present invention includes an image acquisition means 11 for acquiring a skin image of a subject, a calculation means 12 for calculating the color difference between adjacent pixels for each pixel from the skin image, a memory unit 13 for storing various formulas etc. required for calculating the color difference, and a display means 14 for displaying the occurrence frequency of the calculated color difference values in a graph or chart.
画像取得手段１１は、肌の表面を撮像するものであり、肌の表面画像を入力し、色の要素を数値化した信号に変換するものである。信号としては、肌状態を表すことができるものであれば特に限定されないが、例えばＲＧＢ信号、マンセル信号、Ｌ＊ａ＊ｂ＊信号（ＪＩＳ Ｚ８７２９）、ＸＹＺ信号、明度、色相及び彩度を表す信号等が挙げられる。なお、画像取得手段１１として、一般的なビデオカメラ又はデジタルカメラを用いることができる。 The image acquisition means 11 is for capturing an image of the skin surface, inputting the skin surface image and converting it into a signal that quantifies color elements. The signal is not particularly limited as long as it can represent the skin condition, and examples of the signal include RGB signals, Munsell signals, L * a * b * signals (JIS Z8729), XYZ signals, and signals representing lightness, hue, and saturation. Note that a general video camera or digital camera can be used as the image acquisition means 11.
算出手段１２は、画像取得手段１１で得られた肌画像から、画素ごとの色成分値を用いて隣接画素との色差を算出する。色差の算出方法は、上述の＜１＞（２）の記載を援用する。 The calculation means 12 calculates the color difference between adjacent pixels from the skin image obtained by the image acquisition means 11 using the color component values for each pixel. The method of calculating the color difference is as described in <1>(2) above.
記憶部１３は、本発明の色ムラ表示装置が機能する上で必要なプログラム、並びに、色差の算出等に必要な各種式を記憶する。 The memory unit 13 stores the programs necessary for the color unevenness display device of the present invention to function, as well as various formulas necessary for calculating color difference, etc.
表示手段１４は、算出手段１２で得られた色差の算出値の出現頻度をグラフ又はチャート化する。この時、複数の肌画像に基づくグラフ等は、一図で表示させることが好ましい。 The display means 14 displays the frequency of occurrence of the calculated color difference values obtained by the calculation means 12 in a graph or chart. At this time, it is preferable to display a graph or the like based on multiple skin images in a single figure.
また、表示手段１４は、グラフ等の生成前に、算出手段１２で得られた色差の算出値を複数のグループに分類する分類工程を含んでいても良い。本発明の色ムラ表示装置においては、分類工程において得られたグループの構成比を、グラフ又はチャート化する形態が好ましい。 The display means 14 may also include a classification step of classifying the calculated color difference values obtained by the calculation means 12 into a plurality of groups before generating a graph or the like. In the color unevenness display device of the present invention, it is preferable that the composition ratios of the groups obtained in the classification step are displayed as a graph or chart.
また、表示手段１４は、前記グラフ又はチャートを、液晶ディスプレイ等の任意の表示装置に表示するよう指示もおこなう。 The display means 14 also issues an instruction to display the graph or chart on any display device, such as a liquid crystal display.
なお、本発明においては、上記の構成を必ずしも備える必要はなく、例えば、被験者の肌画像から画素ごとに隣接画素との色差を算出する算出手段１２と、色差の算出値の出現頻度をグラフ又はチャートで表示する表示手段１４と、を備える色ムラ表示装置の形態であってもよい。 In addition, the present invention does not necessarily have to have the above configuration, and may be in the form of a color unevenness display device that includes, for example, a calculation means 12 that calculates the color difference between adjacent pixels for each pixel from the skin image of the subject, and a display means 14 that displays the occurrence frequency of the calculated color difference values in a graph or chart.
＜４＞色ムラ表示プログラム
本発明の色ムラ表示プログラムは、コンピュータ、その他の装置、機械等を、被験者の肌画像を取得する画像取得手段１１と、肌画像から画素ごとに隣接画素との色差を算出する算出手段１２と、色差の算出に必要な各種の式等を記憶する記憶部１３と、色差の算出値の出現頻度をグラフ又はチャートで表示する表示手段１４と、として機能させる（図４参照）。
<4> Color unevenness display program The color unevenness display program of the present invention causes a computer or other device, machine, etc. to function as an image acquisition means 11 that acquires a skin image of a subject, a calculation means 12 that calculates the color difference between each pixel and adjacent pixels from the skin image, a memory unit 13 that stores various formulas etc. required for calculating the color difference, and a display means 14 that displays the frequency of occurrence of the calculated color difference values in a graph or chart (see Figure 4).
なお、本発明においては、上記の構成全てを機能させるプログラムである必要はなく、例えば、コンピュータ、その他の装置、機械等を、被験者の肌画像から画素ごとに隣接画素との色差を算出する算出手段１２と、色差の算出値の出現頻度をグラフ又はチャートで表示する表示手段１４と、として機能させる、色ムラ表示プログラムの形態であってもよい。 In addition, in the present invention, the program does not need to cause all of the above components to function. For example, the program may be in the form of a color unevenness display program that causes a computer or other device or machine to function as a calculation means 12 that calculates the color difference between adjacent pixels for each pixel from a skin image of a subject, and a display means 14 that displays the occurrence frequency of the calculated color difference values in a graph or chart.
本発明の色ムラ表示プログラムは、上記＜１＞及び＜３＞の項目で説明した色ムラの表示方法、及び色ムラの表示装置に係るプログラムである。したがって、上記＜１＞及び＜３＞に係る説明は、本発明の色ムラ表示プログラムに関しても妥当する。 The color unevenness display program of the present invention is a program related to the color unevenness display method and color unevenness display device described in items <1> and <3> above. Therefore, the explanations related to <1> and <3> above also apply to the color unevenness display program of the present invention.
本発明は、化粧、医薬の分野における肌状態の診断方法や、化粧効果の評価方法、これらの方法に用いる装置等に応用することができる。 The present invention can be applied to methods for diagnosing skin conditions in the fields of cosmetics and medicine, methods for evaluating the effectiveness of cosmetics, and devices used in these methods.
１ 肌の色ムラ表示装置
１１ 画像取得手段
１２ 算出手段
１３ 記憶部
１４ 表示手段
REFERENCE SIGNS LIST 1 Skin color unevenness display device 11 Image acquisition means 12 Calculation means 13 Storage unit 14 Display means
Claims (7)
被験者の肌画像について、画素ごとに隣接画素との色差を算出する算出工程と、
前記算出工程で算出された前記色差を、その算出値に基づいて２以上のグループに分類する分類工程と、
前記色差の算出値の出現頻度をグラフ又はチャートで表示する表示工程を実行することを含み、
前記色差は、下記に示すΔＥ ＊ ａｂ の値であり、
前記算出工程は、基礎化粧料、スキンケア製品及び／又は医薬品の使用前である第１の時点における肌画像から第１の色差を算出する工程と、前記第１の色差の算出を行った肌領域と同一の肌領域について、前記第１の時点より後の、基礎化粧料、スキンケア製品及び／又は医薬品の使用後である第２の時点における肌画像から第２の色差を算出する工程を含み、
前記分類工程では、前記色差が０．３～５．０の範囲内にグループの境界線を設け、前記色差の算出値を２以上のグループに分類し、
前記表示工程では、
前記色差の算出値の出現頻度として、前記分類工程で分類された前記グループの構成比を表示し、
前記第１の色差の算出値から得られる第１のグラフ又はチャート及び前記第２の色差の算出値から得られる第２のグラフ又はチャートと並べて、前記第１の時点における肌画像及び前記第２の時点における肌画像を表示し、かつ
前記第１のグラフ又はチャートと、前記第２のグラフ又はチャートを一図で表示し、
前記分類工程において、前記算出工程で算出した前記色差の算出値の解析範囲を設定する工程を含み、
前記の解析範囲を設定する工程は、
前記第１の色差の算出値と前記第２の色差の算出値について、所定の階級ごとに前記色差の算出値の度数を算出することと、
前記第１の色差の算出値の度数と、前記第２の色差の算出値の度数について、算出した度数を用いて前記階級ごとの累積度数を算出することと、
前記階級ごとに、前記第１の色差の算出値に基づく累積度数と、前記第２の色差の算出値に基づく累積度数の差分の絶対値を算出することと、
各階級の前記の累積度数の差分の絶対値を、全階級の累積度数の差分の合計値で割ることにより、前記階級ごとの累積度数差分占有比を算出することと、
前記累積度数差分占有比を用いて、前記階級ごとの累積度数差分占有比の累積値を算出し、当該累積度数差分占有比の累積値が０．１～０．９９となる階級の範囲を、前記色差の算出値の解析範囲とすることと、
を含み、
前記分類工程では、前記解析範囲に含まれる前記色差の算出値を用いて分類を行う、肌の色ムラ表示方法。
A calculation step of calculating a color difference between each pixel and an adjacent pixel in the skin image of the subject;
a classification step of classifying the color differences calculated in the calculation step into two or more groups based on the calculated values;
a display step of displaying the occurrence frequency of the calculated color difference values in a graph or chart;
The color difference is the value of ΔE * ab shown below ,
The calculation step includes a step of calculating a first color difference from a skin image at a first time point, which is before use of a basic cosmetic product, a skin care product, and/or a pharmaceutical product, and a step of calculating a second color difference from a skin image at a second time point after the first time point, which is after use of a basic cosmetic product, a skin care product, and/or a pharmaceutical product, for the same skin area as the skin area for which the first color difference was calculated;
In the classifying step, a boundary line of the group is set within a range of the color difference of 0.3 to 5.0, and the calculated values of the color difference are classified into two or more groups;
In the display step,
displaying a composition ratio of the group classified in the classification step as an appearance frequency of the calculated color difference value;
displaying the skin image at the first time point and the skin image at the second time point alongside a first graph or chart derived from the first color difference calculation and a second graph or chart derived from the second color difference calculation; and
Displaying the first graph or chart and the second graph or chart in one diagram;
The classification step includes a step of setting an analysis range of the color difference calculated in the calculation step,
The step of setting the analysis range includes:
calculating a frequency of the calculated value of the first color difference and the calculated value of the second color difference for each predetermined class;
calculating a cumulative frequency for each class using the frequencies of the calculated values of the first color difference and the frequencies of the calculated values of the second color difference;
calculating, for each class, an absolute value of a difference between a cumulative frequency based on the calculated value of the first color difference and a cumulative frequency based on the calculated value of the second color difference;
Calculating a cumulative frequency difference occupancy ratio for each class by dividing the absolute value of the cumulative frequency difference for each class by the total value of the cumulative frequency differences for all classes;
calculating a cumulative value of the cumulative frequency difference occupancy ratio for each of the classes using the cumulative frequency difference occupancy ratio, and determining a range of classes in which the cumulative value of the cumulative frequency difference occupancy ratio is 0.1 to 0.99 as an analysis range of the calculated value of the color difference;
Including,
In the classifying step, classification is performed using the calculated color difference values included in the analysis range .
前記表示工程において、各グループをそれぞれ異なる色で着色し、
前記色差の算出値が小さいグループほど、明度が高く白に近い色で着色し、
前記色差の算出値が大きいグループほど、前記明度が低く黒に近い色で着色する、請求項１に記載の肌の色ムラ表示方法。 the graph or chart is a stacked bar graph;
In the display step, each group is colored with a different color;
The smaller the calculated color difference value of the group, the brighter and closer to white the group is colored.
2. The method for displaying skin color unevenness according to claim 1 , wherein a group having a larger calculated color difference value is colored with a color having a lower lightness and closer to black.
前記グループの色差の境界を、０．３～０．９及び１．０～２．５の範囲の計２か所に設定する、請求項１又は２に記載の肌の色ムラ表示方法。 In the classifying step, the calculated color difference values are classified into three groups;
3. The method for displaying skin color unevenness according to claim 1 , wherein the boundaries of the color differences of the groups are set at two positions, one in the range of 0.3 to 0.9 and the other in the range of 1.0 to 2.5.
前記肌画像の解像度は、５００万画素以上である、請求項１～３の何れか一項に記載の肌の色ムラ表示方法。 an evaluation area of the skin image for calculating the color difference is a square and is equal to or larger than 1×1 cm;
4. The method for displaying skin color unevenness according to claim 1 , wherein the resolution of the skin image is 5 million pixels or more.
前記色差の算出は、前記評価領域内の画素すべてを前記注目画素として行う、請求項４に記載の肌の色ムラ表示方法。 In the calculation step, a pixel of the skin image for which the color difference is to be calculated is designated as a pixel of interest, and pixels surrounding the pixel of interest are designated as adjacent pixels. The color difference of the pixel of interest is calculated using four of the adjacent pixels, and at least one of an average value, a median value, and a most frequent value of the calculated color differences is calculated to calculate the color difference of the pixel of interest.
5. The method for displaying skin color unevenness according to claim 4 , wherein the color difference is calculated using all pixels in the evaluation area as the target pixel.
前記算出手段で算出された前記色差を、その算出値に基づいて２以上のグループに分類する分類手段と、
前記色差の算出値の出現頻度をグラフ又はチャートで表示する表示手段と、
を備え、
前記色差は、下記に示すΔＥ ＊ ａｂ の値であり、
前記算出手段は、基礎化粧料、スキンケア製品及び／又は医薬品の使用前である第１の時点における肌画像から第１の色差を算出する手段と、前記第１の色差の算出を行った肌領域と同一の肌領域について、前記第１の時点より後の、基礎化粧料、スキンケア製品及び／又は医薬品の使用後である第２の時点における肌画像から第２の色差を算出する手段を含み、
前記分類手段は、前記色差が０．３～５．０の範囲内にグループの境界線を設け、前記色差の算出値を２以上のグループに分類し、
前記表示手段は、
前記色差の算出値の出現頻度として、前記分類手段で分類された前記グループの構成比を表示し、
前記第１の色差の算出値から得られる第１のグラフ又はチャート及び前記第２の色差の算出値から得られる第２のグラフ又はチャートと並べて、前記第１の時点における肌画像及び前記第２の時点における肌画像を表示し、かつ
前記第１のグラフ又はチャートと、前記第２のグラフ又はチャートを一図で表示し、
前記分類手段は、前記算出手段で算出した前記色差の算出値の解析範囲を設定する手段を含み、
前記の解析範囲を設定する手段は、
前記第１の色差の算出値と前記第２の色差の算出値について、所定の階級ごとに前記色差の算出値の度数を算出する手段と、
前記第１の色差の算出値の度数と、前記第２の色差の算出値の度数について、算出した度数を用いて前記階級ごとの累積度数を算出する手段と、
前記階級ごとに、前記第１の色差の算出値に基づく累積度数と、前記第２の色差の算出値に基づく累積度数の差分の絶対値を算出する手段と、
各階級の前記の累積度数の差分の絶対値を、全階級の累積度数の差分の合計値で割ることにより、前記階級ごとの累積度数差分占有比を算出する手段と、
前記累積度数差分占有比を用いて、前記階級ごとの累積度数差分占有比の累積値を算出し、当該累積度数差分占有比の累積値が０．１～０．９９となる階級の範囲を、前記色差の算出値の解析範囲とする手段と、
を含み、
前記分類手段は、前記解析範囲に含まれる前記色差の算出値を用いて分類を行う、肌の色ムラ表示装置。
a classification means for classifying the color differences calculated by the calculation means into two or more groups based on the calculated values;
a display means for displaying the occurrence frequency of the calculated color difference values in a graph or chart;
Equipped with
The color difference is the value of ΔE * ab shown below ,
The calculation means includes means for calculating a first color difference from a skin image at a first time point, which is before use of a basic cosmetic product, a skin care product, and/or a medicine, and means for calculating a second color difference from a skin image at a second time point after the first time point, which is after use of a basic cosmetic product, a skin care product, and/or a medicine, for the same skin area as the skin area for which the first color difference was calculated;
the classification means sets a boundary line between groups within a range of the color difference of 0.3 to 5.0 and classifies the calculated color difference values into two or more groups;
The display means is
displaying a composition ratio of the group classified by the classification means as an appearance frequency of the calculated color difference value;
displaying the skin image at the first time point and the skin image at the second time point alongside a first graph or chart derived from the first color difference calculation and a second graph or chart derived from the second color difference calculation; and
Displaying the first graph or chart and the second graph or chart in one diagram;
the classification means includes means for setting an analysis range of the color difference calculated by the calculation means,
The means for setting the analysis range is
a means for calculating a frequency of the calculated value of the first color difference and the calculated value of the second color difference for each predetermined class;
a means for calculating a cumulative frequency for each class using the calculated frequencies of the first color difference calculation value and the second color difference calculation value;
means for calculating, for each class, an absolute value of a difference between a cumulative frequency based on the calculated value of the first color difference and a cumulative frequency based on the calculated value of the second color difference;
a means for calculating a cumulative frequency difference occupancy ratio for each class by dividing the absolute value of the cumulative frequency difference for each class by the total value of the cumulative frequency differences for all classes;
a means for calculating a cumulative value of the cumulative frequency difference occupancy ratio for each of the classes by using the cumulative frequency difference occupancy ratio, and determining a range of classes in which the cumulative value of the cumulative frequency difference occupancy ratio is 0.1 to 0.99 as an analysis range of the calculated value of the color difference;
Including,
The classification means performs classification using the calculated value of the color difference included in the analysis range .
被験者の肌画像について、画素ごとに隣接画素との色差を算出する算出手段と、
前記算出手段で算出された前記色差を、その算出値に基づいて２以上のグループに分類する分類手段と、
前記色差の算出値の出現頻度をグラフ又はチャートで表示する表示手段と、
として機能させるための、肌の色ムラ表示プログラムであって、
前記算出手段は、基礎化粧料、スキンケア製品及び／又は医薬品の使用前である第１の時点における肌画像から第１の色差を算出する手段と、前記第１の色差の算出を行った肌領域と同一の肌領域について、前記第１の時点より後の、基礎化粧料、スキンケア製品及び／又は医薬品の使用後である第２の時点における肌画像から第２の色差を算出する手段を含み、
前記色差は、下記に示すΔＥ ＊ ａｂ の値であり、
前記分類手段は、前記色差が０．３～５．０の範囲内にグループの境界線を設け、前記色差の算出値を２以上のグループに分類し、
前記表示手段は、
前記色差の算出値の出現頻度として、前記分類手段で分類された前記グループの構成比を表示し、
前記第１の色差の算出値から得られる第１のグラフ又はチャート及び前記第２の色差の算出値から得られる第２のグラフ又はチャートと並べて、前記第１の時点における肌画像及び前記第２の時点における肌画像を表示し、かつ
前記第１のグラフ又はチャートと、前記第２のグラフ又はチャートを一図で表示し、
前記分類手段は、前記算出手段で算出した前記色差の算出値の解析範囲を設定する手段を含み、
前記の解析範囲を設定する手段は、
前記第１の色差の算出値と前記第２の色差の算出値について、所定の階級ごとに前記色差の算出値の度数を算出する手段と、
前記第１の色差の算出値の度数と、前記第２の色差の算出値の度数について、算出した度数を用いて前記階級ごとの累積度数を算出する手段と、
前記階級ごとに、前記第１の色差の算出値に基づく累積度数と、前記第２の色差の算出値に基づく累積度数の差分の絶対値を算出する手段と、
各階級の前記の累積度数の差分の絶対値を、全階級の累積度数の差分の合計値で割ることにより、前記階級ごとの累積度数差分占有比を算出する手段と、
前記累積度数差分占有比を用いて、前記階級ごとの累積度数差分占有比の累積値を算出し、当該累積度数差分占有比の累積値が０．１～０．９９となる階級の範囲を、前記色差の算出値の解析範囲とする手段と、
を含み、
前記分類手段は、前記解析範囲に含まれる前記色差の算出値を用いて分類を行う、肌の色ムラ表示プログラム。
A calculation means for calculating a color difference between each pixel and an adjacent pixel in a skin image of a subject;
a classification means for classifying the color differences calculated by the calculation means into two or more groups based on the calculated values;
a display means for displaying the occurrence frequency of the calculated color difference values in a graph or chart;
A skin color unevenness display program for causing the program to function as a
The calculation means includes means for calculating a first color difference from a skin image at a first time point, which is before use of a basic cosmetic product, a skin care product, and/or a medicine, and means for calculating a second color difference from a skin image at a second time point after the first time point, which is after use of a basic cosmetic product, a skin care product, and/or a medicine, for the same skin area as the skin area for which the first color difference was calculated;
The color difference is the value of ΔE * ab shown below ,
the classification means sets a boundary line between groups within a range of the color difference of 0.3 to 5.0 and classifies the calculated color difference values into two or more groups;
The display means is
displaying a composition ratio of the group classified by the classification means as an appearance frequency of the calculated color difference value;
displaying the skin image at the first time point and the skin image at the second time point alongside a first graph or chart derived from the first color difference calculation and a second graph or chart derived from the second color difference calculation; and
Displaying the first graph or chart and the second graph or chart in one diagram;
the classification means includes means for setting an analysis range of the color difference calculated by the calculation means,
The means for setting the analysis range is
a means for calculating a frequency of the calculated value of the first color difference and the calculated value of the second color difference for each predetermined class;
a means for calculating a cumulative frequency for each class using the calculated frequencies of the first color difference calculation value and the second color difference calculation value;
means for calculating, for each class, an absolute value of a difference between a cumulative frequency based on the calculated value of the first color difference and a cumulative frequency based on the calculated value of the second color difference;
a means for calculating a cumulative frequency difference occupancy ratio for each class by dividing the absolute value of the cumulative frequency difference for each class by the total value of the cumulative frequency differences for all classes;
a means for calculating a cumulative value of the cumulative frequency difference occupancy ratio for each of the classes by using the cumulative frequency difference occupancy ratio, and determining a range of classes in which the cumulative value of the cumulative frequency difference occupancy ratio is 0.1 to 0.99 as an analysis range of the calculated value of the color difference;
Including,
The classification means performs classification using the calculated color difference value included in the analysis range .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021062020A JP7683161B2 (en) | 2021-03-31 | 2021-03-31 | Skin color unevenness display method, skin color unevenness evaluation method, skin color unevenness display device, and skin color unevenness display program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021062020A JP7683161B2 (en) | 2021-03-31 | 2021-03-31 | Skin color unevenness display method, skin color unevenness evaluation method, skin color unevenness display device, and skin color unevenness display program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022157667A JP2022157667A (en) | 2022-10-14 |
| JP7683161B2 true JP7683161B2 (en) | 2025-05-27 |
Family
ID=83559601
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021062020A Active JP7683161B2 (en) | 2021-03-31 | 2021-03-31 | Skin color unevenness display method, skin color unevenness evaluation method, skin color unevenness display device, and skin color unevenness display program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7683161B2 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003242506A (en) | 2002-02-15 | 2003-08-29 | Kose Corp | Evaluation method of skin state |
| JP2010119431A (en) | 2008-11-17 | 2010-06-03 | Shiseido Co Ltd | Method, apparatus and program for evaluating wrinkles, and recording medium having the program recorded thereon |
| JP2013078520A (en) | 2011-10-05 | 2013-05-02 | Kao Corp | Skin image analysis apparatus and skin image analysis method |
| JP2014213065A (en) | 2013-04-26 | 2014-11-17 | 株式会社 資生堂 | Skin dullness evaluation device, skin dullness evaluation method, and skin dullness evaluation program |
| JP2016112024A (en) | 2013-08-08 | 2016-06-23 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Method for controlling information processing device and image processing method |
| JP2017113140A (en) | 2015-12-22 | 2017-06-29 | 花王株式会社 | Skin condition evaluation method |
-
2021
- 2021-03-31 JP JP2021062020A patent/JP7683161B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003242506A (en) | 2002-02-15 | 2003-08-29 | Kose Corp | Evaluation method of skin state |
| JP2010119431A (en) | 2008-11-17 | 2010-06-03 | Shiseido Co Ltd | Method, apparatus and program for evaluating wrinkles, and recording medium having the program recorded thereon |
| JP2013078520A (en) | 2011-10-05 | 2013-05-02 | Kao Corp | Skin image analysis apparatus and skin image analysis method |
| JP2014213065A (en) | 2013-04-26 | 2014-11-17 | 株式会社 資生堂 | Skin dullness evaluation device, skin dullness evaluation method, and skin dullness evaluation program |
| JP2016112024A (en) | 2013-08-08 | 2016-06-23 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Method for controlling information processing device and image processing method |
| JP2017113140A (en) | 2015-12-22 | 2017-06-29 | 花王株式会社 | Skin condition evaluation method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022157667A (en) | 2022-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5290585B2 (en) | Skin color evaluation method, skin color evaluation device, skin color evaluation program, and recording medium on which the program is recorded | |
| EP3201826B1 (en) | Method and data-processing device for computer-assisted hair colouring guidance | |
| CN105263399B (en) | Transparent sensation evaluating device, transparent appraisal method | |
| US11576478B2 (en) | Method for simulating the rendering of a make-up product on a body area | |
| JP6222939B2 (en) | Unevenness correction apparatus and control method thereof | |
| JP6473401B2 (en) | Skin gloss evaluation apparatus, gloss evaluation method, and gloss evaluation program | |
| JP2018034064A (en) | Skin state discrimination method based on color information obtained by colorimetric device | |
| CN104798101A (en) | Makeup assisting device, makeup assisting method, and makeup assisting program | |
| JP7234086B2 (en) | Biometric information acquisition device and program | |
| WO2017209024A1 (en) | Method and device for evaluating tear state | |
| US20060181543A1 (en) | Image display apparatus and image display method | |
| WO2018203514A1 (en) | Image analysis evaluation method, computer program, and image analysis evaluation device | |
| KR102289628B1 (en) | Personal color system | |
| JP7683161B2 (en) | Skin color unevenness display method, skin color unevenness evaluation method, skin color unevenness display device, and skin color unevenness display program | |
| JP5827249B2 (en) | Skin hue measuring system and method | |
| Khanam et al. | Human skin color detection technique using different color models | |
| JPH1063859A (en) | Method for evaluating picture quality and device therefor | |
| JP7581575B2 (en) | Skin color unevenness display method, display object, skin color unevenness display device, and skin color unevenness display program | |
| JP7520679B2 (en) | Method for estimating lively face degree, device for estimating lively face degree, and program for estimating lively face degree | |
| Isaieva et al. | Segmentation of ultraviolet-dermatoscopic images | |
| Gu et al. | Kernel based color estimation for night vision imagery | |
| JP4001549B2 (en) | Evaluation method of skin condition | |
| JP4088081B2 (en) | Evaluation method of skin condition | |
| KR102370800B1 (en) | Method for generating index of skin whitening | |
| JP7329964B2 (en) | Image processing device, image processing method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240219 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20241122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20241203 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20250218 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250328 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250415 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250423 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7683161 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |