JP7611389B2 - カラークラウドの生成 - Google Patents

Description

関連出願の相互参照
本願は、2020年11月30日に出願された米国出願第17/107,168号、および2021年2月25日に出願された仏国出願第FR2101816号の利益を主張するものであり、その各々の内容全体が参照により本明細書に組み込まれる。

毛髪見本の色を読み取るために分光光度計が使用されるが、それは、単一のRGB、L*a*b*、LCh、またはHSVトリプレットの形の材料の単一デジタル表現しかもたらさず、通常、1cm×1cm未満の領域を読み取るにすぎない。さらに、2つの材料を比較するとき、分析は、3空間間の色空間内のユークリッド距離

に限定され、検出用のこの閾値は、人為的な毛髪色に関してまだ決定されていない。さらに、単一色(たとえばRGBまたはL*a*b*)は測定領域の平均色であり、平均色は具体的ではなく、数学的な概念である。理論上、たとえば、ある人は毛髪領域の平均色を選ぶ可能性があり、その色がその毛髪領域内に存在すらしない可能性がある。

一態様では、本開示は、とりわけ、1つまたは複数のデジタル画像、映像、光学センサ情報等から物体、材料等の3次元仮想表現、カラークラウド等を生成するためのシステム、デバイス、および方法に関する。

本開示は物体のカラークラウドを生成することについて説明し、カラークラウドは、複数のフレームのうちの1つまたは複数に存在するあらゆる色を含み、カラークラウドを使用して、毛髪の特性を識別する。

一実施形態では、カラークラウドは、複数のフレームのうちの1つまたは複数に存在するあらゆる色の頻度を含む。

一実施形態が、第1のカラークラウドを第2のカラークラウドと比較するステップと、比較から第1のカラークラウドと第2のカラークラウドとの間の類似点および相違点を視覚化するステップとをさらに含む。

一実施形態が、色空間内にカラークラウドを表示するステップをさらに含む。

一実施形態では、毛髪の特性は光沢レベルを識別することを含む。

また、画像センサに動作可能に連結されておりかつ物体の複数のデジタル画像に関連する色情報の3次元仮想表現を生成するように構成されている計算回路を含むカラークラウドユニットと、物体の1つまたは複数の重要な特性を識別し、かつ物体の色情報の3次元仮想表現に関連する1つまたは複数の入力に基づいて、物体の重要な特性の固有性を示すグラフィカルユーザインターフェースディスプレイ上に1つまたは複数の仮想インスタンスを生成する計算回路を含む、重要特性ユニットとを含む、システムが開示されている。

一態様では、物体の複数のデジタル画像に関連する色情報の3次元仮想表現を生成するように構成されている計算回路を含むカラークラウドユニットは、物体に関連する色出現頻度(color frequency of occurrence)、色変動、または色強度分布を示す領域を含む色情報の3次元仮想表現を生成するように構成されている計算回路を含む。

一態様では、物体の複数のデジタル画像は毛髪の複数のデジタル画像を含み、物体の複数のデジタル画像に関連する色情報の3次元仮想表現を生成するように構成されている計算回路を含むカラークラウドユニットは、毛髪の複数のデジタル画像に関連する毛髪色情報の3次元仮想表現を生成するように構成されている計算回路を含む。

一態様では、物体の複数のデジタル画像は毛髪の複数のデジタル画像を含み、物体の複数のデジタル画像に関連する色情報の3次元仮想表現を生成するように構成されている計算回路を含むカラークラウドユニットは、毛髪色情報の3次元仮想表現と毛髪の複数のデジタル画像に関連する毛髪特性の3次元仮想表現とを生成するように構成されている計算回路を含む。

一態様では、物体の複数のデジタル画像に関連する色情報の3次元仮想表現を生成するように構成されている計算回路を含むカラークラウドユニットは、結像された物体に関連する特定の特性の色出現頻度を示す変動強度を有するボクセルを含む色情報の3次元仮想表現を生成するように構成されている計算回路を含む。

別の態様では、物体の複数のデジタル画像は毛髪の複数のデジタル画像を含み、結像された物体に関連する特定の特性の色出現頻度を示す変動強度を有するボクセルを含む色情報の3次元仮想表現を生成するように構成されている計算回路は、毛髪の複数のデジタル画像に関連する白髪カバレッジ(gray hair coverage)、光沢、光輝、均一性を示すボクセルを含む毛髪特性情報の3次元仮想表現を生成するように構成されている計算回路をさらに含む。

自身の毛髪にわたってクレードルを引きずり、映像をキャプチャし、映像に関するカラークラウドを生成するユーザの図である。 カラークラウドを生成し、利用する一方法の図である。 クレードルの第1の実施形態の図である。 クレードルの第2の実施形態の図であり、クレードルはスマートホンに取り付けられ得る。 映像をキャプチャするために使用されたユーザの毛髪の図であり、映像はユーザの毛髪の長さにわたってキャプチャする(ユーザの毛髪の付け根から開始し、ユーザの毛髪の先端で終了する)。 時系列順に配置されている映像の複数のフレームの一例の図であり、ユーザが、自身の毛髪の付け根から開始し、自身の毛髪の先端で終了して、自身の毛髪の映像をキャプチャした。 映像のあらゆるフレームからの色すべてを表示している、単一のカラークラウドの一例の図である。 色情報および頻度情報を有するカラークラウドの例の図である。 見本から生成された4つの異なるカラークラウドの一例の図であり、それらは、次いで、L*a*b*色空間内において重ね合わせられて(L*次元およびb*次元上に投影されて)、それらの類似点および相違点を視覚化する。 直接に映像上にある異なる毛髪間の共通色および固有色の図である。

本開示は、高度に繰り返し可能な、持ち運びできる方法で、毛髪の見本および人間の頭部上の実在する毛髪などの任意の材料の光の反射を数値化し得る、かついかなる照明環境においても動作し得る、物理的デバイスおよび独自のアルゴリズムについて説明する。クレードルと呼ばれるデバイスは、(毛髪のような)材料上で使用されることが可能であり、本明細書においてカラークラウドと定められている、その材料の全体論的デジタル表現を得るためのカラークラウドアルゴリズムを用いて、材料を分析する。このカラークラウドは、他の反射性材料の、または異なる時点における同じ反射性材料(たとえば、洗浄前および後の染められた毛髪)の、他のカラークラウドと比較され得る。本明細書において開示されている実施形態は、材料の映像キャプチャから既存の色を抽出する(および、いかなる数学的方法においてもそれらを操作せず、最終結果を生み出す)。技術は、微細な色変動を検出するための基礎として、色のロバストなセットを使用し得る。

図1は、一実施形態の使用事例を示す。ユーザ101はクレードル102を手に取り、自身の毛髪103にわたってそれを引きずることができる。クレードル102がユーザの毛髪103にわたって引きずられると、クレードルは毛髪103の映像を得ることができる。この映像は、カラークラウドアルゴリズムを使用して分析されて、カラークラウドを生成することができる。

図2は、一実施形態を概説する流れ図である。S202において、ユーザの毛髪などの材料の映像がクレードルを使用して得られる。たとえば、ユーザの毛髪のカラークラウドを生成するために、ユーザは、自身の毛髪の全長に沿って(すなわち、毛髪の付け根から先端まで)クレードルを走らせることができる。S204において、カラークラウドが映像の1つまたは複数のフレームから生成される。本質的に、1つまたは複数のフレーム内に存在した色すべてが抽出され、カラークラウド内に示される。S206において、カラークラウドは他のカラークラウドと比較される。この比較は、色合わせおよび/または色分化のために使用され得る。

クレードルは、材料のカラークラウドが生成され得るように、人が材料の映像をキャプチャすることを可能にする装置である。クレードルの一例が図3に示されている(実線がクレードルの外側を示し、一方、破線が内側のものを示す)。クレードルは、第1の端部301と、第2の端部302と、第2の端部302上の窓303と、第1の端部301を第2の端部302に接続している壁304とを有する。一実施形態では、第1の端部301と第2の端部302とはクレードルの両端部にある。映像録画デバイス305などの画像センサが、クレードルの内側で第1の端部301に取り付けられて、窓303を通して可視であるどんな材料306(たとえば毛髪)でも映像をキャプチャすることができる。さらに、クレードルは、映像録画デバイス305に接続されており、かつ材料306の映像からカラークラウドを生成し、生成されたカラークラウドを以前のカラークラウド等と比較するように構成されている処理回路308を有し得る。クレードルの第2の端部302は、映像録画デバイス305によってキャプチャされた場合、色分解用の窓303に隣接した所定のセットの色309を用いて着色され得る。映像は、窓303を通した材料306と窓303に隣接した所定のセットの色309の両方をキャプチャすることができ、所定の(すなわち既知の)色は、材料306の色を判定する時、参照のために使用され得る。また、照明307がクレードルに取り付けられて、映像録画デバイス305から窓303までの明るい視界をもたらし得る。クレードルは、映像を撮る時、映像録画デバイス305と材料306との間の不変の距離を維持するのに使用され得る。また、クレードルはハンドグリップ310を有し得る。

処理回路308は、カラークラウドユニットと、重要特性ユニットとを含み得る。カラークラウドユニットは、画像センサに連結されており、かつ物体に関連する色出現頻度、色変動、または色強度分布を示す領域などの、物体の複数のデジタル画像に関連する色情報の3次元仮想表現を生成するように構成されている回路を含み得る。重要特性ユニットは、物体の1つまたは複数の重要な特性を識別し、かつ物体の色情報の3次元仮想表現に関連する1つまたは複数の入力に基づいて、物体の重要な特性の固有性を示すグラフィカルユーザインターフェースディスプレイ上に、1つまたは複数の仮想インスタンスを生成する回路を含み得る。一実施形態では、物体は毛髪である可能性があり、3次元仮想表現は毛髪色情報および/または毛髪の複数のデジタル画像に関連する毛髪特性情報であり得る。さらに、3次元仮想表現は、結像された物体に関連する特定の特性の色出現頻度を示す、変動強度を有するボクセルを含み得る。特性情報の例は、物体識別データ、物体特性データ、色出現頻度データ、色変動データ、色強度データ、色データの有無、フレーム単位のまたはピクセル単位の色分析情報等を含む。非制限の色情報は、色相、色合い、色調、陰影等を含み得る。一実施形態では、基本色の色合いがその色のより明るいバージョンであり、陰影がより暗いバージョンである。一実施形態では、色調が基本色の明るさ(色合い)または暗さ(陰影)を指す。画像物体が毛髪である場合、3次元仮想表現は、毛髪の複数のデジタル画像に関連する白髪カバレッジ、光沢、光輝、および均一性を示すボクセルを含む、毛髪特性情報を含み得る。毛髪特性の例は、毛髪のダメージ状態、人工着色料の濃度、色分布、白髪カバレッジ、触感、光沢、分布密度、頭皮特性等を含み得る。

図3のクレードルの本体は、本質的に、一方の端部に窓303を備えた中空矩形角柱であった。一実施形態では、窓303が覆われた場合、クレードルの本体内側の唯一の照明は照明307からであり得る。これにより、クレードル内の照明状態が不変に保たれ得る。その上、他の実施形態では、クレードルは、円筒、立方体、台形角柱等の異なる形状を有し得る。クレードルは、カラークラウドを視覚化するのに使用され得るスクリーンも有し得る。

一実施形態では、クレードルの第1の端部は、映像録画デバイスとして、モバイルデバイス(たとえばスマートホン)のカメラを使用するように構成され得る。一例が図4に示されており、クレードルの第1の端部401は、取り付けられたスマートホン402であり得る。スマートホン402上のカメラ403が、第2の端部406上の窓405を通して、材料404の映像をキャプチャし得る。さらに、すでにスマートホン402内にある処理回路が、カラークラウドを生成するのに使用され得る。カラークラウドおよび他の関連情報が、直接、スマートホンの画面上に視覚化され得る。さらに、スマートホンのフラッシュライト407は、スマートホンのカメラ403から窓405まで明るい視界をもたらすのに使用され得る。クレードルは、スマートホン402が、使用時にクレードルに適切に取り付けられかつ不使用時にクレードルから取り外されることを可能にするホルダ408も有し得る。

キャプチャされた映像は、カラークラウドが生成されるように所望された材料のものであり得る。クレードルは、映像録画デバイスが、窓によって設けられているクレードルの開口部を通して、材料の映像をキャプチャし得るように、保持されるべきである。窓は、外部照明がクレードル内側に進入しないように遮断され得るように、材料に直接当接して保持され得る。材料の一例は、頭部上の毛髪であり得る。その場合、クレードルは、付け根の映像をキャプチャすることによって開始することができ、その後、先端まで毛髪にわたって引きずられ得る。

一実施形態では、複数のフレームを含む映像は、少なくとも6秒の長さで、少なくとも毎秒60フレームであり得る。人間の毛髪または毛髪見本の映像がキャプチャされた場合、この毛髪は真っ直ぐまたは巻き毛であり得る。

材料の映像を得ることは、誰かの毛髪の映像をキャプチャすることを含み得る。一例が図5Aおよび図5Bに示されている。第1に、図5Aを参照すると、モデルの毛髪の付け根51aから開始しモデルの毛髪の先端52aに向かって下向きに進んで、モデルの毛髪の全長の映像がキャプチャされる。図5Bは、時系列に配置されている、(図5Aから)キャプチャされた映像の各フレームを示し、左最上フレーム51bは毛髪の付け根51aであり、右最下フレーム52bは毛髪の先端52aである。別の実施形態では、材料の映像を得ることは、誰かの毛髪の全長未満の映像をキャプチャする(たとえば、誰かの毛髪の半分のみをキャプチャする)ことを含み得る。ここで留意すべきは、映像が、上向きに、またはある角度で進むなど、下向きを除いて他の方向に、キャプチャされ得ることである。

カラークラウドアルゴリズムが、映像の1つまたは複数のフレームから、カラークラウドを生成するのに使用され得る。カラークラウドアルゴリズムが1つまたは複数のフレームから色情報を抽出し得る。カラークラウドが、複数のフレームのうちの1つまたは複数に存在するあらゆる色を含む。別の実施形態では、カラークラウドが、複数のフレームのうちの1つまたは複数に存在するあらゆる色と、複数のフレームのうちの1つまたは複数に存在するあらゆる色の頻度とを含む。別の実施形態では、カラークラウドが、複数のフレームのうちの1つまたは複数に存在するあらゆる色と、複数のフレームのうちの1つまたは複数に存在するあらゆる色の頻度とを含み、頻度は最小の所定の閾値を超過する。

一実施形態では、カラークラウドアルゴリズムが、映像の単一フレームから色すべてを抽出することによって、カラークラウドを生成し得る。たとえば、図5Bでは、個々のカラークラウドが各フレームに関して生成され得る。各フレームに関して生成されたカラークラウドがその単一フレームに存在する色すべてを含み得、別の実施形態では、その単一フレームに存在する各色の頻度を含み得る。

別の実施形態では、カラークラウドアルゴリズムは、(単一フレームからではなく)映像内のフレーム群から累積色を抽出することによって、カラークラウドを生成し得る。たとえば、図5Bに戻って参照すると、カラークラウドが10フレームの各群に関して生成されることが可能であり、10フレームの各群に関して生成されたカラークラウドは、10フレームのその特定の群に存在する色すべてを含み、別の実施形態では、10フレームのその群に存在する各色の頻度を含む。

カラークラウドの一例が図6に示されており、カラークラウドは、色空間を使用して、映像のフレームすべてにわたるあらゆる色を表示している。映像は時間ベースであるため、特定のフレームを選択することが、カラークラウドが特定の時点において、かつ/または時間範囲内において作成されることを可能にし得る。

カラークラウドアルゴリズムが映像の1つまたは複数のフレームから色すべてを抽出すると、カラークラウドは無数の形状で表示され得る。たとえば、色が色空間内に表示されることが可能であり、色空間は、L*a*b*、RGB、LCh、HSV等の座標を使用して色情報を伝達し得る。

別の実施形態では、カラークラウドは、各色が映像の1つまたは複数のフレーム内に存在した頻度(すなわち回数)を含み得る。一例が図7に示されており、ピクセルが明るいほど、そのピクセルによって表されている色の頻度が高く、逆もまた同様である。外側カラークラウド71(すなわち全カラークラウド(full colorcloud))は、1つまたは複数のフレーム内に存在したあらゆる色をキャプチャし、一方、内側カラークラウド72(すなわち最適カラークラウド)は、より高い頻度で存在した色をキャプチャする。色がより高い頻度で存在するかどうかを判定する閾値は、用途に応じて調節され得る。一例では、内側カラークラウド72のみが使用され、低頻度(すなわち低情報)色はノイズとして除去される。

別の実施形態では、カラークラウドは、白髪カバレッジ、光沢、光輝、均一性、柔らかな輝き等の、毛髪の特性を識別するのに使用され得る。たとえば、カラークラウドからの色情報および頻度情報が、「低情報」色をフィルタにかけ、かつ色の検出を向上させて、誰かが有する白髪量を抽出するのに使用され得る。別の例として、毛髪の光沢レベルは、毛髪のカラークラウド内の平均、分散、およびL*値の空間的に接続された集団を考察することによって算出されることが可能であり、高い変動性は暗いから明るいまでの広範囲のL*値を示唆し、空間的に接続された高いL*値は光沢の帯を示唆し、両情報は、組み合わせられると、光沢に関する人間の知覚に関する。

カラークラウドは他のカラークラウドと比較されて、類似点および相違点を識別することができる。これにより、色変動の検出および色合わせが可能になり得る。他のカラークラウドとの比較の一例が、図8に示されている。カラークラウドが、2つの未洗浄の見本および洗浄された後のこれら同じ2つの見本に関して生成される。重なるカラークラウドの部分は色の類似(すなわち、両見本に存在する色)を示し、重ならない部分は色の相違(すなわち、見本間で共通でない色)を示す。この技術により、色空間内の色群の重なる群および重ならない群が数値化される(たとえば、群の数、群類似度、群平均色)。

さらに、毛髪色間の類似点および相違点が映像上に視覚化され戻されることが可能である。一例が図9に示されており、カラークラウドが洗浄前後の見本に関して作成された。毛髪上のより暗い領域は共通色を示し、一方、より明るい領域は固有色を示す。これらカラークラウド間の類似点および相違点は識別され、直接、見本上に視覚化され得る。言い換えれば、ユーザは、毛髪をキャプチャするために使用された映像のうちの1つを再生することができ、類似点/相違点は、直接、映像の毛髪上に示され得る。これは、単に、映像ピクセルの色を、2つの異なるカラークラウド内または2つの異なるカラークラウドの重なり内のどちらかに含まれる色と一致させることによって行われる。たとえば、カラークラウドの重なり、またはカラークラウドの共通部分内の色のいずれかに合致する映像ピクセルの色は、視覚化映像内の暗い色に着色される。

別の実施形態では、毛髪見本の図解書が、各毛髪見本に関して生成されたカラークラウドのディレクトリを有し得る。毛髪のいかなる後続のキャプチャも、カラークラウドを生成させ、かつ図解書内の見本と比較させて、最も合致するもの(すなわち色が最も類似したもの)を決定することができる。良い分化のために、見本は、他の見本よりもそれら自体により類似しているべきである。

本明細書において言及されている技術は、広範囲の反射(たとえば、毛髪見本および頭髪からの)をキャプチャして、色のような異種材料を正確にかつ確実に測定し、毛髪色変動を正確にかつ確実に測定することができる。これらの技術の用途には、最先端の器具類(たとえば分光光度計)よりもより正確にかつより再生可能な方法で色変動を測定すること、(毛髪カラリストが行うように)人間の毛髪色を測定すること、白髪カバレッジを測定すること(たとえば、誰かの付け根の白髪量を測定して、どのくらいの量のヘアカラー製品を使用するかを示す)、毛髪の健康を測定すること(たとえば光沢レベルに基づいて、低すぎる場合、光沢はくすみを示し、かつ損傷した毛髪を示唆する可能性がある)、カラーリングおよび/または洗浄前後の毛髪の動的視覚化等が含まれ得る。また、本明細書において言及されている技術は、自宅消費者の色評価、店頭表示および視覚化、ならびに自宅消費者の製品推薦を可能にする。たとえば、消費者があるアプリを自身の電話機にダウンロードして、映像をキャプチャし、カラークラウドを生成させることができる。アプリは、さらに、毛髪の一定の特性に基づいて、ヘア製品を推薦することができる(たとえば、ユーザの毛髪色、白髪レベル、およびアプリ上で実施された調査に基づいて、特定のヘアカラー製品を推薦することができる)。さらに、クレードルは持ち運びできる能力を有し得る(たとえば、折畳み可能なボール紙性クレードル、3Dプリントしたクレードル等)。

51a 毛髪の付け根
51b 左最上フレーム
52a 毛髪の先端
52b 右最下フレーム
71 外側カラークラウド
72 内側カラークラウド
101 ユーザ
102 クレードル
103 毛髪
301、401 (クレードルの)第1の端部
302、406 (クレードルの)第2の端部
303、405 (クレードルの)窓
304 (クレードルの)壁
305 映像録画デバイス
306、404 材料
307 照明
308 処理回路
309 所定のセットの色
310 (クレードルの)ハンドグリップ
402 スマートホン
403 (スマートホンの)カメラ
407 (スマートホンの)フラッシュライト
408 ホルダ

Claims (6)

1. 材料のカラークラウドを生成する方法であって、
   前記材料の映像を取得するステップであり、前記映像は複数のフレームを含み、前記材料はユーザの毛髪であり、前記映像は前記ユーザの前記毛髪の上を移動するクレードルに取り付けられた画像センサによってキャプチャされる、取得するステップと、
   前記複数のフレームのうちの1つまたは複数に基づいて、前記材料のカラークラウドを生成するステップであり、前記カラークラウドは前記複数のフレームのうちの1つまたは複数に存在するあらゆる色を含む、生成するステップと、
   前記カラークラウドを使用して、前記毛髪の特性を識別するステップと
   を含み、
   前記カラークラウドは、前記複数のフレームの前記1つまたは複数に存在するあらゆる色の頻度を含み、前記頻度は、前記複数のフレームに各色が存在した回数であり、
   前記カラークラウドは、外側カラークラウドおよび内側カラークラウドを含み、前記外側カラークラウドは、前記複数のフレームに存在したあらゆる色をキャプチャし、前記内側カラークラウドは、前記内側カラークラウドの色が、閾値よりも高い回数、前記複数のフレームに存在することを示す閾値頻度よりも高い頻度で存在する色をキャプチャし、前記外側カラークラウドは、二次元画像において前記内側カラークラウドを囲むように表示される、
   方法。
2. 前記カラークラウドを色空間内に表示するステップ
   をさらに含む、請求項1に記載の方法。
3. 前記毛髪の前記特性は光沢レベルを識別することを含む、請求項1に記載の方法。
4. 材料のカラークラウドを生成するためのシステムであって、
   前記材料の映像を取得し、ここで前記映像は複数のフレームを含み、前記材料はユーザの毛髪であり、前記映像は前記ユーザの前記毛髪の上を移動するクレードルに取り付けられた画像センサによってキャプチャされ、
   前記複数のフレームのうちの1つまたは複数に基づいて、前記材料のカラークラウドを生成し、ここで前記カラークラウドは前記複数のフレームのうちの前記1つまたは複数に存在するあらゆる色を含み、
   前記カラークラウドを使用して、前記毛髪の特性を識別する
   ように構成されている処理回路
   を含み、
   前記カラークラウドは、前記複数のフレームの前記1つまたは複数に存在するあらゆる色の頻度を含み、前記頻度は、前記複数のフレームに各色が存在した回数であり、
   前記カラークラウドは、外側カラークラウドおよび内側カラークラウドを含み、前記外側カラークラウドは、前記複数のフレームに存在したあらゆる色をキャプチャし、前記内側カラークラウドは、前記内側カラークラウドの色が、閾値よりも高い回数、前記複数のフレームに存在することを示す閾値頻度よりも高い頻度で存在する色をキャプチャし、前記外側カラークラウドは、二次元画像において前記内側カラークラウドを囲むように表示される、
   システム。
5. 前記処理回路は、前記カラークラウドを色空間内に表示するようにさらに構成されている、請求項4に記載のシステム。
6. 前記毛髪の前記特性が光沢レベルを識別することを含む、請求項4に記載のシステム。

Images