JP7728528B2

JP7728528B2 - Information processing method, program, information processing device, and trained model generation method

Info

Publication number: JP7728528B2
Application number: JP2021118198A
Authority: JP
Inventors: 広之 ▲高▼田; 美穂森田; 健成佐藤; 慎之介大矢
Original assignee: Naris Cosmetics Co Ltd
Current assignee: Naris Cosmetics Co Ltd
Priority date: 2021-07-16
Filing date: 2021-07-16
Publication date: 2025-08-25
Anticipated expiration: 2041-07-16
Also published as: JP2023013783A; JP2025147007A

Description

本発明は、情報処理方法、プログラム、情報処理装置及び学習済みモデルの生成方法に関する。 The present invention relates to an information processing method, a program, an information processing device, and a method for generating a trained model.

人工知能技術の進展に伴い、機械学習モデルを利用して、生体組織を撮像した画像から細胞を検出する方法が提案されている。例えば特許文献１では、培養中の複数の細胞を撮像した学習用画像に対し、他の細胞と重複しない細胞に人工マーカが付与された学習データを用いてセマンティックセグメンテーションモデルを構築することで、隣り合う細胞同士を区別して判別可能とする機械学習システム等が開示されている。 With advances in artificial intelligence technology, methods have been proposed that use machine learning models to detect cells from images of biological tissue. For example, Patent Document 1 discloses a machine learning system that can distinguish and identify adjacent cells by constructing a semantic segmentation model using training data in which artificial markers are added to cells that do not overlap with other cells, for training images of multiple cells in culture.

特開２０２１－１８５３１号公報Japanese Patent Application Laid-Open No. 2021-18531

しかしながら、特許文献１に係る発明は、他の細胞と重複しない細胞のみに正解のラベル（人工マーカ）が付与された画像を学習するのみであるため、他の細胞と重複する細胞を検出できない。 However, the invention described in Patent Document 1 only learns from images in which correct labels (artificial markers) are assigned only to cells that do not overlap with other cells, and therefore cannot detect cells that overlap with other cells.

一つの側面では、皮膚組織の撮像画像から角層細胞に関する分析を好適に行うことができる情報処理方法等を提供することを目的とする。 One aspect of the present invention is to provide an information processing method that can suitably perform analysis of stratum corneum cells from captured images of skin tissue.

一つの側面に係る情報処理方法は、被験者の皮膚組織を撮像した画像を取得し、前記画像を入力した場合に、他の角層細胞と重なり合う部分を含む各角層細胞の輪郭を識別するよう学習済みの第１モデルに、取得した前記画像を入力することで各角層細胞の輪郭を識別し、前記画像に基づき、前記第１モデルにより輪郭を識別した前記各角層細胞が欠損細胞であるか否かを判定し、前記各角層細胞のうち、欠損細胞であると判定された角層細胞を除く前記各角層細胞の輪郭の識別結果に基づき、前記各角層細胞の状態を表すパラメータを算出する処理をコンピュータが実行する。 In one aspect of the information processing method, a computer acquires an image of a subject's skin tissue, inputs the acquired image into a first model that has been trained to identify the contour of each stratum corneum cell, including areas that overlap with other stratum corneum cells , thereby identifying the contour of each stratum corneum cell, determines whether each stratum corneum cell whose contour has been identified by the first model is a defective cell based on the image, and calculates parameters representing the state of each stratum corneum cell based on the contour identification results of each stratum corneum cell, excluding stratum corneum cells determined to be defective cells .

一つの側面では、皮膚組織の撮像画像から角層細胞に関する分析を好適に行うことができる。 In one aspect, analysis of stratum corneum cells can be conveniently performed from captured images of skin tissue.

角層細胞分析システムの構成例を示す説明図である。FIG. 1 is an explanatory diagram showing an example of the configuration of a stratum corneum cell analysis system. サーバの構成例を示すブロック図である。FIG. 2 is a block diagram illustrating an example of the configuration of a server. 端末の構成例を示すブロック図である。FIG. 2 is a block diagram illustrating an example of the configuration of a terminal. 画像ＤＢ、被験者ＤＢのレコードレイアウトの一例を示す説明図である。FIG. 2 is an explanatory diagram showing an example of a record layout of an image DB and a subject DB. 第１モデルに関する説明図である。FIG. 10 is an explanatory diagram of a first model. 欠損細胞に関する説明図である。FIG. 1 is an explanatory diagram of defective cells. 角層細胞の分析処理に関する説明図である。FIG. 1 is an explanatory diagram regarding the analysis process of stratum corneum cells. 角層細胞の分析結果の表示画面例を示す説明図である。FIG. 10 is an explanatory diagram showing an example of a display screen for the analysis results of stratum corneum cells. 角層細胞の分析結果の表示画面例を示す説明図である。FIG. 10 is an explanatory diagram showing an example of a display screen for the analysis results of stratum corneum cells. 角層細胞の分析結果の表示画面例を示す説明図である。FIG. 10 is an explanatory diagram showing an example of a display screen for the analysis results of stratum corneum cells. 第１モデルの生成処理の手順を示すフローチャートである。10 is a flowchart showing a procedure for generating a first model. 第２モデルの生成処理の手順を示すフローチャートである。10 is a flowchart showing a procedure for generating a second model. 角層細胞の分析処理の手順を示すフローチャートである。10 is a flowchart showing the procedure of a process for analyzing stratum corneum cells. 実施の形態２の概要を示す説明図である。FIG. 10 is an explanatory diagram showing an overview of a second embodiment. 実施の形態２に係るサーバが実行する処理手順を示すフローチャートである。10 is a flowchart illustrating a processing procedure executed by a server according to the second embodiment.

以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
図１は、角層細胞分析システムの構成例を示す説明図である。本実施の形態では、被験者の皮膚組織の採取サンプルを撮像した画像から、画像内の角層細胞の状態を分析する角層細胞分析システムについて説明する。角層細胞分析システムは、情報処理装置１、端末２を含む。各装置は、インターネット等のネットワークＮを介して相互に通信接続されている。 The present invention will be described in detail below with reference to the drawings showing embodiments thereof.
(Embodiment 1)
1 is an explanatory diagram showing an example of the configuration of a stratum corneum cell analysis system. In this embodiment, a stratum corneum cell analysis system is described that analyzes the state of stratum corneum cells in an image captured from a sample of skin tissue from a subject. The stratum corneum cell analysis system includes an information processing device 1 and a terminal 2. Each device is connected to each other via a network N such as the Internet for communication.

情報処理装置１は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばサーバコンピュータ、パーソナルコンピュータ等である。本実施の形態では情報処理装置１がサーバコンピュータであるものとし、以下では簡潔のためサーバ１と読み替える。 Information processing device 1 is an information processing device capable of various information processing and sending and receiving information, such as a server computer or personal computer. In this embodiment, information processing device 1 is assumed to be a server computer, and for simplicity's sake will be referred to as server 1 below.

本実施の形態においてサーバ１は、所定の訓練データを学習することで、皮膚組織の画像を入力した場合に、各角層細胞の輪郭を識別する機械学習モデルを生成する生成装置として機能する。具体的には後述の如く、サーバ１は、訓練用の皮膚組織の画像群に対し、他の角層細胞と重なり合う部分を含む各角層細胞の輪郭にラベルが付与された訓練データを学習することで、他の角層細胞と重なり合う部分についても角層細胞の輪郭を識別可能な第１モデル５１（図５参照）を生成する。他の角層細胞と重なり合う部分についても輪郭を識別可能とすることで、後述する角層細胞の面積、円形度等を精度良く分析可能とする。 In this embodiment, server 1 functions as a generation device that generates a machine learning model that identifies the contours of each stratum corneum cell when an image of skin tissue is input, by learning predetermined training data. Specifically, as described below, server 1 generates a first model 51 (see Figure 5) that can identify the contours of stratum corneum cells even in areas where they overlap with other stratum corneum cells by learning training data in which the contours of each stratum corneum cell, including areas where they overlap with other stratum corneum cells, are labeled for a group of training images of skin tissue. By being able to identify the contours even in areas where they overlap with other stratum corneum cells, it becomes possible to accurately analyze the area, circularity, etc. of stratum corneum cells, as described below.

また、サーバ１は、第１モデル５１を用いて、任意の被験者から採取した皮膚組織のサンプルの画像から各角層細胞の輪郭を識別し、角層細胞の状態を分析する分析装置として機能する。具体的には後述の如く、サーバ１は、角層細胞の状態を表す種々のパラメータ（角層細胞の面積、円形度、角数等）を、第１モデル５１によって識別される角層細胞の輪郭に基づいて算出する。 The server 1 also functions as an analysis device that uses the first model 51 to identify the contours of each stratum corneum cell from an image of a skin tissue sample taken from any subject and analyzes the state of the stratum corneum cells. Specifically, as described below, the server 1 calculates various parameters representing the state of the stratum corneum cells (such as the area, circularity, and number of corners of the stratum corneum cells) based on the contours of the stratum corneum cells identified by the first model 51.

端末２は、本システムを利用するユーザの情報処理端末であり、例えばパーソナルコンピュータ、タブレット端末等である。なお、本システムのユーザは、被験者の皮膚状態を観察する人物（例えば化粧品メーカ、研究者等）を想定しているが、ユーザは被験者自身であってもよい。例えば端末２にはサーバ１が生成した第１モデル５１が予めインストールされており、端末２は、第１モデル５１を用いて、任意の被験者から採取した皮膚組織のサンプルの画像から各角層細胞の輪郭を識別し、角層細胞の状態を分析する分析装置として機能する。具体的には後述の如く、端末２は、角層細胞の状態を表す種々のパラメータ（角層細胞の面積、円形度、角数等）を、第１モデル５１によって識別される角層細胞の輪郭に基づいて算出する。 Terminal 2 is an information processing terminal of a user of the system, such as a personal computer or tablet terminal. It is assumed that the user of the system is a person who observes the skin condition of a subject (e.g., a cosmetics manufacturer, researcher, etc.), but the user may also be the subject themselves. For example, terminal 2 is pre-installed with first model 51 generated by server 1, and terminal 2 functions as an analysis device that uses first model 51 to identify the contours of each stratum corneum cell from an image of a skin tissue sample taken from a subject and analyzes the condition of the stratum corneum cells. Specifically, as described below, terminal 2 calculates various parameters representing the condition of the stratum corneum cells (such as the area, circularity, and angularity of the stratum corneum cells) based on the contours of the stratum corneum cells identified by first model 51.

例えばユーザは、被験者の皮膚組織を角層採取テープによって採取し、採取したサンプルを染色して、顕微鏡３により撮像する。端末２は、顕微鏡３により撮像された画像を第１モデル５１に入力することで各角層細胞の輪郭を識別する。そして端末２は、識別した角層細胞の輪郭に基づいて各種パラメータを算出し、分析結果として表示する。 For example, a user collects skin tissue from a subject using stratum corneum collection tape, stains the collected sample, and captures an image using microscope 3. Terminal 2 identifies the contours of each stratum corneum cell by inputting the image captured by microscope 3 into first model 51. Terminal 2 then calculates various parameters based on the identified contours of the stratum corneum cells and displays them as analysis results.

なお、本実施の形態では、第１モデル５１の生成（学習）、及び第１モデル５１を利用した角層細胞の識別をサーバ１及び端末２がそれぞれ行うものとするが、双方の処理を同一のコンピュータが実行してもよい。例えば、サーバ１がネットワークＮを介して端末２から撮像画像を取得し、第１モデル５１により角層細胞の輪郭を識別して、識別結果を端末２に出力するようにしてもよい。 In this embodiment, the generation (learning) of the first model 51 and the identification of stratum corneum cells using the first model 51 are performed by the server 1 and the terminal 2, respectively, but both processes may be performed by the same computer. For example, the server 1 may acquire a captured image from the terminal 2 via the network N, identify the contours of the stratum corneum cells using the first model 51, and output the identification results to the terminal 2.

また、本実施の形態では被験者の皮膚組織をテープによって採取するものとするが、皮膚組織の採取手段はテープに限定されない。また、本実施の形態では染色を行った上で角層細胞を観察することにするが、染色を行わない方法（例えば自家蛍光観察）を採用してもよい。また、皮膚組織を採取するのではなく、例えば被験者の肌（皮膚組織）を直接撮像する（この場合、それに対応して観察方法を適宜調整する）等してもよい。 In addition, in this embodiment, the subject's skin tissue is sampled using tape, but the means for sampling the skin tissue is not limited to tape. In addition, in this embodiment, the stratum corneum cells are observed after staining, but a method that does not require staining (for example, autofluorescence observation) may also be used. Furthermore, instead of sampling skin tissue, the subject's skin (skin tissue) may be directly imaged (in which case the observation method may be adjusted accordingly).

図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、主記憶部１２、通信部１３、及び補助記憶部１４を備える。
制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等のプロセッサであり、補助記憶部１４に記憶されたプログラムＰ１を読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。補助記憶部１４は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部１１が処理を実行するために必要なプログラムＰ１、その他のデータを記憶している。 2 is a block diagram showing an example of the configuration of the server 1. The server 1 includes a control unit 11, a main memory unit 12, a communication unit 13, and an auxiliary memory unit .
The control unit 11 is a processor such as one or more central processing units (CPUs), micro-processing units (MPUs), or graphics processing units (GPUs), and performs various information processing, control processing, and the like by reading and executing a program P1 stored in the auxiliary storage unit 14. The main storage unit 12 is a temporary storage area such as static random access memory (SRAM), dynamic random access memory (DRAM), or flash memory, and temporarily stores data necessary for the control unit 11 to execute arithmetic processing. The communication unit 13 is a communication module for performing communication-related processing, and transmits and receives information to and from the outside. The auxiliary storage unit 14 is a non-volatile storage area such as a large-capacity memory or a hard disk, and stores the program P1 and other data necessary for the control unit 11 to execute processing.

なお、補助記憶部１４はサーバ１に接続された外部記憶装置であってもよい。また、サーバ１は複数のコンピュータからなるマルチコンピュータであっても良く、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。 The auxiliary storage unit 14 may be an external storage device connected to the server 1. The server 1 may also be a multi-computer consisting of multiple computers, or may be a virtual machine virtually constructed using software.

また、サーバ１は、非一時的なコンピュータ読取可能な記録媒体１ａを読み取る読取部を備え、記録媒体１ａからプログラムＰ１（プログラム製品）を読み込んでもよい。また、プログラムＰ１は単一のコンピュータ上で実行されてもよく、ネットワークＮを介して相互接続された複数のコンピュータ上で実行されてもよい。 The server 1 may also be equipped with a reading unit that reads a non-transitory computer-readable recording medium 1a and reads the program P1 (program product) from the recording medium 1a. The program P1 may be executed on a single computer, or on multiple computers interconnected via a network N.

図３は、端末２の構成例を示すブロック図である。端末２は、制御部２１、主記憶部２２、通信部２３、表示部２４、入力部２５、及び補助記憶部２６を備える。
制御部２１は、一又は複数のＣＰＵ等のプロセッサを有し、補助記憶部２６に記憶されたプログラムＰ２を読み出して実行することにより、種々の情報処理を行う。主記憶部２２は、ＲＡＭ等の一時記憶領域であり、制御部２１が演算処理を実行するために必要なデータを一時的に記憶する。通信部２３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。表示部２４は、液晶ディスプレイ等の表示画面であり、画像を表示する。入力部２５は、キーボード、マウス等の操作インターフェイスであり、ユーザから操作入力を受け付ける。 3 is a block diagram showing an example of the configuration of the terminal 2. The terminal 2 includes a control unit 21, a main memory unit 22, a communication unit 23, a display unit 24, an input unit 25, and an auxiliary memory unit 26.
The control unit 21 has one or more processors such as CPUs, and performs various information processing by reading and executing the program P2 stored in the auxiliary storage unit 26. The main storage unit 22 is a temporary storage area such as RAM, and temporarily stores data necessary for the control unit 21 to execute arithmetic processing. The communication unit 23 is a communication module for performing communication-related processing, and transmits and receives information to and from the outside. The display unit 24 is a display screen such as a liquid crystal display, and displays images. The input unit 25 is an operation interface such as a keyboard or mouse, and accepts operation input from the user.

補助記憶部２６は、ハードディスク、大容量メモリ等の不揮発性記憶領域であり、制御部２１が処理を実行するために必要なプログラムＰ２、その他のデータを記憶している。また、補助記憶部２６は、第１モデル５１、第２モデル５２、画像ＤＢ２６１、被験者ＤＢ２６２を記憶している。 The auxiliary memory unit 26 is a non-volatile storage area such as a hard disk or large-capacity memory, and stores the program P2 and other data required for the control unit 21 to execute processing. The auxiliary memory unit 26 also stores a first model 51, a second model 52, an image DB 261, and a subject DB 262.

第１モデル５１は、所定の訓練データを学習済みの機械学習モデルであり、皮膚組織を撮像した画像を入力した場合に、画像内の各角層細胞の輪郭を識別するモデルである。第２モデル５２は、所定の訓練データを学習済みの機械学習モデルであり、皮膚組織を撮像した画像を入力した場合に、画像内の各角層細胞が、形状の欠損を有する角層細胞（以下、「欠損細胞」と呼ぶ）であるか否かを判定するモデルである。第１モデル５１及び第２モデル５２は、人工知能ソフトウェアの一部を構成するプログラムモジュールとしての利用が想定される。 The first model 51 is a machine learning model that has been trained with predetermined training data, and when an image of skin tissue is input, it is a model that identifies the outline of each stratum corneum cell in the image. The second model 52 is a machine learning model that has been trained with predetermined training data, and when an image of skin tissue is input, it is a model that determines whether each stratum corneum cell in the image is a stratum corneum cell with a shape defect (hereinafter referred to as a "defective cell"). The first model 51 and the second model 52 are expected to be used as program modules that constitute part of artificial intelligence software.

画像ＤＢ２６１は、被験者の皮膚組織の画像データを格納するデータベースである。被験者ＤＢ２６２は、被験者に関するデータを格納するデータベースである。具体的には後述の如く、被験者ＤＢ２６２には、被験者の皮膚データ（皮膚状態に関するアンケートへの回答、皮膚組織の測定データ等）が格納されている。 Image DB261 is a database that stores image data of the subject's skin tissue. Subject DB262 is a database that stores data related to the subject. Specifically, as described below, subject DB262 stores the subject's skin data (responses to questionnaires regarding skin condition, skin tissue measurement data, etc.).

なお、端末２は、非一時的なコンピュータ読取可能な記録媒体２ａを読み取る読取部を備え、記録媒体２ａからプログラムＰ２（プログラム製品）を読み込んでもよい。また、プログラムＰ２は単一のコンピュータ上で実行されてもよく、ネットワークＮを介して相互接続された複数のコンピュータ上で実行されてもよい。 The terminal 2 may also be equipped with a reading unit that reads a non-transitory computer-readable recording medium 2a and reads the program P2 (program product) from the recording medium 2a. The program P2 may be executed on a single computer, or on multiple computers interconnected via a network N.

図４は、画像ＤＢ２６１、被験者ＤＢ２６２のレコードレイアウトの一例を示す説明図である。
画像ＤＢ２６１は、画像ＩＤ列、画像列、分析データ列を含む。画像ＩＤ列は、撮像画像の識別子である画像ＩＤを記憶している。画像列、及び分析データ列はそれぞれ、画像ＩＤと対応付けて、皮膚組織の画像、及び画像から分析された角層細胞の各種パラメータを記憶している。例えば分析データ列には、画像単位で算出されたパラメータ（例えば画像内の角層細胞の細胞数、総面積、平均面積等）と、細胞単位で算出されたパラメータ（各角層細胞の面積、周囲長、円形度等）とが記憶されている。また、分析データ列には、角層細胞毎に、当該角層細胞が欠損細胞に該当するか否かを表すフラグ（０又は１の値）が記憶されている。 FIG. 4 is an explanatory diagram showing an example of the record layout of the image DB 261 and the subject DB 262.
The image DB 261 includes an image ID column, an image column, and an analysis data column. The image ID column stores an image ID, which is an identifier for a captured image. The image column and the analysis data column store, in association with the image ID, an image of skin tissue and various parameters of stratum corneum cells analyzed from the image. For example, the analysis data column stores parameters calculated on an image-by-image basis (e.g., the number of stratum corneum cells in the image, total area, average area, etc.) and parameters calculated on a cell-by-cell basis (e.g., the area, perimeter, circularity of each stratum corneum cell). Furthermore, the analysis data column stores a flag (a value of 0 or 1) for each stratum corneum cell indicating whether the stratum corneum cell is a defective cell.

被験者ＤＢ２６２は、被験者ＩＤ列、被験者名列、皮膚データ列を含む。被験者ＩＤ列は、被験者の識別子である被験者ＩＤを記憶している。被験者名列、及び皮膚データ列はそれぞれ、被験者ＩＤと対応付けて、被験者名、及び被験者の皮膚データを記憶している。皮膚データは、被験者の皮膚組織の状態を表す指標であり、画像以外から判別されるデータである。例えば皮膚データ列には、被験者へのアンケートに対する回答（年齢、性別等）と、被験者の皮膚を測定することで得たデータ（水分量、ＴＥＷＬ（Trans Epidermal Water Loss：経皮水分蒸発量）等）とが記憶されている。 Subject DB262 includes a subject ID column, a subject name column, and a skin data column. The subject ID column stores the subject ID, which is an identifier for the subject. The subject name column and skin data column store the subject's name and the subject's skin data, respectively, in association with the subject ID. Skin data is an index that represents the condition of the subject's skin tissue, and is data that can be determined from sources other than an image. For example, the skin data column stores responses to a questionnaire given to the subject (age, gender, etc.) and data obtained by measuring the subject's skin (moisture content, TEWL (Trans Epidermal Water Loss), etc.).

図５は、第１モデル５１に関する説明図である。図５では、皮膚組織を撮像した画像を第１モデル５１に入力した場合に、画像内の各角層細胞の輪郭を識別する様子を概念的に図示している。図５に基づき、第１モデル５１について説明する。 Figure 5 is an explanatory diagram of the first model 51. Figure 5 conceptually illustrates how, when an image of skin tissue is input into the first model 51, the contours of each stratum corneum cell in the image are identified. The first model 51 will be described based on Figure 5.

なお、図５では便宜的に各角層細胞を正六角形で図示しているが、実際には角層細胞は多様な形状で観察される。また、図５では角層細胞の輪郭のみを図示しているが、実際には角層細胞は染色されており、角層細胞以外の領域とは異なる色で観察される。 Note that while Figure 5 illustrates each stratum corneum cell as a regular hexagon for convenience, in reality, stratum corneum cells are observed in a variety of shapes. Also, while Figure 5 only shows the outline of the stratum corneum cells, in reality, the stratum corneum cells are stained and observed in a different color from areas other than the stratum corneum cells.

第１モデル５１は、所定の訓練データを学習済みの機械学習モデルであり、例えば深層学習により構築されるニューラルネットワークである。本実施の形態では、サーバ１は、画像に写るオブジェクトのクラス分類と、画素単位でのオブジェクトの識別（セグメンテーション）とを同時に実行可能なＭａｓｋＲ－ＣＮＮ（Region-based Convolutional Neural Network）を第１モデル５１として構築する。 The first model 51 is a machine learning model that has learned predetermined training data, such as a neural network constructed by deep learning. In this embodiment, the server 1 constructs as the first model 51 a Mask R-CNN (Region-based Convolutional Neural Network) that can simultaneously classify objects appearing in an image and identify (segment) objects on a pixel-by-pixel basis.

なお、第１モデル５１はＭａｓｋＲ－ＣＮＮ以外のニューラルネットワークであってもよい。また、第１モデル５１は、決定木、ランダムフォレスト、ＳＶＭ（Support Vector Machine）等、ニューラルネットワーク以外の機械学習モデルであってもよい。 Note that the first model 51 may be a neural network other than Mask R-CNN. The first model 51 may also be a machine learning model other than a neural network, such as a decision tree, a random forest, or an SVM (Support Vector Machine).

サーバ１は、訓練用の皮膚組織の画像群に対し、各角層細胞の輪郭を示す正解のラベルが付与された訓練データを用いて、第１モデル５１を生成する。訓練用の画像は、一又は複数の人物（例えば過去の被験者）の皮膚組織の採取サンプルを撮像した画像である。正解ラベルは、画像に写る各角層細胞に対し、角層細胞の輪郭をなぞるように付されたラベル（線）である。訓練用のラベルは、所定の作業者によって付与（描画）される。 The server 1 generates a first model 51 using training data in which correct labels indicating the contours of each stratum corneum cell are assigned to a group of training images of skin tissue. The training images are images of samples of skin tissue from one or more people (e.g., past test subjects). Correct labels are labels (lines) assigned to each stratum corneum cell in the image, tracing the contours of the stratum corneum cell. The training labels are assigned (drawn) by a designated operator.

なお、正解ラベルは線ではなく、各角層細胞の輪郭内部全部を異なる色で塗りつぶすなどの方法で付与されていてもよい。また、正解ラベルは完全に手動で付与される必要はなく、例えば画像解析ソフトにより抽出された角層細胞の輪郭を作業者が修正するなどしてもよい。 Note that correct labels may be assigned not as lines, but by filling the entire interior of each stratum corneum cell outline with a different color. Also, correct labels do not need to be assigned completely manually; for example, an operator may manually correct the outline of a stratum corneum cell extracted by image analysis software.

ここで、訓練データにおける正解の輪郭線のラベルは、他の角層細胞と重なり合う部分の輪郭にも付与されている。図５の左右に、角層細胞同士が重なり合っている様子を図示している。図５に示すように、角層細胞は、他の角層細胞と重なっていないものもあれば、他の角層細胞と重なり合うものもある。本実施の形態では、他の角層細胞の下に隠れている部分の輪郭にもラベルを付与することで、当該部分の輪郭を識別可能とする。 Here, labels for the correct contour lines in the training data are also assigned to the contours of parts that overlap with other keratinocytes. The left and right sides of Figure 5 show how keratinocytes overlap. As shown in Figure 5, some keratinocytes do not overlap with other keratinocytes, while others do. In this embodiment, by assigning labels to the contours of parts hidden under other keratinocytes, the contours of those parts can be identified.

サーバ１は、訓練用の画像を第１モデル５１に入力することで、画像内の各角層細胞の輪郭を識別する。サーバ１は、識別した輪郭を正解のラベルと比較し、両者が近似するように、ニューロン間の重み等のパラメータを更新する。サーバ１は、訓練用の各画像を第１モデル５１に順次与えてパラメータを更新し、最終的に、パラメータを最適化した第１モデル５１を生成する。サーバ１が生成した第１モデル５１は、端末２にインストールされる。 The server 1 inputs training images into the first model 51 to identify the contours of each stratum corneum cell in the image. The server 1 compares the identified contours with the correct label and updates parameters such as the weights between neurons so that the two are similar. The server 1 sequentially supplies each training image to the first model 51 to update the parameters, and ultimately generates a first model 51 with optimized parameters. The first model 51 generated by the server 1 is installed on the terminal 2.

被験者の皮膚（角層細胞）の分析を行う場合、端末２は、被験者の皮膚組織の撮像画像を第１モデル５１に入力することで、各角層細胞の輪郭を識別する。図５右側に、角層細胞の輪郭の識別結果を概念的に図示する。第１モデル５１は、角層細胞の輪郭を表すラベル（太線で図示）と、輪郭の識別結果の確からしさを表す確率値（０～１の数値。図５では不図示）とを出力する。図５に示すように、第１モデル５１は、他の角層細胞と重なり合う部分を含めて、各角層細胞の輪郭を識別する。 When analyzing a subject's skin (stratum corneum cells), terminal 2 inputs a captured image of the subject's skin tissue into first model 51 to identify the contours of each stratum corneum cell. The right side of Figure 5 conceptually illustrates the results of identifying the contours of the stratum corneum cells. First model 51 outputs a label (shown in bold) representing the contour of the stratum corneum cell and a probability value (a number between 0 and 1; not shown in Figure 5) representing the likelihood of the contour identification result. As shown in Figure 5, first model 51 identifies the contour of each stratum corneum cell, including any areas that overlap with other stratum corneum cells.

なお、この場合に端末２は、第１モデル５１から出力された確率値に基づき、重層角層を分析対象から除外する。重層角層とは、採取サンプルにおいて角層細胞が何層にも重なっている部分を指す。なお、本明細書では、「重なり合う」又は「重なる」という文言は角層細胞が部分的に重なっていることを意味し、「重層」は上下関係にある２以上の角層細胞が重なっていることを意味するものとして用いる。 In this case, terminal 2 excludes the stratified stratum corneum from the analysis target based on the probability value output from first model 51. The stratified stratum corneum refers to the portion of the collected sample where stratum corneum cells are overlapped in multiple layers. In this specification, the terms "overlap" and "overlapping" mean that stratum corneum cells are partially overlapping, and "stratified" means that two or more stratum corneum cells are overlapping one above the other.

図５では、重層角層を点線で図示している。重層角層は、皮膚組織の採取（剥離）時に多数の角層細胞がまとまって採取されることで観察される。実際の画像では重層角層は黒く濁った状態で観察され、各角層細胞の区別が困難となっている。例えばサーバ１は、第１モデル５１から出力された確率値を所定の閾値と比較し、閾値未満の角層細胞を重層角層と判定することで、重層角層を分析対象から除外する。 In Figure 5, the stratum corneum is shown with a dotted line. The stratum corneum is observed when a large number of stratum corneum cells are collected together during skin tissue collection (exfoliation). In actual images, the stratum corneum appears black and cloudy, making it difficult to distinguish between individual stratum corneum cells. For example, server 1 compares the probability value output from first model 51 with a predetermined threshold, and determines that stratum corneum cells below the threshold are stratum corneum cells, thereby excluding the stratum corneum from the analysis target.

端末２は、上記で識別した輪郭に基づき、角層細胞の状態を分析する。その前に、端末２は第２モデル５２を利用して、第１モデル５１により識別した角層細胞が欠損細胞であるか否かを判定し、欠損細胞と判定した角層細胞を分析対象から除外する。 The terminal 2 analyzes the state of the stratum corneum cells based on the contours identified above. Before that, the terminal 2 uses the second model 52 to determine whether the stratum corneum cells identified by the first model 51 are defective cells, and excludes stratum corneum cells determined to be defective cells from the analysis target.

図６は、欠損細胞に関する説明図である。図６Ａでは形状の欠損を有しない正常な角層細胞を、図６Ｂ、Ｃでは欠損細胞を図示している。図６に基づき、第２モデル５２を利用した欠損細胞の判定処理について説明する。 Figure 6 is an explanatory diagram of defective cells. Figure 6A shows normal stratum corneum cells with no shape defects, while Figures 6B and 6C show defective cells. The process of determining defective cells using the second model 52 will be explained based on Figure 6.

欠損細胞は、形状の欠損を有する角層細胞であり、例えば２以上に千切れた角層細胞（図６Ｂ）、一部が折れ曲がった角層細胞（図６Ｃ）等である。なお、図６Ｂでは２以上に千切れた各角層細胞片を図示しているが、テープに一部の細胞片しか付着しないなどの理由で、画像上では一部の細胞片しか残らない場合もある。また、欠損細胞は図６Ｂ、Ｃの例以外にも、一部に穴が開いた角層細胞、皺くちゃになった角層細胞等もある。角層細胞の欠損は、皮膚組織の採取時の手技（テープの剥離）等に起因して起こる。これらの欠損細胞は、正常な角層細胞（図６Ａ）と比較すれば分かるように、被験者の皮膚（角層）の状態を正しく表していない。 Defective cells are keratinocytes with a defective shape, such as keratinocytes that have been torn into two or more pieces (Figure 6B) or keratinocytes that are partially bent (Figure 6C). While Figure 6B illustrates keratinocyte fragments that have been torn into two or more pieces, it is possible that only some of the cell fragments remain in the image due to reasons such as only some of the cell fragments adhering to the tape. In addition to the examples in Figures 6B and C, defective cells also include keratinocytes with holes or wrinkled keratinocytes. Defective keratinocytes occur due to factors such as the procedure used when collecting skin tissue (tape removal). As can be seen by comparing these defective cells with normal keratinocytes (Figure 6A), they do not accurately represent the condition of the subject's skin (stratum corneum).

そこで端末２は、欠損細胞を分析対象から除外し、残りの角層細胞から分析を行う。具体的には、端末２は、皮膚組織（角層細胞）の撮像画像を入力した場合に、画像内の角層細胞が欠損細胞であるか否かを判定するよう学習済みの第２モデル５２を利用して、欠損細胞を判定する。 Therefore, terminal 2 excludes defective cells from the analysis target and performs analysis on the remaining stratum corneum cells. Specifically, when a captured image of skin tissue (stratum corneum cells) is input, terminal 2 determines whether the stratum corneum cells in the image are defective cells using second model 52 that has been trained to determine whether they are defective cells.

第２モデル５２は、所定の訓練データを学習済みの機械学習モデルであり、例えば決定木（本実施の形態では２分木）である。第２モデル５２は第１モデル５１と同様に、サーバ１が訓練データを学習することで生成される。なお、第２モデル５２は決定木に限定されず、ＳＶＭ、ランダムフォレスト、ニューラルネットワーク等、他の機械学習モデルであってもよい。 The second model 52 is a machine learning model that has learned predetermined training data, such as a decision tree (a binary tree in this embodiment). Like the first model 51, the second model 52 is generated by the server 1 learning the training data. Note that the second model 52 is not limited to a decision tree, and may be other machine learning models such as an SVM, a random forest, or a neural network.

また、第２モデル５２は、角層細胞が欠損細胞であるか否かの判定を分類問題として取り扱うモデルであってもよく、あるいは欠損細胞である確率を計算する回帰問題として取り扱うモデルであってもよい。 The second model 52 may also be a model that treats the determination of whether a stratum corneum cell is a defective cell as a classification problem, or a model that treats it as a regression problem that calculates the probability that the cell is a defective cell.

また、第２モデル５２は、欠損細胞であるか否かを判定するだけでなく、欠損細胞の種類（千切れ、折れ曲がり等）まで判定するモデルであってもよい。 Furthermore, the second model 52 may be a model that not only determines whether a cell is defective, but also determines the type of defective cell (torn, bent, etc.).

訓練データは、訓練用の皮膚組織の画像群に対し、画像に写る角層細胞が欠損細胞であるか否かを示す正解ラベルが付与されたデータである。訓練用の画像は群、一又は複数の人物（例えば過去の被験者）の皮膚組織の画像群である。正解ラベルは、欠損細胞であるか否かを示す二値のラベルである。後述の如く、本実施の形態では被験者の角層細胞を分析した場合に、分析結果を閲覧するユーザが欠損細胞を指定することでラベル付けを行う（図１０参照）。 The training data is a group of training images of skin tissue to which correct labels indicating whether the stratum corneum cells in the images are defective cells have been assigned. The training images are a group of skin tissue images of one or more individuals (e.g., past subjects). Correct labels are binary labels indicating whether the cells are defective. As described below, in this embodiment, when the stratum corneum cells of a subject are analyzed, the user viewing the analysis results specifies defective cells and labels them (see Figure 10).

本実施の形態では、第２モデル５２の入力として、撮像画像から抽出（算出）可能な角層細胞の特徴量を用いる。当該特徴量は、例えば角層細胞の面積、円形度等のように、角層細胞の状態を表すパラメータのほか、画像の画素値（色等）を含み得る。なお、面積、円形度等のパラメータについては後述する。また、これらは角層細胞の特徴量の一例であり、その他のパラメータ（後述する径、真円度、角数等）を含めてもよい。また、特徴量ではなく画像自体を第２モデル５２の入力としてもよい。 In this embodiment, features of stratum corneum cells that can be extracted (calculated) from a captured image are used as input to the second model 52. These features may include parameters that represent the state of the stratum corneum cells, such as the area and circularity of the stratum corneum cells, as well as pixel values (color, etc.) of the image. Parameters such as area and circularity will be described later. These are only examples of features of stratum corneum cells, and other parameters (such as diameter, circularity, and number of corners, which will be described later) may also be included. Alternatively, the image itself, rather than the features, may be used as input to the second model 52.

サーバ１は、訓練用の画像群から、各角層細胞の特徴量を抽出し、決定木を構築する上でのデータセットとする。サーバ１は、所定の基準値（不純度等）に基づいてデータセットを分割することで、複数のノードから成る決定木の構造を構築する。サーバ１は、回帰的に決定木構造の構築を繰り返すことで、第２モデル５２を生成する。サーバ１が生成した第２モデル５２は、端末２にインストールされる。 Server 1 extracts features of each stratum corneum cell from a group of training images and uses them as a dataset for constructing a decision tree. Server 1 divides the dataset based on a predetermined reference value (such as impurity) to construct a decision tree structure consisting of multiple nodes. Server 1 generates a second model 52 by repeatedly constructing the decision tree structure recursively. The second model 52 generated by server 1 is installed on terminal 2.

第１モデル５１により角層細胞の輪郭を識別した場合、端末２は、輪郭を識別した各角層細胞の特徴量を抽出する。そして端末２は、生成済みの第２モデル５２に当該特徴量を入力することで、各角層細胞が欠損細胞であるか否かを判定する。欠損細胞であると判定した場合、端末２は、欠損細胞であると判定された角層細胞を分析対象（パラメータの算出基準とする角層細胞）から除外する。 When the contours of stratum corneum cells are identified using the first model 51, the terminal 2 extracts the features of each stratum corneum cell whose contours have been identified. The terminal 2 then inputs these features into the generated second model 52 to determine whether each stratum corneum cell is a defective cell. If it determines that a cell is a defective cell, the terminal 2 excludes the stratum corneum cell determined to be a defective cell from the analysis target (the stratum corneum cell used as the basis for calculating parameters).

なお、本実施の形態では欠損細胞を分析対象から除外することとするが、欠損細胞を分析対象に含めることにしてもよい。例えば端末２は、画像から識別される欠損細胞について、欠損が生じていない場合の形状（輪郭）を学習済みの機械学習モデル（第２モデル５２、又は他のモデル）を利用して欠損が生じていない場合の形状を予測し、その予測結果に基づいて分析を行うようにしてもよい。このように、欠損細胞を分析対象から除外するのみならず、欠損細胞を含めて分析を行うようにしてもよい。 In this embodiment, defective cells are excluded from the analysis target, but defective cells may also be included in the analysis target. For example, terminal 2 may predict the shape of defective cells identified from an image when no defect occurs using a machine learning model (second model 52 or another model) that has learned the shape (contour) of cells when no defect occurs, and perform analysis based on the predicted results. In this way, defective cells may not only be excluded from the analysis target, but may also be included in the analysis.

図７は、角層細胞の分析処理に関する説明図である。端末２は、欠損細胞を除外した残りの角層細胞の輪郭に基づき、被験者の角層細胞の状態を表す各種パラメータを算出する。図７を用いて、端末２が算出する各パラメータを説明する。 Figure 7 is an explanatory diagram regarding the analysis process of stratum corneum cells. Based on the outline of the remaining stratum corneum cells excluding defective cells, terminal 2 calculates various parameters that represent the state of the subject's stratum corneum cells. Each parameter calculated by terminal 2 will be explained using Figure 7.

端末２は、個々の角層細胞の輪郭に基づき、各角層細胞の状態を表すパラメータ、具体的には角層細胞の面積、径（図７Ａ参照）、真円度（同図参照）、円形度、角数、傾き角度（図７Ｂ参照）、及び角層検出率（図７Ｃ参照）を算出する。また、端末２は、相互に重なり合う複数の角層細胞の輪郭に基づき、角層細胞の重なり度合いを表すパラメータ、具体的にはオーバーラップ面積率（図７Ｄ参照）、及びオーバーラップ距離（図７Ｅ参照）を算出する。 Based on the contours of individual stratum corneum cells, device 2 calculates parameters representing the state of each stratum corneum cell, specifically the area, diameter (see Figure 7A), circularity (see Figure 7A), circularity, number of corners, tilt angle (see Figure 7B), and stratum corneum detection rate (see Figure 7C). Furthermore, based on the contours of multiple overlapping stratum corneum cells, device 2 calculates parameters representing the degree of overlap of stratum corneum cells, specifically the overlap area rate (see Figure 7D) and overlap distance (see Figure 7E).

なお、上記で例示したパラメータはいずれも例示であって、パラメータは角層細胞の状態を表すパラメータであればよい。 Note that all of the parameters exemplified above are merely examples, and any parameter may be used as long as it represents the state of the stratum corneum cells.

角層細胞の面積は、画像内に占める角層細胞の画像領域の面積（μｍ^２）である。端末２は、角層細胞毎の面積と、角層細胞の面積の画像平均（画像内の全ての角層細胞の平均値）とを算出する。なお、本実施形態では面積を算出する例を示したが、これに限るものではない。端末２は、各層細胞のピクセル数を出力するようにしてもよい。また端末２はピクセル数にレンズ倍率及び画像解像度等から予め求めた１ピクセル当たりの面積を乗じて各層細胞の面積を算出するようにしてもよい。 The area of the stratum corneum cells is the area (μm ² ) of the image region of the stratum corneum cells in the image. The terminal 2 calculates the area of each stratum corneum cell and the image average of the stratum corneum cell area (the average value of all stratum corneum cells in the image). Note that, although an example of calculating the area is shown in this embodiment, the present invention is not limited to this. The terminal 2 may be configured to output the number of pixels of each layer cell. The terminal 2 may also calculate the area of each layer cell by multiplying the number of pixels by the area per pixel calculated in advance from the lens magnification, image resolution, etc.

角層細胞の径は、角層細胞の外接円及び／又は内接円の直径（又は半径）である。なお、外接円及び内接円は、２つの同心円で角層細胞を内側と外側から挟んだ場合に、２つの同心円の間隔が最小となる外接円及び内接円を指す。図７Ａに、外接円の径を「長径」、内接円の径を「短径」として図示している。もしくは角層細胞を楕円近似して、楕円の長径と短径を角層細胞の長径と短径として把握することもできる。端末２は、角層細胞毎の長径及び短径と、長径及び短径の画像平均とを算出する。 The diameter of a stratum corneum cell is the diameter (or radius) of the circumscribing circle and/or inscribing circle of the stratum corneum cell. The circumscribing circle and inscribing circle refer to the circumscribing circle and inscribing circle that have the smallest distance between them when the stratum corneum cell is sandwiched between two concentric circles from the inside and outside. In Figure 7A, the diameter of the circumscribing circle is shown as the "major diameter" and the diameter of the inscribing circle is shown as the "minor diameter." Alternatively, the stratum corneum cell can be approximated as an ellipse, and the major and minor diameters of the ellipse can be considered as the major and minor diameters of the stratum corneum cell. Device 2 calculates the major and minor diameters of each stratum corneum cell and the image average of the major and minor diameters.

真円度は、幾何学的に正しい円からの狂いの大きさを表す数値である。図７Ａに示すように、端末２は、上述の外接円及び内接円（２つの同心円で角層細胞を内側と外側から挟んだ場合に、２つの同心円の間隔が最小となる２同心円）の直径の差を２で割った値を真円度として算出する。もしくは楕円近似した角層細胞の長径と短径の比率や差を真円度として把握することもできる。サーバ１は、角層細胞毎の真円度と、真円度の画像平均とを算出する。 Circularity is a numerical value that represents the degree of deviation from a geometrically correct circle. As shown in Figure 7A, terminal 2 calculates circularity by dividing the difference in diameter between the circumscribing circle and the inscribing circle (the two concentric circles that form the smallest distance when a stratum corneum cell is sandwiched between them from the inside and outside) by 2. Alternatively, circularity can be determined as the ratio or difference between the major and minor axes of an elliptical stratum corneum cell. Server 1 calculates the circularity of each stratum corneum cell and the image average of circularity.

円形度は、形状の複雑さを表す数値であり、円形度＝４π×Ｓ÷Ｌ^２（Ｓは角層細胞の面積、Ｌは角層細胞の周囲長）である。端末２は、角層細胞毎の円形度と、円形度の画像平均とを算出する。 The circularity is a numerical value that represents the complexity of the shape, and is expressed as follows: circularity = 4π × S ÷ L ² (where S is the area of the stratum corneum cell and L is the perimeter of the stratum corneum cell). The device 2 calculates the circularity of each stratum corneum cell and the image average of the circularity.

角数は、各角層細胞を多角形に近似した場合の頂点の数である、例えば端末２は、Ｄａｕｇｌａｓ－Ｐｅｕｃｋｅｒアルゴリズムを用いて角層細胞を多角形に近似し、角数をカウントする。端末２は、角層細胞毎の角数と、各角数の画像中の割合（全角層細胞数に対する角数＝ｎ（ｎは３以上の整数）の角層細胞数の比率）とを算出する。 The number of corners is the number of vertices when each stratum corneum cell is approximated as a polygon. For example, device 2 approximates the stratum corneum cell as a polygon using the Dauglas-Peucker algorithm and counts the number of corners. Device 2 calculates the number of corners for each stratum corneum cell and the proportion of each corner in the image (the ratio of the number of corners = n (n is an integer greater than or equal to 3) stratum corneum cells to the total number of stratum corneum cells).

傾き角度は、角層細胞の輪郭上の最も離れた２点を結んだ線と、水平線（画像横軸に水平な線）とが成す角度であり、角層細胞の方向性を表す。図７Ｂに、傾き角度を図示する。もしくは楕円近似した角層細胞の長径と水平線が成す角度を傾き角度として把握することもできる。端末２は、角層細胞毎の傾き角度と、傾き角度の画像平均とを算出する。 The tilt angle is the angle between the line connecting the two most distant points on the contour of the stratum corneum cell and the horizon (a line parallel to the horizontal axis of the image), and represents the directionality of the stratum corneum cell. Figure 7B illustrates the tilt angle. Alternatively, the tilt angle can be determined as the angle between the long axis of the stratum corneum cell, which is approximated as an ellipse, and the horizon. Device 2 calculates the tilt angle for each stratum corneum cell and the image average of the tilt angle.

角層検出率は、画像内の角層細胞のうち、正常な細胞として検出（識別）された角層細胞の面積の割合である。図７Ｃに、正常な細胞として検出された角層細胞（図７Ｃでは「検出細胞」）の輪郭を実線で、その他の角層細胞（「非検出細胞」）の輪郭を点線で図示する。端末２は、画像内の角層細胞のうち、重層角層、欠損細胞等に該当しない正常な角層細胞の総面積を、全角層細胞の総面積で除算した値を角層検出率として算出する。なお、全角層細胞の面積は、画素値を所定の閾値と比較することで抽出する。 The stratum corneum detection rate is the percentage of the area of stratum corneum cells detected (identified) as normal cells among the stratum corneum cells in an image. Figure 7C shows the outlines of stratum corneum cells detected as normal cells ("detected cells" in Figure 7C) with solid lines, and the outlines of other stratum corneum cells ("non-detected cells") with dotted lines. Device 2 calculates the stratum corneum detection rate by dividing the total area of normal stratum corneum cells in the image that do not fall into the category of stratified stratum corneum, defective cells, etc. by the total area of all stratum corneum cells. The area of all stratum corneum cells is extracted by comparing the pixel value with a predetermined threshold.

オーバーラップ面積率は、角層細胞の面積に対し、他の角層細胞と重なっている部分の面積の割合である。図７Ｄに、オーバーラップ面積率を算出する様子を図示する。図７Ｄ右側の角層細胞のオーバーラップ面積率を算出する場合、符号Ａで示す角層細胞の面積に対する、符号Ｂで示す重なり部分の面積の割合を算出する。もしくは重なり合う２細胞の総面積に対する、重なっている部分の面積の割合としてオーバーラップ面積率を算出することもできる。端末２は、角層細胞毎のオーバーラップ面積率と、オーバーラップ面積率の画像平均とを算出する。 The overlap area ratio is the ratio of the area of the part that overlaps with other stratum corneum cells to the area of the stratum corneum cells. Figure 7D illustrates how the overlap area ratio is calculated. When calculating the overlap area ratio of the stratum corneum cells on the right side of Figure 7D, the ratio of the area of the overlapping part indicated by symbol B to the area of the stratum corneum cells indicated by symbol A is calculated. Alternatively, the overlap area ratio can be calculated as the ratio of the area of the overlapping part to the total area of the two overlapping cells. Device 2 calculates the overlap area ratio for each stratum corneum cell and the image average of the overlap area ratio.

オーバーラップ距離は、ある角層細胞が他の角層細胞と重なっている部分の幅を表す距離である。具体的には、オーバーラップ距離は、２つの角層細胞が重なり始める２点を結ぶ直線を引いた場合に、当該直線と平行を成し、かつ、当該直線と垂直な方向に掛けて最遠な重なり部分の２点をそれぞれ通る、２本の平行直線の間の距離である。図７Ｅに、オーバーラップ距離を算出する様子を図示する。端末２は、２つの角層細胞が重なり始める２点を結ぶ直線（図７Ｅでは点線で図示）を特定し、その直線と平行な２本の平行直線を特定する。この場合に端末２は、２つの角層細胞が重なり合う部分から、当初の直線（点線）と垂直な方向に最遠な２点（図７Ｅでは左下及び右上の点）を特定し、その２点を通る平行直線を特定する。端末２は、２本の平行直線の間の距離を、オーバーラップ距離として算出する。端末２は、角層細胞毎のオーバーラップ距離と、オーバーラップ距離の画像平均とを算出する。 The overlap distance is the distance representing the width of the overlapping portion of one stratum corneum cell with another. Specifically, when a line is drawn connecting the two points where two stratum corneum cells begin to overlap, the overlap distance is the distance between two parallel lines that are parallel to the line and pass through the two furthest overlapping points in a direction perpendicular to the line. Figure 7E illustrates how the overlap distance is calculated. The device 2 identifies the line connecting the two points where the two stratum corneum cells begin to overlap (shown as a dotted line in Figure 7E) and then identifies two parallel lines parallel to that line. In this case, the device 2 identifies the two furthest points (the lower left and upper right points in Figure 7E) from the overlapping portion of the two stratum corneum cells in a direction perpendicular to the original line (dotted line) and then identifies parallel lines passing through those two points. The device 2 calculates the distance between the two parallel lines as the overlap distance. Terminal 2 calculates the overlap distance for each stratum corneum cell and the image average of the overlap distance.

更に端末２は、上記の各パラメータについて、１画像中での、及び複数画像中でのばらつき（標準偏差、分散、変動係数）を算出する。 Furthermore, terminal 2 calculates the variation (standard deviation, variance, coefficient of variation) for each of the above parameters within a single image and across multiple images.

このように、端末２は、個々の角層細胞の状態を表すパラメータ（面積、径、真円度等）のほか、角層細胞同士の重なり度合いを表すパラメータ（オーバーラップ面積率、オーバーラップ距離）を算出する。上述の如く、第１モデル５１は他の角層細胞と重なり合っている部分を含めて角層細胞の輪郭を識別するため、個々の角層細胞の面積、径、真円度等を算出する場合に、他の角層細胞と重なっている部分を考慮して各パラメータを好適に算出することができる。また、オーバーラップ面積率、オーバーラップ距離等を算出することで、単に個々の角層細胞の状態を分析するだけでなく、角層細胞同士がどの程度重なっているかも分析することができる。 In this way, the terminal 2 calculates parameters that represent the state of individual stratum corneum cells (area, diameter, circularity, etc.), as well as parameters that represent the degree of overlap between stratum corneum cells (overlap area ratio, overlap distance). As described above, the first model 51 identifies the contours of stratum corneum cells, including the portions that overlap with other stratum corneum cells. Therefore, when calculating the area, diameter, circularity, etc. of individual stratum corneum cells, each parameter can be suitably calculated taking into account the portions that overlap with other stratum corneum cells. Furthermore, by calculating the overlap area ratio, overlap distance, etc., it is possible to not only analyze the state of individual stratum corneum cells, but also to analyze the degree to which stratum corneum cells overlap with each other.

図８～図１０は、角層細胞の分析結果の表示画面例を示す説明図である。図８～図１０では、端末２が表示する画面であって、角層細胞の分析結果の画面例を図示している。 Figures 8 to 10 are explanatory diagrams showing example screens displaying the results of stratum corneum cell analysis. Figures 8 to 10 show example screens displayed by terminal 2, showing the results of stratum corneum cell analysis.

例えば端末２は、リスト表示欄８１と、パラメータ表示欄８２とを含む画面を表示する。リスト表示欄８１は、画面右側に分析結果を表示する分析対象の一覧を示す表示欄である。本システムでは、皮膚組織の画像群（例えば一人の被験者について、一度の検査で撮像した複数の画像）を格納したフォルダ、フォルダ内の画像、及び画像内の一つひとつの角層細胞を分析対象の単位とする。端末２は、リスト表示欄８１を介して分析結果の表示対象の選択入力を受け付け、選択対象の分析結果を表示する。図８～図１０はそれぞれ、フォルダ、画像、及び角層細胞が選択された場合の画面例を図示している。 For example, terminal 2 displays a screen including a list display field 81 and a parameter display field 82. List display field 81 is a display field showing a list of analysis targets, whose analysis results are displayed on the right side of the screen. In this system, the analysis targets are folders that store a group of skin tissue images (for example, multiple images taken of a single subject in a single examination), the images within the folders, and each individual stratum corneum cell within the images. Terminal 2 accepts selection input for the analysis results display target via list display field 81, and displays the analysis results for the selected target. Figures 8 to 10 respectively show example screens when a folder, image, and stratum corneum cell are selected.

図８に示すように、あるフォルダが選択された場合、端末２は、当該フォルダに格納されている画像群の分析パラメータをパラメータ表示欄８２に表示する。具体的には、端末２は画像毎に、画像内の角層細胞数、画像に占める角層細胞の総面積、角層細胞の平均面積（画像平均）、角層細胞の平均周囲長などを一覧表示する。 As shown in Figure 8, when a folder is selected, terminal 2 displays the analysis parameters for the group of images stored in that folder in parameter display field 82. Specifically, for each image, terminal 2 displays a list of the number of stratum corneum cells in the image, the total area of the stratum corneum cells in the image, the average area of the stratum corneum cells (image average), the average perimeter of the stratum corneum cells, etc.

図９に示すように、フォルダ内のある画像が選択された場合、端末２は、当該画像内の角層細胞の分析パラメータをパラメータ表示欄８２に表示する。具体的には、端末２は角層細胞毎に、角層細胞の面積、周囲長、円形度などを一覧表示する。 As shown in Figure 9, when an image in a folder is selected, terminal 2 displays the analysis parameters of the stratum corneum cells in that image in parameter display field 82. Specifically, terminal 2 displays a list of the area, perimeter, circularity, etc. of each stratum corneum cell.

また、図９に示すように、端末２は、識別された各角層細胞に、表示態様が互いに異なるラベルを重畳した撮像画像を、リスト表示欄８１下側の画像表示欄９１に表示する。具体的には、端末２は、各角層細胞の輪郭内部の領域に、互いに異なる表示色のラベル（及び角層細胞を囲むバウンディングボックス）を重畳表示する。なお、図９では図示の便宜上、色が付されている様子をハッチングで図示し、各角層細胞には同じハッチングを付けている。端末２は、第１モデル５１からの出力に従ってラベルを重畳し、所謂セグメンテーションに係る画像を生成して表示する。 As shown in FIG. 9, the terminal 2 displays the captured image in the image display field 91 below the list display field 81, in which labels with different display styles are superimposed on each identified stratum corneum cell. Specifically, the terminal 2 superimposes labels with different display colors (and bounding boxes surrounding the stratum corneum cells) on the area inside the outline of each stratum corneum cell. For ease of illustration, the colors are shown hatched in FIG. 9, with each stratum corneum cell being hatched with the same color. The terminal 2 superimposes the labels according to the output from the first model 51, and generates and displays an image related to so-called segmentation.

なお、図９に示す表示画像は一例であって、本実施の形態はこれに限定されるものではない。例えば端末２は、各角層細胞にラベルを重畳表示するだけでなく、各角層細胞の輪郭の識別結果の確からしさを表す確率値を併せて表示してもよい。これにより、識別結果がどの程度確からしいか、ユーザに提示することができる。 Note that the display image shown in FIG. 9 is an example, and the present embodiment is not limited to this. For example, terminal 2 may not only superimpose a label on each stratum corneum cell, but also display a probability value that indicates the likelihood of the identification result for the contour of each stratum corneum cell. This makes it possible to present to the user how likely the identification result is.

図１０に示すように、画像内のある角層細胞が選択された場合、端末２は、当該角層細胞の分析パラメータをパラメータ表示欄８２に表示する。具体的には図９の画面例と同様に、端末２は角層細胞の面積、周囲長、円形度などを一覧表示する。 As shown in Figure 10, when a stratum corneum cell is selected in the image, terminal 2 displays the analysis parameters of that stratum corneum cell in the parameter display field 82. Specifically, similar to the example screen in Figure 9, terminal 2 displays a list of the area, perimeter, circularity, etc. of the stratum corneum cell.

また、端末２は、パラメータ表示欄８２の下側に、欠損指定欄１０１を表示する。欠損指定欄１０１は、第１モデル５１が輪郭を識別した角層細胞を、欠損細胞（負例）に指定（登録）するための入力欄である。例えば端末２は、図１０に示すように、リスト表示欄８１で選択中の角層細胞の拡大画像（ラベル無し）と、角層細胞にラベルを付した拡大画像とを欠損指定欄１０１に表示する。そして端末２は、登録ボタン１０１１への操作入力に応じて、拡大画像で示す角層細胞が欠損細胞に該当するか否か、指定入力を受け付ける。なお、登録ボタン１０１１は複数用意されており、端末２は、いずれかの登録ボタン１０１１への操作入力を受け付けることで、欠損細胞の種類（図１０では「理由１」、「理由２」）の指定入力を併せて受け付ける。 The terminal 2 also displays a defect designation field 101 below the parameter display field 82. The defect designation field 101 is an input field for designating (registering) a stratum corneum cell whose contour has been identified by the first model 51 as a defective cell (negative example). For example, as shown in FIG. 10, the terminal 2 displays an enlarged image (unlabeled) of the stratum corneum cell selected in the list display field 81 and an enlarged image of the stratum corneum cell with a label attached in the defect designation field 101. The terminal 2 then accepts designation input as to whether or not the stratum corneum cell shown in the enlarged image corresponds to a defective cell in response to an operation input to a registration button 1011. Note that multiple registration buttons 1011 are provided, and the terminal 2 also accepts designation input for the type of defective cell ("Reason 1" or "Reason 2" in FIG. 10) by accepting an operation input to any of the registration buttons 1011.

皮膚
なお、図１０の例では拡大した画像を表示するものとして図示しているが、画像の拡大を行わず、単に角層細胞にラベルを重畳した画像を表示するのみであってもよい。また、図１０ではラベル無しの画像とラベル有りの画像とを２つ表示するものとしているが、端末２はラベル有りの画像を表示するだけであってもよく、あるいはユーザからの操作入力に応じてラベル表示のオン、オフを切換可能にするなどしてもよい。すなわち、端末２は、少なくとも角層細胞にラベルを重畳した画像を表示して欠損細胞の指定入力を受付可能であればよく、その具体的な表示及び操作の手法は特に限定されない。 While the example in Figure 10 shows an enlarged image being displayed, it is also possible to simply display an image in which labels are superimposed on stratum corneum cells without enlarging the image. Furthermore, while Figure 10 shows two images, one unlabeled and one labeled, terminal 2 may simply display the labeled image, or may be able to switch the label display on and off in response to a user operation input. In other words, terminal 2 is only required to display at least an image in which labels are superimposed on stratum corneum cells and to accept input specifying missing cells, and the specific display and operation methods are not particularly limited.

欠損細胞の指定入力を受け付けた場合、端末２は、画像から識別した角層細胞と対応付けて、当該角層細胞が欠損細胞であるか否かを表すフラグを画像ＤＢ２６１に格納する（図４参照）。サーバ１は、上記の指定に基づいて欠損細胞のラベル付けを撮像画像に行い、第２モデル５２の訓練データに用いる。すなわち、サーバ１は画像に対し、欠損細胞に指定された角層細胞が欠損細胞であることを表すラベルを付与し、第２モデル５２生成用の訓練データとして用いる。サーバ１は、ユーザが指定することで蓄積された当該訓練データに基づき、第２モデル５２を生成する。 When a designated input of a defective cell is received, terminal 2 associates the designated stratum corneum cells identified from the image with a flag indicating whether the designated stratum corneum cells are defective cells and stores the flag in image DB 261 (see Figure 4). Server 1 labels the captured image as a defective cell based on the above designation and uses the label as training data for second model 52. In other words, server 1 assigns a label to the image indicating that the designated stratum corneum cells are defective cells, and uses the label as training data for generating second model 52. Server 1 generates second model 52 based on the training data stored in response to the user's designation.

以上より、本実施の形態によれば、角層細胞同士の重なりを考慮して角層細胞を好適に分析することができる。 As described above, this embodiment makes it possible to optimally analyze stratum corneum cells while taking into account the overlap between stratum corneum cells.

図１１は、第１モデル５１の生成処理の手順を示すフローチャートである。図１１に基づき、機械学習により第１モデル５１を生成する際の処理内容について説明する。
サーバ１の制御部１１は、第１モデル５１を生成するための訓練データを取得する（ステップＳ１１）。訓練データは、皮膚組織を撮像した画像群に対し、他の角層細胞と重なり合う部分を含む各角層細胞の輪郭にラベルが付与されたデータである。 11 is a flowchart showing the procedure of the process for generating the first model 51. The process for generating the first model 51 by machine learning will be described with reference to FIG.
The control unit 11 of the server 1 acquires training data for generating the first model 51 (step S11). The training data is data in which labels are assigned to the contours of each stratum corneum cell, including portions that overlap with other stratum corneum cells, for a group of images of skin tissue.

制御部１１は訓練データに基づき、皮膚組織を撮像した画像を入力した場合に、他の角層細胞と重なり合う部分を含む各角層細胞の輪郭を識別する第１モデル５１を生成する（ステップＳ１２）。具体的には、制御部１１は、第１モデル５１としてＭａｓｋＲ－ＣＮＮを生成する。制御部１１は、訓練用の画像を第１モデル５１に入力することで、各角層細胞の輪郭を識別する。制御部１１は、角層細胞の識別結果が正解のラベルと近似するように、ニューロン間の重み等のパラメータを最適化し、第１モデル５１を生成する。制御部１１は一連の処理を終了する。なお、本実施形態では第１モデル５１と第２モデル５２とを別の構成としたが、第１モデル５１一つにより同様の推定を行うようにしてもよい。具体的には、第１モデル５１は、画像を入力した場合に、細胞の輪郭領域と、欠損細胞領域とを出力する。この場合、制御部１１は、輪郭領域のラベルデータ及び欠損細胞領域のラベルデータと、画像とを用いて、ＭａｓｋＲ－ＣＮＮまたはＵ－ＮＥＴ等のセグメンテーションネットワークを用いて第１モデル５１の学習を行う。 Based on the training data, the control unit 11 generates a first model 51 that identifies the contours of each stratum corneum cell, including areas where the cells overlap with other stratum corneum cells, when an image of skin tissue is input (step S12). Specifically, the control unit 11 generates a Mask R-CNN as the first model 51. The control unit 11 inputs training images to the first model 51 to identify the contours of each stratum corneum cell. The control unit 11 optimizes parameters such as the weights between neurons so that the stratum corneum cell identification results approximate the correct labels, and generates the first model 51. The control unit 11 then completes the series of processes. Note that in this embodiment, the first model 51 and the second model 52 are configured separately, but similar estimations may also be performed using a single first model 51. Specifically, when an image is input, the first model 51 outputs the cell contour area and the missing cell area. In this case, the control unit 11 uses label data for the contour region and the defective cell region, as well as the image, to train the first model 51 using a segmentation network such as Mask R-CNN or U-NET.

図１２は、第２モデル５２の生成処理の手順を示すフローチャートである。図１２に基づき、第２モデル５２を生成する際の処理内容について説明する。
サーバ１の制御部１１は、第２モデル５２を生成するための訓練データを取得する（ステップＳ３１）。訓練データは、皮膚組織を撮像した画像群に対し、画像内の各角層細胞が、形状の欠損を有する欠損細胞であるか否かを示すラベルが付与されたデータである。当該ラベルは、上述の如く、角層細胞の識別結果を閲覧したユーザが欠損細胞を指定することで付与される。 12 is a flowchart showing the procedure of the process for generating the second model 52. The process for generating the second model 52 will be described with reference to FIG.
The control unit 11 of the server 1 acquires training data for generating the second model 52 (step S31). The training data is data in which a group of images of skin tissue is labeled with a label indicating whether each stratum corneum cell in the image is a defective cell having a shape defect. As described above, the label is assigned by a user who views the stratum corneum cell identification result and designates a defective cell.

制御部１１は訓練データに基づき、皮膚組織を撮像した画像を入力した場合に、画像内の各角層細胞が欠損細胞であるか否かを判定する第２モデル５２を生成する（ステップＳ３２）。例えば制御部１１は、第２モデル５２として決定木を生成する。制御部１１は、訓練用の画像から各角層細胞の特徴量（面積、円形度、画素値等）を抽出し、各角層細胞の特徴量から成るデータセットを不純度等の基準値に応じて分割することで、決定木の構造を構築する。制御部１１は、決定木構造の構築を再帰的に繰り返すことで、第２モデル５２を生成する。制御部１１は一連の処理を終了する。 Based on the training data, the control unit 11 generates a second model 52 that, when an image of skin tissue is input, determines whether each stratum corneum cell in the image is a defective cell (step S32). For example, the control unit 11 generates a decision tree as the second model 52. The control unit 11 extracts features (area, circularity, pixel value, etc.) of each stratum corneum cell from the training image and divides the data set consisting of the features of each stratum corneum cell according to standard values such as impurity, thereby constructing a decision tree structure. The control unit 11 generates the second model 52 by recursively repeating the construction of the decision tree structure. The control unit 11 ends the series of processes.

図１３は、角層細胞の分析処理の手順を示すフローチャートである。図１３に基づき、角層細胞の撮像画像から角層細胞の分析を行う際の処理内容について説明する。
端末２の制御部２１は、被験者の皮膚組織を撮像した画像を端末２から取得する（ステップＳ５１）。制御部２１は、取得した画像を第１モデル５１に入力することで、他の角層細胞と重なり合っている部分を含めて、各角層細胞の輪郭を識別する（ステップＳ５２）。 13 is a flowchart showing the procedure of the analysis process of stratum corneum cells. The process of analyzing stratum corneum cells from a captured image of stratum corneum cells will be described with reference to FIG.
The control unit 21 of the terminal 2 acquires an image of the subject's skin tissue from the terminal 2 (step S51). The control unit 21 inputs the acquired image into the first model 51, thereby identifying the contour of each stratum corneum cell, including the portion where the stratum corneum cell overlaps with other stratum corneum cells (step S52).

制御部２１は、輪郭を識別した各角層細胞が欠損細胞であるか否かを判定し、欠損細胞を分析対象から除外する（ステップＳ５３）。具体的には、制御部２１は、各角層細胞の特徴量を画像から抽出し、抽出した特徴量を第２モデル５２に入力することで、欠損細胞であるか否かを判定する。 The control unit 21 determines whether each stratum corneum cell whose contour has been identified is a defective cell and excludes the defective cell from the analysis target (step S53). Specifically, the control unit 21 extracts the feature values of each stratum corneum cell from the image and inputs the extracted feature values into the second model 52 to determine whether the cell is a defective cell.

制御部２１は、ステップＳ５３で除外した欠損細胞以外の各角層細胞の輪郭の識別結果に基づき、角層細胞の状態を表すパラメータを算出する（ステップＳ５４）。当該パラメータは、面積、円形度等のように、個々の角層細胞の状態を表すパラメータのほか、オーバーラップ面積率、オーバーラップ距離等のように、角層細胞同士の重なり度合いを表すパラメータを含む。 The control unit 21 calculates parameters representing the state of the stratum corneum cells based on the results of identifying the contours of each stratum corneum cell other than the defective cells excluded in step S53 (step S54). These parameters include parameters representing the state of individual stratum corneum cells, such as area and circularity, as well as parameters representing the degree of overlap between stratum corneum cells, such as overlap area ratio and overlap distance.

制御部２１は、角層細胞の輪郭の識別結果、及びステップＳ５４で算出したパラメータを表示する（ステップＳ５５）。具体的には上述の如く、制御部２１は、各角層細胞にラベルを重畳した画像を表示するほか、各種パラメータを一覧表示する。制御部２１は、欠損細胞に該当する角層細胞の指定入力を受け付ける（ステップＳ５６）。制御部２１は、ステップＳ５１で取得した画像、ステップＳ５４で算出したパラメータのほか、欠損細胞であるか否かを表すフラグを画像ＤＢ２６１に記憶し（ステップＳ５７）、一連の処理を終了する。 The control unit 21 displays the results of identifying the contours of the stratum corneum cells and the parameters calculated in step S54 (step S55). Specifically, as described above, the control unit 21 displays an image in which labels are superimposed on each stratum corneum cell, and also displays a list of various parameters. The control unit 21 accepts input specifying stratum corneum cells that correspond to defective cells (step S56). The control unit 21 stores the image acquired in step S51, the parameters calculated in step S54, and a flag indicating whether the cell is defective in the image DB 261 (step S57), and ends the series of processes.

以上より、本実施の形態１によれば、被験者の皮膚組織の画像から角層細胞に関する分析を好適に行うことができる。 As described above, according to this first embodiment, analysis of stratum corneum cells can be performed effectively from images of the subject's skin tissue.

（実施の形態２）
実施の形態１では、被験者の皮膚組織の撮像画像から、角層細胞の状態を表すパラメータを算出する形態について説明した。本実施の形態では、撮像画像から算出した角層細胞のパラメータと、画像以外の被験者の皮膚データとの相関関係を解析する形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。 (Embodiment 2)
In the first embodiment, a configuration was described in which parameters representing the state of stratum corneum cells were calculated from a captured image of a subject's skin tissue. In the present embodiment, a configuration is described in which the correlation between the stratum corneum cell parameters calculated from the captured image and the subject's skin data other than the image is analyzed. Note that the same reference numerals are used to designate content that overlaps with the first embodiment, and description thereof will be omitted.

図１４は、実施の形態２の概要を示す説明図である。図１４では、図８で例示した画面において、角層細胞のパラメータ（図１４では角層細胞の面積）と、皮膚データ（ＴＥＷＬ）との相関関係を示すグラフ１４０２が表示される様子を図示している。図１４に基づき、本実施の形態の概要を説明する。 Figure 14 is an explanatory diagram showing an overview of embodiment 2. Figure 14 illustrates the display of a graph 1402 showing the correlation between stratum corneum cell parameters (the area of stratum corneum cells in Figure 14) and skin data (TEWL) on the screen shown in Figure 8. An overview of this embodiment will be explained based on Figure 14.

皮膚データは、被験者の皮膚組織の状態を表すデータである。本実施の形態では皮膚データとして、被験者に対して予め実施したアンケートへの回答、及び皮膚組織の測定データを用いる。アンケートは、皮膚（肌）の状態に関するアンケートであり、例えば年齢、性別、スキンケアの頻度・方法、肌タイプ（脂性肌、乾燥肌等）、ストレス状態（ストレスチェックの質問）、その他の肌の悩みに関する質問項目を含む。測定データは、所定の測定方法を用いて皮膚組織の状態を測定したデータであり、例えば角層中の水分量（皮膚の電気的性質（電気伝導度、静電容量）や光学的性質（ラマン分光法等により測定可能な水分子の運動）から測定）、ＴＥＷＬ（ＴＥＷＡメータにより測定）、しわ（しわ測定装置により測定）、シミ、肌のつや・透明度、明るさ、赤み、黄み、毛穴、キメ、くすみ、色むら（顔写真、測色計等により測定）を含む。なお、これらは皮膚データの一例であり、皮膚データは上記に限定されるものではない。 Skin data represents the condition of the subject's skin tissue. In this embodiment, the skin data used is responses to a questionnaire administered to the subject in advance, as well as measurement data of the skin tissue. The questionnaire is about the condition of the skin, and includes questions about age, gender, frequency and method of skin care, skin type (oily skin, dry skin, etc.), stress level (stress check questions), and other skin concerns. Measurement data is data obtained by measuring the condition of the skin tissue using a specified measurement method, and includes, for example, the amount of moisture in the stratum corneum (measured from the electrical properties (electrical conductivity, capacitance) and optical properties (the movement of water molecules, which can be measured using Raman spectroscopy, etc.) of the skin), TEWL (measured using a TEWA meter), wrinkles (measured using a wrinkle measurement device), age spots, skin gloss/transparency, brightness, redness, yellowness, pores, texture, dullness, and uneven skin tone (measured using facial photographs, a colorimeter, etc.). Note that these are examples of skin data, and skin data is not limited to the above.

端末２は、これらの皮膚データを予め被験者ＤＢ２６２に記憶してある。端末２は、当該皮膚データと、皮膚組織の画像から分析した角層細胞のパラメータ（角層細胞の面積、円形度等）との相関関係を解析する。具体的な解析方法は特に問わないが、例えば端末２は、角層細胞のパラメータを説明変数とし、皮膚データを目的変数とする回帰分析を行うことで、両者の相関関係を解析する。 Terminal 2 stores this skin data in advance in subject DB 262. Terminal 2 analyzes the correlation between the skin data and stratum corneum cell parameters (area, circularity, etc.) analyzed from images of skin tissue. There are no particular restrictions on the specific analysis method, but for example, terminal 2 analyzes the correlation between the two by performing regression analysis with the stratum corneum cell parameters as explanatory variables and the skin data as target variables.

例えば端末２は、図８等と同様に角層細胞の分析結果を表示する場合に、図１４に示すように、被験者の皮膚データを併せて表示する。具体的には、端末２は、パラメータ表示欄８２の下側に位置する皮膚データ表示欄１４０１に、皮膚データを一覧表示する。例えば端末２は、リスト表示欄８１において一又は複数のフォルダ（被験者）の選択入力を受け付けた場合、皮膚データ表示欄１４０１を出現させ、選択されたフォルダに対応する一又は複数の被験者の皮膚データを一覧表示する。 For example, when displaying the analysis results of stratum corneum cells as in FIG. 8, etc., terminal 2 also displays the subject's skin data as shown in FIG. 14. Specifically, terminal 2 displays a list of skin data in skin data display field 1401 located below parameter display field 82. For example, when terminal 2 receives a selection input of one or more folders (subjects) in list display field 81, it causes skin data display field 1401 to appear and displays a list of skin data for one or more subjects corresponding to the selected folders.

また、端末２は、皮膚データと角層細胞の分析パラメータとの相関関係を解析した解析結果を併せて表示する。例えば端末２は、図１４に示すように、両者の相関関係を示すグラフ１４０２を表示する。グラフ１４０２は、横軸を角層細胞のパラメータ、縦軸を皮膚データとするグラフである。グラフ１４０２内の各プロットは各被験者を表し、グラフ１４０２内の直線は解析結果に基づく近似直線を表す。 In addition, terminal 2 also displays the analysis results of the correlation between the skin data and the analysis parameters of stratum corneum cells. For example, terminal 2 displays graph 1402 showing the correlation between the two, as shown in FIG. 14. Graph 1402 is a graph with the stratum corneum cell parameters on the horizontal axis and the skin data on the vertical axis. Each plot in graph 1402 represents a subject, and the straight line in graph 1402 represents an approximate straight line based on the analysis results.

例えば端末２は、パラメータ表示欄８２及び皮膚データ表示欄１４０１から、説明変数とするパラメータ、及び目的変数とする皮膚データを選択する選択入力を受け付ける。端末２は、選択されたパラメータ及び皮膚データの相関関係の解析結果に基づき、グラフ１４０２を表示する。なお、図１４では説明変数及び目的変数が単一とした解析（単回帰）を行った場合を図示しているが、説明変数及び／又は目的変数を複数とした解析（重回帰）を行ってもよい。 For example, terminal 2 accepts selection inputs from parameter display field 82 and skin data display field 1401 to select parameters to be used as explanatory variables and skin data to be used as objective variables. Terminal 2 displays graph 1402 based on the analysis results of the correlation between the selected parameters and skin data. Note that while Figure 14 illustrates an analysis performed with a single explanatory variable and objective variable (simple regression), an analysis performed with multiple explanatory variables and/or objective variables (multiple regression) may also be performed.

以上より、本実施の形態によれば、第１モデル５１を用いた角層細胞の分析結果（パラメータ）を皮膚データと組み合わせることで、角層細胞の状態と皮膚の状態との相関関係を調べることができる。 As described above, according to this embodiment, by combining the analysis results (parameters) of stratum corneum cells using the first model 51 with skin data, it is possible to examine the correlation between the state of stratum corneum cells and the state of the skin.

図１５は、実施の形態２に係るサーバ１が実行する処理手順を示すフローチャートである。角層細胞の状態を表すパラメータを算出した後（ステップＳ５４）、端末２は以下の処理を実行する。
端末２の制御部２１は、被験者の皮膚データを被験者ＤＢ２６２から取得する（ステップＳ２０１）。皮膚データは、被験者の皮膚組織の状態を表すデータであり、皮膚状態に関するアンケートへの被験者の回答、及び／又は皮膚組織の測定データを含む。 15 is a flowchart showing the processing procedure executed by the server 1 according to embodiment 2. After calculating the parameters representing the state of the stratum corneum cells (step S54), the terminal 2 executes the following processing.
The control unit 21 of the terminal 2 acquires skin data of the subject from the subject DB 262 (step S201). The skin data is data representing the condition of the subject's skin tissue, and includes the subject's responses to a questionnaire regarding the skin condition and/or measurement data of the skin tissue.

制御部２１は、角層細胞の輪郭の識別結果、画像から分析した各種パラメータ等を表示する（ステップＳ２０２）。この場合に制御部２１は、併せて被験者の皮膚データを一覧表示する。 The control unit 21 displays the results of identifying the contours of the stratum corneum cells, various parameters analyzed from the image, etc. (Step S202). In this case, the control unit 21 also displays a list of the subject's skin data.

制御部２１は、被験者の皮膚データと、各パラメータとの相関関係を解析し、解析結果を表示する（ステップＳ２０３）。具体的には上述の如く、制御部２１は、説明変数とする角層細胞のパラメータと、目的変数とする皮膚データとを選択する選択入力を受け付け、選択されたパラメータ及び皮膚データの相関関係を解析（例えば回帰分析）する。制御部２１は、両者の相関を示すグラフ１４０２を表示する。制御部２１は処理をステップＳ５６に移行する。 The control unit 21 analyzes the correlation between the subject's skin data and each parameter and displays the analysis results (step S203). Specifically, as described above, the control unit 21 accepts a selection input to select the stratum corneum cell parameters to be used as explanatory variables and the skin data to be used as target variables, and analyzes (e.g., regression analysis) the correlation between the selected parameters and the skin data. The control unit 21 displays a graph 1402 showing the correlation between the two. The control unit 21 proceeds to step S56.

以上より、本実施の形態２によれば、角層細胞の状態が皮膚の状態に与える影響を客観的に調べることができる。 As described above, according to this second embodiment, it is possible to objectively examine the effect that the state of stratum corneum cells has on the state of the skin.

（変形例）
実施の形態２では、角層細胞の分析パラメータを皮膚状態の解析に応用する形態について説明した。一方で、他の用途に分析パラメータを応用することも想定される。 (Modification)
In the second embodiment, the application of the analysis parameters of stratum corneum cells to the analysis of skin conditions has been described. However, it is also conceivable that the analysis parameters may be applied to other uses.

例えば端末２は、角層細胞の分析パラメータから、被験者の皮膚のターンオーバー速度の簡易測定（推定）を行ってもよい。なお、ターンオーバーとは、生体の細胞又は組織が生まれ変わる代謝サイクルを指す。 For example, terminal 2 may perform a simple measurement (estimation) of the subject's skin turnover rate from the analysis parameters of the stratum corneum cells. Turnover refers to the metabolic cycle in which cells or tissues in a living body are regenerated.

具体的には、端末２は、撮像画像から分析したパラメータのうち、角層細胞の面積に基づいてターンオーバー速度（ターンオーバーの周期）を推定する。ターンオーバーが遅延する場合、時間の経過に伴って角層細胞は扁平になり、面積が大きくなる。そこで端末２は、角層細胞の面積からターンオーバー速度を推定する。例えば端末２は、被験者の角層細胞の平均面積からターンオーバー速度を推定し、推定結果を端末２に表示させる。なお、端末２は面積以外に、円形度、角数等の他のパラメータを用いてもよい。 Specifically, terminal 2 estimates the turnover rate (turnover cycle) based on the area of the stratum corneum cells, which is one of the parameters analyzed from the captured image. If turnover is delayed, the stratum corneum cells flatten over time, increasing their area. Therefore, terminal 2 estimates the turnover rate from the area of the stratum corneum cells. For example, terminal 2 estimates the turnover rate from the average area of the subject's stratum corneum cells, and displays the estimated result on terminal 2. Note that terminal 2 may use other parameters in addition to area, such as circularity and number of corners.

上述の点以外は実施の形態１と同様であるため、本実施の形態ではフローチャートその他の詳細な説明を省略する。 Other than the above, this embodiment is the same as embodiment 1, so detailed explanations of the flowchart and other aspects will be omitted.

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。 The embodiments disclosed herein should be considered in all respects to be illustrative and not restrictive. The scope of the present invention is indicated by the claims, not by the meaning described above, and is intended to include all modifications within the meaning and scope of the claims.

１サーバ（情報処理装置）
１１制御部
１２主記憶部
１３通信部
１４補助記憶部
Ｐ１プログラム
５１第１モデル
５２第２モデル
２６１画像ＤＢ
２６２被験者ＤＢ
２端末
２１制御部
２２主記憶部
２３通信部
２４表示部
２５入力部
２６補助記憶部
Ｐ２プログラム 1. Server (information processing device)
11 Control unit 12 Main memory unit 13 Communication unit 14 Auxiliary memory unit P1 Program 51 First model 52 Second model 261 Image DB
262 Subject DB
2 Terminal 21 Control unit 22 Main memory unit 23 Communication unit 24 Display unit 25 Input unit 26 Auxiliary memory unit P2 Program

Claims

Acquire an image of the subject's skin tissue;
identifying the contours of each stratum corneum cell by inputting the acquired image into a first model that has been trained to identify the contours of each stratum corneum cell, including portions that overlap with other stratum corneum cells , when the image is input;
determining whether each of the stratum corneum cells whose contours have been identified by the first model is a defective cell based on the image;
Calculating a parameter representing the state of each of the stratum corneum cells based on the results of identifying the contours of each of the stratum corneum cells, excluding the stratum corneum cells determined to be defective cells.
An information processing method in which processing is performed by a computer.

The information processing method according to claim 1 , wherein the parameters include a parameter representing a degree of overlap between the stratum corneum cells.

acquiring skin data representing a condition of the subject's skin tissue;
The information processing method according to claim 1 or 2 , further comprising analyzing a correlation between the skin data and the parameter.

the parameters include the area of the stratum corneum cells;
The information processing method according to claim 1 , further comprising estimating a turnover rate of the subject's skin based on the area of the stratum corneum cells.

The information processing method according to any one of claims 1 to 4, wherein the acquired image is input to a second model that has been trained to determine whether the stratum corneum cells in the image are defective cells when the image is input, thereby determining whether each of the stratum corneum cells is a defective cell.

displaying the image on a display unit in which labels are superimposed on the stratum corneum cells based on the result of identifying the contours of the stratum corneum cells using the first model;
receiving a designation input as to whether each of the stratum corneum cells on which the label is superimposed corresponds to a defective cell having a shape defect;
The information processing method according to claim 5 , wherein the second model is generated based on training data in which labels representing the stratum corneum cells designated as defective cells are assigned to the images.

extracting a feature amount of each of the stratum corneum cells from the image;
The information processing method according to claim 1 , further comprising determining whether each of the stratum corneum cells is a defective cell based on the extracted feature amount.

Acquire an image of the subject's skin tissue;
identifying the contours of each stratum corneum cell by inputting the acquired image into a first model that has been trained to identify the contours of each stratum corneum cell, including portions that overlap with other stratum corneum cells , when the image is input;
determining whether each of the stratum corneum cells whose contours have been identified by the first model is a defective cell based on the image;
Calculating a parameter representing the state of each of the stratum corneum cells based on the results of identifying the contours of each of the stratum corneum cells, excluding the stratum corneum cells determined to be defective cells.
A program that causes a computer to perform a process.

an acquisition unit that acquires an image of the skin tissue of the subject;
an identification unit that identifies the contour of each stratum corneum cell by inputting the acquired image into a first model that has been trained to identify the contour of each stratum corneum cell, including portions that overlap with other stratum corneum cells , when the image is input;
a determination unit that determines whether each of the stratum corneum cells whose contours have been identified by the first model is a defective cell based on the image;
a calculation unit that calculates parameters representing the state of each of the stratum corneum cells based on the results of identifying the contours of the stratum corneum cells excluding those determined to be defective cells; and
An information processing device comprising:

First training data is obtained in which a label is assigned to the contour of each stratum corneum cell, including a portion where the stratum corneum cell overlaps with another stratum corneum cell, for a group of images of skin tissue; and second training data is obtained in which a label is assigned to each stratum corneum cell in the image, indicating whether or not the stratum corneum cell is a defective cell, for a group of images of skin tissue .
generating a first model that identifies the contour of each stratum corneum cell, including a portion that overlaps with other stratum corneum cells, when an image of skin tissue is input based on the first training data;
A second model is generated based on the second training data to determine whether or not each stratum corneum cell in an image of a skin tissue is a defective cell when the image is input.
A method for generating trained models that allow computers to perform processing.