JP6781979B2

JP6781979B2 - Psychological state evaluation program and psychological state evaluation device

Info

Publication number: JP6781979B2
Application number: JP2016101637A
Authority: JP
Inventors: 美貴子隈元; 元継柳田
Original assignee: Individual
Current assignee: Individual
Priority date: 2016-05-20
Filing date: 2016-05-20
Publication date: 2020-11-11
Anticipated expiration: 2036-05-20
Also published as: JP2017205426A

Description

本発明は、被検体の心理状態を評価するための心理状態評価用プログラムと、この心理状態評価用プログラムが記録されたメモリを備えた心理状態評価装置とに関する。 The present invention relates to a psychological state evaluation program for evaluating the psychological state of a subject, and a psychological state evaluation device provided with a memory in which the psychological state evaluation program is recorded.

近年、幅広い分野において、生体の心理状態を正確に評価することのニーズが高まっている。このため、客観的なデータに基づいた心理状態評価方法として、体温等の生体情報を利用することが注目されている。なかでも、鼻部の皮膚温度は、被検体の心理状態（例えば、ストレス状態等）と高い相関を持つことが知られており、この性質を利用した装置も提案されている。例えば、特許文献１には、サーモカメラによって撮影された被験者の赤外顔画像を用いて鼻部皮膚温と額部皮膚温とを測定し、これらの差ΔＴに基づいてストレス度Ｓを算出するストレス測定装置が提案されている。 In recent years, there has been an increasing need to accurately evaluate the psychological state of a living body in a wide range of fields. For this reason, attention is being paid to using biological information such as body temperature as a psychological state evaluation method based on objective data. Among them, it is known that the skin temperature of the nose has a high correlation with the psychological state (for example, stress state) of the subject, and a device utilizing this property has also been proposed. For example, in Patent Document 1, the nose skin temperature and the forehead skin temperature are measured using an infrared facial image of a subject taken by a thermo camera, and the stress degree S is calculated based on the difference ΔT between them. A stress measuring device has been proposed.

また、特許文献２には、被験者の顔部位の位置を自動的かつ機械的に特定し、そこで特定された顔部位の温度を測定することにより、被験者の心理状態レベルを算出するようにした心理状態計測装置が提案されている。同文献の段落００９２〜００９８等には、温度を測定する顔部位として、鼻や額が挙げられており、鼻と額との温度差を用いて心理状態レベルを数値化することが記載されている。 Further, in Patent Document 2, the psychology of the subject is calculated by automatically and mechanically specifying the position of the face part of the subject and measuring the temperature of the specified face part. A state measuring device has been proposed. In paragraphs 0092 to 0998 of the same document, the nose and forehead are mentioned as facial parts for measuring temperature, and it is described that the psychological state level is quantified using the temperature difference between the nose and the forehead. There is.

特開平９−２８６７８号公報Japanese Unexamined Patent Publication No. 9-288678 特開２００７−６８６２０号公報JP-A-2007-68620

しかし、特許文献１には、サーモカメラによって撮影された被験者の赤外顔画像から、どのようにして鼻や額等の顔部位の位置を特定するかについては記載されていない。このため、同文献に記載のストレス測定装置では、温度データを抽出する顔部位（鼻や額等）の位置を、赤外顔画像から手作業で選択するものと推測されるが、この場合には、作業者の癖等によって位置選択の仕方に偏りが生じる虞があり、客観的な温度データを得ることができないという問題があった。また、作業に時間がかかってしまうという問題もあった。 However, Patent Document 1 does not describe how to identify the position of a facial part such as the nose or forehead from an infrared facial image of a subject taken by a thermo camera. Therefore, in the stress measuring device described in the same document, it is presumed that the position of the facial part (nose, forehead, etc.) from which the temperature data is extracted is manually selected from the infrared facial image. Has a problem that objective temperature data cannot be obtained because there is a possibility that the method of position selection may be biased due to the habit of the operator or the like. There is also the problem that the work takes time.

これに対し、特許文献１に記載の心理状態計測装置は、鼻等の顔部位の位置を自動的かつ機械的に特定するものであるため、鼻等の体温情報を客観的なデータとして取得することができる。しかし、同文献の心理状態計測装置は、同文献の段落００８８〜００９０に記載されているように、被験者の顔の可視画像（顔画像データ）と温度画像（サーモグラフデータ）とに基づいて顔部位の位置を特定するものであったため、装置の処理負荷が大きくなるという問題があった。加えて、被験者の顔画像データを扱ううえでは、顔画像データが外部に流出しないようにする等、プライバシー保護のための措置を講ずる必要がある。このため、装置の設置箇所や用途等が制限されるほか、装置をネットワークに接続する場合にはセキュリティー対策のための手間や費用を要するという問題もあった。また、被験者によっては、顔画像データを撮影されること自体を不快に感じる虞もあった。 On the other hand, since the psychological state measuring device described in Patent Document 1 automatically and mechanically identifies the position of a facial part such as the nose, body temperature information such as the nose is acquired as objective data. be able to. However, the psychological state measuring device of the same document has a face based on a visible image (face image data) and a temperature image (thermograph data) of the subject's face, as described in paragraphs 0088 to 0090 of the same document. Since the position of the part is specified, there is a problem that the processing load of the apparatus becomes large. In addition, when handling the face image data of the subject, it is necessary to take measures for privacy protection such as preventing the face image data from leaking to the outside. For this reason, there is a problem that the installation location and application of the device are limited, and when the device is connected to the network, labor and cost for security measures are required. In addition, some subjects may feel uncomfortable to be photographed with facial image data.

ところで、特許文献２の図５（ｂ）等には、サーモグラフデータのみを用いても顔部位の位置を特定することができる旨が記載されている。同文献には、サーモグラフデータのみを用いてどのように顔部位の位置を特定するのかについては、具体的に記載されていない。しかし、同文献の段落００８９，００９０等の記載から類推するに、サーモグラフデータから顔の輪郭等を特定し、その顔（顔の輪郭等）に対する相対的な位置やサイズの情報をもとに鼻等の顔部位の位置を特定するものと思われる。ここで、「顔に対する相対的な位置やサイズの情報」については、具体的には記載されていないが、例えば、予備計測等によって予め求められた、顔に対する鼻等の平均的な位置やサイズの情報等であると推測される。 By the way, it is described in FIG. 5B and the like of Patent Document 2 that the position of the facial part can be specified by using only the thermograph data. The document does not specifically describe how to specify the position of the facial part using only the thermograph data. However, by analogy with the description in paragraphs 089,0900 and the like of the same document, the contour of the face is specified from the thermograph data, and the position and size of the face (the contour of the face, etc.) are used as the relative position and size information. It seems to identify the position of facial parts such as the nose. Here, "information on the relative position and size with respect to the face" is not specifically described, but for example, the average position and size of the nose and the like with respect to the face obtained in advance by preliminary measurement or the like. It is presumed that it is the information of.

しかし、上記のような方法では、被験者の鼻等の顔部位の位置が平均的でない場合には、鼻等の顔部位の位置を正確に特定することができず、測定したい箇所からずれた場所の温度を測定してしまうという問題があった。また、仮に被験者の鼻等の顔部位の位置が平均的な範囲に納まっていたとしても、サーモグラフデータの撮影時に、被験者の顔に前髪等がかかっている場合や、被験者が着帽している場合には、サーモグラフデータ上で顔の一部が欠けてしまい、やはり鼻等の位置を正確に特定することができなくなるという問題もあった。 However, with the above method, if the position of the face part such as the nose of the subject is not average, the position of the face part such as the nose cannot be accurately specified, and the position deviates from the part to be measured. There was a problem of measuring the temperature of. Even if the position of the face part such as the nose of the subject is within the average range, if the subject's face has bangs or the like when the thermograph data is taken, or the subject wears a cap. In that case, a part of the face is missing on the thermograph data, and there is also a problem that the position of the nose or the like cannot be accurately specified.

本発明は、前記課題を解決するために為されたものであり、被検体の顔画像データを用いることなく、温度を取得すべき鼻の位置を高精度かつ自動的に特定することができ、被検体の心理状態を精度良く評価することができる心理状態評価用プログラムを提供するものである。また、この心理状態評価用プログラムが記録されたメモリを備えた心理状態評価装置を提供することも本発明の目的である。 The present invention has been made to solve the above problems, and it is possible to automatically and accurately specify the position of the nose from which the temperature should be obtained without using the facial image data of the subject. It provides a psychological state evaluation program capable of accurately evaluating the psychological state of a subject. It is also an object of the present invention to provide a psychological state evaluation device provided with a memory in which this psychological state evaluation program is recorded.

上記課題は、
被検体の心理状態を評価するための心理状態評価用プログラムであって、
コンピューターに、
被検体の顔面の熱分布画像（サーモグラフ等）を取得する熱分布画像取得手順と、
熱分布画像取得手順で取得された熱分布画像から鼻の左端部及び右端部の位置を推定する鼻端部推定手順と、
鼻端部推定手順で推定された鼻の左端部と右端部との間に位置する箇所を鼻の頂部と推定する鼻頂部推定手順と、
鼻頂部推定手順で推定された鼻の頂部の温度Ｔ_１を、前記熱分布画像から取得する鼻頂部温度取得手順と、
鼻頂部温度取得手順で取得した温度Ｔ_１に基づいて被検体の心理状態を評価する心理状態評価手順と、
心理状態評価手順での評価結果を出力する評価結果出力手順と
を実行させる
ことを特徴とする心理状態評価用プログラム
を提供することによって解決される。 The above issues are
It is a psychological state evaluation program for evaluating the psychological state of a subject.
On the computer
A heat distribution image acquisition procedure for acquiring a heat distribution image (thermograph, etc.) of the face of the subject, and
The nose end estimation procedure for estimating the positions of the left and right ends of the nose from the heat distribution image acquired in the heat distribution image acquisition procedure,
The nose top estimation procedure that estimates the location between the left and right ends of the nose estimated by the nose tip estimation procedure as the top of the nose,
The temperature T ₁ of the top of the estimated nose Hanaitadaki section estimation procedure, a Hanaitadaki unit temperature obtaining step of obtaining from the heat distribution image,
A psychological state evaluation procedure for evaluating the psychological state of a subject based on the temperature T ₁ acquired in the nose top temperature acquisition procedure, and a psychological state evaluation procedure.
This is solved by providing a psychological state evaluation program characterized by executing an evaluation result output procedure that outputs an evaluation result in the psychological state evaluation procedure.

これにより、被検体の顔画像データを用いることなく、温度を取得すべき鼻の位置を高精度かつ自動的に特定することができ、被検体の心理状態を精度良く評価することができる。すなわち、本発明の心理状態評価用プログラムは、顔に対する平均的な位置やサイズに基づいて鼻の位置を推定するのではなく、熱分布画像が有する情報に基づいて鼻の左端部及び右端部の位置を推定し、これを基に鼻の頂部の位置を推定するものであるため、被検体の鼻の位置が平均的でない場合にも、正確に鼻の頂部の位置を推定することができる。これにより、鼻の頂部の温度Ｔ_１を取得する画像範囲を小さく絞ることができ、ノイズ成分を減らして高い精度で心理状態評価を行うことができる。鼻の左端部及び右端部は、心理状態に関わらず熱分布画像において暗点（低温点）として現れるため、熱分布画像のみからその位置を推定することが可能である。加えて、本発明の心理状態評価用プログラムにおいては、鼻の中でも特に頂部の温度Ｔ_１を心理状態評価の指標としているため、心理状態評価の精度をさらに向上させることができる。というのも、鼻の頂部は、鼻全体の中でも、被検体の心理状態が変化した際に最も大きな温度変化を示す部分であるということが、出願人の研究によって明らかになっているからである。 As a result, the position of the nose from which the temperature should be acquired can be specified with high accuracy and automatically without using the facial image data of the subject, and the psychological state of the subject can be evaluated with high accuracy. That is, the program for evaluating the psychological state of the present invention does not estimate the position of the nose based on the average position and size with respect to the face, but rather on the left end and the right end of the nose based on the information contained in the heat distribution image. Since the position is estimated and the position of the top of the nose is estimated based on this, the position of the top of the nose can be accurately estimated even when the position of the nose of the subject is not average. As a result, the image range in which the temperature T ₁ of the top of the nose is acquired can be narrowed down, the noise component can be reduced, and the psychological state can be evaluated with high accuracy. Since the left and right ends of the nose appear as dark spots (low temperature spots) in the heat distribution image regardless of the psychological state, it is possible to estimate their positions only from the heat distribution image. In addition, in the mental state evaluation program of the present invention, since the particular index for psychological state evaluation temperature T ₁ of the top among the nose, it is possible to further improve the accuracy of the psychological state evaluation. This is because the applicant's research has revealed that the top of the nose is the part of the entire nose that shows the largest temperature change when the psychological state of the subject changes. ..

また、本発明の心理状態評価用プログラムは、被験者の顔画像データを必要とせず、サーモグラフデータ等の熱分布画像に基づいて鼻の頂部の位置を推定し、心理状態評価を行うものであるため、被検体のプライバシー保護の観点からも優れている。というのも、熱分布画像は顔画像データとは異なり、それだけで個人を特定することができる性質のものではないからである。なお、本発明の心理状態評価用プログラムは、通常、人間を被検体とする心理状態評価に用いられるが、他の恒温動物を被検体とする心理状態評価に用いることもできる。 Further, the program for evaluating the psychological state of the present invention does not require the facial image data of the subject, estimates the position of the top of the nose based on the heat distribution image such as thermograph data, and evaluates the psychological state. Therefore, it is also excellent from the viewpoint of protecting the privacy of the subject. This is because, unlike the facial image data, the heat distribution image does not have the property of being able to identify an individual by itself. The psychological state evaluation program of the present invention is usually used for psychological state evaluation using a human as a subject, but can also be used for psychological state evaluation using another homeothermic animal as a subject.

本発明の心理状態評価用プログラムにおいては、心理状態評価手順において、鼻頂部温度取得手順で取得した温度Ｔ_１を、平静状態の被検体から予め取得しておいた鼻の頂部の基準温度と比較することで、被検体の心理状態を評価するようにすることもできる。しかし、この場合には、同一の被検体の熱分布画像を、時間を空けて少なくとも２回撮影する必要があるため、撮影作業に時間を要するとともに、その間に気温や湿度等の外部環境が変化した場合には、その変化が心理状態評価の精度に悪影響を及ぼす虞がある。このため、本発明の心理状態評価用プログラムにおいては、コンピューターに、熱分布画像取得手順で取得された熱分布画像における顔の特定部位（鼻の頂部を除く。）の温度Ｔ_２を取得する特定部位温度取得手順をさらに実行させ、心理状態評価手順において、温度Ｔ_１と温度Ｔ_２とを比較することにより被検体の心理状態を評価するようにすると好ましい。これにより、熱分布画像の撮影を１回行うだけで心理状態評価を行うことが可能になるとともに、外部環境の変化が心理状態評価の精度に及ぼす悪影響を小さくすることもできる。 In the psychological state evaluation program of the present invention, in the psychological state evaluation procedure, the temperature T ₁ acquired in the nasal apex temperature acquisition procedure is compared with the reference temperature of the nasal apex acquired in advance from the subject in a calm state. By doing so, it is possible to evaluate the psychological state of the subject. However, in this case, since it is necessary to take the heat distribution image of the same subject at least twice with a time interval, the shooting work takes time and the external environment such as temperature and humidity changes during that time. If this happens, the change may adversely affect the accuracy of the psychological state evaluation. Therefore, in the psychological state evaluation program of the present invention, the computer acquires the temperature T ₂ of the specific part of the face (excluding the top of the nose) in the heat distribution image acquired in the heat distribution image acquisition procedure. It is preferable that the site temperature acquisition procedure is further executed and the psychological state of the subject is evaluated by comparing the temperature T ₁ and the temperature T ₂ in the psychological state evaluation procedure. As a result, the psychological state can be evaluated by taking the heat distribution image only once, and the adverse effect of the change in the external environment on the accuracy of the psychological state evaluation can be reduced.

温度Ｔ_２を取得するための前記特定部位は、被検体の顔面における鼻の頂部以外の部分であって、その温度が被検体の心理状態と低い相関を有する部位であれば、その箇所を特に限定されないが、顎とすると好ましい。これにより、より高い精度で心理状態評価を行うことが可能になる。というのも、顎は、熱分布画像においてその位置を容易に検出することができるからである。また、顎は、鼻と温度を比較するための部位として従来採用されることが多かった額とは異なり、髪や帽子で覆われることが少ない。このため、特定部位を顎とすることにより、熱分布画像を撮影するに際して、髪型を直したり帽子を脱いだりといった、ストレスの要因になり、ひいては心理状態の評価結果に影響を及ぼし得る作業を被検体に特に要求しなくとも、特定部位の温度Ｔ_２を取得可能な熱分布画像を撮影することができる。 If the specific part for acquiring the temperature T ₂ is a part other than the top of the nose on the face of the subject and the temperature has a low correlation with the psychological state of the subject, that part is particularly selected. The jaw is preferred, but not limited to. This makes it possible to evaluate the psychological state with higher accuracy. This is because the position of the jaw can be easily detected in the heat distribution image. Also, the chin is less likely to be covered with hair or a hat, unlike the forehead, which has traditionally been used as a site for comparing temperature with the nose. For this reason, by using the chin as a specific part, when taking a heat distribution image, it becomes a cause of stress such as fixing the hairstyle and taking off the hat, which in turn may affect the evaluation result of the psychological state. It is possible to take a heat distribution image capable of acquiring the temperature T ₂ of a specific part without particularly requesting the sample.

本発明の心理状態評価用プログラムにおいて、心理状態評価手順で評価される心理状態は、鼻の頂部の温度Ｔ_１と一定の相関関係を持つものであれば、どのようなものでもよい。本発明の心理状態評価用プログラムは、例えば、緊張状態、興奮状態、不安状態、快／不快状態等の評価を行うことができる。なかでも、ストレス状態は、鼻の頂部の温度Ｔ_１と高い相関を示すことが分かっている。このため、心理状態評価手順において評価される心理状態としては、ストレス状態が特に好適である。 In the psychological state evaluation program of the present invention, the psychological state evaluated by the psychological state evaluation procedure may be any as long as it has a certain correlation with the temperature T ₁ of the top of the nose. The psychological state evaluation program of the present invention can evaluate, for example, a tense state, an excited state, an anxiety state, a pleasant / unpleasant state, and the like. Among them, it is known that the stress state shows a high correlation with the temperature T _{1 at} the top of the nose. Therefore, the stress state is particularly suitable as the psychological state evaluated in the psychological state evaluation procedure.

本発明の心理状態評価用プログラムは、これが記録されたメモリを備えた心理状態評価装置を用いて実行させることができる。心理状態評価装置は、用途に応じてその大きさや種類を自由に決定することができる。例えば、商品開発やマーケティング等のために多数の被検体のデータを収集する場合には、比較的大きなデータ容量を備えた据置型の装置とすると好ましい。一方、屋外で心理状態調査を行う場合や、末端需要者が健康管理の一環として自己のストレスチェックを行う場合等には、本発明の心理状態評価用プログラムが記録されたメモリを備えた携帯型端末を用いると好ましい。これにより、使用場所を問わずに精度の高い心理状態評価を行うことができる。 The psychological state evaluation program of the present invention can be executed by using a psychological state evaluation device provided with a memory in which the program is recorded. The size and type of the psychological state evaluation device can be freely determined according to the application. For example, when collecting data of a large number of subjects for product development, marketing, etc., it is preferable to use a stationary device having a relatively large data capacity. On the other hand, when conducting a psychological state survey outdoors or when a terminal consumer conducts a self-stress check as part of health management, a portable type equipped with a memory in which the psychological state evaluation program of the present invention is recorded. It is preferable to use a terminal. As a result, it is possible to evaluate the psychological state with high accuracy regardless of the place of use.

以上のように、本発明によって、被検体の顔画像データを用いることなく、温度を取得すべき鼻の位置を高精度かつ自動的に特定することができ、被検体の心理状態を精度良く評価することができる心理状態評価用プログラムを提供することが可能になる。また、この心理状態評価用プログラムが記録されたメモリを備えた心理状態評価装置を提供することも可能になる。 As described above, according to the present invention, the position of the nose from which the temperature should be acquired can be automatically specified with high accuracy without using the facial image data of the subject, and the psychological state of the subject can be evaluated with high accuracy. It becomes possible to provide a psychological state evaluation program that can be performed. It is also possible to provide a psychological state evaluation device provided with a memory in which this psychological state evaluation program is recorded.

本発明の心理状態評価装置の構成例を示したブロック図である。It is a block diagram which showed the structural example of the psychological state evaluation apparatus of this invention. 本発明の心理状態評価用プログラムのフローチャートである。It is a flowchart of the psychological state evaluation program of this invention. 被検体の顔面の熱分布画像の一例を示した図である。It is a figure which showed an example of the heat distribution image of the face of a subject. 図２における鼻端部推定手順のフローチャートである。It is a flowchart of the nose tip estimation procedure in FIG. 図３（ａ）の熱分布画像を用いた、鼻頂部等の位置の推定例を説明する図である。It is a figure explaining the estimation example of the position of the nose top and the like using the heat distribution image of FIG. 3A.

以下、本発明の好適な実施形態について詳しく説明する。以下においては、本発明の心理状態評価用プログラム及び心理状態評価装置を、被検体のストレス状態を評価するために用いる場合について述べる。しかし、本発明の心理状態評価用プログラムは、ストレス状態の評価だけでなく、鼻の頂部の温度と相関を示すあらゆる心理状態の評価に用いることができる。 Hereinafter, preferred embodiments of the present invention will be described in detail. In the following, a case where the psychological state evaluation program and the psychological state evaluation device of the present invention are used to evaluate the stress state of a subject will be described. However, the psychological state evaluation program of the present invention can be used not only for evaluation of stress state but also for evaluation of any psychological state that correlates with the temperature of the top of the nose.

１．心理状態評価装置
図１は、本発明の心理状態評価装置１００の構成例を示したブロック図である。本実施態様の心理状態評価装置１００は、図１に示すように、コンピューター１１０と、サーモカメラ１２０と、表示装置１３０とを備えたものとなっている。コンピューター１１０は、プロセッサ１１１とメモリ１１２とを備えており、メモリ１１２には、本実施態様の心理状態評価用プログラムが記憶されている。本実施態様の心理状態評価装置１００は、コンピューター１１０に心理状態評価用プログラムを実行させることにより、図３に示すような被検体の顔面の熱分布画像２００から被検体のストレス状態を評価することができるものとなっている。被検体の顔面の熱分布画像２００は、コンピューター１１０に接続されたサーモカメラ１２０を用いて撮影される。撮影された熱分布画像２００やストレス状態の評価結果は、表示装置１３０に表示される。メモリ１１２としては、ハードディスクやＲＡＭ等の各種の記憶装置が例示される。サーモカメラ１２０は、心理状態評価装置１００に内蔵のものとしても、心理状態評価装置１００に対して接続可能な外部装置としてもよい。 1. 1. Psychological state evaluation device FIG. 1 is a block diagram showing a configuration example of the psychological state evaluation device 100 of the present invention. As shown in FIG. 1, the psychological state evaluation device 100 of the present embodiment includes a computer 110, a thermo camera 120, and a display device 130. The computer 110 includes a processor 111 and a memory 112, and the memory 112 stores the psychological state evaluation program of the present embodiment. The psychological state evaluation device 100 of the present embodiment evaluates the stress state of the subject from the heat distribution image 200 of the face of the subject as shown in FIG. 3 by causing the computer 110 to execute the program for evaluating the psychological state. Can be done. The heat distribution image 200 of the face of the subject is taken by using a thermo camera 120 connected to the computer 110. The captured heat distribution image 200 and the evaluation result of the stress state are displayed on the display device 130. Examples of the memory 112 include various storage devices such as a hard disk and RAM. The thermo camera 120 may be built in the psychological state evaluation device 100 or may be an external device that can be connected to the psychological state evaluation device 100.

本発明の心理状態評価装置１００は、据置型としてもよいが、携帯型の端末とすると好ましい。これにより、場所を問わずに精度の高い心理状態評価を行うことができる。この場合には、当該携帯型端末を、心理状態評価専用の端末としてもよいし、他の機能（例えば通話機能等）も併せ持つもの（例えば携帯電話やスマートフォン等）としてもよい。 The psychological state evaluation device 100 of the present invention may be a stationary type, but is preferably a portable terminal. As a result, it is possible to evaluate the psychological state with high accuracy regardless of the location. In this case, the portable terminal may be a terminal dedicated to the evaluation of the psychological state, or may also have other functions (for example, a call function) (for example, a mobile phone, a smartphone, etc.).

２．心理状態評価用プログラム
図２は、本発明の心理状態評価用プログラムのフローチャートである。本実施態様の心理状態評価用プログラムは、図２に示すように、熱分布画像取得手順Ｓ１と、鼻端部推定手順Ｓ２と、鼻頂部推定手順Ｓ３と、鼻頂部温度取得手順Ｓ４と、特定部位温度取得手順Ｓ５と、心理状態評価手順Ｓ６と、評価結果出力手順Ｓ７とで構成されている。以下、本発明の心理状態評価用プログラムがコンピューター１１０に実行させる各手順について、詳しく説明する。 2. Psychological state evaluation program FIG. 2 is a flowchart of the psychological state evaluation program of the present invention. As shown in FIG. 2, the program for evaluating the psychological state of the present embodiment specifies the heat distribution image acquisition procedure S1, the nose tip estimation procedure S2, the nose tip estimation procedure S3, and the nose tip temperature acquisition procedure S4. It is composed of a site temperature acquisition procedure S5, a psychological state evaluation procedure S6, and an evaluation result output procedure S7. Hereinafter, each procedure to be executed by the computer 110 by the psychological state evaluation program of the present invention will be described in detail.

２．１熱分布画像取得手順
熱分布画像取得手順Ｓ１は、被検体の顔面の熱分布画像２００（サーモグラフ等）を取得するための手順である。図３は、被検体の顔面の熱分布画像２００の一例を示した図である。図３（ａ）はストレス度が低い状態で撮影されたものであり、図３（ｂ）はストレス度が高い状態で撮影されたものである。熱分布画像取得手順Ｓ１では、被検体の顔面の熱分布画像２００をコンピューター１１０のメモリ１１２に取り込んで、後に続く鼻端部推定手順Ｓ２以降の処理を行うことができるようにする。熱分布画像２００は、予め撮影されたものをコンピューター１１０に取り込むようにすることもできるが、本実施態様においては、コンピューター１１０に接続されたサーモカメラ１２０を用いて撮影され、コンピューター１１０に自動的に取り込まれるようになっている。このとき、以降の手順におけるコンピューター１１０の処理負担を軽減する必要がある場合等には、取り込んだ熱分布画像２００の解像度を自動的に変更して、熱分布画像２００のデータサイズを小さくする手順をさらに備えてもよい。 2.1 Heat distribution image acquisition procedure The heat distribution image acquisition procedure S1 is a procedure for acquiring a heat distribution image 200 (thermograph or the like) of the face of a subject. FIG. 3 is a diagram showing an example of the heat distribution image 200 of the face of the subject. FIG. 3A was taken with a low stress level, and FIG. 3B was taken with a high stress level. In the heat distribution image acquisition procedure S1, the heat distribution image 200 of the face of the subject is taken into the memory 112 of the computer 110 so that the subsequent processing after the nose end estimation procedure S2 can be performed. The heat distribution image 200 may be captured in advance by the computer 110, but in the present embodiment, the heat distribution image 200 is captured by the thermo camera 120 connected to the computer 110 and automatically captured by the computer 110. It is designed to be incorporated into. At this time, if it is necessary to reduce the processing load of the computer 110 in the subsequent procedure, the procedure of automatically changing the resolution of the captured heat distribution image 200 to reduce the data size of the heat distribution image 200. May be further provided.

２．２鼻端部推定手順
鼻端部推定手順Ｓ２は、熱分布画像取得手順Ｓ１で取得された熱分布画像２００が有する情報に基づいて、鼻の左右端部の位置を自動的に推定するための手順である。図４は、図２における鼻端部推定手順Ｓ２のフローチャートである。図５は、図３（ａ）の熱分布画像２００を用いた、鼻頂部３３０等の位置の推定例を説明する図である。本実施態様における鼻端部推定手順Ｓ２は、図４に示すように、顔領域推定手順Ｓ２．１と、顔中央画像抽出手順Ｓ２．２と、エッジ検出手順Ｓ２．３と、鼻端点決定手順Ｓ２．４とを備えたものとなっている。以下、これらの手順について順に説明する。 2.2 Nose end estimation procedure The nose end estimation procedure S2 automatically estimates the positions of the left and right ends of the nose based on the information contained in the heat distribution image 200 acquired in the heat distribution image acquisition procedure S1. It is a procedure for. FIG. 4 is a flowchart of the nose end estimation procedure S2 in FIG. FIG. 5 is a diagram illustrating an example of estimating the position of the top of the nose 330 and the like using the heat distribution image 200 of FIG. 3A. As shown in FIG. 4, the nose end estimation procedure S2 in the present embodiment includes a face area estimation procedure S2.1, a face center image extraction procedure S2.2, an edge detection procedure S2.3, and a nose end point determination procedure. It is equipped with S2.4. Hereinafter, these procedures will be described in order.

２．２．１顔領域推定手順
顔領域推定手順Ｓ２．１は、熱分布画像２００（図５を参照。）における顔領域３００（被検体の顔面のうち、肌が露出した部分）の位置を推定するための手順である。本実施態様においては、熱分布画像２００における、所定温度（例えば、３０°Ｃ）よりも高くなっている部分を顔領域３００と推定している。この結果、図５に示すように、熱分布画像２００における背景や髪を除いた領域が顔領域３００として推定される。このとき、被検体が着帽していることや、髪が被検体の顔にかかっていること等によって、推定された顔領域３００の周辺部が実際の顔に比べて多少欠けていたとしても、問題なく以降の手順を行うことができる。 2.2.1 Face area estimation procedure Face area estimation procedure S2.1 determines the position of the face area 300 (the part of the subject's face where the skin is exposed) in the heat distribution image 200 (see FIG. 5). This is the procedure for estimating. In this embodiment, the portion of the heat distribution image 200 that is higher than the predetermined temperature (for example, 30 ° C) is estimated to be the face region 300. As a result, as shown in FIG. 5, the region excluding the background and hair in the heat distribution image 200 is estimated as the face region 300. At this time, even if the peripheral portion of the estimated face area 300 is slightly missing from the actual face due to the fact that the subject is wearing a hat or the hair is on the subject's face. , The following steps can be performed without any problem.

２．２．２顔中央画像抽出手順
顔中央画像抽出手順Ｓ２．２は、熱分布画像２００のうち、顔領域推定手順Ｓ２．１で推定された顔領域３００の中央部を含む範囲を、顔中央画像２１０として自動的に抽出するための手順である。具体的には、顔領域３００の位置及び大きさに対して予め相対的に定められた範囲を抽出する顔中央抽出用フィルタを用意しておき、これを、図５に示すように、顔領域推定手順Ｓ２．１を経た後の熱分布画像２００に適用することにより、顔中央画像２１０を抽出する。これにより、以降の手順で処理するデータ量を少なくして、コンピューター１１０の処理負担を軽減することができる。また、後述する鼻端点決定手順Ｓ２．４において、鼻左端部３１０及び鼻右端部３２０の位置を誤って推定することを防ぐこともできる。抽出された顔中央画像２１０は、熱分布画像取得手順Ｓ１で取り込んだ熱分布画像２００とは別のデータとしてコンピューター１１０のメモリ１１２に記憶するようにしてもよいが、この場合には、メモリ１１２に記憶すべきデータ量が大きくなってしまう。このため、本実施態様においては、顔中央抽出用フィルタを画像マスクとして熱分布画像２００に適応することで、顔中央画像２１０以外の部分では以降の処理を行わないようにしている。 2.2.2 Face center image extraction procedure Face center image extraction procedure S2.2 covers a range of the heat distribution image 200 including the central part of the face area 300 estimated in the face area estimation procedure S2.1. This is a procedure for automatically extracting as the central image 210. Specifically, a face center extraction filter that extracts a predetermined range relative to the position and size of the face region 300 is prepared, and as shown in FIG. 5, the face region is used. The face center image 210 is extracted by applying it to the heat distribution image 200 after the estimation procedure S2.1. As a result, the amount of data to be processed in the subsequent procedure can be reduced, and the processing load on the computer 110 can be reduced. Further, in the nose end point determination procedure S2.4 described later, it is possible to prevent the positions of the nose left end 310 and the nose right end 320 from being erroneously estimated. The extracted face center image 210 may be stored in the memory 112 of the computer 110 as data different from the heat distribution image 200 captured in the heat distribution image acquisition procedure S1, but in this case, the memory 112 The amount of data to be stored in is large. Therefore, in the present embodiment, the face center extraction filter is applied to the heat distribution image 200 as an image mask so that the subsequent processing is not performed on the portion other than the face center image 210.

顔中央画像２１０として抽出される部分の大きさや形状（顔中央抽出用フィルタの大きさや形状）は、少なくとも鼻左端部３１０、鼻右端部３２０及び鼻頂部３３０を含むものであれば、特に限定されない。ただし、後述する特定部位温度取得手順Ｓ５を備える場合には、特定部位温度取得手順Ｓ５において温度を取得する特定部位も顔中央画像２１０に含まれるようにすると好ましい。顔中央画像２１０として抽出される部分の形状は、楕円形状や多角形状とすることもできるが、矩形状とすると、以降の画像処理をシンプルなものとすることができる。本実施態様において、顔中央画像２１０の形状は、図５に示すように、鼻部及び顎部を含む矩形状としている。なお、熱分布画像２００のデータサイズが十分小さい場合や、熱分布画像２００が顔の中央部だけを写したものである場合等には、顔中央画像抽出手順Ｓ２．２を設けなくてもよい。 The size and shape of the portion extracted as the face center image 210 (size and shape of the face center extraction filter) are not particularly limited as long as they include at least the left end portion 310 of the nose, the right end portion 320 of the nose and the top portion 330 of the nose. .. However, when the specific part temperature acquisition procedure S5 described later is provided, it is preferable that the specific part for which the temperature is acquired in the specific part temperature acquisition procedure S5 is also included in the face center image 210. The shape of the portion extracted as the face center image 210 may be an elliptical shape or a polygonal shape, but if it is a rectangular shape, the subsequent image processing can be simplified. In the present embodiment, the shape of the central face image 210 is a rectangular shape including the nose and the chin as shown in FIG. If the data size of the heat distribution image 200 is sufficiently small, or if the heat distribution image 200 captures only the central part of the face, it is not necessary to provide the face center image extraction procedure S2.2. ..

２．２．３エッジ検出手順
エッジ検出手順Ｓ２．３は、顔中央画像抽出手順Ｓ２．２で抽出された顔中央画像２１０におけるエッジを検出するための手順である。ここで「エッジ」とは、所定値以上の温度差を有する領域同士が隣接する箇所における境界部分のことを言う。このエッジを検出することにより、顔中央画像２１０に含まれる各顔部位の輪郭や位置を推定することができる。既に述べたとおり、鼻左端部３１０及び鼻右端部３２０は、被検体のストレスの有無に関わらず、周囲（特に、隣接する頬部）よりも低い温度を示す（図３（ａ）及び図３（ｂ）を参照。）。このため、鼻左端部３１０と左頬部との境界と推定される鼻左端エッジＥ_１、及び、鼻右端部３２０と右頬部との境界と推定される鼻右端エッジＥ_２（図５を参照。）も、エッジとして検出される。 2.2.3 Edge detection procedure Edge detection procedure S2.3 is a procedure for detecting an edge in the face center image 210 extracted in the face center image extraction procedure S2.2. Here, the “edge” refers to a boundary portion where regions having a temperature difference of a predetermined value or more are adjacent to each other. By detecting this edge, the contour and position of each face portion included in the face center image 210 can be estimated. As already mentioned, the left end 310 of the nose and the right end 320 of the nose show lower temperatures than the surroundings (particularly the adjacent cheeks) regardless of the stress of the subject (FIGS. 3 (a) and 3). (B). Therefore, the left nose edge E ₁ presumed to be the boundary between the left nose 310 and the left cheek, and the right nose edge E ₂ presumed to be the boundary between the right nose 320 and the right cheek (FIG. 5). See also.) Is also detected as an edge.

エッジを検出する方法としては、一次微分フィルタや二次微分フィルタ（いわゆるラプラシアンフィルタ等）を用いる方法等、一般的な画像処理において用いられている方法を用いることができる。熱分布画像２００を二値化処理してからエッジを検出するようにしてもよい。 As a method for detecting an edge, a method used in general image processing such as a method using a first-order differential filter or a second-order differential filter (so-called Laplacian filter or the like) can be used. The edge may be detected after the heat distribution image 200 is binarized.

２．２．４鼻端点決定手順
鼻端点決定手順Ｓ２．４は、エッジ検出手順Ｓ２．３で検出されたエッジを用いて、鼻左端エッジＥ_１上の鼻左端点Ｐ_１と、鼻右端エッジＥ_２上の鼻右端点Ｐ_２とを自動的に決定するための手順である。鼻端点決定手順Ｓ２．４においては、まず、エッジ検出手順Ｓ２．３で検出されたエッジのうち、鼻左端エッジＥ_１及び鼻右端エッジＥ_２を抽出する。具体的には、顔領域３００の中央付近において所定の距離を空けて向かい合う一対のエッジを検出し、そのうち左側に位置するものを鼻左端エッジＥ_１と推定し、右側に位置するものを鼻右端エッジＥ_２と推定する。次に、図５に示すように、鼻左端エッジＥ_１上に位置する点のうち、最も左にあるものを鼻左端点Ｐ_１と決定し、鼻右端エッジＥ_２上に位置する点のうち、最も右にあるものを鼻右端点Ｐ_２と決定する。決定された鼻左端点Ｐ_１を鼻左端部３１０の左端点であると推定し、鼻右端点Ｐ_２を鼻右端部３２０の右端点であると推定する。以上で、本実施態様における鼻端部推定手順Ｓ２が完了する。 2.2.4 Nasal endpoints determination procedure nose end point determination procedure S2.4, using the edge detected by the edge detection procedure S2.3, the nose left point _{P 1} on the nasal leftmost edge _{E 1,} nose rightmost edge This is a procedure for automatically determining the right end point P ₂ of the nose on E ₂ . In the nose end point determination procedure S2.4, first, among the edges detected by the edge detection procedure S2.3, it extracts the nose left edge E ₁ and nose rightmost edge E _2. Specifically, to detect the pair of edges face each other at a predetermined distance in the vicinity of the center of the face region 300, of which the one located on the left side estimates that nose left edge E _1, nose rightmost those located on the right side Estimated to be edge E ₂ . Next, as shown in FIG. 5, among the points located on the left end edge E ₁ of the nose, the leftmost point is determined to be the left end point P ₁ of the nose, and among the points located on the right end edge E _{2 of} the nose. to determine what is the most right nose rightmost point P _2. Determined nose left point P ₁ is estimated to be the left end point of the nose left end 310, estimates the nose rightmost point P ₂ and a right end point of the nose right end 320. This completes the nose tip estimation procedure S2 in this embodiment.

鼻端部推定手順Ｓ２において、鼻左端部３１０及び鼻右端部３２０の位置を推定する方法は、上述した方法に限定されず、熱分布画像２００が有する情報から自動的に鼻左端部３１０及び鼻右端部３２０の位置を推定できるのであれば、どのような方法であってもよい。例えば、まず顔の中心部の熱分布パターンが、図３（ａ）のように、所定の距離を隔てて左右に並んだ一対の暗領域（低温領域）Ｄ_Ａを有するパターンＡと、図３（ｂ）のように、左右方向に所定の幅を有する一塊の暗領域（低温領域）Ｄ_Ｂを有するパターンＢとのどちらに近いかを判別して、パターンＡに近い場合には、一対の暗領域Ｄ_Ａのうち左側にあるものを鼻左端部３１０、右側にあるものを鼻右端部３２０と推定し、パターンＢに近い場合には、一塊の暗領域Ｄ_Ｂの両端部を鼻左端部３１０及び鼻右端部３２０と推定するようにしてもよい。しかし、本実施態様のように、熱分布画像２００のエッジを検出することにより鼻左端部３１０及び鼻右端部３２０の位置を推定するようにすると、場合分けを行う必要がないため、鼻端部推定手順Ｓ２をシンプルなものとすることができる。 In the nose end estimation procedure S2, the method of estimating the positions of the nose left end 310 and the nose right end 320 is not limited to the above-mentioned method, and the nose left end 310 and the nose are automatically estimated from the information contained in the heat distribution image 200. Any method may be used as long as the position of the right end portion 320 can be estimated. For example, first, the heat distribution pattern of the center of the face, as shown in FIG. 3 (a), the pattern A having a pair of dark region (low temperature region) D _A of side-by-side at a predetermined distance, 3 as in (b), to determine whether closer to either the pattern B having a dark region (low temperature region) D _B a mass which in the lateral direction with a predetermined width, when close to the pattern a, a pair Of the dark areas D _A, the one on the left side is estimated to be the left end of the nose 310, the one on the right side is estimated to be the right end of the nose 320, and if it is close to the pattern B, both ends of the dark area D _B are the left ends of the nose. It may be estimated to be 310 and 320 at the right end of the nose. However, if the positions of the left end portion 310 of the nose and the right end portion 320 of the nose are estimated by detecting the edge of the heat distribution image 200 as in the present embodiment, it is not necessary to classify the cases, so that the end portion of the nose The estimation procedure S2 can be simplified.

２．３鼻頂部推定手順
鼻頂部推定手順Ｓ３は、鼻端部推定手順Ｓ２で推定された鼻左端部３１０及び鼻右端部３２０の位置に基づいて、鼻頂部３３０の位置を自動的に推定するための手順である。本実施態様において、鼻頂部３３０の位置は、鼻左端点Ｐ_１及び鼻右端点Ｐ_２に対する鼻頂部３３０の平均的な位置関係から推定している。具体的には、鼻左端点Ｐ_１及び鼻右端点Ｐ_２の位置に対して、所定の相対位置にある所定の相対領域を、鼻頂部３３０として抽出する鼻頂部抽出用フィルタを用意しておき、これを、鼻端部推定手順Ｓ２を経た顔中央画像２１０に適用することで、鼻頂部３３０の位置を推定する。鼻頂部抽出用フィルタは、一定数以上の被検体を用いた予備実験等により予め求めた、鼻左端点Ｐ_１及び鼻右端点Ｐ_２に対する鼻頂部３３０の平均的な位置とサイズから作製する。本実施例においては、図５に示すように、鼻左端点Ｐ_１及び鼻右端点Ｐ_２の間に位置する略円形状の領域を鼻頂部３３０として推定している。鼻頂部抽出用フィルタによって鼻頂部３３０と推定される領域の形状は、特に限定されない。鼻頂部抽出用フィルタは、被検体の生物種や人種、年齢や性別等に合わせて複数用意することもできる。 2.3 Nose apex estimation procedure The nose apex estimation procedure S3 automatically estimates the position of the nose apex 330 based on the positions of the nose left end 310 and the nose right end 320 estimated in the nose end estimation procedure S2. It is a procedure for. In this embodiment, the position of the Hanaitadaki unit 330 is estimated from the average positional relationship Hanaitadaki portion 330 against the nose left points P ₁ and nose rightmost point P _2. Specifically, with respect to the position of the nose left point P ₁ and nose rightmost point P _2, a predetermined relative area in the predetermined relative position prepares the Hanaitadaki portion extraction filter that extracts the Hanaitadaki 330 By applying this to the face center image 210 that has undergone the nose tip estimation procedure S2, the position of the nose top 330 is estimated. Hanaitadaki portion extraction filter was preliminarily determined by a preliminary experiment or the like using the subject of more than a certain number, making the average position and size of Hanaitadaki portion 330 against the nose left points P ₁ and nose rightmost point P _2. In the present embodiment, as shown in FIG. 5, estimates a substantially circular region located between the nose left point P ₁ and nose rightmost point P ₂ as Hanaitadaki unit 330. The shape of the region estimated to be the top of the nose 330 by the filter for extracting the top of the nose is not particularly limited. A plurality of filters for extracting the top of the nose can be prepared according to the species, race, age, sex, etc. of the subject.

鼻頂部推定手順Ｓ３における鼻頂部３３０の推定方法は、鼻端部推定手順Ｓ２で推定された鼻左端部３１０及び鼻右端部３２０の位置に基づいて鼻頂部３３０の位置を自動的に推定するものであれば、前記の方法に限定されない。鼻頂部推定手順Ｓ３においては、単に、鼻左端点Ｐ_１と鼻右端点Ｐ_２との中点を鼻頂部３３０と推定することもできる。しかし、より高い精度で推定結果を得るためには、鼻頂部３３０の位置は、鼻左端点Ｐ_１及び鼻右端点Ｐ_２に対する鼻頂部３３０の平均的な位置とサイズに基づいて推定すると好ましい。 The method of estimating the nose top 330 in the nose top estimation procedure S3 automatically estimates the position of the nose top 330 based on the positions of the nose left end 310 and the nose right end 320 estimated in the nose tip estimation procedure S2. If so, the method is not limited to the above method. In Hanaitadaki section estimation procedure S3, simply, it is also possible to estimate the midpoint between the nose left point P ₁ and the nose rightmost point P ₂ and Hanaitadaki portion 330. However, in order to obtain an estimation result with higher precision, the position of the Hanaitadaki unit 330, the estimated is based on an average position and size of Hanaitadaki portion 330 against the nose left points P ₁ and nose rightmost point P ₂ preferably.

鼻頂部３３０の位置は、点として推定してもよいが、ある程度の広さを持つ領域として推定すると好ましい。というのも、後述する鼻頂部温度取得手順Ｓ４において鼻頂部３３０の温度Ｔ_１を取得する際に、ある程度の広さを持つ領域内の温度データの平均値等を鼻頂部３３０の温度Ｔ_１とすると、温度Ｔ_１の誤差を小さくすることができるからである。このため、鼻頂部３３０として推定する領域の左右幅は、１ｍｍ以上となるようにすると好ましく、３ｍｍ以上となるようにするとより好ましく、５ｍｍ以上となるようにするとさらに好ましい。また、鼻頂部３３０として推定する領域の上下幅は、１ｍｍ以上となるようにすると好ましく、３ｍｍ以上となるようにするとより好ましく、５ｍｍ以上となるようにするとさらに好ましい。しかし、鼻頂部３３０として推定する領域を広くしすぎると、温度データを取得する領域も広くなってしまい、温度Ｔ_１がノイズを多く含んだものとなってしまう。このため、鼻頂部３３０として推定する領域の左右幅は、２０ｍｍ以下となるようにすると好ましく、１５ｍｍ以下となるようにするとより好ましく、１０ｍｍ以下となるようにするとさらに好ましい。また、鼻頂部３３０として推定する領域の上下幅は、２０ｍｍ以下となるようにすると好ましく、１５ｍｍ以下となるようにするとより好ましく、１０ｍｍ以下となるようにするとさらに好ましい。 The position of the top of the nose 330 may be estimated as a point, but it is preferable to estimate it as a region having a certain area. This is because, when acquiring the temperature T ₁ of the nasal apex 330 in the nasal apex temperature acquisition procedure S4 described later, the average value of the temperature data in the region having a certain area is referred to as the temperature T ₁ of the nasal apex 330. Then, the error of the temperature T ₁ can be reduced. Therefore, the left-right width of the region estimated as the top of the nose 330 is preferably 1 mm or more, more preferably 3 mm or more, and further preferably 5 mm or more. Further, the vertical width of the region estimated as the top of the nose 330 is preferably 1 mm or more, more preferably 3 mm or more, and further preferably 5 mm or more. However, if the region estimated as the top of the nose 330 is too wide, the region for acquiring temperature data will also be widened, and the temperature T ₁ will contain a lot of noise. Therefore, the left-right width of the region estimated as the top of the nose 330 is preferably 20 mm or less, more preferably 15 mm or less, and further preferably 10 mm or less. The vertical width of the region estimated as the top of the nose 330 is preferably 20 mm or less, more preferably 15 mm or less, and further preferably 10 mm or less.

２．４鼻頂部温度取得手順
鼻頂部温度取得手順Ｓ４は、鼻頂部推定手順Ｓ３で推定された鼻頂部３３０の温度Ｔ_１を取得するための手順である。鼻頂部推定手順Ｓ３において鼻頂部３３０の位置を点で推定した場合には、その一点における温度データを鼻頂部３３０の温度Ｔ_１として取得する。一方、鼻頂部３３０の位置をある程度の広さを持つ領域として推定した場合には、その領域内に含まれる複数の点における温度データから鼻頂部３３０の温度Ｔ_１を算出する。温度Ｔ_１を算出する方法としては、鼻頂部３３０と推定された領域内の温度データを、領域内の位置によって重み付けをしたうえで重ね合わせてもよいが、本実施態様においては、鼻頂部抽出用フィルタによって鼻頂部３３０と推定された領域内の温度データを平均して得られた値を、鼻頂部３３０の温度Ｔ_１としている。 2.4 Hanaitadaki unit temperature obtaining step Hanaitadaki unit temperature obtaining step S4 is a procedure for obtaining the temperature T ₁ of the Hanaitadaki portion 330 estimated by the Hanaitadaki unit estimation procedure S3. When the position of the nose top 330 is estimated by a point in the nose top estimation procedure S3, the temperature data at that one point is acquired as the temperature T ₁ of the nose top 330. On the other hand, when it is estimated as a region having a position a certain breadth of Hanaitadaki unit 330 calculates the temperature T ₁ of the Hanaitadaki portion 330 from the temperature data at a plurality of points contained in that area. As a method of calculating the temperature T ₁ , the temperature data in the region estimated to be the top of the nose 330 may be weighted according to the position in the region and then superposed. However, in the present embodiment, the top of the nose is extracted. the values obtained by averaging the temperature data in the area was estimated to Hanaitadaki unit 330 by use filters, and the temperature T ₁ of the Hanaitadaki portion 330.

２．５特定部位温度取得手順
特定部位温度取得手順Ｓ５は、熱分布画像取得手順Ｓ１で取得された熱分布画像２００における、顔の特定部位（鼻の頂部以外の特定の部分）の温度Ｔ_２を自動的に取得するための手順である。取得した温度Ｔ_２は、後述する心理状態評価手順Ｓ６において、鼻頂部３３０の温度Ｔ_１とともにストレス状態の評価のために用いる。本実施態様においては、特定部位として顎部３４０を採用している。本実施態様における特定部位温度取得手順Ｓ５では、上述した鼻端部推定手順Ｓ２と同様に、顎部３４０と首との境界と推定されるエッジ上の顎端点Ｐ_３を決定し、上述した鼻頂部推定手順Ｓ３と同様に、鼻左端点Ｐ_１、鼻右端点Ｐ_２及び顎端点Ｐ_３の位置に顎部抽出用フィルタを適用することによって、熱分布画像２００における顎部３４０の位置を推定している（図５を参照。）。顎部抽出用フィルタは、鼻頂部抽出用フィルタと同様の方法で作製している。顎部３４０の温度Ｔ_２は、鼻頂部温度取得手順Ｓ４と同様に、推定された顎部３４０から取得される。 2.5 Specific part temperature acquisition procedure The specific part temperature acquisition procedure S5 is the temperature T _{2 of} a specific part of the face (a specific part other than the top of the nose) in the heat distribution image 200 acquired in the heat distribution image acquisition procedure S1. This is the procedure for automatically acquiring. The acquired temperature T ₂ is used for evaluating the stress state together with the temperature T ₁ of the nose top 330 in the psychological state evaluation procedure S6 described later. In this embodiment, the jaw portion 340 is adopted as a specific site. In a specific site temperature acquisition procedure S5 in the present embodiment, similarly to the Hanatan section estimation procedure S2, described above, to determine the jaw end point P ₃ on the edge estimated as a boundary between the jaw 340 and the neck, the above-described nose The position of the jaw 340 in the heat distribution image 200 is estimated by applying the jaw extraction filter to the positions of the nose left end point P ₁ , the nose right end point P ₂ and the chin end point P _{3 in} the same manner as in the apex estimation procedure S3. (See Fig. 5). The chin extraction filter is manufactured by the same method as the nose top extraction filter. The temperature T ₂ of the chin portion 340 is acquired from the estimated chin portion 340 in the same manner as in the nose top temperature acquisition procedure S4.

温度Ｔ_２を取得するための特定部位は、顔領域３００における鼻頂部３３０以外の部位であって、その温度が被検体のストレス状態と低い相関を有する部位であれば、特に限定されない。特定部位は、額等とすることもできる。しかし、本実施態様のように特定部位を顎部３４０とすると、上述したように、熱分布画像２００上での位置推定が容易であるため好ましい。加えて、顎部３４０は、髪や帽子で覆われることが少ないという点でも優れている。 The specific site for acquiring the temperature T ₂ is not particularly limited as long as it is a site other than the nose top 330 in the face region 300 and the temperature has a low correlation with the stress state of the subject. The specific part may be the forehead or the like. However, it is preferable that the specific portion is the jaw portion 340 as in the present embodiment because the position estimation on the heat distribution image 200 is easy as described above. In addition, the chin 340 is also excellent in that it is less likely to be covered with hair or a hat.

温度Ｔ_２を取得するための特定部位の位置は、点で推定することもできるが、鼻頂部３３０と同様の理由で、ある程度の広さを持つ領域として推定すると好ましい。特定部位を顎部３４０とした場合、顎部３４０として推定する領域は、ある程度広い方が好ましい。というのも、顎部３４０の温度Ｔ_２は、鼻頂部３３０の温度Ｔ_１を評価するための基準として使用するものであるため、誤差の少ない安定した値として取得することが好ましいからである。このため、顎部３４０として推定する領域の左右幅は、５ｍｍ以上となるようにすると好ましく、１０ｍｍ以上となるようにするとより好ましい。また、顎部３４０として推定する領域の上下幅は、５ｍｍ以上となるようにすると好ましく、１０ｍｍ以上となるようにするとより好ましい。ただし、顎部３４０として推定される領域が顔領域３００からはみ出てしまうと、背景部分の温度データが混入するため好ましくない。このため、顎部３４０として推定する領域の左右幅は、５０ｍｍ以下となるようにすると好ましく、４０ｍｍ以下となるようにするとより好ましい。また、顎部３４０として推定する領域の上下幅は、４０ｍｍ以下となるようにすると好ましく、３０ｍｍ以下となるようにするとより好ましい。なお、後述する心理状態評価手順Ｓ６において、特定部位の温度Ｔ_２を使用しない場合には、本手順を省いてもよい。 The position of the specific site for acquiring the temperature T ₂ can be estimated by a point, but it is preferable to estimate it as a region having a certain size for the same reason as the nasal apex 330. When the specific portion is the jaw portion 340, it is preferable that the region estimated as the jaw portion 340 is wide to some extent. This is because the temperature T ₂ of the chin portion 340 is used as a reference for evaluating the temperature T ₁ of the nose top portion 330, and therefore it is preferable to obtain it as a stable value with few errors. Therefore, the left-right width of the region estimated as the jaw portion 340 is preferably 5 mm or more, and more preferably 10 mm or more. Further, the vertical width of the region estimated as the jaw portion 340 is preferably 5 mm or more, and more preferably 10 mm or more. However, if the region estimated as the chin portion 340 protrudes from the face region 300, the temperature data of the background portion is mixed, which is not preferable. Therefore, the left-right width of the region estimated as the jaw portion 340 is preferably 50 mm or less, and more preferably 40 mm or less. Further, the vertical width of the region estimated as the jaw portion 340 is preferably 40 mm or less, and more preferably 30 mm or less. If the temperature T ₂ of the specific portion is not used in the psychological state evaluation procedure S6 described later, this procedure may be omitted.

２．６心理状態評価手順
心理状態評価手順Ｓ６は、鼻頂部温度取得手順Ｓ４で取得された鼻頂部３３０の温度Ｔ_１に基づいて、被検体の心理状態を評価する手順である。被検体の心理状態は、鼻頂部３３０の温度Ｔ_１を所定の基準温度と比較する等、鼻頂部３３０の温度のみに基づいて評価するようにしてもよい。基準温度としては、例えば、被検体自身の非ストレス時における鼻頂部３３０の温度を用いることができる。しかし、この場合には、当該被検体の非ストレス時における鼻頂部３３０の温度を予め測定しておかなければならず、被検体に対して時間を空けて複数回の測定を行う必要が生ずる。このため、本実施態様においては、鼻頂部温度取得手順Ｓ４で取得された鼻頂部３３０の温度Ｔ_１だけでなく、特定部位温度取得手順Ｓ５で取得された特定部位（顎部３４０）の温度Ｔ_２にも基づいて、被検体の心理状態を評価するようにしている。 2.6 psychological state evaluation procedure psychological state evaluation procedure S6, based on the temperature T ₁ of the Hanaitadaki portion 330 acquired by Hanaitadaki unit temperature obtaining step S4, a procedure for assessing the psychological state of the subject. Psychological state of the subject, etc. compares the temperature T ₁ of the Hanaitadaki portion 330 with a predetermined reference temperature, it may be evaluated based only on the temperature of Hanaitadaki portion 330. As the reference temperature, for example, the temperature of the top of the nose 330 when the subject itself is not stressed can be used. However, in this case, the temperature of the nasal apex 330 at the time of non-stress of the subject must be measured in advance, and it becomes necessary to perform a plurality of measurements on the subject at intervals. Therefore, in this embodiment, not only the temperature T ₁ of the Hanaitadaki portion 330 acquired by Hanaitadaki unit temperature obtaining step S4, the temperature T of the specific portion that is obtained at a specific site temperature acquisition procedure S5 (jaws 340) The psychological state of the subject is evaluated based on ₂ .

鼻頂部３３０の温度Ｔ_１と顎部３４０の温度Ｔ_２とに基づいて被検体の心理状態を評価する具体的な方法は、特に限定されないが、最も単純な方法としては、鼻頂部３３０の温度Ｔ_１と顎部３４０の温度Ｔ_２との差ΔＴ（＝Ｔ_１−Ｔ_２）を求め、この差ΔＴと標準温度差ΔＴ_０とを比較する方法が挙げられる。すなわち、ΔＴ＞ΔＴ_０の場合には、被検体がストレス状態にあると評価し、ΔＴ≦ΔＴ_０の場合には、被検体がストレス状態にない（非ストレス状態である）と評価するようにすることができる。ここで、標準温度差ΔＴ_０は、多数の被検体（現在、心理状態を評価しようとしている被検体とは別の被検体）に対して行った予備実験結果等から求められた指標値であり、メモリ１１２（図１）等に予め記憶させておく。ただし、差ΔＴと標準温度差ΔＴ_０とを単純に比較する方法では、「ストレス状態」と「非ストレス状態」の２段階でしか被検体の心理状態を評価することができず、どの程度のストレス状態にあるか（ストレスレベル等）を評価することはできない。この点、以下の方法を採用すれば、ストレス状態にあるか否かだけでなく、ストレスレベルも評価することが可能になる。 Specific methods for assessing the psychological status of the subject based on the temperature T ₂ of the temperature T ₁ of the jaw 340 of the Hanaitadaki portion 330 is not particularly limited, as the simplest method, the temperature of Hanaitadaki 330 A method of obtaining the difference ΔT (= T _{1 −} T ₂ ) between T ₁ and the temperature T ₂ of the jaw portion 340 and comparing this difference ΔT with the standard temperature difference ΔT ₀ can be mentioned. That is, when ΔT> ΔT ₀ , the subject is evaluated as being in a stressed state, and when ΔT ≤ ΔT ₀ , the subject is evaluated as not being in a stressed state (non-stressed state). can do. Here, the standard temperature difference ΔT ₀ is an index value obtained from the results of preliminary experiments conducted on a large number of subjects (subjects different from the subjects currently being evaluated for psychological state). , Memory 112 (FIG. 1) or the like in advance. However, with the method of simply comparing the difference ΔT and the standard temperature difference ΔT ₀ , the psychological state of the subject can be evaluated only in two stages of “stress state” and “non-stress state”, and how much It is not possible to assess whether you are in a stressed state (stress level, etc.). In this regard, if the following method is adopted, it is possible to evaluate not only whether or not the person is in a stressed state but also the stress level.

すなわち、差ΔＴと標準温度差ΔＴ_０との差ΔＴ−ΔＴ_０を求めて、この差ΔＴ−ΔＴ_０をストレスレベルの評価指標Ｓ（＝ΔＴ−ΔＴ_０）として用いると、ストレスレベルを評価することができる。具体的には、（Ｓ／Ｓ_ＭＡＸ）×１００を計算し、その計算結果をストレスレベルを表す数値（例えば、「ストレス度」等）として用いる方法が挙げられる。ここで、「Ｓ_ＭＡＸ」は、評価指標Ｓが取り得る値の最大値であり、予備実験等で予め求めて、メモリ１１２（図１）等に予め記憶させておく。これにより、「ストレス度１５％」や「ストレス度７２％」といった具合に、ストレスレベルが数値で表されるようになるので、被検体のストレス状態をより詳らかに表すことができる。一方、被検体のストレスレベルを、数値を用いずに段階的に評価することもできる。例えば、評価指標ＳがＳ_１未満の場合には、「低ストレス状態」と評価し、評価指標ＳがＳ_１以上でＳ_２未満の場合には、「中ストレス状態」と評価し、評価指標ＳがＳ_２以上の場合には、「高ストレス状態」と評価することができる。ここで、「Ｓ_１」及び「Ｓ_２」は、０＜Ｓ_１＜Ｓ_２＜Ｓ_ＭＡＸの関係を満たす指標値であり、予備実験等で予め求めて、メモリ１１２（図１）等に予め記憶させておく。 That is, obtaining a difference [Delta] T-[Delta] T ₀ of the difference [Delta] T and the standard temperature difference [Delta] T _0, the use of this difference [Delta] T-[Delta] T ₀ as an evaluation index of the stress level _{S (= ΔT-ΔT 0)} , to evaluate the stress level be able to. Specifically, a method of calculating (S / S _MAX ) × 100 and using the calculation result as a numerical value representing a stress level (for example, “stress degree”) can be mentioned. Here, " _SMAX " is the maximum value of the value that the evaluation index S can take, is obtained in advance by a preliminary experiment or the like, and is stored in the memory 112 (FIG. 1) or the like in advance. As a result, the stress level can be expressed numerically, such as "stress degree 15%" or "stress degree 72%", so that the stress state of the subject can be expressed in more detail. On the other hand, the stress level of the subject can be evaluated stepwise without using numerical values. For example, when the evaluation index S is less than S ₁ , it is evaluated as "low stress state", and when the evaluation index S is S ₁ or more and less than S ₂ , it is evaluated as "medium stress state" and the evaluation index. When S is S ₂ or more, it can be evaluated as “high stress state”. Here, "S ₁ " and "S ₂ " are index values that satisfy the relationship of 0 <S ₁ <S ₂ <S _MAX , and are obtained in advance by a preliminary experiment or the like and stored in the memory 112 (FIG. 1) or the like in advance. I will remember it.

２．７評価結果出力手順
評価結果出力手順Ｓ７は、心理状態評価手順Ｓ６における評価結果を出力するための手順である。評価結果は、紙等に印刷して出力することもできるが、電子データとして出力するようにすると、データの保存や加工がしやすいため好ましい。本実施態様においては、心理状態評価手順Ｓ６で得られた評価結果を、心理状態評価装置１００に備えられた表示装置１３０の表示画面に表示することで出力している。評価結果は、心理状態評価手順Ｓ６の評価方法に応じて、ストレスレベル等の数値データとして出力しても、段階的なストレス度評価結果として出力してもよい。 2.7 Evaluation result output procedure The evaluation result output procedure S7 is a procedure for outputting the evaluation result in the psychological state evaluation procedure S6. The evaluation result can be printed on paper or the like and output, but it is preferable to output the evaluation result as electronic data because the data can be easily stored and processed. In this embodiment, the evaluation result obtained in the psychological state evaluation procedure S6 is output by displaying it on the display screen of the display device 130 provided in the psychological state evaluation device 100. The evaluation result may be output as numerical data such as a stress level or as a stepwise stress level evaluation result, depending on the evaluation method of the psychological state evaluation procedure S6.

心理状態評価装置１００が表示装置１３０を備えている場合には、心理状態評価手順Ｓ６で得られた評価結果に応じた演出画像や動画を表示装置１３０に表示させることによって、ストレス評価結果を出力するようにしてもよい。例えば、表示装置１３０の画面の色をストレスレベルの値に応じて変化させてもよいし、ストレスレベルの値をグラフとして表示させてもよい。あるいは、表示装置の画面に表示されたキャラクター等のセリフや表情等によってストレス評価結果を表すこともできる。このような態様は、心理状態評価用プログラムを実行させる心理状態評価装置１００が、表示装置１３０を備えた携帯型端末である場合に、特に好適に採用することができる。このとき、同一の被検体について繰り返しストレス評価を行う場合には、過去のストレス評価結果を保存しておいて、比較できるようにすると好ましい。以上で、本実施態様の心理状態評価用プログラムによる一連の手順が完了する。 When the psychological state evaluation device 100 includes the display device 130, the stress evaluation result is output by displaying the effect image or the moving image corresponding to the evaluation result obtained in the psychological state evaluation procedure S6 on the display device 130. You may try to do it. For example, the color of the screen of the display device 130 may be changed according to the value of the stress level, or the value of the stress level may be displayed as a graph. Alternatively, the stress evaluation result can be expressed by the lines and facial expressions of the character or the like displayed on the screen of the display device. Such an embodiment can be particularly preferably adopted when the psychological state evaluation device 100 for executing the psychological state evaluation program is a portable terminal provided with the display device 130. At this time, when the same subject is repeatedly evaluated for stress, it is preferable to save the past stress evaluation results so that they can be compared. This completes a series of procedures by the psychological state evaluation program of this embodiment.

３．本発明の用途
本発明の心理状態評価用プログラム及び心理状態評価装置１００は、被検体の顔面の熱分布画像２００に基づいて被検体の心理状態を精度良く評価することができ、被検体に器具等を装着させる必要も、被検体の顔画像データを用いる必要もないものであるため、幅広い用途において好適に使用することができる。例えば、乗物（車、船舶、飛行機等）の運転手の疲労度の計測、企業等における従業者のストレスチェック、医療現場等における痛みの計測や痛みの緩和の計測等に好適に用いることができる。加えて、本発明の心理状態評価用プログラム及び心理状態評価装置１００は、被検体の体温情報に基づいて心理状態評価を行うものであり、被験者の主観や感情的要因（遠慮、謙遜等）に影響されにくいため、商品開発補助（使用感や着心地の評価、官能検査等）やマーケティングにおいても有用である。また、被検体が人間以外の動物や幼児であって、言葉によるコミュニケーションが困難な場合にも、精度良く心理状態評価を行うことができる。加えて、本発明の心理状態評価装置１００を携帯型端末とした場合には、使用箇所を問わないため、末端需要者が日常的に行う自己のストレスチェック、自宅介護における被介護者の痛みやストレスの計測、環境快適性評価等に好適に用いることができる。本発明の用途は、ここに列記したものに限定されず、被検体の顔面の熱分布画像２００を得ることが可能なものであればどのような用途においても使用することができる。 3. 3. Uses of the present invention The psychological state evaluation program and the psychological state evaluation device 100 of the present invention can accurately evaluate the psychological state of a subject based on the heat distribution image 200 of the face of the subject, and the device can be used as an instrument for the subject. Since it is not necessary to attach the above and the like, and it is not necessary to use the face image data of the subject, it can be suitably used in a wide range of applications. For example, it can be suitably used for measuring the degree of fatigue of a driver of a vehicle (car, ship, airplane, etc.), checking the stress of an employee in a company, measuring pain in a medical field, measuring pain relief, and the like. .. In addition, the psychological state evaluation program and the psychological state evaluation device 100 of the present invention evaluate the psychological state based on the body temperature information of the subject, and are subject to subjective and emotional factors (refrain, humility, etc.) of the subject. Since it is not easily affected, it is also useful in product development assistance (evaluation of usability and comfort, sensory test, etc.) and marketing. In addition, even when the subject is an animal or infant other than a human and it is difficult to communicate in words, the psychological state can be evaluated with high accuracy. In addition, when the psychological state evaluation device 100 of the present invention is used as a portable terminal, it does not matter where it is used, so that the end-users perform their own stress checks on a daily basis, the pain of the care recipient in home care, and so on. It can be suitably used for stress measurement, environmental comfort evaluation, and the like. The uses of the present invention are not limited to those listed here, and can be used in any use as long as it is possible to obtain a heat distribution image 200 of the face of the subject.

１００心理状態評価装置
１１０コンピューター
１１１プロセッサ
１１２メモリ
１２０サーモカメラ
１３０表示装置
２００熱分布画像
２１０顔中央画像
３００顔領域
３１０鼻左端部
３２０鼻右端部
３３０鼻頂部
３４０顎部
Ｄ_Ａ暗領域（低温領域）
Ｄ_Ｂ暗領域（低温領域）
Ｅ_１鼻左端エッジ
Ｅ_２鼻右端エッジ
Ｐ_１鼻左端点
Ｐ_２鼻右端点
Ｐ_３顎端点
Ｓ１熱分布画像取得手順
Ｓ２鼻端部推定手順
Ｓ２．１顔領域推定手順
Ｓ２．２顔中央画像抽出手順
Ｓ２．３エッジ検出手順
Ｓ２．４鼻端点決定手順
Ｓ３鼻頂部推定手順
Ｓ４鼻頂部温度取得手順
Ｓ５特定部位温度取得手順
Ｓ６心理状態評価手順
Ｓ７評価結果出力手順 100 psychological state evaluation device 110 computer 111 processor 112 memory 120 thermo camera 130 display device 200 heat distribution image 210 face the center image 300 face area 310 nose left end 320 the nose right end 330 Hanaitadaki 340 jaw D _A dark region (low temperature region)
D _B the dark region (low temperature region)
E ₁ Nose left end edge E ₂ Nose right end edge P ₁ Nose left end point P ₂ Nose right end point P ₃ Jaw end point S1 Heat distribution image acquisition procedure S2 Nose end estimation procedure S2.1 Face area estimation procedure S2.2 Face center image extraction Procedure S2.3 Edge detection procedure S2.4 Nose end point determination procedure S3 Nose top estimation procedure S4 Nose top temperature acquisition procedure S5 Specific site temperature acquisition procedure S6 Psychological state evaluation procedure S7 Evaluation result output procedure

Claims

It is a psychological state evaluation program for evaluating the psychological state of a subject.
On the computer
The heat distribution image acquisition procedure for acquiring the heat distribution image of the face of the subject, and
In the heat distribution image acquired by the heat distribution image acquisition procedure, it is estimated to be the boundary between the left end of the nose and the left cheek, the left edge of the nose, and the boundary between the right end of the nose and the right cheek. The nose end estimation procedure for estimating the positions of the left and right ends of the nose by detecting the right edge of the nose,
The nose top estimation procedure that estimates the location between the left and right ends of the nose estimated by the nose tip estimation procedure as the top of the nose,
The temperature T ₁ of the top of the estimated nose Hanaitadaki section estimation procedure, a Hanaitadaki unit temperature obtaining step of obtaining from the heat distribution image,
A psychological state evaluation procedure for evaluating the psychological state of a subject based on the temperature T ₁ acquired in the nose top temperature acquisition procedure, and a psychological state evaluation procedure.
A program for evaluating a psychological state, which is characterized by executing an evaluation result output procedure that outputs an evaluation result in a psychological state evaluation procedure.

The computer further execute a specific site temperature acquisition step of acquiring the temperature T ₂ of the specific portion of the face in the obtained heat distribution image in the heat distribution image acquisition procedure (except for the top of the nose.),
The psychological state evaluation program according to claim 1, wherein in the psychological state evaluation procedure, the psychological state of the subject is evaluated by comparing the temperature T ₁ and the temperature T ₂ .

The psychological state evaluation program according to claim 2, wherein the specific site is the jaw.

The program for evaluating a psychological state according to any one of claims 1 to 3, wherein the psychological state evaluated in the psychological state evaluation procedure is a stress state.

A psychological state evaluation device including a memory in which the psychological state evaluation program according to any one of claims 1 to 4 is recorded.

A portable terminal provided with a memory in which the psychological state evaluation program according to any one of claims 1 to 4 is recorded.