JP7742726B2 - Facility control device, facility control system, facility control method and program - Google Patents
Facility control device, facility control system, facility control method and programInfo
- Publication number
- JP7742726B2 JP7742726B2 JP2021102133A JP2021102133A JP7742726B2 JP 7742726 B2 JP7742726 B2 JP 7742726B2 JP 2021102133 A JP2021102133 A JP 2021102133A JP 2021102133 A JP2021102133 A JP 2021102133A JP 7742726 B2 JP7742726 B2 JP 7742726B2
- Authority
- JP
- Japan
- Prior art keywords
- biometric information
- equipment
- unit
- learning
- equipment control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Circuit Arrangement For Electric Light Sources In General (AREA)
- Air Conditioning Control Device (AREA)
Description
本開示は、設備制御装置、設備制御システム、設備制御方法及びプログラムに関する。 The present disclosure relates to an equipment control device, an equipment control system , an equipment control method, and a program.
対象エリアに存在する人に関する情報に基づいて、その対象エリアに設置された設備機器を制御する技術が知られている。例えば、特許文献1は、ドップラーセンサを用いて呼吸、心拍、体動等の生体状態を取得し、取得された生体状態に基づいて空調手段を制御する空気調和機を開示している。 Technology is known for controlling equipment installed in a target area based on information about people present in that area. For example, Patent Document 1 discloses an air conditioner that uses a Doppler sensor to acquire biological information such as breathing, heart rate, and body movement, and controls the air conditioning unit based on the acquired biological information.
上記のような人に関する情報に基づいて設備機器を制御する技術において、人の状態に応じて的確に設備機器を制御することにより、対象エリアに存在する人の集中力を向上させて、物事により集中して取り組むことが可能な環境を提供することが求められている。 In technology that controls equipment based on information about people such as those described above, there is a need to accurately control equipment according to the condition of people, thereby improving the concentration of people in the target area and providing an environment where they can focus more on their work.
本開示は、上記のような問題点を解決するためになされたものであり、対象エリアに存在する人の集中力を向上させることが可能な設備制御装置等を提供することを目的とする。 This disclosure has been made to solve the above-mentioned problems, and aims to provide a facility control device and the like that can improve the concentration of people in a target area.
上記目的を達成するために、本開示に係る設備制御装置の第1の態様は、
対象エリアに設置された設備機器を制御する設備制御装置であって、
前記対象エリア内の複数の個別エリアのそれぞれに存在する人の生体情報を取得する取得手段と、
学習対象の生体情報と、対応する集中度と、の間の関係を学習することにより生成された学習済みモデルに基づいて、前記取得手段により取得された前記生体情報から、前記複数の個別エリアのそれぞれに存在する前記人の集中度を推定する推定手段と、
前記推定手段により推定された前記集中度に基づいて、前記複数の個別エリアのそれぞれに設置された設備機器を制御する設備制御手段と、
前記複数の個別エリアのそれぞれに存在する人の集中度の、前記推定手段による推定結果と、前記複数の個別エリアのそれぞれに設置された設備機器の制御状態とを、個別エリア毎に関連付けて出力する出力手段と、を備える。
上記目的を達成するために、本開示に係る設備制御装置の第2の態様は、
対象エリアに設置された設備機器を制御する設備制御装置であって、
前記対象エリアに存在する人の生体情報を取得する取得手段と、
学習対象の生体情報と、対応する集中度と、の間の関係を学習することにより生成された学習済みモデルに基づいて、前記取得手段により取得された前記生体情報から、前記対象エリアに存在する前記人の集中度を推定する推定手段と、
前記推定手段により推定された前記集中度に基づいて、前記設備機器を制御する設備制御手段と、を備え、
前記設備制御手段は、前記推定手段により推定された前記集中度が、第1の状態から、前記第1の状態よりも前記集中度が低い第2の状態に変化した場合と、前記推定手段により推定された前記集中度が前記第2の状態にある時間が閾時間よりも長く継続した場合と、前記推定手段により推定された前記集中度が前記第1の状態にある時間が閾時間よりも長く継続した場合と、のそれぞれにおいて、前記対象エリアに存在する前記人を刺激する刺激運転を前記設備機器に実行させる。
In order to achieve the above object, a first aspect of an equipment control device according to the present disclosure includes:
An equipment control device that controls equipment installed in a target area,
an acquisition means for acquiring biometric information of a person present in each of a plurality of individual areas within the target area;
an estimation means for estimating a concentration level of the person present in each of the plurality of individual areas from the biometric information acquired by the acquisition means, based on a trained model generated by learning the relationship between the biometric information of a learning target and the corresponding concentration level;
equipment control means for controlling equipment installed in each of the plurality of individual areas based on the concentration degree estimated by the estimation means;
and an output means for outputting the estimation result by the estimation means of the concentration of people in each of the plurality of individual areas and the control status of the equipment installed in each of the plurality of individual areas, in association with each individual area .
In order to achieve the above object, a second aspect of the equipment control device according to the present disclosure includes:
An equipment control device that controls equipment installed in a target area,
an acquisition means for acquiring biometric information of a person present in the target area;
an estimation means for estimating a concentration level of the person present in the target area from the biometric information acquired by the acquisition means, based on a trained model generated by learning the relationship between the biometric information of the learning target and the corresponding concentration level;
an equipment control unit that controls the equipment based on the concentration degree estimated by the estimation unit,
The equipment control means causes the equipment to perform a stimulating operation to stimulate the person present in the target area in each of the following cases: when the concentration level estimated by the estimation means changes from a first state to a second state in which the concentration level is lower than the first state; when the concentration level estimated by the estimation means remains in the second state for a period longer than a threshold time; and when the concentration level estimated by the estimation means remains in the first state for a period longer than a threshold time.
本開示では、設備制御装置が、学習対象の生体情報と、対応する集中度と、の間の関係を学習することにより生成された学習済みモデルに基づいて、対象エリアに存在する人の生体情報からその人の集中度を推定し、推定された集中度に基づいて、対象エリアに設置された設備機器を制御する。従って、本開示によれば、対象エリアに存在する人の集中力を向上させることができる。 In this disclosure, an equipment control device estimates the concentration level of a person present in a target area from the person's biometric information based on a trained model generated by learning the relationship between the biometric information of the person being studied and the corresponding concentration level, and controls equipment installed in the target area based on the estimated concentration level. Therefore, this disclosure makes it possible to improve the concentration of people present in the target area.
以下、実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一又は相当部分には同一符号を付す。 Embodiments will be described in detail below with reference to the drawings. Note that identical or equivalent parts in the drawings will be designated by the same reference numerals.
(実施の形態1)
図1に、実施の形態1に設備制御システム1の全体構成を示す。設備制御システム1は、対象エリア5に存在する人の集中度を推定し、推定結果に基づいて設備機器40を制御するシステムである。設備制御システム1は、学習装置10と、センサ装置20と、設備制御装置30と、設備機器40と、を備える。
(Embodiment 1)
1 shows the overall configuration of an equipment control system 1 according to a first embodiment. The equipment control system 1 is a system that estimates the concentration of people in a target area 5 and controls equipment 40 based on the estimation results. The equipment control system 1 includes a learning device 10, a sensor device 20, an equipment control device 30, and equipment 40.
対象エリア5は、例えば、シェアオフィス、ワーキングスペース、自習室、書斎、勉強部屋等のような、人が仕事、作業、勉強等を行う空間である。対象エリア5には、センサ装置20と設備機器40とが設置されている。設備機器40は、対象エリア5に設置された機器である。設備機器40は、例えば、空調機の室内機、換気装置、照明機器等のような、対象エリア5に存在する人の集中力に影響を及ぼす機器である。 The target area 5 is a space where people work, do tasks, study, etc., such as a shared office, working space, study room, library, or study room. A sensor device 20 and facility equipment 40 are installed in the target area 5. The facility equipment 40 is equipment installed in the target area 5. The facility equipment 40 is equipment that affects the concentration of people present in the target area 5, such as an air conditioner indoor unit, ventilation equipment, lighting equipment, etc.
<学習フェーズ>
学習装置10は、人の生体情報と集中度との関係を学習する装置である。学習装置10は、パーソナルコンピュータ、サーバ、タブレット等の情報処理装置により実現される。学習装置10は、図2に示すように、制御部11と、記憶部12と、操作受付部13と、表示部14と、通信部15と、を備える。
<Learning phase>
The learning device 10 is a device that learns the relationship between a person's biometric information and concentration level. The learning device 10 is realized by an information processing device such as a personal computer, a server, or a tablet. As shown in FIG. 2 , the learning device 10 includes a control unit 11, a storage unit 12, an operation reception unit 13, a display unit 14, and a communication unit 15.
制御部11は、CPU(Central Processing Unit)、ROM(Read Only Memory)及びRAM(Random Access Memory)を備える。CPUは、中央処理装置、中央演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ等とも呼び、学習装置10の制御に係る処理及び演算を実行する中央演算処理部として機能する。制御部11において、CPUは、ROMに格納されているプログラム及びデータを読み出し、RAMをワークエリアとして用いて、学習装置10を統括制御する。 The control unit 11 includes a CPU (Central Processing Unit), ROM (Read Only Memory), and RAM (Random Access Memory). The CPU is also called a central processing unit, central arithmetic unit, processor, microprocessor, or microcomputer, and functions as a central processing unit that executes processes and calculations related to the control of the learning device 10. In the control unit 11, the CPU reads programs and data stored in the ROM and uses the RAM as a work area to perform overall control of the learning device 10.
記憶部12は、フラッシュメモリ、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)等の不揮発性の半導体メモリを備えており、いわゆる二次記憶装置又は補助記憶装置としての役割を担う。記憶部12は、制御部11が各種処理を行うために使用するプログラム及びデータを記憶する。また、制御部11が各種処理を行うことにより生成又は取得するデータを記憶する。 The storage unit 12 is equipped with non-volatile semiconductor memory such as flash memory, EPROM (Erasable Programmable ROM), or EEPROM (Electrically Erasable Programmable ROM), and serves as a so-called secondary storage device or auxiliary storage device. The storage unit 12 stores programs and data used by the control unit 11 to perform various processes. It also stores data generated or acquired by the control unit 11 as a result of performing various processes.
操作受付部13は、キーボード、マウス、スイッチ、タッチパッド、タッチパネル等の入力デバイスを備えており、ユーザから操作を受け付ける。ユーザは、操作受付部13を操作することによって、様々な指示を学習装置10に入力することができる。操作受付部13は、ユーザから入力された操作指示を受け付けると、受け付けた操作指示を制御部11に送信する。 The operation reception unit 13 is equipped with input devices such as a keyboard, mouse, switches, touchpad, and touch panel, and receives operations from the user. The user can input various instructions to the learning device 10 by operating the operation reception unit 13. When the operation reception unit 13 receives an operation instruction input by the user, it transmits the received operation instruction to the control unit 11.
表示部14は、LCD(Liquid Crystal Display)パネル、有機EL(Electro-Luminescence)等の表示デバイスを備える。表示部14は、図示しない表示駆動回路によって駆動され、制御部11による制御のもとで様々な画像を表示する。 The display unit 14 includes a display device such as an LCD (Liquid Crystal Display) panel or an organic EL (Electro-Luminescence) panel. The display unit 14 is driven by a display drive circuit (not shown) and displays various images under the control of the control unit 11.
通信部15は、学習装置10が外部の装置と通信するための通信インタフェースを備える。例えば、通信部15は、外部の装置との間で、LAN(Local Area Network)、USB(Universal Serial Bus)、インターネット等の周知の通信規格に則って通信する。 The communication unit 15 has a communication interface that enables the learning device 10 to communicate with external devices. For example, the communication unit 15 communicates with external devices in accordance with well-known communication standards such as LAN (Local Area Network), USB (Universal Serial Bus), and the Internet.
次に、図3を参照して、学習装置10の機能的な構成について説明する。図3に示すように、学習装置10は、機能的に、収集部110と、モデル生成部120と、を備える。これらの各機能は、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現される。ソフトウェア及びファームウェアは、プログラムとして記述され、ROM又は記憶部12に格納される。そして、CPUが、ROM又は記憶部12に記憶されたプログラムを実行することによって、これらの各機能を実現する。 Next, the functional configuration of the learning device 10 will be described with reference to Figure 3. As shown in Figure 3, the learning device 10 functionally comprises a collection unit 110 and a model generation unit 120. Each of these functions is realized by software, firmware, or a combination of software and firmware. The software and firmware are written as programs and stored in the ROM or memory unit 12. The CPU then executes the programs stored in the ROM or memory unit 12 to realize each of these functions.
また、学習装置10は、学習データベース180と、モデル記憶部190と、を備える。これらは、記憶部12の適宜の記憶領域に構築される。 The learning device 10 also includes a learning database 180 and a model storage unit 190. These are constructed in appropriate storage areas of the storage unit 12.
学習データベース180は、学習用データ60を記憶する。学習用データ60は、学習対象の生体情報と、対応する集中度と、の間の関係を学習するためのデータである。ここで、生体情報は、対象となる人の生体状態を示す情報である。生体情報は、具体的には、人の呼吸に関する呼吸情報と、人の心拍に関する心拍情報と、人の体動に関する体動情報と、を含む。また、集中度は、対象となる人の集中力の程度、言い換えると、対象となる人が仕事、作業、勉強等にどの程度注意を向けて取り組んでいるかを示す情報である。 The learning database 180 stores learning data 60. The learning data 60 is data for learning the relationship between the biometric information of the learning subject and the corresponding concentration level. Here, biometric information is information that indicates the biological state of the subject. Specifically, the biometric information includes respiratory information related to the subject's breathing, heart rate information related to the subject's heart rate, and body movement information related to the subject's body movements. Furthermore, the concentration level is information that indicates the subject's level of concentration, in other words, the degree to which the subject is paying attention to work, tasks, studies, etc.
図4に示すように、学習用データ60は、学習対象となる複数の人の生体情報と、対応する集中度と、が紐付けられたデータである。図4では、理解を容易にするために、学習データベース180に記憶されている複数セットの生体情報を、1セットの生体情報ごとに、1,2,3,…の通し番号で表している。学習用データ60は、複数セットの生体情報のそれぞれに対して、「高」、「中」、「低」のいずれかの集中度を紐付けて格納している。 As shown in Figure 4, the learning data 60 is data in which the biometric information of multiple people to be learned is linked to the corresponding concentration level. For ease of understanding, in Figure 4, the multiple sets of biometric information stored in the learning database 180 are represented by serial numbers such as 1, 2, 3, ... for each set of biometric information. The learning data 60 stores each of the multiple sets of biometric information, linking it to a concentration level of "high," "medium," or "low."
図5に示すように、あるタイミングにおけるある人の集中度とそのタイミングにおけるその人の生体情報との間には、相関関係が存在する。具体的に説明すると、ある人の集中度が低い場合、その人の体動は大きくなり、心拍数変動は大きくなり、呼吸数は多くなる傾向がある。また、ある人の集中度が高い場合、その人の体動は小さくなり、心拍数変動は小さくなり、呼吸数は少なくなる傾向がある。そこで、このような相関関係に着目し、学習装置10は、機械学習の手法を用いることで、生体情報から集中度を推定するための学習済みモデル70を生成する。学習用データ60は、学習装置10が生体情報と集中度との間の関係を学習するための、正解となる教師データを定める。 As shown in Figure 5, there is a correlation between a person's level of concentration at a given time and that person's biometric information at that time. Specifically, when a person's level of concentration is low, that person's body movements tend to increase, their heart rate fluctuations tend to increase, and their breathing rate tends to increase. Conversely, when a person's level of concentration is high, their body movements tend to decrease, their heart rate fluctuations tend to decrease, and their breathing rate tends to decrease. Therefore, focusing on this correlation, the learning device 10 uses machine learning techniques to generate a trained model 70 for estimating the level of concentration from biometric information. The learning data 60 defines training data that serves as the correct answer, allowing the learning device 10 to learn the relationship between biometric information and the level of concentration.
図3に戻って、収集部110は、学習用データ60を生成するための生体情報及び集中度のデータを収集する。第1に、収集部110は、通信部15を介してセンサ装置20と通信し、生体情報のデータをセンサ装置20から収集する。センサ装置20は、図1に示したように、対象エリア5に設置されており、対象エリア5に存在する人の生体情報を計測する。 Returning to FIG. 3, the collection unit 110 collects biometric information and concentration data to generate learning data 60. First, the collection unit 110 communicates with the sensor device 20 via the communication unit 15 and collects biometric information data from the sensor device 20. As shown in FIG. 1, the sensor device 20 is installed in the target area 5 and measures the biometric information of people present in the target area 5.
センサ装置20は、ドップラーセンサ21を備える。ドップラーセンサ21は、ミリ波、マイクロ波等の電磁波を対象物に向けて送信し、送信された電磁波の対象物における反射波を受信する。そして、ドップラーセンサ21は、反射波の周波数及び振幅を計測する。ドップラーセンサ21は、送信した電磁波と受信した反射波とで周波数及び振幅を比較することにより、ドップラーセンサ21から対象物までの距離、対象物の速度、及び、対象物の角度を計測することができる。更に、ドップラーセンサ21は、反射波の位相変化に基づいて、対象物の微小変動を計測することができる。なお、対象物は、対象エリア5内に存在する人である。 The sensor device 20 is equipped with a Doppler sensor 21. The Doppler sensor 21 transmits electromagnetic waves, such as millimeter waves or microwaves, toward a target and receives the reflected waves of the transmitted electromagnetic waves from the target. The Doppler sensor 21 then measures the frequency and amplitude of the reflected waves. By comparing the frequency and amplitude of the transmitted electromagnetic waves with the received reflected waves, the Doppler sensor 21 can measure the distance from the Doppler sensor 21 to the target, the speed of the target, and the angle of the target. Furthermore, the Doppler sensor 21 can measure minute movements of the target based on phase changes in the reflected waves. The target is a person present within the target area 5.
センサ装置20は、図示を省略するが、CPU、ROM及びRAMを含む制御部と、読み書き可能な不揮発性メモリと、通信インタフェースと、を備える。制御部は、ドップラーセンサ21により計測された距離、速度、角度及びそれらの変動量の計測データに基づいて、対象エリア5に存在する人の生体情報を算出する。ここで、生体情報は、人の呼吸に関する呼吸情報と、人の心拍に関する心拍情報と、人の体動に関する体動情報と、を含む。 Although not shown, the sensor device 20 is equipped with a control unit including a CPU, ROM, and RAM, a readable/writable non-volatile memory, and a communications interface. The control unit calculates biometric information of people present in the target area 5 based on measurement data of distance, speed, angle, and their fluctuations measured by the Doppler sensor 21. Here, the biometric information includes respiratory information related to the person's breathing, heart rate information related to the person's heart rate, and body movement information related to the person's body movements.
呼吸情報は、人の呼吸により生じる動きの情報である。呼吸情報は、具体的には、単位時間当たりの呼吸数、及びその変動量を含む。センサ装置20の制御部は、反射波の周波数を解析し、人の胸腹部の体表面の動きにより生じる特徴的な周波数成分を抽出することにより、呼吸情報を算出する。 Respiratory information is information about movements caused by a person's breathing. Specifically, respiratory information includes the number of breaths per unit time and the amount of variation. The control unit of the sensor device 20 calculates respiratory information by analyzing the frequency of the reflected waves and extracting characteristic frequency components caused by movements of the person's thoracic and abdominal body surfaces.
心拍情報は、人の心拍により生じる動きの情報である。心拍情報は、具体的には、単位時間当たりの心拍数、及びその変動量を含む。センサ装置20の制御部は、人の周波数を解析し、人の心臓の動きにより生じる特徴的な周波数成分を抽出することにより、心拍情報を算出する。 Heartbeat information is information about the movement caused by a person's heartbeat. Specifically, heartbeat information includes the number of heartbeats per unit time and the amount of fluctuation. The control unit of the sensor device 20 calculates heartbeat information by analyzing the person's frequency and extracting characteristic frequency components caused by the movement of the person's heart.
体動情報は、対象物の体の動きのうちの、人が姿勢を変える、立ち上がる、座る、移動する等のような、呼吸及び心拍に比べて大きな体の動きの情報である。体動情報は、具体的には、体動の大きさ、及びその変動量を含む。センサ装置20の制御部は、反射波の振幅を解析し、振幅が閾値以上となる成分を抽出することにより、体動情報を算出する。 Body movement information is information on the body movements of a target object that are larger than breathing and heartbeat, such as when a person changes posture, stands up, sits down, or moves. Specifically, body movement information includes the magnitude of body movement and its fluctuation amount. The control unit of the sensor device 20 calculates body movement information by analyzing the amplitude of the reflected wave and extracting components whose amplitude is equal to or greater than a threshold value.
なお、このような呼吸情報、心拍情報及び体動情報をドップラーセンサ21の計測データから算出する方法は、特許文献1をはじめとする先行文献に記載された周知の方法を用いることができる。 The method for calculating such respiratory information, heart rate information, and body movement information from the measurement data of the Doppler sensor 21 can be a well-known method described in prior art documents such as Patent Document 1.
以下では、理解を容易にするため、収集部110は、呼吸情報として単位時間当たりの呼吸数のデータを収集し、心拍情報として単位時間当たりの心拍数のデータを収集し、体動情報として体動の大きさのデータを収集する場合を例にとって説明する。 For ease of understanding, the following description will take as an example a case in which the collection unit 110 collects data on the respiratory rate per unit time as respiratory information, data on the heart rate per unit time as heart rate information, and data on the magnitude of body movement as body movement information.
センサ装置20は、このような生体情報を、対象エリア5に存在する複数の人から取得する。また、センサ装置20は、同じ人の生体情報であっても、異なるタイミングにおける生体情報であれば、異なる生体情報として取得する。収集部110は、このようにしてセンサ装置20により取得された学習対象となる複数セットの生体情報を、センサ装置20から収集する。 The sensor device 20 acquires such biometric information from multiple people present in the target area 5. Furthermore, even if the biometric information is from the same person, the sensor device 20 acquires it as different biometric information if the biometric information is acquired at different times. The collection unit 110 collects from the sensor device 20 multiple sets of biometric information to be learned in this way.
第2に、収集部110は、集中度のデータを収集する。収集部110は、学習対象の生体情報が収集された複数の人からの申告により、これら複数の人の集中度のデータを収集する。具体的に説明すると、生体情報が収集された複数の人は、学習装置10の操作受付部13、又は学習装置10の通信部15と通信可能な適宜の端末を操作して、生体情報が収集された際の集中度を入力する。例えば、各人は、生体情報が収集された際の集中度を、「高」、「中」、「低」という複数段階のうちから選択して入力する。収集部110は、このように複数の人から入力された集中度を、学習対象として収集された生体情報に対応する集中度として収集する。 Second, the collection unit 110 collects concentration level data. The collection unit 110 collects concentration level data from multiple people whose biometric information is the learning subject, based on reports from these people. Specifically, the multiple people whose biometric information is collected operate the operation reception unit 13 of the learning device 10 or an appropriate terminal capable of communicating with the communication unit 15 of the learning device 10 to input the concentration level at the time the biometric information was collected. For example, each person selects and inputs the concentration level at the time the biometric information was collected from multiple levels, such as "high," "medium," or "low." The collection unit 110 collects the concentration levels input in this way from multiple people as the concentration levels corresponding to the biometric information collected as the learning subject.
なお、収集部110は、生体情報のデータとそれに対応する集中度のデータとを、同じタイミングで収集することに限らない。言い換えると、収集部110は、互いに関連付けることができれば、生体情報のデータとそれに対応する集中度のデータと、を異なるタイミングで収集しても良い。 Note that the collection unit 110 is not limited to collecting biometric information data and corresponding concentration level data at the same time. In other words, the collection unit 110 may collect biometric information data and corresponding concentration level data at different times, as long as they can be associated with each other.
このようにして、収集部110は、学習対象となる複数の人の生体情報及び集中度のデータを収集する。データを収集すると、収集部110は、収集したデータに含まれる生体情報を、その生体情報の取得元である人の集中度と紐付ける処理を、複数セットの生体情報のそれぞれについて実行する。これにより、収集部110は、例えば図4に示したように、複数セットの生体情報のそれぞれと、対応する集中度とが1対1で紐付けられた学習用データ60を生成する。 In this way, the collection unit 110 collects biometric information and concentration level data for multiple people who are the learning targets. Once the data is collected, the collection unit 110 performs a process for each of the multiple sets of biometric information to link the biometric information included in the collected data with the concentration level of the person from whom the biometric information was obtained. As a result, the collection unit 110 generates learning data 60 in which each of the multiple sets of biometric information is linked one-to-one with the corresponding concentration level, as shown in FIG. 4, for example.
収集部110は、学習用データ60を生成すると、生成した学習用データ60を学習データベース180に保存する。収集部110は、制御部11が通信部15と協働することにより実現される。収集部110は、取得手段の一例である。 When the collection unit 110 generates the training data 60, it stores the generated training data 60 in the training database 180. The collection unit 110 is realized by the control unit 11 working in cooperation with the communication unit 15. The collection unit 110 is an example of an acquisition means.
図3に戻って、モデル生成部120は、学習データベース180に記憶された学習用データ60に基づいて、学習対象となる複数セットの生体情報と、対応する集中度と、の間の関係を学習する。これにより、モデル生成部120は、学習済みモデル70を生成する。学習済みモデル70は、推定対象となる人の生体情報の入力に対して、その人の集中度の推定結果を出力するモデルである。 Returning to Figure 3, the model generation unit 120 learns the relationship between multiple sets of biometric information to be learned and the corresponding concentration levels based on the learning data 60 stored in the learning database 180. In this way, the model generation unit 120 generates a trained model 70. The trained model 70 is a model that outputs an estimation result of the concentration level of a person to be estimated in response to input of the biometric information of the person to be estimated.
モデル生成部120は、予め定められた学習アルゴリズムに従った機械学習を実行することにより、学習対象となる複数セットの生体情報と、対応する集中度と、の間の関係を学習する。モデル生成部120は、学習アルゴリズムとして、教師あり学習、教師なし学習、強化学習等の公知のアルゴリズムを用いることができる。教師あり学習は、入力データとそれに対応する正解の出力データとの組み合わせを教師データとして与えて、入力データと出力データとの間の関係を学習する手法である。教師なし学習は、教師データが与えられずに、入力データが有する特徴を学習する手法である。 The model generation unit 120 learns the relationship between multiple sets of biometric information to be learned and the corresponding concentration levels by performing machine learning according to a predetermined learning algorithm. The model generation unit 120 can use known algorithms such as supervised learning, unsupervised learning, and reinforcement learning as the learning algorithm. Supervised learning is a method of learning the relationship between input data and output data by providing combinations of input data and corresponding correct output data as training data. Unsupervised learning is a method of learning the characteristics of input data without providing training data.
以下では、一例として、教師あり学習のアルゴリズムの1つであるニューラルネットワークを適用した場合について説明する。ニューラルネットワークは、人間の脳内にある神経回路網を人工ニューロンという数式的なモデルで表現する手法である。 Below, we will explain the application of a neural network, a type of supervised learning algorithm, as an example. A neural network is a method of representing the neural circuit network in the human brain using a mathematical model called an artificial neuron.
図6に示すように、ニューラルネットワークは、入力層と出力層と少なくとも1つの中間層とを含み、入力層に入力された入力データに対して出力層から出力データを出力するモデルである。中間層は、隠れ層とも呼ばれる。なお、図6では中間層は1層であるが、2層以上であっても良い。各層は、複数のノードによって構成される。ノードは、ニューロンとも呼ばれる。 As shown in Figure 6, a neural network is a model that includes an input layer, an output layer, and at least one intermediate layer, and outputs output data from the output layer in response to input data input to the input layer. The intermediate layer is also called a hidden layer. Note that while Figure 6 shows one intermediate layer, there may be two or more. Each layer is made up of multiple nodes. The nodes are also called neurons.
入力層のノードX1~X3には、入力データとして、それぞれ生体情報に含まれる呼吸数と心拍数と体動の大きさとが入力される。出力層のノードZ1~Z3には、出力データとして、それぞれ集中度が「高」、「中」、「低」の3段階に分けられて対応付けられている。なお、入力層のノードX1~X3の数及び出力層のノードZ1~Z3の数は、それぞれ、入力データの数及び出力データの数に相当する。そのため、入力データ及び出力データの数が多くなると、それに伴って入力層及び出力層のノードの数も多くなる。 Nodes X1-X3 in the input layer receive as input data the respiratory rate, heart rate, and magnitude of body movement contained in the biometric information. Nodes Z1-Z3 in the output layer correspond to three levels of concentration as output data: "high," "medium," and "low." The number of nodes X1-X3 in the input layer and the number of nodes Z1-Z3 in the output layer correspond to the number of input data and the number of output data, respectively. Therefore, as the amount of input data and output data increases, the number of nodes in the input and output layers also increases accordingly.
入力層のノードX1~X3に入力データが入力されると、入力された値に重みW11~W16が乗じられて中間層のノードY1~Y2に入力され、その値に更に重みW21~W26が乗じられて出力層のノードZ1~Z3から出力される。出力層の出力結果は、重みW11~W16,W21~W26の値によって変わる。 When input data is input to nodes X1-X3 in the input layer, the input value is multiplied by weights W11-W16 and input to nodes Y1-Y2 in the hidden layer, and this value is then further multiplied by weights W21-W26 and output from nodes Z1-Z3 in the output layer. The output result from the output layer changes depending on the values of weights W11-W16 and W21-W26.
出力層の各ノードZ1~Z3は、0以上1以下の値であるスコアを出力する。スコアは、入力層に入力された入力データが、各ノードZ1~Z3に対応付けられた集中度に該当する確からしさを示す値である。スコアが1に近いほど、入力層に入力された入力データが、そのノードに対応付けられた集中度に該当する確率が高いことを意味する。 Each node Z1 to Z3 in the output layer outputs a score that is a value between 0 and 1. The score is a value that indicates the likelihood that the input data input to the input layer corresponds to the concentration level associated with each node Z1 to Z3. The closer the score is to 1, the higher the probability that the input data input to the input layer corresponds to the concentration level associated with that node.
モデル生成部120は、学習データベース180に記憶されている学習用データ60を教師データとして用いて、ニューラルネットワークにおける各層の結合の重みW11~W16,W21~W26を調整する。具体的に説明すると、モデル生成部120は、学習用データ60の各生体情報に含まれる呼吸数と心拍数と体動の大きさとのセットを、入力データとして入力層に入力する。そして、モデル生成部120は、出力層の各ノードZ1~Z3から出力されるスコアのうちの、正解のノードから出力されるスコアが1に近づき、且つ、その他のノードから出力されるスコアが0に近づくように、誤差逆伝播法等を用いて各層の結合の重みW11~W16,W21~W26を調整する。ここで、正解のノードは、学習用データ60において、入力層に入力された生体情報に紐付けられている集中度に対応するノードである。 The model generation unit 120 uses the training data 60 stored in the training database 180 as training data to adjust the connection weights W11-W16 and W21-W26 of each layer in the neural network. Specifically, the model generation unit 120 inputs sets of respiratory rate, heart rate, and body movement magnitude contained in each piece of biometric information in the training data 60 as input data to the input layer. The model generation unit 120 then adjusts the connection weights W11-W16 and W21-W26 of each layer using backpropagation or the like so that, among the scores output from each node Z1-Z3 in the output layer, the score output from the correct node approaches 1 and the scores output from the other nodes approach 0. Here, the correct node is the node in the training data 60 that corresponds to the concentration level linked to the biometric information input to the input layer.
モデル生成部120は、このような処理を、学習用データ60に含まれる複数セットの生体情報と集中度との組み合わせのそれぞれに対して実行することにより、ニューラルネットワークにおける各層の結合の重みW11~W16,W21~W26を最適化する。これにより、モデル生成部120は、生体情報の入力を受けて、その生体情報が、「高」、「中」、「低」の3段階の集中度のそれぞれに該当する確からしさを示すスコアを出力するニューラルネットワークを構築する。 The model generation unit 120 performs this process for each of the multiple sets of biometric information and concentration level combinations included in the training data 60, thereby optimizing the connection weights W11-W16, W21-W26 of each layer in the neural network. In this way, the model generation unit 120 constructs a neural network that receives input biometric information and outputs a score indicating the likelihood that the biometric information corresponds to one of three levels of concentration: "high," "medium," or "low."
モデル生成部120は、ニューラルネットワークを構築すると、構築されたニューラルネットワークを学習済みモデル70としてモデル記憶部390に保存する。モデル生成部120は、制御部11が記憶部12と協働することにより実現される。モデル生成部120は、モデル生成手段として機能する。 Once the model generation unit 120 constructs a neural network, it stores the constructed neural network in the model storage unit 390 as a trained model 70. The model generation unit 120 is realized by the control unit 11 working in cooperation with the storage unit 12. The model generation unit 120 functions as a model generation means.
次に、図7を参照して、学習装置10により実行される学習済みモデル70の生成処理について説明する。図7に示す学習済みモデル70の生成処理を実行することにより、学習済みモデル70の生成方法が実現される。学習装置10の制御部11は、操作受付部13を介してユーザの指示を受け付けると、図7に示す学習済みモデル70の生成処理を開始する。 Next, with reference to Figure 7, the process for generating the trained model 70 executed by the learning device 10 will be described. By executing the process for generating the trained model 70 shown in Figure 7, a method for generating the trained model 70 is realized. When the control unit 11 of the learning device 10 receives a user instruction via the operation reception unit 13, it starts the process for generating the trained model 70 shown in Figure 7.
学習済みモデル70の生成処理を開始すると、制御部11は、収集部110として機能し、生体情報及び集中度のデータを収集する(ステップS11)。具体的に説明すると、制御部11は、生体情報のデータとして、学習対象となる複数の人の呼吸情報、心拍情報及び体動情報のデータを、センサ装置20から収集する。また、制御部11は、学習対象となる複数の人からの申告により、集中度のデータを収集する。 When the process of generating the trained model 70 begins, the control unit 11 functions as the collection unit 110 and collects biometric information and concentration level data (step S11). Specifically, the control unit 11 collects, as biometric information data, breathing information, heart rate information, and body movement information of multiple people who are the learning subjects from the sensor device 20. The control unit 11 also collects concentration level data based on reports from the multiple people who are the learning subjects.
データを収集すると、制御部11は、収集した生体情報と対応する集中度とを紐付けて、学習用データ60を生成する(ステップS12)。制御部11は、例えば図4に示したような学習用データ60を生成し、学習データベース180に保存する。 Once the data is collected, the control unit 11 associates the collected biometric information with the corresponding concentration level to generate learning data 60 (step S12). The control unit 11 generates learning data 60 such as that shown in FIG. 4, for example, and stores it in the learning database 180.
学習用データ60を生成すると、制御部11は、モデル生成部120として機能し、生成した学習用データ60を用いて生体情報と集中度との間の関係を学習することにより、学習済みモデル70を生成する(ステップS13)。具体的に説明すると、制御部11は、学習用データ60に含まれる複数セットの生体情報と集中度との組み合わせを教師データとして用いて機械学習を実行し、生体情報の入力に対して集中度の推定結果を出力する学習済みモデル70を生成する。 Once the training data 60 is generated, the control unit 11 functions as the model generation unit 120 and generates a trained model 70 by learning the relationship between biometric information and concentration level using the generated training data 60 (step S13). Specifically, the control unit 11 performs machine learning using multiple sets of combinations of biometric information and concentration level included in the training data 60 as training data, and generates a trained model 70 that outputs an estimated result of concentration level in response to input biometric information.
学習済みモデル70を生成すると、制御部11は、生成した学習済みモデル70をモデル記憶部190に保存する(ステップS14)。以上により、図7に示した学習済みモデルの生成処理は終了する。 Once the trained model 70 has been generated, the control unit 11 stores the generated trained model 70 in the model storage unit 190 (step S14). This completes the trained model generation process shown in Figure 7.
<活用フェーズ>
次に、学習装置10により生成された学習済みモデル70を活用する処理について説明する。
<Utilization phase>
Next, a process for utilizing the trained model 70 generated by the training device 10 will be described.
図1に示した設備制御装置30は、対象エリア5に設置された設備機器40を制御する装置である。設備制御装置30は、パーソナルコンピュータ、サーバ、タブレット等の情報処理装置により実現される。設備制御装置30は、学習装置10による学習結果に基づいて、対象エリア5に存在している人の集中度を推定し、設備機器40を制御する。設備制御装置30は、図8に示すように、制御部31と、記憶部32と、操作受付部33と、表示部34と、通信部35と、を備える。 The equipment control device 30 shown in FIG. 1 is a device that controls equipment 40 installed in the target area 5. The equipment control device 30 is realized by an information processing device such as a personal computer, server, or tablet. The equipment control device 30 estimates the concentration of people present in the target area 5 based on the learning results of the learning device 10, and controls the equipment 40. As shown in FIG. 8, the equipment control device 30 includes a control unit 31, a memory unit 32, an operation reception unit 33, a display unit 34, and a communication unit 35.
制御部31は、CPU、ROM及びRAMを備える。CPUは、中央処理装置、中央演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ等とも呼び、設備制御装置30の制御に係る処理及び演算を実行する中央演算処理部として機能する。制御部31において、CPUは、ROMに格納されているプログラム及びデータを読み出し、RAMをワークエリアとして用いて、設備制御装置30を統括制御する。 The control unit 31 includes a CPU, ROM, and RAM. The CPU is also called a central processing unit, central arithmetic unit, processor, microprocessor, microcomputer, etc., and functions as a central processing unit that executes processing and calculations related to the control of the equipment control device 30. In the control unit 31, the CPU reads programs and data stored in the ROM and uses the RAM as a work area to perform overall control of the equipment control device 30.
記憶部32は、フラッシュメモリ、EPROM、EEPROM等の不揮発性の半導体メモリを備えており、いわゆる二次記憶装置又は補助記憶装置としての役割を担う。記憶部32は、制御部31が各種処理を行うために使用するプログラム及びデータを記憶する。また、制御部31が各種処理を行うことにより生成又は取得するデータを記憶する。 The storage unit 32 is equipped with non-volatile semiconductor memory such as flash memory, EPROM, or EEPROM, and serves as a so-called secondary storage device or auxiliary storage device. The storage unit 32 stores programs and data used by the control unit 31 to perform various processes. It also stores data generated or acquired by the control unit 31 as a result of performing various processes.
操作受付部33は、キーボード、マウス、スイッチ、タッチパッド、タッチパネル等の入力デバイスを備えており、ユーザから操作を受け付ける。ユーザは、操作受付部33を操作することによって、様々な指示を設備制御装置30に入力することができる。操作受付部33は、ユーザから入力された操作指示を受け付けると、受け付けた操作指示を制御部31に送信する。 The operation reception unit 33 is equipped with input devices such as a keyboard, mouse, switches, touchpad, and touch panel, and receives operations from the user. By operating the operation reception unit 33, the user can input various instructions to the equipment control device 30. When the operation reception unit 33 receives an operation instruction input by the user, it transmits the received operation instruction to the control unit 31.
表示部34は、LCDパネル、有機EL等の表示デバイスを備える。表示部34は、図示しない表示駆動回路によって駆動され、制御部31による制御のもとで様々な画像を表示する。 The display unit 34 includes a display device such as an LCD panel or organic EL. The display unit 34 is driven by a display drive circuit (not shown) and displays various images under the control of the control unit 31.
通信部35は、設備制御装置30が外部の装置と通信するための通信インタフェースを備える。例えば、通信部35は、外部の装置との間で、LAN、USB、インターネット等の周知の通信規格に則って通信する。 The communication unit 35 has a communication interface that enables the equipment control device 30 to communicate with external devices. For example, the communication unit 35 communicates with external devices in accordance with well-known communication standards such as LAN, USB, and the Internet.
次に、図9を参照して、設備制御装置30の機能的な構成について説明する。図9に示すように、設備制御装置30は、機能的に、取得部310と、推定部320と、出力部330と、設備制御部340と、を備える。これらの各機能は、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現される。ソフトウェア及びファームウェアは、プログラムとして記述され、ROM又は記憶部32に格納される。そして、CPUが、ROM又は記憶部12に記憶されたプログラムを実行することによって、これらの各機能を実現する。 Next, the functional configuration of the equipment control device 30 will be described with reference to Figure 9. As shown in Figure 9, the equipment control device 30 functionally comprises an acquisition unit 310, an estimation unit 320, an output unit 330, and an equipment control unit 340. Each of these functions is realized by software, firmware, or a combination of software and firmware. The software and firmware are written as programs and stored in the ROM or memory unit 32. The CPU then executes the programs stored in the ROM or memory unit 12 to realize each of these functions.
また、設備制御装置30は、学習済みモデル70を記憶するモデル記憶部390を備える。モデル記憶部390は、記憶部32の適宜の記憶領域に構築される。学習済みモデル70は、学習装置10において生成された後、通信部35による通信を介して、又は外部記録媒体を経由して、モデル記憶部390に記憶される。 The equipment control device 30 also includes a model storage unit 390 that stores the trained model 70. The model storage unit 390 is constructed in an appropriate storage area of the storage unit 32. After the trained model 70 is generated in the learning device 10, it is stored in the model storage unit 390 via communication by the communication unit 35 or via an external recording medium.
なお、設備制御装置30の各部のうち、設備制御部340以外の機能を合わせて推定装置50と呼ぶことができる。 The functions of each part of the equipment control device 30 other than the equipment control unit 340 can be collectively referred to as the estimation device 50.
取得部310は、対象エリア5に存在する人の生体情報を取得する。生体情報は、上述したように、人の生体状態を示す情報であって、具体的には、人の呼吸に関する呼吸情報と、人の心拍に関する心拍情報と、人の体動に関する体動情報と、を含む。学習フェーズと同様に、センサ装置20は、ドップラーセンサ21を用いて、対象エリア5に存在する人の生体情報を計測する。取得部310は、通信部35によりセンサ装置20と通信し、センサ装置20から生体情報を取得する。取得部310は、制御部31が通信部35と協働することにより実現される。取得部310は、取得手段の一例である。 The acquisition unit 310 acquires biometric information of people present in the target area 5. As described above, biometric information is information that indicates a person's biological state, and specifically includes respiratory information related to the person's breathing, heart rate information related to the person's heart rate, and body movement information related to the person's body movement. As in the learning phase, the sensor device 20 measures the biometric information of people present in the target area 5 using the Doppler sensor 21. The acquisition unit 310 communicates with the sensor device 20 via the communication unit 35 and acquires the biometric information from the sensor device 20. The acquisition unit 310 is realized by the control unit 31 cooperating with the communication unit 35. The acquisition unit 310 is an example of an acquisition means.
より詳細には、取得部310は、対象エリア5に人が存在している場合に、その人の生体情報を取得する。ここで、対象エリア5に人が存在しているか否かは、適宜の手法によって判定される。例えば、取得部310は、対象エリア5に設置された情報端末と通信部35により通信し、情報端末が操作された場合に、対象エリア5に人が存在していると判定する。或いは、対象エリア5に人感センサが設置されており、取得部310は、人感センサにより人が検知された場合に、対象エリア5に人が存在していると判定しても良い。 More specifically, if a person is present in the target area 5, the acquisition unit 310 acquires the person's biometric information. Here, whether or not a person is present in the target area 5 is determined using an appropriate method. For example, the acquisition unit 310 communicates with an information terminal installed in the target area 5 via the communication unit 35, and determines that a person is present in the target area 5 when the information terminal is operated. Alternatively, a human presence sensor may be installed in the target area 5, and the acquisition unit 310 may determine that a person is present in the target area 5 when a human presence sensor detects a person.
推定部320は、学習済みモデル70に基づいて、取得部310により取得された生体情報から、対象エリア5に存在する人の集中度を推定する。具体的に説明すると、推定部320は、取得部310により取得された生体情報を学習済みモデル70に入力する。上述したように、学習済みモデル70は、入力された生体情報に対して、推定対象となる人の集中度が、「高」、「中」、「低」の3段階のそれぞれに該当する確からしさを示すスコアを出力する。 The estimation unit 320 estimates the concentration level of people present in the target area 5 from the biometric information acquired by the acquisition unit 310, based on the trained model 70. Specifically, the estimation unit 320 inputs the biometric information acquired by the acquisition unit 310 into the trained model 70. As described above, the trained model 70 outputs a score indicating the likelihood that the concentration level of the person to be estimated corresponds to one of three levels: "high," "medium," or "low," for the input biometric information.
これらの3段階のうち、学習済みモデル70により出力されたスコアが最も高い段階は、推定対象の人の集中度に該当する可能性が最も高い。そのため、推定部320は、学習済みモデル70により出力された「高」、「中」、「低」の各段階のスコアを比較し、スコアが最も高い段階が、推定対象の人の集中度に該当すると推定する。 Of these three levels, the level with the highest score output by the trained model 70 is most likely to correspond to the concentration level of the person being estimated. Therefore, the estimation unit 320 compares the scores for each of the "high," "medium," and "low" levels output by the trained model 70, and estimates that the level with the highest score corresponds to the concentration level of the person being estimated.
例えば、生体情報の入力に対して、学習済みモデル70から出力された各段階のスコアのうちの「高」のスコアが最も高い場合、推定部320は、その生体情報の取得元である人の集中度が高いと推定する。これに対して、生体情報の入力に対して、学習済みモデル70から出力された各段階のスコアのうちの「低」のスコアが最も高い場合、推定部320は、その生体情報の取得元である人の集中度が低いと推定する。推定部320は、制御部31が記憶部32と協働することにより実現される。推定部320は、推定手段の一例である。 For example, if the "high" score is the highest among the scores for each stage output from the trained model 70 for input biometric information, the estimation unit 320 estimates that the person from whom the biometric information was obtained has a high level of concentration. On the other hand, if the "low" score is the highest among the scores for each stage output from the trained model 70 for input biometric information, the estimation unit 320 estimates that the person from whom the biometric information was obtained has a low level of concentration. The estimation unit 320 is realized by the control unit 31 working in cooperation with the memory unit 32. The estimation unit 320 is an example of an estimation means.
出力部330は、推定部320により推定された推定結果を出力する。出力部330は、推定部320により推定された集中度を示す画像を生成し、表示部34に表示させる。ユーザは、表示部34を確認することで、対象エリア5に存在する人の集中度を知ることができる。 The output unit 330 outputs the estimation results estimated by the estimation unit 320. The output unit 330 generates an image showing the concentration level estimated by the estimation unit 320 and displays it on the display unit 34. By checking the display unit 34, the user can know the concentration level of people present in the target area 5.
或いは、出力部330は、推定部320により推定された集中度を示す出力情報を、通信部35を介して外部の装置に出力し、外部の装置の表示部に表示しても良い。出力部330は、制御部31が表示部34又は通信部35と協働することにより実現される。出力部330は、出力手段の一例である。 Alternatively, the output unit 330 may output output information indicating the concentration level estimated by the estimation unit 320 to an external device via the communication unit 35 and display it on a display unit of the external device. The output unit 330 is realized by the control unit 31 working in cooperation with the display unit 34 or the communication unit 35. The output unit 330 is an example of an output means.
設備制御部340は、推定部320により推定された集中度に基づいて、設備機器40を制御する。まず、設備制御部340は、推定部320により推定された集中度に基づいて、設備機器40の制御内容を決定する。 The equipment control unit 340 controls the equipment 40 based on the concentration level estimated by the estimation unit 320. First, the equipment control unit 340 determines the control content of the equipment 40 based on the concentration level estimated by the estimation unit 320.
制御内容を決定するために、設備制御部340は、推定対象となる人の集中度の状態として、図10に示すように、第1の状態である高集中状態と、第1の状態よりも集中度が低い第2の状態である低集中状態と、を定義する。ある人の集中度が低集中状態にある場合において、推定部320により推定されたその人の集中度が「高」である状態が予め定められた時間以上継続した場合、その人の集中度は低集中状態から高集中状態に変化する。これに対して、ある人の集中度が高集中状態にある場合において、推定部320により推定されたその人の集中度が「低」である状態が予め定められた時間以上継続した場合、その人の集中度は高集中状態から低集中状態に変化する。 To determine the control content, the equipment control unit 340 defines the concentration state of the person to be estimated as a first state, a high concentration state, and a second state, a low concentration state, which is lower in concentration than the first state, as shown in FIG. 10. When a person's concentration level is in a low concentration state, if the state in which the person's concentration level estimated by the estimation unit 320 is "high" continues for a predetermined period of time or longer, the person's concentration level changes from the low concentration state to the high concentration state. Conversely, when a person's concentration level is in a high concentration state, if the state in which the person's concentration level estimated by the estimation unit 320 is "low" continues for a predetermined period of time or longer, the person's concentration level changes from the high concentration state to the low concentration state.
設備制御部340は、推定部320により推定された集中度の継続時間を計測する。そして、設備制御部340は、集中度の継続時間に基づいて、推定対象となる人の現在の集中度が低集中状態と高集中状態とのどちらの状態にあるのかを判定し、判定結果に応じて制御内容を決定する。 The equipment control unit 340 measures the duration of the concentration level estimated by the estimation unit 320. Then, based on the duration of the concentration level, the equipment control unit 340 determines whether the current concentration level of the person being estimated is in a low concentration state or a high concentration state, and determines the control content based on the determination result.
具体的に説明すると、設備制御部340は、推定部320により推定された集中度が高集中状態から低集中状態に変化した場合、対象エリア5に存在する人を刺激する刺激運転を設備機器40に実行させる。また、推定部320により推定された集中度が低集中状態にある時間が予め定められた閾時間よりも長く継続した場合も同様に、設備制御部340は、刺激運転を設備機器40に実行させる。ここで、刺激運転は、対象エリア5に存在する人を刺激して覚醒を促す、また気持ちをリフレッシュさせる運転を意味する。 Specifically, when the concentration level estimated by the estimation unit 320 changes from a high concentration state to a low concentration state, the equipment control unit 340 causes the equipment 40 to perform a stimulating operation that stimulates people present in the target area 5. Similarly, when the concentration level estimated by the estimation unit 320 remains in a low concentration state for longer than a predetermined threshold time, the equipment control unit 340 causes the equipment 40 to perform a stimulating operation. Here, stimulating operation refers to an operation that stimulates people present in the target area 5 to wake them up and refresh their minds.
第1の例として、設備機器40が空調機の室内機である場合、刺激運転は、室内機から吹き出される空調空気の吹き出し方向を変化させる運転、又は、空調空気の温度を低下させる運転である。空調空気の吹き出し方向を変化させる運転として、例えば、気流をスイングさせる動作が挙げられる。これにより、風当たり感が変化するため、対象エリア5に存在する人を刺激することができる。また、空調空気の温度を低下させることによっても、人を刺激することができるため、集中力を高めることができる。 As a first example, if the facility equipment 40 is an indoor unit of an air conditioner, the stimulating operation is an operation that changes the blowing direction of the conditioned air blown out from the indoor unit, or an operation that lowers the temperature of the conditioned air. An example of an operation that changes the blowing direction of the conditioned air is an operation that swings the airflow. This changes the feeling of wind blowing, which can stimulate people in the target area 5. Lowering the temperature of the conditioned air can also stimulate people, which can increase their concentration.
第2の例として、設備機器40が換気装置である場合、刺激運転は、換気装置による換気の強度を上げる運転である。換気の強度を上げることにより、対象エリア5の二酸化炭素濃度を下げることができるため、対象エリア5に存在する人の気持ちをリフレッシュさせ、集中力を高めることができる。 As a second example, if the equipment 40 is a ventilation device, the stimulation operation is an operation that increases the ventilation intensity of the ventilation device. By increasing the ventilation intensity, the carbon dioxide concentration in the target area 5 can be reduced, thereby refreshing the mood of people present in the target area 5 and increasing their concentration.
第3の例として、設備機器40が照明機器である場合、刺激運転は、照明機器による照明の色を変化させる運転である。照明の色を変化させることで、人の気分を変化させることができるため、集中力を高める効果が見込まれる。照明の色を変化させる運転として、例えば、照明の色を暖色系に変化させる運転が挙げられる。暖色系の色は人の自律神経を刺激する傾向があるため、照明の色を暖色系に変化させることで、集中力をより効果的に高めることができる。 As a third example, if the facility equipment 40 is a lighting device, the stimulating operation is an operation that changes the color of the lighting provided by the lighting device. Changing the color of the lighting can change a person's mood, which is expected to have the effect of increasing concentration. An example of an operation that changes the color of the lighting is an operation that changes the color of the lighting to a warm color. Warm colors tend to stimulate people's autonomic nervous system, so changing the color of the lighting to a warm color can more effectively increase concentration.
設備制御部340は、このような刺激運転を一定時間継続した後、元の状態に戻すという運転を設備機器40に実行させるように、制御内容を決定する。このように、対象エリア5に存在する人の気持ちを切り替えやすい環境に一時的に変化させた後、元の制御状態に戻すことで、その後の集中を促すことができる。 The equipment control unit 340 determines the control content so that the equipment 40 continues this stimulating operation for a certain period of time, and then returns to its original state. In this way, by temporarily changing the environment to one that makes it easier for people in the target area 5 to change their mood, and then returning to the original control state, it is possible to encourage subsequent concentration.
また、設備制御部340は、推定部320により推定された集中度が高集中状態にある時間が予め定められた閾時間よりも長く継続した場合も同様に、刺激運転を設備機器40に実行させる。集中力が高い状態であっても、刺激運転により一時的にリフレッシュを促すことで、高集中状態を持続させ易くすることができる。なお、集中度が高集中状態から低集中状態に変化した場合と、集中度が高集中状態にある時間が閾時間よりも長く継続した場合とで、刺激運転の内容を異なるようにしても良い。 Furthermore, the equipment control unit 340 also causes the equipment 40 to perform a stimulating operation if the concentration level estimated by the estimation unit 320 remains in a high concentration state for a period of time longer than a predetermined threshold time. Even when concentration is high, the stimulating operation can be used to temporarily refresh the user, making it easier to maintain a high concentration state. Note that the content of the stimulating operation may be different when the concentration level changes from a high concentration state to a low concentration state and when the concentration level remains in a high concentration state for a period of time longer than the threshold time.
このような制御の切り替え条件、低集中状態での制御内容、及び、高集中状態での制御内容は、自由に設定することができる。例えば、これらをユーザが選択して設定できるようにし、設備制御部340は、ユーザが設定した切り替え条件又は制御内容に従って、制御内容を決定しても良い。 These control switching conditions, control details in low-concentration states, and control details in high-concentration states can be freely set. For example, the user may be able to select and set these, and the equipment control unit 340 may determine the control details according to the switching conditions or control details set by the user.
制御内容を決定すると、設備制御部340は、決定した制御内容で設備機器40を動作させる。具体的に説明すると、設備制御部340は、通信部35を介して設備機器40と通信し、設備機器40に対して、決定した制御内容を実行する指令を送信する。これにより、設備制御部340は、推定部320により推定された集中度に応じた運転を設備機器40に実行させる。設備制御部340は、制御部31が通信部35と協働することにより実現される。設備制御部340は、設備制御手段の一例である。 Once the control content has been determined, the equipment control unit 340 operates the equipment 40 according to the determined control content. Specifically, the equipment control unit 340 communicates with the equipment 40 via the communication unit 35 and sends a command to the equipment 40 to execute the determined control content. As a result, the equipment control unit 340 causes the equipment 40 to operate in accordance with the concentration level estimated by the estimation unit 320. The equipment control unit 340 is realized by the control unit 31 working in cooperation with the communication unit 35. The equipment control unit 340 is an example of equipment control means.
次に、図11を参照して、設備制御装置30により実行される設備制御処理について説明する。設備制御装置30の制御部31は、学習装置10により生成された学習済みモデル70がモデル記憶部390に記憶されている状態において、図11に示す設備制御処理を実行する。 Next, the equipment control process executed by the equipment control device 30 will be described with reference to Figure 11. The control unit 31 of the equipment control device 30 executes the equipment control process shown in Figure 11 when the trained model 70 generated by the learning device 10 is stored in the model storage unit 390.
設備制御処理を開始すると、制御部31は、対象エリア5に人が存在しているか否かを判定する(ステップS31)。具体的に説明すると、制御部31は、対象エリア5に設置された情報端末が操作されたか否か、又は、対象エリア5に設置された人感センサにより人が検知されたか否かによって、対象エリア5に人が存在しているか否かを判定する。 When the equipment control process starts, the control unit 31 determines whether or not a person is present in the target area 5 (step S31). Specifically, the control unit 31 determines whether or not a person is present in the target area 5 based on whether or not an information terminal installed in the target area 5 has been operated, or whether or not a person has been detected by a human presence sensor installed in the target area 5.
対象エリア5に人が存在していない場合(ステップS31;NO)、制御部31は、ステップS31に留まり、対象エリア5に人が入ってくるまで待機する。 If no person is present in the target area 5 (step S31; NO), the control unit 31 remains in step S31 and waits until a person enters the target area 5.
一方で、対象エリア5に人が存在している場合(ステップS31;YES)、制御部31は、取得部310として機能し、対象エリア5に存在する人の生体情報を取得する(ステップS32)。具体的に説明すると、制御部31は、生体情報として、対象エリア5に存在する人の呼吸情報、心拍情報及び体動情報を、センサ装置20から取得する。 On the other hand, if a person is present in the target area 5 (step S31; YES), the control unit 31 functions as the acquisition unit 310 and acquires biometric information of the person present in the target area 5 (step S32). Specifically, the control unit 31 acquires, as biometric information, breathing information, heart rate information, and body movement information of the person present in the target area 5 from the sensor device 20.
生体情報を取得すると、制御部31は、推定部320として機能し、学習済みモデル70に基づいて、取得した生体情報から集中度を推定する(ステップS33)。具体的に説明すると、制御部31は、学習済みモデル70に対して、ステップS31で取得した生体情報を入力する。そして、制御部31は、生体情報の入力に対して学習済みモデル70により出力される複数段階の集中度のスコアを比較し、スコアが最も高い集中度を、推定対象の人の集中度であると推定する。 Once the biometric information is acquired, the control unit 31 functions as the estimation unit 320 and estimates the concentration level from the acquired biometric information based on the trained model 70 (step S33). Specifically, the control unit 31 inputs the biometric information acquired in step S31 to the trained model 70. The control unit 31 then compares the multiple levels of concentration level scores output by the trained model 70 in response to the input biometric information, and estimates the concentration level with the highest score to be the concentration level of the person being estimated.
集中度を推定すると、制御部31は、出力部330として機能し、推定結果を出力する(ステップS34)。制御部31は、推定された集中度を示す画像を表示部34に表示させることで、ユーザに通知する。 Once the concentration level has been estimated, the control unit 31 functions as the output unit 330 and outputs the estimation result (step S34). The control unit 31 notifies the user by displaying an image indicating the estimated concentration level on the display unit 34.
推定結果を出力すると、制御部31は、推定された集中度に基づいて、設備機器40の制御内容を決定する(ステップS35)。ステップS35における制御内容決定処理の詳細は、図12を参照して説明する。 After outputting the estimation result, the control unit 31 determines the control content of the equipment 40 based on the estimated concentration level (step S35). Details of the control content determination process in step S35 will be described with reference to Figure 12.
制御内容決定処理を開始すると、制御部31は、ステップS33で推定された集中度の状態を判定する(ステップS351)。具体的に説明すると、制御部31は、推定された集中度の継続時間を計測し、現在の集中度が、図10に示した高集中状態と低集中状態とのどちらであるかを判定する。 When the control content determination process starts, the control unit 31 determines the state of concentration estimated in step S33 (step S351). Specifically, the control unit 31 measures the duration of the estimated concentration and determines whether the current concentration state is a high concentration state or a low concentration state as shown in Figure 10.
集中度の状態を判定すると、制御部31は、推定された集中度が高集中状態から低集中状態に変化したか否か、低集中状態が閾時間よりも長く継続したか否か、及び、高集中状態が閾時間よりも長く継続したか否かを判定する(ステップS352~S354)。推定された集中度が高集中状態から低集中状態に変化しておらず、低集中状態が閾時間よりも長く継続しておらず、且つ、高集中状態が閾時間よりも長く継続していない場合(ステップS352~S354;いずれもNO)、制御部31は、制御内容を通常運転に決定する(ステップS355)。 After determining the state of concentration, the control unit 31 determines whether the estimated concentration level has changed from a high concentration state to a low concentration state, whether the low concentration state has continued for longer than the threshold time, and whether the high concentration state has continued for longer than the threshold time (steps S352 to S354). If the estimated concentration level has not changed from a high concentration state to a low concentration state, the low concentration state has not continued for longer than the threshold time, and the high concentration state has not continued for longer than the threshold time (steps S352 to S354; NO in all cases), the control unit 31 determines the control content to be normal operation (step S355).
これに対して、推定された集中度が高集中状態から低集中状態に変化した場合(ステップS352;YES)、低集中状態が閾時間よりも長く継続した場合(ステップS353;YES)、又は、高集中状態が閾時間よりも長く継続した場合(ステップS354;YES)、制御部31は、制御内容を刺激運転に決定する(ステップS356)。以上により、図12に示した制御内容決定処理は終了する。 On the other hand, if the estimated concentration level changes from a high concentration state to a low concentration state (step S352; YES), if the low concentration state continues for longer than the threshold time (step S353; YES), or if the high concentration state continues for longer than the threshold time (step S354; YES), the control unit 31 determines the control content to be stimulation operation (step S356). This concludes the control content determination process shown in Figure 12.
図11に戻って、制御内容を決定すると、制御部31は、設備制御部340として機能し、決定した制御内容で設備機器40を制御する(ステップS36)。これにより、制御部31は、推定部320により推定された集中度に応じた運転を設備機器40に実行させる。 Returning to FIG. 11, once the control content has been determined, the control unit 31 functions as the equipment control unit 340 and controls the equipment 40 according to the determined control content (step S36). As a result, the control unit 31 causes the equipment 40 to operate in accordance with the concentration level estimated by the estimation unit 320.
その後、制御部31は、処理をステップS31に戻し、引き続き対象エリア5に人が存在しているか否かを判定する。そして、制御部31は、人が存在している場合、ステップS32~S36の処理を再度実行する。このように、制御部31は、対象エリア5に人が存在している間、その人の生体情報から集中度を推定し、推定された集中度に基づいて設備機器40を制御する処理を繰り返す。以上により、図11に示した設備制御処理は終了する。 The control unit 31 then returns the process to step S31 and continues to determine whether or not a person is present in the target area 5. If a person is present, the control unit 31 executes the processes of steps S32 to S36 again. In this way, while a person is present in the target area 5, the control unit 31 repeats the process of estimating the concentration level from the person's biometric information and controlling the equipment 40 based on the estimated concentration level. This completes the equipment control process shown in FIG. 11.
以上説明したように、実施の形態1に係る設備制御システム1において、学習装置10は、生体情報と対応する集中度との間の関係を学習することにより、学習済みモデル70を生成する。そして、設備制御装置30は、学習済みモデル70に基づいて、対象エリア5に存在する人の生体情報からその人の集中度を推定し、推定された集中度に基づいて設備機器40を制御する。これにより、対象エリア5に存在する人の状態に応じて設備機器40を制御することができるため、対象エリア5に存在する人の集中力を向上させることができる。その結果として、設備制御システム1のユーザは、対象エリア5において、高い集中力を持続させて仕事、作業、勉強等に取り組むことができる。 As described above, in the equipment control system 1 according to embodiment 1, the learning device 10 generates a trained model 70 by learning the relationship between biometric information and the corresponding concentration level. The equipment control device 30 then estimates the concentration level of a person present in the target area 5 from the person's biometric information based on the trained model 70, and controls the equipment 40 based on the estimated concentration level. This makes it possible to control the equipment 40 according to the state of the person present in the target area 5, thereby improving the concentration of the person present in the target area 5. As a result, users of the equipment control system 1 can maintain a high level of concentration while working, performing tasks, studying, etc. in the target area 5.
また、実施の形態1に係る設備制御システム1において、対象エリア5に存在する人の生体情報は、ドップラーセンサ21を用いて取得される。ドップラーセンサ21を用いることにより非接触で生体情報を取得でき、人がセンサを身に着ける必要が無いため、人の集中力を阻害せずに刺激に必要なデータを取得することができる。 In addition, in the equipment control system 1 according to embodiment 1, biometric information of people present in the target area 5 is acquired using a Doppler sensor 21. By using the Doppler sensor 21, biometric information can be acquired contactlessly, and people do not need to wear the sensor, so the data necessary for stimulation can be acquired without disrupting people's concentration.
(実施の形態2)
次に、本開示の実施の形態2について説明する。実施の形態1と同様の構成及び機能については、適宜説明を省略する。
(Embodiment 2)
Next, a second embodiment of the present disclosure will be described. Descriptions of the same configurations and functions as those of the first embodiment will be omitted as appropriate.
図13に示すように、実施の形態2に係る設備制御装置30aは、機能的に、取得部310と、推定部320と、出力部330と、設備制御部340と、識別部350と、を備える。識別部350以外の機能は、実施の形態1と同様である。 As shown in FIG. 13, the equipment control device 30a according to the second embodiment functionally comprises an acquisition unit 310, an estimation unit 320, an output unit 330, an equipment control unit 340, and an identification unit 350. The functions other than those of the identification unit 350 are the same as those of the first embodiment.
識別部350は、対象エリア5に存在する人を識別する。ユーザは、設備制御システム1の利用を開始する際に、設備制御装置30aの操作受付部33、又は設備制御装置30aの通信部35と通信可能な情報端末を操作して、自身の名前、アカウント名、ID等のユーザ情報を入力する。識別部350は、このようにしてユーザから入力されたユーザ情報を受け付けることにより、対象エリア5に存在する人を識別する。識別部350は、制御部31が操作受付部33又は通信部35と協働することにより実現される。識別部350は、識別手段の一例である。 The identification unit 350 identifies people present in the target area 5. When a user starts using the equipment control system 1, the user operates the operation reception unit 33 of the equipment control device 30a or an information terminal capable of communicating with the communication unit 35 of the equipment control device 30a to input user information such as the user's name, account name, and ID. The identification unit 350 accepts the user information input by the user in this manner, thereby identifying people present in the target area 5. The identification unit 350 is realized by the control unit 31 working in cooperation with the operation reception unit 33 or communication unit 35. The identification unit 350 is an example of an identification means.
実施の形態2において、学習済みモデル70は、図14に示すように、複数の人別モデル71を含んでいる。複数の人別モデル71のそれぞれは、互いに異なる人の生体情報と、対応する集中度と、の間の関係を学習することにより生成されたモデルであって、生体情報の入力に対して集中度の推定結果を出力する互いに独立したモデルである。 In embodiment 2, the trained model 70 includes a plurality of individual models 71, as shown in FIG. 14. Each of the multiple individual models 71 is a model generated by learning the relationship between the biometric information of different people and the corresponding concentration level, and is an independent model that outputs an estimated concentration level in response to input biometric information.
実施の形態2に係る学習装置10において、モデル生成部120は、収集部110により収集された生体情報と集中度との間の関係を、生体情報と集中度とが収集された人毎に分けて学習する。これにより、モデル生成部120は、複数の人別モデル71を生成し、生成した複数の人別モデル71を合わせて学習済み70モデルとしてモデル記憶部190に保存する。 In the learning device 10 according to embodiment 2, the model generation unit 120 learns the relationship between the biometric information collected by the collection unit 110 and the concentration level, separately for each person for whom the biometric information and concentration level were collected. As a result, the model generation unit 120 generates multiple individual models 71, and stores the multiple generated individual models 71 together as a trained model 70 in the model storage unit 190.
推定部320は、複数の人別モデル71のうちの、識別部350により識別された人に対応する人別モデル71に基づいて、取得部310により取得された生体情報から集中度を推定する。具体的に説明すると、推定部320は、取得部310により取得された生体情報を、複数の人別モデル71のうちの、識別部350により識別された人に対応する人別モデル71に入力する。そして、推定部320は、人別モデル71により出力された各段階のスコアを比較し、スコアが最も高い段階が、識別部350により識別された、対象エリア5に存在する人の集中度に該当すると推定する。 The estimation unit 320 estimates the concentration level from the biometric information acquired by the acquisition unit 310, based on the individual model 71 of the multiple individual models 71 that corresponds to the person identified by the identification unit 350. Specifically, the estimation unit 320 inputs the biometric information acquired by the acquisition unit 310 into the individual model 71 of the multiple individual models 71 that corresponds to the person identified by the identification unit 350. The estimation unit 320 then compares the scores of each stage output by the individual model 71, and estimates that the stage with the highest score corresponds to the concentration level of the person present in the target area 5 identified by the identification unit 350.
このように、人によって使用するモデルを切り替えて集中度を推定するため、集中度の推定精度が向上する。そのため、人に合わせて集中度が向上することにより的確に設備機器40を制御することができる。 In this way, the model used to estimate the concentration level is switched depending on the person, improving the accuracy of the concentration level estimation. As a result, the concentration level is improved to suit the person, allowing the facility equipment 40 to be controlled accurately.
なお、複数の人別モデル71のそれぞれは、対応する人が設備制御システム1を利用している間に取得された生体情報のデータと、その間の集中度、制御の満足度等の申告データと、に基づいて更新されるようにしても良い。 In addition, each of the multiple individual models 71 may be updated based on biometric information data acquired while the corresponding person is using the equipment control system 1, as well as reported data such as the level of concentration during that time and satisfaction with control.
また、識別部350は、取得部310により取得された生体情報に基づいて、対象エリア5に存在する人を識別しても良い。例えば、対象エリア5が家庭の書斎、勉強部屋等のような少人数の特定の人のみが使用するようなエリアである場合、対象エリア5で取得される生体情報のデータを蓄積し、生体情報から類似したパターンを抽出して記憶部32に保存する。識別部350は、設備制御システム1の動作が開始されると、記憶部32に予め保存された生体情報の複数のパターンの中で、取得部310により取得された生体情報のパターンに最も類似するパターンを判別する。そして、識別部350は、判別したパターンに対応するユーザを、対象エリア5に存在する人として識別する。このように生体情報から人を識別することにより、動作開始時における入力作業が不要になる。 The identification unit 350 may also identify people present in the target area 5 based on the biometric information acquired by the acquisition unit 310. For example, if the target area 5 is an area used only by a small number of specific people, such as a home study or study room, the identification unit 350 accumulates data on the biometric information acquired in the target area 5, extracts similar patterns from the biometric information, and stores them in the memory unit 32. When operation of the equipment control system 1 begins, the identification unit 350 determines, from multiple patterns of biometric information pre-stored in the memory unit 32, the pattern that is most similar to the pattern of biometric information acquired by the acquisition unit 310. The identification unit 350 then identifies the user corresponding to the determined pattern as a person present in the target area 5. By identifying people from biometric information in this way, input work is not required when operation begins.
(実施の形態3)
次に、本開示の実施の形態3について説明する。実施の形態1,2と同様の構成及び機能については、適宜説明を省略する。
(Embodiment 3)
Next, a third embodiment of the present disclosure will be described. Descriptions of the same configurations and functions as those of the first and second embodiments will be omitted as appropriate.
図15に示すように、実施の形態3に係る設備制御システム1aは、学習装置10と、複数のセンサ装置20と、設備制御装置30と、複数の設備機器40と、を備える。実施の形態3において、対象エリア5は、複数の個別エリア5a~5cに分割される。複数の個別エリア5a~5cのそれぞれに、センサ装置20と設備機器40とが設置されている。複数の個別エリア5a~5cのそれぞれは、例えば、シェアオフィス、自習室等における各ユーザの座席に対応するエリアである。 As shown in FIG. 15, the equipment control system 1a according to the third embodiment includes a learning device 10, multiple sensor devices 20, an equipment control device 30, and multiple equipment devices 40. In the third embodiment, the target area 5 is divided into multiple individual areas 5a-5c. A sensor device 20 and equipment devices 40 are installed in each of the multiple individual areas 5a-5c. Each of the multiple individual areas 5a-5c corresponds to the seat of each user in, for example, a shared office, a study room, etc.
複数のセンサ装置20のそれぞれは、実施の形態1で説明したセンサ装置20と同様である。また、複数の設備機器40のそれぞれは、実施の形態1で説明した設備機器40と同様である。言い換えると、実施の形態3では、センサ装置20及び設備機器40は、複数の個別エリア5a~5cのそれぞれに設置されている。 Each of the multiple sensor devices 20 is similar to the sensor device 20 described in embodiment 1. Furthermore, each of the multiple facility devices 40 is similar to the facility devices 40 described in embodiment 1. In other words, in embodiment 3, the sensor devices 20 and facility devices 40 are installed in each of the multiple individual areas 5a to 5c.
取得部310は、対象エリア5内の複数の個別エリア5a~5cのそれぞれに存在する人の生体情報を、各個別エリア5a~5cに設置されたセンサ装置20から取得する。推定部320は、学習済みモデル70に基づいて、取得部310により取得された生体情報から、複数の個別エリア5a~5cのそれぞれに存在する人の集中度を推定する。言い換えると、推定部320は、1つの個別エリアに設置されたセンサ装置20から取得された生体情報から、その個別エリアに存在する人の集中度を推定する処理を、複数の個別エリア5a~5cのそれぞれに対して実行する。設備制御部340は、推定部320により推定された集中度に基づいて、複数の個別エリア5a~5cのそれぞれに設置された設備機器40を制御する。言い換えると、設備制御部340は、1つの個別エリアに存在する人の集中度に基づいて、その個別エリアに設置された設備機器40を制御する処理を、複数の個別エリア5a~5cのそれぞれに対して実行する。各個別エリアにおける取得部310、推定部320、設備制御部340の処理は、実施の形態1と同様である。 The acquisition unit 310 acquires biometric information of people present in each of the multiple individual areas 5a-5c within the target area 5 from the sensor devices 20 installed in each of the multiple individual areas 5a-5c. The estimation unit 320 estimates the concentration level of people present in each of the multiple individual areas 5a-5c from the biometric information acquired by the acquisition unit 310 based on the trained model 70. In other words, the estimation unit 320 executes a process for each of the multiple individual areas 5a-5c to estimate the concentration level of people present in an individual area from the biometric information acquired from the sensor devices 20 installed in that individual area. The equipment control unit 340 controls the equipment devices 40 installed in each of the multiple individual areas 5a-5c based on the concentration level estimated by the estimation unit 320. In other words, the equipment control unit 340 executes a process for each of the multiple individual areas 5a-5c to control the equipment devices 40 installed in an individual area based on the concentration level of people present in that individual area. The processing by the acquisition unit 310, estimation unit 320, and equipment control unit 340 in each individual area is the same as in embodiment 1.
出力部330は、複数の個別エリア5a~5cのそれぞれに存在する人の集中度の、推定部320による推定結果と、複数の個別エリア5a~5cのそれぞれに設置された設備機器40の制御状態と、を出力する。具体的には図16に示すように、出力部330は、集中度の推定結果及び設備機器40の制御状態を示す画像を表示部34に表示する。より詳細には、出力部330は、推定部320により推定された、複数の個別エリア5a~5cのそれぞれに存在する人の集中度を、「高」、「中」、「低」の3段階で表示する。また、出力部330は、複数の個別エリア5a~5cのそれぞれに設置された設備機器40の現在の制御状態が、実施の形態2で説明した「通常運転」と「刺激運転」とのどちらであるかを表示する。 The output unit 330 outputs the estimation result by the estimation unit 320 of the concentration level of people present in each of the multiple individual areas 5a-5c, and the control status of the equipment 40 installed in each of the multiple individual areas 5a-5c. Specifically, as shown in FIG. 16, the output unit 330 displays an image showing the concentration level estimation result and the control status of the equipment 40 on the display unit 34. More specifically, the output unit 330 displays the concentration level of people present in each of the multiple individual areas 5a-5c estimated by the estimation unit 320 in three levels: "high," "medium," and "low." The output unit 330 also displays whether the current control status of the equipment 40 installed in each of the multiple individual areas 5a-5c is "normal operation" or "stimulation operation," as described in embodiment 2.
このように複数のエリアの集中度と制御状態とが表示されることで、シェアオフィス、自習室等において、座席管理及び座席選択を効率良く実施することができる。例えば、別のユーザが座席選択する際に、各エリアの現在の集中度及び制御状態を参考にすることができる。また、新たにユーザに座席を割り振る際に、高集中度の座席よりも、刺激運転状態の席の近隣を優先して割り当てる、といったことが可能になる。その結果として、ユーザの利便性が向上する。 By displaying the concentration levels and control status of multiple areas in this way, seat management and seat selection can be carried out efficiently in shared offices, study rooms, etc. For example, when another user selects a seat, they can refer to the current concentration level and control status of each area. Also, when allocating a seat to a new user, it becomes possible to prioritize allocation of a seat near a seat in a stimulating driving state over a seat with a high concentration level. As a result, user convenience is improved.
なお、出力部330は、図16に示した表示画像を、通信部35を介して外部の装置に出力しても良い。外部の装置は、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ等の情報端末である。 The output unit 330 may output the display image shown in FIG. 16 to an external device via the communication unit 35. The external device may be, for example, an information terminal such as a smartphone, tablet terminal, or personal computer.
以上のように、実施の形態3に係る設備制御システム1aでは、複数の個別エリア5a~5cにおける集中度と設備機器40とを、1つの設備制御装置30で一括して管理する。そのため、設備制御システム1aを効率的に構築することができる。 As described above, in the equipment control system 1a according to the third embodiment, the concentration levels and equipment devices 40 in multiple individual areas 5a-5c are managed collectively by a single equipment control device 30. This allows the equipment control system 1a to be constructed efficiently.
なお、実施の形態3において、センサ装置20は、複数の個別エリア5a~5cのそれぞれに設置されることに限らない。例えば図17に示す設備制御システム1bように、1台のセンサ装置20を用いて、複数の個別エリア5a~5cのそれぞれに存在する人の生体情報を取得しても良い。特に、ドップラーセンサ21は、複数の対象物に対して非接触で計測データを取得することができる。そのため、各エリアにセンサ装置20が設置されていなくても、1台のセンサ装置20の計測範囲に複数の個別エリア5a~5cを含めるようにすることができる。このように1台のセンサ装置20で複数の個別エリア5a~5cを管理することにより、設備制御システム1bの構成を効率化することができる。 Note that in embodiment 3, the sensor device 20 is not limited to being installed in each of the multiple individual areas 5a-5c. For example, as in the equipment control system 1b shown in FIG. 17, a single sensor device 20 may be used to acquire biometric information of people present in each of the multiple individual areas 5a-5c. In particular, the Doppler sensor 21 can acquire measurement data from multiple objects without contact. Therefore, even if a sensor device 20 is not installed in each area, the measurement range of a single sensor device 20 can include multiple individual areas 5a-5c. In this way, by managing multiple individual areas 5a-5c with a single sensor device 20, the configuration of the equipment control system 1b can be made more efficient.
(変形例)
以上、実施の形態を説明したが、各実施の形態を組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。
(Modification)
Although the embodiments have been described above, it is possible to combine the embodiments, or to modify or omit the embodiments as appropriate.
例えば、上記実施の形態では、学習装置10及び設備制御装置30は、生体情報として、呼吸数、心拍数及び体動の大きさの情報を用いた。しかしながら、学習装置10及び設備制御装置30は、生体情報として、これら以外の情報を用いても良い。例えば、生体情報として、呼吸数、心拍数及び体動の大きさに代えて又は加えて、これらの時間変動量を用いても良い。通常における心拍数、呼吸数、体動及びこれらの時間変動量は個人により異なるが、時間変動量のデータを用いることにより、このような個人差の影響を低減することができるため、集中度の推定精度をより高めることができる。 For example, in the above embodiment, the learning device 10 and the equipment control device 30 used information on respiratory rate, heart rate, and magnitude of body movement as biometric information. However, the learning device 10 and the equipment control device 30 may use information other than these as biometric information. For example, instead of or in addition to respiratory rate, heart rate, and magnitude of body movement, the amount of fluctuation of these over time may be used as biometric information. Normally, heart rate, respiratory rate, body movement, and the amount of fluctuation of these over time differ from person to person, but by using data on the amount of fluctuation over time, the influence of such individual differences can be reduced, thereby further improving the accuracy of estimating the level of concentration.
或いは、モデル生成部120は、学習アルゴリズムとして、RNN(Recurrent Neural Network)、LSTM(Long-Short Term Model)等のような、時系列の変化を含めて学習することができるアルゴリズムを採用して、学習済みモデル70を生成しても良い。これらの学習アルゴリズムは、時間変動を含めて学習することができるため、入力データに時間変動量のデータを入力するのと同様に、個人差の影響を低減する効果が得られる。 Alternatively, the model generation unit 120 may generate the trained model 70 by employing a learning algorithm that can learn including time-series changes, such as an RNN (Recurrent Neural Network) or an LSTM (Long-Short Term Model). These learning algorithms can learn including time fluctuations, and therefore have the effect of reducing the influence of individual differences, similar to inputting data on the amount of time fluctuations into the input data.
また、心拍情報として、心拍数の低周波数成分(LF:Low Frequency)又は高周波数成分(HF:High Frequency)を用いても良い。一般的に、心拍数の低周波成分は、0.004~0.15Hzの周波数帯の成分であり、交感神経と副交感神経の両方の活動を反映する。心拍数の高周波成分は、0.15~0.4Hzの周波数帯の成分であり、副交感神経の活動を反映する。このように、心拍変動は自律神経系と関連があり、人の覚醒度合と相関する。そのため、心拍情報として、心拍数の低周波数成分と高周波数成分とを用いることで、集中度の推定精度をより高めることができる。 Furthermore, the low frequency (LF) or high frequency (HF) components of the heart rate may be used as heart rate information. Generally, the low frequency components of the heart rate are components in the frequency band of 0.004 to 0.15 Hz and reflect the activity of both the sympathetic and parasympathetic nervous systems. The high frequency components of the heart rate are components in the frequency band of 0.15 to 0.4 Hz and reflect the activity of the parasympathetic nervous system. In this way, heart rate variability is related to the autonomic nervous system and correlates with a person's level of alertness. Therefore, using the low frequency and high frequency components of the heart rate as heart rate information can further improve the accuracy of estimating the level of concentration.
上記実施の形態では、センサ装置20は、ドップラーセンサ21により計測された計測データに基づいて、生体情報を取得した。しかしながら、生体情報の少なくとも一部は、ドップラーセンサ21以外により取得されても良い。例えば、腕時計型の心拍センサ又は体動センサにより、心拍情報又は体動情報を取得しても良い。ドップラーセンサ21を使用する場合、非接触で生体情報を取得することができる一方で、空間での電磁波の反射を利用するため、ドップラーセンサ21の周囲に存在する人の影響により、誤検知が発生する場合もある。腕時計型のセンサを使用すると、対象者がセンサを身に着けている必要はある一方で、対象者からの生体情報を確実に取得することができる。 In the above embodiment, the sensor device 20 acquired biometric information based on measurement data measured by the Doppler sensor 21. However, at least a portion of the biometric information may be acquired by means other than the Doppler sensor 21. For example, heart rate information or body movement information may be acquired by a wristwatch-type heart rate sensor or body movement sensor. When using the Doppler sensor 21, biometric information can be acquired contactlessly, but because it uses the reflection of electromagnetic waves in space, false detections may occur due to the influence of people around the Doppler sensor 21. When using a wristwatch-type sensor, the subject must wear the sensor, but biometric information from the subject can be reliably acquired.
上記実施の形態では、学習装置10の収集部110により収集される生体情報と、設備制御装置30の取得部310により取得される生体情報とは、同じ対象エリア5に設置された同じセンサ装置20から取得された。しかしながら、収集部110は、センサ装置20とは別の装置から、対象エリア5とは異なるエリアに存在する複数の人の生体情報を、学習対象となる複数セットの生体情報のデータとして収集しても良い。設備制御装置30が設置された対象エリア5に限らず、様々な対象エリアに存在する様々な人から、学習対象となる生体情報及び集中度のデータを収集することにより、生体情報から集中度を高い精度で推定できる学習済みモデル70を生成することが可能になる。 In the above embodiment, the biometric information collected by the collection unit 110 of the learning device 10 and the biometric information acquired by the acquisition unit 310 of the equipment control device 30 were acquired from the same sensor device 20 installed in the same target area 5. However, the collection unit 110 may collect biometric information of multiple people in an area different from the target area 5 from a device other than the sensor device 20 as multiple sets of biometric information data to be learned. By collecting biometric information and concentration data to be learned from various people in various target areas, not just the target area 5 where the equipment control device 30 is installed, it becomes possible to generate a trained model 70 that can estimate concentration levels from biometric information with high accuracy.
1つの学習装置10での学習により生成された学習済みモデル70を、異なる複数の設備制御装置30で用いても良い。また、設備制御装置30が学習装置10から一度学習済みモデル70を取得した後で、学習装置10が再度学習を行って学習済みモデル70を更新し、更新後の学習済みモデル70を設備制御装置30に使用させても良い。 A trained model 70 generated by learning on one learning device 10 may be used by multiple different equipment control devices 30. Furthermore, after the equipment control device 30 acquires the trained model 70 from the learning device 10 once, the learning device 10 may perform training again to update the trained model 70, and the updated trained model 70 may be used by the equipment control device 30.
上記実施の形態では、収集部110は、学習対象の生体情報が収集された複数の人からの申告により、集中度のデータを収集した。しかしながら、収集部110は、他の方法により集中度のデータを収集しても良い。例えば、センサ装置20が、視線計測装置又は可視カメラを備えており、学習対象となる人の生体情報を収集しながら、視線計測装置によりその人の視線移動量を計測する、又は可視カメラによりその人の体動を計測しても良い。この場合、収集部110は、センサ装置20から視線移動量又は体動のデータを、集中度のデータとして収集する。収集されたデータにおいて、視線移動量又は体動が大きい場合には集中度が低く、視線移動量又は体動が小さい場合には集中度が高いと判定される。 In the above embodiment, the collection unit 110 collected concentration level data based on reports from multiple people whose biometric information was collected as the learning target. However, the collection unit 110 may collect concentration level data using other methods. For example, the sensor device 20 may be equipped with an eye-gaze measurement device or a visible camera, and while collecting the biometric information of the person being studied, the eye-gaze measurement device may measure the person's eye movement, or the visible camera may measure the person's body movement. In this case, the collection unit 110 collects data on the amount of eye-gaze movement or body movement from the sensor device 20 as concentration level data. In the collected data, if the amount of eye-gaze movement or body movement is large, the concentration level is determined to be low, and if the amount of eye-gaze movement or body movement is small, the concentration level is determined to be high.
上記実施の形態では、モデル生成部120は、学習アルゴリズムとして、教師あり学習のアルゴリズムであるニューラルネットワークモデルに従って生体情報と集中度との間の関係を学習し、学習済みモデル70を生成した。しかしながら、モデル生成部120は、ニューラルネットワーク以外の教師あり学習のアルゴリズムを用いても良い。例えば、モデル生成部120は、遺伝的プログラミング、サポートベクターマシン等の手法に従って生体情報と集中度との間の関係を学習して、学習済みモデル70を生成しても良い。 In the above embodiment, the model generation unit 120 learned the relationship between biometric information and concentration level according to a neural network model, which is a supervised learning algorithm, as a learning algorithm, and generated the trained model 70. However, the model generation unit 120 may also use a supervised learning algorithm other than a neural network. For example, the model generation unit 120 may learn the relationship between biometric information and concentration level according to a method such as genetic programming or a support vector machine, and generate the trained model 70.
或いは、モデル生成部120は、教師なし学習又は強化学習のアルゴリズムを用いても良い。例えば、モデル生成部120は、教師なし学習のアルゴリズムとして、クラスタリングの手法を用いることができる。この場合、モデル生成部120は、生体情報に含まれる呼吸情報、心拍情報及び体動情報の特徴に応じて、生体情報を複数のグループに分類し、各グループに対して「高」、「中」、「低」等の集中度の高さを対応付ける。これにより、モデル生成部120は、生体情報と集中度との間の関係を学習する。また、モデル生成部120は、特徴量そのものの抽出を学習する手法である深層学習(Deep Learning)を用いることもできる。 Alternatively, the model generation unit 120 may use an unsupervised learning or reinforcement learning algorithm. For example, the model generation unit 120 may use a clustering technique as an unsupervised learning algorithm. In this case, the model generation unit 120 classifies the biometric information into multiple groups according to the characteristics of the respiratory information, heart rate information, and body movement information contained in the biometric information, and associates each group with a level of concentration, such as "high," "medium," or "low." In this way, the model generation unit 120 learns the relationship between the biometric information and the level of concentration. The model generation unit 120 may also use deep learning, a method of learning to extract the features themselves.
上記実施の形態では、学習装置10とセンサ装置20と設備制御装置30と設備機器40とは、互いに独立した装置として存在していた。しかしながら、いずれかの装置の中に、少なくとも1つの他の装置の機能が含まれていても良い。例えば、設備機器40の中にセンサ装置20及び設備制御装置30の機能が含まれており、設備機器40が、センサ装置20により取得されたデータに基づいて集中度を推定し、推定された集中度に基づいて設備機器40を制御してもよい。或いは、センサ装置20の中に設備制御装置30又は学習装置10の機能が含まれても良いし、設備制御装置30の中に学習装置10の機能が含まれていても良い。 In the above embodiment, the learning device 10, sensor device 20, equipment control device 30, and equipment 40 existed as independent devices. However, any of the devices may include the functions of at least one of the other devices. For example, the functions of the sensor device 20 and equipment control device 30 may be included in the equipment 40, and the equipment 40 may estimate the concentration level based on data acquired by the sensor device 20 and control the equipment 40 based on the estimated concentration level. Alternatively, the functions of the equipment control device 30 or learning device 10 may be included in the sensor device 20, or the functions of the learning device 10 may be included in the equipment control device 30.
また、学習装置10及び設備制御装置30の機能は、クラウドサーバにて実現されても良い。ここで、クラウドサーバは、クラウドコンピューティングのリソースを提供するサーバである。この場合、センサ装置20は、ドップラーセンサ21により取得した生体情報を、通信ネットワークを介してクラウドサーバに送信する。クラウドサーバは、センサ装置20から受信した生体情報に基づいて機械学習を実行し、学習済みモデル70を生成する。また、クラウドサーバは、センサ装置20から受信した生体情報から集中度を推定して設備機器40の制御内容を決定し、設備機器40に送信する。 The functions of the learning device 10 and the equipment control device 30 may also be implemented by a cloud server. Here, the cloud server is a server that provides cloud computing resources. In this case, the sensor device 20 transmits biometric information acquired by the Doppler sensor 21 to the cloud server via a communication network. The cloud server performs machine learning based on the biometric information received from the sensor device 20 and generates a trained model 70. The cloud server also estimates the concentration level from the biometric information received from the sensor device 20, determines the control content for the equipment 40, and transmits it to the equipment 40.
上記実施の形態では、学習装置10の制御部11において、CPUがROM又は記憶部12に記憶されたプログラムを実行することによって、図3に示した各部として機能した。また、設備制御装置30の制御部31において、CPUがROM又は記憶部32に記憶されたプログラムを実行することによって、図9に示した各部として機能した。しかしながら、制御部11,31は、専用のハードウェアであってもよい。専用のハードウェアとは、例えば単一回路、複合回路、プログラム化されたプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、又は、これらの組み合わせ等である。制御部11,31が専用のハードウェアである場合、各部の機能それぞれを個別のハードウェアで実現してもよいし、各部の機能をまとめて単一のハードウェアで実現してもよい。 In the above embodiment, the control unit 11 of the learning device 10 functions as each unit shown in FIG. 3 by having the CPU execute a program stored in the ROM or memory unit 12. Furthermore, the control unit 31 of the equipment control device 30 functions as each unit shown in FIG. 9 by having the CPU execute a program stored in the ROM or memory unit 32. However, the control units 11 and 31 may be dedicated hardware. Dedicated hardware includes, for example, a single circuit, a composite circuit, a programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), or a combination of these. When the control units 11 and 31 are dedicated hardware, the functions of each unit may be realized by individual hardware, or the functions of each unit may be realized together by a single piece of hardware.
また、各部の機能のうち、一部を専用のハードウェアによって実現し、他の一部をソフトウェア又はファームウェアによって実現してもよい。このように、制御部11,31は、ハードウェア、ソフトウェア、ファームウェア、又は、これらの組み合わせによって、上述の各機能を実現することができる。 Furthermore, some of the functions of each unit may be realized by dedicated hardware, and other functions may be realized by software or firmware. In this way, the control units 11 and 31 can realize each of the above-mentioned functions by hardware, software, firmware, or a combination of these.
学習装置10及び設備制御装置30のそれぞれの動作を規定するプログラムを、パーソナルコンピュータ、情報端末装置等の既存のコンピュータに適用することで、当該コンピュータを、学習装置10及び設備制御装置30のそれぞれとして機能させることも可能である。 By applying the programs that define the operation of the learning device 10 and the equipment control device 30 to an existing computer such as a personal computer or information terminal device, it is possible to make the computer function as both the learning device 10 and the equipment control device 30.
また、このようなプログラムの配布方法は任意であり、例えば、CD-ROM(Compact Disk ROM)、DVD(Digital Versatile Disk)、MO(Magneto Optical Disk)、メモリカード等のコンピュータ読み取り可能な記録媒体に格納して配布してもよいし、インターネット等の通信ネットワークを介して配布してもよい。 Furthermore, such programs may be distributed in any manner; for example, they may be stored on a computer-readable recording medium such as a CD-ROM (Compact Disk ROM), DVD (Digital Versatile Disk), MO (Magneto Optical Disk), or memory card, or they may be distributed via a communications network such as the Internet.
本開示は、本開示の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この開示を説明するためのものであり、本開示の範囲を限定するものではない。すなわち、本開示の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして特許請求の範囲内及びそれと同等の開示の意義の範囲内で施される様々な変形が、この開示の範囲内とみなされる。 This disclosure allows for various embodiments and modifications without departing from the broad spirit and scope of the disclosure. Furthermore, the above-described embodiments are intended to illustrate the disclosure and do not limit the scope of the disclosure. In other words, the scope of the disclosure is defined by the claims, not the embodiments. Various modifications made within the scope of the claims and the meaning of equivalent disclosures are deemed to be within the scope of this disclosure.
1,1a,1b 設備制御システム、5 対象エリア、5a~5c 個別エリア、10 学習装置、11,31 制御部、12,32 記憶部、13,33 操作受付部、14,34 表示部、15,35 通信部、20 センサ装置、21 ドップラーセンサ、30,30a 設備制御装置、40 設備機器、50 推定装置、60 学習用データ、70 学習済みモデル、72 人別モデル、110 収集部、120 モデル生成部、180 学習データベース、190 モデル記憶部、310 取得部、320 推定部、330 出力部、340 設備制御部、350 識別部、390 モデル記憶部 1, 1a, 1b Equipment control system, 5 Target area, 5a-5c Individual areas, 10 Learning device, 11, 31 Control unit, 12, 32 Memory unit, 13, 33 Operation reception unit, 14, 34 Display unit, 15, 35 Communication unit, 20 Sensor device, 21 Doppler sensor, 30, 30a Equipment control device, 40 Equipment equipment, 50 Estimation device, 60 Training data, 70 Trained model, 72 Individual model, 110 Collection unit, 120 Model generation unit, 180 Training database, 190 Model storage unit, 310 Acquisition unit, 320 Estimation unit, 330 Output unit, 340 Equipment control unit, 350 Recognition unit, 390 Model storage unit
Claims (12)
前記対象エリア内の複数の個別エリアのそれぞれに存在する人の生体情報を取得する取得手段と、
学習対象の生体情報と、対応する集中度と、の間の関係を学習することにより生成された学習済みモデルに基づいて、前記取得手段により取得された前記生体情報から、前記複数の個別エリアのそれぞれに存在する前記人の集中度を推定する推定手段と、
前記推定手段により推定された前記集中度に基づいて、前記複数の個別エリアのそれぞれに設置された設備機器を制御する設備制御手段と、
前記複数の個別エリアのそれぞれに存在する人の集中度の、前記推定手段による推定結果と、前記複数の個別エリアのそれぞれに設置された設備機器の制御状態とを、個別エリア毎に関連付けて出力する出力手段と、を備える、
設備制御装置。 An equipment control device that controls equipment installed in a target area,
an acquisition means for acquiring biometric information of a person present in each of a plurality of individual areas within the target area;
an estimation means for estimating a concentration level of the person present in each of the plurality of individual areas from the biometric information acquired by the acquisition means, based on a trained model generated by learning the relationship between the biometric information of a learning target and the corresponding concentration level;
equipment control means for controlling equipment installed in each of the plurality of individual areas based on the concentration degree estimated by the estimation means;
and an output means for outputting the estimation result by the estimation means of the concentration of people present in each of the plurality of individual areas and the control status of the facility equipment installed in each of the plurality of individual areas in association with each individual area .
Equipment control device.
前記対象エリアに存在する人の生体情報を取得する取得手段と、
学習対象の生体情報と、対応する集中度と、の間の関係を学習することにより生成された学習済みモデルに基づいて、前記取得手段により取得された前記生体情報から、前記対象エリアに存在する前記人の集中度を推定する推定手段と、
前記推定手段により推定された前記集中度に基づいて、前記設備機器を制御する設備制御手段と、を備え、
前記設備制御手段は、前記推定手段により推定された前記集中度が、第1の状態から、前記第1の状態よりも前記集中度が低い第2の状態に変化した場合と、前記推定手段により推定された前記集中度が前記第2の状態にある時間が閾時間よりも長く継続した場合と、前記推定手段により推定された前記集中度が前記第1の状態にある時間が閾時間よりも長く継続した場合と、のそれぞれにおいて、前記対象エリアに存在する前記人を刺激する刺激運転を前記設備機器に実行させる、
設備制御装置。 An equipment control device that controls equipment installed in a target area,
an acquisition means for acquiring biometric information of a person present in the target area;
an estimation means for estimating a concentration level of the person present in the target area from the biometric information acquired by the acquisition means, based on a trained model generated by learning the relationship between the biometric information of the learning target and the corresponding concentration level;
an equipment control unit that controls the equipment based on the concentration degree estimated by the estimation unit,
the facility control means causes the facility equipment to perform a stimulating operation to stimulate the person present in the target area in each of the following cases: when the concentration level estimated by the estimation means changes from a first state to a second state in which the concentration level is lower than the first state; when the time period during which the concentration level estimated by the estimation means is in the second state continues longer than a threshold time; and when the time period during which the concentration level estimated by the estimation means is in the first state continues longer than a threshold time.
Equipment control device.
前記刺激運転は、前記室内機から吹き出される空調空気の吹き出し方向を変化させる運転、又は前記空調空気の温度を低下させる運転である、
請求項2に記載の設備制御装置。 The facility equipment is an indoor unit of an air conditioner that air-conditions the target area,
The stimulation operation is an operation that changes the blowing direction of the conditioned air blown out from the indoor unit or an operation that lowers the temperature of the conditioned air.
The equipment control device according to claim 2 .
前記刺激運転は、前記換気装置による換気の強度を上げる運転である、
請求項2に記載の設備制御装置。 The facility equipment is a ventilation device,
The stimulation operation is an operation of increasing the intensity of ventilation by the ventilation device.
The equipment control device according to claim 2 .
前記刺激運転は、前記照明機器による照明の色を変化させる運転である、
請求項2に記載の設備制御装置。 the facility equipment is lighting equipment,
The stimulation operation is an operation of changing the color of the lighting by the lighting device.
The equipment control device according to claim 2 .
請求項1から5のいずれか1項に記載の設備制御装置。 the acquiring means acquires the biological information based on measurement data measured by a Doppler sensor.
The equipment control device according to any one of claims 1 to 5 .
請求項1から6のいずれか1項に記載の設備制御装置。 The biological information includes respiratory information related to the person's breathing, heartbeat information related to the person's heartbeat, and body movement information related to the person's body movement.
The equipment control device according to any one of claims 1 to 6 .
前記対象エリアに存在する前記人を識別する識別手段、を更に備え、
前記推定手段は、前記複数の人別モデルのうちの、前記識別手段により識別された前記人に対応する人別モデルに基づいて、前記取得手段により取得された前記生体情報から前記人の集中度を推定する、
請求項1から7のいずれか1項に記載の設備制御装置。 The trained model includes a plurality of individual models generated by learning the relationship between different people's biometric information and corresponding concentration levels,
further comprising an identification means for identifying the person present in the target area;
the estimation means estimates a concentration level of the person from the biometric information acquired by the acquisition means, based on a personal model corresponding to the person identified by the identification means, among the plurality of personal models;
The equipment control device according to any one of claims 1 to 7.
請求項8に記載の設備制御装置。 the identification means identifies the person present in the target area based on the biometric information acquired by the acquisition means.
The equipment control device according to claim 8.
前記学習装置は、
前記関係を学習することにより、前記学習済みモデルを生成するモデル生成手段、を備え、
前記設備制御装置において、
前記推定手段は、前記モデル生成手段により生成された前記学習済みモデルに基づいて、前記取得手段により取得された前記生体情報から、前記対象エリアに存在する前記人の集中度を推定する、
設備制御システム。 An equipment control system comprising the equipment control device according to any one of claims 1 to 9 and a learning device,
The learning device
a model generation means for generating the trained model by learning the relationship;
In the equipment control device,
The estimation means estimates a concentration level of the people present in the target area from the biometric information acquired by the acquisition means, based on the trained model generated by the model generation means.
Equipment control systems.
学習対象の生体情報と、対応する集中度と、の間の関係を学習することにより生成された学習済みモデルに基づいて、取得された前記生体情報から、前記複数の個別エリアのそれぞれに存在する前記人の集中度を推定し、
推定された前記集中度に基づいて、前記複数の個別エリアのそれぞれに設置された設備機器を制御し、
前記複数の個別エリアのそれぞれに存在する人の集中度の推定結果と、前記複数の個別エリアのそれぞれに設置された設備機器の制御状態とを、個別エリア毎に関連付けて出力する、
設備制御方法。 Acquire biometric information of people present in each of a plurality of individual areas within the target area;
estimating a concentration level of the person present in each of the plurality of individual areas from the acquired biometric information based on a trained model generated by learning the relationship between the biometric information of the learning target and the corresponding concentration level;
controlling equipment installed in each of the plurality of individual areas based on the estimated concentration degree;
outputting, for each individual area, an estimation result of the concentration of people present in each of the plurality of individual areas and a control status of the facility equipment installed in each of the plurality of individual areas in association with each other;
Equipment control methods.
対象エリア内の複数の個別エリアのそれぞれに存在する人の生体情報を取得する取得手段、
学習対象の生体情報と、対応する集中度と、の間の関係を学習することにより生成された学習済みモデルに基づいて、前記取得手段により取得された前記生体情報から、前記複数の個別エリアのそれぞれに存在する前記人の集中度を推定する推定手段、
前記推定手段により推定された前記集中度に基づいて、前記複数の個別エリアのそれぞれに設置された設備機器を制御する設備制御手段、
前記複数の個別エリアのそれぞれに存在する人の集中度の、前記推定手段による推定結果と、前記複数の個別エリアのそれぞれに設置された設備機器の制御状態とを、個別エリア毎に関連付けて出力する出力手段、として機能さる、
プログラム。 Computer,
an acquisition means for acquiring biometric information of a person present in each of a plurality of individual areas within the target area;
an estimation means for estimating a concentration level of the person present in each of the plurality of individual areas from the biometric information acquired by the acquisition means, based on a trained model generated by learning the relationship between the biometric information of a learning target and the corresponding concentration level;
equipment control means for controlling equipment installed in each of the plurality of individual areas based on the concentration degree estimated by the estimation means;
and an output means for outputting, for each individual area, an estimation result by the estimation means of the concentration of people present in each of the plurality of individual areas and a control status of equipment installed in each of the plurality of individual areas, in association with each other .
program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021102133A JP7742726B2 (en) | 2021-06-21 | 2021-06-21 | Facility control device, facility control system, facility control method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021102133A JP7742726B2 (en) | 2021-06-21 | 2021-06-21 | Facility control device, facility control system, facility control method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023001424A JP2023001424A (en) | 2023-01-06 |
| JP7742726B2 true JP7742726B2 (en) | 2025-09-22 |
Family
ID=84688763
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021102133A Active JP7742726B2 (en) | 2021-06-21 | 2021-06-21 | Facility control device, facility control system, facility control method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7742726B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7549260B2 (en) * | 2023-01-31 | 2024-09-11 | ダイキン工業株式会社 | Environmental control device, environmental adjustment device, air conditioner, environmental control method, and program |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102006006436A1 (en) | 2006-02-13 | 2007-08-16 | Robert Bosch Gmbh | Apparatus and method for climate control |
| JP2014042773A (en) | 2012-08-03 | 2014-03-13 | Sleep System Kenkyusho:Kk | Apparatus and method for controlling sleeping environment temperature |
| WO2014147828A1 (en) | 2013-03-22 | 2014-09-25 | トヨタ自動車株式会社 | Driving assistance device, driving assistance method, information-providing device, information-providing method, navigation device and navigation method |
| JP2014230717A (en) | 2013-05-30 | 2014-12-11 | トヨタ自動車株式会社 | Concentration level estimation device |
| WO2016181546A1 (en) | 2015-05-14 | 2016-11-17 | 富士通株式会社 | Air conditioner, sensor unit, and air-conditioner control system and control method |
| US20170053068A1 (en) | 2014-02-28 | 2017-02-23 | Delos Living Llc | Methods for enhancing wellness associated with habitable environments |
| WO2018179289A1 (en) | 2017-03-30 | 2018-10-04 | 日本電気株式会社 | Area-specific environment management system, method, and program |
| JP2018194292A (en) | 2014-01-14 | 2018-12-06 | パナソニックIpマネジメント株式会社 | Environmental control system |
| WO2019066035A1 (en) | 2017-09-28 | 2019-04-04 | ダイキン工業株式会社 | Control device of environment control means |
| JP2019190767A (en) | 2018-04-26 | 2019-10-31 | 三菱電機株式会社 | Environment control system and environment controller |
| JP2020039444A (en) | 2018-09-07 | 2020-03-19 | パナソニックIpマネジメント株式会社 | Air conditioning system |
| CN112618907A (en) | 2020-12-11 | 2021-04-09 | 珠海格力电器股份有限公司 | Environment management apparatus and control method thereof |
-
2021
- 2021-06-21 JP JP2021102133A patent/JP7742726B2/en active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102006006436A1 (en) | 2006-02-13 | 2007-08-16 | Robert Bosch Gmbh | Apparatus and method for climate control |
| JP2014042773A (en) | 2012-08-03 | 2014-03-13 | Sleep System Kenkyusho:Kk | Apparatus and method for controlling sleeping environment temperature |
| WO2014147828A1 (en) | 2013-03-22 | 2014-09-25 | トヨタ自動車株式会社 | Driving assistance device, driving assistance method, information-providing device, information-providing method, navigation device and navigation method |
| JP2014230717A (en) | 2013-05-30 | 2014-12-11 | トヨタ自動車株式会社 | Concentration level estimation device |
| JP2018194292A (en) | 2014-01-14 | 2018-12-06 | パナソニックIpマネジメント株式会社 | Environmental control system |
| US20170053068A1 (en) | 2014-02-28 | 2017-02-23 | Delos Living Llc | Methods for enhancing wellness associated with habitable environments |
| WO2016181546A1 (en) | 2015-05-14 | 2016-11-17 | 富士通株式会社 | Air conditioner, sensor unit, and air-conditioner control system and control method |
| WO2018179289A1 (en) | 2017-03-30 | 2018-10-04 | 日本電気株式会社 | Area-specific environment management system, method, and program |
| WO2019066035A1 (en) | 2017-09-28 | 2019-04-04 | ダイキン工業株式会社 | Control device of environment control means |
| JP2019190767A (en) | 2018-04-26 | 2019-10-31 | 三菱電機株式会社 | Environment control system and environment controller |
| JP2020039444A (en) | 2018-09-07 | 2020-03-19 | パナソニックIpマネジメント株式会社 | Air conditioning system |
| CN112618907A (en) | 2020-12-11 | 2021-04-09 | 珠海格力电器股份有限公司 | Environment management apparatus and control method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023001424A (en) | 2023-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7520123B2 (en) | Systems and methods for automated anomaly detection in mixed human-robot manufacturing processes | |
| KR101295187B1 (en) | Improvement-effect of brain-function system for dementia prevention and method thereof | |
| CN115175602B (en) | Eye movement analysis using co-clustering hidden Markov models (co-clustering EMHMM) and switching hidden Markov models (EMSHMM) | |
| CN111569225A (en) | System and method for real-time functional magnetic resonance neurofeedback to modulate cognitive control | |
| EP2265328B1 (en) | An apparatus for automatic treatment adjustment after nervous system dysfunction | |
| JP2008536208A (en) | Space-time self-organizing map | |
| CN112862145A (en) | Occupant thermal comfort inference using body shape information | |
| EP3307166A1 (en) | Method and system for monitoring stress conditions | |
| JP7338886B2 (en) | Area-based environmental management system, method and program | |
| EP4600888A1 (en) | Method for performing customized consultation for each user type on basis of artificial intelligence | |
| JP2022016356A (en) | System and method to determine location of catheter | |
| Park et al. | Design of prototype‐based emotion recognizer using physiological signals | |
| JP7742726B2 (en) | Facility control device, facility control system, facility control method and program | |
| CN120617735A (en) | Expectoration auxiliary control method and device | |
| JP5942138B2 (en) | Psychosomatic recovery device and psychosomatic recovery system using the same | |
| JP2021089134A (en) | Machine learning device and environment adjusting device | |
| Cang et al. | Discerning affect from touch and gaze during interaction with a robot pet | |
| CN116066974B (en) | An air conditioner control method, device, and air conditioner | |
| WO2020168454A1 (en) | Behavior recommendation method and apparatus, storage medium, and electronic device | |
| CN119964228A (en) | A working method, system, device and medium of an intelligent service robot | |
| US20260094532A1 (en) | Learning guidance device, and method and computer program for remotely monitoring learner's learning situation | |
| WO2025029698A1 (en) | System and method of remote rehabilitation therapy for movement disorders | |
| Alasmrai et al. | Personalized Cognitive Behavioral Therapy for Adults Using Machine Learning: A Multi-Factor, Reinforcement-Based Approach. | |
| Murata et al. | Real-time indoor environmental control method for improving personal thermal comfort using multimodal biometric information | |
| US20250342960A1 (en) | Information processing system and information processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240614 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20250124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20250204 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20250407 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250528 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250812 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250909 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7742726 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |