Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7119901B2 - Analysis device, analysis method and analysis program - Google Patents
[go: Go Back, main page]

JP7119901B2 - Analysis device, analysis method and analysis program - Google Patents

Analysis device, analysis method and analysis program Download PDF

Info

Publication number
JP7119901B2
JP7119901B2 JP2018201894A JP2018201894A JP7119901B2 JP 7119901 B2 JP7119901 B2 JP 7119901B2 JP 2018201894 A JP2018201894 A JP 2018201894A JP 2018201894 A JP2018201894 A JP 2018201894A JP 7119901 B2 JP7119901 B2 JP 7119901B2
Authority
JP
Japan
Prior art keywords
sensor
sensors
unit
estimators
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018201894A
Other languages
Japanese (ja)
Other versions
JP2020067948A (en
Inventor
成幸 小田嶋
克司 境
山 姜
有一 村瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2018201894A priority Critical patent/JP7119901B2/en
Publication of JP2020067948A publication Critical patent/JP2020067948A/en
Application granted granted Critical
Publication of JP7119901B2 publication Critical patent/JP7119901B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、分析装置等に関する。 The present invention relates to analyzers and the like.

センサの測定結果となるセンサデータを用いて、コンテキストを推定する技術がある。推定されるコンテキストには様々なものが含まれる。たとえば、作業員に加速度センサを用いて「作業員の転倒」を推定すること、温度、湿度センサを用いて「熱中度」を推定すること等が行われている。また、センサを用いて、作業員の位置を検出し、作業員の作業効率等を推定するものもある。 There is a technique for estimating context using sensor data, which is the measurement result of a sensor. Various contexts are included in the inferred context. For example, an acceleration sensor is used to estimate a worker's "overturn", and a temperature and humidity sensor is used to estimate a "heat level". In addition, there is also a method that uses a sensor to detect the position of the worker and estimate the working efficiency of the worker.

特開2018-28906号公報JP 2018-28906 A 特開2018-124639号公報JP 2018-124639 A 特開2011-180946号公報JP 2011-180946 A 特開2017-21711号公報JP 2017-21711 A

しかしながら、上述した従来技術では、コンテキストを推定するために用いるセンサデータの組み合わせを特定することができないという問題がある。 However, the conventional technology described above has a problem that it is impossible to specify a combination of sensor data used for estimating the context.

近年、業務の見える化、業務の最適化、高齢者のQoL(Quality of Life)の向上、予防介護等、IoT(Internet of Things)を用いた応用アプリケーションの基礎となる情報として、コンテキストが用いられており、コンテキストの内容が多様化している。たとえば、コンテキストとして、「荷下ろし中」、「商品陳列中」といった人の行動ラベルを推定すること、「ストレス量」を推定すること、「IADL(Instrumental Activities of Daily Living)指標」を推定することが求められる。 In recent years, context has been used as information that forms the basis of application applications using IoT (Internet of Things), such as visualization of work, optimization of work, improvement of QoL (Quality of Life) for the elderly, and preventive care. and the content of the context is diversified. For example, as a context, estimating human activity labels such as "unloading" and "displaying goods", estimating "stress amount", and estimating "IADL (Instrumental Activities of Daily Living) index". is required.

上記の応用アプリケーションの基礎となるコンテキストを推定するためには、業務行動を認識すること、人の状態を認識することとなり、様々な要因が関係し合うため、単一のセンサデータを用いてかかるコンテキストを推定することが困難である。また、推定対象となるコンテキストが決まった場合に、かかるコンテキストを推定するために用いるセンサデータの組み合わせを特定することは難しい。 In order to estimate the context that is the basis of the above application, it is necessary to recognize work behavior and human conditions, and various factors are related. Difficult to infer context. Moreover, when a context to be estimated is determined, it is difficult to specify a combination of sensor data used for estimating the context.

ここで、単純に、全てのセンサデータを用いて、深層ニューラルネットワーク等で学習を行い、コンテキストを推定するモデルを生成することも考えられる。しかし、係るモデルでは、全てのセンサデータを入力して、コンテキストを推定することになり、推定時の計算量、データ通信量等が膨大となり、運用時のリアルタイムな処理を行うことが難しい。 Here, it is conceivable to generate a model for estimating context by simply performing learning with a deep neural network or the like using all sensor data. However, in such a model, the context is estimated by inputting all sensor data, and the amount of calculation, data communication, etc. at the time of estimation becomes enormous, and it is difficult to perform real-time processing at the time of operation.

1つの側面では、本発明は、コンテキストを推定するために用いるセンサデータの組み合わせを特定することができる分析装置、分析方法および分析プログラムを提供することを目的とする。 In one aspect, an object of the present invention is to provide an analysis device, an analysis method, and an analysis program capable of specifying a combination of sensor data used for estimating context.

第1の案では、分析装置は、分割部と、評価部と、選択部とを有する。分割部は、複数のセンサにより測定された時系列の情報を取得し、時系列の情報を複数の時間区間に切り分けることで複数の測定値を生成する。評価部は、複数のセンサのうち、第1センサに対応する複数の測定値と、第2センサに対応する複数の測定値との組み合わせについて評価を行う。選択部は、評価部の評価結果を基にして、組み合わせ対象となるセンサの組を選択する。 In a first alternative, the analysis device comprises a splitter, an evaluator and a selector. The dividing unit obtains time-series information measured by a plurality of sensors, and divides the time-series information into a plurality of time intervals to generate a plurality of measured values. The evaluation unit evaluates a combination of a plurality of measured values corresponding to the first sensor and a plurality of measured values corresponding to the second sensor among the plurality of sensors. The selection unit selects a set of sensors to be combined based on the evaluation result of the evaluation unit.

コンテクスト推定に要する個々の計測対象を特定せずに必要なセンサデータまたはセンサデータの組み合わせを特定することができる。また、必要な取得対象センサデータを特定することでデータ通信量を削減することができる。 It is possible to specify necessary sensor data or a combination of sensor data without specifying individual measurement targets required for context estimation. In addition, the amount of data communication can be reduced by specifying necessary acquisition target sensor data.

図1は、本実施例に係る学習時のシステムの構成を示す図である。FIG. 1 is a diagram showing the configuration of the system during learning according to this embodiment. 図2は、本実施例に係る分析装置の構成を示す機能ブロック図である。FIG. 2 is a functional block diagram showing the configuration of the analyzer according to this embodiment. 図3は、センサDBのデータ構造の一例を示す図である。FIG. 3 is a diagram illustrating an example of a data structure of a sensor DB; 図4は、正解コンテキストDBのデータ構造の一例を示す図である。FIG. 4 is a diagram showing an example of the data structure of the correct context DB. 図5は、重みテーブルのデータ構造の一例を示す図である。FIG. 5 is a diagram showing an example of the data structure of a weight table. 図6は、選択センサテーブルのデータ構造の一例を示す図である。FIG. 6 is a diagram showing an example of the data structure of the selected sensor table. 図7は、分割部により生成される中間推定量の一例を示す図である。FIG. 7 is a diagram illustrating an example of an intermediate estimator generated by the dividing unit; 図8は、特徴量ベクトルを生成する処理を説明するための図である。FIG. 8 is a diagram for explaining processing for generating a feature amount vector. 図9は、重みベクトルを説明するための図である。FIG. 9 is a diagram for explaining weight vectors. 図10は、本実施例に係る分析装置の処理手順を示すフローチャートである。FIG. 10 is a flow chart showing the processing procedure of the analyzer according to the present embodiment. 図11は、本実施例に係る運用時のシステムの構成を示す図である。FIG. 11 is a diagram showing the configuration of the system during operation according to this embodiment. 図12は、本実施例に係る推定装置の構成を示す機能ブロック図である。FIG. 12 is a functional block diagram showing the configuration of the estimation device according to this embodiment. 図13は、本実施例に係る推定装置の処理手順を示すフローチャートである。FIG. 13 is a flow chart showing the processing procedure of the estimation device according to the present embodiment. 図14は、本実施例に係る学習時の他のシステムの構成を示す図である。FIG. 14 is a diagram showing the configuration of another system during learning according to this embodiment. 図15は、本実施例に係る運用時の他のシステムの構成を示す図である。FIG. 15 is a diagram showing the configuration of another system during operation according to this embodiment. 図16は、本実施例に係る分析装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。FIG. 16 is a diagram showing an example of the hardware configuration of a computer that implements the same functions as the analysis apparatus according to this embodiment. 図17は、本実施例に係る推定装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。FIG. 17 is a diagram illustrating an example of the hardware configuration of a computer that implements the same functions as the estimation device according to this embodiment.

以下に、本願の開示する分析装置、分析方法および分析プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。 Hereinafter, embodiments of the analysis apparatus, analysis method, and analysis program disclosed in the present application will be described in detail based on the drawings. In addition, this invention is not limited by this Example.

図1は、本実施例に係る学習時のシステムの構成を示す図である。図1に示すように、このシステムは、センサ10a,10b,10cと、分析装置100とを有する。センサ10a,10b,10cと、分析装置100とは、ネットワーク50を介して相互に接続される。ここでは、便宜上、センサ10a~10cのみを示すが、分析装置100は、他のセンサに更に接続されているものとする。 FIG. 1 is a diagram showing the configuration of the system during learning according to this embodiment. As shown in FIG. 1, this system has sensors 10a, 10b, 10c and an analyzer 100. As shown in FIG. Sensors 10 a , 10 b , 10 c and analysis device 100 are interconnected via network 50 . For the sake of convenience, only the sensors 10a to 10c are shown here, but it is assumed that the analysis device 100 is further connected to other sensors.

センサ10a~10cは、画像センサ、音センサ、運動センサ等の各種のセンサのうち、いずれかのセンサである。たとえば、センサ10a~10cは、作業現場に設置される。なお、センサの設置場所は作業現場に限定されない。例えば、作業者が身に着ける場合、作業者が操作する機械に取り付ける場合や、これら環境・人・物体に取り付けたセンサを複合して用いる場合、もありうる。センサ10a~10cは、測定結果となるセンサデータを、分析装置100に送信する。センサデータには、センサ値と時刻とを対応付けた情報が、時系列に含まれているものとする。センサデータのヘッダには、送信元となるセンサを一意に識別するセンサ識別情報が含まれている。 The sensors 10a to 10c are any of various sensors such as image sensors, sound sensors, and motion sensors. For example, sensors 10a-10c are installed at the work site. Note that the installation location of the sensor is not limited to the work site. For example, it may be worn by a worker, attached to a machine operated by the worker, or combined with sensors attached to the environment, people, and objects. The sensors 10a to 10c transmit sensor data, which are measurement results, to the analyzer 100. FIG. It is assumed that sensor data includes information in which sensor values and times are associated in chronological order. The sensor data header contains sensor identification information that uniquely identifies the sensor that is the source of the transmission.

センサ10aは、センシングモジュール11aと、通信制御部12aとを有する。センシングモジュール11aは、画像情報、音情報または運動情報を測定するセンサである。本実施例では一例として、センシングモジュール11aは、画像情報をセンシングするモジュールとする。センシングモジュール11aは、センサデータを、通信制御部12aに出力する。 The sensor 10a has a sensing module 11a and a communication control section 12a. The sensing module 11a is a sensor that measures image information, sound information, or motion information. In this embodiment, as an example, the sensing module 11a is a module that senses image information. The sensing module 11a outputs sensor data to the communication control unit 12a.

通信制御部12aは、センシングモジュール11aからセンサデータを受け付け、センサデータを分析装置100、推定装置(図示略)に送信する処理を制御する処理部である。通信制御部12aは、学習フェーズにおいて、センサデータを分析装置100に送信する。通信制御部12aは、運用フェーズにおいて、推定装置から送信命令を受け付けた場合に、センサデータを推定装置に送信する。通信制御部12aは、運用フェーズにおいて、送信命令を受け付けていない場合には、センサデータを送信することを抑止する。通信制御部12aは、通信装置に対応する。 The communication control unit 12a is a processing unit that receives sensor data from the sensing module 11a and controls processing for transmitting the sensor data to the analysis device 100 and an estimation device (not shown). The communication control unit 12a transmits sensor data to the analysis device 100 in the learning phase. In the operation phase, the communication control unit 12a transmits sensor data to the estimation device when receiving a transmission command from the estimation device. In the operation phase, the communication control unit 12a suppresses the transmission of the sensor data when the transmission command is not received. The communication control unit 12a corresponds to a communication device.

センサ10bは、センシングモジュール11bと、通信制御部12bとを有する。センシングモジュール11bは、画像情報、音情報または運動情報を測定するセンサである。本実施例では一例として、センシングモジュール11bは、音情報をセンシングするモジュールとする。センシングモジュール11bは、センサデータを、通信制御部12bに出力する。 The sensor 10b has a sensing module 11b and a communication controller 12b. The sensing module 11b is a sensor that measures image information, sound information or motion information. In this embodiment, as an example, the sensing module 11b is a module that senses sound information. The sensing module 11b outputs sensor data to the communication control unit 12b.

通信制御部12bは、センシングモジュール11bからセンサデータを受け付け、センサデータを分析装置100、推定装置(図示略)に送信する処理を制御する処理部である。通信制御部12bは、学習フェーズにおいて、センサデータを分析装置100に送信する。通信制御部12bは、運用フェーズにおいて、推定装置から送信命令を受け付けた場合に、センサデータを推定装置に送信する。通信制御部12bは、運用フェーズにおいて、送信命令を受け付けていない場合には、センサデータを送信することを抑止する。通信制御部12bは、通信装置に対応する。 The communication control unit 12b is a processing unit that receives sensor data from the sensing module 11b and controls processing for transmitting the sensor data to the analysis device 100 and an estimation device (not shown). The communication control unit 12b transmits sensor data to the analysis device 100 in the learning phase. In the operation phase, the communication control unit 12b transmits sensor data to the estimation device when receiving a transmission command from the estimation device. In the operation phase, the communication control unit 12b suppresses transmission of sensor data when no transmission command is received. The communication control unit 12b corresponds to a communication device.

センサ10cは、センシングモジュール11cと、通信制御部12cとを有する。センシングモジュール11cは、画像情報、音情報または運動情報を測定するセンサである。本実施例では一例として、センシングモジュール11cは、運動情報をセンシングするモジュールとする。センシングモジュール11cは、センサデータを、通信制御部12cに出力する。たとえば、センサ10cは、作業員に設置され、作業員の運動情報をセンシングする。 The sensor 10c has a sensing module 11c and a communication controller 12c. The sensing module 11c is a sensor that measures image information, sound information or motion information. In this embodiment, as an example, the sensing module 11c is a module that senses exercise information. The sensing module 11c outputs sensor data to the communication control unit 12c. For example, the sensor 10c is installed on a worker and senses the worker's exercise information.

通信制御部12cは、センシングモジュール11cからセンサデータを受け付け、センサデータを分析装置100、推定装置(図示略)に送信する処理を制御する処理部である。通信制御部12cは、学習フェーズにおいて、センサデータを分析装置100に送信する。通信制御部12cは、運用フェーズにおいて、推定装置から送信命令を受け付けた場合に、センサデータを推定装置に送信する。通信制御部12cは、運用フェーズにおいて、送信命令を受け付けていない場合には、センサデータを送信することを抑止する。通信制御部12cは、通信装置に対応する。 The communication control unit 12c is a processing unit that receives sensor data from the sensing module 11c and controls processing for transmitting the sensor data to the analysis device 100 and an estimation device (not shown). The communication control unit 12c transmits sensor data to the analysis device 100 in the learning phase. In the operation phase, the communication control unit 12c transmits sensor data to the estimation device when receiving a transmission command from the estimation device. In the operation phase, the communication control unit 12c suppresses the transmission of the sensor data when the transmission command is not received. The communication control unit 12c corresponds to a communication device.

分析装置100は、センサ10a~10c(および図示しない他のセンサ)からセンサデータをそれぞれ受信し、各センサデータを中間推定量に変換する。分析装置100は、各中間推定量を掛け合わせた結果を用いて、所定のコンテキストを推定可能なパラメータを学習し、学習したパラメータを基にして、所定のコンテキストを推定する際に有用なセンサの組み合わせを選択する。 Analysis device 100 receives sensor data from each of sensors 10a-10c (and other sensors not shown) and converts each sensor data into an intermediate estimator. Analysis device 100 uses the result of multiplying each intermediate estimator to learn parameters that can estimate a given context, and based on the learned parameters, analyzes useful sensor information for estimating a given context. Choose a combination.

図2は、本実施例に係る分析装置の構成を示す機能ブロック図である。図2に示すように、この分析装置100は、通信部110、入力部120、表示部130、記憶部140、制御部150を有する。 FIG. 2 is a functional block diagram showing the configuration of the analyzer according to this embodiment. As shown in FIG. 2 , this analysis device 100 has a communication section 110 , an input section 120 , a display section 130 , a storage section 140 and a control section 150 .

通信部110は、ネットワーク50を介して、センサ10a~10c(および図示しない他のセンサ)からセンサデータを受信する処理部である。通信部110は、センサデータを、制御部150に出力する。通信部110は、通信装置に対応する。また、通信部110は、推定装置(図示略)とデータを送受信する。後述する制御部150は、通信部110を介して、各センサ、推定装置とデータをやり取りする。 The communication unit 110 is a processing unit that receives sensor data from the sensors 10a to 10c (and other sensors not shown) via the network 50. FIG. Communication unit 110 outputs the sensor data to control unit 150 . The communication unit 110 corresponds to a communication device. Also, the communication unit 110 transmits and receives data to and from an estimation device (not shown). A control unit 150 , which will be described later, exchanges data with each sensor and estimation device via the communication unit 110 .

入力部120は、各種の情報を分析装置100に入力するための入力装置である。たとえば、入力部120は、キーボード、マウス、タッチパネル等に対応する。 The input unit 120 is an input device for inputting various kinds of information to the analysis device 100 . For example, input unit 120 corresponds to a keyboard, mouse, touch panel, and the like.

表示部130は、制御部150から出力される情報を表示するための表示装置である。たとえば、表示部130は、液晶ディスプレイ、有機ディスプレイ、タッチパネル等に対応する。 Display unit 130 is a display device for displaying information output from control unit 150 . For example, display unit 130 corresponds to a liquid crystal display, an organic display, a touch panel, or the like.

記憶部140は、センサDB140a、正解コンテキストDB140b、重みテーブル140c、選択センサテーブル140dを有する。記憶部140は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子や、HDD(Hard Disk Drive)などの記憶装置に対応する。 The storage unit 140 has a sensor DB 140a, a correct context DB 140b, a weight table 140c, and a selected sensor table 140d. The storage unit 140 corresponds to semiconductor memory devices such as RAM (Random Access Memory), ROM (Read Only Memory), flash memory, and storage devices such as HDD (Hard Disk Drive).

センサDB140aは、センサ10a~10c、図示しない他のセンサにより測定されたセンサデータを保持するDB(Data Base)である。図3は、センサDBのデータ構造の一例を示す図である。図3に示すように、このセンサDB140aは、センサ識別情報と、センサデータとを対応付ける。センサ識別情報は、センサを一意に識別する情報である。センサデータは、各センサが時系列に測定したセンサデータである。 The sensor DB 140a is a DB (Data Base) that holds sensor data measured by the sensors 10a to 10c and other sensors (not shown). FIG. 3 is a diagram illustrating an example of a data structure of a sensor DB; As shown in FIG. 3, the sensor DB 140a associates sensor identification information with sensor data. The sensor identification information is information that uniquely identifies the sensor. The sensor data is sensor data measured by each sensor in chronological order.

正解コンテキストDB140bは、推定対象となるコンテキストと、かかるコンテキストが生じている時間帯とを対応付けるDBである。図4は、正解コンテキストDBのデータ構造の一例を示す図である。図4に示すように、この正解コンテキストDB140bは、コンテキスト内容と、時間帯とを対応付ける。コンテキスト内容は、推定対象となるコンテキストの内容を示すものである。時間帯は、該当するコンテキストが生じている時間帯を示すものである。たとえば、1行目に示すレコードでは、コンテキスト内容「荷下ろし中」が時間帯「時刻Ts1~Te1」において生じている旨が示される。 The correct context DB 140b is a DB that associates a context to be estimated with a time zone in which the context occurs. FIG. 4 is a diagram showing an example of the data structure of the correct context DB. As shown in FIG. 4, the correct context DB 140b associates context contents with time periods. The context content indicates the content of the context to be estimated. The time zone indicates the time zone in which the relevant context occurs. For example, the record shown in the first line indicates that the context content "unloading" is occurring in the time period "time Ts1 to Te1".

重みテーブル140cは、コンテキストを推定するための重みベクトルの情報を保持するテーブルである。図5は、重みテーブルのデータ構造の一例を示す図である。図5に示すように、重みテーブル140cは、コンテキスト内容と、重みベクトルとを対応付ける。コンテキスト内容は、推定対象となるコンテキストの内容を示すものである。重みベクトルは、該当するコンテキストの推定を行うために学習された重みベクトルであり、複数の要素からなる。 The weight table 140c is a table that holds weight vector information for estimating the context. FIG. 5 is a diagram showing an example of the data structure of a weight table. As shown in FIG. 5, the weight table 140c associates context contents with weight vectors. The context content indicates the content of the context to be estimated. A weight vector is a learned weight vector for estimating the relevant context, and consists of a plurality of elements.

選択センサテーブル140dは、コンテキストを推定するために用いるセンサの情報を保持するテーブルである。図6は、選択センサテーブルのデータ構造の一例を示す図である。図6に示すように、この選択センサテーブル140dは、コンテキスト内容と、選択センサとを対応付ける。コンテキスト内容は、推定対象となるコンテキストの内容を示すものである。選択センサは、該当するコンテキストの推定を行う場合に選択されるセンサを示すものである。 The selected sensor table 140d is a table that holds sensor information used for estimating the context. FIG. 6 is a diagram showing an example of the data structure of the selected sensor table. As shown in FIG. 6, this selected sensor table 140d associates context contents with selected sensors. The context content indicates the content of the context to be estimated. A selected sensor indicates a sensor that is selected when estimating the relevant context.

図2の説明に戻る。制御部150は、受信部150a、分割部150b、評価部150c、選択部150d、通知部150eを有する。制御部150は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などによって実現できる。また、制御部150は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などのハードワイヤードロジックによっても実現できる。 Returning to the description of FIG. The control unit 150 has a reception unit 150a, a division unit 150b, an evaluation unit 150c, a selection unit 150d, and a notification unit 150e. The control unit 150 can be realized by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like. The control unit 150 can also be realized by hardwired logic such as ASIC (Application Specific Integrated Circuit) and FPGA (Field Programmable Gate Array).

受信部150aは、センサ10a~10c、図示しない他のセンサから、センサデータを受信する処理部である。受信部150aは、各センサデータを、センサDB140aに格納する。受信部150aは、各センサデータについて、ヘッダに含まれるセンサ識別情報を参照し、該当するセンサ識別情報に対応付けて、センサデータをセンサDB140aに格納する。 The receiving unit 150a is a processing unit that receives sensor data from the sensors 10a to 10c and other sensors (not shown). The receiving unit 150a stores each sensor data in the sensor DB 140a. The receiving unit 150a refers to the sensor identification information included in the header of each sensor data, associates the sensor data with the corresponding sensor identification information, and stores the sensor data in the sensor DB 140a.

また、受信部150aは、正解コンテキストデータを受け付け、受け付けた正解コンテキストデータを、正解コンテキストDB140bに格納する。受信部150aは、正解コンテキストデータを、入力部120から受け付けてもよいし、ネットワーク50を介して、外部装置(図示略)から受け付けてもよい。 The receiving unit 150a also receives correct context data and stores the received correct context data in the correct context DB 140b. The receiving unit 150 a may receive correct context data from the input unit 120 or from an external device (not shown) via the network 50 .

分割部150bは、センサデータを分割し、分割したデータを基にして、中間推定量を生成する処理部である。以下に説明するように、分割部150bは、各センサ識別情報に対応付けられた、各センサデータについて、分割する処理、中間推定量を生成する処理を実行する。 The dividing unit 150b is a processing unit that divides the sensor data and generates an intermediate estimator based on the divided data. As described below, the dividing unit 150b performs dividing processing and intermediate estimation processing for each sensor data associated with each sensor identification information.

分割部150bによる、分割する処理の一例について説明する。分割部150bは、分割対象のセンサデータをセンサDB140aから取得し、取得したセンサデータを一定のタイムウィンドウ幅(時間区間)に切り分ける。なお、タイムウィンドウ幅は、各センサに対して複数持たせてもよい。また、タイムウィンドウ幅は、センサ毎に異なるものであってもよい。以下の説明では、センサデータを一定のタイムウィンドウ幅で切り分けた各データを「分割センサデータ」と表記する。 An example of the dividing process by the dividing unit 150b will be described. The dividing unit 150b acquires sensor data to be divided from the sensor DB 140a, and divides the acquired sensor data into certain time window widths (time intervals). Note that each sensor may have a plurality of time window widths. Also, the time window width may be different for each sensor. In the following description, each piece of data obtained by dividing sensor data by a certain time window width is referred to as "divided sensor data".

分割部150bは、センサ識別情報「センサ10a」のセンサデータを切り分けた各分割センサデータを、センサ識別情報「センサ10a」に対応付けて保持する。分割部150bは、センサ識別情報「センサ10b」のセンサデータを切り分けた各分割センサデータを、センサ識別情報「センサ10c」に対応付けて保持する。分割部150bは、センサ識別情報「センサ10c」のセンサデータを切り分けた各分割センサデータを、センサ識別情報「センサ10c」に対応付けて保持する。分割部150bは、他のセンサ識別情報に対応するセンサデータを切り分けた各分割センサデータについても、該当するセンサ識別情報に対応付けて保持する。なお、本発明でのセンサデータのタイムウィンドウ幅に切り分ける方法は、以上で述べたような、データを時間区間毎に別個のデータとして扱う方法に限定されず、センサデータを処理するアルゴリズム上で切り分ける場合も含む。例えば、再起構造を持つニューラルネットワーク、具体的にはRNN(Recurrent Neural Network)、LSTM(Long Short Term Memory)、GRU(Gated Recurrent Unit)において、再起入力を行う時間信号の遅延度合いをタイムウィンドウ幅として与えるものや、時系列信号を1次元に並べ、CNN(Convolutional Neural Network)で畳み込み計算を行い、入力部のフィルタサイズをタイムウィンドウ幅として与えるもの、も含まれる。 The dividing unit 150b holds each divided sensor data obtained by dividing the sensor data of the sensor identification information "sensor 10a" in association with the sensor identification information "sensor 10a". The dividing unit 150b holds each divided sensor data obtained by dividing the sensor data of the sensor identification information "sensor 10b" in association with the sensor identification information "sensor 10c". The dividing unit 150b holds each divided sensor data obtained by dividing the sensor data of the sensor identification information "sensor 10c" in association with the sensor identification information "sensor 10c". The dividing unit 150b also stores each divided sensor data obtained by dividing the sensor data corresponding to other sensor identification information in association with the corresponding sensor identification information. It should be noted that the method of dividing sensor data into time window widths in the present invention is not limited to the method of handling data as separate data for each time interval as described above, and is divided according to an algorithm for processing sensor data. Including cases. For example, in a neural network having a recurrent structure, specifically RNN (Recurrent Neural Network), LSTM (Long Short Term Memory), GRU (Gated Recurrent Unit), the degree of delay of the time signal for recurring input is defined as the time window width. Also included is one that arranges time-series signals one-dimensionally, performs convolution calculations with a CNN (Convolutional Neural Network), and gives the filter size of the input part as the time window width.

分割部150bによる、中間推定量を生成する処理の一例について説明する。分割部150bは、一つの分割センサデータを基にして、一つの中間推定量を生成する。たとえば、分割部150bは、分割センサデータを複数の部分データに分割し、各部分データから特徴量をそれぞれ抽出する。分割部150bは、各部分データからそれぞれ抽出した特徴量に基づき、各部分データをクラスタリングする。分割部150bは、クラスタリングした各グループを横軸、グループに属する部分データの数(度数)を縦軸とするヒストグラムを、中間推定量として生成する。 An example of processing for generating an intermediate estimator by the dividing unit 150b will be described. The dividing unit 150b generates one intermediate estimator based on one divided sensor data. For example, the dividing unit 150b divides the divided sensor data into a plurality of partial data, and extracts feature amounts from each partial data. The dividing unit 150b clusters each partial data based on the feature amount extracted from each partial data. The dividing unit 150b generates, as an intermediate estimator, a histogram in which each clustered group is plotted on the horizontal axis and the number (frequency) of partial data belonging to the group is plotted on the vertical axis.

ここで、分割センサデータ(センサデータ)が、画像情報である場合には、部分データから抽出される特徴量は、エッジの向き、画素値、位置、濃淡等となる。分割センサデータが、音情報である場合には、部分データから抽出される特徴量は、音と時間との波形、周波数特性、スペクトル等となる。分割センサデータが、運動情報である場合には、加速度(あるいは速度、角速度、角加速度)と時間との波形、重力方向の強さ等となる。 Here, when the divided sensor data (sensor data) is image information, the feature amount extracted from the partial data is edge direction, pixel value, position, gradation, and the like. When the divided sensor data is sound information, the feature amount extracted from the partial data is the waveform of sound and time, frequency characteristics, spectrum, and the like. When the divided sensor data is exercise information, it is a waveform of acceleration (or velocity, angular velocity, angular acceleration) and time, strength in the direction of gravity, and the like.

なお、分割部150bの説明で述べたクラスタリング処理とは、一般的に用いられるような「センサデータを最近傍の基底に割り当て、割り当てられたセンサデータから基底を学習する教師なし学習」という狭義のものではなく、「センサデータから代表値で表される基底を獲得し、センサデータが入力された場合に獲得された基底とセンサデータから演算される値を出力する」といった機能を持つ広義のものである。具体的には、分割部150bは、クラスタリング技術として、狭義のクラスタリング技術として広く用いられるk-means法、k-meadian法といったようなアルゴリズムや、AutoEncoder法、Deep Boltzmann Machineといった教師なし深層ニューラルネットワークの学習アルゴリズム、予め特徴量空間をグリッドに分割して基底を定義するものを用いてもよい。また、教師なし学習アルゴリズムだけでなく、例えば教師あり学習で学習したニューラルネットワークの中間層出力を取り出し、クラスタリングアルゴリズムとして用いてもよい。 Note that the clustering process described in the explanation of the dividing unit 150b is a narrowly defined term of “unsupervised learning in which sensor data is assigned to the nearest neighbor basis and the basis is learned from the assigned sensor data”, which is generally used. It is not a thing, but a broad definition that has the function of ``acquiring a basis represented by a representative value from sensor data, and outputting a value calculated from the obtained basis and sensor data when sensor data is input'' is. Specifically, as clustering techniques, the dividing unit 150b uses algorithms such as the k-means method and the k-meadian method, which are widely used as clustering techniques in the narrow sense, and unsupervised deep neural networks such as the AutoEncoder method and the Deep Boltzmann Machine. A learning algorithm that divides the feature amount space into grids and defines a basis in advance may be used. In addition to the unsupervised learning algorithm, for example, an intermediate layer output of a neural network learned by supervised learning may be extracted and used as a clustering algorithm.

また、ここまでの説明で述べたヒストグラムとは、一般的に用いられるような「各基底毎の出現度数」という狭義のものではなく、「各基底に対応する値を持つベクトル値」という広義のものである。具体的には、本発明でのヒストグラムにおいては、ヒストグラムに含まれる全ての値の和が1とならなくても良いし、ヒストグラムに含まれるある値が負の値を取っても良い。また、ヒストグラムに含まれる値は基底と1対1対応でなくても良く、例えばある基底に対して複数の値が対応してもよいし、ある値が複数の基底から計算されてもよい。 In addition, the histogram described so far is not in the narrow sense of "the frequency of occurrence for each basis" as is generally used, but in the broad sense of "a vector value having a value corresponding to each basis". It is. Specifically, in the histogram according to the present invention, the sum of all values included in the histogram does not have to be 1, and a certain value included in the histogram may take a negative value. Also, the values contained in the histogram may not have a one-to-one correspondence with the basis. For example, a plurality of values may correspond to a certain basis, or a certain value may be calculated from a plurality of basis.

クラスタリング結果から中間推定量を生成する方法も、上で述べた例に限られない。例えば、分割部150bは、Bag of Feature法、n-gramモデル、Fisher Vector Encoding法、スパースコーディング法、Locality Constrained Linear Coding法、VLAD法を用いて中間推定量を生成してもよい。また、クラスタリング技術としてニューラルネットワークを用いている場合は、中間推定量としてニューラルネットワークの中間層出力を中間推定量として用いてもよい。 The method of generating an intermediate estimator from clustering results is not limited to the examples described above. For example, the dividing unit 150b may generate an intermediate estimator using the Bag of Feature method, the n-gram model, the Fisher Vector Encoding method, the sparse coding method, the Locality Constrained Linear Coding method, and the VLAD method. Moreover, when a neural network is used as the clustering technique, the intermediate layer output of the neural network may be used as the intermediate estimator.

更に、一般にはヒストグラムは確率値として扱えるように全ての度数の和が1となるような、L1正規化と呼ばれる後処理を加えるが、本発明の中間推定量では別の後処理を行ってもよい。例えば、分割部150bは、L2正規化、Hellinger正規化処理を行っても良いし、後処理を行わず、クラスタリングを行った結果を直接用いてもよい。 Furthermore, in general, a post-processing called L1 normalization is added so that the sum of all frequencies becomes 1 so that the histogram can be treated as a probability value. good. For example, the dividing unit 150b may perform L2 normalization and Hellinger normalization processing, or may directly use the result of clustering without performing post-processing.

図7は、分割部により生成される中間推定量の一例を示す図である。中間推定量20a,21a,22aは、センサ10aのセンサデータを分割した各分割センサデータから生成されたものである。中間推定量20a,21a,22aに対応する時刻を、時刻T-2、T-1、Tとする。中間推定量20a,21a,22aに対応する時刻をどのように設定してもよいが、たとえば、分割センサデータをタイムウィンドウ幅で切り分ける場合の、タイムウィンドウ幅の開始時刻、終了時刻は、開始時刻と終了時刻との中間の時刻であってもよい。 FIG. 7 is a diagram illustrating an example of an intermediate estimator generated by the dividing unit; The intermediate estimators 20a, 21a, 22a are generated from divided sensor data obtained by dividing the sensor data of the sensor 10a. Time points corresponding to the intermediate estimators 20a, 21a, and 22a are assumed to be time points T-2, T-1, and T, respectively. The times corresponding to the intermediate estimators 20a, 21a, and 22a may be set in any way. and the end time.

中間推定量20b,21b,22bは、センサ10bのセンサデータを分割した各分割センサデータから生成されたものである。中間推定量20b,21b,22bに対応する時刻を、時刻T-2、T-1、Tとする。中間推定量20b,21b,22bに対応する時刻をどのように設定してもよいが、たとえば、分割センサデータをタイムウィンドウ幅で切り分ける場合の、タイムウィンドウ幅の開始時刻、終了時刻あるは、開始時刻と終了時刻との中間の時刻であってもよい。 The intermediate estimators 20b, 21b, and 22b are generated from divided sensor data obtained by dividing the sensor data of the sensor 10b. Time points corresponding to the intermediate estimators 20b, 21b, and 22b are assumed to be time points T-2, T-1, and T, respectively. The times corresponding to the intermediate estimators 20b, 21b, and 22b may be set in any way. It may be an intermediate time between the time and the end time.

中間推定量20c,21c,22cは、センサ10bのセンサデータを分割した各分割センサデータから生成されたものである。中間推定量20c,21c,22cに対応する時刻を、時刻T-2、T-1、Tとする。中間推定量20c,21c,22cに対応する時刻をどのように設定してもよいが、たとえば、分割センサデータをタイムウィンドウ幅で切り分ける場合の、タイムウィンドウ幅の開始時刻、終了時刻あるは、開始時刻と終了時刻との中間の時刻であってもよい。 The intermediate estimators 20c, 21c, and 22c are generated from the divided sensor data obtained by dividing the sensor data of the sensor 10b. Time points corresponding to the intermediate estimators 20c, 21c and 22c are assumed to be time points T-2, T-1 and T, respectively. The times corresponding to the intermediate estimators 20c, 21c, and 22c may be set in any way. It may be an intermediate time between the time and the end time.

分割部150bは、センサ識別情報と、各中間推定量とを対応付けた情報を、評価部150cに出力する。たとえば、図7を用いて説明すると、分割部150bは、センサ識別情報「センサ10a」と、中間推定量20a,21a,22aとを対応付けた情報を、評価部150cに出力する。分割部150bは、センサ識別情報「センサ10b」と、中間推定量20b,21b,22bとを対応付けた情報を、評価部150cに出力する。センサ識別情報「センサ10c」と、中間推定量20c,21c,22cとを対応付けた情報を、評価部150cに出力する。 The division unit 150b outputs information in which the sensor identification information and each intermediate estimator are associated with each other to the evaluation unit 150c. For example, referring to FIG. 7, the dividing unit 150b outputs to the evaluating unit 150c information that associates the sensor identification information "sensor 10a" with the intermediate estimators 20a, 21a, and 22a. The dividing unit 150b outputs information in which the sensor identification information “sensor 10b” is associated with the intermediate estimators 20b, 21b, and 22b to the evaluating unit 150c. Information that associates the sensor identification information “sensor 10c” with the intermediate estimators 20c, 21c, and 22c is output to the evaluation unit 150c.

評価部150cは、各センサ識別情報に対応する各中間推定量の組み合わせについて、評価を行う処理部である。たとえば、評価部150cは、各センサ識別情報に対応する各中間推定量を基にして、特徴量ベクトルを生成する処理、重みベクトルを学習する処理を行う。 The evaluation unit 150c is a processing unit that evaluates each combination of intermediate estimators corresponding to each sensor identification information. For example, the evaluation unit 150c performs a process of generating a feature amount vector and a process of learning a weight vector based on each intermediate estimation amount corresponding to each sensor identification information.

評価部150cによる、特徴量ベクトルを生成する処理の一例について説明する。図8は、特徴量ベクトルを生成する処理を説明するための図である。評価部150cは、センサ識別情報に対応する中間推定量を時系列に並べる。評価部150cは、異なるセンサ識別情報間で、各中間推定量を掛け合わせたものを、ベクトルの要素とすることで、特徴量ベクトルを算出する。たとえば、時間tを基準とした時間帯に含まれる各中間推定量を掛け合わせて得られる特徴量ベクトルをφ(t)と表記する。 An example of processing for generating a feature amount vector by the evaluation unit 150c will be described. FIG. 8 is a diagram for explaining processing for generating a feature amount vector. The evaluation unit 150c arranges the intermediate estimators corresponding to the sensor identification information in chronological order. The evaluation unit 150c calculates a feature amount vector by using, as a vector element, a product obtained by multiplying each intermediate estimation amount between different sensor identification information. For example, a feature amount vector obtained by multiplying each intermediate estimation amount included in a time period with time t as a reference is denoted as φ(t).

どの中間推定量と、どの中間推定量とを掛け合わせたもの(直積)を、特徴量ベクトルのいずれの要素とするのかは、予め設定されたルールに従う。評価部150cは、3つ以上の中間推定量の直積を、特徴量ベクトルの要素としてもよい。また、各中間推定量の掛け合わせを行う場合に、多重線形表現を用いてもよい。 Which intermediate estimator is multiplied by which intermediate estimator (cartesian product) is determined as which element of the feature vector is determined according to a preset rule. The evaluation unit 150c may use the direct product of three or more intermediate estimators as elements of the feature amount vector. Also, multilinear representation may be used when performing multiplication of each intermediate estimator.

たとえば、特徴量ベクトルφ(t)において、部分31に含まれる各要素には、あるセンサ識別情報の中間推定量と、他のセンサ識別情報の中間推定量との直積がそれぞれ配置される。たとえば、評価部150cは、部分31の各要素の一つに、中間推定量20aと中間推定量20bとの直積を配置する。 For example, in the feature amount vector φ(t), each element included in the portion 31 is a direct product of an intermediate estimated amount of certain sensor identification information and an intermediate estimated amount of another sensor identification information. For example, the evaluation unit 150 c places the direct product of the intermediate estimator 20 a and the intermediate estimator 20 b in one of the elements of the portion 31 .

部分32に含まれる各要素には、1つ目のセンサ識別情報の中間推定量と、2つ目のセンサ識別情報の中間推定量と、3つ目のセンサ識別情報の中間推定量との直積がそれぞれ配置される。たとえば、評価部150cは、部分32の各要素の一つに、中間推定量20aと、中間推定量20bと、中間推定量20cとの直積を配置する。 Each element included in portion 32 contains the direct product of the intermediate estimator of the first sensor identity, the intermediate estimator of the second sensor identity, and the intermediate estimator of the third sensor identity. are placed respectively. For example, the evaluation unit 150c places the direct product of the intermediate estimator 20a, the intermediate estimator 20b, and the intermediate estimator 20c in one of the elements of the portion 32. FIG.

評価部150cは、異なる時間t毎に、特徴量ベクトルφ(t)を算出する。たとえば、評価部150cは、時間tの特徴量ベクトルφ(t)、時間tの特徴量ベクトルφ(t)、・・・、時間tの特徴量ベクトルφ(t)を算出する。 The evaluation unit 150c calculates a feature amount vector φ(t) for each different time t. For example, the evaluation unit 150c calculates feature amount vector φ(t 1 ) at time t 1 , feature amount vector φ(t 2 ) at time t 2 , . . . , feature amount vector φ(t n ) at time t n as calculate.

なお、評価部150cが前述した掛け合わせを行う際に、異なる時間tで生成された中間推定量を掛け合わせてもよい。たとえば、図8に示すように、評価部150cは、部分31の各要素の一つに、それぞれ異なる時間t-2、t-1に生成された、中間推定量20aと、中間推定量21bの直積を配置する。 It should be noted that when the evaluation unit 150c performs the above-described multiplication, intermediate estimators generated at different times t may be multiplied. For example, as shown in FIG. 8, the evaluation unit 150c assigns an intermediate estimator 20a and an intermediate estimator 21b generated at different times t−2 and t−1 to one of the elements of the portion 31. Place a Cartesian product.

また、掛け合わせは、全ての中間推定量の組合せに対して行っても良いし、一部の組合せに限定して掛け合わせを行っても良い。その限定方法としては、例えば、中間推定量が発生した時間差が一定以内のものに限定する方法、中間推定量の生成に用いたセンサが設置された位置の距離が一定以内のものに限定する方法や、予めルールとして定めた組合せに限定する方法、を用いても良い。また、頻出パタンマイニングアルゴリズムや列挙アルゴリズムを用い、中間推定量のノルムが一定以上の値を取った回数が一定値以上となった組合せに限定してもよい。 Also, the multiplication may be performed on all combinations of intermediate estimators, or may be performed on a limited number of combinations. Examples of the limiting method include a method of limiting the time difference in which the intermediate estimator is generated, and a method of limiting the distance of the position where the sensor used to generate the intermediate estimator is installed within a certain value. Alternatively, a method of limiting combinations to predetermined rules may be used. In addition, by using a frequent pattern mining algorithm or an enumeration algorithm, combinations may be limited to combinations in which the number of times the norm of the intermediate estimator takes a value equal to or greater than a certain value is equal to or greater than a certain value.

更に、掛け合わせを行った特徴量φ(t)を学習・推定に用いる際、φ(t)を直接用いてもよいし、更に後処理を加えてもよい。例えば、φ(t)に主成分分析などの低次元化アルゴリズムを適用したものを学習・推定に用いてもよい。 Furthermore, when the multiplied feature amount φ(t) is used for learning/estimation, φ(t) may be used directly, or post-processing may be added. For example, φ(t) obtained by applying a dimensional reduction algorithm such as principal component analysis may be used for learning/estimation.

評価部150cによる、重みベクトルを学習する処理の一例について説明する。評価部150cは、構造正則化アルゴリズムを用いて、重みベクトルを学習する。構造正則化アルゴリズムでは、重みベクトルの要素により多くの0が含まれるような学習が行われる。たとえば、評価部150cは、式(1)に示す評価関数Lの値がより小さな値となるように、重みベクトルwを学習する。 An example of processing for learning weight vectors by the evaluation unit 150c will be described. The evaluation unit 150c learns weight vectors using a structural regularization algorithm. Structural regularization algorithms are trained to include more 0s in the weight vector elements. For example, the evaluation unit 150c learns the weight vector w so that the value of the evaluation function L shown in Equation (1) becomes a smaller value.

Figure 0007119901000001
Figure 0007119901000001

式(1)に含まれる「l(φ(t),w,y)」は、式(2)により定義されるロス関数である。式(1)に含まれる「λ」は、調整パラメータであり、予め値が設定されている。「Ω(w)」は、重みベクトルwの大きさを示す正則化項であり、式(3)により定義される。 “l(φ(t), w, y)” included in Equation (1) is the loss function defined by Equation (2). "λ" included in the formula (1) is an adjustment parameter whose value is set in advance. “Ω(w)” is a regularization term that indicates the magnitude of the weight vector w and is defined by Equation (3).

Figure 0007119901000002
Figure 0007119901000002

Figure 0007119901000003
Figure 0007119901000003

式(2)において、「y」は、特徴量ベクトルφ(t)の時間tに対応する時間帯において、対象のコンテキストが生じている場合には「1」が設定され、対象のコンテキストが生じていない場合には「-1」が設定される。評価部150cは、時間tと、正解コンテキストDB140bとを比較して、対象のコンテキストが生じているか否かを判定する。 In equation (2), “y” is set to “1” when the target context occurs in the time zone corresponding to time t of the feature amount vector φ(t). If not, "-1" is set. The evaluation unit 150c compares the time t and the correct context DB 140b to determine whether or not the target context has occurred.

一例として、評価部150cが、コンテキスト「荷下ろし中」を推定するための重みベクトルwを学習する場合について説明する。図4に示すように、コンテキスト「荷下ろし中」は、時間帯「時刻Ts1~時刻Te1」において生じているため、時間tが、時間帯「時刻Ts1~時刻Te1」に含まれる場合には、「y=1」となり、含まれない場合には「y=-1」となる。 As an example, the case where the evaluation unit 150c learns the weight vector w for estimating the context “unloading” will be described. As shown in FIG. 4, the context "unloading" occurs in the time period "time Ts1 to time Te1", so if time t is included in the time period "time Ts1 to time Te1", "y=1", and "y=-1" if not included.

式(1)、(2)に含まれる「w」は、重みベクトルを示すものである。図9は、重みベクトルを説明するための図である。図9に示すように、重みベクトルwは複数の要素を有する。重みベクトルwの要素の数と、特徴量ベクトルφ(t)の要素の数とは一致しており、それぞれ対応付けられる。たとえば、重みベクトルwの部分41の各重みは、特徴量ベクトルφ(t)の部分31の各要素に対応する重みである。重みベクトルwの部分42の各重みは、特徴量ベクトルφ(t)の部分32の各要素に対応する重みである。 "w" included in formulas (1) and (2) indicates a weight vector. FIG. 9 is a diagram for explaining weight vectors. As shown in FIG. 9, the weight vector w has multiple elements. The number of elements of the weight vector w and the number of elements of the feature amount vector φ(t) match and are associated with each other. For example, each weight of the portion 41 of the weight vector w is a weight corresponding to each element of the portion 31 of the feature quantity vector φ(t). Each weight of the portion 42 of the weight vector w is a weight corresponding to each element of the portion 32 of the feature amount vector φ(t).

評価部150cは、各時刻t(t=t,t、・・・t)について、特徴量ベクトルφ(t)と、時間tにおいて対象のコンテキストが生じているか否かの値(y=1ory=-1)との組を、式(1)に入力して、重みベクトルwを学習する。評価部150cは、学習した重みベクトルwを、重みテーブル140cに登録する。 The evaluation unit 150c, for each time t (t = t 1 , t 2 , . =1 ory =-1) are input into equation (1) to learn the weight vector w. The evaluation unit 150c registers the learned weight vector w in the weight table 140c.

なお、ロス関数は、式(2)で示した形式に限定されない。他例として、例えばロジスティック損失、クロスエントロピー損失、ヒンジ損失、平滑化ヒンジ損失、Huber損失をロス関数として用いてもよい。また、以上の説明はコンテキスト推定を特定コンテキスト内容を行っているか否かを判定する問題、則ち分類問題に対して扱っている場合について述べたが、本発明の技術はコンテキスト推定を回帰問題として扱う場合に用いてもよい。例えば、コンテキスト推定として連続値を取る「ストレス量」を推定する問題に対し、ロス関数をL2損失、log Poisson損失を用いて学習を行う場合も本発明の実施例として挙げられる。更に、正則化項は、式(3)で示した形式に限定されない。他例として、例えばL0正則化項、Lp正則化項、グループL0正則化項、グループL1正則化項を用いても良い。また、これら正則化項のグループの定義方法として、複数回の重複を許しても良い。更に、正則化項として、Elastic Netのように、上で述べた正則化項と、L2正則化項やL∞正則化項を含む複数の異なる正則化項の和で表されるものを用いても良い。 Note that the loss function is not limited to the form shown in Equation (2). As other examples, logistic loss, cross-entropy loss, hinge loss, smoothed hinge loss, and Huber loss, for example, may be used as the loss function. In the above description, context estimation deals with the problem of determining whether or not specific context content is performed, that is, the classification problem. May be used when handling For example, learning is performed using L2 loss and log Poisson loss as a loss function for the problem of estimating a "stress amount" that takes a continuous value as context estimation, as an embodiment of the present invention. Furthermore, the regularization term is not limited to the form shown in equation (3). As other examples, for example, an L0 regularization term, an Lp regularization term, a group L0 regularization term, and a group L1 regularization term may be used. In addition, as a method of defining groups of these regularization terms, multiple overlaps may be allowed. Furthermore, as a regularization term, as in Elastic Net, using the sum of the regularization term described above and multiple different regularization terms including the L2 regularization term and the L∞ regularization term Also good.

評価部150cは、コンテキスト内容が複数種類存在する場合には、コンテキスト内容毎に、上記処理を繰り返し実行し、コンテキストを推定するための固有の重みベクトルをそれぞれ算出し、重みテーブル140cに登録する。たとえば、図5に示す例では、コンテキスト内容「荷下ろし中」を推定するための重みベクトルが「w1」であり、コンテキスト内容「商品陳列中」を推定するための重みベクトルが「w2」であり、コンテキスト内容「包装中」を推定するための重みベクトルが「w3」である旨が示される。 When there are a plurality of types of context content, the evaluation unit 150c repeatedly executes the above processing for each context content, calculates a unique weight vector for estimating the context, and registers it in the weight table 140c. For example, in the example shown in FIG. 5, the weight vector for estimating the context content "unloading" is "w1", and the weight vector for estimating the context content "product on display" is "w2". , the weight vector for estimating the context content "packing" is "w3".

なお、ここまでで述べた説明では、まずクラスタリング処理を行い、次に重みの学習を行う例を述べたが、本発明で示す学習方法はその例に限られない。例えば、クラスタリング処理と重みの学習を交互に繰り返し学習する方法や、クラスタリング処理を行うニューラルネットワークと重みの学習を行うニューラルネットワークを接続した形式で定義し、クラスタリング処理と重みの学習を同時に行うEnd-to-End形式での学習を行っても良い。 In addition, in the explanation so far, an example in which clustering processing is first performed and then weight learning is described, but the learning method shown in the present invention is not limited to this example. For example, a method in which clustering processing and weight learning are alternately and repeatedly learned, or an End- Learning may be performed in a to-end format.

選択部150dは、重みテーブル140cを基にして、各コンテキストを推定する場合に使用するセンサの組を選択する処理部である。選択部150dは、選択した結果を、選択センサテーブル140dに登録する。 The selection unit 150d is a processing unit that selects a set of sensors to be used when estimating each context based on the weight table 140c. The selection unit 150d registers the selected result in the selected sensor table 140d.

一例として、選択部150dが、コンテキスト内容「荷下ろし中」を推定する場合において、使用するセンサの組を選択する処理について説明する。選択部150dは、重みテーブル140cから、コンテキスト内容「荷下ろし中」に対応する学習済みの重みベクトルw1を取得し、取得した重みベクトルの要素のうち、0となる要素を検出する。 As an example, a process of selecting a set of sensors to be used when the selection unit 150d estimates the context content “unloading” will be described. The selection unit 150d acquires the learned weight vector w1 corresponding to the context content “unloading” from the weight table 140c, and detects the elements that are 0 among the elements of the acquired weight vector.

選択部150dは、0となる要素を検出すると、検出した要素に対応するセンサに「ペナルティ値」として1を加算する。たとえば、図9で説明した、中間推定量20aと、中間推定量20bとの直積の重み(要素)が0となる場合には、中間推定量20aに対応するセンサ10aと、中間推定量20bに対応するセンサ10bにそれぞれペナルティ値として1を加算する。 When the selection unit 150d detects an element that becomes 0, the selection unit 150d adds 1 as a "penalty value" to the sensor corresponding to the detected element. For example, when the weight (element) of the direct product of the intermediate estimator 20a and the intermediate estimator 20b described with reference to FIG. 1 is added as a penalty value to each corresponding sensor 10b.

中間推定量20aと、中間推定量20bと、中間推定量20cとの直積の重み(要素)が0となる場合には、中間推定量20aに対応するセンサ10aと、中間推定量20bに対応するセンサ10bと、中間推定量20cに対応するセンサ10cにそれぞれペナルティ値として1を加算する。 When the weight (element) of the direct product of the intermediate estimator 20a, the intermediate estimator 20b, and the intermediate estimator 20c is 0, the sensor 10a corresponding to the intermediate estimator 20a and the sensor 10a corresponding to the intermediate estimator 20b 1 is added as a penalty value to each of the sensor 10b and the sensor 10c corresponding to the intermediate estimated amount 20c.

選択部150dは、0となる要素について、上記の処理を繰り返し実行することで、各センサのペナルティ値を算出する。選択部150dは、各センサのうち、ペナルティ値が予め設定されたペナルティ値未満となるセンサを、コンテキスト内容「荷下ろし中」を推定する場合に使用するセンサとして選択する。なお、選択部150dは、ペナルティ値に応じて、各センサを昇順にソートし、ペナルティ値の少ない上位M個のセンサを、コンテキスト内容「荷下ろし中」を推定する場合に使用するセンサとして選択してもよい。Mは、予め設定される自然数である。 The selection unit 150d calculates the penalty value of each sensor by repeatedly executing the above processing for the elements that are 0. The selecting unit 150d selects a sensor whose penalty value is less than a preset penalty value from among the sensors to be used when estimating the context content “unloading”. The selection unit 150d sorts the sensors in ascending order according to the penalty value, and selects the top M sensors with the lowest penalty values as the sensors to be used when estimating the context content “unloading”. may M is a preset natural number.

選択部150dは、他のコンテキスト内容を推定する場合において使用するセンサの組についても、上記のコンテキスト内容「荷下ろし中」の場合と同様にして選択し、選択した情報を、選択センサテーブル140dに登録する。 The selection unit 150d also selects a set of sensors to be used when estimating other context content in the same manner as in the case of the context content "unloading", and stores the selected information in the selected sensor table 140d. sign up.

なお、ここまでで述べた説明では、選択部が、用いるセンサ個数にペナルティを付与してセンサ選択を行う方式を述べたが、本発明での実現形態はその方式に限られない。具体的には、選択部は、特定のセンサに関する重みの要素の何れかが0でないもの、もしくは重みの要素の絶対値の最小値が一定値以上の値を持つセンサを、コンテキスト内容を推定するセンサとして選択してもよい。また、コンテキスト内容毎に認識時に用いるセンサの組の変更を行わず、全てのコンテキスト内容で同一のセンサを選択してもよい。その具体的な方法として、例えば、予め各々のコンテキスト内容で選択されたセンサに対し、それらの和集合をコンテキスト内容を推定するセンサとして選択してもよい。更に、選択されたセンサを固定し、異なる調整パラメタλや異なる正則化項に対して再学習を行い、重みwを更新しても良い。 In the description so far, the selection unit selects sensors by giving a penalty to the number of sensors to be used, but the embodiment of the present invention is not limited to this method. Specifically, the selection unit estimates the context content of a sensor in which any of the weight elements related to a specific sensor is not 0, or the minimum absolute value of the weight elements is a certain value or more. It may be selected as a sensor. Alternatively, the same sensor may be selected for all context contents without changing the set of sensors used at the time of recognition for each context contents. As a specific method thereof, for example, for sensors previously selected for each context content, a union of the sensors may be selected as the sensor for estimating the context content. Furthermore, the selected sensor may be fixed, re-learning may be performed for a different adjustment parameter λ or a different regularization term, and the weight w may be updated.

通知部150eは、重みテーブル140c、選択センサテーブル140dを、後述する推定装置に通知する処理部である。 The notification unit 150e is a processing unit that notifies the weight table 140c and the selected sensor table 140d to an estimation device, which will be described later.

次に、本実施例に係る分析装置100の処理手順の一例について説明する。図10は、本実施例に係る分析装置の処理手順を示すフローチャートである。図10に示すように、分析装置100の受信部150aは、各センサ10a~10c(他のセンサ)から時系列のセンサデータを受信し、センサDB140aに登録する(ステップS101)。受信部150aは、正解コンテキストデータを受け付け、正解コンテキストDB140bに登録する(ステップS102)。 Next, an example of the processing procedure of the analyzer 100 according to this embodiment will be described. FIG. 10 is a flow chart showing the processing procedure of the analyzer according to the present embodiment. As shown in FIG. 10, the receiving unit 150a of the analysis device 100 receives time-series sensor data from each of the sensors 10a to 10c (other sensors) and registers them in the sensor DB 140a (step S101). The receiving unit 150a receives the correct context data and registers it in the correct context DB 140b (step S102).

分析装置100の分割部150bは、各センサデータを所定の時間区間に切り分けることで、複数の分割センサデータを生成する(ステップS103)。分割部150bは、複数の分割センサデータを基にして、複数の中間推定量を生成する(ステップS104)。 The dividing unit 150b of the analysis device 100 divides each sensor data into predetermined time intervals to generate a plurality of divided sensor data (Step S103). The dividing unit 150b generates a plurality of intermediate estimators based on the plurality of divided sensor data (step S104).

分析装置100の評価部150cは、センサ識別情報毎に各中間推定量を時系列に並べる(ステップS105)。評価部150cは、異なるセンサ識別情報間の中間推定量を掛け合わせることで、特徴量ベクトルを算出する(ステップS106)。評価部150cは、評価関数Lの値がより小さくなるように、重みベクトルの各要素を学習し、学習した重みベクトルを、重みテーブル140cに登録する(ステップS107)。 The evaluation unit 150c of the analysis device 100 arranges each intermediate estimator in chronological order for each sensor identification information (Step S105). The evaluation unit 150c calculates a feature amount vector by multiplying intermediate estimation amounts between different sensor identification information (step S106). The evaluation unit 150c learns each element of the weight vector so that the value of the evaluation function L becomes smaller, and registers the learned weight vector in the weight table 140c (step S107).

分析装置100の選択部150dは、重みテーブル140cを基にして、コンテキストを推定する場合に使用するセンサを選択する(ステップS108)。選択部150dは、選択結果を基にして、選択センサテーブル140dを更新する(ステップS109)。分析装置100の通知部150eは、重みテーブル140c、選択センサテーブル140dを、推定装置に通知する(ステップS110)。 The selection unit 150d of the analysis device 100 selects sensors to be used when estimating the context based on the weight table 140c (step S108). The selection unit 150d updates the selected sensor table 140d based on the selection result (step S109). The notification unit 150e of the analysis device 100 notifies the estimation device of the weight table 140c and the selected sensor table 140d (step S110).

続いて、分析装置100から通知される重みテーブル140c、選択センサテーブル140dを基にして、コンテンツの推定を行う推定装置について説明を行う。 Next, an estimation device that estimates content based on the weight table 140c and the selected sensor table 140d notified from the analysis device 100 will be described.

図11は、本実施例に係る運用時のシステムの構成を示す図である。図11に示すように、このシステムは、センサ10a,10b,10cと、推定装置200とを有する。センサ10a,10b,10cと、推定装置200とは、ネットワーク50を介して相互に接続される。ここでは、便宜上、センサ10a~10cのみを示すが、推定装置200は、他のセンサに更に接続されているものとする。なお、図1に示した分析装置100に接続される各センサと、推定装置200に接続される各センサとは、同じセンサであるものとする。 FIG. 11 is a diagram showing the configuration of the system during operation according to this embodiment. As shown in FIG. 11, this system has sensors 10a, 10b, 10c and an estimating device 200. As shown in FIG. Sensors 10 a , 10 b , 10 c and estimation device 200 are interconnected via network 50 . For convenience, only the sensors 10a to 10c are shown here, but the estimating device 200 is assumed to be further connected to other sensors. It is assumed that each sensor connected to the analysis device 100 shown in FIG. 1 and each sensor connected to the estimation device 200 are the same sensor.

センサ10a~10cは、画像センサ、音センサ、運動センサ等の各種のセンサのうち、いずれかのセンサである。センサ10a~10cに関する説明は、図1で説明した、センサ10a~10cの説明と同様である。 The sensors 10a to 10c are any of various sensors such as image sensors, sound sensors, and motion sensors. The description of the sensors 10a-10c is the same as the description of the sensors 10a-10c described with reference to FIG.

推定装置200は、推定対象となるコンテキストの指定を受け付けると、選択センサテーブル140dを基にして、使用するセンサの組を特定し、特定したセンサに対して、送信命令を送信する。推定装置200は、送信命令を送信したセンサから、センサデータを受信し、重みテーブル140cの重みを用いて、推定対象のコンテキストが生じているか否かを判定する。 Upon receiving the specification of the context to be estimated, the estimation device 200 identifies a set of sensors to be used based on the selected sensor table 140d, and transmits a transmission command to the identified sensors. The estimating apparatus 200 receives sensor data from the sensor that has transmitted the transmission command, and uses the weights in the weight table 140c to determine whether or not the context to be estimated is occurring.

図12は、本実施例に係る推定装置の構成を示す機能ブロック図である。図12に示すように、この推定装置200は、通信部210、入力部220、表示部230、記憶部240、制御部250を有する。 FIG. 12 is a functional block diagram showing the configuration of the estimation device according to this embodiment. As shown in FIG. 12 , this estimation device 200 has a communication section 210 , an input section 220 , a display section 230 , a storage section 240 and a control section 250 .

通信部210は、ネットワーク50を介して、選択したセンサからセンサデータを受信する処理部である。通信部110は、センサデータを、制御部150に出力する。通信部210は、通信装置に対応する。また、通信部210は、分析装置100とデータを送受信する。後述する制御部250は、通信部210を介して、各センサ、分析装置100とデータをやり取りする。 The communication unit 210 is a processing unit that receives sensor data from the selected sensor via the network 50 . Communication unit 110 outputs the sensor data to control unit 150 . The communication unit 210 corresponds to a communication device. Also, the communication unit 210 transmits and receives data to and from the analysis device 100 . A control unit 250 , which will be described later, exchanges data with each sensor and the analysis device 100 via the communication unit 210 .

入力部220は、各種の情報を推定装置200に入力するための入力装置である。たとえば、入力部220は、キーボード、マウス、タッチパネル等に対応する。 The input unit 220 is an input device for inputting various kinds of information to the estimation device 200 . For example, input unit 220 corresponds to a keyboard, mouse, touch panel, and the like.

表示部230は、制御部250から出力される情報を表示するための表示装置である。たとえば、表示部230は、液晶ディスプレイ、有機ディスプレイ、タッチパネル等に対応する。 Display unit 230 is a display device for displaying information output from control unit 250 . For example, display unit 230 corresponds to a liquid crystal display, an organic display, a touch panel, or the like.

記憶部240は、センサDB240a、重みテーブル140c、選択センサテーブル140dを有する。記憶部240は、RAM、ROM、フラッシュメモリなどの半導体メモリ素子や、HDDなどの記憶装置に対応する。 The storage unit 240 has a sensor DB 240a, a weight table 140c, and a selected sensor table 140d. The storage unit 240 corresponds to semiconductor memory elements such as RAM, ROM, and flash memory, and storage devices such as HDD.

センサDB240aは、センサ10a~10c、図示しない他のセンサにより測定されたセンサデータを保持するDBである。センサDB240aのデータ構造は、図3で説明した、センサDB140aのデータ構造と同様である。なお、センサDB240aには、後述する通信制御部250bにより選択されたセンサのセンサデータが登録される。 The sensor DB 240a is a DB that holds sensor data measured by the sensors 10a to 10c and other sensors (not shown). The data structure of the sensor DB 240a is the same as the data structure of the sensor DB 140a described in FIG. Sensor data of sensors selected by the communication control unit 250b, which will be described later, is registered in the sensor DB 240a.

重みテーブル140cは、コンテキストを推定するための重みベクトルの情報を保持するテーブルである。重みテーブル140cは、分析装置100により学習された重みベクトルの情報を保持する。重みテーブル140cのデータ構造は、図5に示した重みテーブル140cのデータ構造と同様である。 The weight table 140c is a table that holds weight vector information for estimating the context. The weight table 140c holds information on weight vectors learned by the analysis device 100 . The data structure of the weight table 140c is the same as the data structure of the weight table 140c shown in FIG.

選択センサテーブル140dは、コンテキストを推定するために用いるセンサの情報を保持するテーブルである。選択センサテーブル140dのデータ構造は、図6に示した選択センサテーブル140dのデータ構造と同様である。 The selected sensor table 140d is a table that holds sensor information used for estimating the context. The data structure of the selected sensor table 140d is the same as the data structure of the selected sensor table 140d shown in FIG.

制御部250は、受信部250a、通信制御部250b、分割部250c、スコア算出部250dを有する。制御部250は、CPUやMPUなどによって実現できる。また、制御部250は、ASICやFPGAなどのハードワイヤードロジックによっても実現できる。 The control unit 250 has a receiving unit 250a, a communication control unit 250b, a dividing unit 250c, and a score calculating unit 250d. The control unit 250 can be implemented by a CPU, MPU, or the like. Also, the control unit 250 can be realized by hardwired logic such as ASIC and FPGA.

受信部250aは、通信制御部250bにより選択された各センサからセンサデータを受信する処理部である。受信部250aか、各センサデータを、センサDB240aに格納する。受信部250aは、各センサデータについて、ヘッダに含まれるセンサ識別情報を参照し、該当するセンサ識別情報に対応付けて、センサデータをセンサDB240aに格納する。 The receiving unit 250a is a processing unit that receives sensor data from each sensor selected by the communication control unit 250b. The receiving unit 250a stores each sensor data in the sensor DB 240a. The receiving unit 250a refers to the sensor identification information included in the header of each sensor data, associates the sensor data with the corresponding sensor identification information, and stores the sensor data in the sensor DB 240a.

通信制御部250bは、コンテキストを推定する場合に用いるセンサを、選択センサテーブル140dを基にして選択する処理部である。通信制御部250bは、選択したセンサに対して、送信要求を送信する。なお、通信制御部250bは、選択したセンサ以外のセンサに対して、送信停止要求を送信し、センサデータが送信されることを抑止してもよい。 The communication control unit 250b is a processing unit that selects the sensor used when estimating the context based on the selected sensor table 140d. The communication control unit 250b transmits a transmission request to the selected sensor. In addition, the communication control unit 250b may transmit a transmission stop request to sensors other than the selected sensor to suppress transmission of sensor data.

たとえば、通信制御部250bは、入力部220等から、推定対象となるコンテキスト内容の指定を受け付ける。通信制御部250bは、指定されたコンテキスト内容と、選択センサテーブルとを比較して、コンテキストを推定する場合に用いるセンサを特定する。 For example, the communication control unit 250b receives specification of context content to be estimated from the input unit 220 or the like. The communication control unit 250b compares the designated context content with the selected sensor table, and identifies the sensor used when estimating the context.

分割部250cは、センサデータを分割し、分割したデータを基にして、中間推定量を生成する処理部である。分割部250cが、中間推定量を生成する処理は、分析装置100の分割部150bが中間推定量を生成する処理と同様である。分割部250cは、センサ識別情報と、各中間推定量とを対応付けた情報を、スコア算出部250dに出力する。 The dividing unit 250c is a processing unit that divides sensor data and generates an intermediate estimator based on the divided data. The process of generating the intermediate estimator by the dividing unit 250c is the same as the process of generating the intermediate estimator by the dividing unit 150b of the analysis apparatus 100. FIG. The division unit 250c outputs information in which the sensor identification information and each intermediate estimator are associated with each other to the score calculation unit 250d.

スコア算出部250dは、コンテキストが生じているかの確からしさを示すスコアを算出する処理部である。たとえば、スコア算出部250dは、特徴量ベクトルを生成する処理、スコアを算出する処理を行う。 The score calculation unit 250d is a processing unit that calculates a score that indicates the likelihood that a context is occurring. For example, the score calculation unit 250d performs a process of generating a feature amount vector and a process of calculating a score.

スコア算出部250dによる、特徴量ベクトルを生成する処理は、分析装置100の評価部150cが、特徴量ベクトルを生成する処理と同様である。たとえば、スコア算出部250dは、異なるセンサ識別情報間で、各中間推定量を掛け合わせたものを、ベクトルの要素とすることで、特徴量ベクトルを算出する。 The process of generating the feature amount vector by the score calculation unit 250d is the same as the process of generating the feature amount vector by the evaluation unit 150c of the analysis device 100 . For example, the score calculation unit 250d calculates a feature amount vector by using, as a vector element, a product obtained by multiplying each intermediate estimation amount between different sensor identification information.

スコア算出部250dによる、スコアを算出する処理について説明する。たとえば、スコア算出部250dは、式(4)を基にして、スコアS(t)を算出する。式(4)において、「w」は、学習された重みベクトルである。スコア算出部250dは、入力部220等から指定されるコンテキスト内容と、重みテーブル140cとを比較し、指定されたコンテキスト内容に対応する重みベクトルを用いる。たとえば、指定されたコンテキスト内容が「荷下ろし中」である場合には、スコア算出部250dは、重みベクトルw1を、式(4)に代入する。式(4)のφ(t)は、特徴量ベクトルである。 Processing for calculating the score by the score calculation unit 250d will be described. For example, score calculator 250d calculates score S(t) based on equation (4). In equation (4), "w" is the learned weight vector. The score calculation unit 250d compares the context content specified by the input unit 220 or the like with the weight table 140c, and uses the weight vector corresponding to the specified context content. For example, when the specified context content is "unloading", the score calculation unit 250d substitutes the weight vector w1 into Equation (4). φ(t) in Equation (4) is a feature vector.

Figure 0007119901000004
Figure 0007119901000004

スコア算出部250dは、スコアの算出結果を、表示部230に出力して表示してもよいし、ネットワーク50を介して接続される外部装置に、スコアの算出結果の情報を通知してもよい。推定対象となるコンテキストが生じている確からしさが大きい場合には、スコアはより大きな値となり、確からしさが小さい場合には、スコアはより小さな値となる。更に、スコア算出部250dは、時刻毎にスコアを示すグラフを生成して、表示部230に表示してもよい。 The score calculation unit 250d may output and display the score calculation result on the display unit 230, or may notify an external device connected via the network 50 of information on the score calculation result. . When the probability that the context to be estimated occurs is high, the score becomes a large value, and when the probability is low, the score becomes a small value. Furthermore, the score calculation unit 250d may generate a graph showing the score for each time and display it on the display unit 230. FIG.

次に、本実施例に係る推定装置200の処理手順の一例について説明する。図13は、本実施例に係る推定装置の処理手順を示すフローチャートである。図13に示すように、推定装置200の通信制御部250bは、コンテキスト内容の指定を受け付ける(ステップS201)。通信制御部250bは、選択センサテーブル140dを基にして、センサを選択し、選択したセンサに送信要求を送信する(ステップS202)。 Next, an example of the processing procedure of the estimation device 200 according to this embodiment will be described. FIG. 13 is a flow chart showing the processing procedure of the estimation device according to the present embodiment. As shown in FIG. 13, the communication control unit 250b of the estimation device 200 receives specification of context content (step S201). The communication control unit 250b selects a sensor based on the selected sensor table 140d and transmits a transmission request to the selected sensor (step S202).

推定装置200の受信部250aは、選択したセンサからセンサデータを受信し、センサDB240aに登録する(ステップS203)。推定装置200の分割部250cは、各センサデータを所定の時間区間に切り分けることで、複数の分割センサデータを生成する(ステップS204)。 The receiving unit 250a of the estimating device 200 receives the sensor data from the selected sensor and registers it in the sensor DB 240a (step S203). The dividing unit 250c of the estimating device 200 divides each sensor data into predetermined time intervals to generate a plurality of divided sensor data (step S204).

分割部250cは、複数の分割センサデータを基にして、複数の中間推定量を生成する(ステップS205)。推定装置200のスコア算出部250dは、センサ識別情報毎に各中間推定量を時系列に並べる(ステップS206)。 The dividing unit 250c generates a plurality of intermediate estimators based on the plurality of divided sensor data (step S205). The score calculation unit 250d of the estimation device 200 arranges the intermediate estimators in chronological order for each sensor identification information (step S206).

スコア算出部250dは、異なるセンサ識別情報間の中間推定量を掛け合わせることで、特徴量ベクトルを算出する(ステップS207)。スコア算出部250dは、推定するコンテキスト内容に対応する重みベクトルを重みテーブル140cから取得する(ステップS208)。 The score calculation unit 250d calculates a feature amount vector by multiplying intermediate estimation amounts between different sensor identification information (Step S207). The score calculator 250d acquires the weight vector corresponding to the estimated context content from the weight table 140c (step S208).

スコア算出部250dは、重みベクトルと特徴量ベクトルとを基にして、コンテキストが生じている確からしさのスコアを算出する(ステップS209)。スコア算出部250dは、スコアの算出結果を、表示部230に出力する(ステップS210)。 The score calculation unit 250d calculates the score of the probability that the context is generated based on the weight vector and the feature amount vector (step S209). The score calculation unit 250d outputs the score calculation result to the display unit 230 (step S210).

次に、本実施例に係る分析装置100の効果について説明する。分析装置100は、各センサからセンサデータを受信し、各センサデータを複数の時間区間に切り分けることで、複数の分割センサデータを生成する。分析装置100は、複数のセンサのうち、あるセンサの各分割センサデータと、他のセンサの各分割センサデータとの組み合わせについて評価を行い、評価結果を基にして、組み合わせの対象となるセンサの組を選択する。これにより、コンテキストを推定する場合に有用なセンサの組を選択することができる。 Next, the effect of the analyzer 100 according to this embodiment will be described. The analysis device 100 receives sensor data from each sensor and divides each sensor data into a plurality of time intervals to generate a plurality of divided sensor data. Analysis device 100 evaluates a combination of each divided sensor data of a certain sensor and each divided sensor data of another sensor among a plurality of sensors, and based on the evaluation result, selects sensors to be combined. select a pair. This allows the selection of a useful set of sensors when estimating context.

分析装置100は、分割センサデータの各部分に含まれる特徴量を基にしたクラスタリングを実行することで得られるヒストグラムを、分割センサデータの中間推定量として生成し、生成した各中間推定量の組み合わせについて評価を行う。このように、中間推定量に変換することで、異なる種別のセンサ(画像センサ、音センサ、運動センサ等)の測定結果を組み合わせて評価を行うことができる。 Analysis device 100 generates a histogram obtained by performing clustering based on the feature amount included in each part of the divided sensor data as an intermediate estimator of the divided sensor data, and combines the generated intermediate estimators. to be evaluated. By converting into an intermediate estimator in this way, evaluation can be performed by combining the measurement results of different types of sensors (image sensor, sound sensor, motion sensor, etc.).

分析装置100は、あるセンサの各中間推定量と他のセンサの各中間推定量とを掛け合わせた値をそれぞれ要素とする特徴量ベクトルを生成する。分析装置100は、特徴量ベクトルと重みベクトルとを掛け合わせて加算した値が、コンテキストの正解値に近づくように、重みベクトルを学習する。分析装置100は、学習した重みベクトルの各要素を基にして、組み合わせ対象となるセンサの組を特定する。これにより、コンテキストを推定するために有用なセンサの組を特定することができる。 The analysis device 100 generates a feature amount vector whose elements are values obtained by multiplying each intermediate estimator of a certain sensor by each intermediate estimator of another sensor. The analysis device 100 learns the weight vector so that the value obtained by multiplying and adding the feature amount vector and the weight vector approaches the correct value of the context. Analysis device 100 identifies a set of sensors to be combined based on each element of the learned weight vector. This allows identifying a useful set of sensors for estimating context.

また、本実施例に係る推定装置200は、運用フェーズにおいて、分析装置100により生成された選択センサテーブル140dを基にして、コンテキストを推定する場合に用いるセンサに対して送信命令を送信する。かかる処理を行うことで、複数のセンサのうち、送信命令を送信したセンサから、センサデータを受信して、コンテキストの推定を行うことができるので、データ通信量を削減することができる。 Also, in the operation phase, the estimation device 200 according to this embodiment transmits a transmission command to the sensors used when estimating the context, based on the selected sensor table 140d generated by the analysis device 100 . By performing such processing, it is possible to receive sensor data from the sensor that has transmitted the transmission command among the plurality of sensors, and to estimate the context, thereby reducing the amount of data communication.

ところで、本実施例では一例として、分析装置100と、推定装置200とが別々の装置に実装される場合について説明したが、これに限定されるものではない。たとえば、分析装置100が、推定装置200の構成を有していてもよい。すなわち、図2に示した分析装置100の制御部150が、図12に示した推定装置200の受信部250a,通信制御部250b,分割部250c,スコア算出部250dを有していてもよい。 By the way, in this embodiment, as an example, the case where the analysis device 100 and the estimation device 200 are implemented in separate devices has been described, but the present invention is not limited to this. For example, analysis device 100 may have the configuration of estimation device 200 . That is, the control unit 150 of the analysis device 100 shown in FIG. 2 may have the reception unit 250a, the communication control unit 250b, the division unit 250c, and the score calculation unit 250d of the estimation device 200 shown in FIG.

また、図1に示した学習時のシステム構成は一例であり、図14に示すシステム構成であってもよい。図14は、本実施例に係る学習時の他のシステムの構成を示す図である。図14に示すように、このシステムは、センサ10a~10dと、ゲートウェイ60と、分析装置100とを有する。 Further, the system configuration during learning shown in FIG. 1 is an example, and the system configuration shown in FIG. 14 may be used. FIG. 14 is a diagram showing the configuration of another system during learning according to this embodiment. As shown in FIG. 14, this system has sensors 10a-10d, a gateway 60, and an analysis device 100. As shown in FIG.

センサ10a~10dは、ゲートウェイ60に接続される。図14では図示を省略するが、ゲートウェイ60には、その他のセンサが接続されているものとする。ゲートウェイ60は、ネットワーク50を介して分析装置100に接続される。 Sensors 10 a - 10 d are connected to gateway 60 . Although not shown in FIG. 14, it is assumed that the gateway 60 is connected to other sensors. Gateway 60 is connected to analysis device 100 via network 50 .

センサ10a~10dは、画像センサ、音センサ、運動センサ等の各種のセンサのうち、いずれかのセンサである。センサ10a~10dは、ゲートウェイ60を介して、センサデータを、分析装置100に送信する。 The sensors 10a-10d are any of various sensors such as image sensors, sound sensors, motion sensors, and the like. Sensors 10 a - 10 d transmit sensor data to analysis device 100 via gateway 60 .

ゲートウェイ60は、各センサと分析装置100とのデータ通信を中継する装置である。ゲートウェイ60の各ポートには、センサ10a~10d(およびその他のセンサ)が接続されており、ポート単位で、通信の接続、切断を制御することが可能である。どのポートにどのセンサが接続されているかを示す管理テーブルがゲートウェイ60に予め設定されているものとする。学習フェーズにおいて、ゲートウェイ60は、全ポートを接続状態にし、各センサが測定したセンサデータを、分析装置100に送信する。 The gateway 60 is a device that relays data communication between each sensor and the analysis device 100 . Sensors 10a to 10d (and other sensors) are connected to each port of the gateway 60, and connection and disconnection of communication can be controlled for each port. It is assumed that a management table indicating which sensor is connected to which port is preset in the gateway 60 . In the learning phase, the gateway 60 connects all ports and transmits sensor data measured by each sensor to the analysis device 100 .

分析装置100は、ゲートウェイ60から送信される各センサのセンサデータを受信し、各センサデータを用いて、所定のコンテキストを推定する際に有用なセンサの組み合わせを選択する装置である。その他の説明は、上述した分析装置100に関する説明と同様である。 The analysis device 100 is a device that receives sensor data of each sensor transmitted from the gateway 60 and selects a useful combination of sensors when estimating a predetermined context using each sensor data. The rest of the description is the same as the description regarding the analysis device 100 described above.

続いて、図11に示した運用時のシステム構成は一例であり、図15に示すシステム構成であってもよい。図15は、本実施例に係る運用時の他のシステムの構成を示す図である。図15に示すように、このシステムは、センサ10a~10dと、ゲートウェイ60と、推定装置200とを有する。 Next, the system configuration during operation shown in FIG. 11 is an example, and the system configuration shown in FIG. 15 may be used. FIG. 15 is a diagram showing the configuration of another system during operation according to this embodiment. As shown in FIG. 15, this system has sensors 10a-10d, a gateway 60, and an estimating device 200. As shown in FIG.

センサ10a~10dは、ゲートウェイ60に接続される。図15では図示を省略するが、ゲートウェイ60には、その他のセンサが接続されているものとする。ゲートウェイ60は、ネットワーク50を介して推定装置200に接続される。 Sensors 10 a - 10 d are connected to gateway 60 . Although not shown in FIG. 15, it is assumed that the gateway 60 is connected to other sensors. Gateway 60 is connected to estimating device 200 via network 50 .

ゲートウェイ60は、図14に示したゲートウェイ60に対応するものである。運用フェーズにおいて、ゲートウェイ60は、推定装置200から、通信を許可するセンサ識別情報と、通信を許可しないセンサ識別情報とを含む制御情報を受信し、受信した制御情報を基にして、ポートの接続、切断を制御する。たとえば、ゲートウェイ60は、センサ10a~10cの通信を許可し、センサ10dの通信を許可しない旨の制御情報を受信した場合には、センサ10a~10cに接続されたポートを接続し、センサ10dに接続されたポートを切断する制御を行う。これにより、センサ10a~10cのセンサデータが、推定装置200に送信され、センサ10dのセンサデータは、推定装置200に送信されない。 Gateway 60 corresponds to gateway 60 shown in FIG. In the operation phase, the gateway 60 receives control information including sensor identification information that permits communication and sensor identification information that does not permit communication from the estimation device 200, and based on the received control information, connects ports. , to control disconnection. For example, when the gateway 60 receives control information indicating that the communication of the sensors 10a to 10c is permitted and the communication of the sensor 10d is not permitted, the gateway 60 connects the ports connected to the sensors 10a to 10c, and connects the ports connected to the sensors 10a to 10c. Controls disconnection of connected ports. As a result, the sensor data of the sensors 10 a to 10 c are transmitted to the estimating device 200 and the sensor data of the sensor 10 d are not transmitted to the estimating device 200 .

推定装置200は、推定対象となるコンテキストの指定を受け付けると、選択センサテーブル140dを基にして、使用するセンサの組を特定し、特定したセンサに対して、制御情報をゲートウェイ60に送信する。推定装置200は、選択したセンサから、センサデータを受信(ゲートウェイ60を介して受信)し、重みテーブル140cの重みを用いて、推定対象のコンテキストが生じているか否かを判定する。その他の説明は、上述した推定装置200に関する説明と同様である。 Upon receiving the specification of the context to be estimated, the estimating device 200 identifies a set of sensors to be used based on the selected sensor table 140d, and transmits control information to the gateway 60 for the identified sensors. The estimator 200 receives sensor data from the selected sensors (via gateway 60) and uses the weights in weight table 140c to determine whether the context to be estimated is occurring. The rest of the description is the same as the description regarding estimation device 200 described above.

次に、実施例に示した分析装置100、推定装置200と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図16は、本実施例に係る分析装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。 Next, an example of the hardware configuration of a computer that implements the same functions as the analysis device 100 and the estimation device 200 shown in the embodiment will be described. FIG. 16 is a diagram showing an example of the hardware configuration of a computer that implements the same functions as the analysis apparatus according to this embodiment.

図16に示すように、コンピュータ500は、各種演算処理を実行するCPU501と、ユーザからのデータの入力を受け付ける入力装置502と、ディスプレイ503とを有する。また、コンピュータ500は、記憶媒体からプログラム等を読み取る読み取り装置504と、有線または無線ネットワークを介して、外部装置等との間でデータの授受を行うインタフェース装置505とを有する。コンピュータ500は、各種情報を一時記憶するRAM506と、ハードディスク装置507とを有する。そして、各装置501~507は、バス508に接続される。 As shown in FIG. 16, a computer 500 has a CPU 501 that executes various arithmetic processes, an input device 502 that receives data input from a user, and a display 503 . The computer 500 also has a reading device 504 that reads programs and the like from a storage medium, and an interface device 505 that exchanges data with an external device or the like via a wired or wireless network. The computer 500 has a RAM 506 that temporarily stores various information and a hard disk device 507 . Each device 501 - 507 is then connected to a bus 508 .

ハードディスク装置507は、受信プログラム507a、分割プログラム507b、評価プログラム507c、選択プログラム507d、通信プログラム507eを有する。CPU501は、受信プログラム507a、分割プログラム507b、評価プログラム507c、選択プログラム507d、通信プログラム507eを読み出してRAM506に展開する。 The hard disk device 507 has a reception program 507a, a division program 507b, an evaluation program 507c, a selection program 507d, and a communication program 507e. The CPU 501 reads the reception program 507a, the division program 507b, the evaluation program 507c, the selection program 507d, and the communication program 507e and develops them in the RAM 506. FIG.

受信プログラム507aは、受信プロセス506aとして機能する。分割プログラム507bは、分割プロセス506bとして機能する。評価プログラム507cは、評価プロセス506cとして機能する。選択プログラム507dは、選択プロセス506dとして機能する。通信プログラム507eは、通信プロセス506eとして機能する。 The receiving program 507a functions as a receiving process 506a. Splitting program 507b functions as splitting process 506b. Evaluation program 507c functions as evaluation process 506c. Selection program 507d functions as selection process 506d. Communication program 507e functions as communication process 506e.

受信プロセス506aの処理は、受信部150aの処理に対応する。分割プロセス506bの処理は、分割部150bの処理に対応する。評価プロセス506cの処理は、評価部150cの処理に対応する。選択プロセス506dの処理は、選択部150dの処理に対応する。通信プロセス506eの処理は、通知部150eの処理に対応する。 The processing of the reception process 506a corresponds to the processing of the reception unit 150a. The processing of the splitting process 506b corresponds to the processing of the splitting unit 150b. Processing of the evaluation process 506c corresponds to processing of the evaluation unit 150c. The processing of the selection process 506d corresponds to the processing of the selection unit 150d. The processing of the communication process 506e corresponds to the processing of the notification unit 150e.

なお、各プログラム507a~507eについては、必ずしも最初からハードディスク装置507に記憶させておかなくてもよい。例えば、コンピュータ500に挿入されるフレキシブルディスク(FD)、CD-ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ500が各プログラム507a~507eを読み出して実行するようにしてもよい。 Note that the programs 507a to 507e do not necessarily have to be stored in the hard disk device 507 from the beginning. For example, each program is stored in a “portable physical medium” such as a flexible disk (FD), CD-ROM, DVD disk, magneto-optical disk, IC card, etc. inserted into the computer 500 . Then, the computer 500 may read out and execute each of the programs 507a to 507e.

図17は、本実施例に係る推定装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。 FIG. 17 is a diagram illustrating an example of the hardware configuration of a computer that implements the same functions as the estimation device according to this embodiment.

図17に示すように、コンピュータ600は、各種演算処理を実行するCPU601と、ユーザからのデータの入力を受け付ける入力装置602と、ディスプレイ603とを有する。また、コンピュータ600は、記憶媒体からプログラム等を読み取る読み取り装置604と、有線または無線ネットワークを介して、外部装置等との間でデータの授受を行うインタフェース装置605とを有する。コンピュータ600は、各種情報を一時記憶するRAM606と、ハードディスク装置607とを有する。そして、各装置601~607は、バス608に接続される。 As shown in FIG. 17, a computer 600 has a CPU 601 that executes various arithmetic processes, an input device 602 that receives data input from a user, and a display 603 . The computer 600 also has a reading device 604 that reads programs and the like from a storage medium, and an interface device 605 that exchanges data with an external device or the like via a wired or wireless network. The computer 600 has a RAM 606 that temporarily stores various information and a hard disk device 607 . Each device 601 - 607 is then connected to a bus 608 .

ハードディスク装置607は、受信プログラム607a、通信制御プログラム607b、分割プログラム607c、スコア算出プログラム607dを有する。CPU601は、受信プログラム607a、通信制御プログラム607b、分割プログラム607c、スコア算出プログラム607dを読み出してRAM606に展開する。 The hard disk device 607 has a reception program 607a, a communication control program 607b, a division program 607c, and a score calculation program 607d. The CPU 601 reads the reception program 607a, the communication control program 607b, the division program 607c, and the score calculation program 607d, and develops them in the RAM 606. FIG.

受信プログラム607aは、受信プロセス606aとして機能する。通信制御プログラム607bは、通信制御プロセス606bとして機能する。分割プログラム607cは、分割プロセス606cとして機能する。スコア算出プログラム607dは、スコア算出プロセス606dとして機能する。 The receiving program 607a functions as a receiving process 606a. The communication control program 607b functions as a communication control process 606b. The splitting program 607c functions as a splitting process 606c. The score calculation program 607d functions as a score calculation process 606d.

受信プロセス606aの処理は、受信部250aの処理に対応する。通信制御プロセス606bの処理は、通信制御部250bの処理に対応する。分割プロセス606cの処理は、分割部250cの処理に対応する。スコア算出プロセス606dの処理は、スコア算出部250dの処理に対応する。 The processing of the reception process 606a corresponds to the processing of the reception unit 250a. Processing of the communication control process 606b corresponds to processing of the communication control unit 250b. The processing of the splitting process 606c corresponds to the processing of the splitting unit 250c. Processing of the score calculation process 606d corresponds to processing of the score calculation unit 250d.

なお、各プログラム607a~607dについては、必ずしも最初からハードディスク装置607に記憶させておかなくてもよい。例えば、コンピュータ600に挿入されるフレキシブルディスク(FD)、CD-ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ600が各プログラム607a~607eを読み出して実行するようにしてもよい。 Note that the programs 607a to 607d do not necessarily have to be stored in the hard disk device 607 from the beginning. For example, each program is stored in a “portable physical medium” such as a flexible disk (FD), CD-ROM, DVD disk, magneto-optical disk, IC card, etc. inserted into the computer 600 . Then, the computer 600 may read and execute each program 607a to 607e.

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。 The following additional remarks are disclosed regarding the embodiments including the above examples.

(付記1)複数のセンサにより測定された時系列の情報を取得し、前記時系列の情報を複数の時間区間に切り分けることで複数の測定値を生成する分割部と、
前記複数のセンサのうち、第1センサに対応する複数の測定値と、第2センサに対応する複数の測定値との組み合わせについて評価を行う評価部と、
前記評価部の評価結果を基にして、組み合わせ対象となるセンサの組を選択する選択部と
を有することを特徴とする分析装置。
(Appendix 1) A division unit that acquires time-series information measured by a plurality of sensors and divides the time-series information into a plurality of time intervals to generate a plurality of measured values;
an evaluation unit that evaluates a combination of a plurality of measured values corresponding to a first sensor and a plurality of measured values corresponding to a second sensor among the plurality of sensors;
and a selection unit that selects a set of sensors to be combined based on the evaluation result of the evaluation unit.

(付記2)前記分割部は、前記測定値を分割し、分割した各部分に含まれる特徴量を基にしたクラスタリングを実行することで得られるヒストグラムを前記測定値の中間推定量として生成し、前記評価部は、前記第1センサに対応する複数の第1中間推定量と、第2センサに対応する複数の第2中間推定量との組み合わせについて評価を行うことを特徴とする付記1に記載の分析装置。 (Appendix 2) The dividing unit divides the measured value and generates a histogram obtained by performing clustering based on the feature amount included in each divided portion as an intermediate estimate of the measured value, Supplementary note 1, wherein the evaluation unit evaluates a combination of a plurality of first intermediate estimators corresponding to the first sensor and a plurality of second intermediate estimators corresponding to the second sensor. analyzer.

(付記3)前記評価部は、前記複数の第1中間推定量と、前記複数の第2中間推定量との掛け合わせた値をそれぞれ要素とする特徴量ベクトルを生成し、前記特徴量ベクトルと重みベクトルとを掛け合わせて加算した値が、前記時系列の情報に対応するコンテキストの正解値に近づくように、前記重みベクトルの各要素を学習し、前記選択部は、学習された前記重みベクトルの各要素を基にして、組み合わせ対象となるセンサの組と選択することを特徴とする付記2に記載の分析装置。 (Supplementary Note 3) The evaluation unit generates a feature vector whose elements are values obtained by multiplying the plurality of first intermediate estimators by the plurality of second intermediate estimators, and the feature vector and Each element of the weight vector is learned so that a value obtained by multiplying and adding the weight vector approaches a correct value of the context corresponding to the time-series information, and the selection unit performs the learning of the weight vector. The analysis device according to appendix 2, wherein a set of sensors to be combined is selected based on each element of .

(付記4)前記評価部は、前記複数の第1中間推定量および前記複数の第2中間推定量を時系列に並べ、所定の時間範囲に含まれる複数の第1中間推定量と、複数の第2中間推定量との組み合わせについて評価を行うことを特徴とする付記3に記載の分析装置。 (Appendix 4) The evaluation unit arranges the plurality of first intermediate estimators and the plurality of second intermediate estimators in time series, and arranges the plurality of first intermediate estimators included in a predetermined time range, and the plurality of The analysis device according to appendix 3, wherein the evaluation is performed for a combination with the second intermediate estimator.

(付記5)通信装置から前記複数のセンサにより測定された時系列の情報を受信し、前記選択部の選択結果を前記通信装置に通知して、組み合わせの対象とならないセンサにより測定された時系列の情報を受信することを抑止する通信制御部を更に有することを特徴とする付記1に記載の分析装置。 (Appendix 5) Receive time-series information measured by the plurality of sensors from the communication device, notify the communication device of the selection result of the selection unit, and time-series measured by sensors that are not subject to combination 1. The analysis apparatus according to appendix 1, further comprising a communication control unit that suppresses receiving information of the above.

(付記6)コンピュータが、
複数のセンサにより測定された時系列の情報を取得し、前記時系列の情報を複数の時間区間に切り分けることで複数の測定値を生成し、
前記複数のセンサのうち、第1センサに対応する複数の測定値と、第2センサに対応する複数の測定値との組み合わせについて評価を行い、
評価結果を基にして、組み合わせ対象となるセンサの組を選択する
処理を実行することを特徴とする分析方法。
(Appendix 6) The computer
Acquiring time-series information measured by a plurality of sensors and dividing the time-series information into a plurality of time intervals to generate a plurality of measured values;
Evaluating a combination of a plurality of measured values corresponding to the first sensor and a plurality of measured values corresponding to the second sensor among the plurality of sensors,
An analysis method characterized by executing a process of selecting a set of sensors to be combined based on an evaluation result.

(付記7)前記生成する処理は、前記測定値を分割し、分割した各部分に含まれる特徴量を基にしたクラスタリングを実行することで得られるヒストグラムを前記測定値の中間推定量として生成し、前記評価する処理は、前記第1センサに対応する複数の第1中間推定量と、第2センサに対応する複数の第2中間推定量との組み合わせについて評価を行うことを特徴とする付記6に記載の分析方法。 (Appendix 7) The generating process divides the measured value and generates a histogram obtained by performing clustering based on the feature amount included in each divided portion as an intermediate estimate of the measured value. Supplementary note 6, wherein the evaluating process evaluates a combination of a plurality of first intermediate estimators corresponding to the first sensors and a plurality of second intermediate estimators corresponding to the second sensors. Analysis method described in.

(付記8)前記評価する処理は、前記複数の第1中間推定量と、前記複数の第2中間推定量との掛け合わせた値をそれぞれ要素とする特徴量ベクトルを生成し、前記特徴量ベクトルと重みベクトルとを掛け合わせて加算した値が、前記時系列の情報に対応するコンテキストの正解値に近づくように、前記重みベクトルの各要素を学習し、前記選択する処理は、学習された前記重みベクトルの各要素を基にして、組み合わせ対象となるセンサの組と選択することを特徴とする付記7に記載の分析方法。 (Supplementary Note 8) The process of evaluating generates a feature amount vector whose elements are values obtained by multiplying the plurality of first intermediate estimators by the plurality of second intermediate estimators, and The process of learning and selecting each element of the weight vector so that the value obtained by multiplying and adding the weight vector is close to the correct value of the context corresponding to the time-series information. The analysis method according to appendix 7, wherein a set of sensors to be combined is selected based on each element of the weight vector.

(付記9)前記評価する処理は、前記複数の第1中間推定量および前記複数の第2中間推定量を時系列に並べ、所定の時間範囲に含まれる複数の第1中間推定量と、複数の第2中間推定量との組み合わせについて評価を行うことを特徴とする付記8に記載の分析方法。 (Supplementary note 9) The process of evaluating includes arranging the plurality of first intermediate estimators and the plurality of second intermediate estimators in time series, the plurality of first intermediate estimators included in a predetermined time range, and the plurality of The analysis method according to appendix 8, wherein the combination with the second intermediate estimator of is evaluated.

(付記10)通信装置から前記複数のセンサにより測定された時系列の情報を受信し、前記選択部の選択結果を前記通信装置に通知して、組み合わせの対象とならないセンサにより測定された時系列の情報を受信することを抑止する処理を更に実行することを特徴とする付記6に記載の分析方法。 (Appendix 10) Receive time-series information measured by the plurality of sensors from the communication device, notify the communication device of the selection result of the selection unit, and time-series measured by sensors that are not subject to combination 7. The analysis method according to appendix 6, further comprising executing a process of suppressing reception of the information of .

(付記11)複数のセンサにより測定された時系列の情報を取得し、前記時系列の情報を複数の時間区間に切り分けることで複数の測定値を生成し、
前記複数のセンサのうち、第1センサに対応する複数の測定値と、第2センサに対応する複数の測定値との組み合わせについて評価を行い、
評価結果を基にして、組み合わせ対象となるセンサの組を選択する
処理をコンピュータに実行させることを特徴とする分析プログラム。
(Appendix 11) Acquiring time-series information measured by a plurality of sensors, and dividing the time-series information into a plurality of time intervals to generate a plurality of measured values,
Evaluating a combination of a plurality of measured values corresponding to the first sensor and a plurality of measured values corresponding to the second sensor among the plurality of sensors,
An analysis program characterized by causing a computer to execute a process of selecting a set of sensors to be combined based on an evaluation result.

(付記12)前記生成する処理は、前記測定値を分割し、分割した各部分に含まれる特徴量を基にしたクラスタリングを実行することで得られるヒストグラムを前記測定値の中間推定量として生成し、前記評価する処理は、前記第1センサに対応する複数の第1中間推定量と、第2センサに対応する複数の第2中間推定量との組み合わせについて評価を行うことを特徴とする付記11に記載の分析プログラム。 (Appendix 12) In the generating process, a histogram obtained by dividing the measured value and performing clustering based on the feature amount included in each divided portion is generated as an intermediate estimate of the measured value. Supplementary note 11, wherein the evaluating process evaluates a combination of a plurality of first intermediate estimators corresponding to the first sensors and a plurality of second intermediate estimators corresponding to the second sensors. analysis program described in .

(付記13)前記評価する処理は、前記複数の第1中間推定量と、前記複数の第2中間推定量との掛け合わせた値をそれぞれ要素とする特徴量ベクトルを生成し、前記特徴量ベクトルと重みベクトルとを掛け合わせて加算した値が、前記時系列の情報に対応するコンテキストの正解値に近づくように、前記重みベクトルの各要素を学習し、前記選択する処理は、学習された前記重みベクトルの各要素を基にして、組み合わせ対象となるセンサの組と選択することを特徴とする付記12に記載の分析プログラム。 (Supplementary Note 13) In the evaluating process, a feature amount vector whose elements are values obtained by multiplying the plurality of first intermediate estimators by the plurality of second intermediate estimators is generated, and the feature amount vector The process of learning and selecting each element of the weight vector so that the value obtained by multiplying and adding the weight vector is close to the correct value of the context corresponding to the time-series information. 13. The analysis program according to appendix 12, wherein a set of sensors to be combined is selected based on each element of the weight vector.

(付記14)前記評価する処理は、前記複数の第1中間推定量および前記複数の第2中間推定量を時系列に並べ、所定の時間範囲に含まれる複数の第1中間推定量と、複数の第2中間推定量との組み合わせについて評価を行うことを特徴とする付記13に記載の分析プログラム。 (Supplementary Note 14) The process of evaluating includes arranging the plurality of first intermediate estimators and the plurality of second intermediate estimators in time series, the plurality of first intermediate estimators included in a predetermined time range, and the plurality of 14. The analysis program according to appendix 13, characterized in that the combination with the second intermediate estimator of is evaluated.

(付記15)通信装置から前記複数のセンサにより測定された時系列の情報を受信し、前記選択部の選択結果を前記通信装置に通知して、組み合わせの対象とならないセンサにより測定された時系列の情報を受信することを抑止する処理を更に実行することを特徴とする付記11に記載の分析プログラム。 (Appendix 15) Receive time-series information measured by the plurality of sensors from the communication device, notify the communication device of the selection result of the selection unit, and time-series measured by sensors not to be combined 12. The analysis program according to appendix 11, further executing a process of suppressing reception of the information of .

100 分析装置
110,210 通信部
120,220 入力部
130,230 表示部
140,240 記憶部
140a,240a センサDB
140b 正解コンテキストDB
140c 重みテーブル
140d 選択センサテーブル
150,250 制御部
150a,250a 受信部
150b,250c 分割部
150c 評価部
150d 選択部
150e 通知部
200 推定装置
250b 通信制御部
250d スコア算出部
100 Analyzer 110, 210 Communication Unit 120, 220 Input Unit 130, 230 Display Unit 140, 240 Storage Unit 140a, 240a Sensor DB
140b Correct Context DB
140c weight table 140d selection sensor table 150, 250 control unit 150a, 250a reception unit 150b, 250c division unit 150c evaluation unit 150d selection unit 150e notification unit 200 estimation device 250b communication control unit 250d score calculation unit

Claims (7)

複数のセンサにより測定された時系列の情報を取得し、前記時系列の情報を複数の時間区間に切り分けることで複数の測定値を生成し、前記測定値を分割し、分割した各部分に含まれる特徴量を基にしたクラスタリングを実行することで得られる統計情報を前記測定値の中間推定量として生成する分割部と、
前記複数のセンサのうち、第1センサに対応する複数の第1中間推定量と、第2センサに対応する複数の第2中間推定量との組み合わせについて評価を行う評価部と、
前記評価部の評価結果を基にして、組み合わせ対象となるセンサの組を選択する選択部と
を有することを特徴とする分析装置。
Acquiring time-series information measured by a plurality of sensors, dividing the time-series information into a plurality of time intervals to generate a plurality of measured values, dividing the measured values, and including in each divided part A dividing unit that generates statistical information obtained by performing clustering based on the feature amount obtained as an intermediate estimator of the measured value ;
an evaluation unit that evaluates a combination of a plurality of first intermediate estimators corresponding to the first sensor and a plurality of second intermediate estimators corresponding to the second sensor among the plurality of sensors;
and a selection unit that selects a set of sensors to be combined based on the evaluation result of the evaluation unit.
前記分割部は、前記測定値を分割し、分割した各部分に含まれる特徴量を基にしたクラスタリングを実行することで得られるヒストグラムを前記測定値の中間推定量として生成し、前記評価部は、前記第1センサに対応する複数の第1中間推定量と、第2センサに対応する複数の第2中間推定量との組み合わせについて評価を行うことを特徴とする請求項1に記載の分析装置。 The dividing unit divides the measured value and generates a histogram obtained by performing clustering based on the feature amount included in each divided portion as an intermediate estimator of the measured value, and the evaluation unit , a combination of a plurality of first intermediate estimators corresponding to the first sensors and a plurality of second intermediate estimators corresponding to the second sensors. . 前記評価部は、前記複数の第1中間推定量と、前記複数の第2中間推定量との掛け合わせた値をそれぞれ要素とする特徴量ベクトルを生成し、前記特徴量ベクトルと重みベクトルとを掛け合わせて加算した値が、前記時系列の情報に対応するコンテキストの正解値に近づくように、前記重みベクトルの各要素を学習し、前記選択部は、学習された前記重みベクトルの各要素を基にして、組み合わせ対象となるセンサの組と選択することを特徴とする請求項2に記載の分析装置。 The evaluation unit generates a feature vector whose elements are values obtained by multiplying the plurality of first intermediate estimators by the plurality of second intermediate estimators, and combines the feature vector and the weight vector. Each element of the weight vector is learned such that the multiplied and added value approaches the correct value of the context corresponding to the time-series information, and the selection unit selects each element of the learned weight vector. 3. The analysis apparatus according to claim 2, wherein a set of sensors to be combined is selected based on the above. 前記評価部は、前記複数の第1中間推定量および前記複数の第2中間推定量を時系列に並べ、所定の時間範囲に含まれる複数の第1中間推定量と、複数の第2中間推定量との組み合わせについて評価を行うことを特徴とする請求項3に記載の分析装置。 The evaluation unit arranges the plurality of first intermediate estimators and the plurality of second intermediate estimators in time series, and arranges the plurality of first intermediate estimators and the plurality of second intermediate estimators included in a predetermined time range. 4. The analysis device according to claim 3, wherein evaluation is performed for a combination with quantity. 通信装置から前記複数のセンサにより測定された時系列の情報を受信し、前記選択部の選択結果を前記通信装置に通知して、組み合わせの対象とならないセンサにより測定された時系列の情報を受信することを抑止する通信制御部を更に有することを特徴とする請求項1に記載の分析装置。 Receive time-series information measured by the plurality of sensors from a communication device, notify the communication device of a selection result of the selection unit, and receive time-series information measured by sensors that are not to be combined. 2. The analysis apparatus according to claim 1, further comprising a communication control unit that prevents the analysis. コンピュータが、
複数のセンサにより測定された時系列の情報を取得し、前記時系列の情報を複数の時間区間に切り分けることで複数の測定値を生成し、
前記測定値を分割し、
分割した各部分に含まれる特徴量を基にしたクラスタリングを実行することで得られる統計情報を前記測定値の中間推定量として生成し、
前記複数のセンサのうち、第1センサに対応する複数の第1中間推定量と、第2センサに対応する複数の第2中間推定量との組み合わせについて評価を行い、
評価結果を基にして、組み合わせ対象となるセンサの組を選択する
処理を実行することを特徴とする分析方法。
the computer
Acquiring time-series information measured by a plurality of sensors and dividing the time-series information into a plurality of time intervals to generate a plurality of measured values;
dividing the measurements;
Generate statistical information obtained by performing clustering based on the feature amount contained in each divided portion as an intermediate estimator of the measured value,
Of the plurality of sensors, evaluating a combination of a plurality of first intermediate estimators corresponding to the first sensor and a plurality of second intermediate estimators corresponding to the second sensor,
An analysis method characterized by executing a process of selecting a set of sensors to be combined based on an evaluation result.
複数のセンサにより測定された時系列の情報を取得し、前記時系列の情報を複数の時間区間に切り分けることで複数の測定値を生成し、
前記測定値を分割し、
分割した各部分に含まれる特徴量を基にしたクラスタリングを実行することで得られる統計情報を前記測定値の中間推定量として生成し、
前記複数のセンサのうち、第1センサに対応する複数の第1中間推定量と、第2センサに対応する複数の第2中間推定量との組み合わせについて評価を行い、
評価結果を基にして、組み合わせ対象となるセンサの組を選択する
処理をコンピュータに実行させることを特徴とする分析プログラム。
Acquiring time-series information measured by a plurality of sensors and dividing the time-series information into a plurality of time intervals to generate a plurality of measured values;
dividing the measurements;
Generate statistical information obtained by performing clustering based on the feature amount contained in each divided portion as an intermediate estimator of the measured value,
Of the plurality of sensors, evaluating a combination of a plurality of first intermediate estimators corresponding to the first sensor and a plurality of second intermediate estimators corresponding to the second sensor,
An analysis program characterized by causing a computer to execute a process of selecting a set of sensors to be combined based on an evaluation result.
JP2018201894A 2018-10-26 2018-10-26 Analysis device, analysis method and analysis program Active JP7119901B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018201894A JP7119901B2 (en) 2018-10-26 2018-10-26 Analysis device, analysis method and analysis program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018201894A JP7119901B2 (en) 2018-10-26 2018-10-26 Analysis device, analysis method and analysis program

Publications (2)

Publication Number Publication Date
JP2020067948A JP2020067948A (en) 2020-04-30
JP7119901B2 true JP7119901B2 (en) 2022-08-17

Family

ID=70390488

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018201894A Active JP7119901B2 (en) 2018-10-26 2018-10-26 Analysis device, analysis method and analysis program

Country Status (1)

Country Link
JP (1) JP7119901B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7362933B2 (en) * 2020-08-05 2023-10-17 アルプスアルパイン株式会社 Measuring device, its measuring method, and measuring program
JP7672810B2 (en) 2020-11-27 2025-05-08 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング Data analysis device and data analysis method
JP7682825B2 (en) * 2022-03-17 2025-05-26 株式会社東芝 Analytical device, method and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011131371A (en) 2009-11-27 2011-07-07 Tottori Univ Machine tool, and method and program for determining number and arrangement of temperature measurement parts of machine tool
JP2015179440A (en) 2014-03-19 2015-10-08 株式会社東芝 Sensor assignment device and sensor diagnosis device
JP2016114986A (en) 2014-12-11 2016-06-23 株式会社Ihi Sensor combination determination device and sensor combination determination method
JP2018109876A (en) 2017-01-04 2018-07-12 株式会社東芝 Sensor design support apparatus, sensor design support method and computer program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11258357A (en) * 1998-03-17 1999-09-24 Mitsubishi Electric Corp Warning area allocation plan generator
IL243386A0 (en) * 2015-12-28 2016-02-29 Rokach Lior A method for extracting latent context patterns from sensors

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011131371A (en) 2009-11-27 2011-07-07 Tottori Univ Machine tool, and method and program for determining number and arrangement of temperature measurement parts of machine tool
JP2015179440A (en) 2014-03-19 2015-10-08 株式会社東芝 Sensor assignment device and sensor diagnosis device
JP2016114986A (en) 2014-12-11 2016-06-23 株式会社Ihi Sensor combination determination device and sensor combination determination method
JP2018109876A (en) 2017-01-04 2018-07-12 株式会社東芝 Sensor design support apparatus, sensor design support method and computer program

Also Published As

Publication number Publication date
JP2020067948A (en) 2020-04-30

Similar Documents

Publication Publication Date Title
US20240346112A1 (en) Anomaly detection apparatus, anomaly detection method, and program
JP7119901B2 (en) Analysis device, analysis method and analysis program
JP6277638B2 (en) Signal processing apparatus, signal processing method, and computer program
CN101203008A (en) Event Detection in Multichannel Sensor Signal Streams
JP4697670B2 (en) Identification data learning system, learning device, identification device, and learning method
JP6950504B2 (en) Abnormal candidate extraction program, abnormal candidate extraction method and abnormal candidate extraction device
JP6943287B2 (en) Biometric information processing equipment, biometric information processing systems, biometric information processing methods, and programs
JP2020042519A (en) Abnormality detection device, abnormality detection method, and abnormality detection program
JP2008268182A (en) Method for detecting changes in a sample stream acquired by a sensor
US20250077960A1 (en) Feature selection for reinforcement learning models
CN118094118B (en) Data set quality evaluation method, system, electronic equipment and storage medium
US20090043536A1 (en) Use of Sequential Clustering for Instance Selection in Machine Condition Monitoring
CN118643401B (en) An Engine Life Prediction Method Based on Association Analysis and Multi-Task Learning
JP2008146353A (en) Technology for detecting abnormality of observation object
JP7135025B2 (en) Information processing device, information processing method and program
Alippi et al. Change detection tests using the ICI rule
EP3923228B1 (en) Data analysis method, device and program
US20210089962A1 (en) Information processing device, information processing method, and recording medium
US20220309397A1 (en) Prediction model re-learning device, prediction model re-learning method, and program recording medium
US20220343112A1 (en) Learning data generation device, learning data generation method, and learning data generation program
JP7500980B2 (en) Information processing device, information processing method, and information processing program
JP7268509B2 (en) Anomaly degree calculation method and anomaly degree calculation computer program
Tykierko Using invariants to change detection in dynamical system with chaos
US10372719B2 (en) Episode mining device, method and non-transitory computer readable medium of the same
CN117574098A (en) A learning concentration analysis method and related devices

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220718

R150 Certificate of patent or registration of utility model

Ref document number: 7119901

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150