JP6905892B2 - 計算機システム - Google Patents

Description

本発明は、データの分析技術に関する。

近年、各種センサの発展につれ、人の生体データを用いて、理解度や感情等の人の内部状態を推定する研究や、人と人との間のインタラクションの研究が盛んになっている。人の内部状態を推定できれば、人の内部状態に合わせたサービスを提供することができ、より快適な生活を送ることが期待できる。人と人との間のインタラクションを推定できれば、意思疎通が加速され、組織や社会全体の知的生産能力を向上に役に立つと考えられる。

本技術分野の背景技術として、特開２０１６−１０６６８９号公報（特許文献１）がある。この公報には、「ユーザの生体情報に基づき当該ユーザの感情情報を推定する感情情報推定装置１であって、予め取得したユーザの生体情報とこの生体情報に対応したそのユーザの感情情報と身体的状態とを格納した履歴蓄積データベース３５０に基づき生体情報と感情情報との関係を学習して身体的状態毎に生体情報から感情情報を推定する推定器を生成する推定器生成部３６０と、ユーザの位置情報とこの位置情報が取得された時点で検出されたそのユーザの生体情報とに基づき当該ユーザの身体的状態を判定する状態判定部３９０と、前記作成された身体的状態毎の推定器のうちで判定されたユーザの身体的状態に対応した推定器を用いて検出されたユーザの生体情報から当該ユーザの感情情報を推定する感情判定部３９５を備える」と記載されている（要約参照）。

特開２０１６−１０６６８９号公報

従来の機械学習は、高精度に人の内部状態を推定するために、多様な生体データを識別器の入力データとして使用することを必要とする。多様な生体データは、例えば、多チャンネルの脳の計測データ、表情の画像データ、視線データ等である。

しかし、多様な生体データを使うことにより、データの次元数が増加してしまう。従来機械学習においては、識別器に入力されるデータの次元数（ｄ）が低く、かつ学習に使用される予めラベルがついたデータの数（Ｎ）が大きいという、二つの条件を同時に満たされる必要がある。例えば、学習に必要なデータ数Ｎは、１０^ｄである。

従って、限られた量のデータセットから正解を推定する精度を高める技術が望まれる。

本開示の一態様は、計算機システムであって、記憶装置と、前記記憶装置に格納されている命令コードに従って動作するプロセッサと、を含み、前記プロセッサは、それぞれにラベルが付与された特徴ベクトルを含む複数の特徴ベクトルを、特徴空間に配置し、前記複数の特徴ベクトルの間において、特徴ベクトルの距離が減少すると大きくなる斥力と、特徴ベクトルが所定の関係を満たす場合に増加する引力と、から決定される力、を決定し、前記複数の特徴ベクトルの間の力で決まる、前記特徴空間のポテンシャルエネルギが小さくなるように、前記複数の特徴ベクトルを再配置し、再配置した前記複数の特徴ベクトルの少なくとも一部を、データ分析のためのデータとして出力する。

本開示の一態様によれば、限られた量のデータセットから正解を推定する精度を高めることができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

実施例１における生体データ分析システムの構成例を示すブロック図である。 実施例１における時系列生体データヘモグロビン濃度データの一例である。 実施例１における特徴抽出処理の一例を示すフローチャートである。 実施例１における算出した異なる測定部位の時系列酸化ヘモグロビンデータの相関係数の例を示す。 実施例１における特徴ベクトル結果出力の一例である。 実施例１におけるポテンシャル計算処理の一例を示すフローチャートである。 実施例１における特徴ベクトル間の類似度情報の一例である。 実施例１における特徴ベクトル再配置処理の一例を示すフローチャートである。 実施例１におけるモデル出力処理の一例を示すフローチャートである。 実施例１における再配置前の特徴ベクトルを２次元に可視化した一例である。 実施例１における再配置後の特徴ベクトルを２次元に可視化した一例である。 実施例１における分析結果出力選択画面の一例である。 実施例１における入力特徴ベクトルとモデルを２次元に可視化した一例である。 実施例２における特徴ベクトルの軌跡を可視化する一例である。

以下、添付図面を参照して本発明の実施形態を説明する。本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。各図において共通の構成については同一の参照符号が付されている。

以下において、機械学習に使用されるデータの生成手法を開示する。機械学習の使用のために生成されるデータは、例えば、機械学習のモデルの構成要素及びモデルの訓練データ（学習データ）を含む。本開示の手法は、特徴ベクトル空間において、特徴ベクトル間の力を定義する。力は、特徴ベクトル間の関係に基づく引力と斥力とを含む。特徴ベクトル空間に配置された複数の特徴ベクトルの間の引力と斥力とから、複数の特徴ベクトルの総ポテンシャルエネルギが決定される。

本開示の手法は、複数の特徴ベクトルの総ポテンシャルエネルギが小さくなるように、複数の特徴ベクトルを特徴ベクトル空間において再配置する。一例は、総ポテンシャルエネルギが最小となるように複数の特徴ベクトルを再配置する。複数の特徴ベクトルの全部又は一部に対して、正解ラベルが付与されている。

再配置された複数の特徴ベクトルは、特定の機械学習モデルの訓練データセットとして、又は、機械学習のモデルの構成要素として使用することができる。再配置される複数の特徴ベクトルは、ラベル（分類又は数値）の推定を行うインスタンス（入力データ）の特徴ベクトル（対象特徴ベクトルと呼ぶ）を含むことができる。対象特徴ベクトルを含む複数の特徴ベクトルの再配置により、対象特徴ベクトルのラベルの値が決定（推定）される。

本手法により、高次元の限られたデータセットから正解を推定する精度を高めることができる。例えば、再配置された複数特徴ベクトルを訓練データとして使用することで、モデルをより適切に訓練することができる。再配置された複数特徴ベクトルをモデルにおいて使用することで、モデルに対する入力からより正確にラベルを推定することができる。

本開示の手法は、任意種類の入力データに適用することができ、回帰問題及び分類問題のいずれの機械学習にも適用することができる。以下において、人の生体データの機械学習の例を説明する。評価システムは、人の生体データを分析して、人の感情や理解度等の内部状態を識別する又は人と人との間の感情のインタラクションを示す。

以下において、機械学習システムの例として、生体データ分析システム、具体的には、人の内部状態を推定するシステムを説明する。使用される生体データの例は、脳活動計測データであり、推定される人の内部状態の例は、外国語の習熟度である。例えば、一つの脳活動計測データインスタンスのラベルは、高い外国語習熟度又は低い外国語習熟度を示す。生体データ分析システムは、入力された脳活動計測データから、高い又は低い外国語習熟度を推定する。

図１は、生体データ分析システムの構成例を示すブロック図である。生体データ分析システム１０１は、例えば、内部状態分析装置１０２、タッチパネル１０３、及び生体情報計測器１０４を含む。内部状態分析装置１０２は、例えば、プロセッサ（ＣＰＵ）１２１、補助記憶装置１０５、メモリ１０６、入出力インタフェース１２２、及び通信インタフェース１２３を含む計算機によって構成される。

プロセッサ１２１は、メモリ１０６に格納されたプログラムを実行する。メモリ１０６は、不揮発性の記憶素子であるＲＯＭ及び揮発性の記憶素子であるＲＡＭを含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ）を格納する。ＲＡＭは、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような高速かつ揮発性の記憶素子を含んで構成され、プロセッサ１２１が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。

補助記憶装置１０５は、例えば、磁気記憶装置、フラッシュメモリデバイス等の大容量かつ不揮発性の記憶装置であり、プロセッサ１２１が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。一般に、補助記憶装置１０５に格納されているデータは、メモリ１０６にロードされる。補助記憶装置１０５、メモリ１０６及びこれらの組み合わせは、それぞれ、記憶装置である。

入出力インタフェース１２２は、タッチパネル１０３などが接続され、オペレータ等からの入力を受け、プログラムの実行結果をオペレータ等が視認可能な形式で出力するインタフェースである。入出力インタフェース１２２には、キーボード、マウス、及びマイク等の入力装置、並びにディスプレイ装置、プリンタ、及びスピーカ等の出力装置が接続されてもよい。

通信インタフェース１２３は、所定のプロトコルに従って、他の装置との通信を制御するネットワークインタフェース装置である。また、通信インタフェース１２３は、例えば、ＵＳＢ等のシリアルインタフェースを含む。通信インタフェース１２３には、例えば生体情報計測器１０４が接続される。

本実施形態において、生体情報計測器１０４は、ユーザの複数の脳部位それぞれにおける生体情報を計測する。なお、生体情報計測器１０４は、脳以外の部位の生体情報を計測してもよい。近赤外分光法により脳血液量変化を計測する機器は、生体情報計測器１０４の一例である。生体情報計測器１０４は、例えば、磁場計測等の別の計測法により脳機能情報を取得してもよい。生体情報計測器１０４は、カメラやアイトラッキングシステムであってもよく、この場合、表情や視線等の生体情報を取得する。

プロセッサ１２１が実行するプログラムは、リムーバブルメディア（ＣＤ−ＲＯＭ、フラッシュメモリなど）又はネットワークを介して内部状態分析装置１０２に提供され、非一時的記憶媒体である不揮発性の補助記憶装置１０５に格納されてもよい。このため、内部状態分析装置１０２は、リムーバブルメディアからデータを読み込むインタフェースを有するとよい。

内部状態分析装置１０２は、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。

補助記憶装置１０５は、生体データベース１０７を格納する。生体データベース１０７は、人の特定の期間における状態を表すデータを格納する。状態は、例えば、生体計測値の時系列データ又は問診結果を示すテキストデータで示され、複数数値要素からなるベクトルで表わされる。生体データベース１０７に格納されているベクトルの全部又は一部に対して、ラベルが付与されている。生体データベース１０７が格納するデータは、生体情報計測器１０４から取得されたデータ、及び／又は、予め用意した生体データを含む。

メモリ１０６は、それぞれプログラムである、モデル生成用データ取得部１１０、特徴抽出部１１１、ポテンシャル演算部１１２、特徴ベクトル再配置部１１３、モデル出力部１１４、入力データ取得部１１５、入力データ特徴抽出部１１６、入力ポテンシャル演算部１１７、入力特徴ベクトル再配置部１１８、分析結果出力部１１９を格納している。

プログラムはプロセッサ１２１によって実行されることで、定められた処理を記憶装置及び通信ポート（通信デバイス）を用いながら行う。従って、本実施形態においてプログラムを主語とする説明は、プロセッサ１２１を主語とした説明でもよい。若しくは、プログラムが実行する処理は、そのプログラムが動作する計算機及び計算機システムが行う処理である。

プロセッサ１２１は、プログラムに従って動作することによって、所定の機能を実現する機能部（手段）として動作する。例えば、プロセッサ１２１は、プログラムであるモデル生成用データ取得部１１０に従って動作することでモデル生成用データ取得部（モデル生成用データ取得手段）として機能する。他のプログラムについても同様である。さらに、プロセッサ１２１は、各プログラムが実行する複数の処理のそれぞれを実現する機能部（手段）としても動作する。計算機及び計算機システムは、これらの機能部（手段）を含む装置及びシステムである。

モデル生成用データ取得部１１０は、生体データベース１０７から、モデル生成のため、複数の状態のデータサンプル（ベクトル）を取得する。取得するデータサンプルには、（正解の）状態ラベルが付与されている。一部のサンプルには状態ラベルが付与されていなくてもよい。全てのサンプルに状態ラベルが付与されていると、後述する特徴ベクトル再配置をより適切に行うことができる。

複数の状態は、一人又は複数の被験者の状態を示す。以下において、複数の状態は、それぞれ、異なる被験者の状態を示すとする。一人の被験者の状態を示す生体データは、１又は複数部位の計測データで構成され、１又は複数種類のセンサによる計測データで構成される。

生体データ及び状態ラベルについて説明する。一例として、モデル生成用データ取得部１１０は、複数脳部位の脳信号時系列を取得する。生体情報の時系列は、２時点以上における生体情報の測定値である。モデル生成用データ取得部１１０は、被験者が外国語を聞いている間の脳活動を複数の脳部位で計測した生体データを取得する。

例えば、生体情報計測器１０４は、近赤外分光法利用して、被験者の脳表層の複数の測定部位における血液中の酸化ヘモグロビン濃度及び／又は還元ヘモグロビン濃度の時系列を測定する。生体情報計測器１０４は、他の生体情報を計測してもよい。例えば、生体情報計測器１０４は、脳波を計測してもよく、機能的磁気共鳴画像法を用いて脳機能を計測してもよい。生体情報計測器１０４は、アイトラッキング機器やカメラなどをさらに含んでもよく、さらにユーザの視線や表情を観察してもよい。

図２は、一つの測定部位のヘモグロビン濃度データの例を示す。図２のヘモグロビン濃度データは、被験者が外国語を聞いている間の、被験者の酸化ヘモグロビン濃度及び還元ヘモグロビン濃度の時系列を示す。

図２において、酸化ヘモグロビン濃度は、計測開始と同時に上昇を開始している。還元ヘモグロビン濃度は、計測開始時から減少を開始している。一人の被験者の生体データは、複数測定部位のヘモグロビン濃度のデータを含む。モデル生成用データ取得部１１０は、複数人の生体データを取得する。

状態ラベルは被験者の外国語の習熟度を示す。例えば、被験者の自己申告、外国語に対する自信度、海外経験、過去の外国語テストのスコアなどを用いて、高い外国語習熟度又は低い外国語習熟度が被験者に対して予め決定されている。

モデル生成用データ取得部１１０は、複数人それぞれの複数脳部位における時系列ヘモグロビン濃度データと、被験者それぞれの外国語習熟度ラベルとを、生体データベース１０７から取得する。

図３は、特徴抽出処理の一例を示すフローチャートである。特徴抽出部１１１は、モデル生成用データ取得部１１０が取得した複数人の時系列生体データを取得する（Ｓ３０１）。ここでは、複数人それぞれの複数脳部位における時系列ヘモグロビン濃度データの例を説明する。

生体データを取得した後、特徴抽出部１１１は、生体データ種類の特徴に基づき前処理を実行する（Ｓ３０２）。前処理の例は、ノイズを除去である。近赤外光計測装置は、光を用いた非侵襲的な頭部血行動態計測手法を用いてヘモグロビン濃度を計測する。従って、近赤外光計測装置が取得した信号は、脳活動に関連した信号と心拍数変動などによる全身性の血行動態に関連した情報を含む。

特徴抽出部１１１は、心拍数変動などによる全身性の血行動態に関連した情報を、ノイズとして除去する。特徴抽出部１１１は、取得したヘモグロビン濃度データに対して、例えば、周波数バンドパスフィルタ、多項式ベースライン補正、主成分分析、及び独立成分分析などを、前処理として実行する。

特徴抽出部１１１は、生体情報の時系列を示す信号として、酸化ヘモグロビン信号のみを使用したてもよく、還元ヘモグロビン信号のみを使用してもよく、酸化ヘモグロビン信号と還元ヘモグロビン信号の総和（総ヘモグロビン信号）を使用してもよい。

続いて、特徴抽出部１１１は、特徴ベクトルを算出する処理を行う（Ｓ３０３）。一例として示すが、特徴抽出部１１１は、複数測定部位における時系列信号の相関係数を特徴量として計算する。特徴抽出部１１１は、測定部位のペアそれぞれについて、以下の数式を用いて、二つの測定部位における時系列ヘモグロビン濃度データの相関係数ｒを算出する。

ここで、Ｘ、Ｙはそれぞれ、測定部位ｘ、測定部位ｙの時系列のヘモグロビン濃度データ（Ｈｂ（ｔ））である。ｘ_ｔ、ｙ_ｔはそれぞれ、測定部位ｘ、測定部位ｙの時系列の時刻ｔにおける値である。上線付きのｘ、上線付きのｙはそれぞれ、測定部位ｘ、測定部位ｙの時系列の時間平均値である。時系列の時間平均値は、例えば、当該時系列の所定時間おきの値の平均値で定義される。

ｔは時刻を示す、ｔの定義域は、０≦ｔ≦Ｔである、Ｔは被験者が外国語を聞いている時間の長さを示す。例えば、Ｔ＝３０ｓである。Σの算出は、ｔ＝０からＴまでの所定時間おきのΣ内の値の和を算出する。図４は算出した異なる測定部位の時系列酸化ヘモグロビンデータの相関係数の例を示す。

これは、高次元特徴ベクトルを算出する一例である。他の特徴ベクトルを算出する方法を使用してもよい。例えば、特徴抽出部１１１は、時系列ヘモグロビンデータの平均値、分散、中央値等を特徴量として算出してよい。また、２つの測定部位における時系列ヘモグロビン濃度データの差の積分値の絶対値を、当該２つの測定部位における関連度として算出してもよい。

例えば、一人の中で、測定部位の数は４４個がある時、特徴ベクトルの算出（Ｓ３０３）は、４４Ｃ_２＝９４６個の異なる相関係数を算出する。一人の複数測定部位におけるヘモグロビン濃度データの相関係数群を一つのベクトルＲ_ｉとして表現でき、Ｒ_ｉ＝（ｒ１、ｒ２、…、ｒ９４５、ｒ９４６）である。

続いて、特徴抽出部１１１は、特徴ベクトルの計算結果に基づく特徴ベクトル結果を、出力する（Ｓ３０４）。一人の生体データは、Ｒ_ｉ＝（ｒ１、ｒ２、…、ｒ９４５、ｒ９４６）というベクトルで表わされる。特徴抽出部１１１は、モデル生成のため、複数人の特徴ベクトルを出力する。

図５は、特徴ベクトル結果出力５０１の一例を示す。特徴ベクトル結果出力５０１は、Ｎ人の９４６次元の特徴ベクトルで構成されている。特徴抽出部１１１は、モデル生成用データ取得部１１０から取得した生体データから、他の方法を用いて特徴抽出してもよい。例えば、特徴抽出部１１１は、画像データに対する深層学習を使い特徴抽出を行うことができる。

図６は、ポテンシャル計算処理の概要の一例を示すフローチャートである。ポテンシャル演算部１１２は、特徴抽出部１１１が計算した特徴ベクトルに基づき、特徴空間のポテンシャルエネルギを計算する。特徴ベクトルは、特徴空間における位置（座標）を示す。

まず、ポテンシャル演算部１１２は、特徴抽出部１１１によって算出された特徴ベクトルを取得する（Ｓ６０１）。続いて、ポテンシャル演算部１１２は、取得した特徴ベクトルにおいて、特徴ベクトルペアそれぞれにおける類似度Ｓを算出する（Ｓ６０２）。ポテンシャル演算部１１２は、以下の数式を用いて、ｉ番目とｊ番目の二つの特徴ベクトル（Ｒ_ｉ、Ｒ_ｊ）の間の類似度Ｓ（Ｒ_ｉ、Ｒ_ｊ）を算出できる。

ここでｍ_ｉはＲ_ｉの平均ベクトルであり、ｍ_ｊはＲ_ｊの平均ベクトルであり、Ｒ_ｉ、Ｒ_ｊは異なるベクトルであり、ｉ、ｊは自然数である。平均ベクトルの全ての要素の値は同一であり、一つの要素の値は、元のベクトルの全要素の平均値である。上記類似度Ｓの計算方法は一例であって、特徴ベクトルに応じた他の計算方法が使用されてもよい。

図７は、ポテンシャル演算部１１２が出力する特徴ベクトル間類似度情報７０１の例を示す。特徴ベクトル間類似度情報７０１は、二つ異なる特徴ベクトルからなる特徴ベクトルペアそれぞれにおける類似度を示す。例えば、特徴ベクトルＲ_１とＲ_２の類似度は０．２３である。

本実施例では、特徴ベクトルＲは、一人の複数測定部位におけるヘモグロビン濃度データの相関係数を表現している。したがって、特徴ベクトルＲ_１と特徴ベクトルＲ_２との間の類似度は、異なる人の脳データの類似度を示す。

ポテンシャル演算部１１２は、特徴ベクトル間の類似度Ｓ（Ｒ_ｉ、Ｒ_ｊ）を、予め定めた閾値ｔを用いて計算してもよい。例えば、Ｓ（Ｒ_ｉ、Ｒ_ｊ）≧ｔの場合、Ｓ（Ｒ_ｉ、Ｒ_ｊ）は１、又は、その値（Ｓ（Ｒ_ｉ、Ｒ_ｊ））である。Ｓ（Ｒ_ｉ、Ｒ_ｊ）＜ｔの場合、Ｓ（Ｒ_ｉ、Ｒ_ｊ）は０である。

ポテンシャル演算部１１２は、他の方法で、特徴ベクトル間の類似度Ｓ（Ｒ_ｉ、Ｒ_ｊ）を決定してもよい。例えば、ポテンシャル演算部１１２は、ｎ番目以上の高い類似度Ｓ（Ｒ_ｉ、Ｒ_ｊ）を１又はその値（Ｓ（Ｒ_ｉ、Ｒ_ｊ））と決定し、ｎ番目より下の類似度Ｓ（Ｒ_ｉ、Ｒ_ｊ）を０と決定する。

次に、ポテンシャル演算部１１２は、特徴ベクトル間類似度情報７０１を用いて、特徴ベクトル間の引力と斥力とを計算する（Ｓ６０３）。二つの特徴ベクトル間で働く引力及び斥力の定義を説明する。特徴ベクトルＲ_ｉと特徴ベクトルＲ_ｊとの間に働く引力ｆ_ａ（Ｒ_ｉ、Ｒ_ｊ）及び斥力ｆ_ｒ（Ｒ_ｉ、Ｒ_ｊ）は、それぞれ、式（３）（４）によって定義できる。

式（３）、（４）において、｜｜Ｒ_ｉ−Ｒ_ｊ｜｜は、Ｒ_ｉとＲ_ｊの２−ノルム（距離）である。また、Ｃ、ｋは調節できるパラメータであり、計算前に予め定められた定数である。αは、Ｒ_ｉとＲ_ｊのラベルに応じて決まる値である。

引力は、Ｒ_ｉとＲ_ｊと間の類似度Ｓ（Ｒ_ｉ、Ｒ_ｊ）に基づき、それ比例するように定義されている。引力は、Ｒ_ｉとＲ_ｊと間の距離に基づき、距離が大きい程強い。Ｒ_ｉとＲ_ｊが同じラベルを有する場合、αは正の定数である。Ｒ_ｉとＲ_ｊが同じラベルを有していない場合、αは０である。一方又は双方の特徴ベクトルにラベルが付与されていない場合、αは０である。

例えば、本実施例では、Ｒ_ｉとＲ_ｊの外国語習熟度が同一の場合、αは正の定数である。異なる外国語習熟度の場合、αは０である。したがって、同じラベルがついている特徴ベクトル間において強い引力が働く。

Ｒ_ｉとＲ_ｊと間の斥力は、Ｒ_ｉとＲ_ｊと間の距離に基づき、距離が小さい程強い。斥力がＲ_ｉとＲ_ｊと間の距離の逆数に基づくことで、Ｒ_ｉとＲ_ｊの衝突を避けることができる。特徴空間における一つの特徴ベクトルに対して、特徴空間に存在する他の全ての特徴ベクトルからの力が加えられる。特徴空間における全ての特徴ベクトルペアにおいて、上記引力及び斥力が働く。

特徴ベクトル間の引力と斥力の演算処理（Ｓ６０３）を実行した後、ポテンシャル演算部１１２は、特徴空間のエネルギを計算する（Ｓ６０４）。上述のように定義される力の合計によって、特徴ベクトルＲ_ｉに働く力ｆ（Ｒ_ｉ）は、式（５）によって表される。

式（５）において、和は、Ｒ_ｉ以外の全てのＲ_ｊについて計算する。またｖ（Ｒ_ｊ、Ｒ_ｉ）、は、Ｒ_ｉからにＲ_ｊ向かう単位ベクトルであり、式（６）によって定義する。

合計の力を用いて、特徴空間における全体のポテンシャルエネルギＥは、式（７）によって定義できる。

式（７）において、和は、全ての特徴ベクトルについて計算し、｜｜ｆ（Ｒ_ｉ）｜｜はベクトルｆ（Ｒ_ｉ）の大きさである。式（７）が示すように、特徴ベクトルの力の絶対値からポテンシャルエネルギＥが決定され、力の絶対値の総和は、ポテンシャルエネルギＥを表す。ポテンシャル演算部１１２は、各特徴ベクトルに与えられる力ｆ（Ｒ_ｉ）と、特徴空間における総ポテンシャルエネルギＥとを、出力する（Ｓ６０５）。

図８は、特徴ベクトル再配置処理の概要の一例を示すフローチャートである。特徴ベクトル再配置部１１３は、ポテンシャル演算部１１２の計算結果に基づき、ポテンシャルエネルギＥが最小になるように、特徴ベクトルを特徴空間において再配置し、特徴空間を再構成する。

特徴ベクトル再配置部１１３は、特徴抽出部１１１により生成された複数の特徴ベクトルを取得する（Ｓ８０１）。複数の特徴ベクトルは、例えば、メモリ１０６に格納されている。次に、特徴ベクトル再配置部１１３は、特徴ベクトル全体から、最初の特徴ベクトルＲ_ｉを選択する（Ｓ８０２）。

次に、特徴ベクトル再配置部１１３は、選択されたＲ_ｉに働く力ｆ（Ｒ_ｉ）の計算をポテンシャル演算部１１２に依頼し、その結果を取得する。他の全ての特徴ベクトルは、後述する修正の前である。

次に、特徴ベクトル再配置部１１３は、下記の式（８）を用いて、特徴ベクトルＲ_ｉを修正（再配置）する。式（８）において、ｓｔｅｐは修正の幅を調整するパラメータであり、本例において予め定められた定数である。

特徴ベクトルは、特徴空間における位置（座標）を示す。したがって、特徴ベクトルの修正は、特徴ベクトルの位置を修正する。式（８）は、特徴ベクトルの修正の一例であって、他の数式に従って特徴ベクトルが修正されてもよい。特徴ベクトルの修正量は、特徴ベクトルに加えられている力の絶対値に比例してもよい。

次に、特徴ベクトル再配置部１１３は、今回のループ（Ｓ８０２〜Ｓ８０５）で、全ての特徴ベクトルを修正したかを判定する（Ｓ８０５）。まだ修正されていない（未選択）特徴ベクトルが存在する場合（Ｓ８０５：ＮＯ）、特徴ベクトル再配置部１１３は、ステップＳ８０２に戻り、今回のループにおいて次の未選択特徴ベクトルを選択する（Ｓ８０２）。

特徴ベクトル再配置部１１３は、新たに選択した特徴ベクトルに働く力の計算をポテンシャル演算部１１２に依頼する（Ｓ８０３）。既になされている特徴ベクトルが存在する場合、それら特徴ベクトルから選択された特徴ベクトルＲ_ｉに働く力は、修正後の値に基づく。ポテンシャル演算部１１２は、修正後の特徴ベクトル及び未修正の特徴ベクトル（存在すれば）に基づき、新たに選択された特徴ベクトルに働く力を計算する。

今回のループにおいて全ての特徴ベクトルの修正が終了している場合（Ｓ８０５：ＹＥＳ）、特徴ベクトル再配置部１１３は、特徴空間における特徴ベクトル（の位置）の収束の度合を判定する（Ｓ８０６）。例えば、今回のループによる修正後の全ての特徴ベクトルを｛Ｒ_ｉ｝で表わし、今回のループによる修正直前の全ての特徴ベクトルを｛Ｒ_ｉ ^０｝で表わす。特徴ベクトル再配置部１１３は、｛Ｒ_ｉ ^０｝と｛Ｒ_ｉ｝を比較し、その修正量に基づき、収束を判定する。

例えば、修正量は、Σ｜｜Ｒ_ｉ−Ｒ_ｉ ^０｜｜を用いて計算できる。修正量が所定の閾値より大きい場合、特徴ベクトル再配置部１１３は、ステップＳ８０２に戻り、計算を続ける。一方、修正量が閾値以下である場合、特徴ベクトル再配置部１１３は、特徴ベクトルが収束したと判定し、再配置した全ての特徴ベクトルを出力する（Ｓ８０７）。

このように、特徴ベクトル再配置部１１３は、ポテンシャルエネルギＥが、最小値から所定範囲内にあるように、特徴ベクトルを再配置する。閾値は予め設定された０又は正の数値であり、閾値０は、収束状態が最少ポテンシャルエネルギ（０）を有することを意味する。

修正量は、ポテンシャルエネルギＥ（力の絶対値の総和）によって表わされてもよい。特徴ベクトル再配置部１１３は、修正前のポテンシャルエネルギと修正後のポテンシャルエネルギと差異と、閾値と、を比較して、収束を判定することができる。特徴ベクトル再配置部１１３は、例えば、ポテンシャルエネルギＥが閾値以下となった場合に、収束と判定してもよい。

上述のように、特徴ベクトルの再配置は、ラベルが共通の特徴ベクトルを互いに近づける。これにより、ばらつきが大きいデータから生成された特徴ベクトルを、ラベルに応じてより適切なベクトルに修正することができる。さらに、上記特徴ベクトルの再配置は、類似度が高い特徴ベクトルを互いに近づける。これにより、ラベルではなく特徴ベクトル自体が持つ特徴に基づき特徴ベクトルをより適切に修正できる。特徴ベクトル再配置は、類似度を参照しなくてもよい。

図９は、モデル出力処理の概要の一例を示すフローチャートである。以下においては、再配置された特徴ベクトルを、モデルの訓練データとして使用する例を説明する。モデル出力部１１４は、特徴ベクトル再配置部１１３により再配置された特徴ベクトルを取得する（Ｓ９０１）。再配置された特徴ベクトルは、例えば、メモリ１０６に格納されている。

次に、モデル出力部１１４は、モデル生成用データ取得部１００が生体データベース１０７から取得した状態ラベルを取得する（Ｓ９０２）。状態ラベルは、例えば、メモリ１０６に格納されている。ここでは、再配置された全ての特徴ベクトルに正解の状態ラベルが付与されている。モデル出力部１１４は、再配置した特徴ベクトルと対応している状態ラベルとに基づき、モデルを訓練する（Ｓ９０３）。モデルは、再配置した特徴ベクトルが入力され、状態ラベルを出力する。モデル出力部１１４は、モデルの出力状態ラベルと正解ラベルとの差異に基づき、モデルのパラメータを更新する。

モデルは、既存の機械学習のアルゴリズムに基づくものであればよい。モデルは、例えば、マージン最大化原理に基づくサポートベクターマシンや線形判別分析、スパースロジスティック回帰、ロジスティック回帰、又は、ニューラルネットワークである。モデル出力部１１４は、上述のように訓練した（生成した）モデルを出力する（Ｓ９０４）。

モデル出力部１１４は、再配置された特徴ベクトルを可視化してもよい。例えば、モデル出力部１１４は、高次元の特徴ベクトルを、次元圧縮手法を用い、２次元あるいは３次元まで次元削減して、可視化する。次元圧縮手法は、例えば、主成分分析（ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ：ＰＣＡ）、線形判別（Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ：ＬＤＡ）である。モデル出力部１１４は、同様に、再配置前特徴ベクトルを、再配置された特徴ベクトルと共に可視化してもよい。

図１０Ａは、再配置前の特徴ベクトルを可視化する一例を示し、図１０Ｂは、再配置した特徴ベクトルを可視化する一例を示す。図１０Ａ、１０Ｂにおいて、黒い三角は外国語習熟度が高い特徴ベクトルを示し、白い枠は外国語習熟度が低い特徴ベクトルを示している。図１０Ａ及び１０Ｂから分かるように、特徴ベクトルの再配置により、同一ラベルを付与された特徴ベクトルが互いに近づき、それらの拡散度が低下し、より狭い領域にまとまる。

状態ラベル（正解状態ラベル）付きの再配置された特徴ベクトルは、モデルの訓練データとして使用することに代えて、モデルとして使用することができる。モデル出力部１１４は、モデル出力部１１４は、再配置した特徴ベクトルを取得し（Ｓ９０１）、それらの状態ラベルを取得し（Ｓ９０２）、再配置が完了した状態ラベル付きの特徴ベクトル（特徴空間）を、モデルとして出力する（Ｓ９０４）。このモデル生成のための特徴ベクトルの再配置は、モデルの広義の機械学習である。

次に、生成したモデルを使用して未知の生体データを分析する処理を説明する。以下においては、再配置された特徴ベクトルをモデルとして使用する例を説明する。入力データ取得部１１５は、分析対象となる生体データを取得する。次に、入力データ特徴抽出部１１６は、分析対象となる入力データから、特徴ベクトルを抽出する。入力データ特徴抽出部１１６は、例えば、図３のステップＳ３０１からＳ３０４を実行して、入力特徴ベクトルを算出する。

入力特徴ベクトル再配置部１１８は、入力特徴ベクトルを、モデルの特徴空間に入力する。特徴空間内には、再配置された特徴ベクトルが存在している。入力特徴ベクトル再配置部１１８は、入力特徴ベクトルのポテンシャルエネルギが小さくなるように、入力特徴ベクトルを特徴空間内において再配置する。

ここでは、入力特徴ベクトルのみが再配置（修正）され、それ以外の特徴ベクトルは固定されている。入力特徴ベクトルのポテンシャルエネルギを小さくすることは、特徴空間のポテンシャルエネルギを小さくすることと同義である。

入力特徴ベクトル再配置部１１８は、入力ポテンシャル演算部１１７に対して、入力特徴ベクトルのポテンシャルエネルギを計算することを指示する。分析対象のラベルは未知であり、式（３）におけるαは０である。

入力特徴ベクトル再配置部１１８は、計算されたポテンシャルエネルギが閾値より大きい場合、入力特徴ベクトルを数式（８）に従って修正（移動）する。入力特徴ベクトル再配置部１１８は、入力特徴ベクトルのポテンシャルエネルギが閾値内となるまで、入力特徴ベクトルの修正とポテンシャルエネルギの計算とを繰り返す。

入力特徴ベクトル再配置部１１８は、入力特徴ベクトルに加わる力を計算し、その絶対値が閾値内となるまで、入力特徴ベクトルの修正を繰り返してもよい。上述のように、力の絶対値はポテンシャルエネルギを表すため、力の絶対値を基準とする判定はポテンシャルエネルギを基準とすることと同義である。

入力特徴ベクトルのみを修正することで、再配置処理の時間を短縮できる。これと異なり、入力特徴ベクトル再配置部１１８は、図８及び図６を参照して説明したように、入力特徴ベクトルを含む、特徴空間内の全ての特徴ベクトルを修正してもよい。図８を参照して説明したように、入力特徴ベクトル再配置部１１８は、特徴空間のポテンシャルエネルギが所定値以下となるまで、全特徴ベクトルの修正を繰り返す。再配置の終了判定（収束判定）に使用する具体的な数値は、上記のいずれでもよい。

再配置した特徴ベクトルをモデルとして使用することで、分析のための再配置処理の時間を短縮できる。これと異なり、入力特徴ベクトル再配置部１１８は、再配置前の特徴ベクトルを、モデルとして使用してもよい。これにより、分析前のモデル生成処理が省略できる。入力特徴ベクトル再配置部１１８は、図６及び８を参照して説明したように、入力特徴ベクトルを含む全ての特徴ベクトルを、特徴空間において再配置する。

分析結果出力部１１９は、入力特徴ベクトル再配置部１１８によって算出された特徴ベクトルを取得する。分析結果出力部１１９は、その特徴ベクトルに基づき、分析結果を出力する。例えば、図１１は、タッチパネル１０３に表示される分析結果出力選択画像１１００を示す。分析結果出力選択画像１１００は、分類結果１１０１、予測結果１１０２、又は可視化１１０３をユーザに選択可能に示す。

分類１１０１が選択されると、分析結果出力部１１９は、入力特徴ベクトル再配置部１１８が再配置した入力特徴ベクトルに対応する状態ラベルを表示する。分析結果出力部１１９は、例えば、Ｋ近傍法を用いて、再配置された入力特徴ベクトルに対する状態ラベル（分類）決定する。本例では、分類１１０１に対して、分析対象となる人の外国度習熟度を示す。

予測１１０２が選択されると、分析結果出力部１１９は、再配置された入力特徴ベクトルから予め定めた距離以内にある特徴ベクトル、又は、最も近い特徴ベクトルからｎ番目までの特徴ベクトルと、それらの状態ラベルを表示する。ユーザは、表示された特徴ベクトル及状態ラベルを参照することで、分析対象となる入力特徴ベクトルの未来を予測できる。

可視化１１０３が選択されると、分析結果出力部１１９は、次元圧縮手法を用い、入力特徴ベクトルと他のラベル付き特徴ベクトルを、２次元あるいは３次元まで次元削減し、可視化する。例えば、図１２は、分析対象となる入力特徴ベクトルの分類タスクにおいて、特量ベクトルを可視化した例である。黒い円は入力特徴ベクトルを示す。ユーザは、入力特徴ベクトルのラベルは黒い三角と同じであると判定できる。

上述のように、入力特徴ベクトルの分析に使用するモデルは、既存の機械学習のアルゴリズムに基づくものであってもよい。その場合、入力特徴ベクトル再配置部１１８の処理は省略される。分析結果出力部１１９は、モデルに入力特徴ベクトルを入力して、出力のラベルを得る。

以上のように、本実施例の生体データ分析システム１０１は、生体データから特徴ベクトルを生成し、同じ状態ラベルの特徴ベクトルの引力が増加するように、特徴空間のポテンシャルエネルギを定義する。生体データ分析システム１０１は、ポテンシャルエネルギが小さくなるように、特徴ベクトルを再配置する。再配置した特徴ベクトルにより、分析対象の特徴ベクトルのラベルを、より高精度に推定することができる。

実施例１は、同じ状態ラベルの特徴ベクトルの引力が増加するように、ポテンシャルを定義している。本実施例は、時系列的に隣接している特徴ベクトルの引力が増加するように、ポテンシャルエネルギを定義する。例えば、式（３）におけるαは、二つの特徴ベクトルが時系列的に連接している場合は正の定数であり、時系列的に連接していない場合は０である。

以下において、状態ラベルが人の感情を示す例を説明する。生体データベース１０７は、複数人の時系列生体信号を格納している。例えば、生体データベース１０７は、各人に対して、特定期間における複数の時系列生体信号を格納している。さらに、各人の特定期間に対して、感情を示す状態ラベルが付与されている。

モデル生成用データ取得部１１０は、生体データベース１０７から、特定期間における一人の時系列生体信号を取得する。モデル生成用データ取得部１１０は、さらに、当該一人の当該期間における感情ラベルを取得する。特徴抽出部１１１は、特定期間を複数の期間に分割し、各分割期間における時系列生体信号から特徴ベクトルを生成する。これにより、特徴ベクトルの時系列が生成される。各特徴ベクトルには、上記感情ラベルが付与される。

特徴ベクトル再配置部１１３は、実施例１で説明したように、上記時系列の特徴ベクトルを特徴空間内に配置し、それら特徴ベクトルを、ポテンシャルエネルギ（それらに加わる力）が小さくなるように、再配置する。ポテンシャル演算部１１２は、特徴ベクトル間の力及びポテンシャルエネルギを、実施例１で説明したように計算する。ただし、式（３）のαは、時系列的に連接している場合は正の定数であり、時系列的に連接していない場合は０である。

モデル生成用データ取得部１１０、特徴抽出部１１１、及び特徴ベクトル再配置部１１３は、複数人それぞれの生体データについて、上記処理を実行する。特徴ベクトル時系列とラベルの複数のペアが生成される。これらは、例えば、モデルの訓練データとして使用することができる。モデルは、例えば、特徴ベクトル時系列に軌跡に基づき、状態ラベルを決定する。

入力データ特徴抽出部１１６は、分析対象データから、特徴抽出部１１１のように特徴ベクトルの時系列を生成する。入力特徴ベクトル再配置部１１８は、時系列の特徴ベクトルを特徴ベクトル再配置部１１３にように再配置する。入力ポテンシャル演算部１１７による計算は、ポテンシャル演算部１１２と同様である。

分析結果出力部１１９は、再配置後の入力特徴ベクトル時系列をモデルに入力し、その出力ラベルを取得する。分析結果出力部１１９は、分析対象データの分析結果の可視化において、入力特徴ベクトル時系列の軌跡を示す。図１３は分析結果出力部１１９が生成する画像の例を示す。図１３は、ユーザが二人の感情状態のインタラクションを評価するための画像１３０１を示す。

画像１３０１は、同一期間における二人の生体データの分析結果を示す。黒点は再配置後の特徴ベクトルを示す。画像１３０１は、人Ａの特徴ベクトルの軌跡１３０４と、人Ｂの特徴ベクトルの軌跡１３０５を示す。人Ａの推定状態は悲しい状態であり、人Ｂの推定状態は楽しい状態である。二人の感情のインタラクションはないと評価できる。

以上にように、本実施例は、異なる時刻の特徴ベクトル間において、時系列的に隣接している特徴ベクトル間の引力が大きくなるように力（ポテンシャル）を定義し、再配置する。これにより、特徴ベクトルの軌跡を分析することができる。また、同一期間における複数人の生体データを分析することで、人と人との間の感情のインタラクションを分析できる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成・機能・処理部等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆どすべての構成が相互に接続されていると考えてもよい。

１０２ 内部状態分析装置、１０３ タッチパネル、１０４ 生体情報計測器、１０５ 補助記憶装置、１０６ メモリ、１０７ 生体データベース、１１０ モデル生成用データ取得部、１１１ 特徴抽出部、１１２ ポテンシャル演算部、１１３ 特徴ベクトル再配置部、１１４ モデル出力部、１１５ 入力データ取得部、１１６ 入力データ特徴抽出部、１１７ 入力ポテンシャル演算部、１１８ 入力特徴ベクトル再配置部、１１９ 分析結果出力部

Claims (5)

1. 計算機システムであって、
   記憶装置と、
   前記記憶装置に格納されている命令コードに従って動作するプロセッサと、を含み、
   前記プロセッサは、
   それぞれにラベルが付与された特徴ベクトルを含む複数の特徴ベクトルを、特徴空間に配置し、
   前記複数の特徴ベクトルの間において、特徴ベクトルの距離が減少すると大きくなる斥力と、特徴ベクトルが同一ラベルを有する場合に増加し、特徴ベクトルの類似度に応じて増加する引力と、から決定される力、を決定し、
   前記複数の特徴ベクトルの間の力で決まる、前記特徴空間のポテンシャルエネルギが小さくなるように、前記複数の特徴ベクトルを再配置し、
   ラベルが不明の入力特徴ベクトルを前記特徴空間に配置し、
   前記入力特徴ベクトルを、前記特徴空間のポテンシャルが小さくなるように再配置し、
   再配置された前記入力特徴ベクトルについての分析結果の情報を提示する、計算機システム。
2. 請求項１に記載の計算機システムであって、
   前記プロセッサは、前記複数の特徴ベクトル及び前記入力特徴ベクトルを、人の内部状態を示すラベルが付与されている生体データから生成する、計算機システム。
3. 請求項１に記載の計算機システムであって、
   前記プロセッサは、前記ポテンシャルエネルギが最小値から所定範囲内に減少するまで、前記複数の特徴ベクトル及び前記入力特徴ベクトルを反復的に再配置する、計算機システム。
4. 請求項１に記載の計算機システムであって、
   前記プロセッサは、
   前記入力特徴ベクトルのラベルを、他の特徴ベクトルとの関係から推定し、
   前記分析結果として、推定した前記入力特徴ベクトルのラベルを提示する、計算機システム。
5. 計算機システムが分析を行う方法であって、
   前記計算機システムが、
   それぞれにラベルが付与された特徴ベクトルを含む複数の特徴ベクトルを、特徴空間に配置し、
   前記複数の特徴ベクトルの間において、特徴ベクトルの距離が減少すると大きくなる斥力と、特徴ベクトルが同一ラベルを有する場合に増加し、特徴ベクトルの類似度に応じて増加する引力と、から決定される力、を決定し、
   前記複数の特徴ベクトルの間の力で決まる、前記特徴空間のポテンシャルエネルギが小さくなるように、前記複数の特徴ベクトルを再配置し、
   ラベルが不明の入力特徴ベクトルを前記特徴空間に配置し、
   前記入力特徴ベクトルを、前記特徴空間のポテンシャルが小さくなるように再配置し、
   再配置された前記入力特徴ベクトルについての分析結果の情報を提示する、方法。

Images