JP7468356B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。

近年、各種のモーションセンサや生体情報センサの小型化、簡易化等が進んだことから、これらセンサによって容易に各種のセンシングデータを取得することが容易となり、例えば、パフォーマンス（楽器演奏、スポーツ等）の習得の支援等に利用されるようになった。例えば、パフォーマンス（楽器演奏）に対して評価を行い、パフォーマンスの支援を行う技術の一例として、下記特許文献１に開示されている技術を挙げることができる。このような習得支援においては、複数のセンサから様々なセンシングデータを取得し、取得した複数のセンシングデータを解析することにより、習得支援のための情報を提示することができる。

特開２００９－４７８６１号公報

本開示では、パフォーマンスの習得支援を効果的に行うことができる情報処理装置、情報処理方法及びプログラムの一例について提案する。

本開示によれば、ユーザの身体の少なくとも一部が動作することによって行われ、かつ、アコースティック楽器又は電子楽器又は演奏に関する電子機器である対象物が用いられて行われるパフォーマンスの練習における、前記ユーザの運動要素の運動パターン、運動速度、運動正確性、運動量、及び、当該パフォーマンスによって生じる結果の状態のうちの少なくとも１つに関するセンシングデータを取得するセンシングデータ取得部と、取得した前記センシングデータを解析し、前記解析の結果として前記センシングデータから得られる前記ユーザの前記パフォーマンスの習熟状況の経時変化に基づいて、前記ユーザの当該パフォーマンスの練習に関する情報を推定する解析部と、前記推定の結果を前記ユーザに出力する出力部と、を備える、情報処理装置が提供される。前記練習に関する情報には、練習のメニューが含まれ、前記練習のメニューは、前記パフォーマンスに係る運動機能又は感覚機能の向上のためのトレーニングメニューが含まれる。

また、本開示によれば、ユーザの身体の少なくとも一部が動作することによって行われ、かつ、アコースティック楽器又は電子楽器又は演奏に関する電子機器である対象物が用いられて行われるパフォーマンスの練習における、前記ユーザの運動要素の運動パターン、運動速度、運動正確性、運動量、及び、前記パフォーマンスによって生じる結果の状態のうちの少なくとも１つに関するセンシングデータを取得することと、取得した前記センシングデータを解析し、前記解析の結果として前記センシングデータから得られる前記ユーザの前記パフォーマンスの習熟状況の経時変化に基づいて、前記ユーザの前記パフォーマンスの練習に関する情報を推定することと、前記推定の結果を前記ユーザに出力することと、を含む、情報処理方法が提供される。前記練習に関する情報には、練習のメニューが含まれ、前記練習のメニューは、前記パフォーマンスに係る運動機能又は感覚機能の向上のためのトレーニングメニューが含まれる。

さらに、本開示によれば、ユーザの身体の少なくとも一部が動作することによって行われ、かつ、アコースティック楽器又は電子楽器又は演奏に関する電子機器である対象物が用いられて行われるパフォーマンスの練習における、前記ユーザの運動要素の運動パターン、運動速度、運動正確性、運動量、及び、前記パフォーマンスによって生じる結果の状態のうちの少なくとも１つに関するセンシングデータを取得する機能と、取得した前記センシングデータを解析し、前記解析の結果として前記センシングデータから得られる前記ユーザの前記パフォーマンスの習熟状況の経時変化に基づいて、前記ユーザの前記パフォーマンスの練習に関する情報を推定する機能と、前記推定の結果を前記ユーザに出力する機能と、をコンピュータに実現させるためのプログラムが提供される。前記練習に関する情報には、練習のメニューが含まれ、前記練習のメニューは、前記パフォーマンスに係る運動機能又は感覚機能の向上のためのトレーニングメニューが含まれる。

本開示の実施形態に係る情報処理プラットフォーム１の構成例を説明する説明図である。 同実施形態に係るセンサ装置１０の構成を示すブロック図である。 同実施形態に係る指サック型センサ装置１０ｅの装着例を示す説明図である。 同実施形態に係る指サック型センサ装置１０ｅの上面図である。 同実施形態に係る指サック型センサ装置１０ｅの側面図である。 同実施形態に係るサーバ３０の構成を示すブロック図である。 同実施形態に係るフィードバック装置５０の構成を示すブロック図である。 同実施形態に係るスマートグラス５０ｄを説明するための説明図である。 同実施形態に係るアプリケーションで提供される習得支援の概要を説明するための説明図である。 同実施形態に係る情報処理方法の一例を説明するフローチャートである。 同実施形態に係るポートフォリオの提示の一例を説明するための説明図である。 表現探索学習の練習メニューの一例を説明するための説明図（その１）である。 表現探索学習の練習メニューの一例を説明するための説明図（その２）である。 表現探索学習の練習メニューの一例を説明するための説明図（その３）である。 表現探索学習の練習メニューの一例を説明するための説明図（その４）である。 表現探索学習の練習メニューの一例を説明するための説明図（その５）である。 表現探索学習の練習メニューの一例を説明するための説明図（その６）である。 スキル探索練習の画面表示一例を説明するための説明図（その１）である。 スキル探索練習の画面表示一例を説明するための説明図（その２）である。 スキル探索練習の画面表示一例を説明するための説明図（その３）である。 機能の向上トレーニングの一例を説明するための説明図（その１）である。 機能の向上トレーニングの一例を説明するための説明図（その２）である。 機能の向上トレーニングの一例を説明するための説明図（その３）である。 機能の向上トレーニングの一例を説明するための説明図（その４）である。 記憶の定着のための練習の一例を説明するための説明図（その１）である。 記憶の定着のための練習の一例を説明するための説明図（その２）である。 記憶の定着のための練習の一例を説明するための説明図（その３）である。 同実施形態に係る提示の一例を説明するための説明図（その１）である。 同実施形態に係る提示の一例を説明するための説明図（その２）である。 同実施形態に係る提示の一例を説明するための説明図（その３）である。 本開示の実施形態に係る情報処理装置９００のハードウェア構成の一例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

なお、説明は以下の順序で行うものとする。
１．実施形態
１．１．情報処理プラットフォーム１の概要
１．２．センサ装置１０の構成
１．３．センサ装置１０の一例
１．４．サーバ３０の構成
１．５．フィードバック装置５０の構成
１．６．フィードバック装置５０の一例
１．７．情報処理方法
１．７．１ 概要
１．７．２ ポートフォリオの生成
１．７．３ 表現探索学習
１．７．４ スキル探索練習
１．７．５ 機能の向上トレーニング
１．７．６ 記憶の定着のための練習
１．８．提示の一例
２．まとめ
３．ハードウェア構成について
４．補足

また、以下の説明においては、特に断りが無い場合には、ユーザとは、ピアノの演奏法を習得、向上を目指して練習したり、指導を受けたりする被指導者、被指導者に指導を行う指導者、本実施形態に係るＤＢの構築にあたりセンシングデータが収集される演奏者、及び、本実施形態に係る情報処理プラットフォームを利用して被指導者にサービスを提供する提供者を意味するものとする。なお、以下の説明においては、情報処理プラットフォームは、情報処理システム及び当該情報処理システムを動作する環境を含むものを意味する。より具体的には、情報処理プラットフォームは、サーバ（クラウド上のサーバも含む）と、各種センサ装置と、サーバ等に搭載されたアプリケーションと、これらを使用するユーザ（指導者、被指導者、演奏者、管理者等）と、これらを使用可能な環境とを含むものをいう。

また、以下の説明において、ピアノ演奏の熟達度、習熟状況、技能レベルとは、演奏における演奏者の演奏速度（テンポ、リズム）、演奏の正確性（リズム又は各音の音量の正確性）、演奏によって生じる音の音量（音波形のピーク）、音の響き（音波形の積分値）、音色（スペクトラム）、和音（複数音）における音同士の音量差や時間差（いわゆる、和音における「バランス」）、各音パラメータの最大値と最小値との差分（レンジ）、各音のパラメータの粒度（解像度）、演奏におけるエネルギー効率等を意味するものとする。さらに、ピアノ演奏の熟達度等は、上述の複数のパラメータのうちトレードオフ関係にあるパラメータ（例えば、演奏の速度と正確性）が存在することから、このような場合を考慮して、各パラメータの比率であってもよい。また、熟達度等とは、人による主観的な評価による評価指標（この演奏者は正確性が高い等）であってもよい。また、本開示の実施形態をピアノ演奏だけでなく他の動作に適用した場合には、パフォーマンスの熟達度、習熟状況、技能レベルとは、ユーザが行う運動要素の運動パターン、運動速度、運動正確性、運動量（運動パワー、力積、仕事量等）、パフォーマンスによって生じる結果の状態等であってもよい。

なお、以下の説明においては、本開示の実施形態をピアノの演奏法の習得支援に適用した場合について説明する。しかしながら、本開示の実施形態は、ピアノの演奏法の習得支援に適用することに限定されるものではなく、他の楽器の演奏法や、スポーツ、伝統工芸の技能習得支援、運動機能障害のリハビリ等に適用することも可能である。また、本開示の実施形態においては、楽器（対象物）についても、特にアコースティックピアノに限定されるものではなく、各種の電子楽器（例えば、電子ピアノ等）であってもよく、もしくは、各種のアコースティック楽器であってもよい。さらに、本開示の実施形態においては、取得しようとする技能に関する対象物は、楽器に限定されるものではなく、各種のセンサが内蔵された装置、もしくは、これらセンサと組み合わされて用いられる装置であってもよい。例えば、上記装置は、プロジェクタで空間に投影された投影物に対するユーザの仮想的な接触を検出するセンサを内蔵する装置であってもよい。より具体的には、当該装置は、空間に投影された楽器の映像に対してユーザが仮想的に演奏行為を行うために、当該映像に触れたことを検出するセンサを内蔵する装置であることができる。また、当該装置は、楽器の形状を模した遊具（ゲーム機器）（演奏に関する電子機器）であってもよい。この場合、当該装置は、ユーザが直接的に触れたことを検出する、もしくは、ユーザが物体（例えば、スティック等）を介して触れたこと検出するようなセンサを内蔵してもよい。

＜＜１．実施形態＞＞
＜１．１．情報処理プラットフォーム１の概要＞
まずは、本開示の実施形態に係る情報処理プラットフォーム１の概要構成について、図１を参照して説明する。図１は、本実施形態に係る情報処理プラットフォーム１の構成例を説明する説明図である。図１に示すように、本実施形態に係る情報処理プラットフォーム１は、各種のセンサ装置１０（例えば、マイクロフォン１０ａ，１０ｄ、生体情報センサ１０ｂ、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）端子１０ｃ等）、サーバ３０及びフィードバック装置５０（ディスプレイ５０ａ、スピーカ５０ｂ、力覚ロボット５０ｃ、スマートグラス５０ｄ等）を含み、これらは互いにネットワークを介して通信可能に接続される。例えば、センサ装置１０、サーバ（情報処理装置）３０及びフィードバック装置５０は、図示しない基地局等（例えば、携帯電話機の基地局、無線ＬＡＮのアクセスポイント等）を介して上記ネットワークに接続されてもよい。すなわち、上記ネットワークで用いられる通信方式は、有線又は無線を問わず任意の方式を適用することができる。以下に、本実施形態に係る情報処理プラットフォーム１に含まれる各装置の概要について説明する。

（センサ装置１０）
センサ装置１０は、ユーザ（被指導者又は演奏者）の動作によるパフォーマンスの練習に係る状態等をセンシングすることができる。詳細には、センサ装置１０は、ユーザの身体の一部に装着可能な各種の生体情報センサ１０ｂ、ユーザを撮像する撮像装置（図示省略）、ユーザが弾くピアノ等の楽器に設けられた圧力センサ又はフォトリフレクタセンサ、もしくは、当該ピアノの音を収音するマイクロフォン１０ｄ等であることができる。また、センサ装置１０は、信号を出力することができる電子ピアノ等の電子楽器自体であってもよく、この場合、センシングデータはＭＩＤＩ端子１０ｃを介して後述するサーバ３０へ送信される。さらに、センサ装置１０は、被指導者を指導する指導者の音声を収音するマイクロフォン１０ａであってもよく、この場合、指導者の音声を解析して、どのような指導（アドバイス）を行っているのかの情報を収集することができる。なお、本実施形態に係る情報処理プラットフォーム１に含まれるセンサ装置１０は、数やその種類については特に限定されるものではなく、例えば、市販の楽器等に予め装着されている各種のセンサであってもよい。なお、センサ装置１０の詳細については後述する。

（サーバ３０）
サーバ３０は、例えば、コンピュータ等により構成される。詳細には、サーバ３０は、センサ装置１０からユーザの演奏（パフォーマンス）に係るセンシングデータを収集し、収集したセンシングデータを解析、処理し、解析及び処理の結果に基づいて、ユーザ等へ習得支援のための情報をフィードバックしたり、好適なアプリケーション（練習メニュー等）を提供したりすることができる。また、サーバ３０は、例えば、ユーザ（例えば、被指導者、指導者、演奏者）等が保有するコンピュータであってもよく、もしくは、本実施形態によってサービスを提供する、演奏者等とは異なる場所に存在するサービス提供者が保有するコンピュータであってもよい。さらに、サーバ３０は、他の習得支援サービスを行う他のサービス提供者が保有するコンピュータ（図示省略）と通信可能に接続されてもよい。なお、サーバ３０の詳細については後述する。

（フィードバック装置５０）
フィードバック装置５０は、ユーザ等に、サーバ３０からのフィードバックやアプリケーションを提供するための装置であり、提供する情報をユーザ（被指導者）の演奏中又は演奏後等に可視化、力覚化、聴覚化、可聴化して提供する。例えば、フィードバック装置５０は、表示装置（ディスプレイ５０ａ）や音声出力装置（スピーカ５０ｂ）であってもよく、これら表示装置及び音声出力装置を含む、タブレット、スマートフォン、ラップトップ型ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ノート型ＰＣ等のデバイス等であってもよい。さらに、フィードバック装置５０は、ユーザ（被指導者、演奏者）の身体の一部に装着可能なウェアラブルデバイスであってもよい。より具体的には、ウェアラブルデバイスとしては、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）型、イヤーデバイス（ヘッドフォン）型、アンクレット型、腕輪型、首輪型、アイウェア型（例えば、スマートグラス５０ｄ）、グローブ型（例えば、力覚ロボット５０ｃ)、パッド型、バッチ型、衣服型等の各種の方式のウェアラブルデバイスを採用することができる。なお、フィードバック装置５０の詳細については後述する。

なお、図１においては、本実施形態に係る情報処理プラットフォーム１には、４つのセンサ装置１０及びフィードバック装置５０が含まれるものとして示されているが、本実施形態においてはこれに限定されるものではない。例えば、本実施形態に係る情報処理プラットフォーム１は、複数のセンサ装置１０及びフィードバック装置５０を含んでもよい。さらに、実施形態に係る情報処理プラットフォーム１は、例えば、センサ装置１０からサーバ３０へセンシングデータを送信する際の中継装置のような他の通信装置等を含んでいてもよい。

＜１．２．センサ装置１０の構成＞
次に、本開示の実施形態に係るセンサ装置１０の構成について、図２を参照して説明する。図２は、本実施形態に係るセンサ装置１０の構成を示すブロック図である。本実施形態に係るセンサ装置１０は、図２に示すように、センサ部１００と、主制御部１１０と、通信部１３０とを主に有する。以下に、センサ装置１０の各機能部の詳細について説明する。

（センサ部１００）
センサ部１００は、例えば、ユーザ（被指導者、演奏者）の身体に装着することにより、演奏中のユーザの身体の各部分が行う各運動要素の状態を示すセンシングデータを取得することができる。例えば、センサ部１００は、加速度センサ、角速度センサ、ジャイロセンサ、地磁気センサ、位置センサ、振動センサ、圧力センサ、曲げセンサ等の１つ又は複数のセンサデバイスにより実現される。上述のようなセンサデバイスは、運動要素によって与えられる加速度や角速度等の変化を検出し、検出された変化を示す複数のセンシングデータを生成する。さらに、センサ部１００によって得られた複数のセンシングデータは、後述する主制御部１１０に出力される。また、センサ部１００は、正確な時刻を把握する時計機構（図示省略）を内蔵し、センシングデータに、当該センシングデータを取得した時刻を紐づけてもよい。

なお、ここで、曲げセンサとは、例えば、曲げると曲げ量に応じて非線形に抵抗値が変化する素子を利用したセンサであり、例えば、ユーザ（被指導者、演奏者）の関節に装着することで、関節の曲げ角度を検出することができる。本実施形態においては、ユーザの指、腕や脚、胴体等の各関節等に、上述のようなセンサデバイスを装着することにより、空間内での手指や腕の姿勢（傾き）や、移動速度、関節の曲げ角度等を定量的に検出することができる。このような曲げセンサの一例の詳細については後述する。

また、本実施形態においては、センサ部１００は、ユーザ（被指導者、演奏者）を撮像する撮像装置であってもよく、この場合、高速撮影カメラ（撮像装置）によって、ユーザ等の動きをキャプチャすることにより、ユーザの関節等の位置や動きを定量的に検出することができる。さらに、本実施形態においては、ユーザの眼球の動き（眼球運動）や瞳孔の大きさ（瞳孔径）を撮像装置によって検出してもよい。また、本実施形態においては、センサ部１００は、ユーザが演奏するピアノ等の楽器の内部に設けられ、楽器内部のアクション機構（例えば、ピアノであれば、鍵盤の動きに従って弦を叩くハンマー等）の動きをキャプチャする撮像装置であってもよい。

また、本実施形態においては、センサ部１００は、核磁気共鳴を利用して、ユーザ（被指導者、演奏者）の口腔内又は気管内の状態や、唇又は舌の動き等を検出する核磁気共鳴センサであってもよい。具体的には、ユーザ等が磁気共鳴画像装置（ＭＲＩ：Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）内で演奏を実行することにより、上述の状態や動き等を検出することができる。特に、本開示の実施形態を各種の吹奏楽器（フルート、オーボエ、クラリネット、トランペット等）の演奏法に適用する場合には、他の方法では検出が難しい唇や舌の動きが検出することができることから、上記ＭＲＩは有用である。

また、センサ部１００は、例えば、ユーザ（被指導者、演奏者）の動作（演奏）によって移動するピアノの鍵盤（対象物）の上下動を検出する打鍵検出センサであってもよい。例えば、各鍵盤の下に打鍵検出センサを設置することにより、各鍵盤の上下動を検出することができる。具体的には、センサ部１００は、例えば、ユーザの運動要素によってピアノの鍵盤に与えられる圧力を検出する圧力センサや、鍵盤の上下動を光の反射により検出する受発光センサからなるフォトリフレクタセンサであることができる。なお、本実施形態においては、検出の対象となる対象物は、ピアノの鍵盤に限定されるものではなく、他の楽器（アコースティック楽器又は電子楽器）自体やその一部であってもよい。

また、センサ部１００は、ユーザ（被指導者、演奏者）によって演奏されるピアノからの、すなわち、ユーザのパフォーマンスによって生じる音を収音する収音装置であってもよい。例えば、センサ部１００は、ピアノの近傍や内部に設けられたマイクロフォン１０ｄであってもよく、被指導者又は演奏者の発する音声や、被指導者を指導する指導者の発する音声を収音するマイクロフォン１０ａであってもよい。本実施形態においては、被指導者や指導者の発する音声を収音し、音声認識することにより、例えば、被指導者がどのような練習を行っているか、指導者がどのようなアドバイスを行っているか等を推定することができる。さらに、本実施形態においては、音声認識によって得られた情報をスタディログとして後述するサーバ３０に格納してもよい。

さらに、センサ部１００からのセンシングデータは、ユーザ（被指導者、演奏者）による演奏（操作）に応じて、すなわち、パフォーマンスで使用される電子楽器からの出力（音のデータ）であってもよい。言い換えると、本実施形態においては、センサ部１００は、電子楽器自体であってもよい。この場合、センサ部１００からのセンシングデータは、例えば、ＭＩＤＩ端子１０ｃから出力されるＭＩＤＩ規格に準じた、デジタル形式のデータとなる。また、本実施形態においては、センサ部１００は、既に各楽器メーカが出荷した楽器（アコースティック楽器又は電子楽器）に既に設けられている各種のセンサであってもよい。

また、本実施形態においては、センサ部１００は、ユーザ（被指導者、演奏者）の身体の一部に装着された、筋電センサ、心拍センサ、脈拍センサ、血流センサ、呼吸センサ、脳波センサ、皮膚温度センサ、皮膚導電率（皮膚抵抗）センサ、発汗センサ等の生体情報センサであってもよい。ここで、筋電センサとは、筋肉を構成する筋線維から発生する微弱な電場を検知するセンサである。詳細には、筋電センサは、ユーザの腕等に装着された複数の電極によって、腕等の筋が収縮する際に筋線維において発生し、身体表面に伝播する電気信号による筋電位を測定することにより、筋の筋活動量を定量的に検出することができる。また、心拍センサは、心臓における拍動である心拍を検出センサであり、脈拍センサは、心臓における拍動（心拍）により、動脈を通じ全身に血液が送られることにより、動脈内壁に圧力の変化が生じ、体表面等に現れる動脈の拍動である脈拍を検出するセンサである。血流センサは、身体に赤外線を放射し、その赤外光の反射により血流量を検出するセンサである。さらに、呼吸センサは、呼吸量の変化を検出する呼吸流量計であることができる。脳波センサは、頭皮に複数の電極を装着し、測定した電極間の電位差の変動から雑音を除去することにより周期性のある波を抽出することにより脳波を検出するセンサである。皮膚温度センサは、ユーザの体温を検出するセンサであり、皮膚導電率センサは、ユーザの皮膚電気抵抗を検出するセンサである。また、発汗センサは、ユーザの発汗を検出するセンサである。

さらに、センサ部１００は、ユーザ（被指導者、演奏者）の位置情報を取得するＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機等の位置センサを含んでいてもよい。このような位置情報は、後述するサーバ３０が、被指導者がどのような練習を行っているか等の推定する際に用いてもよい。また、センサ部１００は、ユーザが演奏する環境の状態を示す環境情報を取得するために、気圧センサ、温度センサ、及び、湿度センサ等の他の各種センサを含んでもよい。このような環境情報は、サーバ３０が、被指導者の習熟度や疲労度の変化を予測する際に用いてもよい。

（主制御部１１０）
主制御部１１０は、センサ装置１０内に設けられ、センサ装置１０の各ブロックを制御することができる。当該主制御部１１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のハードウェアにより実現される。また、当該主制御部１１０は、データ取得部１１２、処理部１１４、及び出力制御部１１６として機能することもできる。以下に、本実施形態に係る主制御部１１０のこれら機能の詳細について説明する。

－データ取得部１１２－
データ取得部１１２は、センサ部１００を制御して、センサ部１００から出力されたセンシングデータを取得し、取得したセンシングデータを後述する処理部１１４へ出力する。また、データ取得部１１２は、正確な時刻を把握する時計機構（図示省略）を内蔵し、センシングデータに、当該センシングデータを取得した時刻を紐づけて処理部１１４へ出力してもよい。

－処理部１１４－
処理部１１４は、上述したデータ取得部１１２から出力されたセンシングデータを、上記ネットワークを介して送信可能な所定の形式に変換し、後述する出力制御部１１６に出力する。

－出力制御部１１６－
出力制御部１１６は、上述した処理部１１４から出力された所定の形式のセンシングデータを、後述する通信部１３０を制御してサーバ３０へ送信する。

（通信部１３０）
通信部１３０は、センサ装置１０内に設けられ、サーバ３０等の外部装置との間で情報の送受信を行うことができる。言い換えると、通信部１３０は、データの送受信を行う機能を有する通信インタフェースと言える。なお、通信部１３０は、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。

なお、センサ装置１０は、ＨＭＤ型、イヤーデバイス型、アンクレット型、腕輪型、首輪型、アイウェア型、パッド型、バッチ型、ベルト型、衣服型等の各種の方式のウェアラブルデバイスであってもよい。具体的には、これらウェアラブルデバイスは、様々なセンシングデータを取得するために、ユーザ（被指導者、演奏者）の手指、腕部、脚部、胴部、頭部、足先等にモーションキャプチャとして設けられることができる。また、センサ装置１０は、撮像装置、収音装置等のユーザの周囲に設置される装置であってもよく、ユーザが使用する楽器自体であってもよく、特に限定されるものではない。さらに、本実施形態においては、センサ装置１０は、図２に示されるような形態に限定されるものではない。

＜１．３．センサ装置１０の一例＞
ここで、図３から図５を参照して、本実施形態に係るセンサ装置１０の一例として、指サック型センサ装置１０ｅを説明する。図３は、本実施形態に係る指サック型センサ装置１０ｅの装着例を示す説明図であり、図４は、本実施形態に係る指サック型センサ装置１０ｅの上面図であり、図５は、本実施形態に係る指サック型センサ装置１０ｅの側面図である。

指サック型センサ装置１０ｅは、上述した曲げセンサの一例であり、図３に示すように、ユーザ（被指導者、演奏者）の各指の指先部分に装着され、各指の関節の動きに係るセンシングデータを取得するセンサである。詳細には、図４及び図５に示すように、指サック型センサ装置１０ｅは、自身が曲がることにより指の関節の曲げを検出し、電気信号として出力することができる曲げセンサ部材１６０と、当該曲げセンサ部材１６０を指先に固定するリング部材１５０とを有する。さらに、指サック型センサ装置１０ｅは、曲げセンサ部材１６０をリング部材１５０に摂動可能な状態で固定する固定部材１７０と、曲げセンサ部材１６０からの電子信号を転送する配線１８０と、電子信号を出力する端子１９０とを有する。より具体的には、曲げセンサ部材１６０は、例えば、ユーザの指先の末節骨と中節骨とに跨るように取り付けられ、中節骨に対する末節骨の角度、すなわち、遠位指節間関節の曲がりを検出することができる。

なお、本実施形態においては、曲げセンサはユーザの指先に装着するような形態に限定されるものではなく、ユーザの身体の一部に装着され、各種の関節の曲がりを検出することができるような形態のセンサであってもよい。このような上記指サック型センサ装置１０ｅによれば、ユーザの運動要素についてのセンシングデータを取得することができることから、ピアノ等の楽器がない状態であっても、イメージトレーニングや、運動機能の向上のためのトレーニングを支援することができる。

＜１．４．サーバ３０の構成＞
次に、本開示の実施形態に係るサーバ３０の構成について、図６を参照して説明する。図６は、本実施形態に係るサーバ３０の構成を示すブロック図である。先に説明したように、サーバ３０は、例えば、コンピュータ等により構成される。図６に示すように、サーバ３０は、入力部３００と、主制御部３１０と、出力部３２０と、通信部３３０と、記憶部３４０とを主に有する。以下に、サーバ３０の各機能部の詳細について説明する。

（入力部３００）
入力部３００は、サーバ３０へのデータ、コマンドの入力を受け付ける。より具体的には、当該入力部３００は、タッチパネル、キーボード等により実現され、ユーザ（被指導者、演奏者）の属性情報や、被指導者又は指導者による練習内容やアドバイス等の入力を受けつけることができる。

（主制御部３１０）
主制御部３１０は、サーバ３０内に設けられ、サーバ３０の各ブロックを制御することができる。当該主制御部３１０は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェアにより実現される。また、当該主制御部３１０は、データ取得部（センシングデータ取得部）３１２、処理部（解析部）３１４及び出力制御部３１６として機能することもできる。以下に、本実施形態に係る主制御部３１０のこれら機能の詳細について説明する。

－データ取得部３１２－
データ取得部３１２は、上述したセンサ装置１０から送信されたセンシングデータを取得し、取得したセンシングデータを後述する処理部３１４へ出力する。例えば、センシングデータは、ユーザ（被指導者、演奏者）の身体の少なくとも一部が動作することによって行われる演奏（パフォーマンス）における、運動要素の運動パターン、運動速度、運動正確性、運動量、音声、及び、当該演奏によって生じる結果の状態のうちの少なくとも１つに関するセンシングデータであり、上述したセンサ装置１０から取得される。さらに、データ取得部３１２は、上述の入力部３００を介して入力された情報も取得してもよい。

－処理部３１４－
処理部３１４は、データ取得部３１２が取得したセンシングデータを解析し、解析結果に基づいて、当該パフォーマンスの練習に関する情報を推定することができる。例えば、処理部３１４は、データ取得部３１２が取得したセンシングデータから、所定のアルゴリズムを用いて、ユーザ（被指導者、演奏者）の演奏（パフォーマンス）の習熟状況を解析し、例えば、解析によって得た習熟状況に基づいて、ユーザが今後行うべき練習メニューを選択する。そして、処理部３１４は、選択された練習メニューの内容を、後述する出力制御部３１６に出力する。

処理部３１４は、上記センシングデータから、ユーザ（被指導者、演奏者）の演奏における習熟状況を解析する。さらに、処理部３１４は、解析によって得られた習熟状況（例えば、目標状態に対してユーザが足りない技能（スキル）等）に基づき、ユーザが予め設定した目標値に到達するために当該演奏者が行うべきスキル探索練習の内容（練習のメニュー）及び練習時間や、当該練習の前後に当該ユーザが行うべき休憩のタイミング及び休憩時間等の情報を含むスキル探索練習メニューを選択する。さらに、処理部３１４によって選択されるスキル探索練習メニューには、当該スキルに関連する運動機能又は感覚機能の向上のためのトレーニングメニューを含んでもよい。

さらに、処理部３１４は、解析によって得られた習熟状況に基づき、ユーザ（被指導者、演奏者）が演奏表現をより深く探索するための表現探索学習メニューを選択することができる。当該表現探索学習メニューは、例えば、演奏（パフォーマンス）に係る楽曲の他の演奏者による演奏データ、当該楽曲の背景情報、当該楽曲の解釈情報、当該楽曲の作曲家情報、及び、当該楽曲に類似する特徴を有する他の楽曲のデータ等を提示し、ユーザに表現の探索を行わせることができる。さらに、当該表現探索学習メニューは、センシングデータとして取得されたユーザの演奏音に対して、ユーザの操作によってイフェクト効果を施すことを含み、様々なイフェクト効果を試みることにより、表現の探索を行うことができる。なお、当該表現探索学習メニューの詳細については後述する。

言い換えると、処理部３１４は、ユーザの習熟状況に基づき、当該ユーザの練習メニューのスケジュールを決定することができる。なお、処理部３１４によって選択される練習メニューの詳細については後述する。

さらに、処理部３１４は、被指導者及び当該被指導者以外の他の演奏者の演奏（パフォーマンス）の習熟状況を解析し、解析の結果に基づいて、これらを数値化して、後述する記憶部３４０に格納してもよい。さらに、処理部３１４は、このようにして得られた数値のデータに基づいて、複数の演奏者の習熟ランキング等を生成してもよい。このようなランキングを各演奏者に提示することにより、演奏者自身がどのようなレベルにあるのかを容易に把握することができ、ひいては、ランキングにおける順位を上げようと練習を行うモチベーションを高めることができる。なお、ランキングの生成の詳細については後述する。

また、処理部３１４は、後述する記憶部３４０に格納されたユーザ（被指導者）の演奏に係るセンシングデータや入力情報等に基づき、ユーザが行った練習を分類し、分類の結果に基づいて、練習メニューを選択してもよい。なお、練習の分類の詳細については後述する。

より具体的には、処理部３１４は、ユーザ（被指導者、指導者）によって予め設定された演奏の目標状態（例えば、素早く演奏したい等）に応じて適切なアルゴリズムを選択し、選択したアルゴリズムをセンサ装置１０から送信されたセンシングデータ（詳細には、練習中に取得されたセンシングデータ）に適用することにより、ユーザ（被指導者）の習熟状況を解析することができる。また、本実施形態においては、各ユーザの属性情報（性別、年齢、身長、体重、筋力、掌の大きさ、ピアノ演奏の経験年数等）を取得し、属性情報に応じて、上記アルゴリズムを選択してもよい。このような選択を行うことにより、ユーザの属性等に応じたテーラーメイドの練習メニューを選択することができる。より詳細には、本実施形態においては、処理部３１４は、記憶部３４０に格納されたＤＢ（図示省略）を参照して、上記目標状態や属性情報に応じて、解析するユーザのセンシングデータと、比較する教師データ（例えば、被指導者の手本となる優れた演奏者のセンシングデータや、被指導者自身の調子の良いときの演奏で得られたセンシングデータ等）とを選択し、選択したデータを比較することにより、習熟状況を解析することができる。この際、処理部３１４は、ユーザのセンシングデータ教師データとの差分、教師データに対する割合、教師データとの類似点等を、習熟状況を示す数値化された情報として算出してもよい。そして、処理部３１４は、このような解析により、目標状態に対してユーザが足りないスキル（技能）等を抽出し、抽出した情報に応じて、練習メニューを選択することができる。

さらに、処理部３１４は、練習時間に対する習熟状況の経時変化を解析し、ユーザ（被指導者）が目標状態に達するために必要な練習時間を推定してもよい。例えば、処理部３１４は、練習時間に対する数値化した習熟状況の経時変化（例えば、打鍵の速度等）をプロットし、回帰分析を行うことで、習熟状況の経時変化の傾向を解析する。さらに、処理部３１４は、得られた傾向を用いて外挿することにより、目標状態（例えば、目標の打鍵速度）に達するために必要な練習時間を推定することができる。また、処理部３１４は、ユーザの運動機能に関するセンシングデータを用いて、練習時間に対する運動機能の経時変化を解析し、例えば、運動機能の経時変化を所定の閾値と比較することにより、当該運動機能に係る筋肉等の疲労の程度を推定してもよい。さらに、処理部３１４は、上述と同様に回帰分析を用いて、ユーザの疲労がたまって故障する可能性が高まる予想される状態に達する、すなわち、運動機能の経時変化が所定の閾値よりも低下する状態に達する練習時間を推定してもよい。そして、処理部３１４は、このように推定された情報を用いて、練習時間や、ユーザが休憩をとるタイミングや時間を決定することができる。なお、本実施形態においては、処理部３１４は、上述のような方法で推定することに限定されるものではなく、例えば、後述するような機械学習を用いてユーザの傾向を解析し、解析結果に基づいて推定を行ってもよい。

さらに、本実施形態においては、上記ＤＢを構築するための情報を取得するために、多数の演奏者（例えば、１００人程度の演奏者）に所定の演奏（楽曲、フレーズ、スケール、アルペジオ、和音等）を行わせ、演奏中の演奏者から上述のセンサ装置１０を用いて多数のセンシングデータ等を収集する。そして、本実施形態においては、上述のように取得したセンシングデータ及び演奏状態の情報等を処理部３１４が有する学習器（図示省略）に入力し、当該学習器に機械学習を行わせてもよい。詳細には、例えば、処理部３１４には、サポートベクターレグレッションやディープニューラルネットワーク等の教師付き学習器が備わっているものとする。そして、当該学習器にセンサ装置１０から取得されたセンシングデータと予め設定した習熟レベルとをそれぞれ入力信号及び教師信号（ラベル）として入力し、当該学習器は、所定の規則に従ってこれら情報の間の関係について、重回帰分析等の多変量解析を行い、機械学習する。そして、処理部３１４は、このような機械学習得た情報を用いて、ユーザ（被指導者）の習熟状況を解析したり、当該解析のためのアルゴリズムを選択したり、練習メニューを選択したり、練習時間を推定したりすることができる。

－出力制御部３１６－
出力制御部３１６は、上述の処理部３１４の解析の結果に基づいて、ユーザ（被指導者、指導者）に演奏（パフォーマンス）の向上のための推奨情報として例えば練習メニュー等を出力する。例えば、出力制御部３１６は、処理部３１４で選択された練習メニューを推奨情報として出力することができ、より具体的には、フィードバック装置５０の表示部（表示装置）５７０を制御して所定の画像を表示させたり、ユーザの身体に装着された力覚機構（ウェアラブル装置）５６０を制御してユーザに対して触覚刺激を行わせたり、音声出力部（音声出力装置）５８０を制御して所定の音を出力させたりする。なお、出力制御部３１６は、ユーザの状況等に基づき、出力に好適な感覚モダリティ（視覚、聴覚、触覚等）を選択してもよい。このように、本実施形態においては、ユーザの状況等に応じた感覚モダリティで推奨情報をユーザに提供することができることから、効率的なパフォーマンスの習得支援を実現することができる。

（出力部３２０）
出力部３２０は、例えば、ディスプレイ、スピーカ、映像出力端子、音声出力端子等により構成され、画像又は音声等により各種の情報を出力する。

（通信部３３０）
通信部３３０は、サーバ３０内に設けられ、センサ装置１０やフィードバック装置５０等の外部装置との間で情報の送受信を行うことができる。なお、通信部３３０は、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。

（記憶部３４０）
記憶部３４０は、サーバ３０内に設けられ、上述した主制御部３１０が各種処理を実行するためのプログラム、情報等や、処理によって得た情報を格納する。なお、記憶部３４０は、例えば、ハードディスク（Ｈａｒｄ Ｄｉｓｋ：ＨＤ）などの磁気記録媒体や、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）などの不揮発性メモリ（ｎｏｎｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）等により実現される。

＜１．５．フィードバック装置５０の構成＞
次に、本開示の実施形態に係るフィードバック装置５０の構成について、図７及び図８を参照して説明する。図７は、本実施形態に係るフィードバック装置５０の構成を示すブロック図である。図８は、本実施形態に係るスマートグラス５０ｄを説明するための説明図である。

先に説明したように、フィードバック装置５０は、タブレット、ラップトップ型ＰＣ、ノート型ＰＣ、ウェアラブルデバイス等のデバイスであることができる。また、図７に示すように、フィードバック装置５０は、主制御部５１０と、通信部５３０と、記憶部５４０と、力覚機構５６０と、表示部５７０と、音声出力部５８０とを主に有する。以下に、フィードバック装置５０の各機能部の詳細について説明する。

（主制御部５１０）
主制御部５１０は、フィードバック装置５０内に設けられ、フィードバック装置５０の各ブロックを制御することができる。当該主制御部５１０は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェアにより実現される。

（通信部５３０）
通信部５３０は、サーバ３０等の外部装置との間で情報の送受信を行うことができる。なお、通信部５３０は、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。

（記憶部５４０）
記憶部５４０は、フィードバック装置５０内に設けられ、上述した主制御部５１０が各種処理を実行するためのプログラム等や、処理によって得た情報を格納する。なお、記憶部５４０は、例えば、ＨＤなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリ等により実現される。

（力覚機構５６０）
力覚機構５６０は、サーバ３０から送信された情報に基づいて、ユーザ（被指導者）の身体の一部（関節等）に力を印加する等の力覚を伝える装置である。例えば、力覚機構５６０は、ユーザの手に装着されたグローブ型ウェアラブルデバイス（ウェアラブル装置）（図示省略）であることができる。詳細には、当該グローブ型ウェアラブルデバイスは、手指外骨格ロボットと呼ばれ、複数の外骨格部材（図示省略）からなる機構と、当該各外骨格部材を可動させるアクチュエータ（電動アクチュエータ、空気圧アクチュエータ等）（図示省略）とで構成される。グローブ型ウェアラブルデバイスは、上記アクチュエータによって、外骨格部材を動作させることにより、ユーザの手指や関節に力を印加し、例えば、関節の伸展・屈曲方向の力がどれだけ過剰又は不足か等を被指導者に力覚させる。また、本実施形態においては、力覚機構５６０に上述のセンサ装置１０を装着してもよく、この場合、当該力覚機構５６０は、上記センサ装置１０が目標とする値を取得するように、ユーザの身体の一部に力や刺激を印加してもよい。

また、本実施形態においては、力覚機構５６０は、例えば、ユーザ（被指導者）の身体の一部に振動を与える振動装置や、筋肉に刺激を与える電気筋肉刺激を利用した刺激装置であってもよい。すなわち、本実施形態においては、力覚機構５６０は、ユーザの身体の一部に触覚刺激を与えることにより、情報をユーザに体感的にフィードバック（バイオフィードバック）することができるものであればよい。上記力覚機構５６０によれば、例えばピアノ等の楽器がなくても、ユーザのイメージトレーニングを支援することができる。

（表示部５７０）
表示部５７０は、ユーザ（被指導者）に情報を表示するためのデバイスであり、例えば、ユーザに向けて、画像又は光により情報を出力する。表示部５７０は、ディスプレイ（図示省略）、発光素子（図示省略）等により実現される。さらに、表示部５７０は、映像出力端子等により実現されてもよい。より具体的には、表示部５７０は、所定の仮想オブジェクトを拡張現実（ＡＲ）として実空間に重畳して表示する投影装置であってもよく、この際の仮想オブジェクトとしては、複数の観客又はユーザが演奏（操作）するピアノ（楽器）の内部を模式的に示してもよい。なお、拡張現実を用いた表示の具体例の詳細については、後述する。

（音声出力部５８０）
音声出力部５８０は、ユーザ（被指導者、指導者）に情報を音声出力するためのデバイスであり、例えば、ユーザの耳に装着されたヘッドフォンスピーカ（図示省略）や、ユーザの近傍に設けられたスピーカ（図示省略）であってもよい。さらに、音声出力部５８０は、音声出力端子等により実現されてもよい。

また、フィードバック装置５０は、図示しない入力部を有していてもよい。当該入力部は、フィードバック装置５０へのデータ、コマンドの入力を受け付ける機能を有する。より具体的には、当該入力部は、タッチパネル、ボタン、スイッチ、キー、キーボード、マイクロフォン、画像センサ等により実現される。

また、本実施形態においては、センサ装置１０のセンサ部１００の機能と、フィードバック装置５０の力覚機構５６０等を一体化して、１つのウェアラブルデバイスとしてもよい。

＜１．６．フィードバック装置５０の一例＞
先に説明したように、表示部５７０は、サーバ３０からの情報に基づくオブジェクトを拡張現実（ＡＲ）として、実空間に重畳して表示することができる投影装置であってもよい。このような投影装置は、例えば、ユーザ（被指導者）の眼前に装着されるスマートグラス５０ｄであることができる。当該スマートグラス５０ｄには、透過型ディスプレイが設けられており、当該透過型ディスプレイは、例えば、ハーフミラーや透明な導光板を用いて、透明な導光部等からなる虚像光学系をユーザの眼前に保持し、当該虚像光学系の内側に上記オブジェクトを表示させる。また、上記投影装置は、ユーザの頭部に装着されるＨＭＤであってもよい。

詳細には、図８に示すように、スマートグラス５０ｄは、例えば、ユーザ（被指導者）の頭部に装着され、装着時にユーザの眼前に位置する眼鏡レンズ部分に相当する表示部５７２を有する。表示部５７２は、眼鏡レンズ部分の外側を視認することができる透過型、又は、眼鏡レンズ部分の外側を視認することができない非透過型ディスプレイであってもよい。なお、以下の説明においては、透過型ディスプレイの表示部５７２を持つ場合を「スマートグラス」と呼ぶ。表示部５７２は、仮想オブジェクトを表示することにより、ユーザの眼前に仮想オブジェクトを提示することができる。なお、以下の説明においては、仮想オブジェクトとは、ユーザによって実空間に存在する現実物体のように知覚することができる仮想物体のことを意味する。さらに、本実施形態においては、ユーザの両眼に対して仮想オブジェクトを表示する形態に限定されるものではなく、ユーザの片眼に対してのみ仮想オブジェクトを表示する形態を持っていてもよい。

より具体的には、図８に示すように、スマートグラス５０ｄは、ユーザ（被指導者）の眼前に、左眼用と右眼用の一対の表示部５７２ａ及び表示部５７２ｂが配置されるような構成を持つ。これら表示部５７２ａ、５７２ｂには、例えば透過型ディスプレイが用いられ、スマートグラス５０ｄは、当該透過型ディスプレイの透過率を制御することで、表示をスルー状態、すなわち透明又は半透明の状態にできる。また、表示部５７２ａ、５７２ｂがスルー状態となることで、スマートグラス５０ｄを眼鏡のように常時装着する場合であっても、ユーザは周囲の実空間を知覚することが可能であるため、ユーザの通常の生活や演奏行為等に支障を与えることはない。さらに、表示部５７２ａ及び５７２ｂは、スルー状態のまま、テキストや図等の画像を表示することができ、すなわち、拡張現実（ＡＲ）として、実空間に仮想オブジェクトを重畳して表示することができる。このような透過型ディスプレイは、例えば、ハーフミラーや透明な導光板を用いて、透明な導光部等からなる虚像光学系をユーザの眼前に保持し、当該虚像光学系の内側に仮想オブジェクトを表示させる。

なお、本実施形態においては、非透過型ディスプレイを用いた場合には、表示部５７２は、スマートグラス５０ｄに設けられたカメラ５００で撮像された実空間の撮像画像を表示しつつ、当該実空間の撮像画像に仮想オブジェクトを重畳表示してもよい。

さらに、本実施形態においては、表示部５７２は、ユーザ（被指導者）の網膜に直接的に映像を投影するＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）光源等として実現されてもよい。すなわち、フィードバック装置５０は、プロジェクション型のＨＭＤとして実現されてもよい。

＜１．７．情報処理方法＞
以上、本実施形態に係る情報処理プラットフォーム１、及び当該情報処理プラットフォーム１に含まれる、センサ装置１０、サーバ３０及びフィードバック装置５０の構成について詳細に説明した。次に、本実施形態に係る情報処理方法について説明する。

（１．７．１ 概要）
先に説明したように、本実施形態に係る情報処理プラットフォーム１は、ピアノの演奏（パフォーマンス）の習得を支援する練習メニュー等のアプリケーションを提供することができる。当該アプリケーションの概要を、図９及び図１０を参照して説明する。図９は、本実施形態に係るアプリケーションで提供される習得支援の概要を説明するための説明図であり、図１０は、本実施形態に係る情報処理方法の一例を説明するフローチャートである。

本実施形態においては、図９に示すように、ピアノの演奏を習熟（向上）させるためには、例えば、被指導者は、演奏に関する表現の探索を行う表現探索学習、演奏に関するスキルの探索を行うスキル探索練習、及び、上記探索の結果得られたスキル等を被指導者の身体に定着させる練習の３つの練習を行うことが求められると仮定している。詳細には、表現の探索とは、被指導者が所望するイメージを表現するために求められる要素を探し出す過程であり、スキルの探索とは、被指導者が所望するイメージを表現するために求められるスキルを習得する過程である。さらに、定着させる練習とは、反復して練習することにより、所望する表現が常に再現できるよう被指導者の身体に定着させる過程である。加えて、本実施形態においては、スキルの探索を行うスキル探索練習では、必要に応じて、スキルの習熟に関連する運動機能等を向上させるトレーニングを行うことが好ましい。以下に説明する本実施形態では、上述のような仮定に基づいて、被指導者のピアノの演奏法の習得を支援することができる各種のアプリケーション（練習メニュー、トレーニング、ゲーム等）を提供することができる。

詳細には、本実施形態においては、図１０に示すような情報処理方法を行うこととなる。当該情報処理方法には、ステップＳ１０１からステップＳ１０７までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法に含まれる各ステップの概要を説明する。

－ステップＳ１０１－
当該ステップＳ１０１では、サーバ３０は、ユーザ（被指導者）の練習中に各種のセンシングデータを取得する。なお、当該センシングデータには、ユーザから入力された情報（例えば、練習内容の入力等）も含むものとする。

－ステップＳ１０３－
当該ステップＳ１０３では、サーバ３０は、上記ステップＳ１０１で取得したセンシングデータを解析して、ユーザ（被指導者）の行った練習を分類する。詳細には、サーバ３０は、ユーザの行った練習を、表現探索学習、演奏に関するスキルの探索を行うスキル探索練習、及び、定着させる練習、さらには、能力向上トレーニングのいずれかの練習であるかを分類し、分類ごとの練習時間を算出し、後述するポートフォリオを生成する。生成したポートフォリオは、サーバ３０が練習メニューを選択する際（例えば、サーバ３０は、ユーザが十分に行っていない種別の練習を選択する）に利用される。

－ステップＳ１０５－
当該ステップＳ１０５では、サーバ３０は、上記ステップＳ１０１で取得したセンシングデータを解析して、ユーザ（被指導者）の習熟状況や、目標状態に達するために必要な練習メニュー及び練習時間を推定する。また、サーバ３０は、センシングデータの解析に基づいて、ユーザの運動機能に係る筋肉等の疲労を推定し、ユーザが休憩をとるべきタイミングや休憩時間を推定してもよい。そして、サーバ３０は、このような推定とともに、ステップＳ１０３で得られたポートフォリオをも参照して、ユーザに提示する練習メニューを選択する。

－ステップＳ１０７－
当該ステップＳ１０７では、サーバ３０は、上記ステップＳ１０５で選択した練習メニューをユーザ（被指導者）に提示する。提示の形態の詳細については後述するが、当該ステップＳ１０７では、練習メニューやユーザが行うべき練習時間、休憩時間等を提示したり、ユーザに対するアドバイス等を提示したりする。さらに、当該ステップＳ１０７では、例えば、ステップＳ１０１で得られたセンシングデータ、当該センシングデータに基づく各種の指標や、ステップＳ１０３で得られたポートフォリオや、ステップＳ１０５で得られた習熟状況や習熟状況の経時変化等を提示してもよい。

（１．７．２ ポートフォリオの生成）
次に、上述したポートフォリオの生成について、図１１を参照して説明する。図１１は、本実施形態に係るポートフォリオの提示の一例を説明するための説明図である。本実施形態においては、先に説明したように、ユーザ（被指導者）の行った練習を分類し、分類ごとの練習時間を算出し、ポートフォリオを生成する。本実施形態によれば、練習を分類し、分類した練習の連取時間等を可視化することにより、ユーザ（被指導者、指導者）は、どのような練習が不足しているかを容易に把握することができる。

詳細には、本実施形態においては、ユーザ（被指導者、指導者）は、日々の練習において、どのような練習を行ったかをアプリケーション上で入力してもよい。同時に、ユーザは、練習中に気が付いた点や注意点等をアプリケーション上で入力してもよく、これら入力された情報は、スタディログとしてサーバ３０に格納されることとなる。また、本実施形態においては、ユーザが練習中に発した発話音声を収音し、収音した音声データに対して音声認識を行うことで、どのような練習を行ったかを推定してもよく、また、音声認識で得られた情報（例えば、音声から抽出されたアドバイス等）をスタディログとしてサーバ３０に格納してもよい。さらに、本実施形態においては、練習において被指導者が演奏したピアノ等の楽器の奏でる演奏音を収音し、収音した音データに対して解析を行うことで、どのような練習を行ったかを推定してもよい。すなわち、本実施形態においては、非指導者等の演奏（パフォーマンス）の練習に関する音として、被指導者、指導者の音声や演奏音等を収音し、収音した音に基づいて、練習を推定してもよい。また、本実施形態においては、サーバ３０は、各種センサ装置１０で得られたセンシングデータを解析して、どのような練習を行ったかを推定してもよい。

そして、図１１に示すように、サーバ３０は、ユーザ（被指導者）の行った練習を分類し、分類ごとの練習時間を算出し、ポートフォリオを生成し、表示する。具体的には、ポートフォリオを提示する画面表示６００では、分類された各練習の練習時間の割合を示す円グラフ６０２が表示される。図１１に示される円グラフ６０２では、ユーザが行った、表現探索学習、演奏に関するスキルの探索を行うスキル探索練習、及び、定着させる練習の練習時間の割合が表示される。このような円グラフ６０２によれば、ユーザは、自身の練習の過不足や偏りを明示的に知ることができる。

さらに、本実施形態においては、図１１に示されるように、どちらの手のスキルの習熟度が高いかを示す棒グラフ６０４や、表現探索学習においてどのような学習を行ったかを示すタイトル表示６０６等を含んでもよい。加えて、本実施形態においては、サーバ３０は、図１１に示されるように、不足している練習を抽出し、抽出内容に基づいて、ユーザ（被指導者）に対して、不足している練習を行うことを推奨する文言を含む表示６０８を示してもよい。

本実施形態によれば、ポートフォリオを提示することにより、ユーザ（被指導者、指導者）は、どのような練習が不足しているかを容易に把握することができる。さらに、本実施形態によれば、指導者が被指導者の練習に立ち会っていなくても、不足している練習を容易に把握することができることから、被指導者の遠隔地にいる場合であっても、指導を行うことができる（例えば、コンサルティング等）。

また、先に説明したように、上述のステップＳ１０７においては、サーバ３０は、被指導者の習熟状況に応じて、練習メニューやアドバイスを提示する。そこで、以下においては、本実施形態において提案する内容（練習メニュー）について、練習の種別ごとに説明する。

（１．７．３ 表現探索学習）
まずは、図１２から図１７を参照して、表現探索学習の一例を説明する。図１２から図１７は、表現探索学習に係る練習メニューの一例を説明するための説明図である。表現探索学習は、演奏しようとする楽曲の解釈及び感性に関する学習を行う過程であり、楽曲の楽譜の分析（読譜も含む）や、試行錯誤を通じて理想的な表現を探索・決定する過程である。このような表現探索学習が不十分であると、機械的で表現力の乏しい演奏や、同一の楽曲を演奏した場合であっても表現の違う即興的な演奏となってしまうことがある。特に、所望するイメージの表現を追求することは、ユーザ（被指導者）の感性や美的感覚に基づいて学習が進むため、脳科学的には報酬に基づく学習である強化学習の１つであるといえ、後述するスキル等の定着にも影響する。

本実施形態においては、サーバ３０は、ユーザ（被指導者）が習得中の楽曲と同一の楽曲を演奏している他の演奏者の音データ又は動画を、表現探索学習を支援する練習メニューの１つとして提示してもよい。例えば、サーバ３０は、図１２に示すような画面表示６１０を被指導者に向けて示すことができる。当該画面表示６１０は、他の演奏者の画像を提供するために、複数のボタン６１２ａ、６１２ｂを含み、被指導者は当該ボタン６１２ａ、６１２ｂを操作することにより、所望する他の演奏者の画像を視聴することができる。さらに、当該画面表示６１０は、他の演奏者の画像を視聴することなく練習を続けることを選択するボタン６１２ｃを含んでもよい。

さらに、本実施形態においては、サーバ３０は、図１３に示すような画面表示８２０を被指導者に向けて示してもよい。当該画面表示８２０は、同一の楽曲の異なる解釈を学習するための練習メニューを提供する画面であり、例えば、ショパン作曲の前奏曲（Ｏｐ．２８）の冒頭部分を異なる演奏者が解釈した結果に基づく複数の楽譜を表示している。なお、当該楽譜においては、主要な音として解釈された音に対応する音符については、他の音符に比べて大きく示しているものとする。すなわち、本実施形態においては、演奏者の解釈に応じて、楽譜上の音符の大きさを変化させて表示してもよい。さらに、当該画面表示８２０は、各楽譜に対応する複数のボタン８２２ａ、８２２ｂ、８２２ｃを含み、被指導者は当該ボタン８２２ａ、８２２ｂ、８２２ｃを操作することにより、所望する解釈に対応する演奏データを聞くことができる。このように、本実施形態においては、被指導者は、同一の楽曲等の様々な解釈による表現に触れることにより、自身の表現の探索を深めることができる。

また、本実施形態においては、被指導者が学習中の楽曲の作曲家の他の楽曲や、違う作曲家が作曲し、当該楽曲と同一フレーズや同一和声進行を持つ他の楽曲を、表現探索学習を支援する練習メニューの１つとして提示してもよい。例えば、サーバ３０は、図１４に示すような画面表示６２０を被指導者に向けて示してもよい。図１４の例では、画面表示６２０は、被指導者がシューベルト作曲の「アヴェ・マリア」の演奏法を学習中であることから、当該楽曲の関連知識を表示するウィンドウ表示６２２を含むとともに、当該楽曲が含まれる歌曲の視聴を行うためのボタン６２４を含む。被指導者は、当該ボタン６２４を操作することにより、該当する歌曲の画像を視聴することができる。さらに、当該画面表示６２０は、歌曲の画像を視聴することなく練習を続けることを選択するボタン６２６を含んでもよい。

さらに、本実施形態においては、被指導者が学習中の楽曲と関連する小説や絵画等の関連知識を、表現探索学習を支援する練習メニューの１つとして提示してもよい。例えば、サーバ３０は、図１５に示すような画面表示６３０を被指導者に向けて示してもよい。図１５の例では、画面表示６３０は、被指導者がドビッシー作曲の「交響詩 海」の演奏法を学習中であることから、当該楽曲の関連知識として、当該楽曲の初版スコアの表示に掲載された葛飾北斎の富嶽三十六景を表示するボタン６３４を含む。被指導者は、当該ボタン６３４を操作することにより、該当する楽曲に関連する絵画を見ることができる。さらに、当該画面表示６３０は、被指導者がドビッシー作曲の「交響詩 海」の演奏を学習中である旨を示すウィンドウ表示６３２と、絵画を見ることなく練習を続けることを選択するボタン６３６とを含んでもよい。さらに、本実施形態においては、関連知識として、学習中の楽曲を作曲した作曲家の伝記、手紙、手記等を提示してもよい。このような関連知識を学習することにより、被指導者は、楽曲の対する深い理解を得ることができる。

また、本実施形態においては、被指導者が学習中の楽曲の楽譜を提示し、様々な解釈やアレンジ（例えば、和声進行、リズム構造、ポリフォニー、指使い、フレーズ等）を提示してもよく、被指導者に対してこのようなアレンジの試行を行わせたりしてもよい。例えば、サーバ３０は、図１６に示すような画面表示６４０を被指導者に向けて示すことができる。図１６の例では、被指導者が学習中の楽曲に、被指導者自身が和音を付す学習を行うための画面表示６４０を示している。当該画面表示６４０は、学習中の楽曲の楽譜の一部を示す楽譜表示６４２と、被指導者が付した和音が表示される楽譜表示６４４とを含む。被指導者は、アプリケーション上で、楽譜表示６４２の表示されたメロディに和音を付し、メロディに和音を付し終えた場合には、当該メロディとともに、被指導者が付した和音が出力され、和音進行のルールに従って好適な和音が付されたどうかを音データで確認することができる。

さらに、本実施形態においては、被指導者の演奏の音データにモーフィングをかけることもでき、このようなモーフィングを行うことで、被指導者は表現の探索を深めることができる。具体的な例としては、本実施形態においては、被指導者の演奏の音データにおける、リズム、アーティキュレーション、メロディ間の音量のバランス、右手及び左手の音量バランス等を被指導者の操作に応じて変更することができる。言い換えると、本実施形態においては、被指導者の演奏の音データに対してエフェクト効果を与えることができる。そして、このようなエフェクト効果が与えられた音データを再生することにより、被指導者は、表現の探索空間を広げることができる。

例えば、サーバ３０は、図１７に示すような画面表示６５０を被指導者に向けて示すことができる。図１７の例では、画面表示６５０は、被指導者が演奏した楽曲の楽譜の一部を示す楽譜表示６５２を含む。さらに、画面表示６５０は、楽譜表示６５２の一部を取り囲む枠６５４と共に、枠で囲まれた範囲における、右手及び左手の音量バランスを変更するカーソル６５６ａと、テンポを変更するカーソル６５６ｂを含む。被指導者は当該カーソル６５６ａ、６５６ｂを操作することにより、枠内囲まれた範囲の音量バランス及びテンポを変更することができる。さらに、画面表示６５０は、楽譜表示６５２に示される楽譜の範囲の演奏データを再生する再生ボタン６５８を含んでいてもよい。また、本実施形態においては、各旋律を別個の楽器に置き換えてオーケストレーション等してもよい。

（１．７．４ スキル探索練習）
次に、図１８から図２０を参照して、スキル探索練習の一例を説明する。図１８から図２０は、スキル探索練習に係る画面表示の一例を説明するための説明図である。本実施形態において、スキル探索練習は、特定の演奏スキル（技能）を習得するためのトライ＆エラーを繰り返す練習過程である。このようなスキル探索練習は、演奏中における筋肉の不必要な力みを減らしたり、ミスを減らしたり、所望する音・表現を作り出したりするための、身体の使い方や姿勢、注意の向け方、感覚の使い方（何を聴こうとするか、いつどこを見るか等）を試行錯誤しつつ、探索する過程であるといえる。

本実施形態においては、サーバ３０は、ピアノから得られる鍵盤の上下運動や、指先が鍵盤に触れた位置、鍵盤に加わった力の経時変化の情報であるセンシングデータ等に基づいて、被指導者のスキルの習熟状況や特徴を解析する。さらに、サーバ３０は、先に説明したように、解析によって得られたスキルの習熟状況や特徴を数値化してもよく、数値化したデータを直接的に被指導者に示してもよい。そして、サーバ３０は、解析によって得られたスキルの習熟状況や特徴に基づいて目標状態に対してユーザが足りないスキルを抽出し、抽出した結果に基づいて被指導者にアドバイス（例えば、「手首をもっと高く」、「肩を上げない」、「頭を前後に動かさない」、「背筋を丸めない」等のフォームの修正のアドバイス）や練習メニュー（例えば、足りないスキルを向上させるための練習メニューや練習スケジュール等）を提示してもよい。また、提示されるアドバイス等は、練習中に、指導者が被指導者に与えたアドバイスや宿題等であってもよく、サーバ３０は、これらの情報を、指導者によって入力してもらう、もしくは、指導者の音声を音声認識してテキスト化することにより取得してもよい。

また、サーバ３０は、先に説明したように、スキル探索練習時間に対する習熟状況の経時変化を解析し、被指導者が目標状態に達するために必要なスキル探索練習の練習時間を推定し、推定した練習時間を提示してもよい。また、サーバ３０は、被指導者の運動機能に関するセンシングデータを用いて、スキル探索練習の練習時間に対する運動機能の経時変化を解析し、例えば、当該運動機能に係る筋肉等の疲労を推定し、推定に応じた練習時間や、被指導者が休憩をとるタイミング等を提示してもよい。

さらに、サーバ３０は、上述した提示とともに、被指導者の演奏の動画像や演奏音を再生してもよい。この場合、被指導者の所望に応じて、これらの再生速度を変化させてもよい。このようにすることで、被指導者は自身の演奏の必要な箇所を詳細にチェックすることができる。また、本実施形態においては、動画像の代わりに、被指導者の演奏の際の動作に対応するイメージからなるアニメーションを再生してもよい。さらに、上述した提示は、表示装置による提示に限定されるものではなく、音声出力装置によるアドバイスの音声出力であってもよく、力覚ロボット５０ｃ等のハプティックデバイスによる被指導者に対するバイオフィードバックであってもよい。

本実施形態においては、サーバ３０は、被指導者のスキル探索練習の最中に、図１８に示すような画面表示６６０を被指導者に示すことにより、アドバイスを提示してもよい。例えば、当該画面表示６６０は、被指導者が打鍵する鍵盤を模式的に示した鍵盤表示６６２と、被指導者の打鍵による鍵盤の上下動の経時変化を示す経時変化表示６６４とともに、被指導者へのアドバイスを表示するウィンドウ表示６６６、６６８を含んでもよい。さらに、ウィンドウ表示６６８に示すアドバイスに関連する鍵盤を示す枠６７０を鍵盤表示６６２に重畳して表示してもよい。

また、例えば、サーバ３０は、図１９に示すような画面表示６８０を被指導者に示すことにより、アドバイスを提示してもよい。例えば、当該画面表示６８０は、被指導者が打鍵する鍵盤を模式的に示した鍵盤表示６８２と、被指導者の打鍵による鍵盤の上下動の経時変化を示す経時変化表示６８４とともに、被指導者へのアドバイスを表示するウィンドウ表示６８６、６８８を含んでもよい。さらに、ウィンドウ表示６８６に示すアドバイスに関連する鍵盤を示す枠６９０を鍵盤表示６８２に重畳して表示してもよい。

さらに、例えば、サーバ３０は、図２０に示すような画面表示７００を被指導者に示してもよい。例えば、当該画面表示７００は、被指導者が打鍵する動画を表示する動画表示７０８を含み、さらに、動画像の再生に応じて、動画像上で被指導者が演奏する楽曲の一部を含む楽譜を示す楽譜表示７０２を含む。さらに、楽譜表示７０２と重畳して表示される枠７０６をスライドさせることにより、動画を作成する範囲を設定することができ、さらに、カーソル７０４を操作することにより、動画の再生速度を制御することができる。

このように、本実施形態においては、スキル探索練習において、スキルに係る運動要素のデータ（経時変化）だけでなく、各種のアドバイス等を提示することにより、被指導者のスキルの習得を効果的に支援することができる。さらに、本実施形態においては、図１８から図２０に示されるような形態に限定されるものではなく、数値化された各スキルの習熟度に関する情報を円グラフ、棒グラフ等のグラフで表示してもよく、数値自信をテキスト表示してもよい。さらに、本実施形態においては、被指導者のスキルの習熟レベルをすごろく的に表示してもよく、このようにすることで、現状の被指導者のスキルの習熟レベルが目標状態に対してどのあたりに位置しているかを容易に把握することが可能となる。

さらに、本実施形態においては、サーバ３０は、本番前の練習等にて緊張で心拍数が上がっている等を検出した場合には、深呼吸等のリラックスするための動作を促すアドバイスを提示してもよい。また、練習の緊張状態を本番時の緊張状態に近づけて練習を行うことにより、本番時のパフォーマンスの低下を予防できると言われていることから、逆に、練習時の心拍数が低すぎる場合には、サーバ３０は、緊張時に近づけて練習するように促すアドバイスを提示してもよい。

（１．７．５ 機能の向上トレーニング）
次に、図２１から図２４を参照して、機能の向上トレーニングの一例を説明する。図２１から図２４は、機能の向上トレーニングの一例を説明するための説明図である。

ところで、上述したようなスキル探索練習を反復しても、目標とする演奏を実現できない場合がある。例えば、被指導者が指同士を独立に動かすことができないために、演奏のリズムが不正確になることや、被指導者が音色の違いを聴き分けられないために、異なる音色の音を実現できないことがある。このような場合、スキル探索練習よりも、被指導者の運動機能や感覚機能を高めるトレーニングを行うことが効果的である。

そこで、本実施形態においては、楽器から離れて行う「基礎的機能の向上トレーニング（ストレッチや筋トレ、聴覚機能訓練やビジョントレーニング等）」を提示する。本実施形態において提示するトレーニングとしては、既存のトレーニング法（例えば、「スズキメソッド」や「ミキモトメソッド」等）であってもよく、ゲーム形式のトレーニングであってもよい。なお、このような機能向上トレーニングによって運動機能や感覚機能を向上させるためには、当該トレーニングを反復して行うことが求められる。従って、本実施形態においては、ゲーム性を高めたり、被指導者の機能の経時変化を示したりすることにより、被指導者のトレーニングを行うモチベーションを高めることが好ましい。さらに、本実施形態においては、長期間トレーニングを行っていない場合には、アラートを被指導者に提示して、トレーニングの再開を促すことが好ましい。

詳細には、本実施形態においては感覚機能の向上トレーニングとして、例えば、図２１に示すように、２つの刺激（音色）を連続的に提示し、どちらをどう感じるかを被指導者に選択させるトレーニングを挙げることができる。本実施形態においては、被指導者が正解した場合には報酬を与えたり、不正解の場合には罰を与えたりすることによって、ゲーム性が増すことから、被指導者のトレーニングを反復するモチベーションを高めている。さらに、本実施形態においては、被指導者は最初から正解を選択することができなくても、２つの音色を聞き、正解を認識するといった動作を繰り返すことにより、音色を聞きわける感覚機能を向上させることができる。

例えば、図２１に、音色を聞き分けるトレーニングのための画面表示７１０が示されている。当該画面表示７１０は、被指導者への問いを示すウィンドウ表示７１２と、聞き分ける対象となる音色を出力するための操作の対象となるボタン７１４ａ、７１４ｂと、問いに対する答えを入力するためのボタン７１６ａ、７１６ｂとが含まれる。被指導者は、ボタン７１４ａ、７１４ｂに対して操作を行い、２つの音色を聞き、その答えを、ボタン７１６ａ又はボタン７１６ｂに対して操作を行うことにより入力することができる。

さらに、図２２に、被指導者が正解した場合に提示される画面表示７２０の一例が示されている。当該画面表示７２０は、被指導者へ正解である旨を示すウィンドウ表示７２２と、正解であることから被指導者が獲得した報酬を示す点数表示７２４と、トレーニングを継続するか、停止するかを入力するボタン７２６、７２８とを含む。

さらに、上述の音色を聞き分けるトレーニングにおいては、段階的に、２つの音色の差を小さくしていってもよく、このようなトレーニングを繰り返すことにより、サーバ３０は、被指導者がどの程度の差まで聞き分けることができるのか、すなわち、被指導者の聴覚の閾値評価を行うことができる。また、本実施形態においては、表示装置（図示省略）や力覚ロボット５０ｃ等のハプティックデバイスと組み合わせることにより、被指導者の視覚機能（例：周辺視や動体視力）、触覚機能や力覚機能の知覚閾値の評価も行うことができる。すなわち、本実施形態においては、感覚機能のトレーニングを通じて、被指導者は、自身の感覚機能の状態を容易に認識することができ、さらに、目標等（例えば、教師データや他の演奏者のデータ等）と比較することにより、自身の感覚機能の得意、不得意を認識することもできる。

なお、本実施形態においては、感覚機能の向上トレーニングは、２つの音色の硬さを聞き分けるだけでなく、音量、発音タイミング、音色、響き、音質、和音、リズム等の聞き分けるトレーニングであってもよい。さらに、本実施形態においては、感覚機能のトレーニングとして、被指導者に対して楽譜を所定の時間だけ提示し、次に、同じ楽譜において一音だけ音を抜いた状態の楽譜に従った演奏音を提示し、被指導者に、抜いた音が何の音であったかを答えさせてもよい。このようなトレーニングによれば、被指導者の、感覚機能の向上だけでなく、初見演奏技能の向上や、読譜力の向上を図ることができる。また、本実施形態においては、感覚機能のトレーニングは、ピアノの旋律に別の楽器の音色を割り当てて、被指導者が楽器を聞き分けるようなトレーニングであってもよい。このようなトレーニングによれば、感覚機能の向上だけでなく、様々な楽器の音による同一旋律の聴き比べを行うことができることから、上述した表現探索学習も同時に行うことができる。

本実施形態においては、運動機能の向上トレーニングとして、例えば、図２３に示すような指の運動のトレーニングを提示してもよい。例えば、図２３に示す画面表示７３０は、被指導者に、指の運動の独立性を高めるトレーニングの一種である指寄せ運動のトレーニングを提示する画面である。なお、指寄せ運動とは、最初に、全ての隣り合う指同士が接するような状態にし、次に、親指と人差し指の間を広げ、当該親指と当該人差し指が接するような状態にし、次に、人差し指と中指の間を広げ、当該人差し指と当該中指が接するような状態にすることを、順次、親指から小指まで繰り返す運動である。このような運動を素早く行うことにより、指の運動の独立性を高めることができるといわれている。

より具体的には、図２３に示す画面表示７３０は、被指導者へ指寄せ運動のトレーニングを促す旨の文言を含むウィンドウ表示７３２と、当該運動の方法の動画等を提示して説明するモードを選択するためのボタン７３４と、当該トレーニングを開始するためのボタン７３６とを含む。さらに、画面表示７３０は、被指導者が当該運動を行わないモードを選択するためのボタン７３８も含んでもよい。なお、このようなトレーニングを行う際には、被指導者は、指サック型センサ装置１０ｅ等のセンサ装置１０を指先に装着していることが望ましい。このようにすることで、サーバ３０は、被指導者の指が正しく動いているか、及び、その動作速度を検出することができる。

なお、本実施形態においては、運動機能の向上トレーニングは、上述した指寄せ運動のトレーニングだけでなく、例えば、力覚ロボット５０ｃにより、動作を提示し、提示された動作を被指導者によって正確に素早く再現するようなトレーニングであってもよい。また、本実施形態においては、運動機能の向上トレーニングは、複数の指の間で、異なる大きさやタイミングで力を発揮するようなゲーム形式のトレーニングであってもよい。さらに、本実施形態においては、運動機能の向上トレーニングは、所定の指において力を発揮させながら、他の指をストレッチさせるようなトレーニング（例えば、中指を曲げようとしながら、薬指を伸ばす等）であってもよい。特に、指に関しては、ある指の動作を意識すると、他の指もその動作につられて運動してしまう傾向があり、ピアノの演奏においては、一般的に、このような傾向を抑え、自由に各指が独立して動かすことができることが好ましい。そこで、本実施形態においては、ピアノ演奏のための運動機能のトレーニングとしては、上述したような指の独立性を高めるトレーニングを提示することが好ましい。

さらに、本実施形態においては、運動機能の向上トレーニングの際に、被指導者の身体に装着したセンサ装置１０のよって運動の速度や正確性を検出し、数値化することで、トレーニングのゲーム性を高めてもよい。このようにすることで、本実施形態によれば、被指導者の運動機能の向上トレーニングを行うモチベーションを高めることができる。また、本実施形態においては、上記感覚機能及び運動機能の向上トレーニングの課題レベルを段階的に設定し、所定のレベルをクリアした場合、次に、好適な課題レベルのトレーニングを提案するようにしてもよい。また、本実施形態においては、機能の向上トレーニングは、楽器が目の前になくても行うことができることから、ゲームとして提供することができ、被指導者は、エンターテイメントとして上述のトレーニングを楽しみながら、機能の向上を図ることができる。

また、本実施形態においては、サーバ３０は、被指導者のモチベーションをより高めるために、機能の向上トレーニングにおけるランキングを提示してもよい。先に説明したように、本実施形態においては、機能の向上トレーニングの際に、被指導者の正解回答率を取得したり、被指導者の身体に装着したセンサ装置１０のよって運動の速度や正確性を検出し、数値化したりすることができることから、各演奏者の機能の向上トレーニングにおけるランキングを生成、提示することができる。なお、本実施形態においては、当該ランキングは、演奏者のピアノ経験年数ごとや、年齢、性別ごとに生成してもよい。さらに、本実施形態においては、機能の向上トレーニングにおけるランキングだけでなく、上述したスキル探索練習における習熟状況を数値化して、ランキングを生成してもよい。このような場合、楽曲ごと、作曲家ごと等にランキングを生成してもよい。

より具体的には、サーバ３０は、図２４に示すような画面表示７４０を提示することができる。当該画面表示７４０は、各演奏者のランキングや点数を示すランキング表示７４２や、被指導者のランキングの順位や点数を示すウィンドウ表示７４４を含む。本実施形態においては、このようなランキングを提示することにより、被指導者のトレーニングを行うモチベーションを高めることができる。

（１．７．６ 記憶の定着のための練習）
先に説明したように、被指導者が所望する表現を実現することができるスキルが習得できた場合、その習得したスキル等を被指導者の頭脳、神経及び身体に定着させることが求められる。そのためには、所望する表現のためのスキルを反復練習することが一般的であるが、単に反復練習を行えばよいのではなく、好適なスケジュールに従って反復練習を行うことにより、故障を避け、効率的な定着を実現することができる。また、先に説明したように、必要以上に反復練習を行うことにより、疲労の蓄積や、モチベーションの低下が生じることから、必要以上に反復練習を行うことは、効率的な定着の阻害要因となる可能性がある。さらに、必要以上に反復練習を行うことは、阻害要因になるだけでなく、場合によっては、被指導者が指を痛める等の故障の原因になることもある。

そこで、本実施形態においては、効率的な定着のために、いつ練習すれば良いか、練習の間にどの程度の休憩を取るべき等、好適な練習のスケジュールを被指導者に提示する。以下に、図２５から図２７を参照して、記憶の定着のための練習の一例を説明する。図２５から図２７は、記憶の定着のための練習の一例を説明するための説明図である。

記憶の定着において重要な要素の１つとして、休憩の取り方が挙げられる。複数のスキルを定着させようとして、複数のスキルの反復練習を行うと、スキル同士が干渉しあって、片方のスキルしか定着しないことが多い。例えば、図２５の上段に示されるように、同程度の練習量でスキルＡとスキルＢ（例えば、スキルＡとスキルＢは、異なるメロディを演奏するためのスキル（技能）であるとする）を連続して練習すると、スキルＢの定着がスキルＡの定着を阻害し、結果的に、スキルＢしか定着しないことがある。また、スキルＡの練習量がスキルＢの練習量に比べて多い場合には、スキルＡとスキルＢとを連続して練習すると、スキルＡのみが定着し、スキルＢが定着しないこととなる。

一方、図２５の下段に示されるように、スキルＡの練習後、３～６時間の休憩を挟み、スキルＢを練習した場合、結果的にスキルＡとスキルＢの両方が定着することとなる。これは、休憩を行うことで、スキルＡの記憶が短期記憶から長期記憶に移行するためであると言われている。従って、たくさんの楽曲を演奏するスキルを定着させる必要がある場合や、練習のモチベーションを維持するために、異なる楽曲の演奏法を同時に定着させようとする場合には、どの練習をどの程度行い、休憩をどの程度挟むかといった、練習のスケジューリングを好適に行うことが重要となる。

従って、本実施形態においては、サーバ３０は、スキルごとの練習時間や習熟状況を解析し、今後も各スキルがバランスよく練習されるように練習時間の配分を決定し、提示したり、各スキルの練習時間の間に好適な休憩時間を取るように提示したりしてもよい。さらに、本実施形態においては、サーバ３０は、センサ装置１０で取得した各種のセンシングデータを分析し、運動の正確性や速度を参照して、被指導者の定着度を推定してもよく、被指導者がスキルを定着するために必要な練習時間を推定し、提示してもよい。詳細には、例えば、サーバ３０は、練習時間に対する数値化した定着状況の経時変化（例えば、打鍵の正確性、再現性等）をプロットし、回帰分析を行うことで、定着状況の経時変化の傾向を解析する。さらに、サーバ３０は、得られた傾向を用いて外挿することにより、定着に達するために必要な練習時間を推定してもよい。なお、本実施形態においては、サーバ３０は、上述のような方法で推定することに限定されるものではなく、例えば、上述した機械学習を用いて傾向を解析し、解析結果に基づいて推定を行ってもよい。

また、本実施形態においては、サーバ３０は、各種のセンシングデータを分析し、被指導者の疲労の程度を推定してもよい。例えば、センシングデータを解析することにより、演奏者の身体の一部の動きに関する特徴（例えば、素早さ等）の経時変化を取得することができる。さらに、サーバ３０は、このような経時変化から、向上が見られなくなった時点や、低下がみられた時点を検出することにより、被指導者の身体の筋線維等の疲労度を推定することができる。そして、本実施形態においては、疲労が必要以上に蓄積したり、モチベーションの低下になったりすることを避けるために、サーバ３０は、所定の閾値以上の疲労が推定された場合には、被指導者に休憩を提案するような提示を行い、且つ、当該疲労を好適に解消するための休憩時間を提示することが好ましい。

例えば、サーバ３０は、図２６に示すような画面表示７５０を被指導者に示すことにより、練習を長時間続ける被指導者に休憩を提案してもよい。例えば、当該画面表示７５０は、休憩を促す文言を表示するウィンドウ表示７５２と、被指導者が定着を目指すスキルの経時変化を示す経時変化表示７５４とを含んでいてもよい。このような画面表示７５０を行うことで、被指導者に休憩を促すとともに、スキルの低下があることから疲労がみられることを示すことで、休憩の提案に対してより納得感が感じられるようにすることができる。本実施形態によれば、このような画面表示７５０を行うことで、より効果的に定着を行うことができる。さらに、本実施形態によれば、長時間の練習等による疲労や故障のリスクを避けることができる。

さらに、本実施形態においては、サーバ３０は、図２７に示すような画面表示７６０を被指導者に示すことにより、休憩を取る効果を明示的に示してもよい。当該画面表示７６０は、被指導者が定着を目指すスキルの経時変化が示されており、休憩をはさむことで、どのようにスキルが変化するかを容易に把握することができる。さらに、当該経時変化には、被指導者が休憩をとった時間も示されている。本実施形態においては、このような経時変化を見ることにより、被指導者は休憩の重要性を認識することができ、サーバ３０の提案に従って休憩を取るように促すことができる。さらに、このような経時変化ともに、サーバ３０に格納されたスタディログを参照することにより、被指導者は、どういった練習によって、どのようなスキル等が向上したかを容易に知ることができ、よりよい練習メニューを考える材料ともなる。

＜１．８．提示の一例＞
次に、本実施形態に係る提示の一例について、図２８から図３０を参照して説明する。図２８から図３０は、本実施形態に係る提示の一例を説明するための説明図である。本実施形態においては、被指導者に対する提示については、これまで説明したように様々な手段や形態を用いることができる。さらに、本実施形態の提示の一例として、スマートグラス５０ｄを用いた提示を説明する。

詳細には、本実施形態においては、スマートグラス５０ｄを用いて、実空間上の物体等の上、例えば、被指導者の身体やピアノ等の楽器の上に、各種センシングデータに基づく各種の情報を、仮想オブジェクトとして重畳表示することができる。より具体的には、図２８に示すように、例えば、被指導者の指先が鍵盤を打鍵した位置や、鍵盤の加速度の情報を示すマーカ８００をピアノの鍵盤上に重畳表示することができる。また、例えば、手の加速度や筋活動量の情報が反映された色の濃淡を持つマーカ８０２を被指導者の手の上に登場表示してもよい。また、ピアノではなく、例えばバイオリン等である場合には、被指導者の指が弦を押さえた位置や、弓が弦を擦る速度や加速度、弦と弓との接触位置を弦の上に重畳表示してもよい。このように、本実施形態によれば、通常は目に見えない情報を、仮想オブジェクトを用いて「見える化」することで、被指導者自身の演奏におけるクセや課題を明確に認識することが容易となる。

さらに、本実施形態においては、スマートグラス５０ｄを用いて、楽器の内部状態を仮想的に可視化してもよい。ところで、一部の演奏者（特に、プロフェッショナルピアニスト）においては、鍵盤の動きを弦に伝えるハンマーをはじめとするアクション機構の動きをイメージしながらトレーニングすることにより、鍵盤へのタッチ等の繊細な感覚を習得していると言われている。しかしながら、例えば、ピアノの場合、鍵盤の手前半分は、ピアノの外部に露出しているため動きは直接的に視認できるが、鍵盤の奥半分はピアノ内部にあるために動きを視認することができない。さらに、上記アクション機構の動きについても、同様にピアノ内部にあるために、視認することができない。

そこで、本実施形態においては、ピアノ内部に撮像装置（図示省略）を設置し、上記アクション機構の動きを撮像し、撮像したアクション機構の動画を、スマートグラス５０ｄを用いて、ピアノの正面にリアルタイムで重畳表示する。もしくは、本実施形態においては、上記アクション機構に当該機構の動きを検出するセンサ装置１０をピアノ内部に設置して、当該センサ装置１０によって検出された動きをアニメーション化してもよい。この場合、図２９に示すように、当該アニメーション８１０は、スマートグラス５０ｄを用いて、ピアノの正面に重畳表示されることとなる。さらに、本実施形態においては、サーバ３０は、圧力センサ等のセンサ部１００によって得られた鍵盤の動きのセンシングデータから上記アクション機構の動きを推定し、推定した動きをアニメーション化し、重畳表示してもよい。

本実施形態においては、通常は目に見えないピアノ内部のアクション機構の動きが各種の仮想オブジェクトによって「見える化」されることから、被指導者は、アクション機構の動きを意識しながら練習を行うことができる。従って、本実施形態によれば、鍵盤へのタッチ等の繊細な感覚を習得する際に有効な練習を提供することができる。

さらに、本実施形態においては、図３０に示すように、スマートグラス５０ｄを用いて、仮想的に聴衆、審査員及びコンサートホールのイメージを重畳表示してもよい。具体的には、本実施形態においては、被指導者がピアノを演奏する場合には、スマートグラス５０ｄに装着されたモーションセンサ（図示省略）等により被指導者の頭部の角度を検出し、角度に応じて（例えば、被指導者の頭部が観客席の方向に向いていることを検出した場合に）聴衆のイメージを表示させたり、当該イメージを変化させて表示したりすることが好ましい。さらに、本実施形態においては、被指導者の演奏するピアノの音をセンシングデータとして収音し、当該センシングデータの変化に応じて、表示する聴衆のイメージを変化させてもよい。このようにすることで、被指導者に臨場感を与えることができる。従って、本実施形態によれば、被指導者は、実際には目の前に存在しない聴衆や審査員を意識した上で練習を行うことにより、本番のような状況、すなわち、ホールで聴衆等の前で演奏する状況を仮想的に体験することができる。このようにすることで、本実施形態によれば、聴衆等の前で演奏すると必要以上に緊張してしまうような演奏家の「アガリ」に対するトレーニングを行うことができる。

＜＜２．まとめ＞＞
以上説明したように、上述した本開示の実施形態によれば、パフォーマンスの習得支援を効果的に行うことができる情報処理装置、情報処理方法及びプログラムを提供することができる。より詳細には、本開示の実施形態によれば、例えば、好適な練習メニュー、練習時間、休憩、アドバイス等を、好適な感覚モダリティ（視覚、聴覚、触覚等）や好適な形式（ゲーム形式、ランキング形式等）によってユーザに提供することができることから、当該ユーザのパフォーマンスの習得支援を効果的に行うことができる。なお、本開示の実施形態に係る情報処理プラットフォーム１は、他のシステムや装置やセンサ等と統合して使用することができる。

＜＜３． ハードウェア構成について＞＞
図３１は、本実施形態に係る情報処理装置９００のハードウェア構成の一例を示す説明図である。図３１では、情報処理装置９００は、上述のサーバ３０のハードウェア構成の一例を示している。

情報処理装置９００は、例えば、ＣＰＵ９５０と、ＲＯＭ９５２と、ＲＡＭ９５４と、記録媒体９５６と、入出力インタフェース９５８とを有する。さらに、情報処理装置９００は、力覚デバイス９６０と、表示デバイス９６２と、音声出力デバイス９６４と、通信インタフェース９６８と、センサ９８０とを有する。また、情報処理装置９００は、例えば、データの伝送路としてのバス９７０で各構成要素間を接続する。

（ＣＰＵ９５０）
ＣＰＵ９５０は、例えば、ＣＰＵ等の演算回路で構成される、１又は２以上のプロセッサや、各種処理回路等で構成され、情報処理装置９００全体を制御する主制御部３１０として機能する。

（ＲＯＭ９５２及びＲＡＭ９５４）
ＲＯＭ９５２は、ＣＰＵ９５０が使用するプログラムや演算パラメータ等の制御用データ等を記憶する。ＲＡＭ９５４は、例えば、ＣＰＵ９５０により実行されるプログラム等を一時的に記憶する。ＲＯＭ９５２及びＲＡＭ９５４は、情報処理装置９００において、例えば、上述の記憶部３４０の機能を果たす。

（記録媒体９５６）
記録媒体９５６は、上述の記憶部３４０として機能し、例えば、本実施形態に係る情報処理方法に係るデータや、各種アプリケーション等様々なデータを記憶する。ここで、記録媒体９５６としては、例えば、ハードディスク等の磁気記録媒体や、フラッシュメモリ等の不揮発性メモリが挙げられる。また、記録媒体９５６は、情報処理装置９００から着脱可能であってもよい。

（入出力インタフェース９５８、力覚デバイス９６０、表示デバイス９６２及び音声出力デバイス９６４）
入出力インタフェース９５８は、例えば、力覚デバイス９６０、表示デバイス９６２及び音声出力デバイス９６４等を接続する。入出力インタフェース９５８としては、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子や、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）端子、ＨＤＭＩ（Ｈｉｇｈ-Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）（登録商標）端子、各種処理回路等が挙げられる。

力覚デバイス９６０は、上述のフィードバック装置５０の力覚機構５６０として機能し、表示デバイス９６２は、フィードバック装置５０の表示部５７０として機能し、音声出力デバイス９６４は、フィードバック装置５０の音声出力部５８０として機能する。表示デバイス９６２としては、例えば、液晶ディスプレイや有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ-Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等が挙げられる。

なお、入出力インタフェース９５８が、情報処理装置９００の外部の操作入力デバイス（例えば、キーボードやマウス等）や外部の表示デバイス等の、外部デバイスと接続することも可能であることは、言うまでもない。

（通信インタフェース９６８）
通信インタフェース９６８は、通信部３３０として機能する情報処理装置９００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部装置と、無線又は有線で通信を行うための通信部として機能する。ここで、通信インタフェース９６８としては、例えば、通信アンテナおよびＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）端子および送受信回路（有線通信）等が挙げられる。

以上、情報処理装置９００のハードウェア構成の一例を示した。なお、情報処理装置９００のハードウェア構成は、図３１に示す構成に限られない。詳細には、上記の各構成要素は、汎用的な部材を用いて構成してもよいし、各構成要素の機能に特化したハードウェアにより構成してもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。

例えば、情報処理装置９００は、接続されている外部の通信デバイスを介して外部装置等と通信を行う場合や、スタンドアローンで処理を行う構成である場合には、通信インタフェース９６８を備えていなくてもよい。また、通信インタフェース９６８は、複数の通信方式によって、１又は２以上の外部装置と通信を行うことが可能な構成を有していてもよい。

また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティング等のように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置により本実施形態に係る情報処理方法に係る処理を行う情報処理システムとして実現することも可能である。

＜＜４．補足＞＞
なお、先に説明した本開示の実施形態は、例えば、コンピュータを本実施形態に係る情報処理装置として機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含みうる。また、プログラムをインターネット等の通信回線（無線通信も含む）を介して頒布してもよい。

また、上述した本開示の実施形態の情報処理方法における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理方法についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能部によって他の方法で処理されていてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。すなわち、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書から把握され得る他の効果が奏されてもよい。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ユーザの身体の少なくとも一部が動作することによって行われるパフォーマンスの練習における、前記ユーザの運動要素の運動パターン、運動速度、運動正確性、運動量、及び、当該パフォーマンスによって生じる結果の状態のうちの少なくとも１つに関するセンシングデータを取得するセンシングデータ取得部と、
取得した前記センシングデータを解析し、前記解析の結果に基づいて、前記ユーザの当該パフォーマンスの練習に関する情報を推定する解析部と、
前記推定の結果を前記ユーザに出力する出力部と、
を備える、情報処理装置。
（２）
前記練習に関する情報は、練習時間、休憩時間、前記ユーザの休憩のタイミング、練習のメニューを少なくともいずれかを含む、上記（１）に記載の情報処理装置。
（３）
前記解析部は、前記センシングデータから得られる前記ユーザの運動機能の経時変化に基づいて、前記ユーザが行うべき休憩を推定する、上記（１）又は（２）に記載の情報処理装置。
（４）
前記解析部は、前記センシングデータから得られる前記練習の種別ごとの練習時間に基づいて、前記ユーザが行うべき休憩及び練習のうちの少なくとも１つを推定する、上記（１）～（３）のいずれか１つに記載の情報処理装置。
（５）
前記解析部は、前記センシングデータから得られる前記ユーザの前記パフォーマンスの習熟状況の経時変化に基づいて、前記ユーザが行うべき練習を推定する、上記（１）～（４）のいずれか１つに記載の情報処理装置。
（６）
前記練習のメニューは、前記パフォーマンスに関連する技能の運動機能又は感覚機能の向上のためのトレーニングメニューを含む、上記（２）に記載の情報処理装置。
（７）
前記解析部は、前記センシングデータから得られる前記パフォーマンスに係る技能の習熟状況に基づいて、前記ユーザが行うべき練習を推定する、上記（５）に記載の情報処理装置。
（８）
前記解析部は、前記ユーザの当該パフォーマンスの練習に関する音を収音し、収音した前記音に基づいて、前記ユーザの練習を推定する、上記（１）に記載の情報処理装置。
（９）
前記出力部は、表示装置を制御して所定の画像を表示させること、前記ユーザの身体に装着されたウェアラブル装置を制御して前記ユーザに対して触覚刺激を行わせること、及び、音声出力装置を制御して所定の音を出力させることのうちの少なくとも１つにより、前記ユーザに対して、前記解析部から得た情報を出力する、
上記（１）に記載の情報処理装置。
（１０）
前記表示装置は、所定の仮想オブジェクトを拡張現実として実空間に重畳して表示する表示装置を含む、上記（９）に記載の情報処理装置。
（１１）
前記表示装置は、前記仮想オブジェクトとして、複数の観客を表示する、上記（１０）に記載の情報処理装置。
（１２）
前記表示装置は、前記仮想オブジェクトとして、前記ユーザが演奏する楽器の内部を表示する、上記（１０）に記載の情報処理装置。
（１３）
前記表示装置は、前記ユーザの音の解釈に応じて、楽譜上に表示する音符の大きさを変化させる、上記（１０）に記載の情報処理装置。
（１４）
前記センシングデータは、前記ユーザに装着された、加速度センサ、ジャイロセンサ、角速度センサ、振動センサ、圧力センサ、生体情報センサ、曲げセンサ、及び、位置センサから得られるセンシングデータのうちの少なくとも１つを含む、上記（１）に記載の情報処理装置。
（１５）
前記曲げセンサは、前記ユーザの指先に装着された指サック型の曲げセンサである、上記（１４）に記載の情報処理装置。
（１６）
前記センシングデータは、前記ユーザの操作によって運動する対象物の動きをセンシングする、当該対象物に搭載された圧力センサもしくはフォトリフレクタセンサから得られるセンシングデータ、又は、前記ユーザの操作に応じて前記対象物から得られるセンシングデータを含む、上記（１）に記載の情報処理装置。
（１７）
前記対象物は、アコースティック楽器又は電子楽器又は演奏に関する電子機器である、上記（１６）に記載の情報処理装置。
（１８）
前記センシングデータは、前記ユーザを撮像する撮像装置、前記ユーザにおける核磁気共鳴をセンシングする核磁気共鳴センサ、及び、前記パフォーマンスによって生じる音、もしくは前記ユーザもしくは前記ユーザの周囲の人物から発せられた音声を収音する収音装置から得られるセンシングデータのうちの少なくとも１つを含む、上記（１）に記載の情報処理装置。
（１９）
ユーザの身体の少なくとも一部が動作することによって行われるパフォーマンスの練習における、前記ユーザの運動要素の運動パターン、運動速度、運動正確性、運動量、及び、当該パフォーマンスによって生じる結果の状態のうちの少なくとも１つに関するセンシングデータを取得することと、
取得した前記センシングデータを解析し、前記解析の結果に基づいて、前記ユーザの当該パフォーマンスの練習に関する情報を推定することと、
前記推定の結果を前記ユーザに出力することと、
を含む、情報処理方法。
（２０）
ユーザの身体の少なくとも一部が動作することによって行われるパフォーマンスの練習における、前記ユーザの運動要素の運動パターン、運動速度、運動正確性、運動量、及び、当該パフォーマンスによって生じる結果の状態のうちの少なくとも１つに関するセンシングデータを取得する機能と、
取得した前記センシングデータを解析し、前記解析の結果に基づいて、前記ユーザの当該パフォーマンスの練習に関する情報を推定する機能と、
前記推定の結果を前記ユーザに出力する機能と、
をコンピュータに実現させるためのプログラム。

１ 情報処理プラットフォーム
１０ センサ装置
１０ａ、１０ｄ マイクロフォン
１０ｂ 生体情報センサ
１０ｃ ＭＩＤＩ端子
１０ｅ 指サック型センサ装置
３０ サーバ
５０ フィードバック装置
５０ａ ディスプレイ
５０ｂ スピーカ
５０ｃ 力覚ロボット
５０ｄ スマートグラス
１００ センサ部
１１０、３１０、５１０ 主制御部
１１２、３１２ データ取得部
１１４、３１４ 処理部
１１６、３１６ 出力制御部
１３０、３３０、５３０ 通信部
１５０ リング部材
１６０ 曲げセンサ部材
１７０ 固定部材
１８０ 配線
１９０ 端子
３２０ 出力部
３４０、５４０ 記憶部
５００ カメラ
５６０ 力覚機構
５７０、５７２ 表示部
５８０ 音声出力部
６００、６１０、６２０、６３０、６４０、６５０、６６０、６８０、７００、７１０、７２０、７３０、７４０、７５０、７６０、８２０ 画面表示
６０２ 円グラフ
６０４ 棒グラフ
６０６ タイトル表示
６１２ａ、６１２ｂ、６１２ｃ、６２４、６２６、６３４、６３６、６５８、７１４ａ、７１４ｂ、７１６ａ、７１６ｂ、７３４、７３６、７３８、８２２ａ、８２２ｂ、８２２ｃ ボタン
６２２、６３２、６６６、６６８、６８６、６８８、７１２、７２２、７３２、７４４、７５２ ウィンドウ表示
６４２、６４４、６５２、７０２ 楽譜表示
６５４、６７０、６９０、７０６ 枠
６５６ａ、６５６ｂ、７０４ カーソル
６６２、６８２ 鍵盤表示
６６４、６８４ 経時変化表示
７０８ 動画表示
７２４ 点数表示
７４２ ランキング表示
８００、８０２ マーカ
８１０ アニメーション
９００ 情報処理装置
９５０ ＣＰＵ
９５２ ＲＯＭ
９５４ ＲＡＭ
９５６ 記録媒体
９５８ 入出力インタフェース
９６０ 力覚デバイス
９６２ 表示デバイス
９６４ 音声出力デバイス
９６８ 通信インタフェース
９７０ バス
９８０ センサ

Claims (19)

1. ユーザの身体の少なくとも一部が動作することによって行われ、かつ、アコースティック楽器又は電子楽器又は演奏に関する電子機器である対象物が用いられて行われるパフォーマンスの練習における、前記ユーザの運動要素の運動パターン、運動速度、運動正確性、運動量、及び、前記パフォーマンスによって生じる結果の状態のうちの少なくとも１つに関するセンシングデータを取得するセンシングデータ取得部と、
   取得した前記センシングデータを解析し、前記解析の結果として前記センシングデータから得られる前記ユーザの前記パフォーマンスの習熟状況の経時変化に基づいて、前記ユーザの前記パフォーマンスの練習に関する情報を推定する解析部と、
   前記推定の結果を前記ユーザに出力する出力部と、
   を備え、
   前記練習に関する情報は、練習のメニューを含み、
   前記練習のメニューは、前記パフォーマンスに係る運動機能又は感覚機能の向上のためのトレーニングメニューを含む
   情報処理装置。
2. 前記練習に関する情報は、練習時間、休憩時間、前記ユーザの休憩のタイミングのうちの少なくともいずれかをさらに含む、請求項１に記載の情報処理装置。
3. 前記解析部は、前記センシングデータから得られる前記ユーザの運動機能の経時変化に基づいて、前記ユーザが行うべき休憩を推定する、請求項１又は２に記載の情報処理装置。
4. 前記解析部は、前記センシングデータから得られる練習の種別ごとの練習時間に基づいて、前記ユーザが行うべき休憩及び練習のうちの少なくとも１つを推定する、請求項１乃至３のいずれかに記載の情報処理装置。
5. 前記解析部は、前記センシングデータから得られる前記ユーザの前記パフォーマンスの習熟状況の経時変化に基づいて、前記ユーザが行うべき練習を推定する、請求項１乃至４のいずれかに記載の情報処理装置。
6. 前記練習のメニューは、前記ユーザが、前記パフォーマンスにおける表現の探索を行う表現探索学習を支援するメニューをさらに含む、請求項１乃至５のいずれかに記載の情報処理装置。
7. 前記解析部は、前記センシングデータから得られる前記パフォーマンスに係る技能の習熟状況に基づいて、前記ユーザが行うべき練習を推定する、請求項５に記載の情報処理装置。
8. 前記解析部は、前記ユーザの当該パフォーマンスの練習に関する音を収音し、収音した前記音に基づいて、前記ユーザの練習を推定する、請求項１に記載の情報処理装置。
9. 前記出力部は、表示装置を制御して所定の画像を表示させること、前記ユーザの身体に装着されたウェアラブル装置を制御して前記ユーザに対して触覚刺激を行わせること、及び、音声出力装置を制御して所定の音を出力させることのうちの少なくとも１つにより、前記ユーザに対して、前記解析部から得た情報を出力する、請求項１に記載の情報処理装置。
10. 前記表示装置は、所定の仮想オブジェクトを拡張現実として実空間に重畳して表示する表示装置を含む、請求項９に記載の情報処理装置。
11. 前記表示装置は、前記仮想オブジェクトとして、複数の観客を表示する、請求項１０に記載の情報処理装置。
12. 前記表示装置は、前記仮想オブジェクトとして、前記ユーザが演奏する楽器の内部を表示する、請求項１０に記載の情報処理装置。
13. 前記表示装置は、前記ユーザの音の解釈に応じて、楽譜上に表示する音符の大きさを変化させる、請求項１０に記載の情報処理装置。
14. 前記センシングデータは、前記ユーザに装着された、加速度センサ、ジャイロセンサ、角速度センサ、振動センサ、圧力センサ、生体情報センサ、曲げセンサ、及び、位置センサから得られるセンシングデータのうちの少なくとも１つを含む、請求項１に記載の情報処理装置。
15. 前記曲げセンサは、前記ユーザの指先に装着された指サック型の曲げセンサである、請求項１４に記載の情報処理装置。
16. 前記センシングデータは、前記ユーザの操作によって運動する前記対象物の動きをセンシングする、前記対象物に搭載された圧力センサもしくはフォトリフレクタセンサから得られるセンシングデータ、又は、前記ユーザの操作に応じて前記対象物から得られるセンシングデータを含む、請求項１に記載の情報処理装置。
17. 前記センシングデータは、前記ユーザを撮像する撮像装置、前記ユーザにおける核磁気共鳴をセンシングする核磁気共鳴センサ、及び、前記パフォーマンスによって生じる音、もしくは前記ユーザもしくは前記ユーザの周囲の人物から発せられた音声を収音する収音装置から得られるセンシングデータのうちの少なくとも１つを含む、請求項１に記載の情報処理装置。
18. ユーザの身体の少なくとも一部が動作することによって行われ、かつ、アコースティック楽器又は電子楽器又は演奏に関する電子機器である対象物が用いられて行われるパフォーマンスの練習における、前記ユーザの運動要素の運動パターン、運動速度、運動正確性、運動量、及び、前記パフォーマンスによって生じる結果の状態のうちの少なくとも１つに関するセンシングデータを取得することと、
    取得した前記センシングデータを解析し、前記解析の結果として前記センシングデータから得られる前記ユーザの前記パフォーマンスの習熟状況の経時変化に基づいて、前記ユーザの前記パフォーマンスの練習に関する情報を推定することと、
    前記推定の結果を前記ユーザに出力することと、
    を含み、
    前記練習に関する情報は、練習のメニューを含み、
    前記練習のメニューは、前記パフォーマンスに係る運動機能又は感覚機能の向上のためのトレーニングメニューを含む
    情報処理方法。
19. ユーザの身体の少なくとも一部が動作することによって行われ、かつ、アコースティック楽器又は電子楽器又は演奏に関する電子機器である対象物が用いられて行われるパフォーマンスの練習における、前記ユーザの運動要素の運動パターン、運動速度、運動正確性、運動量、及び、前記パフォーマンスによって生じる結果の状態のうちの少なくとも１つに関するセンシングデータを取得する機能と、
    取得した前記センシングデータを解析し、前記解析の結果として前記センシングデータから得られる前記ユーザの前記パフォーマンスの習熟状況の経時変化に基づいて、前記ユーザの前記パフォーマンスの練習に関する情報を推定する機能と、
    前記推定の結果を前記ユーザに出力する機能と、
    をコンピュータに実現させ、
    前記練習に関する情報は、練習のメニューを含み、
    前記練習のメニューは、前記パフォーマンスに係る運動機能又は感覚機能の向上のためのトレーニングメニューを含む
    プログラム。

Images