JP7736159B2 - 学習装置、制御装置、学習方法及びプログラム - Google Patents

Description

本発明は、学習装置、制御装置、学習方法及びプログラムに関する。

タスクを実行するために必要なロボットの制御を行う場合に、ロボットの動作をモジュール化したスキルを設けてロボット制御を行うシステムが提案されている。例えば、特許文献１には、多関節ロボットが所与のタスクを実行するシステムにおいて、タスクに応じて選択可能なロボットスキルがタプルとして定義されており、タプルに含まれるパラメータを学習により更新する技術が開示されている。

国際公開第２０１８／２１９９４３号

ロボットのスキルの学習など、制御対象に対する制御の学習を行う際、学習の継続の要否を判定することができれば、無駄な学習を省くことができ、学習を効率的に行えると期待される。

この開示の目的の一例は、上述した課題を解決することのできる学習装置、制御装置、学習方法およびプログラムを提供することである。

本発明の第一の態様によれば、学習装置は、制御対象の動作を示す探索点のうち、前記制御対象の制御の学習のための訓練データ取得の対象とする探索点を選択する探索点設定手段と、選択された探索点が示す動作の実行可否の評価を示す情報と、選択された探索点が示す動作に対して、前記制御対象を制御する制御手段が出力すべき出力値とを算出する計算手段と、選択された探索点と、選択された探索点が示す動作の実行可否の評価を示す情報と、選択された探索点が示す動作に対して前記制御手段が出力すべき出力値とに基づいて、前記制御手段による前記制御対象に対する制御の学習のための訓練データを取得するデータ取得手段と、前記訓練データの取得状況に対する評価に基づいて、前記訓練データの取得を継続するか否かを判定する評価手段と、を備える。

本発明の第二の態様によれば、学習方法は、コンピュータが、制御対象の動作を示す探索点のうち、前記制御対象の制御の学習のための訓練データ取得の対象とする探索点を選択し、選択された探索点が示す動作の実行可否の評価を示す情報と、選択された探索点が示す動作に対して、前記制御対象を制御する制御手段が出力すべき出力値とを算出し、選択された探索点と、選択された探索点が示す動作の実行可否の評価を示す情報と、選択された探索点が示す動作に対して前記制御手段が出力すべき出力値とに基づいて、前記制御手段による前記制御対象に対する制御の学習のための訓練データを取得し、前記訓練データの取得状況に対する評価に基づいて、前記訓練データの取得を継続するか否かを判定する、ことを含む。

本発明の第三の態様によれば、プログラムは、コンピュータに、制御対象の動作を示す探索点のうち、前記制御対象の制御の学習のための訓練データ取得の対象とする探索点を選択することと、選択された探索点が示す動作の実行可否の評価を示す情報と、選択された探索点が示す動作に対して、前記制御対象を制御する制御手段が出力すべき出力値とを算出することと、選択された探索点と、選択された探索点が示す動作の実行可否の評価を示す情報と、選択された探索点が示す動作に対して前記制御手段が出力すべき出力値とに基づいて、前記制御手段による前記制御対象に対する制御の学習のための訓練データを取得することと、前記訓練データの取得状況に対する評価に基づいて、前記訓練データの取得を継続するか否かを判定することと、を実行させるためのプログラムである。

本発明によれば、制御対象に対する制御の学習を行う際、学習の継続の要否を判定することができれば、学習を効率的に行えると期待される。

第１実施形態に係る制御システムの構成の例を示す図である。 第１実施形態に係る既知タスクパラメータの例を示す図である。 第１実施形態に係る未知タスクパラメータの例を示す図である。 第１実施形態に係る学習装置のハードウェア構成の例を示す図である。 第１実施形態に係るロボットコントローラのハードウェア構成の例を示す図である。 第１実施形態に係る物体の把持を行うロボットと、把持対象物体とを実空間において表した図である。 図６に示す状態を抽象空間において表した図である。 第１実施形態に係るスキルの実行に関する制御系の構成の例を示す図である。 第１実施形態に係るスキルデータベースの更新に関する学習装置の機能構成の例を示す図である。 第一実施形態に係るスキル学習部の構成の例を示す図である。 第一実施形態に係るスキル学習部におけるデータの入出力の例を示す図である。 第一実施形態に係る学習装置によるスキルデータベースの更新処理の例を示す図である。 第二実施形態に係るスキル学習部におけるデータの入出力の例を示す図である。 第二実施形態に係る学習装置によるスキルデータベースの更新処理の例を示す図である。 第三実施形態に係るスキル学習部の構成の例を示す図である。 第三実施形態に係るスキル学習部におけるデータの入出力の例を示す図である。 第三実施形態に係るメタパラメータ処理部の構成の例を示す図である。 第三実施形態に係るメタパラメータ処理部におけるデータの入出力の例を示す図である。 第三実施形態に係るメタパラメータ個別処理部の構成の第１の例を示す図である。 図１９に示すメタパラメータ個別処理部におけるデータの入出力の例を示す図である。 第三実施形態に係るメタパラメータ個別処理部の構成の第２の例を示す図である。 図２１に示すメタパラメータ個別処理部におけるデータの入出力の例を示す図である。 第三実施形態に係る学習装置によるスキルデータベースの更新処理の例を示す図である。 第三実施形態に係るメタパラメータ処理部が予測器のメタパラメータ値を算出する処理の例を示す図である。 第三実施形態に係るメタパラメータ個別処理部が、予測器毎にメタパラメータ値を算出し、メタパラメータ値の学習継続の要否を判定する処理の第１の例を示す図である。 第三実施形態に係るメタパラメータ個別処理部が、予測器毎にメタパラメータ値を算出し、メタパラメータ値の学習継続の要否を判定する処理の第２の例を示す図である。 第四実施形態に係る学習装置の構成の例を示す図である。 第五実施形態に係る制御装置の構成の例を示す図である。 第六実施形態に係る学習方法における処理の手順の例を示す図である。

以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。なお、任意の文字「Ａ」の上に任意の記号「ｘ」が付された文字を、本明細書では便宜上、「Ａ^ｘ」と表す。

＜第１実施形態＞
（１）システム構成
図１は、第１実施形態に係る制御システムの構成の例を示す図である。図１に示す構成で、制御システム１００は、学習装置１と、記憶装置２と、ロボットコントローラ３と、計測装置４と、ロボット５とを備える。学習装置１は、通信網を介し、又は、無線若しくは有線による直接通信により、記憶装置２とデータ通信を行う。また、ロボットコントローラ３は、記憶装置２、計測装置４及びロボット５と、通信網を介し、又は、無線若しくは有線による直接通信により、データ通信を行う。

学習装置１は、与えられたタスクを実行するためのロボット５の動作を、例えば自己教師あり学習（Self-Supervised Learning；ＳＳＬ）などの機械学習によって学習する。また、学習装置１は、学習する動作を実行可能な状態の集合を学習する。

ただし、学習装置１が動作の学習を行う対象は特定のものに限定されず、制御可能、かつ、その制御を学習可能ないろいろな制御対象とすることができる。また、ロボット５など制御対象の動作は、位置の変化を伴うものに限定されない。例えば、ロボット５がセンサを用いてセンサ測定データを取得することが、ロボット５の動作の１つとして設定されていてもよい。
以下の実施形態でも同様である。

ここでいう状態は、ロボット５およびロボット５の動作環境を含む対象システムの状態である。
ロボット５と、ロボット５の動作環境とを総称して、対象システム、または、単にシステムと表記する。物を把持するタスクなど、タスクが対象物を扱うものである場合、タスクの対象物も対象システムに含まれるものとする。

対象システムの状態をシステム状態、または、単に状態と称する。タスクに定められているタスク完了時のシステム状態を、そのタスクの目標状態、または、単に目標状態とも称する。タスクの目標状態に到達することを、そのタスクを達成する、あるいは、そのタスクに成功するとも称する。
スキルを実行することでタスクが達成される場合、スキル実行終了時の状態が目標状態に該当する。
タスク開始時のシステム状態を、そのタスクの初期状態とも称する。

学習装置１は、ロボット５の特定の動作を動作毎にモジュール化したスキルに関する学習を行う。実施形態では、１つのタスクに対して１つのスキルの実行によってそのタスクを達成できるようなタスクを想定し、学習装置１が、そのタスクを達成できるようにスキルの学習を行う場合を例に説明する。

一方、ロボットコントローラ３が、複数のスキルを組み合わせてタスクを実行するようにしてもよい。例えば、ロボットコントローラ３が、与えられたタスクをスキルに対応するサブタスクに分割し、各サブタスクを実行するためのスキルを組み合わせて、与えられたタスクの実行を計画するようにしてもよい。

学習装置１は、スキルに関する学習にて、そのスキルを実行可能な状態集合の学習も行う。学習装置１は、学習したスキルに関する情報を、記憶装置２が記憶するスキルデータベースに登録する。スキルデータベースに登録される情報を、スキルタプル（Skill Tuple）とも称する。スキルタプルは、モジュール化したい動作を実行するために必要な種々の情報を含む。学習装置１は、記憶装置２が記憶する詳細システムモデル情報、ローレベル制御器情報、及び目標パラメータ情報に基づいて、スキルタプルを生成する。

記憶装置２は、学習装置１及びロボットコントローラ３が参照する情報を記憶する。記憶装置２は、例えば、詳細システムモデル情報と、ローレベル制御器情報と、目標パラメータ情報と、スキルデータベースとを記憶する。なお、記憶装置２は、学習装置１又はロボットコントローラ３に接続又は内蔵されたハードディスクなどの外部記憶装置であってもよく、フラッシュメモリなどの記憶媒体であってもよく、学習装置１及びロボットコントローラ３とデータ通信を行うサーバ装置などであってもよい。また、記憶装置２は、複数の記憶装置から構成され、上述した各記憶部を分散して保有してもよい。

詳細システムモデル情報は、実空間における対象システムのモデルを表す情報である。実空間における対象システムのモデルを詳細システムモデルとも称する。詳細システムモデルを抽象化した「抽象」システムモデルとの区別のために、「詳細」システムモデルと表記する。
詳細システムモデル情報が、詳細システムモデルを表す微分又は差分方程式で示されていてもよい。あるいは、詳細システムモデルが、ロボット５の動作を模擬するシミュレータとして構成されていてもよい。

ローレベル制御器情報は、ハイレベル制御器が出力するパラメータ値に基づき実際のロボット５の動作を制御する入力を生成するローレベル制御器に関する情報である。ローレベル制御器は、例えば、ハイレベル制御器がロボット５の軌道を生成した場合に、当該軌道に従ってロボット５の動作を追従する制御入力を生成するものであってもよい。例えば、ローレベル制御器は、ハイレベル制御器の出力するパラメータに基づきＰＩＤ（Proportional Integral Differential）によるサーボ制御にてロボット５の制御を行うものであってもよい。

目標パラメータ情報は、学習装置１が学習するスキル毎に設けられ、例えば、初期状態情報と、目標状態／既知タスクパラメータ情報と、未知タスクパラメータ情報と、実行時間情報と、一般制約情報とを含む。
ここで、タスクの可変部分をタスクパラメータと称する。

タスクパラメータのうち数値で表されるものを既知タスクパラメータと称する。既知タスクパラメータの例として、タスクが対象物を把持するタスクである場合の把持対象物の大きさなど、タスクにおける対象物の大きさ、および、タスクを実行するためのロボット５の軌跡を挙げることができるが、これらに限定されない。
既知タスクパラメータは、スキルにおいてもパラメータとして扱うことができる。既知タスクパラメータは、スキルのパラメータの例に該当する。

図２は、既知タスクパラメータの例を示す図である。図２は、ロボット５が、円柱の形状の対象物を把持するタスクを実行する場合の例を示している。この場合、対象物である円柱の半径および高さが既知タスクパラメータの例に該当する。

一方、タスクパラメータのうち数値での表現が困難なものを未知タスクパラメータと称する。未知タスクパラメータの例として、タスクが対象物を把持するタスクである場合の把持対象物の形状など、タスクにおける対象物の形状、および、タスクを実行するために必要なスキルなど、タスクを実行するためのロボット５の動作の種類を挙げることができるが、これらに限定されない。

図３は、未知タスクパラメータの例を示す図である。図３は、ロボット５が、いろいろな形状の対象物を把持するタスクを実行する場合の例を示している。この場合、対象物の形状が未知パラメータの例に該当する。

また、制御システム１００が、システム状態を数値化して扱うことを想定して、目標状態が数値で表されるものとする。例えば、ロボット５がピックアンドプレイス（Pick And Place）を行うタスクの場合、目標状態が、対象物の座標が所定の範囲内にあることと表されていてもよい。

初期状態情報は、対象のスキルを実行可能な状態の集合を示す情報である。スキルの実行開始時の状態を、そのスキルの初期状態、または、単に初期状態とも称する。初期状態の集合を初期状態集合とも称する。
初期状態をｘ_ｓまたはｘ_ｓｉで表す。ここでは、「ｉ」は、初期状態を識別する識別番号を表す正の整数である。また、初期状態の時刻を０とし、初期状態をｘ_０で表す場合がある。

目標状態／既知タスクパラメータ情報は、対象のスキルの実行によって到達可能な状態である目標状態がとり得る値と、対象のスキルにおける陽的なパラメータとして扱われる既知タスクパラメータがとり得る値との組み合わせの集合を示す情報である。例えば、ロボット５が対象物を把持するスキルの場合、目標状態がとり得る値としてフォーム・クロージャ（Form Closure）、フォース・クロージャ（Force Closure）などの安定把持条件に関する情報を含んでいてもよい。
目標状態と既知タスクパラメータ値との組み合わせを目標状態／既知タスクパラメータ値と称し、β_ｇまたはβ_ｇｉで表す。ここでは、「ｉ」は、目標状態／既知タスクパラメータ値を識別する識別番号を表す正の整数である。

タスクにおける目標状態の違い、および、既知タスクパラメータ値の違いをスキルにおけるパラメータとして扱うことで、目標状態および既知タスクパラメータ値の何れか、またはこれら両方が異なるタスクを、１つのスキルで実行することができる。

例えば、学習装置１が、予測器（Predictor）を用いてスキルの学習に関する処理を行う場合、目標状態および既知タスクパラメータ値を予測器に入力して、目標状態および既知タスクパラメータ値に応じた出力値を得ることができる。ここでは、予測器は、例えばニューラルネットワークまたはガウス過程（Gaussian Process；ＧＰ）など、学習モデル（機械学習におけるモデル）を用いて構成される。

なお、スキルによっては既知タスクパラメータが無い場合が考えられる。この場合、目標状態／既知タスクパラメータ情報が、目標状態がとり得る値の集合として構成されていてもよい。また、目標状態／既知タスクパラメータ値β_ｇが、目標状態を示すものとなっていてもよい。

未知タスクパラメータ情報は、未知タスクパラメータに関する情報である。例えば、第三実施形態で後述するように、未知パラメータ関するデータの確率分布が未知タスクパラメータ情報にて示されていてもよい。１つのスキルが複数の未知タスクパラメータを有する場合、それぞれの未知タスクパラメータに関する情報が、未知タスクパラメータ情報にて示されていてもよい。
なお、第一実施形態および第二実施形態では、目標状態／既知タスクパラメータ情報に対する対応について説明する。第一実施形態および第二実施形態では、未知タスクパラメータに対応する値が固定値で示されていてもよい。

未知タスクパラメータ値をτまたはτ_ｊで表す。ここでは、「ｊ」は、未知タスクパラメータ値を識別する識別番号を表す正の整数である。
なお、未知タスクパラメータは、その値を体系立てて数値化することが困難な点で数値での表現が困難だが、未知タスクパラメータ値が同じか否かは判定可能であるものとする。例えば、未知タスクパラメータが対象物の形状を表す場合、２つの対象物の形状を比較することで、未知タスクパラメータ値が同じか否かを判定可能であるものとする。
制御システム１００は、２つのタスクにおける未知タスクパラメータ値が同じ場合は、それら２つのタスクを同じタスクとして扱い、未知タスクパラメータ値が異なる場合は、それら２つのタスクを別々のタスクとして扱う。τまたはτ_ｊでタスクを表す場合がある。上記の「ｊ」は、タスクを識別する識別番号を表す正の整数と捉えることもできる。

実行時間情報は、スキル実行時の時間制限に関する情報である。例えば、実行時間情報が、スキルの実行時間（スキルの実行にかかる時間）、または、スキル実行開始から終了までの時間の許容条件値、あるいはこれら両方を示していてもよい。
一般制約情報は、例えば、ロボット５の可動範囲の制限、速度の制限、入力の制限に関する条件など、一般的な制約条件を示す情報である。

スキルデータベースは、スキルごとに用意されるスキルタプルのデータベースである。スキルタプルが、対象のスキルを実行するためのハイレベル制御器に関する情報と、対象のスキルを実行するためのローレベル制御器に関する情報と、対象のスキルを実行可能な、状態（スキルにおける初期状態）および目標状態/既知タスクパラメータ値の組み合わせの集合に関する情報とを含んでいてもよい。対象のスキルを実行可能な、状態および目標状態/既知タスクパラメータ値の集合を、実行可能状態集合とも称する。

実行可能状態集合は、実際の空間を抽象化した抽象空間において定義されていてもよい。実行可能状態集合は、たとえば、ガウス過程回帰（Gaussian Process Regression；ＧＰＲ）や、レベルセット推定法（Level Set Estimation；ＬＳＥ）により推定されたレベルセット関数、またはレベルセット関数の近似関数を用いて表すことができる。言い換えると、実行可能状態集合が、ある状態および目標状態/既知タスクパラメータ値の組み合わせを含んでいるか否かを、該ある状態および目標状態/既知タスクパラメータ値の組み合わせに対するガウス過程回帰の値（たとえば、平均値）や、該ある状態および目標状態/既知タスクパラメータ値の組み合わせに対する近似関数の値が、実行可能性について判定する制約条件を満たしているか否かによって判定することができる。
以下では、実行可能状態集合を示す関数としてレベルセット関数を用いる場合を例に説明するが、これに限定されない。

ロボットコントローラ３は、学習装置１による学習処理後に、計測装置４が供給する計測信号、及び、スキルデータベース等に基づき、ロボット５の動作計画を策定する。ロボットコントローラ３は、計画した動作をロボット５に実行させるための制御指令（制御入力）を生成し、ロボット５に当該制御指令を供給する。

例えば、ロボットコントローラ３は、ロボット５に実行させるタスクを、ロボット５が受付可能なタスクのタイムステップ（時間刻み）毎のシーケンスに変換する。そして、ロボットコントローラ３は、生成したシーケンスの実行指令に相当する制御指令に基づき、ロボット５を制御する。制御指令は、ローレベル制御器が出力する制御入力に相当する。

計測装置４は、例えば、ロボット５によるタスクが実行される作業空間内の状態を検出するカメラ、測域センサ、ソナーまたはこれらの組み合わせとなる１又は複数のセンサである。計測装置４は、生成した計測信号をロボットコントローラ３に供給する。計測装置４は、作業空間内で移動する自走式又は飛行式のセンサ（ドローンを含む）であってもよい。また、計測装置４は、ロボット５に設けられたセンサ、及び作業空間内の他の物体に設けられたセンサなどを含んでもよい。また、計測装置４は、作業空間内の音を検出するセンサを含んでもよい。このように、計測装置４は、作業空間内の状態を検出する種々のセンサであって、任意の場所に設けられたセンサを含んでもよい。

ロボット５は、ロボットコントローラ３から供給される制御指令に基づき指定されたタスクに関する作業を行う。ロボット５は、例えば、組み立て工場、食品工場などの各種工場、又は、物流の現場などで動作を行うロボットである。ロボット５は、垂直多関節型ロボット、水平多関節型ロボット、又はその他の任意の種類のロボットであってもよい。ロボット５は、ロボット５の状態を示す状態信号をロボットコントローラ３に供給してもよい。この状態信号は、ロボット５全体又は関節などの特定部位の状態（位置、角度等）を検出するセンサの出力信号であってもよく、ロボット５の動作の進捗状態を示す信号であってもよい。

なお、図１に示す制御システム１００の構成は一例であり、当該構成に種々の変更が行われてもよい。例えば、ロボットコントローラ３とロボット５とは、一体に構成されていてもよい。他の例では、学習装置１と記憶装置２とロボットコントローラ３のうち少なくともいずれか２つは一体に構成されていてもよい。
また、制御システム１００の制御対象はロボットに限定されない。学習装置１が制御を学習可能ないろいろな制御対象を、制御システム１００の制御対象とすることができる。

（２）ハードウェア構成
図４は、学習装置１のハードウェア構成の例を示す図である。学習装置１は、ハードウェアとして、プロセッサ１１と、メモリ１２と、インタフェース１３とを含む。プロセッサ１１、メモリ１２及びインタフェース１３は、データバス１０を介して接続されている。

プロセッサ１１は、メモリ１２に記憶されているプログラムを実行することにより、学習装置１の全体の制御を行うコントローラ（演算装置）として機能する。プロセッサ１１は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＴＰＵ（Tensor Processing Unit）などのプロセッサである。プロセッサ１１が、複数のプロセッサから構成されていてもよい。プロセッサ１１は、コンピュータの例に該当する。

メモリ１２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリなどの各種の揮発性メモリ及び不揮発性メモリにより構成される。また、メモリ１２には、学習装置１が実行する処理を実行するためのプログラムが記憶される。なお、メモリ１２が記憶する情報の一部は、学習装置１と通信可能な１又は複数の外部記憶装置（例えば記憶装置２）により記憶されてもよく、学習装置１に対して着脱自在な記憶媒体により記憶されていてもよい。

インタフェース１３は、学習装置１と他の装置とを電気的に接続するためのインタフェースである。これらのインタフェースは、他の装置とデータの送受信を無線により行うためのネットワークアダプタなどのワイヤレスインタフェースであってもよく、他の装置とケーブル等により接続するためのハードウェアインターフェースであってもよい。例えば、インタフェース１３は、タッチパネル、ボタン、キーボード、音声入力装置などのユーザの入力（外部入力）を受け付ける入力装置、ディスプレイ、プロジェクタ等の表示装置、スピーカなどの音出力装置等とのインタフェース動作を行ってもよい。

なお、学習装置１のハードウェア構成は、図４に示す構成に限定されない。例えば、学習装置１が、表示装置、入力装置又は音出力装置の少なくともいずれかを内蔵してもよい。また、学習装置１が、記憶装置２を含んで構成されていてもよい。

図５は、ロボットコントローラ３のハードウェア構成の例を示す図である。ロボットコントローラ３は、ハードウェアとして、プロセッサ３１と、メモリ３２と、インタフェース３３とを含む。プロセッサ３１、メモリ３２及びインタフェース３３は、データバス３０を介して接続されている。

プロセッサ３１は、メモリ３２に記憶されているプログラムを実行することにより、ロボットコントローラ３の全体の制御を行うコントローラ（演算装置）として機能する。プロセッサ３１は、例えば、ＣＰＵ、ＧＰＵ、ＴＰＵなどのプロセッサである。プロセッサ３１が、複数のプロセッサから構成されていてもよい。

メモリ３２は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの各種の揮発性メモリ及び不揮発性メモリにより構成される。また、メモリ３２には、ロボットコントローラ３が実行する処理を実行するためのプログラムが記憶される。なお、メモリ３２が記憶する情報の一部は、ロボットコントローラ３と通信可能な１又は複数の外部記憶装置（例えば記憶装置２）により記憶されてもよく、ロボットコントローラ３に対して着脱自在な記憶媒体により記憶されていてもよい。

インタフェース３３は、ロボットコントローラ３と他の装置とを電気的に接続するためのインタフェースである。これらのインタフェースは、他の装置とデータの送受信を無線により行うためのネットワークアダプタなどのワイヤレスインタフェースであってもよく、他の装置とケーブル等により接続するためのハードウェアインターフェースであってもよい。

なお、ロボットコントローラ３のハードウェア構成は、図５に示す構成に限定されない。例えば、ロボットコントローラ３が、表示装置、入力装置又は音出力装置の少なくともいずれかを内蔵してもよい。また、ロボットコントローラ３が、記憶装置２を含んで構成されていてもよい。

（３）抽象空間
ロボットコントローラ３は、スキルタプルに基づき、抽象空間においてロボット５の動作計画の策定を行う。そこで、ロボット５の動作計画において対象とする抽象空間について説明する。

図６は、物体の把持を行うロボット（マニピュレータ）５と、把持対象物体６とを実空間において表した図である。
図７は、図６に示す状態を抽象空間において表した図である。

一般的に、ピックアンドプレイスをタスクとするロボット５の動作計画を策定するには、ロボット５のエンドエフェクタ形状、把持対象物体６の幾何形状、ロボット５の把持位置・姿勢及び把持対象物体６の物体特性等を考慮した厳密な計算が必要となる。一方、本実施形態では、ロボットコントローラ３は、ロボット５、把持対象物体６などの各物体の状態が抽象的に（簡略的に）表された抽象空間において動作計画を策定する。図７の例では、抽象空間では、ロボット５のエンドエフェクタに対応する抽象モデル５ｘと、把持対象物体６に対応する抽象モデル６ｘと、ロボット５による把持対象物体６の把持動作実行可能領域（破線枠６０参照）とが定義される。なお、抽象空間においても、上記のように、実行可能状態集合は、スキルを実行可能な、初期状態と目標状態/既知タスクパラメータ値との組み合わせの集合として示される。図７の例では、把持スキルを実行可能な、初期状態と目標状態/既知タスクパラメータ値との組み合わせの集合を、破線枠６０の把持動作実行可能領域として例示している。
このように、抽象空間におけるロボットの状態は、エンドエフェクタの状態等を抽象的に表される。また、操作対象物または環境物体に該当する各物体の状態についても、例えば、作業台などの基準物体を基準とする座標系等において抽象的に表される。

本実施形態におけるロボットコントローラ３は、スキルを利用し、実際のシステムを抽象化した抽象空間において動作計画を策定する。これにより、マルチステージタスクにおいても動作計画に要する計算コストを好適に抑制する。図７の例では、ロボットコントローラ３は、抽象空間において定義される把持可能領域（破線枠６０）において、把持を実行するためのスキルを実行する動作計画を策定し、策定した動作計画に基づきロボット５の制御指令を生成する。

以後では、実空間におけるシステムの状態を「ｘ」、抽象空間におけるシステムの状態を「ｘ’」と表記して、これらを区別する場合がある。状態ｘ’は、ベクトル（抽象状態ベクトル）として表される。例えば、ピックアンドプレイスなどのタスクの場合、抽象状態ベクトルは、操作対象物の状態（例えば、位置、姿勢、速度等）を表すベクトル、操作可能なロボット５のエンドエフェクタの状態を表すベクトル、環境物体の状態を表すベクトルを含む。このように、状態ｘ’は、実システムにおける一部の要素の状態を抽象的に表した状態ベクトルとして定義される。
同様に、実空間における目標状態／既知タスクパラメータ値を「β_ｇ」、抽象空間における目標状態／既知タスクパラメータ値を「β_ｇ’」と表記して、これらを区別する場合がある。

（４）スキル実行に関する制御系
図８は、スキルの実行に関する制御系の構成の例を示す図である。ロボットコントローラ３のプロセッサ３１は、機能的には、動作計画部３４と、ハイレベル制御部３５と、ローレベル制御部３６とを備える。また、システム５０は、実際のシステム（ロボット５を含む実システム）に相当する。
ハイレベル制御部３５をハイレベル制御器とも称し、π_Ｈで表す。ハイレベル制御部３５は、制御手段の例に該当する。ローレベル制御部３６をローレベル制御器とも称し、π_Ｌで表す。
ロボットコントローラ３は、ロボット５を制御する制御装置の例に該当する。

また、図８では、説明の便宜上、動作計画部３４において対象とする抽象空間を例示した図（図７参照）を表す吹き出しを動作計画部３４に対応付けて表示すると共に、システム５０に対応する実システムを例示した図（図６参照）を表す吹き出しをシステム５０に対応付けて表示している。同様に、図８では、スキルの実行可能状態集合に関する情報を表す吹き出しをハイレベル制御部３５に対応付けて表示している。

動作計画部３４は、抽象システムにおける状態ｘ’とスキルデータベースとに基づき、ロボット５の動作計画を策定する。動作計画部３４は、例えば、目標状態を時相論理に基づく論理式により表現する。動作計画部３４が、線形時相論理、ＭＴＬ（Metric Temporal Logic）、ＳＴＬ（Signal Temporal Logic）などの任意の時相論理を用いて論理式を表現するようにしてもよい。
動作計画部３４は、生成した論理式をタイムステップごとのシーケンス（動作シーケンス）に変換する。この動作シーケンスには、例えば、各タイムステップにおいて使用されるスキルに関する情報が含まれる。

ハイレベル制御部３５は、動作計画部３４が生成した動作シーケンスに基づき、タイムステップごとに実行すべきスキルを認識する。そして、ハイレベル制御部３５は、現在のタイムステップにおいて実行すべきスキルに対応するスキルタプルに含まれるハイレベル制御器「π_Ｈ」に基づき、ローレベル制御部３６への入力となるパラメータ「α」を生成する。

ハイレベル制御部３５は、実行すべきスキルの実行開始時における抽象空間での状態「ｘ_０’」および目標状態／既知タスクパラメータ値の組み合わせが、そのスキルの実行可能状態集合「χ_０’」に属する場合に、以下の式（１）に示されるように制御パラメータαを生成する。

上述したように、スキルの実行開始時における状態を、初期状態とも称する。初期状態は、例えば、抽象空間での状態で示される。
また、スキルの実行可能状態集合χ_０’に属するか否かを判定可能なレベルセット関数の近似関数を「ｇ＾」と定義すると、ロボットコントローラ３は、状態ｘ_０’が実行可能状態集合χ_０’に属するか否かを、式（２）が満たされるか否か判定することで判定することが可能となる。

式（２）は、ある状態からの、スキルの実行可能性を判定する制約条件を表しているということもできる。あるいは、近似関数「ｇ＾」は、ある初期状態ｘ_０’から、既知タスクパラメータ値の下で目標状態に到達できるかどうかを評価することができるモデルであるということもできる。
近似関数ｇ＾は、後述するように、学習装置１が学習することで求められる。

対象のスキルの実行後の抽象空間での目標状態の集合である目標状態集合を「χ’_ｄ」と表記し、対象のスキルの実行時間を「Ｔ」と表記する。また、スキル実行開始からＴ時間経過した時点での状態を「ｘ’（Ｔ）」とする。ローレベル制御部３６を用いてスキルを実行することで、式（３）を実現可能である。

ローレベル制御部３６は、ハイレベル制御部３５が生成した制御パラメータαと、システム５０から得られる現在の実システムでの状態ｘおよび目標状態／既知タスクパラメータ値β_ｇとに基づき、入力「ｕ」を生成する。ローレベル制御部３６は、スキルタプルに含まれるローレベル制御器「π_Ｌ」に基づき、式（４）に示されるように入力ｕを制御指令として生成する。

なお、ローレベル制御器π_Ｌは、上記の式の形式に限定されず、種々の形式を有する制御器であってもよい。

ローレベル制御部３６は、計測装置４が出力する計測信号（ロボット５からの信号を含んでもよい）等に基づき任意の状態認識技術を用いて認識したロボット５及び環境の状態を、状態ｘとして取得する。
図８では、システム５０は、ロボット５への入力ｕと、状態ｘとを引数とする関数「ｆ」を用いた、式（５）に示される状態方程式により表されている。

演算子「^・」は、時間についての微分、または、時間についての差分を表す。

（５）スキルデータベースの更新の概要
図９は、スキルデータベースの更新に関する学習装置１の機能構成の例を示す図である。学習装置１のプロセッサ１１は、機能的には、抽象システムモデル設定部１４と、スキル学習部１５と、スキルタプル生成部１６とを備える。なお、図９では、各ブロックについて授受が行われるデータの一例が示されているが、これに限定されない。他の図についても同様である。

抽象システムモデル設定部１４は、詳細システムモデル情報に基づき、抽象システムモデルを設定する。この抽象システムモデルは、詳細システムモデル情報により特定される詳細システムモデルが簡略化されたモデルである。詳細システムモデルは、図８のシステム５０に相当するモデルである。

抽象システムモデルは、詳細システムモデルにおける状態ｘを基に構成される抽象状態ベクトルｘ’を状態として持つモデルである。動作計画部３４は、抽象システムモデルを用いて動作計画を策定する。
抽象システムモデル設定部１４は、例えば、予め記憶装置２等に記憶されたアルゴリズムに基づき、詳細システムモデルから抽象システムモデルを算出する。

あるいは、抽象システムモデルに関する情報が予め記憶装置２等に記憶されていてもよい。この場合、抽象システムモデル設定部１４が、記憶装置２等から抽象システムモデルに関する情報を取得するようにしてもよい。抽象システムモデル設定部１４は、設定した抽象システムモデルに関する情報を、スキル学習部１５及びスキルタプル生成部１６に供給する。

スキル学習部１５は、抽象システムモデル設定部１４が設定した抽象システムモデルと、記憶装置２が記憶する詳細システムモデル情報、ローレベル制御器情報、及び、目標パラメータ情報とに基づき、スキル実行の制御の学習を行う。特に、スキル学習部１５は、ハイレベル制御器π_Ｈが出力する、ローレベル制御器π_Ｌの制御パラメータαの値の学習を行う。また、スキル学習部１５は、レベルセット関数の学習を行い、例えば、レベルセット関数の予測精度を評価する評価関数を用いて、制御パラメータαの学習のための訓練データを取得する。

スキルタプル生成部１６は、スキル学習部１５が学習した実行可能状態集合χ_０’に関する情報と、ハイレベル制御器π_Ｈに関する情報と、抽象システムモデル設定部１４が設定した抽象システムモデルに関する情報と、ローレベル制御器情報と，目標パラメータ情報とを含む組（タプル）をスキルタプルとして生成する。そして、スキルタプル生成部１６は、生成したスキルタプルを、スキルデータベースに登録する。スキルデータベースのデータは、ロボットコントローラ３がロボット５を制御するために用いられる。

抽象システムモデル設定部１４、スキル学習部１５及びスキルタプル生成部１６の各構成要素は、例えば、プロセッサ１１がプログラムを実行することによって実現できる。また、必要なプログラムを任意の不揮発性記憶媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素の少なくとも一部は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組合せ等により実現してもよい。また、これらの各構成要素の少なくとも一部は、例えばＦＰＧＡ（Field-Programmable Gate Array）又はマイクロコントローラ等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。また、各構成要素の少なくとも一部は、ＡＳＳＰ（Application Specific Standard Produce）、ＡＳＩＣ（Application Specific Integrated Circuit）又は量子コンピュータ制御チップにより構成されていてもよい。このように、各構成要素は、種々のハードウェアにより実現されていてもよい。以上のことは、後述する他の実施の形態においても同様である。さらに、これらの各構成要素は，例えば，クラウドコンピューティング技術などを用いて、複数のコンピュータの協働によって実現されていてもよい。

（６）スキル学習部の説明
図１０は、第一実施形態に係るスキル学習部１５の構成の例を示す図である。スキル学習部１５は、機能的には、探索点集合設定部２１０と、データ取得部２２０と、予測精度評価関数学習部２３０と、ハイレベル制御器学習部２４０とを備える。

探索点集合設定部２１０は、探索点集合初期化部２１１と、次探索点集合設定部２１２とを備える。
データ取得部２２０は、システムモデル設定部２２１と、問題設定計算部２２２と、データ更新部２２３とを備える。
予測精度評価関数学習部２３０は、レベルセット関数学習部２３１と、予測精度評価関数設定部２３２と、評価部２３３とを備える。

上記のように、スキル学習部１５は、ハイレベル制御器π_Ｈの学習を行うための訓練データ（Training Data）を生成し、生成した訓練データを用いてハイレベル制御器π_Ｈの学習を行う。また、スキル学習部１５は、レベルセット関数の学習を行う。
探索点集合設定部２１０は、ハイレベル制御器π_Ｈの学習の対象とするタスク設定の候補として、初期状態ｘ_ｓと、目標状態／既知タスクパラメータ値β_ｇとの組み合わせを複数用意する。探索点集合設定部２１０は、用意した複数の候補のうち、ロボットコントローラ３によるロボット５の制御の学習のための訓練データ取得の対象とするタスク設定を選択する。
探索点集合設定部２１０は、探索点設定手段の例に該当する。

探索点集合初期化部２１１は、ハイレベル制御器π_Ｈの学習、および、レベルセット関数の対象とするタスク設定の候補の集合を設定する。具体的には、探索点集合初期化部２１１は、初期状態ｘ_ｓと、目標状態／既知タスクパラメータ値β_ｇとの組み合わせを要素とする集合を設定する。

探索点集合初期化部２１１が設定する、ハイレベル制御器π_Ｈの学習の対象とするタスク設定の候補の集合を探索点集合と称し、Ｘ^～ _{ｓｅａｒｃｈ}で表す。また、タスク設定の候補を探索点とも称する。探索点は、（ｘ_ｓ，β_ｇ）と表すことができる。
探索点（ｘ_ｓ，β_ｇ）が決まればタスク設定が決まり、ロボット５の動作が決まる。探索点（ｘ_ｓ，β_ｇ）は、タスク毎にロボット５の動作を示すものといえる。

次探索点集合設定部２１２は、探索点集合Ｘ^～ _{ｓｅａｒｃｈ}から部分集合を取り出す。次探索点集合設定部２１２が取り出す部分集合の各要素は、ハイレベル制御器π_Ｈの学習の対象とするタスク設定として扱われる。
次探索点集合設定部２１２が探索点集合Ｘ^～ _{ｓｅａｒｃｈ}から取り出す部分集合を探索点部分集合と称し、Ｘ^～ _{ｃｈｅｃｋ}で表す。
探索点部分集合Ｘ^～ _{ｃｈｅｃｋ}の要素をＸ^～またはＸ^～ _ｉで表す。ここでは、「ｉ」は、探索点部分集合の要素を識別する識別番号を表す正の整数である。
探索点部分集合Ｘ^～ _{ｃｈｅｃｋ}の要素を選択された探索点、または単に探索点とも称する。

データ取得部２２０は、次探索点集合設定部２１２が設定する探索点部分集合Ｘ^～ _{ｃｈｅｃｋ}の要素Ｘ^～毎に、ハイレベル制御器π_Ｈの学習用の訓練データを取得する。
システムモデル設定部２２１は、探索点Ｘ^～毎に、最適制御問題の設定のためのシステムモデル等の設定を行う。

問題設定計算部２２２は、システムモデル設定部２２１が行った設定に基づいて、ロボット５によるタスク実行を示す解探索問題を設定する。ここでいう解探索問題は、提示される制約条件を満たす解を求める問題である。

具体的には、問題設定計算部２２２は、タスクに関する制約条件、および、ロボットの動作に関する制約条件などの制約条件と、目標状態への到達可能性の評価関数とを含む最適制御問題を設定する。最適制御問題は、評価関数値で示される評価がなるべく高くなるような制御入力を求める問題であり、最適化問題として捉えることができる。
以下では、最適制御問題の評価関数として、評価関数値が小さいほど評価が高いことを示す関数を用いる場合を例に説明する。この場合、最適制御問題を解く際には、評価関数の最小値など、評価関数値がなるべく小さくなる解を求める。
ただし、学習装置１が、最適制御問題の評価関数として、関数値が大きいほど評価が高いことを示す関数を用いるようにしてもよい。

問題設定計算部２２２は、設定した最適制御問題を解いて、評価関数値がなるべく小さくなるような、ハイレベル制御器π_Ｈの出力値と、その出力値の場合の評価関数値とを算出する。
問題設定計算部２２２が算出する評価関数値は、探索点Ｘ^～が示す動作の実行可否の評価を示す情報の例に該当する。問題設定計算部２２２は、計算手段の例に該当する。

データ更新部２２３は、問題設定計算部２２２が最適制御問題を解いて得られたデータを、ハイレベル制御器π_Ｈの訓練データ、および、レベルセット関数の訓練データに含めるように、これらの訓練データを更新する。ここでいう、ハイレベル制御器π_Ｈの訓練データは、ハイレベル制御器π_Ｈの学習のための訓練データである。レベルセット関数の訓練データは、レベルセット関数の学習のための訓練データである。特に、最適制御問題を解いて得られる、ハイレベル制御器π_Ｈが出力すべきパラメータ値α^＊を、ハイレベル制御器π_Ｈの学習のための訓練データに使用することができる。また、最適制御問題の解によって示される、スキルの実行可否の情報を、レベルセット関数の訓練データに使用することができる。また、これらの訓練データには、それぞれ、探索点Ｘ^～ _ｊが含まれる。

ハイレベル制御器π_Ｈの訓練データは、ロボットコントローラ３がハイレベル制御器π_Ｈを用いて行うロボット５に対する制御の学習のための訓練データといえる。データ更新部２２３は、データ取得手段の例に該当する。
データ更新部２２３が扱う、ハイレベル制御器π_Ｈの訓練データを表す集合を獲得データ集合と称し、Ｄ_ｏｐｔで表す。

予測精度評価関数学習部２３０は、獲得データ集合Ｄ_ｏｐｔを用いて、レベルセット関数および予測精度評価関数の学習を行い、レベルセット関数の学習継続の要否を判定する。
上記のように、レベルセット関数は、目標状態に到達可能な、状態および目標状態／既知タスクパラメータ値の組み合わせの集合である実行可能状態集合を示す関数である。予測精度評価関数は、レベルセット関数による、目標状態に到達可能な、状態および目標状態／既知タスクパラメータ値の組み合わせの推定精度に対する評価を示す関数である。

レベルセット関数の訓練は、ハイレベル制御器π_Ｈの訓練データの取得の対象として選択された探索点Ｘ^～について、問題設定計算部２２２が算出する、ハイレベル制御器π_Ｈの訓練データに用いられるデータを用いて行われる。データ更新部２２３が取得する訓練データの個数と、レベルセット関数の推定精度との間には正の相関関係があると考えられる。予測精度評価関数は、訓練データの取得状況に対する評価を示す関数とも言える。

レベルセット関数学習部２３１は、獲得データ集合Ｄ_ｏｐｔを用いてレベルセット関数の学習を行う。例えば、レベルセット関数学習部２３１は、獲得データ集合Ｄ_ｏｐｔの要素毎に、問題設定計算部２２２が算出した評価関数値に基づいて、目標状態への到達可否を判定する。そして、レベルセット関数学習部２３１は、目標状態への到達可否と、その要素が示す初期状態ｘ_ｓおよび目標状態／既知タスクパラメータ値β_ｇとの組み合わせを訓練データとして用いて、レベルセット関数の学習を行う。
レベルセット関数学習部２３１は、レベルセット関数学習手段の例に該当する。

予測精度評価関数設定部２３２は、レベルセット関数学習部２３１が学習するレベルセット関数に対する予測精度評価関数を学習する。例えば、予測精度評価関数設定部２３２が、レベルセット関数の学習の対象となった探索点Ｘ^～の、探索点Ｘ^～の候補の空間における分布に基づいて、探索点Ｘ^～の個数の多い部分空間または密度の高い部分空間の評価が高くなるように、予測精度評価関数を学習するようにしてもよい。予測精度評価関数設定部２３２は、予測精度評価関数設定手段の例に該当する。

予測精度評価関数をＪ_ｇ＾、または、Ｊ_ｇ＾ｊで表す。ここでの「ｊ」は、タスクを識別する識別番号を表す正の整数である。上述したように、制御システム１００は、２つのタスクにおける未知タスクパラメータ値が異なる場合は、別々のタスクとして扱う。

評価部２３３は、予測精度評価関数を用いて、ハイレベル制御器π_Ｈの訓練データの取得の継続の要否を判定する。評価部２３３は、評価手段の例に該当する。
ハイレベル制御器π_Ｈの訓練データの取得の継続の要否は、レベルセット関数の学習の継続の要否と捉えることもできる。
評価部２３３の判定結果を示すフラグを、学習継続フラグとも称する。

ハイレベル制御器学習部２４０は、評価部２３３がハイレベル制御器π_Ｈの訓練データの取得の継続不要と判定すると、獲得データ集合Ｄ_ｏｐｔを用いてハイレベル制御器π_Ｈの学習を行う。
例えば、ハイレベル制御器学習部２４０は、獲得データ集合Ｄ_ｏｐｔの要素のうち、評価関数値が目標状態へ到達可能であることを示す要素を用いて、その要素に示される状態をハイレベル制御器π_Ｈへの入力とした場合に、その要素に示される出力値を出力するように、ハイレベル制御器π_Ｈの学習を行う。
ただし、ハイレベル制御器学習部２４０によるハイレベル制御器π_Ｈの学習方法は、特定の方法に限定されない。

図１１は、第一実施形態に係るスキル学習部１５におけるデータの入出力の例を示す図である。
図１１の例で、探索点集合初期化部２１１は、記憶装置２が記憶する目標パラメータ情報を用いて探索点集合Ｘ^～ _{ｓｅａｒｃｈ}を設定する。例えば、探索点集合初期化部２１１が、目標パラメータ情報に基づいて、初期状態ｘ_ｓｉと目標状態／既知タスクパラメータ値β_ｇとの可能な全ての組み合わせを、探索点集合Ｘ^～ _{ｓｅａｒｃｈ}の要素として設定するようにしてもよい。
探索点集合初期化部２１１による探索点集合Ｘ^～ _{ｓｅａｒｃｈ}の設定は、探索点集合Ｘ^～ _{ｓｅａｒｃｈ}の初期設定に該当する。探索点集合Ｘ^～ _{ｓｅａｒｃｈ}は、次探索点集合設定部２１２によって更新される。

次探索点集合設定部２１２は、探索点集合Ｘ^～ _{ｓｅａｒｃｈ}から探索点部分集合Ｘ^～ _{ｃｈｅｃｋ}を取り出す。具体的には、次探索点集合設定部２１２は、探索点集合Ｘ^～ _{ｓｅａｒｃｈ}から１つ以上の要素を読み出し、読み出した要素を探索点部分集合Ｘ^～ _{ｃｈｅｃｋ}の要素として設定する。そして、次探索点集合設定部２１２は、読み出した要素を探索点部分集合Ｘ^～ _{ｃｈｅｃｋ}に設定した要素を、探索点集合Ｘ^～ _{ｓｅａｒｃｈ}の要素から削除する。

予測精度評価関数設定部２３２が予測精度評価関数の学習を行った場合、次探索点集合設定部２１２は、得られた予測精度評価関数を用いて探索点部分集合Ｘ^～ _{ｃｈｅｃｋ}の設定を行う。特に、次探索点集合設定部２１２は、探索点集合Ｘ^～ _{ｓｅａｒｃｈ}の要素のうち、予測精度評価関数値が、レベルセット関数の推定精度が所定の条件よりも低いことを示す要素を、探索点部分集合Ｘ^～ _{ｃｈｅｃｋ}の要素として設定する。

ここでの推定精度が所定の条件よりも低いか否かの判定方法は、特定の方法に限定されない。例えば、予測精度評価関数値が大きいほど精度が低いとの評価を示す場合、推定精度が所定の条件よりも低いことは、予測精度評価関数値が所定の閾値よりも大きいことであってもよいが、これに限定されない。

システムモデル設定部２２１は、探索点部分集合Ｘ^～ _{ｃｈｅｃｋ}の要素毎に、最適制御問題の設定のための各種設定を行う。例えば、システムモデル設定部２２１は、記憶装置２が記憶する詳細システムモデル情報、ローレベル制御器情報、目標パラメータ情報、及び、抽象システムモデル設定部１４が設定する抽象システムモデルに基づいて、ローレベル制御器π_ｌと、システムモデルと、システムモデルのパラメータに関する制約条件と、目標状態への到達可能性の評価関数とを設定する。

ここでいうシステムモデルは、例えば対象システムの運動モデルなど、対象システムのモデルである。システムモデルのパラメータに関する制約条件は、例えば、対象システムが備える装置の仕様上の制約条件、および、物理的な制約条件など、システムモデルのパラメータがとり得る値の制約条件である。システムモデル、および、システムモデルのパラメータに関する制約条件は、問題設定計算部２２２が扱う最適制御問題における制約条件の一部として用いられる。

システムモデル設定部２２１は、設定したローレベル制御器π_ｌと、システムモデルと、システムモデルのパラメータと、目標状態への到達可能性の評価関数と、探索点Ｘ^～ _ｉと、実行時間Ｔなどスキル実行時の時間制限に関する情報を、問題設定計算部２２２へ出力する。

問題設定計算部２２２は、システムモデル設定部２２１からの情報に基づいて、探索点Ｘ^～ _ｉ毎に最適制御問題を設定し、設定した最適制御問題の解を探索する。
上述したように、最適制御問題は、例えば、評価関数値がなるべく小さくなるような制御入力を求める問題である。具体的には、ここでいう最適制御問題は、初期状態および評価関数が与えられたときに、動作環境等による制約条件の下で評価関数値がなるべく小さくなるような制御入力を求める問題である。
問題設定計算部２２２は、目標状態への到達可能性の評価関数を、最適制御問題における評価関数に設定し、その他の各種設定を、最適制御問題における制約条件に設定する。

問題設定計算部２２２は、最適制御問題における制約条件のもとで、評価関数値がなるべく小さくなるような、ハイレベル制御器π_Ｈの出力値を求める。問題設定計算部２２２は、探索点Ｘ^～ _ｉと、評価関数値が最も小さくなるようなハイレベル制御器π_Ｈの出力値α^＊ _ｉと、そのときの評価関数値ｇ^＊ _ｉとの組み合わせ（Ｘ^～ _ｉ，ｇ^＊ _ｉ，α^＊ _ｉ）をデータ更新部２２３へ出力する。

例えば、問題設定計算部２２２が、式（６）が成立する場合に状態ｘ’が目標状態であるような評価関数ｇを、最適制御問題の評価関数として用いるようにしてもよい。

式（６）が成立する場合に状態ｘ’が目標状態であることは、式（７）のように表される。

ｘ_ｄ’は目標状態集合を表す。
詳細システムモデルの状態ｘから抽象システムモデルの状態ｘ’への写像をγで表すと、式（７）から式（８）を得られる。

最適制御問題で評価関数ｇの値を最小化することは、式（９）のように表される。

上記のように、Ｔは、スキル実行の所要時間を表す。ｇ（γ（ｘ（Ｔ）），β_ｇ）は、スキル終了時における状態ｘ（Ｔ）による評価関数値を表す。この評価関数値が０以下になれば、スキル実行によって目標状態に到達可能と判定することができる。
上記のように、αは、ハイレベル制御器π_Ｈの出力を表す。式（９）は、評価関数ｇの値がなるべく小さくなるようなハイレベル制御器π_Ｈの出力αを求めることを表している。
最適制御問題におけるシステムモデルは、式（１０）のように表すことができる。

上記のように、τ_ｊは、未知タスクパラメータを表す。
時間ｔは、式（１１）のように表される。

最適制御問題における不等式制約条件は、式（１２）のように表すことができる。

ｃは、制約条件を表す関数であり、例えば、目標パラメータ情報に基づいて設定される。
時刻０における状態は初期状態であり、式（１３）のように表される。

γが詳細システムモデルの状態ｘから抽象システムモデルの状態ｘ’への写像であることは、式（１４）のように表すことができる。

問題設定計算部２２２は、例えば式（１０）から式（１４）までの制約条件の下で、式（９）に示されるように評価関数ｇの値をなるべく小さくするような、ハイレベル制御器の出力α^＊、および、そのときの評価関数ｇの値ｇ^＊を求める。式（６）のように、ｇ^＊≦０であれば、このときの初期状態から、ハイレベル制御器の出力をα^＊としてスキルを実行することで、目標状態へ到達可能と判定することができる。

問題設定計算部２２２は、得られた評価関数の最小値ｇ^＊、および、そのときのハイレベル制御器の出力α^＊を、初期状態ｘ_ｓ、および、目標状態／既知タスクパラメータ値β_ｇと共に、データ更新部２２３に出力する。あるいは、問題設定計算部２２２が、ハイレベル制御器の出力α^＊に加えて、あるいは代えて、目標状態への到達可能を示す情報を、データ更新部２２３に出力するようにしてもよい。
データ更新部２２３は、このデータを、ハイレベル制御器学習部２４０によるハイレベル制御器π_Ｈの学習に用いられる訓練データに含める。

問題設定計算部２２２が最適制御問題を解く方法は、特定の方法に限定されない。例えば、問題設定計算部２２２が、最適制御問題における解探索アルゴリズムとして公知のアルゴリズム、または、最適化問題における回探索問題として公知のアルゴリズムを用いるようにしてもよい。あるいは、問題設定計算部２２２が、ロボット５の動作のシミュレーションにて、強化学習など、評価関数値がなるべく小さくなるような動作の学習を行うようにしてもよい。

例えば、式（１０）の関数ｆが解析的に得られている場合、問題設定計算部２２２は、Direct Collocation法、微分動的計画法(Differential Dynamic Programming；ＤＤＰ)などの任意の最適制御アルゴリズムを用いて最適制御問題を解くことができる。

一方、関数ｆとしてシミュレータを用いた場合など、関数ｆが解析的に得られていない場合、問題設定計算部２２２は、Path Integral Controlなどのブラックボックス最適化手法、モデルフリーな最適制御手法を用いて、最適制御問題を解くことができる。この場合、問題設定計算部２２２は、制約条件を表す関数ｃに基づき、評価関数ｇを最小化する問題に従い制御パラメータαを求める。

ここで、図６に示されるピックアンドプレイスのタスクにおいて把持動作のスキルを生成する場合に、最適制御問題において用いられる目標パラメータ情報及びローレベル制御器π_Ｌの具体例について説明する。
ここでいう、「スキルを生成する」ことは、スキルを学習済みのタスクとは異なるタスクのスキルを学習することである。上記のように、異なるタスクとは、未知タスクパラメータの値が異なるタスクである。

ここでは、式（１０）に示されるシステムモデルとして、状態ｘ、ロボット５への入力ｕ、及び把持対象物体６を把持する力である接触力Ｆに基づく物理シミュレータを用いるものとする。この場合、目標状態に到達可能か否かの判定式は、式（１５）のように表される。

式（１５）が成立する場合、目標状態に到達可能と判定できる。
また、目標パラメータ情報の実行時間情報には、スキルの実行時間Ｔの上限値「Ｔ_ｍａｘ」（Ｔ≦Ｔ_ｍａｘ）を指定する情報が含まれているものとする。また、目標パラメータ情報の一般制約条件情報には、式（１６）に示されるような、状態ｘ、入力ｕ、及び接触力Ｆに関する制約式を表す情報が含まれているものとする。

例えば、この制約式は、接触力Ｆの上限「Ｆ_ｍａｘ」（Ｆ≦Ｆ_ｍａｘ）、可動範囲（又は速度）の制限「ｘ_ｍａｘ」（｜ｘ｜≦ｘ_ｍａｘ）、入力ｕの上限「ｕ_ｍａｘ」（｜ｕ｜≦ｕ_ｍａｘ）などを包括的に表す式となっている。

また、ローレベル制御器π_Ｌは、例えば、ＰＩＤによるサーボ制御器であるものとする。ここで、ロボット５の状態を「ｘ_ｒ」、ロボット５の状態の目標軌道を「ｘ_ｒｄ」とすると、入力ｕは、例えば、式（１７）のように表される。

目標軌道ｘ_ｒｄは、例えば、式（１８）のように表される。

式（１７）および式（１８）で、ハイレベル制御器πＨの出力αによる制御パラメータは、目標軌道多項式の係数及びＰＩＤ制御のゲインであり、式（１９）のように表される。

問題設定計算部２２２は、最適制御問題を解いて、式（１９）に示される制御パラメータ（α）の最適値（α^＊）を算出する。

データ更新部２２３は、問題設定計算部２２２から出力される（Ｘ^～ _ｉ，ｇ^＊ _ｉ，α^＊ _ｉ）を獲得データ集合Ｄ_ｏｐｔに含めるように、獲得データ集合Ｄ_ｏｐｔを更新する。

レベルセット関数学習部２３１は、上述したように、獲得データ集合Ｄ_ｏｐｔに基づいてレベルセット関数の学習を行う。レベルセット関数学習部２３１は、得られたレベルセット関数を予測精度評価関数設定部２３２へ出力する。

例えば、レベルセット関数学習部２３１は、獲得データ集合Ｄ_ｏｐｔに示される評価関数値を所定の閾値と比較して、獲得データ集合Ｄ_ｏｐｔに示される初期状態から目標状態への到達可否を判定する。式（８）及び式（９）の例の場合、レベルセット関数学習部２３１は、評価関数値ｇ^＊が０以下か否かに基づいて、目標状態への到達可否を判定する。

そして、レベルセット関数学習部２３１は、獲得データ集合Ｄ_ｏｐｔに示される状態と、目標状態と、目標状態への到達可否の判定結果との組み合わせを訓練データとして用いて、レベルセット関数の学習を行う。

ここで、抽象状態における初期状態ｘ_０’および目標状態／既知タスクパラメータ値β_ｇに対して評価関数ｇの最適値ｇ^＊を出力する関数をｇ^＊（ｘ_０’，β_ｇ）と表記する。対象となるスキルの実行可能状態集合χ_０’は、式（２０）のように表される。

レベルセット関数学習部２３１は、獲得データ集合Ｄ_ｏｐｔに含まれる初期状態ｘ_０’と目標状態／既知タスクパラメータ値β_ｇ’と関数値ｇ^＊との複数の組に基づいて、実行可能状態集合χ_０’を表すレベルセット関数を学習する。例えば、レベルセット関数学習部２３１は、ベイズ最適化の考え方に基づくガウス過程回帰を用いた推定法であるレベルセット推定法を用いて、レベルセット関数を算出する。ここでは、このレベルセット関数をｇ_ＧＰで表す。

なお、このレベルセット関数ｇ_ＧＰは、レベルセット推定法を通じて得られるガウス過程の平均値関数を利用して定義されていてもよいし、平均値関数と分散関数の組み合わせとして定義されていてもよい。
なお、レベルセット関数学習部２３１が、実行可能状態集合を示す関数を学習する方法は、特定の方法に限定されない。例えば、レベルセット関数学習部２３１が、レベルセット推定法と同様にガウス過程回帰を用いた推定法であるTruncated Variance Reduction（ＴｒｕＶａＲ）などを用いてレベルセット関数を求めるようにしてもよい。

上述したように、レベルセット関数は、所望状態に対して到達可能な初期状態を評価するモデルであればよい。また、レベルセット関数、および、ハイレベル制御器π_Ｈの出力値α^＊は、初期状態ｘ_０’と目標状態／既知タスクパラメータ値β_ｇ’と評価関数値ｇ^＊との組に基づき決定されるということもできる。そして、レベルセット関数を決定することによって、到達可能な状態および既知タスクパラメータ値を評価することができるため、システムについての所望状態を達成可能な制御パラメータを決定することができるという効果を奏する。ここでは、ハイレベル制御器π_Ｈの出力値α^＊が制御パラメータの例に該当する。

また、ロボット等の制御装置が、レベルセット関数を用いて、与えられた既知タスクパラメータ値の下である初期状態から所望状態に到達可能か否かを判定するようにしてもよい。そして、この制御装置が、到達可能と判定した場合に、その初期状態に応じた制御パラメータを用いてロボット等の制御対象を制御するようにしてもよい。

レベルセット関数の計算コストを低減させるため、レベルセット関数学習部２３１が、多項式近似等により簡略化されたレベルセット関数を学習にて取得するようにしてもよい。この場合のレベルセット関数をｇ＾で表す。ｇ＾をレベルセット近似関数とも称する。
レベルセット関数学習部２３１が、式（２１）を満たすようなレベルセット近似関数ｇ＾を学習するようにしてもよい。

予測精度評価関数設定部２３２は、上述したように、レベルセット関数学習部２３１が学習するレベルセット関数に対する評価を示す予測精度評価関数を設定する。予測精度評価関数設定部２３２は、得られた予測精度評価関数を評価部２３３へ出力する。

例えば、予測精度評価関数設定部２３２が、レベルセット関数の学習の対象となった探索点Ｘ^～の、探索点Ｘ^～の候補の空間における分布に対する評価を示す関数を、予測精度評価関数として学習するようにしてもよい。ここでいう探索点Ｘ^～の候補の空間は、探索点Ｘ^～がとり得る値が構成する空間である。予測精度評価関数設定部２３２が、探索点Ｘ^～の定義域が構成する空間を、探索点Ｘ^～の候補の空間として用いるようにしてもよい。あるいは、探索点Ｘ^～の候補の空間は、探索点集合Ｘ^～ _{ｓｅａｒｃｈ}の初期値であってもよい。

例えば、予測精度評価関数として、探索点Ｘ^～の候補を引数とし、その探索点Ｘ^～の候補に対してレベルセット関数が示す目標状態への到達可能性に対する評価値を関数値として出力する関数を用いるようにしてもよい。
そして、予測精度評価関数設定部２３２が、予測精度評価関数の引数として入力される探索点Ｘ^～の候補から所定の距離以内にある学習済みの探索点Ｘ^～の個数が多いほど高い評価を示すように、予測精度評価関数値を算出するようにしてもよい。
あるいは、第三実施形態で説明するように、レベルセット関数値の分散が求まる場合、予測精度評価関数設定部２３２が、レベルセット関数値の分散が小さいほど評価が高くなるように、予測精度評価関数を設定するようにしてもよい。
ただし、予測精度評価関数設定部２３２が予測精度評価関数を学習する方法は、特定の方法に限定されない。
以下、特に区別の必要が無い場合は、レベルセット関数ｇ_ＧＰとレベルセット関数ｇ＾とを総称してレベルセット関数ｇ＾と表記する。

評価部２３３は、上述したように、予測精度評価関数を用いて、ハイレベル制御器π_Ｈの訓練データの取得の継続の要否を判定する。評価部２３３は、判定結果を学習継続フラグに設定する。
例えば、評価部２３３が、探索点Ｘ^～の候補の空間における予測精度評価関数の最低値を算出するようにしてもよい。ここでいう予測精度評価関数の最低値は、評価が最も低い値である。そして、予測精度評価関数の最低値が所定の閾値よりも評価が低い場合、評価部２３３が、訓練データの取得の継続が必要と判定するようにしてもよい。一方、予測精度評価関数の最低値が所定の閾値以上に評価が高い場合、評価部２３３が、訓練データの取得の継続は不要と判定するようにしてもよい。

あるいは、評価部２３３が、探索点Ｘ^～の候補の空間にて予測精度評価関数値をサンプリングし、得られた予測精度評価関数値にうち評価が最も低い値に基づいて、訓練データの取得の継続の要否を判定するようにしてもよい。
ただし、評価部２３３が、ハイレベル制御器π_Ｈの訓練データの取得の継続の要否を判定方法は、特定の方法に限定されない。
例えば、評価部２３３が、予測精度評価関数の値に加えて所定の学習条件に基づいて、訓練データの取得の継続の要否を判定するようにしてもよい。ここでの学習条件は、いろいろな条件とすることができる。例えば、訓練データの取得回数が所定の回数以上になった場合、予測精度評価関数が示す評価が所定の評価に達していなくても、評価部２３３が、訓練データの取得の継続は不要と判定するようにしてもよい。

ハイレベル制御器学習部２４０は、上述したように、評価部２３３がハイレベル制御器π_Ｈの訓練データの取得の継続不要と判定すると、獲得データ集合Ｄ_ｏｐｔを用いてハイレベル制御器π_Ｈの学習を行う。
具体的には、ハイレベル制御器学習部２４０は、獲得データ集合Ｄ_ｏｐｔの要素のうち、目標状態に到達可能な要素について、ハイレベル制御器π_Ｈが、その要素に含まれる初期状態ｘ_０’および目標状態／既知タスクパラメータ値β_ｇ’の入力に対して、その要素に含まれる出力値α^＊を出力するように、ハイレベル制御器π_Ｈの学習を行う。

ハイレベル制御器学習部２４０がハイレベル制御器π_Ｈの学習を行う際のモデルは、いろいろなモデルとすることができる、例えば、モデルとしてニューラルネットワーク、ガウス過程回帰、又はサポートベクター回帰（Support Vector Regression）を用いるようにしてもよいが、これらに限定されない。

（７）処理フロー
図１２は、第一実施形態に係る学習装置１によるスキルデータベースの更新処理の例を示す図である。学習装置１は、図１２の処理を、生成するスキルの各々に対して実行する。

（ステップＳ１０１）
探索点集合初期化部２１１は、探索点集合Ｘ^～ _{ｓｅａｒｃｈ}および獲得データ集合Ｄ_ｏｐｔの初期設定を行う。
例えば、探索点集合初期化部２１１は、目標パラメータ情報のうち、初期状態情報に含まれる初期状態ｘ_ｓと、目標状態／既知タスクパラメータ情報に含まれる目標状態／既知タスクパラメータ値β_ｇとの任意の組み合わせの各々を探索点集合Ｘ^～ _{ｓｅａｒｃｈ}の要素として、探索点集合Ｘ^～ _{ｓｅａｒｃｈ}を生成する。
また、探索点集合初期化部２１１は、獲得データ集合Ｄ_ｏｐｔの値を空集合に設定する。
ステップＳ１０１の後、処理がステップＳ１０２へ進む。

（ステップＳ１０２）
次探索点集合設定部２１２は、探索点集合Ｘ^～ _{ｓｅａｒｃｈ}から部分集合を取り出す。具体的には、次探索点集合設定部２１２は、探索点集合Ｘ^～ _{ｓｅａｒｃｈ}の部分集合を探索点部分集合Ｘ^～ _{ｃｈｅｃｋ}として設定する。そして、次探索点集合設定部２１２は、設定した探索点部分集合Ｘ^～ _{ｃｈｅｃｋ}の各要素を探索点集合Ｘ^～ _{ｓｅａｒｃｈ}から除外する。
式（２２）のように、探索点部分集合Ｘ^～ _{ｃｈｅｃｋ}は、初期状態ｘ_ｓｉと、目標状態／既知タスクパラメータ値β_ｇｉとの組み合わせを要素に持つ。

次探索点集合設定部２１２が、設定した部分集合Ｘ^～ _{ｃｈｅｃｋ}の各要素を探索点集合Ｘ^～ _{ｓｅａｒｃｈ}から除外する処理は、式（２３）のように表すことができる。

ここでは「－」は、集合から部分集合を除くことを示す。
ステップＳ１０２の後、処理がステップＳ１０３へ進む。

（ステップＳ１０３）
学習装置１は、探索点集合の部分集合Ｘ^～ _{ｃｈｅｃｋ}の要素である探索点Ｘ^～毎に処理を行うループＬ１１を開始する。ループＬ１１では、ループの繰り返し回数を「ｉ」で表す。また、ループＬ１１で処理対象となっている探索点Ｘ^～を、対象探索点Ｘ^～ _ｉとも称する。
ステップＳ１０３の後、処理がステップＳ１０４へ進む。

（ステップＳ１０４）
システムモデル設定部２２１は、対象探索点Ｘ^～ _ｉに基づいて、最適制御問題の設定のための各種設定を行う。例えば、システムモデル設定部２２１は、ローレベル制御器π_ｌと、システムモデルと、システムモデルのパラメータに関する制約条件と、目標状態への到達可能性の評価関数とを設定する。
ステップＳ１０４の後、処理がステップＳ１０５へ進む。

（ステップＳ１０５）
問題設定計算部２２２は、ステップＳ１０４でのシステムモデル設定部２２１による設定に基づいて、最適制御問題を設定する。そして、問題設定計算部２２２は、設定した最適制御問題を解き、評価関数値がなるべく小さくなるようなハイレベル制御器の出力α^＊、および、そのときの評価関数ｇの値ｇ^＊を解として取得する。
ステップＳ１０５の後、処理がステップＳ１０６へ進む。

（ステップＳ１０６）
データ更新部２２３は、獲得データ集合Ｄ_ｏｐｔを更新する。具体的には、データ更新部２２３は、探索点集合の部分集合Ｘ^～ _{ｃｈｅｃｋ}のｉ番目の要素Ｘ^～ _ｉと、タスクに成功したか否かの判定結果ｇ^＊ _ｉと、得られた制御パラメータα^＊ _ｉとの組み合わせ（Ｘ^～ _ｉ，ｇ^＊ _ｉ，α^＊ _ｉ）を獲得データ集合Ｄ_ｏｐｔの要素として加える。
データ更新部２２３が獲得データ集合Ｄ_ｏｐｔを更新する処理は、式（２４）のように表される。

「｛（Ｘ^～ _ｉ，ｇ^＊ _ｉ，α^＊ _ｉ）｝」は、（Ｘ^～ _ｉ，ｇ^＊ _ｉ，α^＊ _ｉ）を要素に持つ、要素の個数１要素の集合を表す。
ステップＳ１０６の後、処理がステップＳ１０７へ進む。

（ステップＳ１０７）
学習装置１は、ループＬ１１の終端処理を行う。具体的には、学習装置１は、探索点集合の部分集合Ｘ^～ _{ｃｈｅｃｋ}の全ての要素に対してループＬ１１の処理を行ったか否かを判定する。まだループＬ１１の処理を行っていない要素があると判定した場合、学習装置１は、ループＬ１１の処理を未実行の要素に対して引き続きループＬ１１の処理を行う。この場合、処理がステップＳ１０３へ戻る。
一方、探索点集合の部分集合Ｘ^～ _{ｃｈｅｃｋ}の全ての要素に対してループＬ１１の処理を行ったと判定した場合、学習装置１は、ループＬ１１を終了する。この場合、処理がステップＳ１１１へ進む。

（ステップＳ１１１）
レベルセット関数学習部２３１は、獲得データ集合Ｄ_ｏｐｔに基づいてレベルセット関数ｇ＾の学習を行う。
ステップＳ１１１の後、処理がステップＳ１１２へ進む。

（ステップＳ１１２）
予測精度評価関数設定部２３２は、レベルセット関数ｇ＾に基づいて、予測精度評価関数Ｊ_ｇ＾を設定する。
ステップＳ１１２の後、処理がステップＳ１１０へ進む。

（ステップＳ１１３）
評価部２３３は、予測精度評価関数Ｊ_ｇに基づいて、レベルセット関数ｇ＾の学習の継続の要否を判定する。評価部２３３が、予測精度評価関数Ｊ_ｇに加えてさらに、所定の学習条件に基づいて、レベルセット関数ｇ＾の学習の継続の要否を判定するようにしてもよい。
レベルセット関数ｇ＾の学習の継続が必要と評価部２３３が判定した場合（ステップＳ１１３：ＹＥＳ）、処理がステップＳ１２１へ進む。一方、レベルセット関数ｇ＾の学習の継続は不要と評価部２３３が判定した場合（ステップＳ１１３：ＮＯ）、処理がステップＳ１３１へ進む。

（ステップＳ１２１）
次探索点集合設定部２１２は、予測精度評価関数Ｊ_ｇに基づいて、探索点集合Ｘ^～ _{ｓｅａｒｃｈ}からの部分集合Ｘ^～ _{ｃｈｅｃｋ}の取り出しを再度行う。具体的には、次探索点集合設定部２１２は、予測精度評価関数Ｊ_ｇに基づいて、探索点集合Ｘ^～ _{ｓｅａｒｃｈ}の部分集合Ｘ^～ _{ｃｈｅｃｋ}を設定する。そして、次探索点集合設定部２１２は、設定した部分集合Ｘ^～ _{ｃｈｅｃｋ}の各要素を探索点集合Ｘ^～ _{ｓｅａｒｃｈ}から除外する。
ステップＳ１２１の後、処理がステップＳ１０３へ戻る。

（ステップＳ１３１）
ハイレベル制御器学習部２４０は、得られた獲得データ集合Ｄ_ｏｐｔを用いてハイレベル制御器π_Ｈの学習を行う。
ステップＳ１３１の後、学習装置１は、図１２の処理を終了する。

以上のように、探索点集合設定部２１０は、ロボット５の動作を示す探索点（ｘ_ｓ，β_ｇ）のうち、ロボット５の制御の学習のための訓練データ取得の対象とする探索点Ｘ^～を選択する。
問題設定計算部２２２は、選択された探索点Ｘ^～が示す動作の実行可否の評価を示す情報と、選択された探索点Ｘ^～が示す動作に対して、ロボット５を制御するハイレベル制御器π_Ｈが出力すべき出力値とを算出する。
データ更新部２２３は、選択された探索点Ｘ^～と、選択された探索点Ｘ^～が示す動作の実行可否の評価を示す情報と、選択された探索点Ｘ^～が示す動作に対してハイレベル制御器π_Ｈが出力すべき出力値とに基づいて、ハイレベル制御器π_Ｈによるロボット５に対する制御の学習のための訓練データを取得する。
評価部２３３は、訓練データの取得状況に対する評価に基づいて、訓練データの取得を継続するか否かを判定する。

学習装置１によれば、ロボット５に対する制御の学習の継続の要否を判定することができ、無駄な学習を省くことができる点で、学習を効率的に行うことができる。

また、レベルセット関数学習部２３１は、探索点（ｘ_ｓ，β_ｇ）の入力を受けて、その探索点（ｘ_ｓ，β_ｇ）が示す動作の実行可否の推定値を出力するレベルセット関数ｇ＾の学習を、問題設定計算部２２２による、探索点（ｘ_ｓ，β_ｇ）が示す動作の実行可否の評価結果に基づいて行う。

予測精度評価関数設定部２３２は、探索点（ｘ_ｓ，β_ｇ）の入力を受けて、その探索点（ｘ_ｓ，β_ｇ）に対するレベルセット関数ｇ＾の推定精度の評価値を出力する予測精度評価関数Ｊ_ｇ＾を設定する。評価部２３３は、予測精度評価関数Ｊ_ｇ＾に基づいて、訓練データの取得を継続するか否かを判定する。

学習装置１によれば、レベルセット関数ｇ＾を用いて、訓練データの取得を継続するか否かを判定することができる。レベルセット関数ｇ＾は、ロボットコントローラ３がロボット５を制御する際に、スキルの選択に用いられる。学習装置１によれば、訓練データの取得を継続するか否かを判定するためのみに必要な作業が比較的少なく、この点で、訓練データの取得を継続するか否かの判定を効率よく行うことができる。

また、探索点集合設定部２１０は、予測精度評価関数Ｊ_ｇ＾による評価値が、レベルセット関数ｇ＾の推定精度が所定の条件よりも低いことを示す探索点（ｘ_ｓ，β_ｇ）を、ロボット５の制御の訓練データ取得の対象として選択する。
これにより、学習装置１では、ハイレベル制御器π_Ｈの出力の精度が低いと思われる入出力を示す訓練データを取得することができ、ハイレベル制御器π_Ｈの学習を効率的に行うことができる。

また、探索点（ｘ_ｓ，β_ｇ）は、前記制御対象の動作がモジュール化されたスキルのパラメータ値である既知タスクパラメータを含む。
これにより、学習装置１では、ロボット５の動作における、パラメータ値による表現が可能な相違をスキルのパラメータ値で表し、異なる動作に対して同じスキルを適用するように制御の学習を行うことができる。

また、探索点（ｘ_ｓ，β_ｇ）は、ロボット５およびその動作環境のスキル開始時における初期状態と、スキルの既知パラメータ値と、ロボット５およびその動作環境のスキル終了時における目標状態との組み合わせで構成される。
これにより、学習装置１は、抽象空間でハイレベル制御器π_Ｈの学習を行うことができ、現実の空間でハイレベル制御器π_Ｈおよびローレベル制御器π_Ｌの両方に相当する制御の学習を行う場合よりも効率的に学習を行うことができる。

また、ロボットコントローラ３は、学習装置１が取得した訓練データを用いた学習で得られたハイレベル制御器π_Ｈを備える。
ロボットコントローラ３によれば、ロボットコントローラ３の学習の際に、ロボット５に対する制御の学習の継続の要否を判定することができ、無駄な学習を省くことができる点で、学習を効率的に行うことができる。

また、ロボットコントローラ３は、大きさの異なる把持対象物をそれぞれロボット５に把持させるように、把持対象物の大きさに応じてロボット５の制御を行うハイレベル制御器π_Ｈを備える。
ロボットコントローラ３によれば、把持対象物の大きさに応じて、ロボット５を高精度に制御できると期待される。
＜第二実施形態＞
データ取得部２２０がデータを取得する際、ハイレベル制御器学習部２４０がハイレベル制御器π_Ｈの学習を行い、学習結果をフィードバックするようにしてもよい。第二実施形態では、この点について説明する。
第二実施形態における制御システム１００の構成は、第一実施形態の場合と同様である。第二実施形態でも、図１から図１０に示す制御システム１００の構成を用いて説明する。

図１３は、第二実施形態に係るスキル学習部１５におけるデータの入出力の例を示す図である。第二実施形態では、データ取得部２２０によるデータの取得の際にハイレベル制御器学習部２４０がハイレベル制御器の学習を行い、学習で得られたハイレベル制御器π^＊ _Ｈをデータ取得部２２０に出力する。ハイレベル制御器を出力することは、例えば、ニューラルネットワークまたはガウス過程など、ハイレベル制御器を構成する予測器のパラメータの設定値を出力することで行うことができる。
それ以外の点では、図１３に示すデータの入出力は、図１１を参照して説明した第一実施形態の場合のデータの入出力と同様である。

図１４は、第二実施形態に係る学習装置１によるスキルデータベースの更新処理の例を示す図である。学習装置１は、図１４の処理を、生成するスキルの各々に対して実行する。
図１４のステップＳ２０１からＳ２０４までは、図１２のステップＳ１０１からＳ１０４までと同様である。
図１４のステップＳ２０３からＳ２０７のループを、ループＬ２１と表記する。

（ステップＳ２０５）
問題設定計算部２２２は、ステップＳ１０５で説明したのと同様、最適制御問題を設定し、設定した最適制御問題を解いて、評価関数値がなるべく小さくなるような、ハイレベル制御器π_Ｈの出力、および、そのときの評価関数値を求める。

一方、ステップＳ２０５では、問題設定計算部２２２は、ハイレベル制御器π_Ｈがある場合に、そのハイレベル制御器π_Ｈによる出力値から離れないように、ハイレベル制御器π_Ｈの出力を求める点で、ステップＳ１０５の場合と異なる。例えば、問題設定計算部２２２が、得られているハイレベル制御器π_Ｈの出力値と、最適制御問題で求めるハイレベル制御器π_Ｈの出力値との誤差ノルムの項を、最適制御問題の評価関数に含めるようにしてもよい。そして、問題設定計算部２２２が、評価関数値がなるべく小さくなるように最適制御問題の解を求めるようにしてもよい。これにより、問題設定計算部２２２は、元々の評価関数の値をなるべく小さくし、かつ、ハイレベル制御器π_Ｈの出力値が、得られているハイレベル制御器π_Ｈの出力値に近いような解を求めることができる。

ステップＳ２０６およびＳ２０７は、図１２のステップＳ１０６およびＳ１０７と同様である。
ステップＳ２０７で、学習装置１がループＬ２１を終了した場合、処理がステップＳ２１１へ進む。

（ステップＳ２１１）
ハイレベル制御器学習部２４０は、ハイレベル制御器π_Ｈの学習を継続する必要があるか否かを判定する、ここでの判定基準は特定のものに限定されない。例えば、ハイレベル制御器学習部２４０が、ステップＳ２０５で最適制御問題を解いて得られるハイレベル制御器π_Ｈの出力と、ハイレベル制御器π_Ｈを用いて得られる出力との差が所定の条件よりも小さい場合に、ハイレベル制御器π_Ｈの学習を継続する必要が無いと判定するようにしてもよい。

ステップＳ２１１で、ハイレベル制御器π_Ｈの学習を継続する必要があるとハイレベル制御器学習部２４０が判定した場合（ステップＳ２１１：ＹＥＳ）、処理がステップＳ２２１へ進む。
一方、ハイレベル制御器π_Ｈの学習を継続する必要がないとハイレベル制御器学習部２４０が判定した場合（ステップＳ２１１：ＮＯ）、処理がステップＳ２３１へ進む。

（ステップＳ２２１）
ハイレベル制御器学習部２４０は、獲得データ集合Ｄ_ｏｐｔを用いてハイレベル制御器π_Ｈの学習を行う。ステップＳ２２１での、ハイレベル制御器学習部２４０がハイレベル制御器を学習する方法は、図１２のステップＳ１３１の場合と同様である。ステップＳ２２１では、獲得データ集合Ｄ_ｏｐｔが生成途中のものである点が、ステップＳ１３１の場合と異なる。
ステップＳ２２１の後、処理がステップＳ２０３へ戻る。

ステップＳ２３１からＳ２３３は、図１２のステップＳ１１１からＳ１１３と同様である。
ステップＳ２３３で、レベルセット関数ｇ＾の学習の継続が必要と評価部２３３が判定した場合（ステップＳ２３３：ＹＥＳ）、処理がステップＳ２４１へ進む。一方、レベルセット関数ｇ＾の学習の継続は不要と評価部２３３が判定した場合（ステップＳ２３３：ＮＯ）、処理がステップＳ２５１へ進む。

ステップＳ２４１は、図１２のステップＳ１２１と同様である。ステップＳ２４１の後、処理がステップＳ２０３へ戻る。
ステップＳ２５１は、図１２のステップ１３１と同様である。ステップＳ２５１の後、学習装置１は、図１４の処理を終了する。

＜第三実施形態＞
第三実施形態では、学習装置１が、パラメータ値による表現が困難なタスクの違いに対応してスキルを学習する場合の例について説明する。
具体的には、学習装置１は、第一実施形態の場合の学習に加えて、レベルセット関数を構成する予測器、および、ハイレベル制御器を構成する予測器それぞれのメタパラメータ値の学習を行う。学習装置１は、新たなタスクの訓練データを取得してそのタスクを実行するためのスキルを学習する際に、これらの予測器の予測精度がなるべく高くなるように、既に取得している訓練データを用いて予めメタパラメータ値を学習し、設定しておく。
学習装置１が、第二実施形態の場合の学習に加えて、第三実施形態に係る学習を行うようにしてもよい。すなわち、第二実施形態と第三実施形態とを組み合わせて実施することも可能である。

第三実施形態では、何らかの確率分布に従ってタスクが生成され、予測器の入出力の正解データが、タスク毎に定まる何らかの確率分布に従うと仮定する。
何らかの確率分布に従ってタスクが生成されることは、τ_ｊ～Τと表すことができる。Τは、タスクが従う確率分布を表す。また、ここでは、τ_ｊはタスクを表す。
予測器の入出力の正解データが、タスク毎に定まる何らかの確率分布に従うことは、Ｓ_ｊ～Ｄ_ｊと表すことができる。Ｄ_ｊは、タスクτ_ｊに応じて定まる確率分布を示す。Ｓ_ｊは、タスクτ_ｊの場合の予測器の入出力の正解データを表す。

図１５は、第三実施形態に係るスキル学習部１５の構成の例を示す図である。図１５に示す構成で、スキル学習部１５は、図１０に示す各部に加えて探索タスク設定部２５０と、メタパラメータ処理部２６０とを備える。
それ以外の点では、第三実施形態における制御システムの構成は、第一実施形態の場合と同様である。第三実施形態でも、図１から図９に示す制御システム１００の構成を用いて説明する。

探索タスク設定部２５０は、学習装置１による学習の対象とするタスクを設定する。探索タスク設定部２５０が設定する、学習装置１による学習の対象とするタスクを、探索タスクとも称する。
探索タスク設定部２５０は、生成されるタスクが従う確率分布Τを仮定し、仮定した確率分布Τに基づいて探索タスクを設定する。探索タスク設定部２５０が、生成されるタスクが従う確率分布Τを仮定する方法は、特定の方法に限定されない。例えば、確率分布Τが予め設定されていてもよいが、これに限定されない。

メタパラメータ処理部２６０は、レベルセット関数を構成する予測器、および、ハイレベル制御器π_Ｈを構成する予測器のメタパラメータ値を学習し、学習で得られたメタパラメータ値をこれらの予測器に設定する。
第三実施形態では、レベルセット関数を構成する予測器、および、ハイレベル制御器π_Ｈを構成する予測器として、ベイジアンニューラルネットワークまたはガウシアンプロセスなど、パラメータ値が確率分布に従って設定される学習モデルによる予測器が用いられる。メタパラメータ処理部２６０は、これらのパラメータ値が従う確率分布を、メタパラメータ値として学習し設定する。
また、メタパラメータ処理部２６０は、メタパラメータを設定した予測器の予測精度を評価し、評価結果に基づいて、メタパラメータ値の学習を継続するか否かを決定する。

図１６は、第三実施形態に係るスキル学習部１５におけるデータの入出力の例を示す図である。図１５を参照して説明したのと同様、図１６に示す構成でも、スキル学習部１５は、図１１に示す各部に加えて探索タスク設定部２５０と、メタパラメータ処理部２６０とを備える。

探索タスク設定部２５０は、タスクパラメータ情報の入力を受けて探索タスクを設定する。タスクパラメータ情報は、生成されるタスクの確率分布Τに関する情報を含む。例えば、タスクパラメータ情報が、生成されるタスクの確率分布Τを示す情報であり、探索タスク設定部２５０が、この確率分布Τに従って探索タスクを設定するようにしてもよい。

探索タスク設定部２５０は、未知タスクパラメータ用の学習継続フラグが学習の継続を示す間、探索タスクの設定を繰り返す。未知タスクパラメータ用の学習継続フラグは、予測器のメタパラメータ値の学習を継続するか否かを示すフラグである。未知タスクパラメータ用の学習継続フラグが学習の継続を示す間、探索タスク設定部２５０は、学習装置１が探索タスクに関する学習を終了する毎に、次の探索タスクを設定する。

なお、第三実施形態では、評価部２３３が設定する学習継続フラグを、未知タスクパラメータ用の学習継続フラグと区別するために、既知タスクパラメータ用の学習継続フラグとも称する。また、タスク毎のデータについて、「τ_ｊ」または「ｊ」を記載して、タスク毎のデータであることを示す場合がある。

学習装置１は、探索タスク設定部２５０が探索タスクを設定する毎に、探索タスクとして設定されたタスクτ_ｊについて、第一実施形態における学習を行う。特に、探索点集合初期化部２１１は、探索タスクに応じて探索点集合Ｘ^～ _{ｓｅａｒｃｈ}を設定する。また、システムモデル設定部２２１は、探索タスクに応じて、最適制御問題の設定のための各種設定を行う。

メタパラメータ処理部２６０は、全獲得データ集合Ｄ_{ｏｐｔａｌｌ}を用いて、上述したメタパラメータ値の学習、および、メタパラメータ値の学習を継続するか否かの決定を行う。全獲得データ集合Ｄ_{ｏｐｔａｌｌ}は、データ更新部２２３が取得した全ての獲得データ集合Ｄ_{ｏｐｔ，ｊ}を結合したものである。

例えば、データ更新部２２３が、全獲得データ集合Ｄ_{ｏｐｔａｌｌ}の初期値を０に設定しておき、獲得データ集合Ｄ_{ｏｐｔ，ｊ}を生成する毎に、生成した獲得データ集合Ｄ_{ｏｐｔ，ｊ}を全獲得データ集合Ｄ_{ｏｐｔａｌｌ}に結合するようにしてもよい。
獲得データ集合Ｄ_{ｏｐｔ，ｊ}を全獲得データ集合Ｄ_{ｏｐｔａｌｌ}に結合する処理は、式（２５）のように表すことができる。

メタパラメータ処理部２６０が学習するメタパラメータ値は、レベルセット集合を構成する予測器、および、ハイレベル制御器を構成する予測器に設定される。
また、上記のように、メタパラメータ処理部２６０が設定する未知タスクパラメータ用の学習継続フラグが学習の継続を示す間、探索タスク設定部２５０は、学習装置１が探索タスクに関する学習を終了する毎に、次の探索タスクを設定する。

図１７は、メタパラメータ処理部２６０の構成の例を示す図である。図１７に示す構成で、メタパラメータ処理部２６０は、メタパラメータ個別処理部２６１と、学習継続フラグ統合部２６２とを備える。

メタパラメータ処理部２６０は、学習の対象とする予測器毎にメタパラメータ個別処理部２６１を備える。図１６の例の場合、レベルセット関数と、ハイレベル制御器π_Ｈとが、予測器を用いて構成されてメタパラメータ値の学習の対象となる。この場合、メタパラメータ処理部２６０は、２つのメタパラメータ個別処理部２６１を備える。

ただし、メタパラメータ処理部２６０が備えるメタパラメータ個別処理部２６１の個数は、２つに限定されない。例えば、レベルセット関数およびハイレベル制御器π_Ｈ以外にも、予測器を用いて構成されメタパラメータ値の学習の対象となるものがあってもよい。この場合、メタパラメータ処理部２６０が、予測器を用いて構成されメタパラメータ値の学習の対象となるもの毎に、メタパラメータ個別処理部２６１を備えるようにしてもよい。

個々のメタパラメータ個別処理部２６１を区別する場合、メタパラメータ個別処理部２６１－１、メタパラメータ個別処理部２６１－２、・・・、メタパラメータ個別処理部２６１－Ｎと表記する。ここでは、Ｎは、メタパラメータ処理部２６０が備えるメタパラメータ個別処理部２６１の個数を示す正の整数である。

メタパラメータ個別処理部２６１は、予測器のメタパラメータ値を学習する。予測器のメタパラメータが複数ある場合、メタパラメータ個別処理部２６１は、メタパラメータ毎に、その値を学習する。
例えば、個々の予測器がベイジアンニューラルネットワークを用いて構成され、パラメータとしてノード間毎の重み係数、および、ノード毎のバイアスを有する場合、これらパラメータの各々が従う確率分布がメタパラメータに該当する。メタパラメータ個別処理部２６１は、これらのメタパラメータ毎に、その値を学習する。

また、メタパラメータ個別処理部２６１は、対象とする予測器について、メタパラメータ値の学習継続の要否を示す、予測器毎の学習継続フラグの値を設定する。予測器毎の学習継続フラグを、個別学習継続フラグとも称する。
学習継続フラグ統合部２６２は、個別学習継続フラグの値を統合して、未知タスクパラメータ用の学習継続フラグの値を設定する。学習継続フラグ統合部２６２は、学習継続判定統合手段の例に該当する。

図１８は、メタパラメータ処理部２６０におけるデータの入出力の例を示す図である。
上記のように、メタパラメータ個別処理部２６１は、メタパラメータ処理部２６０が対象とする予測器毎に設けられている。メタパラメータ個別処理部２６１は、全獲得データＤ_{ｏｐｔａｌｌ}と、メタ学習実行フラグまたは内部学習評価値との入力を受けて、そのメタパラメータ個別処理部２６１が対象とするメタパラメータの値を出力し、また、個別学習継続フラグの値を設定する。

メタ学習実行フラグは、メタパラメータ値の学習を行うか否かの設定を示すフラグである。例えば、全獲得データ集合Ｄ_{ｏｐｔａｌｌ}に各タスクのデータ（集合の要素）が所定の個数以上蓄積されると、データ更新部２２３が、メタ学習実行フラグの値をメタパラメータ値の学習を行うことを示す値に設定するようにしてもよい。また、メタパラメータ処理部２６０が、メタパラメータ値の学習を終了するときに、メタ学習実行フラグの値をメタパラメータ値の学習を行わないことを示す値に設定するようにしてもよい。

内部学習評価値は、予測器の予測精度の評価を示す値である。例えば、メタパラメータ値の学習が開始されると、メタパラメータ個別処理部２６１がメタパラメータの汎化誤差を算出するようにしてもよい。そして、メタパラメータ処理部２６０が、メタパラメータの汎化誤差に基づいて、メタパラメータ値の学習対象の全ての予測器についての総合的な評価を示す内部学習評価値を算出するようにしてもよい。

学習継続フラグ統合部２６２は、個別学習継続フラグの値を統合して、未知タスクパラメータ用の学習継続フラグの値を設定する。例えば、１つ以上の個別学習継続フラグの値が、学習継続が必要であることを示す場合、学習継続フラグ統合部２６２は、未知タスクパラメータ用の学習継続フラグの値を、学習継続が必要であることを示す値に設定する。また、全ての個別学習継続フラグの値が、学習継続が不要であることを示す場合、学習継続フラグ統合部２６２は、未知タスクパラメータ用の学習継続フラグの値を、学習継続が不要であることを示す値に設定する。

図１９は、メタパラメータ個別処理部２６１の構成の第１の例を示す図である。図１９に示す構成で、メタパラメータ個別処理部２６１は、訓練データ抽出部２７１と、メタパラメータ学習部２７２と、汎化誤差評価部２７３と、学習継続判定部２７４とを備える。

訓練データ抽出部２７１は、全獲得データ集合Ｄ_{ｏｐｔａｌｌ}から、メタパラメータ値の学習用の訓練データを抽出する。
メタパラメータ学習部２７２は、訓練データ抽出部２７１が抽出する訓練データを用いて、メタパラメータ値の学習を行う。
汎化誤差評価部２７３は、メタパラメータ学習部２７２が学習したメタパラメータ値を用いる場合の予測器の汎化誤差に対する評価値を算出する。
学習継続判定部２７４は、汎化誤差評価部２７３が算出した評価値に基づいて、メタパラメータ値の学習を継続するか否かを判定する。

図２０は、図１９に示すメタパラメータ個別処理部２６１におけるデータの入出力の例を示す図である。
訓練データ抽出部２７１は、メタ学習実行フラグの値がメタパラメータ値の学習を行うことを示す場合に、全獲得データ集合Ｄ_{ｏｐｔａｌｌ}から、メタパラメータ値の学習用の訓練データを抽出する。訓練データ抽出部２７１は、メタ学習実行フラグの値が、学習継続が不要との判定結果を示す値になるまで、訓練データの抽出を繰り返す。
訓練データ抽出部２７１は、訓練データ抽出手段の例に該当する。

メタパラメータ学習部２７２は、メタ学習実行フラグの値がメタパラメータ値の学習を行うことを示す場合に、メタパラメータ値の学習用の訓練データと、学習パラメータ情報と、予測器情報とに基づいて、メタパラメータ値の学習を行う。メタパラメータ値の学習用の訓練データには、学習モデルにおける入力値と、その入力値の場合の学習モデルの出力値の正解との組み合わせが含まれる。メタパラメータ学習部２７２は、メタパラメータ学習手段の例に該当する。

予測器情報は、学習対象のメタパラメータを有する予測器に関する情報である。例えば、予測器情報が、その予測器を表す関数の情報を含んでいてもよい。
学習パラメータ情報は、学習対象のメタパラメータに関する情報である。例えば、学習パラメータ情報が、学習対象の予測器が有するメタパラメータの個数を示す情報を含んでいてもよい。

ここで、メタパラメータ値の学習対象の予測器を式（２６）のように関数ｆで表す。

ｘは、予測器への入力を示す。θは、予測器のパラメータを示す。ｙは予測器の出力を示す。
予測器の出力の確率分布ｐ（ｙ｜ｘ，θ）は、式（２７）のように表される。

Ｎ_ｓは、予測器のパラメータの個数を示す正の整数であり、θ＝（θ_１、θ_２、・・・、θ_Ｎｓ）と表される。
パラメータθ_ｉ（ｉ＝１、２、・・・、Ｎ_ｓ）の値は、式（２８）のように、確率分布ｐ（θ｜Ｓ）に従う。

ベイジアンニューラルネットワークの学習では、この、パラメータθのデータＳによる条件付き確率分布ｐ（θ｜Ｓ）を求める。
学習装置１が確率分布ｐ（θ｜Ｓ）を求める方法は、特定の方法に限定されない。例えば、学習装置１が、式（２９）に示されるOptimal Gibbs Posteriorの構造を用いて、確率分布ｐ（θ｜Ｓ）を求めるようにしてもよい。

Ｐ（θ）は、パラメータθの値の事前分布を表す。メタパラメータ学習部２７２は、この事前分布Ｐ（θ）をメタパラメータ値として学習する。
βは、温度パラメータと呼ばれるパラメータである。温度パラメータβの値は、例えば、予め設定される。

「ｌ（Ｓ，ｆ（ｘ，θ））」は、予測器の出力と、訓練データとして示される正解データＳによる出力の正解値との相違に基づく損失関数ｌを示す。
「Ｅ」は期待値を表す。具体的には、「Ｅ_{θ～Ｐ（θ）}［ｅｘｐ（－βｌ（Ｓ，ｆ（ｘ，θ）））］」は、パラメータθが事前分布Ｐ（θ）に従う場合の、「ｅｘｐ（－βｌ（Ｓ，ｆ（ｘ，θ）））」の期待値を示す。
メタパラメータ学習部２７２は、例えば、式（３０）に示される損失関数の期待値がなるべく小さくなるように、メタパラメータ値の学習を行う。

式（３０）の「ｌ（Ｓ，ｆ_θ，Ｐ）」は、式（２９）の「ｌ（Ｓ，ｆ（ｘ，θ）））」と同様の損失関数ｌを表す。式（３０）では、予測器を示す関数ｆを「ｆ_θ，Ｐ」と表記して、パラメータθと、メタパラメータである確率分布Ｐとを示している。

上記のように、「Ｅ」は期待値を表す。具体的には、「Ｅ_Ｓ～Ｄ［ｌ（Ｓ，ｆ_θ，Ｐ）］」正解データＳが確率分布Ｄに従う場合の損失関数ｌの期待値を表す。「Ｅ_Ｄ～Τ［Ｅ_Ｓ～Ｄ［ｌ（Ｓ，ｆ_θ，Ｐ）］］」は、確率分布Ｄが確率分布Τに従う場合の、期待値「Ｅ_Ｄ～Τ［Ｅ_Ｓ～Ｄ［ｌ（Ｓ，ｆ_θ，Ｐ）］］」の期待値を表す。

例えば、メタパラメータ学習部２７２は、式（３１）に基づいて、メタパラメータとしての確率分布Ｐ（θ）の確率分布Ｑ（Ｐ）を求める。

「Ｐ（Ｐ）」は、メタパラメータである確率分布Ｐ（θ）の事前分布を表す。
λは、温度パラメータと呼ばれるパラメータである。λの値は、例えば、予め設定される。
Ｎ_τは、タスクの個数を表す正の整数である。
「ｌｎ」は、自然対数を表す。
上記のように、「Ｅ」は期待値を表す。具体的には、「Ｅ_{θ～Ｐ（θ）}［・・・］」は、パラメータθの値が確率分布Ｐ（θ）に従う場合の、括弧内の値（[・・・]）の期待値を表す。「Ｅ_Ｐ～Ｐ［・・・］」は、確率分布Ｐ（θ）が確率分布Ｐ（Ｐ）に従う場合の、括弧内の値（[・・・]）の期待値を表す。

汎化誤差評価部２７３は、上記の確率分布Ｐ（θ）およびＱ（Ｐ）を用いた場合の、予測器の汎化誤差の評価値を算出する。例えば、汎化誤差評価部２７３は、式（３２）で示される汎化誤差Ｌ（Ｑ，Τ）の評価値を算出する。

上記のように、「Ｅ」は期待値を表す。具体的には、式（３２）の右辺「Ｅ_Ｐ～Ｑ［Ｅ_Ｄ～Τ［Ｅ_Ｓ～Ｄ［ｌ（Ｓ，ｆ_θ，Ｐ）］］］」は、確率分布Ｐ（θ）が確率分布Ｑ（Ｐ）に従う場合の、式（３０）に示す期待値「Ｅ_Ｄ～Τ［Ｅ_Ｓ～Ｄ［ｌ（Ｓ，ｆ_θ，Ｐ）］］」の期待値を表す。
汎化誤差評価部２７３は、例えば、式（３３）の右辺（式（３３）に示す不等式の右辺）の値を、汎化誤差Ｌ（Ｑ，Τ）の評価値として算出する。

「Ｃ（δ，λ，β）」は、損失関数ｌ（Ｓ，ｆ_θ，ｆ）の種類に応じて定まる関数である。
式（３３）の右辺は、汎化誤差Ｌ（Ｑ，Τ）の上界（Upper Bound）を示している。式（３３）の右辺をＬ＾（Ｑ，Τ）とも表記する。

学習継続判定部２７４は、汎化誤差評価部２７３が算出する汎化誤差の評価値Ｌ＾（Ｑ，Τ）に基づいて、個別学習継続フラグの値を設定する。学習継続判定部２７４が、式（３４）に基づいて、個別学習継続フラグＩの値を算出するようにしてもよい。

個別学習継続フラグＩの値「０」は、メタパラメータ値の学習を継続する必要が無いことを示す。個別学習継続フラグＩの値「１」は、メタパラメータ値の学習を継続する必要があることを示す。
εは、所定の閾値を示す定数である。

汎化誤差の評価値Ｌ＾（Ｑ，Τ）は、評価が高いほど小さい値を示す。そこで、評価値Ｌ＾（Ｑ，Τ）の値が閾値ε以下である場合、学習継続判定部２７４は、メタパラメータ値の学習を継続する必要は無いと判定する。一方、評価値Ｌ＾（Ｑ，Τ）の値が閾値εよりも大きい場合、学習継続判定部２７４は、メタパラメータ値の学習を継続する必要があると判定する。

学習継続判定部２７４が、学習の継続の条件に関する情報に基づいて、メタパラメータ値の学習の継続の要否を判定するようにしてもよい。図２０は、学習継続判定部２７４が、学習の継続の条件に関する情報として誤差閾値情報および継続条件情報を取得する場合の例を示している。

誤差閾値情報は、上記の閾値εのように、汎化誤差の評価値Ｌ＾（Ｑ，Τ）に対する判定閾値である。
継続条件情報は、汎化誤差の評価値Ｌ＾（Ｑ，Τ）に基づく判定以外の判定方法を示す情報である。例えば、メタパラメータ値の学習の繰り返しの回数が所定の回数に達した場合、汎化誤差の評価値Ｌ＾（Ｑ，Τ）が閾値εよりも大きくても、学習継続判定部２７４は、メタパラメータ値の学習を継続する必要が無いと判定するようにしてもよい。

ただし、学習継続判定部２７４が、メタパラメータ値の学習を継続する必要の有無を判定する方法は、特定の方法に限定されない。学習継続判定部２７４が用いる、学習の継続の条件に関する情報は、学習継続判定部２７４がメタパラメータ値の学習を継続する必要の有無を判定する方法に応じたいろいろな情報とすることができる。

図２１は、メタパラメータ個別処理部２６１の構成の第２の例を示す図である。図２１の例では、メタパラメータ個別処理部２６１は、図１９に示す各部に加えてメタ学習実行判定部２８１を備える。
メタ学習実行判定部２８１は、メタ学習実行フラグを設定する。

図２２は、図２１に示すメタパラメータ個別処理部２６１におけるデータの入出力の例を示す図である。
メタ学習実行判定部２８１は、内部学習評価値に基づいてメタ学習実行フラグの値を設定する。

例えば、内部学習評価値が示す予測器の予測精度の評価が所定の評価よりも低い場合、メタ学習実行判定部２８１は、メタ学習実行フラグの値を、メタパラメータ値の学習を行うことを示す値に設定する。一方、内部学習評価値が示す予測器の予測精度の評価が所定の評価以上に高い場合、メタ学習実行判定部２８１は、メタ学習実行フラグの値を、メタパラメータ値の学習を行わないことを示す値に設定する。メタ学習実行判定部２８１はメタ学習実行判定手段の例に該当する。
このように、メタ学習実行フラグの値を学習継続判定部２７４の内部で設定するようにしてもよい。

図２３は、第三実施形態に係る学習装置１によるスキルデータベースの更新処理の例を示す図である。例えば、学習装置１は、複数のスキル分の訓練データを取得した場合に、図２３の処理を行う。

（ステップＳ３０１）
データ更新部２２３は、全獲得データ集合Ｄ_{ｏｐｔａｌｌ}の初期設定を行う。具体的には、データ更新部２２３は、全獲得データ集合Ｄ_{ｏｐｔａｌｌ}の値を空集合に設定する。
ステップＳ３０１の後、処理がステップＳ３０２へ進む。

（ステップＳ３０２）
探索タスク設定部２５０は、探索タスクを設定する。例えば、探索タスク設定部２５０は、未知タスクパラメータ値τ_ｊを選択することで、未知タスクパラメータ値τ_ｊに対応付けられるタスクτ_ｊを、探索タスクに設定するようにしてもよい。
ステップＳ３０２の後、処理がステップＳ３０３へ進む。

図２３のステップＳ３０３からＳ３１３までは、図１２のステップＳ１０１からＳ１１３までと同様である。
図２３のステップＳ３０５からＳ３０９のループを、ループＬ３１と表記する。

ステップＳ３１３で、ハイレベル制御器π_Ｈの学習を継続する必要があるとハイレベル制御器学習部２４０が判定した場合（ステップＳ３１３：ＹＥＳ）、処理がステップＳ３２１へ進む。
一方、ハイレベル制御器π_Ｈの学習を継続する必要がないとハイレベル制御器学習部２４０が判定した場合（ステップＳ３１３：ＮＯ）、処理がステップＳ３３１へ進む。

図２３のステップＳ３２１は、図１２のステップＳ１２１と同様である。
ステップＳ３２１の後、処理がステップＳ３０５へ戻る。
図２３のステップＳ３３１は、図１２のステップＳ１３１と同様である。
ステップＳ３３１の後、処理がステップＳ３３２へ進む。

（ステップＳ３３２）
データ更新部２２３は、全獲得データ集合Ｄ_{ｏｐｔａｌｌ}を更新する。上述したように、データ更新部２２３は、生成した獲得データ集合Ｄ_{ｏｐｔ，ｊ}を全獲得データ集合Ｄ_{ｏｐｔａｌｌ}に結合する。
ステップＳ３３２の後、処理がステップＳ３３３へ進む。

（ステップＳ３３３）
メタパラメータ処理部２６０は、予測器のメタパラメータ値を算出する。
ステップＳ３３３の後、処理がステップＳ３３４へ進む。

（ステップＳ３３４）
メタパラメータ処理部２６０は、メタパラメータ値の学習継続の要否を判定する。学習継続が必要とメタパラメータ処理部２６０が判定した場合（ステップＳ３３４：ＹＥＳ）、処理がステップＳ３４１へ進む。
一方、学習継続は不要とメタパラメータ処理部２６０が判定した場合（ステップＳ３３４：ＮＯ）、学習装置１は、図２３の処理を終了する。

（ステップＳ３４１）
探索タスク設定部２５０は、探索タスクを更新する。具体的には、探索タスク設定部２５０は、まだ探索タスクに設定していないタスクの何れかを、探索タスクに設定する。
ステップＳ３４１の後、処理がステップＳ３０３へ戻る。

図２４は、メタパラメータ処理部２６０が予測器のメタパラメータ値を算出する処理の例を示す図である。メタパラメータ処理部２６０は、図２３のステップＳ３３３で、図２４の処理を行う。

（ステップＳ４０１）
メタパラメータ個別処理部２６１は、予測器毎にメタパラメータ値を算出する。また、メタパラメータ個別処理部２６１は、予測器毎に、メタパラメータ値の学習継続の要否を判定する。
メタパラメータ個別処理部２６１が、予測器毎のステップＳ４０１の処理を並列実行するようにしてもよい。あるいは、メタパラメータ個別処理部２６１が、予測器毎のステップＳ４０１の処理を逐次実行するようにしてもよい。
処理対象となっている全ての予測器についてステップＳ４０１の処理が終了した後、処理がステップＳ４０２へ進む。

（ステップＳ４０２）
学習継続フラグ統合部２６２は、予測器毎のメタパラメータ値の学習継続の要否の判定結果に基づいて、複数の予測器全体についてのメタパラメータ値の学習継続の要否を判定する。
ステップＳ４０２の後、メタパラメータ処理部２６０は、図２４の処理を終了する。

図２５は、メタパラメータ個別処理部２６１が、予測器毎にメタパラメータ値を算出し、メタパラメータ値の学習継続の要否を判定する処理の第１の例を示す図である。メタパラメータ個別処理部２６１図２４のステップＳ４０１で、予測器毎に図２５の処理を行う。

（ステップＳ４１１）
訓練データ抽出部２７１は、全獲得データ集合Ｄｏｐｔａｌｌから、メタパラメータ値の学習用の訓練データを抽出する。
ステップＳ４１１の後、処理がステップＳ４１２へ進む。

（ステップＳ４１２）
メタパラメータ学習部２７２は、処理対象となっている予測器のメタパラメータ値を学習する。
ステップＳ４１２の後、処理がステップＳ４１３へ進む。

（ステップＳ４１３）
汎化誤差評価部２７３は、学習で得られたメタパラメータ値を用いる場合の汎化誤差の評価値を算出する。
ステップＳ４１３の後、処理がステップＳ４１４へ進む。

（ステップＳ４１４）
学習継続判定部２７４は、汎化誤差の評価値に基づいて、パラメータ値の学習の継続の要否を判定する。
ステップＳ４１４の後、メタパラメータ個別処理部２６１は、図２５の処理を終了する。

図２６は、メタパラメータ個別処理部２６１が、予測器毎にメタパラメータ値を算出し、メタパラメータ値の学習継続の要否を判定する処理の第２の例を示す図である。メタパラメータ個別処理部２６１図２４のステップＳ４０１で、予測器毎に、図２５の処理に代えて図２６の処理を行う。

（ステップＳ４２１）
メタ学習実行判定部２８１は、内部学習評価値に基づいて、メタ学習実行フラグの値を設定する。
ステップＳ４２１の後、処理がステップＳ４２２へ進む。

図２６のステップＳ４２２からＳ４２５までは、図２５のステップＳ４１１からＳ４１４までと同様である。
ステップＳ４２５の後、メタパラメータ個別処理部２６１は、図２６の処理を終了する。

図２３に示す、第三実施形態に係る学習装置１によるスキルデータベースの更新処理の、さらに具体的な例について説明する。
ステップＳ３０２で、探索タスク設定部２５０は、例えば、把持動作を学習する対象物の形状を未知タスクパラメータとして選択する。探索タスク設定部２５０が、確率分布Τに従って未知タスクパラメータをサンプリングするようにしてもよい。あるいは、探索タスク設定部２５０が、未知タスクパラメータを確率的に選択するアルゴリズムを用いて未知タスクパラメータを設定するようにしてもよい。
ステップＳ３４１についても同様である。

ステップＳ３０３で、探索点集合初期化部２１１は、ロボット５及び把持対象物の位置および姿勢等を表す状態変数ｘを定義し、把持動作実行前のロボット５及び把持対象物の状態を初期状態ｘ_ｓｉとして設定する。また、探索点集合初期化部２１１は、把持動作実行後のロボット５及び把持対象物の目標状態および把持対象物の大きさ（スケール）を含む目標状態/既知タスクパラメータβ_ｇｉを設定する。そして、探索点集合初期化部２１１は、初期状態ｘ_ｓｉと、目標状態／既知タスクパラメータβ_ｇｉとの組（ｘ_ｓｉ，β_ｇｉ）を、探索点集合Ｘ^～ _{ｓｅａｒｃｈ，ｊ}の要素に設定する。

ステップＳ３０６で、システムモデル設定部２２１は、探索点部分集合Ｘ^～ _{ｃｈｅｃｋ}の要素である探索点Ｘ^～ _ｉを抽出し、目標状態/既知タスクパラメータβ_ｇｉ及び設定されたタスクτ_ｊを基に、システムモデル（ダイナミクス）、システムモデルにおける制約条件、ローレベル制御器π_Ｌを設定する。ここでの制約条件の例として、ロボット５の動作領域、ロボット５の仕様上の入力の上限値、衝突回避のための制約条件等が挙げられるが、これらに限定されない。

さらに、システムモデル設定部２２１は、探索点Ｘ^～ _ｉより初期状態ｘ_ｓｉと、目標状態/既知タスクパラメータβ_ｇｉに含まれるｘ_ｆｉとを設定する。
また、システムモデル設定部２２１は、これらの値に基づいて、最適制御問題における評価関数ｇを設定する。システムモデル設定部２２１が、式（３５）に示される評価関数ｇを設定するようにしてもよい。

「｜｜・｜｜^２」は、２乗ノルムを示す。
ε_ｇは、誤差の大きさの許容値を示す許容誤差パラメータである。

ステップＳ３１２で、予測精度評価関数設定部２３２が、ベイジアンニューラルネットワークを用いて構成される予測器について、式（３６）に示される予測精度評価関数Ｊ_ｇ＾ｉを設定するようにしてもよい。

μ_ｇ＾ｊ（Ｘ^～）は、予測平均値を示す。σ_ｇ＾ｊ ^２（Ｘ^～）は、予測分散を示す。ベイジアンニューラルネットワークの予測に関しては、これらの値を得ることができる。
γは、予測分散に乗算される係数であり、信頼領域（信頼区間）を設定するパラメータと解することができる。
あるいは、予測精度評価関数設定部２３２が、レベルセット関数ｇ^＾ _ｉのエントロピーを計算する関数を予測精度評価関数Ｊ_ｇ＾ｉとして設定するようにしてもよい。

ステップＳ３１３で、評価部２３３が、探索点集合Ｘ^～ _{ｓｅａｒｃｈ，ｊ}の各要素Ｘ^～について上記の予測分散σ_ｇ＾ｊ ^２（Ｘ^～）を算出し、全ての要素についてσ_ｇ＾ｊ ^２（Ｘ^～）≦ε_σが成立する場合に、学習継続不要と判定するようにしてもよい。ε_σは、予測分散の閾値である。ε_σを分散閾値パラメータとも称する。なお、ここでは、探索点集合Ｘ^～ _{ｓｅａｒｃｈ，ｊ}の要素（ｘ_ｓｉ，β_ｇｉ）を、Ｘ^～と表記している。
あるいは、探索点集合Ｘ^～ _{ｓｅａｒｃｈ，ｊ}の全ての要素についてσ_ｇ＾ｊ ^２（Ｘ^～）≦ε_σが成立している場合、または、獲得データ集合Ｄ_{ｏｐｔ，ｊ}の要素数が、設定された閾値に達している場合に、学習継続不要と判定するようにしてもよい。

以上のように、メタパラメータ学習部２７２は、パラメータの値が確率分布に従う学習モデルにおける確率分布を示すメタパラメータの値の学習を、学習モデルにおける入力および出力を示す訓練データに基づいて行う。
汎化誤差評価部２７３は、学習モデルの汎化誤差に対する評価を示す評価値を算出する。
学習継続判定部２７４は、学習モデルの汎化誤差に対する評価を示す評価値に基づいてメタパラメータの値の学習継続の要否を判定する。
学習装置１によれば、学習モデルのメタパラメータ値の学習を行う際、学習の継続の要否を判定することができ、無駄な学習を省くことができる点で、学習を効率的に行うことができる。

また、訓練データ抽出部２７１は、メタパラメータの値の学習用の訓練データのうち、学習に用いる訓練データの選択を、学習継続が不要と判定されるまで繰り返す。
学習装置１によれば、学習モデルのメタパラメータ値の学習を行う際、学習の継続の要否を判定することができ、無駄な学習を省くことができる点で、学習を効率的に行うことができる。

また、メタ学習実行判定部２８１は、学習モデルの汎化誤差に対する評価を示す評価値に基づいて、メタパラメータの値の学習を行うか否かを判定する。
訓練データ抽出部２７１は、メタ学習実行判定部２８１がメタパラメータの値の学習を行うと判定している場合に、訓練データの選択を行う。
学習装置１によれば、学習モデルのメタパラメータ値の学習を行う際、学習モデルの汎化誤差に対する評価に基づいて学習の継続の要否を判定することができ、無駄な学習を省くことができる点で、学習を効率的に行うことができる。

また、学習継続フラグ統合部２６２は、複数の学習モデルに応じた複数の学習継続判定手段それぞれの判定結果に基づいて、複数の学習モデル全体についてメタパラメータ値の学習継続の要否を判定する。
学習装置１によれば、複数の学習モデルについてメタパラメータ値の学習継続の要否を判定することができ、無駄な学習を省くことができる点で、学習を効率的に行うことができる。

また、学習モデルの１つは、ロボット５の動作がモジュール化されたタスクをロボット５に実行させる制御を行うハイレベル制御器π_Ｈとして構成され、スキルのパラメータ値が学習モデルに対する入力値に含まれる。メタパラメータ学習部２７２は、複数のスキルの訓練データを用いてメタパラメータ値の学習を行う。
学習装置１によれば、タスクの違いに対してメタパラメータ値の学習で対応して、複数のタスクを１つの学習モデルによるハイレベル制御器π_Ｈで実行することができる。

また、ロボットコントローラ３は、学習装置１での学習によるハイレベル制御器π_Ｈを備える。
ロボットコントローラ３によれば、タスクの違いに対してメタパラメータ値の設定で対応して、複数のタスクを１つの学習モデルによるハイレベル制御器π_Ｈで実行することができる。

また、ロボットコントローラ３は、形状の異なる把持対象物をそれぞれロボット５に把持させるように、把持対象物の形状に応じてロボット５の制御を行うハイレベル制御器π_Ｈを備える。
ロボットコントローラ３によれば、把持対象物の形状に応じて、ロボット５を高精度に制御できると期待される。

＜第四実施形態＞
図２７は、第四実施形態に係る学習装置の構成の例を示す図である。図２７に示す構成で、学習装置６１０は、探索点設定部６１１と、計算部６１２と、データ取得部６１３と、評価部６１４とを備える。
かかる構成で、探索点設定部６１１は、制御対象の動作を示す探索点のうち、制御対象の制御の学習のための訓練データ取得の対象とする探索点を選択する。

計算部６１２は、選択された探索点が示す動作の実行可否の評価を示す情報と、選択された探索点が示す動作に対して、制御対象を制御する制御手段が出力すべき出力値とを算出する。
データ取得部６１３は、選択された探索点と、選択された探索点が示す動作の実行可否の評価を示す情報と、選択された探索点が示す動作に対して制御手段が出力すべき出力値とに基づいて、制御手段による制御対象に対する制御の学習のための訓練データを取得する。

評価部６１４は、訓練データの取得状況に対する評価に基づいて、訓練データの取得を継続するか否かを判定する。
探索点設定部６１１は、探索点設定手段の例に該当する。計算部６１２は、計算手段の例に該当する。データ取得部６１３は、データ取得手段の例に該当する。評価部６１４は、評価手段の例に該当する。

学習装置６１０によれば、制御対象に対する制御の学習の継続の要否を判定することができ、無駄な学習を省くことができる点で、学習を効率的に行うことができる。

＜第五実施形態＞
図２８は、第五実施形態に係る制御装置の構成の例を示す図である。図２８に示す構成で、制御装置６２０は、制御部６２１を備える。
かかる構成で、制御部６２１は、大きさの異なる把持対象物をそれぞれロボットに把持させるように、把持対象物の大きさに応じてロボットの制御を行う。
制御装置６２０によれば、把持対象物の大きさに応じて、ロボットを高精度に制御できると期待される。

＜第六実施形態＞
図２９は、第六実施形態に係る学習方法における処理の例を示す図である。図２９に示す学習方法は、探索点を設定すること（ステップＳ６１１）と、計算を行うこと（ステップＳ６１２）と、データを取得すること（ステップＳ６１３）と、評価を行うこと（ステップＳ６１４）とを含む。
探索点を設定すること（ステップＳ６１１）では、コンピュータが、制御対象の動作を示す探索点のうち、制御対象の制御の学習のための訓練データ取得の対象とする探索点を選択する。

計算を行うこと（ステップＳ６１２）では、コンピュータが、選択された探索点が示す動作の実行可否の評価を示す情報と、選択された探索点が示す動作に対して、制御対象を制御する制御手段が出力すべき出力値とを算出する。
データを取得すること（ステップＳ６１３）では、コンピュータが、選択された探索点と、選択された探索点が示す動作の実行可否の評価を示す情報と、選択された探索点が示す動作に対して制御手段が出力すべき出力値とに基づいて、制御手段による制御対象に対する制御の学習のための訓練データを取得する。

評価を行うこと（ステップＳ６１４）では、コンピュータが、訓練データの取得状況に対する評価に基づいて、訓練データの取得を継続するか否かを判定する。
図２９に示す学習方法によれば、制御対象に対する制御の学習の継続の要否を判定することができ、無駄な学習を省くことができる点で、学習を効率的に行うことができる。

なお、学習装置１、ロボットコントローラ３、学習装置６１０、および、制御装置６２０が行う処理の全部または一部を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、学習装置、制御装置、学習方法および記録媒体に適用してもよい。

１、６１０ 学習装置
２ 記憶装置
３ ロボットコントローラ
４ 計測装置
５ ロボット
１００ 制御システム
２１０ 探索点集合設定部
２１１ 探索点集合初期化部
２１２ 次探索点集合設定部
２２１ システムモデル設定部
２２２ 問題設定計算部
２２３ データ更新部
２３０ 予測精度評価関数学習部
２３１ レベルセット関数学習部
２３２ 予測精度評価関数設定部
２３３ 評価部
２４０ ハイレベル制御器学習部
６１１ 探索点設定部
６１２ 計算部
６１３ データ取得部
６１４ 評価部
６２０ 制御装置
６２１ 制御部

Claims (8)

1. 制御対象の動作を示す探索点のうち、前記制御対象の制御の学習のための訓練データ取得の対象とする探索点を選択する探索点設定手段と、
   選択された探索点が示す動作の実行可否の評価を示す情報と、選択された探索点が示す動作に対して、前記制御対象を制御する制御手段が出力すべき出力値とを算出する計算手段と、
   選択された探索点と、選択された探索点が示す動作の実行可否の評価を示す情報と、選択された探索点が示す動作に対して前記制御手段が出力すべき出力値とに基づいて、前記制御手段による前記制御対象に対する制御の学習のための訓練データを取得するデータ取得手段と、
   前記訓練データの取得状況に対する評価に基づいて、前記訓練データの取得を継続するか否かを判定する評価手段と、
   を備える学習装置。
2. 探索点の入力を受けて、その探索点が示す動作の実行可否の推定値を出力するレベルセット関数の学習を、前記計算手段による前記探索点が示す動作の実行可否の評価結果に基づいて行うレベルセット関数学習手段と、
   探索点の入力を受けて、その探索点に対する前記レベルセット関数の推定精度の評価値を出力する予測精度評価関数を設定する予測精度評価関数設定手段と、
   を備え、
   前記評価手段は、前記予測精度評価関数に基づいて、前記訓練データの取得を継続するか否かを判定する、
   請求項１に記載の学習装置。
3. 前記探索点設定手段は、前記予測精度評価関数による評価値が、前記レベルセット関数の推定精度が所定の条件よりも低いことを示す探索点を、前記制御対象の制御の訓練データ取得の対象として選択する、
   請求項２に記載の学習装置。
4. 前記探索点は、前記制御対象の動作がモジュール化されたスキルのパラメータ値を含む、
   請求項１から３の何れか一項に記載の学習装置。
5. 前記探索点は、前記制御対象およびその制御対象の動作環境のスキル開始時における初期状態と、前記スキルのパラメータ値と、前記制御対象およびその制御対象の動作環境のスキル終了時における目標状態との組み合わせで構成される、
   請求項４に記載の学習装置。
6. 請求項１から５の何れか一項に記載の学習装置が取得した訓練データを用いた学習で得られた制御手段
   を備える制御装置。
7. コンピュータが、
   制御対象の動作を示す探索点のうち、前記制御対象の制御の学習のための訓練データ取得の対象とする探索点を選択し、
   選択された探索点が示す動作の実行可否の評価を示す情報と、選択された探索点が示す動作に対して、前記制御対象を制御する制御手段が出力すべき出力値とを算出し、
   選択された探索点と、選択された探索点が示す動作の実行可否の評価を示す情報と、選択された探索点が示す動作に対して前記制御手段が出力すべき出力値とに基づいて、前記制御手段による前記制御対象に対する制御の学習のための訓練データを取得し、
   前記訓練データの取得状況に対する評価に基づいて、前記訓練データの取得を継続するか否かを判定する、
   ことを含む学習方法。
8. コンピュータに、
   制御対象の動作を示す探索点のうち、前記制御対象の制御の学習のための訓練データ取得の対象とする探索点を選択することと、
   選択された探索点が示す動作の実行可否の評価を示す情報と、選択された探索点が示す動作に対して、前記制御対象を制御する制御手段が出力すべき出力値とを算出することと、
   選択された探索点と、選択された探索点が示す動作の実行可否の評価を示す情報と、選択された探索点が示す動作に対して前記制御手段が出力すべき出力値とに基づいて、前記制御手段による前記制御対象に対する制御の学習のための訓練データを取得することと、
   前記訓練データの取得状況に対する評価に基づいて、前記訓練データの取得を継続するか否かを判定することと、
   を実行させるためのプログラム。