JP7714510B2 - 機械学習システム、エッジデバイスおよび情報処理装置 - Google Patents

Description

本発明の実施形態は、機械学習システム、エッジデバイスおよび情報処理装置に関する。

クラウドで学習した機械学習モデルを例えば監視カメラ等を搭載したエッジデバイスにデプロイし、エッジデバイスにおいて機械学習モデルに基づく推論処理を実行する機械学習システムが知られている。このようなシステムは、監視カメラにより撮像された画像等の入力データをクラウドに送信しなくてもよいので、通信負担が軽減される。

また、このような機械学習システムにおいて、エッジデバイスにおいて収集した入力データをクラウドに送信して、クラウドにおいて機械学習モデルを再学習する機械学習オペレーションも知られている。機械学習システムは、このような機械学習オペレーションが適用されることにより、現場環境により適応した機械学習モデルを用いることができる。

ところで、機械学習システムは、機械学習モデルを効率良く再学習をさせるために、大量の入力データの中から再学習に有効な入力データを選択しなければならなかった。

しかしながら、エッジデバイスは、情報処理のためのリソースが限られており、演算量の多い選択処理を実行することが困難であった。また、クラウドは、情報処理能力が高いので、演算量の多い選択処理を実行することが可能である。しかしながら、機械学習システムは、エッジデバイスにおいて収集された入力データを大量にクラウドに送信した場合、通信負担が非常に大きくなってしまっていた。

国際公開第２０２１／２００５０３号公報

本発明が解決しようとする課題は、複数の入力データの中から学習のために有効となる入力データを効率良く選択することができる機械学習システム、エッジデバイスおよび情報処理装置を提供することにある。

実施形態に係る機械学習システムは、複数の入力データの中から、第１機械学習モデルを学習させるための複数の学習データを選択する。前記機械学習システムは、第１情報処理装置と、前記第１情報処理装置とネットワークを介して接続される第２情報処理装置とを備える。前記第１情報処理装置は、第１評価部と、第１選択部と、候補データ送信部と、を有する。前記第１評価部は、予め定められた第１評価基準に基づき、前記複数の入力データのそれぞれにおける前記第１機械学習モデルの学習に用いたときの有効度を表す第１評価値を算出する。前記第１選択部は、前記複数の入力データのそれぞれの前記第１評価値を予め定められた値と比較することにより、前記複数の入力データのそれぞれを複数の候補データに含めるか否かを選択する。前記候補データ送信部は、前記複数の候補データのそれぞれを前記ネットワークを介して前記第２情報処理装置に送信する。前記第２情報処理装置は、候補データ受信部と、第２評価部と、第２選択部と、を有する。前記候補データ受信部は、前記複数の候補データのそれぞれを前記ネットワークを介して前記第１情報処理装置から受信する。前記第２評価部は、前記第１評価基準とは異なる予め定められた第２評価基準に基づき、前記複数の候補データのそれぞれにおける前記第１機械学習モデルの学習に用いたときの有効度を示す第２評価値を算出する。前記第２選択部は、前記複数の候補データのそれぞれの前記第２評価値を予め定められた値と比較することにより、前記複数の候補データのそれぞれを前記複数の学習データに含めるか否かを選択する。

実施形態に係る機械学習システムの構成を示す図。 エッジデバイスおよびクラウド装置の機能構成図。 エッジデバイスおよびクラウド装置のフローチャート。 第１評価値の算出方法の一例を説明するための図。 第２評価値の算出方法の第１例を説明するための図。 第２評価値の算出方法の第２例を説明するための図。 第２評価値の算出方法の第３例を説明するための図。 第２評価値の算出方法の第４例を説明するための図。 第２評価値の算出方法の第５例を説明するための図。 第２評価値の算出方法の第６例を説明するための図。 変形例におけるエッジデバイスおよびクラウド装置の機能構成図。 情報処理装置のハードウェア構成の一例を示す図。

以下、図面を参照しながら本発明の実施形態について説明する。

図１は、実施形態に係る機械学習システム１０の構成を示す図である。

機械学習システム１０は、時系列の複数の入力データを取得し、取得した複数の入力データのそれぞれに対して予め設定された第１機械学習モデルを用いて推論処理を実行する。さらに、機械学習システム１０は、取得した複数の入力データの中から、第１機械学習モデルを学習させるための複数の学習データを選択する。そして、機械学習システム１０は、選択して得られた複数の学習データを用いて、第１機械学習モデルを再学習させる。

機械学習システム１０は、エッジデバイス２１と、クラウド装置２２とを備える。

エッジデバイス２１は、第１情報処理装置の一例である。エッジデバイス２１は、周囲環境から複数の入力データを時系列に収集し、収集した複数の入力データのそれぞれに対して情報処理を実行する。エッジデバイス２１は、複数の入力データのそれぞれに対する情報処理の結果を、ネットワークを介してクラウド装置２２に送信する。

クラウド装置２２は、第２情報処理装置の一例である。クラウド装置２２は、ネットワークを介してエッジデバイス２１と接続される。クラウド装置２２は、ネットワークを介してエッジデバイス２１から、複数の入力データのそれぞれに対する情報処理の結果を取得する。クラウド装置２２は、複数の入力データのそれぞれに対する情報処理の結果をユーザ等に出力したり、情報処理の結果に対してさらなる情報処理を実行したりする。

エッジデバイス２１は、ハードウェアの第１演算処理装置２５を含む。第１演算処理装置２５は、例えば１または複数のＣＰＵ（Central Processing Unit）等により構成されるプロセッシング回路である。第１演算処理装置２５は、エッジデバイス２１において行われる情報処理を実行する。

クラウド装置２２は、例えばサーバ装置等の情報処理装置である。クラウド装置２２は、例えば複数の情報処理装置が連携して動作するサーバ装置であってもよい。クラウド装置２２は、ハードウェアの第２演算処理装置２６を含む。第２演算処理装置２６は、例えば１または複数のＣＰＵ等により構成されるプロセッシング回路である。第２演算処理装置２６は、クラウド装置２２において行われる情報処理を実行する。

第２演算処理装置２６は、第１演算処理装置２５よりも演算精度の高い情報処理を実行する。例えば、第１演算処理装置２５が３２ビット精度の浮動小数演算処理を実行する場合、第２演算処理装置２６は、６４ビット精度の浮動小数演算処理を実行する、などである。これにより、第２演算処理装置２６は、第１演算処理装置２５と同一の演算処理を実行した場合、第１演算処理装置２５とは異なる演算結果が得られる。

図２は、エッジデバイス２１およびクラウド装置２２の機能構成を示すブロック図である。

エッジデバイス２１は、入力データ生成部３１と、推論部３２と、結果送信部３３とを備える。クラウド装置２２は、結果受信部３４と、出力部３５とを備える。

入力データ生成部３１は、エッジデバイス２１の周囲を観測した観測結果を収集する。入力データ生成部３１は、収集した観測結果に基づき時系列に並んだ複数の入力データを生成する。入力データ生成部３１は、例えば、撮像装置であってもよい。この場合、入力データ生成部３１は、所定時間毎に、周囲を撮像して、撮像した周囲を表す画像データを入力データとして生成する。また、入力データ生成部３１は、マイクロフォン装置であってもよい。この場合、入力データ生成部３１は、周囲の音声を収音して、予め定められた時間長単位の音声データを入力データとして生成する。また、入力データ生成部３１は、１または複数のセンサ装置であってもよい。この場合、入力データ生成部３１は、所定時間毎に、対象物の温度または湿度等をセンシングして、センサデータを入力データとして生成する。

推論部３２は、時系列の複数の入力データのそれぞれを、順次に取得する。推論部３２は、第１機械学習モデルに基づき、時系列の複数の入力データのそれぞれに対して推論処理をし、推論処理をして得られる推論結果を出力する。例えば、推論部３２は、複数の入力データのそれぞれを時系列に取得し、複数の入力データのそれぞれを取得する毎に、推論処理をし、推論処理をして得られる推論結果を出力する。

第１機械学習モデルは、例えば予めパラメータが学習されたニューラルネットワークである。第１機械学習モデルがニューラルネットワークである場合、推論部３２は、取得した入力データをニューラルネットワークに与え、ニューラルネットワークから出力される推論結果を取得する。

結果送信部３３は、推論部３２から出力された推論結果を、ネットワークを介してクラウド装置２２に送信する。結果送信部３３は、推論部３２から予め定められた推論結果が出力された場合にのみ、推論結果をクラウド装置２２に送信してもよい。例えば、結果送信部３３は、画像データに含まれる人物が、予め定められた人物であると識別された場合にのみ、推論結果をクラウド装置２２に送信してもよい。

結果受信部３４は、エッジデバイス２１からネットワークを介して推論結果を受信する。

出力部３５は、結果受信部３４により推論結果が受信された場合、受信された推論結果を例えばユーザの保持する端末装置から出力させたり、表示装置に表示させたりする。また、出力部３５は、受信された推論結果を他の情報処理装置にさらに送信してもよい。

以上のような機械学習システム１０は、複数の入力データを時系列に生成し、生成した複数の入力データのそれぞれに対して予め設定された第１機械学習モデルを用いて推論処理を実行することができる。

さらに、エッジデバイス２１は、第１評価部４１と、第１選択部４２と、候補データ送信部４３とを備える。また、さらに、クラウド装置２２は、候補データ受信部４４と、第２評価部４５と、第２選択部４６と、記憶部４７と、学習部４８とを備える。

第１評価部４１は、入力データ生成部３１により生成された複数の入力データのそれぞれを取得する。第１評価部４１は、予め定められた第１評価基準に基づき、複数の入力データのそれぞれにおける第１機械学習モデルの学習に用いたときの有効度を表す第１評価値を算出する。例えば、第１評価部４１は、複数の入力データのそれぞれを生成順に時系列に取得し、複数の入力データのそれぞれを取得する毎に、第１評価値を算出する。

第１評価値は、第１機械学習モデルの学習に用いたときの有効度を例えば実数により表す値であってもよい。また、第１評価値は、有効であることまたは有効でないことを示す２値であってもよい。

本実施形態において、第１評価部４１は、複数の入力データのうちの任意の第１入力データについての第１評価値を、第１入力データと、第１入力データとは異なるデータとの関係に基づき、算出する。なお、第１評価部４１による第１評価値の算出方法の一例については、その詳細を、図４を参照して後述する。

第１選択部４２は、入力データ生成部３１により生成された複数の入力データを取得する。さらに、第１選択部４２は、取得した入力データについての第１評価値を第１評価部４１から取得する。

第１選択部４２は、複数の入力データのそれぞれの第１評価値を予め定められた値と比較することにより、複数の入力データのそれぞれを複数の候補データに含めるか否かを選択する。複数の候補データのそれぞれは、第１機械学習モデルを学習させるための複数の学習データの候補となるデータである。

例えば、第１評価値が実数で表されている場合、第１選択部４２は、複数の入力データのうちの、第１評価値が予め定められた値以上または予め定められた値以下の入力データを候補データとして選択する。また、例えば、第１評価値が２値で表されている場合、第１選択部４２は、複数の入力データのうちの、第１評価値が有効であることを示す値の入力データを候補データとして選択する。

また、例えば、第１選択部４２は、複数の入力データのそれぞれを時系列に取得してもよい。この場合、第１選択部４２は、複数の入力データのそれぞれを取得する毎に、取得した入力データを候補データとして選択するか否かを判断する。

候補データ送信部４３は、第１選択部４２により選択された複数の候補データのそれぞれを、ネットワークを介してクラウド装置２２に送信する。例えば、候補データ送信部４３は、第１選択部４２から、複数の候補データのそれぞれを時系列に取得する。そして、候補データ送信部４３は、複数の候補データのそれぞれを取得する毎に、取得した候補データをネットワークを介してクラウド装置２２に送信する。

候補データ受信部４４は、複数の候補データのそれぞれを、ネットワークを介してエッジデバイス２１から受信する。例えば、候補データ受信部４４は、複数の候補データのそれぞれを、エッジデバイス２１から時系列に受信する。

第２評価部４５は、候補データ受信部４４により受信された複数の候補データのそれぞれを取得する。第２評価部４５は、第１評価基準とは異なる予め定められた第２評価基準に基づき、複数の候補データのそれぞれにおける第１機械学習モデルの学習に用いたときの有効度を表す第２評価値を算出する。例えば、第２評価部４５は、複数の候補データのそれぞれを受信順に時系列に取得し、複数の候補データのそれぞれを取得する毎に、第２評価値を算出する。

第２評価値は、第１機械学習モデルの学習に用いたときの有効度を例えば実数により表す値であってもよい。また、第２評価値は、有効であることまたは有効でないことを示す２値であってもよい。

本実施形態において、第２評価部４５は、複数の候補データのうちの任意の第１候補データについての第２評価値を、第１候補データを何れかの機械学習モデルに入力することにより得られる推論結果または中間結果を解析することにより、算出する。より具体的には、第２評価部４５は、第１候補データを何れかの機械学習モデルに入力することにより得られる推論結果または中間結果から、第１機械学習モデルに入力して得られる推論結果の不確実性が高い程、大きくなるまたは小さくなる第２評価値を算出する。なお、第２評価部４５による第２評価値の算出方法の一例については、その詳細を、図５～図１０を参照して後述する。

なお、エッジデバイス２１の候補データ送信部４３は、第２評価部４５において、エッジデバイス２１の推論部３２により算出される、第１候補データを第１機械学習モデルに入力して得られる推論結果および中間結果の少なくとも一方を用いて第２評価値を算出する場合、推論結果および中間結果の少なくとも一方を、第１候補データとともにネットワークを介して送信する。また、この場合、候補データ受信部４４は、第１候補データとともに推論結果および中間結果の少なくとも一方をエッジデバイス２１から受信する。そして、第２評価部４５は、候補データ受信部４４により受信された推論結果および中間結果を用いて第２評価値を算出する。

第２選択部４６は、候補データ受信部４４により受信された複数の候補データを取得する。さらに、第２選択部４６は、受信された候補データについての第２評価値を第２評価部４５から取得する。

第２選択部４６は、候補データ受信部４４により受信された複数の候補データのそれぞれの第２評価値を予め定められた値と比較することにより、複数の候補データのそれぞれを複数の学習データに含めるか否かを選択する。複数の学習データのそれぞれは、第１機械学習モデルを再学習させるため教師となるデータである。

例えば、第２評価値が実数で表されている場合、第２選択部４６は、複数の候補データのうちの、第２評価値が予め定められた値以上または予め定められた値以下の候補データを学習データとして選択する。また、例えば、第２評価値が２値で表されている場合、第２選択部４６は、複数の候補データのうちの、第２評価値が有効であることを示す値の候補データを学習データとして選択する。

また、例えば、第２選択部４６は、複数の候補データのそれぞれを受信順に時系列に取得してもよい。この場合、第２選択部４６は、複数の候補データのそれぞれを取得する毎に、取得した候補データを学習データとして選択するか否かを判断する。

記憶部４７は、第２選択部４６により選択された複数の学習データを記憶する。

学習部４８は、例えば予め定められたタイミングまたは所定の指示を受け付けた場合、記憶部４７に記憶された複数の学習データを用いて、第１機械学習モデルを訓練する。学習部４８は、第１機械学習モデルを訓練した後に、第１機械学習モデルに設定されたパラメータをエッジデバイス２１に送信して、エッジデバイス２１が推論処理に用いる第１機械学習モデルのパラメータを更新させる。

このような機械学習システム１０は、取得した複数の入力データの中から、第１機械学習モデルを学習させるための複数の学習データを選択することができる。そして、機械学習システム１０は、選択して得られた複数の学習データを用いて、第１機械学習モデルを再学習させることができる。

図３は、エッジデバイス２１およびクラウド装置２２の処理の流れを示すフローチャートである。機械学習システム１０は、図３に示す流れで処理を実行する。

エッジデバイス２１は、所定時間毎に、Ｓ１２からＳ１７の処理を実行する（Ｓ１１とＳ１８との間のループ処理）。

ループ内では、まず、Ｓ１１において、エッジデバイス２１は、エッジデバイス２１の周囲を観測した観測結果を収集して、収集した観測結果に基づき入力データを生成する。例えば、エッジデバイス２１は、周囲を撮像して、撮像した周囲を表す画像データを入力データとして生成する。

続いて、Ｓ１３において、エッジデバイス２１は、第１機械学習モデルに基づき、入力データに対して推論処理をする。例えば、エッジデバイス２１は、第１機械学習モデルを用いて、取得した入力データが予め定められた複数のクラスのうちの何れかのクラスに属するかを分類する。

続いて、Ｓ１４において、エッジデバイス２１は、推論結果を、ネットワークを介してクラウド装置２２に送信する。なお、エッジデバイス２１は、予め定められた推論結果が出力された場合にのみ、推論結果をクラウド装置２２に送信してもよい。例えば、エッジデバイス２１は、画像データに含まれる人物が、予め定められた人物であると識別された場合にのみ、推論結果をクラウド装置２２に送信してもよい。

続いて、Ｓ１５において、エッジデバイス２１は、第１評価基準に基づき、取得した入力データについての第１評価値を算出する。

続いて、Ｓ１６において、エッジデバイス２１は、第１評価値に基づき、生成した入力データを学習データとして採用する候補となる候補データとして選択するか否かを判断する。

生成した入力データを候補データとして選択する場合（Ｓ１６のＹｅｓ）、エッジデバイス２１は、処理をＳ１７に進める。

Ｓ１７において、エッジデバイス２１は、生成した入力データを候補データとしてクラウド装置２２に送信する。

エッジデバイス２１は、生成した入力データを候補データとして選択しない場合（Ｓ１６のＮｏ）またはＳ１７の送信処理を完了した場合、Ｓ１１とＳ１８との間のループ内の処理を終えて、所定時間後に、Ｓ１２から処理を繰り返す。

なお、エッジデバイス２１は、Ｓ１３からＳ１４までの処理と、Ｓ１５からＳ１７までの処理とを並行に実行してもよい。

一方、クラウド装置２２は、Ｓ２１から処理を実行する。

Ｓ２１において、クラウド装置２２は、エッジデバイス２１から候補データを受信したか否かを判断する。クラウド装置２２は、エッジデバイス２１から候補データを受信しない場合（Ｓ２１のＮｏ）、処理をＳ２１で待機する。クラウド装置２２は、エッジデバイス２１から候補データを受信した場合（Ｓ２１のＹｅｓ）、処理をＳ２２に進める。

Ｓ２２において、クラウド装置２２は、第２評価基準に基づき、受信した候補データについての第２評価値を算出する。

続いて、Ｓ２３において、クラウド装置２２は、第２評価値に基づき、受信した候補データを学習データとして選択するか否かを判断する。

受信した候補データを学習データとして選択する場合（Ｓ２３のＹｅｓ）、クラウド装置２２は、処理をＳ２４に進める。

Ｓ２４において、クラウド装置２２は、受信した候補データを、学習データとして記憶部４７に保存する。

クラウド装置２２は、受信した候補データを学習データとして選択しない場合（Ｓ２３のＮｏ）またはＳ２４の保存処理を終了した場合、処理をＳ２１に戻し、Ｓ２１から処理を繰り返す。

そして、クラウド装置２２は、例えば予め定められたタイミングまたは所定の指示を受け付けた場合、記憶部４７に記憶された複数の学習データを用いて、第１機械学習モデルを訓練する。クラウド装置２２は、第１機械学習モデルを訓練した後に、第１機械学習モデルに設定されたパラメータをエッジデバイス２１に送信して、エッジデバイス２１が推論処理に用いる第１機械学習モデルのパラメータを更新させる。

図４は、第１評価値の算出方法の一例を説明するための図である。

本実施形態において、第１評価部４１は、複数の入力データのそれぞれについての第１評価値を、他の入力データとの相関関係に基づき算出する。より詳しくは、第１評価部４１は、複数の入力データのうちの第１入力データについての第１評価値を、第１入力データと、複数の入力データのうちの第１入力データとは異なる１または２以上の第２入力データとの相関関係に基づき、算出する。そして、第１選択部４２は、このように算出した第１評価値に基づき、第１入力データを、学習データとして採用する候補となる複数の候補データの一つとして選択するか否かを判断する。

時系列の複数の入力データは、時間的に近い２以上のデータの相関が高く、類似する可能性が高い性質を有する。このため、エッジデバイス２１は、第１入力データと、第１入力データとは異なる１または２以上の第２入力データ間の相関関係に基づき第１評価値を算出することにより、複数の入力データの中から、互いに相違の大きい複数の候補データを選択することができる。機械学習モデルは、互いの相違が大きい、つまり、ばらつきのある複数のデータを用いて学習することにより、広汎な入力データに対し精度良く推論をすることが期待できる。従って、エッジデバイス２１は、このような入力データを複数の候補データの一つとして選択して、学習データの候補としてクラウド装置２２に送信することにより、第１機械学習モデルを精度良く再学習させることができる。

さらに、データ間の相関関係を算出する処理は、例えば機械学習モデルの推論結果または中間結果を解析する処理と比較して、負荷が軽い。従って、エッジデバイス２１は、第１入力データと、１または２以上の第２入力データ間の相関関係に基づき第１評価値を算出することにより、比較的に簡易な処理で、第１入力データを候補データとして選択するか否かを判断することができ、仮にエッジデバイス２１の演算リソースが限定されていても実現が容易である。

例えば、第１評価部４１は、第１入力データの取得時刻と、１または２以上の第２入力データのうちの第１入力データの直前に複数の候補データの一つとして選択された第２入力データの取得時刻との時間差に応じた値を、第１評価値として算出する。例えば、そして、第１選択部４２は、第１評価値と予め定められた基準値とを比較して、第１入力データを複数の候補データの１つとして選択する。例えば、第１評価部４１は、時間差が大きい程、大きな値となる第１評価値を生成する。この場合、第１選択部４２は、第１評価値が基準値より大きい第１入力データを、候補データとして選択する。

時系列の複数の入力データに含まれる第１入力データと、第２入力データとは、取得時間の差が大きい程、相違が大きい可能性が高い。従って、第１評価部４１は、直前の候補データとの取得時間の差が長い入力データの第１評価値を大きくすることにより、機械学習モデルを精度良く学習させる入力データを候補データとして選択させることができる。

また、例えば、第１評価部４１は、第１入力データと、複数の候補データのうちの、第１入力データに対して直前のｋ個（ｋは１以上の整数）の候補データとの相違を表す相違度に応じた値を、第１評価値として算出してもよい。そして、第１選択部４２は、第１評価値と予め定められた基準値とを比較して、第１入力データを複数の候補データの１つとして選択する。例えば、第１評価部４１は、相違が大きい程、大きな値となる第１評価値を生成する。この場合、第１選択部４２は、第１評価値が基準値より大きい第１入力データを、候補データとして選択する。データ同士の相違度は、画像データではＳＡＤ(Sum of Absolute Difference， 差分の絶対値の合計)、ＳＳＤ(Sum of Squared Difference， 差分の二乗の合計)、正規化相互相関値など、一般的な画像処理で使われる評価指標を利用して算出することができる。音声、テキストなど他のデータ同士の相違度についても、同様の評価指標を利用して算出することができる。

例えば、第１評価部４１は、第１入力データとｋ個の候補データのそれぞれとの差分の平均値または最大値等に基づき、相違度を算出してもよい。また、第１評価部４１は、第１入力データを所定関数または所定モデルに入力して得られる特徴量と、ｋ個の候補データのそれぞれを所定関数または所定モデルに入力して得られる特徴量との差分の平均値または最大値等に基づき、相違度を算出してもよい。また、例えば、第１評価部４１は、２つのデータの相関関係の強さを表す相関値を算出する関数またはモデルに、第１入力データと、ｋ個の候補データのそれぞれとを入力して相関値を算出し、相関値に基づき相違度を算出してもよい。第１評価部４１は、このように第１評価値を算出することによっても、機械学習モデルを精度良く学習させる候補データを選択させることができる。

また、第１評価部４１の相違度の比較対象は、第１機械学習モデルを訓練したときに用いた学習データから選定しても良い。例えば第１機械学習モデルの学習データからｋ個の代表値を求めておき、第１入力データとの相違度を算出することもできるし、学習データのｋ個の代表値と第１入力データを所定関数または所定モデルに入力して得られる特徴量の差分から相違度を算出することもできる。あるいは、第１機械学習モデルの学習データとの相違度を出力する新たな機械学習モデルを第１機械学習モデルとは別に訓練しておき、第１入力データをこの機械学習モデルに入力して得られる相違度に基づいて候補データを選択させることもできる。

また、第１評価値は、有効または非有効の２値を表す値であってもよい。この場合、第１評価部４１は、予め設定された確率で、有効または非有効が発生するように、乱数に基づき第１評価値を算出する。さらに、第１選択部４２は、第１評価値が有効を示す第１入力データを複数の候補データの１つとして選択する。例えば、第１評価部４１は、有効の確率が０．１％と設定してある場合、第１入力データの第１評価値を、０．１％の確率で有効を示す値とし、９９．９％の確率で非有効を示す値とする。

また、第１評価部４１は、上述した時間差、上述した相違度および上述した確率の何れか２個以上を組み合わせに基づき、第１評価値を算出してもよい。

例えば、第１評価値が有効または非有効の２値を表す値である場合、第１評価部４１は、第１入力データの取得時刻と、１または２以上の第２入力データのうちの第１入力データの直前に複数の候補データの一つとして選択された第２入力データの取得時刻との時間差が大きいほど、有効とする確率を高くして第１評価値を算出してもよい。

また、例えば、第１評価部４１は、第１入力データと、第１入力データに対して直前のｋ個の候補データとの相違度が予め設定された閾値以上であって、且つ、所定確率または時間差に応じた確率で乱数に基づき有効を示す値が決定された場合に、第１評価値を、有効を示す値としてもよい。

なお、例えば、第１評価部４１は、エッジデバイス２１におけるデータ処理の負荷に応じて、上述した時間差、上述した相違度若しくは上述した確率、または、これらの２個以上を組み合わせてのうちの何れかの算出方法を採用してもよい。例えば、第１評価部４１は、データ処理の負荷が所定値より小さい場合には、２個以上の組み合わせを用いた算出方法を採用してもよいし、データ処理の負荷が所定値より大きい場合には、例えば上述した時間差、上述した相違度若しくは上述した確率の何れか１つを用いた算出方法を採用してもよい。これにより、第１評価部４１は、エッジデバイス２１の演算能力の範囲内で、機械学習モデルを精度良く学習させる候補データを選択させることができる。

以上のように第１評価値を算出して複数の入力データの中から学習データの候補となる候補データを送信することにより、エッジデバイス２１は、互いに類似した複数の候補データをクラウド装置２２へと送信する可能性を小さくすることができる。これにより、エッジデバイス２１は、比較的に簡易な処理により、複数の入力データの中から再学習に有効な複数の候補データを選択することができるとともに、クラウド装置２２へのデータの送信量を軽減することができる。

図５は、第２評価値の算出方法の第１例を説明するための図である。

本実施形態において、第２評価部４５は、エッジデバイス２１から送信された複数の候補データのうちの第１候補データについての第２評価値を、第１候補データを機械学習モデルに入力することにより得られる推論結果または中間結果に基づき算出する。例えば、第２評価部４５は、第１候補データを第１機械学習モデルに入力させた場合に推論結果が不確実となる可能性に応じた値を、第２評価値として算出する。そして、第２選択部４６は、このように算出した第２評価値に基づき、第１候補データを、複数の学習データの一つとして選択するか否かを判断する。

機械学習モデルは、入力データ中の値が微小変化した場合に、推論結果が変化する場合がある。また、機械学習モデルは、ニューラルネットワークにおける重みなどのパラメータまたは接続関係が微小変化した場合、推論結果が変化する場合もある。また、複数のクラスの何れのクラスに属するかを分類する機械学習モデルは、同時に２個以上のクラスに属する分類確率が高くなる入力データが入力される場合もある。また、機械学習モデルは、実行されるハードウェアの演算精度が異なると、推論結果が変化する入力データが入力される場合もある。

このような各入力データが入力された場合、機械学習モデルは、推論結果がばらついたり、変化したりし、不確実が高くなる。従って、機械学習モデルは、このような推論結果の不確実性が高くなる入力データを用いて再学習することにより、広汎なデータが入力されても安定して精度良く推論処理をすることが期待できる。従って、クラウド装置２２は、このような入力データを複数の学習データの一つとして選択して、第１機械学習モデルの再学習に用いる。これにより、クラウド装置２２は、第１機械学習モデルを精度良く再学習させることができる。

さらに、機械学習モデルに入力することにより得られる推論結果または中間結果を解析することにより第２評価値を算出する処理は、データ間の相関関係を算出する処理と比較して、負荷が重い。しかし、クラウド装置２２は、エッジデバイス２１と比較して演算リソースが多い。このため、クラウド装置２２は、比較的容易に、第１候補データを複数の学習データの一つとして選択するか否かを判断することができる。また、クラウド装置２２は、複数の入力データのうちの一部の候補データのそれぞれに対して第２評価値を算出する。従って、クラウド装置２２は、第２評価値を算出する処理量を軽減することができる。

第１例において、第１機械学習モデルは、入力されたデータが複数のクラスのうちの何れかのクラスに属するかを分類する。この場合、第２評価部４５は、第１候補データを第１機械学習モデルに入力することにより得られる、複数のクラスのそれぞれに属する分類確率を取得する。さらに、第２評価部４５は、複数のクラスのうちの第１候補データが属すると分類されたクラスの分類確率と、属さないと分類された１または複数のクラスのそれぞれの分類確率との相違を表す相違度に応じた値を、第２評価値として算出する。そして、第２選択部４６は、第２評価値と予め定められた基準値とを比較して、第１候補データを複数の学習データの１つとして選択する。

例えば、第２評価部４５は、相違度が小さい、つまり２個以上のクラスに属する分類確率が高くなる場合に大きな値となる第２評価値を算出する。この場合、第２選択部４６は、第２評価値が基準値より大きな場合に、第１候補データを複数の学習データの一つとして選択する。

例えば、図５の例において、第１機械学習モデルは、第１候補データが入力された場合における、第１クラスの分類確率が３５％、第２クラスの分類確率が４０％、第３クラスの分類確率が２５％となっている。このような場合、第２評価部４５は、第２クラスの分類確率（４０％）と、第１クラスの分類確率（３５％）との差（５％）を相違度として算出し、算出した相違度が小さい程、大きな値となる第２評価値を算出する。

推論結果として得られたクラスの分類確率と、他のクラス分類確率との差が小さい入力データは２個以上のクラスに属する分類確率が高く、第１機械学習モデルにおける推論結果が不確実となる可能性が高い。従って、第１例に係る第２評価部４５は、このような候補データを複数の学習データの一つとして選択させることにより、第１機械学習モデルを精度良く再学習させることができる。

なお、このような各クラスの分類確率は、機械学習モデルがニューラルネットワークの場合、最終レイヤまたは最終レイヤの前段レイヤから出力される。従って、第２評価部４５がこのような第２評価値を算出する場合、エッジデバイス２１の候補データ送信部４３は、候補データをクラウド装置２２へと送信するとともに、推論部３２による推論結果および分類確率を出力するレイヤから得られる中間結果をクラウド装置２２に送信してもよい。そして、第２評価部４５は、エッジデバイス２１から受信した推論結果および中間結果に基づき、第２評価値を算出してもよい。これにより、第２評価部４５は、第２評価値を算出するための演算量を少なくすることができる。

図６は、第２評価値の算出方法の第２例を説明するための図である。

第２例に係る第２評価部４５は、第１演算精度のハードウェアの第１演算処理装置２５により算出される第１評価データと、第１演算精度よりも高い第２演算精度のハードウェアの第２演算処理装置２６により算出される第２評価データとの相違を表す相違度に応じた値を、第２評価値として算出する。

より詳しくは、第２例に係る第１評価データは、エッジデバイス２１が備える第１演算処理装置２５により算出され、第１候補データを第１機械学習モデルに入力することにより得られる、第１機械学習モデルの出力データおよび第１機械学習モデルにおける所定演算位置から出力される中間データの少なくとも１つを含む。また、第２例に係る第２評価データは、クラウド装置２２が備える第２演算処理装置２６により算出され、第１候補データを第１機械学習モデルに入力することにより得られる、第１機械学習モデルの出力データおよび第１機械学習モデルにおける所定演算位置から出力される中間データのうちの、第１評価データと対応するデータを含む。

そして、第２例に係る第２選択部４６は、第２評価値と予め定められた基準値とを比較して、第１候補データを複数の学習データの１つとして選択する。例えば、第２評価部４５は、相違度が大きい程、大きな値となる第２評価値を算出する。この場合、第２選択部４６は、第２評価値が基準値より大きな場合に、第１候補データを複数の学習データの一つとして選択する。

このような、演算精度の異なる２つの演算処理装置により算出された推定結果が異なる場合、その入力データは、第１機械学習モデルにおける推論結果が不確実となる可能性が高いとみなす。従って、第２例に係る第２評価部４５は、このような入力データを複数の学習データの一つとして選択させることにより、第１機械学習モデルを精度良く再学習させることができる。

なお、第２例に係るエッジデバイス２１の候補データ送信部４３は、推論部３２から第１評価データを取得し、ネットワークを介してクラウド装置２２に送信する。第２評価部４５は、エッジデバイス２１から受信した第１評価データを取得する。第２評価部４５は、クラウド装置２２が備える第２演算処理装置２６により第２評価データを算出する。そして、第２評価部４５は、エッジデバイス２１から受信した第１評価データと、クラウド装置２２が備える第２演算処理装置２６により算出された第２評価データとに基づき、第２評価値を算出する。これにより、第２評価部４５は、第１評価データを算出する演算処理を実行しなくてよいので、第２評価値を算出するための演算量を少なくすることができる。

図７は、第２評価部４５による第２評価値の算出方法の第３例を説明するための図である。

第３例に係る第２評価部４５は、第１候補データを第１機械学習モデルに入力することにより得られる第１評価データと、第１候補データの一部を変更したデータを第１機械学習モデルに入力することにより得られる第２評価データとの相違を表す相違度に応じた値を、第２評価値として算出する。

より詳しくは、第３例に係る第１評価データは、第１候補データを第１機械学習モデルに入力することにより得られる、第１機械学習モデルの出力データおよび第１機械学習モデルにおける所定演算位置から出力される中間データの少なくとも１つを含む。また、第３例に係る第２評価データは、第１候補データのうち一部の値を変更したデータを第１機械学習モデルに入力することにより得られる、第１機械学習モデルの出力データおよび第１機械学習モデルにおける所定演算位置から出力される中間データのうちの、第１評価データと対応するデータを含む。

そして、第３例に係る第２選択部４６は、第２例と同様に、第２評価値と予め定められた基準値とを比較して、第１候補データを複数の学習データの１つとして選択する。

このような、微小な変化をした入力データとの推定結果が異なる場合、その入力データは、第１機械学習モデルにおける推論結果が不確実となる可能性が高いとみなす。従って、第３例に係る第２評価部４５は、このような入力データを複数の学習データの一つとして選択させることにより、第１機械学習モデルを精度良く再学習させることができる。

なお、第３例において、エッジデバイス２１の候補データ送信部４３は、第２例と同様に、第１評価データをクラウド装置２２に送信してもよい。そして、第３例において、第２評価部４５は、エッジデバイス２１から受信した第１評価データと、クラウド装置２２により算出された第２評価データとに基づき、第２評価値を算出してもよい。これにより、第２評価部４５は、第２評価値を算出するための演算量を少なくすることができる。

図８は、第２評価部４５による第２評価値の算出方法の第４例を説明するための図である。

第４例に係る第２評価部４５は、第１候補データを第１機械学習モデルに入力することにより得られる第１評価データと、第１候補データを第１機械学習モデルの一部を変更した第２機械学習モデルに入力することにより得られる第２評価データとの相違を表す相違度に応じた値を、第２評価値として算出する。

より詳しくは、第４例に係る第１評価データは、第１候補データを第１機械学習モデルに入力することにより得られる、第１機械学習モデルの出力データおよび第１機械学習モデルにおける所定演算位置から出力される中間データの少なくとも１つを含む。第４例に係る第２評価データは、第１候補データを第１機械学習モデルの一部を変更した第２機械学習モデルに入力することにより得られる、第２機械学習モデルの出力データおよび第２機械学習モデルにおける所定演算位置から出力される中間データのうちの、第１評価データと対応するデータを含む。

第２機械学習モデルは、例えば、第１機械学習モデルの内部パラメータの一部を変更したモデルである。例えば、第２機械学習モデルは、ニューラルネットワークである場合、任意の第１ノードから次の第２ノードへと発火信号を伝達する遷移における重みパラメータを０とすることにより、第１ノードから第２ノードへと発火信号を伝達する経路を切断されたモデルである。また、第２機械学習モデルは、第１機械学習モデルの一部の重みパラメータを微小に変化させたモデルであてもよい。

そして、第４例に係る第２選択部４６は、第２例と同様に、第２評価値と予め定められた基準値とを比較して、第１候補データを複数の学習データの１つとして選択する。

このような、微小に構成が異なる２つの演算処理装置により算出された推定結果が異なる場合、その入力データは、第１機械学習モデルにおける推論結果が不確実となる可能性が高いとみなす。従って、第４例に係る第２評価部４５は、このような入力データを複数の学習データの一つとして選択させることにより、第１機械学習モデルを精度良く再学習させることができる。

なお、第４例において、エッジデバイス２１の候補データ送信部４３は、第２例と同様に、第１評価データをクラウド装置２２に送信してもよい。そして、第４例において、第２評価部４５は、エッジデバイス２１から受信した第１評価データと、クラウド装置２２により算出された第２評価データと基づき、第２評価値を算出してもよい。これにより、第２評価部４５は、第２評価値を算出するための演算量を少なくすることができる。

図９は、第２評価部４５による第２評価値の算出方法の第５例を説明するための図である。

第５例に係る第２評価部４５は、複数の出力データのばらつきを表す値を、第２評価値として算出する。ここで、複数の出力データは、第１候補データを、第１機械学習モデルとは異なる学習パラメータで学習された複数の機械学習モデルに入力することにより得られる、複数の推論結果である。例えば、複数の機械学習モデルは、第２機械学習モデル、第３機械学習モデル、第４機械学習モデル、…、第ｎ機械学習モデルを含む。この場合、第２～第ｎ機械学習モデルのそれぞれは、第１機械学習モデルとは異なる学習パラメータで学習され、且つ、互いに異なる学習パラメータで学習される。第２～第ｎ機械学習モデルのそれぞれは、ニューラルネットワークであっても、他のモデルであってもよい。

そして、第５例に係る第２選択部４６は、第２例と同様に、第２評価値と予め定められた基準値とを比較して、第１候補データを複数の学習データの１つとして選択する。

このような、互いに異なる複数の機械学習モデルを用いて算出された推定結果が異なる場合、その入力データは、第１機械学習モデルにおける推論結果が不確実となる可能性が高いとみなす。従って、第５例に係る第２評価部４５は、このような入力データを複数の学習データの一つとして選択させることにより、第１機械学習モデルを精度良く再学習させることができる。

図１０は、第２評価部４５による第２評価値の算出方法の第６例を説明するための図である。

第６例に係る第２評価部４５は、第１出力データと、１以上の第２出力データのそれぞれとの相違を表す相違度に基づく値を、第２評価値として算出する。ここで、第１出力データは、第１候補データを第１機械学習モデルに入力することにより得られる推論結果である。また、１以上の第２出力データのそれぞれは、第１候補データを第１機械学習モデルとは異なる学習パラメータで学習された１以上の機械学習モデルに入力することにより得られる、１以上の推論結果である。例えば、複数の機械学習モデルは、第２機械学習モデル、第３機械学習モデル、第４機械学習モデル、…、第ｎ機械学習モデルを含む。この場合、第２～第ｎ機械学習モデルのそれぞれは、第１機械学習モデルとは異なる学習パラメータで学習され、且つ、互いに異なる学習パラメータで学習される。１以上の機械学習モデルのそれぞれは、ニューラルネットワークであっても、他のモデルであってもよい。

第２評価部４５は、第１出力データと、１以上の第２出力データのそれぞれとの差分の平均値または最大値等に基づき、相違度を算出してもよい。また、第２評価部４５は、第１出力データを所定関数または所定モデルに入力して得られる値と、１以上の第２出力データのそれぞれを所定関数または所定モデルに入力して得られる値との差分の平均値または最大値等に基づき、相違度を算出してもよい。また、例えば、第２評価部４５は、２つのデータの相関関係の強さを表す相関値を算出する関数またはモデルに、第１出力データと、１以上の第２出力データのそれぞれとを入力して相関値を算出し、相関値に基づき相違度を算出してもよい。

そして、第６例に係る第２選択部４６は、第２例と同様に、第２評価値と予め定められた基準値とを比較して、第１候補データを複数の学習データの１つとして選択する。

このような、第１機械学習モデルを用いて算出された推定結果と、第２機械学習モデルを用いて算出された推定結果が異なる場合、その入力データは、第１機械学習モデルにおける推論結果が不確実となる可能性が高いとみなす。従って、第６例に係る第２評価部４５は、このような入力データを複数の学習データの一つとして選択させることにより、第１機械学習モデルを精度良く再学習させることができる。

なお、第６例に係るエッジデバイス２１の候補データ送信部４３は、推論部３２から第１出力データを取得し、ネットワークを介してクラウド装置２２に送信する。第２評価部４５は、エッジデバイス２１から受信した第１出力データを取得する。第２評価部４５は、１以上の第２出力データのそれぞれを算出する。そして、第２評価部４５は、エッジデバイス２１から受信した第１出力データと、算出した１以上の第２出力データと基づき、第２評価値を算出する。これにより、第２評価部４５は、第１出力データを算出する演算処理を実行しないでよいので、第２評価値を算出するための演算量を少なくすることができる。

図１１は、変形例に係るエッジデバイス２１およびクラウド装置２２の機能構成を示すブロック図である。

エッジデバイス２１およびクラウド装置２２は、図１１に示すような構成であってもよい。すなわち、クラウド装置２２は、フィードバック部６１をさらに備える。エッジデバイス２１は、確率変更部６２をさらに備える。

エッジデバイス２１は、時系列に並んだ複数の入力データを生成し、入力データを生成する毎に、生成した入力データを候補データとして選択するか否かを判断する。そして、エッジデバイス２１は、生成した入力データを候補データとして選択した場合、ネットワークを介して候補データをクラウド装置２２に送信する。

また、クラウド装置２２は、エッジデバイス２１から候補データを受信する毎に、受信した候補データを学習データとして選択するか否かを判断し、受信した候補データを学習データとして選択した場合、選択した候補データを学習データとして記憶部４７に記憶させる。

ここで、変形例において、フィードバック部６１は、第２選択部４６によって学習データが選択される毎に、選択した学習データに対応する入力データが、学習データとして選択されたことを示す採用情報を、ネットワークを介して、エッジデバイス２１に送信する。

確率変更部６２は、ネットワークを介してクラウド装置２２から採用情報を受信する。確率変更部６２は、採用情報を受信した場合、採用情報に示された入力データより後における予め定められた時間範囲に取得される入力データを、候補データとして選択する確率を、他の時間範囲を選択する確率よりも高くする。

時系列の複数の入力データは、時間的に近い２以上のデータの相関が高く、類似する可能性が高い性質を有する。このため、第１機械学習モデルにおける推論結果が不確実となる可能性が高いと判断された入力データにおける時間的に近傍の他の入力データも、同様に、推論結果が不確実となる可能性が高いと予測される。従って、確率変更部６２は、推論結果が不確実となる可能性が高いと判断された入力データの近傍の入力データを候補データとして選択する確率を高くすることにより、学習データとして採用する可能性の高いより多くの入力データをクラウド装置２２に送信させることができる。これにより、確率変更部６２は、第１機械学習モデルを精度良く再学習させることができる。

以上のように、本実施形態に係る機械学習システム１０は、エッジデバイス２１で第１評価値を算出して複数の入力データの中から学習データの候補となる候補データを送信することにより、学習に有効ではない互いに類似した複数の候補データをクラウド装置２２へと送信する可能性を小さくすることができる。これにより、エッジデバイス２１は、比較的に簡易な処理により、複数の入力データの中から学習に有効な複数の候補データを選択することができるとともに、クラウド装置２２へのデータの送信量を軽減することができる。

さらに、本実施形態に係る機械学習システム１０は、演算能力の高いクラウド装置２２で第２評価値を算出して複数の候補データの中から学習データを選択するので、推論結果が不確実となる可能性が高い入力データを、精度良く選択することができる。従って、このような本実施形態に係る機械学習システム１０によれば、複数の入力データの中から学習のために有効となる入力データを、精度良く且つ効率良く選択することができる

図１２は、エッジデバイス２１およびクラウド装置２２を構成する情報処理装置のハードウェア構成の一例を示す図である。エッジデバイス２１およびクラウド装置２２を構成する情報処理装置は、例えば図１２に示すようなコンピュータと同様のハードウェア構成により実現される。なお、クラウド装置２２を構成する情報処理装置は、操作入力装置３０４および表示装置３０５を備えない構成であってもよい。

情報処理装置は、ＣＰＵ３０１と、ＲＡＭ（Random Access Memory）３０２と、ＲＯＭ（Read Only Memory）３０３と、操作入力装置３０４と、表示装置３０５と、記憶装置３０６と、通信装置３０７とを備える。そして、これらの各部は、バスにより接続される。

ＣＰＵ３０１は、プログラムに従って演算処理および制御処理等を実行するプロセッサである。ＣＰＵ３０１は、ＲＡＭ３０２の所定領域を作業領域として、ＲＯＭ３０３および記憶装置３０６等に記憶されたプログラムとの協働により各種処理を実行する。

ＲＡＭ３０２は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等のメモリである。ＲＡＭ３０２は、ＣＰＵ３０１の作業領域として機能する。ＲＯＭ３０３は、プログラムおよび各種情報を書き換え不可能に記憶するメモリである。

操作入力装置３０４は、マウスおよびキーボード等の入力デバイスである。操作入力装置３０４は、ユーザから操作入力された情報を指示信号として受け付け、指示信号をＣＰＵ３０１に出力する。

表示装置３０５は、ＬＣＤ（Liquid Crystal Display）等の表示デバイスである。表示装置３０５は、ＣＰＵ３０１からの表示信号に基づいて、各種情報を表示する。

記憶装置３０６は、フラッシュメモリ等の半導体による記憶媒体、または、磁気的若しくは光学的に記録可能な記憶媒体等にデータを書き込みおよび読み出しをする装置である。記憶装置３０６は、ＣＰＵ３０１からの制御に応じて、記憶媒体にデータの書き込みおよび読み出しをする。通信装置３０７は、ＣＰＵ３０１からの制御に応じて外部の機器とネットワークを介して通信する。

エッジデバイス２１を実現する情報処理装置で実行されるプログラムは、入力データ生成モジュールと、推論モジュールと、結果送信モジュールと、第１評価モジュールと、第１選択モジュールと、候補データ送信モジュールとを含むモジュール構成となっている。このプログラムは、ＣＰＵ３０１（プロセッサ）によりＲＡＭ３０２上に展開して実行されることにより、情報処理装置を、入力データ生成部３１、推論部３２、結果送信部３３、第１評価部４１、第１選択部４２および候補データ送信部４３として機能させる。なお、情報処理装置は、入力データ生成部３１、推論部３２、結果送信部３３、第１評価部４１、第１選択部４２および候補データ送信部４３の一部または全部がハードウェア回路により実現されてもよい。

クラウド装置２２を実現する情報処理装置で実行されるプログラムは、結果受信モジュールと、出力モジュールと、候補データ受信モジュールと、第２評価モジュールと、第２選択モジュールと、学習モジュールとを含むモジュール構成となっている。このプログラムは、ＣＰＵ３０１（プロセッサ）によりＲＡＭ３０２上に展開して実行されることにより、情報処理装置を、結果受信部３４、出力部３５、候補データ受信部４４、第２評価部４５、第２選択部４６、学習部４８として機能させる。なお、情報処理装置は、結果受信部３４、出力部３５、候補データ受信部４４、第２評価部４５、第２選択部４６、学習部４８の一部または全部がハードウェア回路により実現されてもよい。

また、コンピュータで実行されるプログラムは、コンピュータにインストール可能な形式または実行可能な形式のファイルで、ＣＤ－ＲＯＭ、フレキシブルディスク、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、このプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、このプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、情報処理装置で実行されるプログラムを、ＲＯＭ３０３等に予め組み込んで提供するように構成してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

（付記）
なお、上記の実施形態を、以下の技術案にまとめることができる。

技術案１
複数の入力データの中から、第１機械学習モデルを学習させるための複数の学習データを選択する機械学習システムであって、
第１情報処理装置と、
前記第１情報処理装置とネットワークを介して接続される第２情報処理装置と、
を備え、
前記第１情報処理装置は、
予め定められた第１評価基準に基づき、前記複数の入力データのそれぞれにおける前記第１機械学習モデルの学習に用いたときの有効度を表す第１評価値を算出する第１評価部と、
前記複数の入力データのそれぞれの前記第１評価値を予め定められた値と比較することにより、前記複数の入力データのそれぞれを複数の候補データに含めるか否かを選択する第１選択部と、
前記複数の候補データのそれぞれを前記ネットワークを介して前記第２情報処理装置に送信する候補データ送信部と、
を有し、
前記第２情報処理装置は、
前記複数の候補データのそれぞれを前記ネットワークを介して前記第１情報処理装置から受信する候補データ受信部と、
前記第１評価基準とは異なる予め定められた第２評価基準に基づき、前記複数の候補データのそれぞれにおける前記第１機械学習モデルの学習に用いたときの有効度を示す第２評価値を算出する第２評価部と、
前記複数の候補データのそれぞれの前記第２評価値を予め定められた値と比較することにより、前記複数の候補データのそれぞれを前記複数の学習データに含めるか否かを選択する第２選択部と、
を有する機械学習システム。

技術案２
前記第１評価部は、前記複数の入力データのうちの第１入力データについての前記第１評価値を、前記第１入力データと、前記第１入力データとは異なるデータとの関係に基づき、算出する
技術案１に記載の機械学習システム。

技術案３
前記第１評価部は、前記第１入力データの取得時刻と、前記第１入力データとは異なる１または２以上の第２入力データのうちの前記第１入力データの直前に前記複数の候補データの一つとして選択された第２入力データの取得時刻との時間差に応じた値を、前記第１評価値として算出し、
前記第１選択部は、前記第１評価値と予め定められた基準値とを比較して、前記第１入力データを前記複数の候補データの１つとして選択する
技術案２に記載の機械学習システム。

技術案４
前記第１評価部は、前記第１入力データと、前記複数の候補データのうちの、前記第１入力データに対して直前のｋ個（ｋは、１以上の整数）の候補データとの相違を表す相違度に応じた値を、前記第１評価値として算出し、
前記第１選択部は、前記第１評価値と予め定められた基準値とを比較して、前記第１入力データを前記複数の候補データの１つとして選択する
技術案２に記載の機械学習システム。

技術案５
前記第１評価部は、前記第１入力データと、前記第１機械学習モデルの訓練に用いた１以上のデータとの相違を表す相違度に応じた値を、前記第１評価値として算出し、
前記第１選択部は、前記第１評価値と予め定められた基準値とを比較して、前記第１入力データを前記複数の候補データの１つとして選択する
技術案２に記載の機械学習システム。

技術案６
前記第１評価値は、有効または非有効の２値を表し、
前記第１評価部は、前記有効または前記非有効が、予め設定された確率で発生するように乱数に基づき前記第１評価値を算出し、
前記第１選択部は、前記第１評価値が選択を示す場合に、前記第１入力データを前記複数の候補データの１つとして選択する
技術案２から５の何れか１項に記載の機械学習システム。

技術案７
前記第２評価部は、前記複数の候補データのうちの第１候補データについての前記第２評価値を、前記第１候補データを機械学習モデルに入力することにより得られる推論結果または中間結果を解析することにより、算出する
技術案１から６の何れか１項に記載の機械学習システム。

技術案８
前記第１機械学習モデルは、入力されたデータが複数のクラスのうちの何れかのクラスに属するかを分類し、
前記第２評価部は、前記第１候補データを前記第１機械学習モデルに入力することにより得られる、前記複数のクラスのそれぞれに属する分類確率を取得し、前記複数のクラスのうちの前記第１候補データが属すると分類されたクラスの分類確率と、属さないと分類された１または複数のクラスのそれぞれの分類確率との相違を表す相違度に応じた値を、前記第２評価値として算出し、
前記第２選択部は、前記第２評価値と予め定められた基準値とを比較して、前記第１候補データを前記複数の学習データの１つとして選択する
技術案７に記載の機械学習システム。

技術案９
前記第２評価部は、第１演算精度のハードウェアの第１演算処理装置により算出される第１評価データと、前記第１演算精度よりも高い第２演算精度のハードウェアの第２演算処理装置により算出される第２評価データとの相違を表す相違度に応じた値を、前記第２評価値として算出し、
前記第２選択部は、前記第２評価値と予め定められた基準値とを比較して、前記第１候補データを前記複数の学習データの１つとして選択し、
前記第１評価データは、前記第１候補データを前記第１機械学習モデルに入力することにより得られる、前記第１機械学習モデルの出力データおよび前記第１機械学習モデルにおける所定演算位置から出力される中間データの少なくとも１つを含み、
前記第２評価データは、前記第１候補データを前記第１機械学習モデルに入力することにより得られる、前記第１機械学習モデルの出力データおよび前記第１機械学習モデルにおける前記所定演算位置から出力される中間データのうちの、前記第１評価データと対応するデータを含む
技術案７に記載の機械学習システム。

技術案１０
前記第２評価部は、前記第１候補データを前記第１機械学習モデルに入力することにより得られる第１評価データと、前記第１候補データの一部を変更したデータを前記第１機械学習モデルに入力することにより得られる第２評価データとの相違を表す相違度に応じた値を、前記第２評価値として算出し、
前記第２選択部は、前記第２評価値と予め定められた基準値とを比較して、前記第１候補データを前記複数の学習データの１つとして選択し、
前記第１評価データは、前記第１機械学習モデルの出力データおよび前記第１機械学習モデルにおける所定演算位置から出力される中間データの少なくとも１つを含み、
前記第２評価データは、前記第１機械学習モデルの出力データおよび前記第１機械学習モデルにおける前記所定演算位置から出力される中間データのうちの、前記第１評価データと対応するデータを含む
技術案７に記載の機械学習システム。

技術案１１
前記第２評価部は、前記第１候補データを前記第１機械学習モデルに入力することにより得られる第１評価データと、前記第１候補データを前記第１機械学習モデルの一部を変更した第２機械学習モデルに入力することにより得られる第２評価データとの相違を表す相違度に応じた値を、前記第２評価値として算出し、
前記第２選択部は、前記第２評価値と予め定められた基準値とを比較して、前記第１候補データを前記複数の学習データの１つとして選択し、
前記第１評価データは、前記第１機械学習モデルの出力データおよび前記第１機械学習モデルにおける所定演算位置から出力される中間データの少なくとも１つを含み、
前記第２評価データは、前記第２機械学習モデルの出力データおよび前記第２機械学習モデルにおける前記所定演算位置から出力される中間データのうちの、前記第１評価データと対応するデータを含む
技術案７に記載の機械学習システム。

技術案１２
前記第２評価部は、複数の出力データのばらつきを表す値を、前記第２評価値として算出し、
前記第２選択部は、前記第２評価値と予め定められた基準値とを比較して、前記第１候補データを前記複数の学習データの１つとして選択し、
前記複数の出力データは、前記第１候補データを、前記第１機械学習モデルとは異なる学習パラメータで学習された複数の機械学習モデルに入力することにより得られる、複数の推論結果である
技術案７に記載の機械学習システム。

技術案１３
前記第２評価部は、第１出力データと、１以上の第２出力データのそれぞれとの相違を表す相違度に基づく値を、前記第２評価値として算出し、
前記第２選択部は、前記第２評価値と予め定められた基準値とを比較して、前記第１候補データを前記複数の学習データの１つとして選択し、
前記第１出力データは、前記第１候補データを前記第１機械学習モデルに入力することにより得られる推論結果であり、
前記１以上の第２出力データのそれぞれは、前記第１候補データを前記第１機械学習モデルとは異なる学習パラメータで学習された１以上の機械学習モデルに入力することにより得られる、１以上の推論結果である
技術案７に記載の機械学習システム。

技術案１４
前記第２情報処理装置は、学習データが選択される毎に、対応する前記入力データが前記学習データとして選択されたことを示す採用情報を、前記第１情報処理装置に送信するフィードバック部をさらに備え、
前記第１情報処理装置は、前記採用情報を受信し、前記採用情報に示された前記入力データより後における予め定められた時間範囲に取得される前記入力データを前記候補データとして選択する確率を、他の時間範囲を選択する確率よりも高くする
技術案１から１３の何れか１項に記載の機械学習システム。

技術案１５
前記第１情報処理装置は、
周囲を観測した観測結果を収集して時系列の前記複数の入力データを生成する入力データ生成部と、
前記第１機械学習モデルに基づき、前記複数の入力データのそれぞれに対して時系列に推論処理をし、前記推論処理をして得られる推論結果を時系列に出力する推論部と、
をさらに有し、
前記第１選択部は、前記複数の入力データのそれぞれを、時系列に、対応する前記第１評価値に基づき候補として選択するか否かを判断し、
前記第２選択部は、前記複数の候補データのそれぞれを、時系列に、対応する前記第２評価値に基づき前記複数の学習データに含めるか否かを判断する
技術案１から１４の何れか１項に記載の機械学習システム。

技術案１６
前記第２情報処理装置は、
前記複数の学習データを記憶する記憶部と、
前記記憶部に記憶された前記複数の学習データを用いて、前記第１機械学習モデルを訓練する学習部と、
をさらに有する技術案１から１５の何れか１項に記載の機械学習システム。

技術案１７
ハードウェアの第１演算処理装置を含む第１情報処理装置と、
前記第１演算処理装置とは異なるハードウェアであって、前記第１演算処理装置よりも演算精度の高い情報処理を実行する第２演算処理装置を含む第２情報処理装置と、
を備え、
前記第１情報処理装置は、前記第１演算処理装置を用いて、複数の入力データのそれぞれを第１機械学習モデルに入力することにより得られる、前記第１機械学習モデルの出力データおよび前記第１機械学習モデルにおける所定演算位置から出力される中間データの少なくとも１つを含む第１評価データを生成し、
前記第２情報処理装置は、前記第２演算処理装置を用いて、前記複数の入力データのそれぞれを前記第１機械学習モデルに入力することにより得られる、前記第１機械学習モデルの前記出力データおよび前記第１機械学習モデルの前記所定演算位置から出力される前記中間データの少なくとも１つを含む第２評価データを生成し、
前記第２情報処理装置は、前記複数の入力データのうちの、前記第１評価データと前記第２評価データとの差が予め定められた基準値よりも大きい入力データを、前記第１機械学習モデルを訓練するための学習データとして選択する
機械学習システム。

技術案１８
エッジデバイスと、前記エッジデバイスとネットワークを介して接続される情報処理装置とを備え、複数の入力データの中から、第１機械学習モデルを学習させるための複数の学習データを選択する機械学習システムにおける、前記エッジデバイスであって、
前記エッジデバイスは、
予め定められた第１評価基準に基づき、前記複数の入力データのそれぞれにおける前記第１機械学習モデルの学習に用いたときの有効度を表す第１評価値を算出する第１評価部と、
前記複数の入力データのそれぞれの前記第１評価値を予め定められた値と比較することにより、前記複数の入力データのそれぞれを複数の候補データに含めるか否かを選択する第１選択部と、
前記複数の候補データのそれぞれを前記ネットワークを介して前記情報処理装置に送信する候補データ送信部と、
を有し、
前記情報処理装置は、
前記複数の候補データのそれぞれを前記ネットワークを介して前記エッジデバイスから受信する候補データ受信部と、
前記第１評価基準とは異なる予め定められた第２評価基準に基づき、前記複数の候補データのそれぞれにおける前記第１機械学習モデルの学習に用いたときの有効度を示す第２評価値を算出する第２評価部と、
前記複数の候補データのそれぞれの前記第２評価値を予め定められた値と比較することにより、前記複数の候補データのそれぞれを前記複数の学習データに含めるか否かを選択する第２選択部と、
を有するエッジデバイス。

技術案１９
エッジデバイスと、前記エッジデバイスとネットワークを介して接続される情報処理装置とを備え、複数の入力データの中から、第１機械学習モデルを学習させるための複数の学習データを選択する機械学習システムにおける、前記情報処理装置であって、
前記エッジデバイスは、
予め定められた第１評価基準に基づき、前記複数の入力データのそれぞれにおける前記第１機械学習モデルの学習に用いたときの有効度を表す第１評価値を算出する第１評価部と、
前記複数の入力データのそれぞれの前記第１評価値を予め定められた値と比較することにより、前記複数の入力データのそれぞれを複数の候補データに含めるか否かを選択する第１選択部と、
前記複数の候補データのそれぞれを前記ネットワークを介して前記情報処理装置に送信する候補データ送信部と、
を有し、
前記情報処理装置は、
前記複数の候補データのそれぞれを前記ネットワークを介して前記エッジデバイスから受信する候補データ受信部と、
前記第１評価基準とは異なる予め定められた第２評価基準に基づき、前記複数の候補データのそれぞれにおける前記第１機械学習モデルの学習に用いたときの有効度を示す第２評価値を算出する第２評価部と、
前記複数の候補データのそれぞれの前記第２評価値を予め定められた値と比較することにより、前記複数の候補データのそれぞれを前記複数の学習データに含めるか否かを選択する第２選択部と、
を有する情報処理装置。

１０ 機械学習システム
２１ エッジデバイス
２２ クラウド装置
２５ 第１演算処理装置
２６ 第２演算処理装置
３１ 入力データ生成部
３２ 推論部
３３ 結果送信部
３４ 結果受信部
３５ 出力部
４１ 第１評価部
４２ 第１選択部
４３ 候補データ送信部
４４ 候補データ受信部
４５ 第２評価部
４６ 第２選択部
４７ 記憶部
４８ 学習部
６１ フィードバック部
６２ 確率変更部

Claims (18)

1. 複数の入力データの中から、第１機械学習モデルを学習させるための複数の学習データを選択する機械学習システムであって、
   第１情報処理装置と、
   前記第１情報処理装置とネットワークを介して接続される第２情報処理装置と、
   を備え、
   前記第１情報処理装置は、
   予め定められた第１評価基準に基づき、前記複数の入力データのそれぞれにおける前記第１機械学習モデルの学習に用いたときの有効度を表す第１評価値を算出する第１評価部と、
   前記複数の入力データのそれぞれの前記第１評価値を予め定められた値と比較することにより、前記複数の入力データのそれぞれを複数の候補データに含めるか否かを選択する第１選択部と、
   前記複数の候補データのそれぞれを前記ネットワークを介して前記第２情報処理装置に送信する候補データ送信部と、
   を有し、
   前記第２情報処理装置は、
   前記複数の候補データのそれぞれを前記ネットワークを介して前記第１情報処理装置から受信する候補データ受信部と、
   前記第１評価基準とは異なる予め定められた第２評価基準に基づき、前記複数の候補データのそれぞれにおける前記第１機械学習モデルの学習に用いたときの有効度を示す第２評価値を算出する第２評価部と、
   前記複数の候補データのそれぞれの前記第２評価値を予め定められた値と比較することにより、前記複数の候補データのそれぞれを前記複数の学習データに含めるか否かを選択する第２選択部と、
   を有する機械学習システム。
2. 前記第１評価部は、前記複数の入力データのうちの第１入力データについての前記第１評価値を、前記第１入力データと、前記第１入力データとは異なるデータとの関係に基づき、算出する
   請求項１に記載の機械学習システム。
3. 前記第１評価部は、前記第１入力データの取得時刻と、前記第１入力データとは異なる１または２以上の第２入力データのうちの前記第１入力データの直前に前記複数の候補データの一つとして選択された第２入力データの取得時刻との時間差に応じた値を、前記第１評価値として算出し、
   前記第１選択部は、前記第１評価値と予め定められた基準値とを比較して、前記第１入力データを前記複数の候補データの１つとして選択する
   請求項２に記載の機械学習システム。
4. 前記第１評価部は、前記第１入力データと、前記複数の候補データのうちの、前記第１入力データに対して直前のｋ個（ｋは、１以上の整数）の候補データとの相違を表す相違度に応じた値を、前記第１評価値として算出し、
   前記第１選択部は、前記第１評価値と予め定められた基準値とを比較して、前記第１入力データを前記複数の候補データの１つとして選択する
   請求項２に記載の機械学習システム。
5. 前記第１評価部は、前記第１入力データと、前記第１機械学習モデルの訓練に用いた１以上のデータとの相違を表す相違度に応じた値を、前記第１評価値として算出し、
   前記第１選択部は、前記第１評価値と予め定められた基準値とを比較して、前記第１入力データを前記複数の候補データの１つとして選択する
   請求項２に記載の機械学習システム。
6. 前記第１評価値は、有効または非有効の２値を表し、
   前記第１評価部は、前記有効または前記非有効が、予め設定された確率で発生するように乱数に基づき前記第１評価値を算出し、
   前記第１選択部は、前記第１評価値が選択を示す場合に、前記第１入力データを前記複数の候補データの１つとして選択する
   請求項２に記載の機械学習システム。
7. 前記第２評価部は、前記複数の候補データのうちの第１候補データについての前記第２評価値を、前記第１候補データを機械学習モデルに入力することにより得られる推論結果または中間結果を解析することにより、算出する
   請求項１から６の何れか１項に記載の機械学習システム。
8. 前記第１機械学習モデルは、入力されたデータが複数のクラスのうちの何れかのクラスに属するかを分類し、
   前記第２評価部は、前記第１候補データを前記第１機械学習モデルに入力することにより得られる、前記複数のクラスのそれぞれに属する分類確率を取得し、前記複数のクラスのうちの前記第１候補データが属すると分類されたクラスの分類確率と、属さないと分類された１または複数のクラスのそれぞれの分類確率との相違を表す相違度に応じた値を、前記第２評価値として算出し、
   前記第２選択部は、前記第２評価値と予め定められた基準値とを比較して、前記第１候補データを前記複数の学習データの１つとして選択する
   請求項７に記載の機械学習システム。
9. 前記第２評価部は、第１演算精度のハードウェアの第１演算処理装置により算出される第１評価データと、前記第１演算精度よりも高い第２演算精度のハードウェアの第２演算処理装置により算出される第２評価データとの相違を表す相違度に応じた値を、前記第２評価値として算出し、
   前記第２選択部は、前記第２評価値と予め定められた基準値とを比較して、前記第１候補データを前記複数の学習データの１つとして選択し、
   前記第１評価データは、前記第１候補データを前記第１機械学習モデルに入力することにより得られる、前記第１機械学習モデルの出力データおよび前記第１機械学習モデルにおける所定演算位置から出力される中間データの少なくとも１つを含み、
   前記第２評価データは、前記第１候補データを前記第１機械学習モデルに入力することにより得られる、前記第１機械学習モデルの出力データおよび前記第１機械学習モデルにおける前記所定演算位置から出力される中間データのうちの、前記第１評価データと対応するデータを含む
   請求項７に記載の機械学習システム。
10. 前記第２評価部は、前記第１候補データを前記第１機械学習モデルに入力することにより得られる第１評価データと、前記第１候補データの一部を変更したデータを前記第１機械学習モデルに入力することにより得られる第２評価データとの相違を表す相違度に応じた値を、前記第２評価値として算出し、
    前記第２選択部は、前記第２評価値と予め定められた基準値とを比較して、前記第１候補データを前記複数の学習データの１つとして選択し、
    前記第１評価データは、前記第１機械学習モデルの出力データおよび前記第１機械学習モデルにおける所定演算位置から出力される中間データの少なくとも１つを含み、
    前記第２評価データは、前記第１機械学習モデルの出力データおよび前記第１機械学習モデルにおける前記所定演算位置から出力される中間データのうちの、前記第１評価データと対応するデータを含む
    請求項７に記載の機械学習システム。
11. 前記第２評価部は、前記第１候補データを前記第１機械学習モデルに入力することにより得られる第１評価データと、前記第１候補データを前記第１機械学習モデルの一部を変更した第２機械学習モデルに入力することにより得られる第２評価データとの相違を表す相違度に応じた値を、前記第２評価値として算出し、
    前記第２選択部は、前記第２評価値と予め定められた基準値とを比較して、前記第１候補データを前記複数の学習データの１つとして選択し、
    前記第１評価データは、前記第１機械学習モデルの出力データおよび前記第１機械学習モデルにおける所定演算位置から出力される中間データの少なくとも１つを含み、
    前記第２評価データは、前記第２機械学習モデルの出力データおよび前記第２機械学習モデルにおける前記所定演算位置から出力される中間データのうちの、前記第１評価データと対応するデータを含む
    請求項７に記載の機械学習システム。
12. 前記第２評価部は、複数の出力データのばらつきを表す値を、前記第２評価値として算出し、
    前記第２選択部は、前記第２評価値と予め定められた基準値とを比較して、前記第１候補データを前記複数の学習データの１つとして選択し、
    前記複数の出力データは、前記第１候補データを、前記第１機械学習モデルとは異なる学習パラメータで学習された複数の機械学習モデルに入力することにより得られる、複数の推論結果である
    請求項７に記載の機械学習システム。
13. 前記第２評価部は、第１出力データと、１以上の第２出力データのそれぞれとの相違を表す相違度に基づく値を、前記第２評価値として算出し、
    前記第２選択部は、前記第２評価値と予め定められた基準値とを比較して、前記第１候補データを前記複数の学習データの１つとして選択し、
    前記第１出力データは、前記第１候補データを前記第１機械学習モデルに入力することにより得られる推論結果であり、
    前記１以上の第２出力データのそれぞれは、前記第１候補データを前記第１機械学習モデルとは異なる学習パラメータで学習された１以上の機械学習モデルに入力することにより得られる、１以上の推論結果である
    請求項７に記載の機械学習システム。
14. 前記第２情報処理装置は、学習データが選択される毎に、対応する前記入力データが前記学習データとして選択されたことを示す採用情報を、前記第１情報処理装置に送信するフィードバック部をさらに備え、
    前記第１情報処理装置は、前記採用情報を受信し、前記採用情報に示された前記入力データより後における予め定められた時間範囲に取得される前記入力データを前記候補データとして選択する確率を、他の時間範囲を選択する確率よりも高くする
    請求項１に記載の機械学習システム。
15. 前記第１情報処理装置は、
    周囲を観測した観測結果を収集して時系列の前記複数の入力データを生成する入力データ生成部と、
    前記第１機械学習モデルに基づき、前記複数の入力データのそれぞれに対して時系列に推論処理をし、前記推論処理をして得られる推論結果を時系列に出力する推論部と、
    をさらに有し、
    前記第１選択部は、前記複数の入力データのそれぞれを、時系列に、対応する前記第１評価値に基づき候補として選択するか否かを判断し、
    前記第２選択部は、前記複数の候補データのそれぞれを、時系列に、対応する前記第２評価値に基づき前記複数の学習データに含めるか否かを判断する
    請求項１に記載の機械学習システム。
16. ハードウェアの第１演算処理装置を含む第１情報処理装置と、
    前記第１演算処理装置とは異なるハードウェアであって、前記第１演算処理装置よりも演算精度の高い情報処理を実行する第２演算処理装置を含む第２情報処理装置と、
    を備え、
    前記第１情報処理装置は、前記第１演算処理装置を用いて、複数の入力データのそれぞれを第１機械学習モデルに入力することにより得られる、前記第１機械学習モデルの出力データおよび前記第１機械学習モデルにおける所定演算位置から出力される中間データの少なくとも１つを含む第１評価データを生成し、
    前記第２情報処理装置は、前記第２演算処理装置を用いて、前記複数の入力データのそれぞれを前記第１機械学習モデルに入力することにより得られる、前記第１機械学習モデルの前記出力データおよび前記第１機械学習モデルの前記所定演算位置から出力される前記中間データの少なくとも１つを含む第２評価データを生成し、
    前記第２情報処理装置は、前記複数の入力データのうちの、前記第１評価データと前記第２評価データとの差が予め定められた基準値よりも大きい入力データを、前記第１機械学習モデルを訓練するための学習データとして選択する
    機械学習システム。
17. エッジデバイスと、前記エッジデバイスとネットワークを介して接続される情報処理装置とを備え、複数の入力データの中から、第１機械学習モデルを学習させるための複数の学習データを選択する機械学習システムにおける、前記エッジデバイスであって、
    前記エッジデバイスは、
    予め定められた第１評価基準に基づき、前記複数の入力データのそれぞれにおける前記第１機械学習モデルの学習に用いたときの有効度を表す第１評価値を算出する第１評価部と、
    前記複数の入力データのそれぞれの前記第１評価値を予め定められた値と比較することにより、前記複数の入力データのそれぞれを複数の候補データに含めるか否かを選択する第１選択部と、
    前記複数の候補データのそれぞれを前記ネットワークを介して前記情報処理装置に送信する候補データ送信部と、
    を有し、
    前記情報処理装置は、
    前記複数の候補データのそれぞれを前記ネットワークを介して前記エッジデバイスから受信する候補データ受信部と、
    前記第１評価基準とは異なる予め定められた第２評価基準に基づき、前記複数の候補データのそれぞれにおける前記第１機械学習モデルの学習に用いたときの有効度を示す第２評価値を算出する第２評価部と、
    前記複数の候補データのそれぞれの前記第２評価値を予め定められた値と比較することにより、前記複数の候補データのそれぞれを前記複数の学習データに含めるか否かを選択する第２選択部と、
    を有するエッジデバイス。
18. エッジデバイスと、前記エッジデバイスとネットワークを介して接続される情報処理装置とを備え、複数の入力データの中から、第１機械学習モデルを学習させるための複数の学習データを選択する機械学習システムにおける、前記情報処理装置であって、
    前記エッジデバイスは、
    予め定められた第１評価基準に基づき、前記複数の入力データのそれぞれにおける前記第１機械学習モデルの学習に用いたときの有効度を表す第１評価値を算出する第１評価部と、
    前記複数の入力データのそれぞれの前記第１評価値を予め定められた値と比較することにより、前記複数の入力データのそれぞれを複数の候補データに含めるか否かを選択する第１選択部と、
    前記複数の候補データのそれぞれを前記ネットワークを介して前記情報処理装置に送信する候補データ送信部と、
    を有し、
    前記情報処理装置は、
    前記複数の候補データのそれぞれを前記ネットワークを介して前記エッジデバイスから受信する候補データ受信部と、
    前記第１評価基準とは異なる予め定められた第２評価基準に基づき、前記複数の候補データのそれぞれにおける前記第１機械学習モデルの学習に用いたときの有効度を示す第２評価値を算出する第２評価部と、
    前記複数の候補データのそれぞれの前記第２評価値を予め定められた値と比較することにより、前記複数の候補データのそれぞれを前記複数の学習データに含めるか否かを選択する第２選択部と、
    を有する情報処理装置。