JP6901423B2 - Information processing equipment, information processing terminals, and programs - Google Patents
Information processing equipment, information processing terminals, and programs Download PDFInfo
- Publication number
- JP6901423B2 JP6901423B2 JP2018044447A JP2018044447A JP6901423B2 JP 6901423 B2 JP6901423 B2 JP 6901423B2 JP 2018044447 A JP2018044447 A JP 2018044447A JP 2018044447 A JP2018044447 A JP 2018044447A JP 6901423 B2 JP6901423 B2 JP 6901423B2
- Authority
- JP
- Japan
- Prior art keywords
- correct answer
- unit
- answer rate
- model parameter
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Stored Programmes (AREA)
- Image Analysis (AREA)
Description
本発明は、情報処理装置、情報処理端末、及びプログラムに関し、特に、ニューラルネットワークの正答率を調整する技術に関する。 The present invention relates to an information processing device, an information processing terminal, and a program, and more particularly to a technique for adjusting the correct answer rate of a neural network.
近年、CPU(Central Processing Unit)及びGPU(Graphics Processing Unit)の高速化、メモリの大容量化、及びニューラルネットワークを用いた機械学習技術が急速に進んできている。このため、数十万から百万といったオーダーの学習データを用いる機械学習が可能となり、精度の高い識別技術や分類技術が確立されつつある(非特許文献1参照)。 In recent years, speed-up of CPU (Central Processing Unit) and GPU (Graphics Processing Unit), increase in memory capacity, and machine learning technology using a neural network have been rapidly advancing. For this reason, machine learning using learning data on the order of hundreds of thousands to one million has become possible, and highly accurate identification technology and classification technology are being established (see Non-Patent Document 1).
大量の学習データに基づく機械学習を実行するためには大量の計算コストがかかる。また、大量の学習データを用意すること、及び用意した学習データを機械学習に用いるためにする前処理にも膨大な労力を要する。学習モデルを生成したモデル作成者がその学習モデルを第三者に利用させることで利益を得ようとする場合に、利用者に請求する対価に応じて学習モデルの性能を変えられると便利である。 A large amount of computational cost is required to perform machine learning based on a large amount of learning data. In addition, a huge amount of labor is required for preparing a large amount of learning data and for preprocessing to use the prepared learning data for machine learning. When the model creator who generated the learning model wants to make a profit by letting a third party use the learning model, it is convenient to be able to change the performance of the learning model according to the consideration charged to the user. ..
本発明はこれらの点に鑑みてなされたものであり、異なる正答率の学習モデルを提供することを目的とする。 The present invention has been made in view of these points, and an object of the present invention is to provide a learning model with different correct answer rates.
本発明の第1の態様は、情報処理装置である。この装置は、目的タスクを検出するためのニューラルネットワークのモデルパラメータを生成する機械学習部と、前記モデルパラメータの一部を改変した改変パラメータを生成するパラメータ改変部と、前記改変パラメータにおけるテスト用入力データの正答率を算出する正答率算出部と、前記パラメータ改変部に改変させるモデルパラメータの改変パターン毎に、前記正答率算出部が算出した正答率を紐づけて記憶する記憶部と、を備える。 The first aspect of the present invention is an information processing device. This device includes a machine learning unit that generates model parameters of a neural network for detecting a target task, a parameter modification unit that generates a modification parameter obtained by modifying a part of the model parameter, and a test input for the modification parameter. It is provided with a correct answer rate calculation unit that calculates the correct answer rate of data, and a storage unit that stores the correct answer rate calculated by the correct answer rate calculation unit in association with each modification pattern of the model parameter to be modified by the parameter modification unit. ..
前記パラメータ改変部は、前記ニューラルネットワークを構成する複数の層のうち、前記モデルパラメータを改変するための層を選択する選択部と、前記選択部が選択した層のモデルパラメータを所定の値に置換する置換部と、置換後の前記正答率と、前記モデルパラメータの改変の目標とする目標正答率とを比較する比較部と、(1)前記正答率が前記目標正答率よりも高い場合、前記選択部に選択した層よりも入力層側の層を再選択させ、(2)前記正答率が前記目標正答率よりも低い場合、前記選択部に前記選択した層よりも出力層側の層を再選択させ、(3)前記正答率と前記目標正答率との差が所定の範囲に収まる場合、前記置換部が置換したモデルパラメータを改変パラメータとして出力する改変制御部と、を備えてもよい。 The parameter modification unit replaces a selection unit that selects a layer for modifying the model parameter among a plurality of layers constituting the neural network and a model parameter of the layer selected by the selection unit with a predetermined value. The replacement unit to be replaced, the comparison unit for comparing the correct answer rate after replacement with the target correct answer rate for modification of the model parameter, and (1) when the correct answer rate is higher than the target correct answer rate, the said The selection unit reselects the layer on the input layer side of the selected layer, and (2) when the correct answer rate is lower than the target correct answer rate, the selection unit selects the layer on the output layer side of the selected layer. Reselection may be provided, and (3) a modification control unit that outputs the model parameter replaced by the replacement unit as a modification parameter when the difference between the correct answer rate and the target correct answer rate falls within a predetermined range may be provided. ..
前記情報処理装置は、前記情報処理装置とは異なる情報処理端末から当該情報処理端末のユーザに許可されている正答率を取得する許可正答率取得部と、前記記憶部が記憶している正答率のうち、前記許可正答率取得部が取得した正答率に類似する正答率に対応する改変パターンを選択する改変パターン選択部と、選択された前記改変パターンに基づいて改変された前記モデルパラメータを、通信ネットワークを介して前記情報処理端末に送信するモデルパラメータ送信部と、をさらに備えてもよい。 The information processing device includes a permission correct answer rate acquisition unit that acquires a correct answer rate permitted to the user of the information processing terminal from an information processing terminal different from the information processing device, and a correct answer rate stored in the storage unit. Among them, the modification pattern selection unit that selects the modification pattern corresponding to the correct answer rate similar to the correct answer rate acquired by the permission correct answer rate acquisition unit, and the model parameter modified based on the selected modification pattern. A model parameter transmission unit that transmits to the information processing terminal via a communication network may be further provided.
前記情報処理装置は、通信ネットワークを介して前記情報処理装置とは異なる情報処理端末から前記ニューラルネットワークに入力するタスクデータを取得するタスクデータ取得部と、前記パラメータ改変部による改変がなされていない前記モデルパラメータに前記タスクデータを入力した結果を取得する検出実行部と、前記通信ネットワークを介して前記検出実行部が取得した結果を前記情報処理端末に送信する結果送信部と、をさらに備えてもよい。 The information processing device includes a task data acquisition unit that acquires task data input to the neural network from an information processing terminal different from the information processing device via a communication network, and a parameter modification unit that has not been modified. Even if the detection execution unit that acquires the result of inputting the task data into the model parameter and the result transmission unit that transmits the result acquired by the detection execution unit to the information processing terminal via the communication network are further provided. Good.
本発明の第2の態様は、情報処理端末である。この端末は、目的タスクを検出するために生成されたニューラルネットワークに関するモデルパラメータであって、前記目的タスクの正答率が高い方の第1モデルパラメータと、前記第1モデルパラメータよりも前記目的タスクの正答率が低い第2モデルパラメータと、の2つのモデルパラメータを取得するモデルパラメータ取得部と、前記2つのモデルパラメータのうち、前記第1モデルパラメータの使用回数の上限値を取得する利用制限数取得部と、前記第1モデルパラメータと前記第2モデルパラメータとのいずれか一方のモデルパラメータに検出対象のタスクデータを入力した結果を取得する検出実行部と、前記検出実行部による前記第1モデルパラメータの使用回数が前記上限値を下回る場合前記第1モデルパラメータを選択し、前記使用回数が前記上限値に到達した場合前記第2モデルパラメータを選択するモデルパラメータ選択部と、を備える。ここで、前記検出実行部は、前記モデルパラメータ選択部が選択したモデルパラメータを用いて、タスクデータの出力結果を取得する。 A second aspect of the present invention is an information processing terminal. This terminal is a model parameter related to the neural network generated to detect the target task, the first model parameter having the higher correct answer rate of the target task, and the target task than the first model parameter. A model parameter acquisition unit that acquires two model parameters, a second model parameter with a low correct answer rate, and a usage limit number acquisition that acquires an upper limit of the number of times the first model parameter is used among the two model parameters. A detection execution unit that acquires the result of inputting task data to be detected in one of the model parameters of the first model parameter and the second model parameter, and the first model parameter by the detection execution unit. The first model parameter is selected when the number of times of use is less than the upper limit value, and a model parameter selection unit is provided which selects the second model parameter when the number of times of use reaches the upper limit value. Here, the detection execution unit acquires the output result of the task data by using the model parameter selected by the model parameter selection unit.
本発明の第3の態様は、プログラムである。このプログラムは、コンピュータに、目的タスクを検出するためのニューラルネットワークのモデルパラメータを生成させる機能と、前記モデルパラメータの一部を改変した改変パラメータを生成させる機能と、前記改変パラメータにおけるテスト用入力データの正答率を算出させる機能と、改変するモデルパラメータの改変パターン毎に、前記算出した正答率を紐づけて記憶部に記憶させる機能と、を実現させる。 A third aspect of the present invention is a program. This program has a function of causing a computer to generate a model parameter of a neural network for detecting a target task, a function of generating a modified parameter obtained by modifying a part of the model parameter, and test input data in the modified parameter. The function of calculating the correct answer rate of the above and the function of associating the calculated correct answer rate with each modification pattern of the model parameter to be modified and storing it in the storage unit are realized.
本発明の第4の態様も、プログラムである。このプログラムは、コンピュータに、目的タスクを検出するために生成されたニューラルネットワークに関するモデルパラメータであって、前記目的タスクの正答率が高い方の第1モデルパラメータと、前記第1モデルパラメータよりも前記目的タスクの正答率が低い第2モデルパラメータと、の2つのモデルパラメータを取得する機能と、前記2つのモデルパラメータのうち、前記第1モデルパラメータの使用回数の上限値を取得する機能と、前記第1モデルパラメータの使用回数の累積が前記上限値を下回る場合前記第1モデルパラメータを選択し、前記使用回数の累積が前記上限値に到達した場合前記第2モデルパラメータを選択する機能と、選択されたモデルパラメータを用いて、タスクデータの出力結果を取得する機能と、を実現させる。 A fourth aspect of the present invention is also a program. This program is a model parameter related to the neural network generated for detecting the target task on the computer, and is the first model parameter having the higher correct answer rate of the target task, and the first model parameter is higher than the first model parameter. A function to acquire two model parameters, a second model parameter having a low correct answer rate of the target task, a function to acquire an upper limit of the number of times the first model parameter is used among the two model parameters, and the above. A function and selection of selecting the first model parameter when the cumulative number of times of use of the first model parameter is less than the upper limit value, and selecting the second model parameter when the cumulative number of times of use reaches the upper limit value. A function to acquire the output result of task data is realized by using the obtained model parameters.
本発明によれば、異なる正答率の学習モデルを提供することができる。 According to the present invention, it is possible to provide learning models with different correct answer rates.
<実施の形態の概要>
図1は、実施の形態に係るニューラルネットワークの構成を模式的に示す図である。以下、図1を参照して、実施の形態の概要を述べる。
<Outline of the embodiment>
FIG. 1 is a diagram schematically showing a configuration of a neural network according to an embodiment. Hereinafter, an outline of the embodiment will be described with reference to FIG.
実施の形態に係る情報処理装置が利用するニューラルネットワークは、全体としては、入力層、中間層、及び出力層を含む一般的な構成である。図1の上段に示すように、実施の形態に係る情報処理装置は、入力層に入力した基本学習用データが中間層を伝搬し、最終的に出力層が出力したデータ列と、基本学習用データに対応する正解ラベルとの誤差を損失関数を用いて算出する。情報処理装置は、算出した誤差に基づいて、誤差逆伝搬法を用いて中間層に設定された重みを更新する。 The neural network used by the information processing apparatus according to the embodiment has a general configuration including an input layer, an intermediate layer, and an output layer as a whole. As shown in the upper part of FIG. 1, in the information processing apparatus according to the embodiment, the basic learning data input to the input layer propagates through the intermediate layer, and finally the data string output by the output layer and the basic learning data. The error from the correct label corresponding to the data is calculated using the loss function. The information processing apparatus updates the weight set in the intermediate layer by using the error back propagation method based on the calculated error.
実施の形態に係る情報処理装置が利用するニューラルネットワークは、中間層の一部が改変されている。具体的には、図1の下段に示すように、中間層の中から選択された層である改変対象層において、一部のノードが除去されている。図1の下段において、白丸はニューラルネットワークにおける通常のノードであり、黒丸は除去されたノードである。 A part of the intermediate layer of the neural network used by the information processing apparatus according to the embodiment is modified. Specifically, as shown in the lower part of FIG. 1, some nodes are removed in the modification target layer, which is a layer selected from the intermediate layers. In the lower part of FIG. 1, white circles are normal nodes in the neural network, and black circles are the removed nodes.
ニューラルネットワークは、中間層の各ノードの出力を隣接する層に伝搬していくことで最終的な識別精度を達成するように設計されている。したがって、ノードを除去することは各ノード間のつながりを断ち切ることになるため、学習モデルの正答率を下げることになる。 Neural networks are designed to achieve final identification accuracy by propagating the output of each node in the middle layer to adjacent layers. Therefore, removing the nodes breaks the connection between the nodes, which lowers the correct answer rate of the learning model.
なお、ノードを除去することは、そのノードの出力を次のノードに入力する際に乗じられる係数、すなわち学習モデルのモデルパラメータの値を0に改変することと等価である。ノードを除去することは、モデルパラメータの複雑さを下げることになるため、しばしば学習モデルの圧縮にも用いられる。例えば、IoT(Internet Of Things)機器のように計算リソースの乏しいデバイスで学習モデルを実行する場合には、ノードを除去してサイズを小さくした学習モデルが用いられることがある。 Note that removing a node is equivalent to modifying the coefficient to be multiplied when the output of that node is input to the next node, that is, the value of the model parameter of the learning model to 0. Eliminating nodes also reduces the complexity of model parameters and is often used to compress training models. For example, when executing a learning model on a device having scarce computing resources such as an IoT (Internet Of Things) device, a learning model in which nodes are removed to reduce the size may be used.
実施の形態に係る情報処理装置は、モデルパラメータに施す改変パターンを変更しながら、その学習モデルの正答率を算出する。情報処理装置は、モデルパラメータに施す改変パターンと正答率とを紐づけて保持しておく。これにより、実施の形態に係る情報処理装置1は、異なる正答率の学習モデルを提供することができる。
The information processing apparatus according to the embodiment calculates the correct answer rate of the learning model while changing the modification pattern applied to the model parameters. The information processing device holds the modification pattern applied to the model parameter and the correct answer rate in association with each other. As a result, the
<情報処理装置1の機能構成>
図2は、実施の形態に係る情報処理装置1の機能構成を模式的に示す図である。情報処理装置1は、記憶部10と制御部11とを備える。
<Functional configuration of
FIG. 2 is a diagram schematically showing a functional configuration of the
記憶部10は、情報処理装置1を実現するコンピュータのBIOS(Basic Input Output System)等を格納するROM(Read Only Memory)や情報処理装置1の作業領域となるRAM(Random Access Memory)、OS(Operating System)やアプリケーションプログラム、当該アプリケーションプログラムの実行時に参照される種々の情報を格納するHDD(Hard Disk Drive)やSSD(Solid State Drive)等の大容量記憶装置である。
The
制御部11は、情報処理装置1のCPUやGPU等のプロセッサであり、記憶部10に記憶されたプログラムを実行することによって機械学習部110、パラメータ改変部111、正答率算出部112、許可正答率取得部113、改変パターン選択部114、モデルパラメータ送信部115、タスクデータ取得部116、検出実行部117、及び結果送信部118として機能する。
The
なお、図2は、情報処理装置1が単一の装置で構成されている場合の例を示している。しかしながら、情報処理装置1は、例えばクラウドコンピューティングシステムのように複数のプロセッサやメモリ等の計算リソースによって実現されてもよい。この場合、制御部11を構成する各部は、複数の異なるプロセッサの中の少なくともいずれかのプロセッサがプログラムを実行することによって実現される。
Note that FIG. 2 shows an example in which the
機械学習部110は、目的タスクを検出するためのニューラルネットワークのモデルパラメータを生成する。機械学習部110は、生成したモデルパラメータを記憶部10に記憶させる。
The
パラメータ改変部111は、機械学習部110が生成したモデルパラメータの一部を改変した改変パラメータを生成する。具体的には、パラメータ改変部111は、ニューラルネットワークのモデルパラメータを構成する重み係数の一部を別の値に置換することによって得られる新たなモデルパラメータを改変パラメータとして生成する。パラメータ改変部111が重み係数を置換する値は、元のモデルパラメータと異なればどのような値でもよいが、一例としては0である。
The
正答率算出部112は、パラメータ改変部111が生成した改変パラメータにおけるテスト用入力データの正答率を算出する。ここで「テスト用入力データ」とは、モデルパラメータの正答率を測定するために用意された固定のデータセットである。正答率算出部112は、同一のテスト用入力データを用いて改変パラメータの正答率を算出するため、異なる改変パラメータの正答率を同じ条件下で算出することができる。
The correct answer
記憶部10は、パラメータ改変部111に改変させるモデルパラメータの改変パターン毎に、正答率算出部112が算出した正答率を紐づけて記憶する。これにより、実施の形態に係る情報処理装置1は、異なる正答率の学習モデルを提供することができる。
The
図3は、実施の形態に係るパラメータ改変部111の内部構成を模式的に示す図である。実施の形態に係るパラメータ改変部111は、選択部1110、置換部1111、比較部1112、及び改変制御部1113を含む。
FIG. 3 is a diagram schematically showing the internal configuration of the
選択部1110は、ニューラルネットワークを構成する複数の層のうち、モデルパラメータを改変するための層を選択する。置換部1111は、選択部1110が選択した層のモデルパラメータを所定の値に置換する。比較部1112は、置換部1111による置換後の正答率と、モデルパラメータの改変の目標とする目標正答率とを比較する。
The
改変制御部1113は、正答率が目標正答率よりも高い場合、選択部1110に、選択した層よりも入力層側の層を再選択させる。一般に、ニューラルネットワークにおいては、入力層に近い層のほうが、入力層から遠い層よりも、正答率に大きく影響することが知られている。改変制御部1113は、パラメータの改変対象とする改変対象層を入力層に近づけることにより、置換部1111による置換後の正答率を下げることができる。
When the correct answer rate is higher than the target correct answer rate, the
改変制御部1113は、正答率が前記目標正答率よりも低い場合、選択部1110に、選択した層よりも出力層側の層を再選択させる。上記と同様の理由により、改変制御部1113は、改変対象層を入力層から遠ざける(すなわち、出力層側に移動する)ことにより、置換部1111による置換後の正答率を上げることができる。
When the correct answer rate is lower than the target correct answer rate, the
さらに、改変制御部1113は、正答率と目標正答率との差が所定の範囲に収まる場合、置換部1111が置換したモデルパラメータを改変パラメータとして出力する。ここで「所定の範囲」とは、パラメータ改変部111がパラメータ改変の目標とする目標正答率との誤差の許容範囲を定める際に参照する「目標正答率誤差許容範囲」である。所定の範囲の具体的な値は正答率の調整の難易度等を勘案して実験により定めればよいが、例えば、目標正答率の前後2%の範囲である。
Further, when the difference between the correct answer rate and the target correct answer rate falls within a predetermined range, the
以上の動作を複数の目標正答率について繰り返すことにより、パラメータ改変部111は、複数種類の正答率毎に改変パターンを生成することができる。
By repeating the above operation for a plurality of target correct answer rates, the
図4は、実施の形態に係る改変パターンデータベースのデータ構造を模式的に示す図である。改変パターンデータベースは記憶部10が保持しており、パラメータ改変部111によって管理される。
FIG. 4 is a diagram schematically showing the data structure of the modified pattern database according to the embodiment. The modification pattern database is held by the
図4に示すように、改変パターンデータベースは、複数の正答率毎に、パラメータの置換場所、置換前のパラメータの値、及び置換前のモデルサイズに対する置換後のモデルサイズの百分率を対応付けて記憶している。例えば、図4において、正答率が90%のモデルは、第5層の4番目のノードと、同じく第5層の8番目のノードとが少なくとも置換されている。また、置換前のモデルサイズに対する置換後のモデルサイズは70%となっており、30%圧縮されている。 As shown in FIG. 4, the modification pattern database stores the replacement location of the parameter, the value of the parameter before replacement, and the percentage of the model size after replacement with respect to the model size before replacement for each of the plurality of correct answer rates. doing. For example, in FIG. 4, in the model having a correct answer rate of 90%, the fourth node of the fifth layer and the eighth node of the fifth layer are at least replaced. The model size after replacement is 70% of the model size before replacement, which is 30% compressed.
図2の説明に戻る。実施の形態に係る情報処理装置1は、生成した学習モデルを第三者であるユーザに利用させることができる。このとき、情報処理装置1は、ユーザが支払う対価に応じて、そのユーザが利用できる学習モデルの正答率を変更する。
Returning to the description of FIG. The
そこで、許可正答率取得部113は、通信ネットワークNを介して情報処理装置1と接続する情報処理端末2に許可されている正答率を取得する。具体的には、許可正答率取得部113は、情報処理端末2を識別するための端末識別子と情報処理端末2に許可されている正答率とを紐づけて格納する正答率データベース(不図示)を参照して、情報処理端末2に許可されている正答率を取得する。あるいは、許可正答率取得部113は、情報処理装置1に接続する情報処理端末2の内部ストレージに記憶されている正答率を情報処理端末2から受信して取得するようにしてもよい。
Therefore, the permission correct answer
改変パターン選択部114は、記憶部10が記憶している正答率のうち、許可正答率取得部113が取得した正答率に類似する正答率に対応する改変パターンを選択する。ここで「許可正答率取得部113が取得した正答率に類似する正答率」とは、記憶部10が記憶している正答率のうち許可正答率取得部113が取得した正答率以上の正答率であって、許可正答率取得部113が取得した正答率と最も近い正答率のことをいう。
The modification
モデルパラメータ送信部115は、改変パターン選択部114が選択した改変パターンに基づいて改変されたモデルパラメータを、通信ネットワークNを介して情報処理端末2に送信する。これにより、情報処理端末2は、取得したモデルパラメータを用いて自身の端末上で学習モデルを実行し、目的タスクを実現することができる。言い換えると、情報処理端末2は、ひとたび情報処理装置1からモデルパラメータを取得したのちは、情報処理装置1と接続していなくても、オフラインで目的タスクを実行することができる。
The model
上述したように、正答率が低く設定されたモデルパラメータは、正答率が高いモデルパラメータよりも、モデルパラメータのサイズが小さくなる傾向がある。このため、情報処理端末2の計算リソースが少ない場合であっても、正答率が低く設定されたモデルパラメータであれば実行できる場合がある。計算リソースが少ない機器でも実行できるという意味においても、モデルパラメータの正答率を低く設定することには意味がある。
As described above, the model parameter in which the correct answer rate is set to be low tends to be smaller in size than the model parameter in which the correct answer rate is set to be high. Therefore, even when the calculation resource of the
一方、計算リソースが低い機器であっても、通信ネットワークNを介して情報処理装置1と通信できる場合には、モデルパラメータの演算の一部を情報処理装置1に肩代わりさせることにより、正答率が高いモデルパラメータ(すなわち、実行時の計算負荷が大きいモデルパラメータ)を用いて目的タスクを実現することもできる。
On the other hand, if the device can communicate with the
そこで、情報処理装置1は、通信ネットワークNを介して情報処理装置1とは異なる情報処理端末2からニューラルネットワークのモデルパラメータに入力するタスクデータを取得するタスクデータ取得部116を備える。検出実行部117は、パラメータ改変部111による改変がなされていないモデルパラメータにタスクデータ取得部116が取得したタスクデータを入力した結果を取得する。結果送信部118は、通信ネットワークNを介して検出実行部117が取得した結果を情報処理端末2に送信する。これにより、情報処理端末2は、通信ネットワークNを利用して情報処理装置1と通信できるという条件の下では、実行時の計算負荷が大きい高正答率のモデルパラメータを用いて目的タスクを実行することができる。
Therefore, the
図5は、実施の形態に係る情報処理システムSの全体構成を模式的に示す図である。図5に示すように、実施の形態に係る情報処理システムSは、通信ネットワークNを介して互いに通信可能な態様で接続する情報処理装置1と情報処理端末2とを含む。情報処理装置1は、中間層の一部を改変して正答率を下げた学習モデルを情報処理端末2に提供している。この場合、情報処理端末2がローカルな環境で学習モデルを実行する場合には、正答率が低下した学習モデルを実行することになる。
FIG. 5 is a diagram schematically showing the overall configuration of the information processing system S according to the embodiment. As shown in FIG. 5, the information processing system S according to the embodiment includes an
情報処理端末2は、情報処理装置1から入力API(Application Program Interface)と出力APIとの提供を受けている。情報処理端末2は、入力APIを利用することにより、通信ネットワークNを介して処理対象とするデータを情報処理装置1に送信することができる。また、情報処理端末2は、出力APIを利用することにより、通信ネットワークNを介して情報処理装置1から学習モデルの実行結果を受信することができる。これにより、情報処理端末2は、目的タスクに求められる正答率や情報処理端末2の置かれた通信環境に応じて、オンラインによる高性能な学習モデルと、オフラインによる低負荷な学習モデルとを選択できる。
The
<実施の形態に係る情報処理装置1が実行する情報処理の処理フロー>
図6は、実施の形態に係る情報処理装置1が実行する情報処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば情報処理装置1が起動したときに開始する。
<Processing flow of information processing executed by the
FIG. 6 is a flowchart for explaining the flow of information processing executed by the
機械学習部110は、目的タスクを検出するためのニューラルネットワークのモデルパラメータを生成する(S2)。パラメータ改変部111は、機械学習部110が生成したモデルパラメータの一部を改変した改変パラメータを生成する(S4)。正答率算出部112は、パラメータ改変部111が改変した改変パラメータにおけるテスト用入力データの正答率を算出する(S6)。記憶部10は、パラメータ改変部111に改変させるモデルパラメータの改変パターン毎に、正答率算出部112が算出した正答率を紐づけて記憶する(S8)。
The
<実施の形態に係る情報処理装置1が奏する効果>
以上説明したように、実施の形態に係る情報処理装置1によれば、異なる正答率の学習モデルを提供することができる。
<Effects of the
As described above, according to the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments, and various modifications and changes can be made within the scope of the gist thereof. is there. For example, the specific embodiment of the distribution / integration of the device is not limited to the above embodiment, and all or a part thereof may be functionally or physically distributed / integrated in any unit. Can be done. Also included in the embodiments of the present invention are new embodiments resulting from any combination of the plurality of embodiments. The effect of the new embodiment produced by the combination has the effect of the original embodiment together.
<変形例>
上記では、情報処理端末2は、オンラインでは正答率の高い学習モデルを実行し、オフラインでは正答率が低く設定された学習モデルを実行する場合について説明した。しかしながら、例えば情報処理端末2の計算リソースが十分にあり、情報処理端末2のみで正答率が高く計算負荷の大きい学習モデルを実行できる場合には、情報処理装置1は、情報処理端末2にフルサイズの学習モデルを提供してもよい。
<Modification example>
In the above, the
一方で、情報処理装置1が、情報処理端末2によるフルサイズの学習モデルの実行を無制限で許可すると、学習モデルを第三者に利用させることによって情報処理装置1の管理者が得られる利益が損なわれかねない。
On the other hand, if the
そこで、情報処理装置1は、情報処理端末2によるフルサイズの学習モデルの実行に制限を課してもよい。以下、情報処理端末2に課されるフルサイズの学習モデルの実行制限についてより詳細に説明する。
Therefore, the
図7は、変形例に係る情報処理端末2の機能構成を模式的に示す図である。変形例に係る情報処理端末2は、記憶部20と制御部21とを備える。
FIG. 7 is a diagram schematically showing the functional configuration of the
記憶部20は、情報処理端末2を実現するコンピュータのBIOS等を格納するROMや情報処理装置1の作業領域となるRAM、OSやアプリケーションプログラム、当該アプリケーションプログラムの実行時に参照される種々の情報を格納するHDDやSSD等の大容量記憶装置である。
The
制御部21は、情報処理端末2のCPUやGPU等のプロセッサであり、記憶部20に記憶されたプログラムを実行することによってモデルパラメータ取得部210、利用制限数取得部211、検出実行部212、及びモデルパラメータ選択部213として機能する。
The
モデルパラメータ取得部210は、目的タスクを検出するために生成されたニューラルネットワークに関するモデルパラメータであって、目的タスクの正答率が高い方の第1モデルパラメータと、第1モデルパラメータよりも目的タスクの正答率が低い第2モデルパラメータと、の2つのモデルパラメータを取得する。モデルパラメータ取得部210は、例えば、第1モデルパラメータとして、パラメータ改変部111による改変がなされていないモデルパラメータを取得する。
The model
利用制限数取得部211は、モデルパラメータ取得部210が取得した2つのモデルパラメータのうち、第1モデルパラメータの使用回数の上限値を情報処理装置1から取得する。第1モデルパラメータの使用回数の上限値は、例えば情報処理端末2のユーザが情報処理装置1に支払った対価に応じて設定される。
The usage limit
検出実行部212は、第1モデルパラメータと第2モデルパラメータとのいずれか一方のモデルパラメータに検出対象のタスクデータを入力した結果を取得する。具体的には、検出実行部212は、モデルパラメータ選択部213が選択したモデルパラメータを用いて、タスクデータの出力結果を取得する。
The
モデルパラメータ選択部213は、検出実行部212による第1モデルパラメータの使用回数が情報処理装置1から取得した上限値を下回る場合、第1モデルパラメータを選択する。また、モデルパラメータ選択部213は、検出実行部212による第1モデルパラメータの使用回数が上限値に到達した場合、第2モデルパラメータを選択する。これにより、情報処理端末2は、情報処理装置1によって許可された使用回数の上限値に至るまでは、正答率の高いモデルパラメータを用いて目的タスクを実行することができる。
The model
1・・・情報処理装置
10・・・記憶部
11・・・制御部
110・・・機械学習部
111・・・パラメータ改変部
1110・・・選択部
1111・・・置換部
1112・・・比較部
1113・・・改変制御部
112・・・正答率算出部
113・・・許可正答率取得部
114・・・改変パターン選択部
115・・・モデルパラメータ送信部
116・・・タスクデータ取得部
117・・・検出実行部
118・・・結果送信部
2・・・情報処理端末
20・・・記憶部
21・・・制御部
210・・・モデルパラメータ取得部
211・・・利用制限数取得部
212・・・検出実行部
213・・・モデルパラメータ選択部
S・・・情報処理システム
N・・・通信ネットワーク
1 ...
Claims (7)
前記モデルパラメータの一部を改変した改変パラメータを生成するパラメータ改変部と、
前記改変パラメータにおけるテスト用入力データの正答率を算出する正答率算出部と、
前記パラメータ改変部に改変させるモデルパラメータの改変パターン毎に、前記正答率算出部が算出した正答率を紐づけて記憶する記憶部と、
を備える情報処理装置。 A machine learning unit that generates neural network model parameters to detect the target task,
A parameter modification unit that generates a modification parameter obtained by modifying a part of the model parameter,
A correct answer rate calculation unit that calculates the correct answer rate of the test input data in the modified parameters, and
A storage unit that stores the correct answer rate calculated by the correct answer rate calculation unit in association with each modification pattern of the model parameter to be modified by the parameter modification unit.
Information processing device equipped with.
前記ニューラルネットワークを構成する複数の層のうち、前記モデルパラメータを改変するための層を選択する選択部と、
前記選択部が選択した層のモデルパラメータを所定の値に置換する置換部と、
置換後の前記正答率と、前記モデルパラメータの改変の目標とする目標正答率とを比較する比較部と、
(1)前記正答率が前記目標正答率よりも高い場合、前記選択部に選択した層よりも入力層側の層を再選択させ、(2)前記正答率が前記目標正答率よりも低い場合、前記選択部に前記選択した層よりも出力層側の層を再選択させ、(3)前記正答率と前記目標正答率との差が所定の範囲に収まる場合、前記置換部が置換したモデルパラメータを改変パラメータとして出力する改変制御部と、
を備える請求項1に記載の情報処理装置。 The parameter modification part
A selection unit for selecting a layer for modifying the model parameters from a plurality of layers constituting the neural network, and a selection unit.
A replacement unit that replaces the model parameter of the layer selected by the selection unit with a predetermined value,
A comparison unit that compares the correct answer rate after replacement with the target correct answer rate that is the target of modification of the model parameters.
(1) When the correct answer rate is higher than the target correct answer rate, the selection unit is made to reselect a layer on the input layer side of the selected layer, and (2) when the correct answer rate is lower than the target correct answer rate. , The selection unit reselects a layer on the output layer side of the selected layer, and (3) a model in which the replacement unit is replaced when the difference between the correct answer rate and the target correct answer rate falls within a predetermined range. A modification control unit that outputs parameters as modification parameters,
The information processing apparatus according to claim 1.
前記記憶部が記憶している正答率のうち、前記許可正答率取得部が取得した正答率に類似する正答率に対応する改変パターンを選択する改変パターン選択部と、
選択された前記改変パターンに基づいて改変された前記モデルパラメータを、通信ネットワークを介して前記情報処理端末に送信するモデルパラメータ送信部と、
をさらに備える請求項1又は2に記載の情報処理装置。 The permission correct answer rate acquisition unit that acquires the correct answer rate permitted to the user of the information processing terminal from an information processing terminal different from the information processing device, and
Among the correct answer rates stored in the storage unit, a modified pattern selection unit that selects a modified pattern corresponding to a correct answer rate similar to the correct answer rate acquired by the permitted correct answer rate acquisition unit, and
A model parameter transmission unit that transmits the model parameters modified based on the selected modification pattern to the information processing terminal via a communication network.
The information processing apparatus according to claim 1 or 2.
前記パラメータ改変部による改変がなされていない前記モデルパラメータに前記タスクデータを入力した結果を取得する検出実行部と、
前記通信ネットワークを介して前記検出実行部が取得した結果を前記情報処理端末に送信する結果送信部と、
をさらに備える請求項1から3のいずれか1項に記載の情報処理装置。 A task data acquisition unit that acquires task data to be input to the neural network from an information processing terminal different from the information processing device via a communication network.
A detection execution unit that acquires the result of inputting the task data into the model parameter that has not been modified by the parameter modification unit, and a detection execution unit.
A result transmission unit that transmits the result acquired by the detection execution unit to the information processing terminal via the communication network, and a result transmission unit.
The information processing apparatus according to any one of claims 1 to 3, further comprising.
前記2つのモデルパラメータのうち、前記第1モデルパラメータの使用回数の上限値を取得する利用制限数取得部と、
前記第1モデルパラメータと前記第2モデルパラメータとのいずれか一方のモデルパラメータに検出対象のタスクデータを入力した結果を取得する検出実行部と、
前記検出実行部による前記第1モデルパラメータの使用回数が前記上限値を下回る場合前記第1モデルパラメータを選択し、前記使用回数が前記上限値に到達した場合前記第2モデルパラメータを選択するモデルパラメータ選択部と、を備え、
前記検出実行部は、前記モデルパラメータ選択部が選択したモデルパラメータを用いて、タスクデータの出力結果を取得する、
情報処理端末。 The first model parameter, which is a model parameter related to the neural network generated to detect the target task and has a higher correct answer rate of the target task, and the correct answer rate of the target task is lower than that of the first model parameter. A model parameter acquisition unit that acquires two model parameters, a second model parameter, and
Of the two model parameters, a usage limit number acquisition unit that acquires an upper limit of the number of times the first model parameter is used, and a usage limit number acquisition unit.
A detection execution unit that acquires the result of inputting task data to be detected in one of the model parameters of the first model parameter and the second model parameter.
A model parameter that selects the first model parameter when the number of times the first model parameter is used by the detection execution unit is less than the upper limit value, and selects the second model parameter when the number of times of use reaches the upper limit value. With a selection part,
The detection execution unit acquires the output result of task data using the model parameters selected by the model parameter selection unit.
Information processing terminal.
目的タスクを検出するためのニューラルネットワークのモデルパラメータを生成させる機能と、
前記モデルパラメータの一部を改変した改変パラメータを生成させる機能と、
前記改変パラメータにおけるテスト用入力データの正答率を算出させる機能と、
改変するモデルパラメータの改変パターン毎に、前記算出した正答率を紐づけて記憶部に記憶させる機能と、
を実現させるプログラム。 On the computer
A function to generate model parameters of the neural network to detect the target task, and
A function to generate a modified parameter obtained by modifying a part of the model parameter, and
A function to calculate the correct answer rate of the test input data in the modified parameters, and
A function to associate the calculated correct answer rate for each modification pattern of the model parameter to be modified and store it in the storage unit.
A program that realizes.
目的タスクを検出するために生成されたニューラルネットワークに関するモデルパラメータであって、前記目的タスクの正答率が高い方の第1モデルパラメータと、前記第1モデルパラメータよりも前記目的タスクの正答率が低い第2モデルパラメータと、の2つのモデルパラメータを取得する機能と、
前記2つのモデルパラメータのうち、前記第1モデルパラメータの使用回数の上限値を取得する機能と、
前記第1モデルパラメータの使用回数の累積が前記上限値を下回る場合前記第1モデルパラメータを選択し、前記使用回数の累積が前記上限値に到達した場合前記第2モデルパラメータを選択する機能と、
選択されたモデルパラメータを用いて、タスクデータの出力結果を取得する機能と、
を実現させるプログラム。
On the computer
The first model parameter, which is a model parameter related to the neural network generated to detect the target task and has a higher correct answer rate of the target task, and the correct answer rate of the target task is lower than that of the first model parameter. The function to acquire the second model parameter and the two model parameters,
Of the two model parameters, the function of acquiring the upper limit of the number of times the first model parameter is used, and
A function of selecting the first model parameter when the cumulative number of times of use of the first model parameter is less than the upper limit value, and selecting the second model parameter when the cumulative number of times of use reaches the upper limit value.
A function to acquire the output result of task data using the selected model parameters,
A program that realizes.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018044447A JP6901423B2 (en) | 2018-03-12 | 2018-03-12 | Information processing equipment, information processing terminals, and programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018044447A JP6901423B2 (en) | 2018-03-12 | 2018-03-12 | Information processing equipment, information processing terminals, and programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019159693A JP2019159693A (en) | 2019-09-19 |
| JP6901423B2 true JP6901423B2 (en) | 2021-07-14 |
Family
ID=67996987
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018044447A Active JP6901423B2 (en) | 2018-03-12 | 2018-03-12 | Information processing equipment, information processing terminals, and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6901423B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7099968B2 (en) * | 2019-01-31 | 2022-07-12 | 日立Astemo株式会社 | Arithmetic logic unit |
| EP4027536A4 (en) | 2019-09-02 | 2022-11-02 | KDDI Corporation | COMMUNICATION DEVICE AND COMMUNICATION SYSTEM |
| JP7230755B2 (en) * | 2019-09-26 | 2023-03-01 | いすゞ自動車株式会社 | MODEL CREATED DEVICE AND MODEL CREATED METHOD |
| JP7511379B2 (en) * | 2020-04-28 | 2024-07-05 | 株式会社マネーフォワード | Information processing device and program |
| CN114065903B (en) * | 2020-08-07 | 2024-08-20 | 深圳先进技术研究院 | Parameter reuse method, device, terminal and storage medium for deep learning model |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012018450A (en) * | 2010-07-06 | 2012-01-26 | Keio Gijuku | Neural network system, construction method of neural network system and control program of neural network system |
| JP6555411B2 (en) * | 2016-03-09 | 2019-08-07 | ソニー株式会社 | Information processing method and information processing apparatus |
| JP2017182114A (en) * | 2016-03-28 | 2017-10-05 | ソニー株式会社 | Information processing apparatus, information processing method, and information providing method |
-
2018
- 2018-03-12 JP JP2018044447A patent/JP6901423B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019159693A (en) | 2019-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6901423B2 (en) | Information processing equipment, information processing terminals, and programs | |
| CN110348562B (en) | Quantitative strategy determination method of neural network, image recognition method and device | |
| Xu et al. | An efficient load balancing algorithm for virtual machine allocation based on ant colony optimization | |
| WO2018179765A1 (en) | Information processing device, information processing method, and computer-readable storage medium | |
| US11455523B2 (en) | Risk evaluation method, computer-readable recording medium, and information processing apparatus | |
| WO2018068421A1 (en) | Method and device for optimizing neural network | |
| CN112955909B (en) | Distributed training method and device for neural network | |
| CN109583561A (en) | A kind of the activation amount quantization method and device of deep neural network | |
| CN118819988A (en) | Server performance testing method, device, equipment and non-volatile storage medium | |
| TWI758223B (en) | Computing method with dynamic minibatch sizes and computing system and computer-readable storage media for performing the same | |
| CN115409161B (en) | On-chip execution method, device, equipment and medium of quantized neural network model | |
| JP2023552048A (en) | Neural architecture scaling for hardware acceleration | |
| CN114492742A (en) | Neural network structure searching method, model issuing method, electronic device, and storage medium | |
| JP6645509B2 (en) | Structure analysis method and structure analysis program | |
| Taheri et al. | Genetic algorithm in finding Pareto frontier of optimizing data transfer versus job execution in grids | |
| CN116187155A (en) | Computing device and method for generating optimal input data | |
| TW202001701A (en) | Method for quantizing an image and method for training a neural network | |
| CN120560978A (en) | Graphics processing unit performance testing method, device, equipment and storage medium | |
| CN107292320A (en) | System and its index optimization method and device | |
| Kim et al. | MPEC: Distributed matrix multiplication performance modeling on a scale-out cloud environment for data mining jobs | |
| JP6645508B2 (en) | Structure analysis method and structure analysis program | |
| CN120234007A (en) | Using complexity metrics to evaluate code generated using artificial intelligence | |
| JP6961527B2 (en) | Information processing equipment, learning methods, and programs | |
| CN114490405B (en) | Resource demand determination method, device, equipment and storage medium | |
| CN117376410A (en) | Service pushing method, device, computer equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191216 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201208 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210608 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210617 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6901423 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |