JP7840911B2 - 情報処理装置、方法およびプログラム - Google Patents

Description

本発明の実施形態は、情報処理装置、方法およびプログラムに関する。

機械学習では、人手による教師データを用いずに、自動で付与した教師信号を用いる自己教師あり学習によりモデルを訓練することで、教師データ生成の人的コストを減らすことができる。このような自己教師あり学習手法の１つとして、対照学習がある。対照学習では、１つのデータからデータ増強（Data Augmentation）によりデータのペアを生成し、当該ペア同士は正例として近付け、正例以外のペア（負例のペア）は遠ざけるようにモデルを訓練する。しかし、正例のペアに関する画像、および負例のペアに関する画像をそれぞれエンコーダに入力する必要があるため、計算量が大きいという問題がある。

米国特許第１１３５４７７８号明細書 米国特許第１１３８６３０２号明細書

本開示は、上述の課題を解決するためになされたものであり、訓練時の計算コストを低減できる情報処理装置、方法およびプログラムを提供することを目的とする。

本実施形態に係る情報処理装置は、特徴抽出部と、予測部と、負例正則化部と、訓練部とを含む。特徴抽出部は、機械学習モデルを用いて複数の訓練データから複数の特徴量を抽出する。予測部は、前記訓練データと前記訓練データに対応する教師データとから、タスクに関する予測結果を生成する。負例正則化部は、前記複数の特徴量について、特徴量間の類似度を算出する。訓練部は、前記予測結果と前記類似度とに基づいて、前記特徴量同士が遠ざかるように前記機械学習モデルのパラメータを更新する。

本実施形態に係る情報処理装置を示すブロック図。 本実施形態に係る情報処理装置の第１動作例を示すフローチャート。 本実施形態に係る情報処理装置の第１動作例で利用する機械学習モデルの一例を示す図。 本実施形態に係る情報処理装置の第１動作例で利用する機械学習モデルの別例を示す図。 本実施形態に係る情報処理装置の第２動作例を示すフローチャート。 本実施形態に係る機械学習モデルのネットワーク構造の第２例を示す図。 本実施形態に係る情報処理装置のハードウェア構成の一例を示す図。

以下、図面を参照しながら本実施形態に係る情報処理装置、方法およびプログラムについて詳細に説明する。なお、以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明を適宜省略する。

本実施形態に係る情報処理装置について図１のブロック図を参照して説明する。
第１実施形態に係る情報処理装置１０は、格納部１０１と、取得部１０２と、生成部１０３と、特徴抽出部１０４と、負例正則化部１０５と、予測部１０６と、訓練部１０７とを含む。

格納部１０１は、機械学習モデル、訓練データ、教師データなどを格納する。機械学習モデルは、例えば、エンコーダおよびデコーダと呼ばれるモデルを組み合わせたオートエンコーダである。具体的に、エンコーダは、ＶｉＴ（Vision Transformer）を想定する。なお、ＶｉＴに限らず、ＲｅｓＮｅｔなどの畳み込みニューラルネットワーク（ＣＮＮ）を含む深層ネットワークモデルなど、特徴抽出または次元圧縮で用いられるネットワークモデルであれば、どのようなモデルでも適用可能である。

デコーダは、Transformerブロックで構成されるネットワークモデルを用いることを想定する。なお、デコーダは、Transformerブロックに限らず、ＭＬＰ（Multi-Layer Perceptron）や畳み込みニューラルネットワークなど、エンコーダで抽出された特徴量から復元データを生成可能なネットワークモデルであれば、どのようなモデルでも適用可能である。訓練データは、後述の学習モデルを学習させるためのデータである。教師データは、訓練データに対する正解データである。本実施形態では、訓練データが画像である場合を想定するが、これに限らない。例えば、制御信号データ、音声データ、自然言語データ、音楽データ、センサ値などの１次元の時系列データでもよいし、記号データ、ログデータ、動画データ、テーブルデータ、トランザクションデータなどの画像以外の２次元以上のデータでもよい。

取得部１０２は、訓練データと教師データとを取得する。
生成部１０３は、訓練データの一部を切り出すことにより、１つの訓練データから複数の部分訓練データを生成する。また、生成部１０３は、複数の訓練データに対してデータ増強処理を実行する。
特徴抽出部１０４は、機械学習モデルを用いて複数の訓練データから複数の特徴量を抽出する。

負例正則化部１０５は、複数の特徴量について、特徴量間の類似度を算出する。
予測部１０６は、訓練データと訓練データに対応する教師データとから、タスクに関する予測結果を生成する。
訓練部１０７は、予測結果と類似度とに基づいて、特徴量同士が遠ざかるように機械学習モデルのパラメータを更新する。機械学習モデルのパラメータは、例えばネットワークの重みおよびバイアスを含む。

次に、本実施形態に係る情報処理装置１０の第１動作例について図２のフローチャートを参照して説明する。ここでは、機械学習モデルとしてオートエンコーダを用いる場合を想定する。

ステップＳＡ１では、取得部１０２が、格納部１０１から訓練データおよび教師データを取得する。
ステップＳＡ２では、特徴抽出部１０４が、訓練データから特徴量を抽出する。例えば、特徴抽出部１０４が、訓練データをエンコーダに入力することで、訓練データに関する特徴量を抽出すればよい。

ステップＳＡ３では、予測部１０６が、特徴量と教師データとを用いて、タスクに関する予測結果を生成する。例えば、分類タスクであれば、特徴量をデコーダに入力することで、デコーダからの分類に関する出力が予測結果として生成される。さらに、（１）式に示すロス関数を用いて、予測結果と特徴抽出部１０４に入力された訓練データとの差分に関する第１ロスＬ_ｔａｓｋを算出する。

ここで、Ｎはデータ数であり、ｙ_ｊはｊ番目の訓練データに関する予測結果であり、ｘ_ｊはｊ番目の訓練データである。

ステップＳＡ４では、負例正則化部１０５が、ステップＳＡ３で算出された、複数の特徴量について、特徴量のペアに関するロス、つまり特徴量間の類似度に関する第２ロスを算出する。具体的には、（２）式に示すロス関数を用いて、第２ロスＬ_ｒｅｇを算出すればよい。

ここで、Ｚ_ｉは、各データの特徴量である。τは、温度パラメータであり、任意の値に設定されればよい。（２）式に示すロス関数は、特徴量同士の類似度が低いほど値が小さくなる関数である。つまり、（２）式に示すロス関数は、特徴量同士が遠ざかるように重みを更新するためのロス関数である。なお、負例正則化部１０５で用いるロス関数は（２）式に限らず、例えば、（３）式を用いてもよい。

ここで、Ｉは単位行列であり、ｚは特徴量の行列であり、ｚ^Ｔは特徴量の転置行列である。また、丸の中にクロスで示される記号はテンソル積である。

なお、負例正則化部１０５のロス関数として、（４）式を用いてもよい。もちろん、これらのロス関数の式に限らず、特徴量同士が遠ざかるようにモデルを訓練可能なロス関数であれば、いずれの関数を採用してもよい。

ステップＳＡ５では、訓練部１０７が、第１ロスＬ_ｔａｓｋと第２ロスＬ_ｒｅｇとを用いて、モデル全体のロスである第３ロスＬを算出する。具体的には、第３ロスＬは、例えば（５）式を用いて計算すればよい。

αは、任意の実数であり、負例正則化部１０５で算出される第２ロスＬ_ｒｅｇの重みづけを行うためのパラメータである。

ステップＳＡ６では、訓練部１０４が、機械学習モデルの訓練が終了したか否かを判定する。訓練が終了したか否かの判定は、例えば、（５）式のロス関数のロス値が閾値以下である場合に訓練が終了したと判定すればよい。または、ロス値の減少幅が収束した場合に訓練が終了したと判定してもよい。さらには、所定のエポック数の処理が終了した場合に訓練が終了したと判定してもよい。訓練が終了した場合は、処理を終了し、訓練が終了していない場合は、ステップＳＡ７に進む。

ステップＳＡ７では、訓練部１０４が、ロス値が最小となるように、例えば勾配降下法および誤差逆伝播法によって、機械学習モデル（ここではエンコーダ）のパラメータを更新、具体的には、例えばエンコーダに係るニューラルネットワークの重みおよびバイアスなどのパラメータを更新する。パラメータの更新後、ステップＳＡ１に戻り、新たな訓練データを用いて学習モデルの訓練を継続する。最終的に訓練が完了すれば、機械学習モデルの訓練が終了し、学習済みモデルが生成される。訓練後の学習済みモデルについては、例えば情報処理装置１０の格納部１０１に格納されてもよい。

次に、本実施形態に係る情報処理装置１０の第１動作例で利用する機械学習モデルの一例について図３を参照して説明する。
図３に示す機械学習モデル３０は、オートエンコーダの一例であり、エンコーダ３１およびデコーダ３２を含む。図３に示すオートエンコーダでは、元画像を予測する予測タスクを想定する。エンコーダ３１およびデコーダ３２は、対照的な構造であってもよいし、対照的ではない構造であってもよい。また、デコーダ３２の機械学習モデルのモデルサイズは、エンコーダ３１のモデルサイズよりも小さく設計されてもよい。これにより、計算量を削減することができる。なお、以下特に区別しないときは、入力画像３３、特徴量３４および出力画像３５と記載する。

図３の例では、入力画像３３がエンコーダ３１に入力され、エンコーダ３１において特徴量が抽出される。ここでは、入力画像３３として、ネコの入力画像３３－１と、ゾウの入力画像３３－２が入力される。エンコーダ３１では、入力画像３３－１および入力画像３３－２がそれぞれ畳み込み処理され、入力画像３３－１に関する特徴量３４－１と、入力画像３３－２に関する特徴量３４－２とがそれぞれ抽出される。ここで、負例正則化部１０５の処理により、特徴量同士が遠ざかるように訓練可能な、例えば上述した（２）式から（４）式のいずれかのロス関数により、特徴量３４－１と特徴量３４－２との第２ロスが計算される。すなわち、本実施形態に係る情報処理装置１０では、対照学習のように、正例を近づけ、負例を遠ざけるように訓練するのではなく、全ての特徴量同士を遠ざけるように訓練する。これにより、正例を用意する必要がなく、コストを低減できる。

一方、デコーダ３２には、エンコーダ３１から出力された特徴量３４－１および特徴量３４－２が入力される。デコーダ３２では、入力画像３３－１および入力画像３３－２を再現するような出力画像３５－１および出力画像３５－２を出力する。予測部１０６の処理により、当該出力画像３５と入力画像３３との差分が小さくするように訓練可能な、例えば上述した（１）式のロス関数により、第１ロスが計算される。

なお、教師データを用いて分類タスクを解かせてもよい。
本実施形態に係る情報処理装置１０の第１動作例で利用する機械学習モデルの別例について図４を参照して説明する。
図４に示す機械学習モデル４０は、図３に示すデコーダに代えて、クラス分類を行う分類器４１がエンコーダ３１に接続される。例えば、予測部１０６が、出力画像３５に代わり、分類器４１から予測値として分類タスクの確率値を出力する。また、第１ロスに代わり、予測値と教師データとのクロスエントロピー誤差に関するロス関数により、分類タスクを解けるように、モデル４０が訓練されればよい。このとき、予測部１０６は、デコーダに代わり、分類器４１として１層や２層で構成されるＭＬＰを用いればよい。

次に、本実施形態に係る情報処理装置１０の第２動作例について図５のフローチャートを参照して説明する。
ステップＳＡ１、ステップＳＡ３からステップＳＡ７までは図２と同様であるため、説明を省略する。

ステップＳＢ１では、生成部１０３が、訓練データの一部を切り出すことにより、複数の部分訓練データを生成する。例えば、１つの画像データを右上部分、左下部分といった複数の部分領域をクロップして生成した部分画像を、部分訓練データとすればよい。なお、生成部１０３は、訓練データに対してデータ増強（data augmentation）処理を実行してもよい。データ増強処理により、クロップ画像に限らず、画像の分割処理（パッチ化）、反転処理、回転処理、ノイズ付加処理およびこれらの組み合わせの処理など、１つの画像に基づき複数のデータを生成できる。

ステップＳＢ２では、特徴抽出部１０４が、部分訓練データから特徴量を抽出する。
このように、部分訓練データを用いることで、エンコーダにおける計算量を削減することができる。

次に、本実施形態に係る情報処理装置１０の第２動作例で利用する機械学習モデルの一例について図６を参照して説明する。
図６の例では、エンコーダ５１として、ＶｉＴ（Vision Transformer）を利用したモデルを用いる。ＶｉＴは、複数のTransformer Encoderブロックが積層された構造を有する。

ＶｉＴでは、パッチ埋め込み処理６１－１により、まず入力画像３３がパッチ画像に分割される。次に、位置埋め込み処理６１－２により、パッチ画像に対して、当該パッチ画像が全体画像のうちのどの位置であるかを示す位置情報と、学習可能なクラストークンとが埋め込まれる。クラストークン６２についてはＶｉＴで一般的に用いられるトークンを想定するため、詳細な説明は省略する。なお、パッチ埋め込み処理６１－１および位置埋め込み処理６１－２は、エンコーダ６１に組み込まずに、エンコーダとは別処理、すなわち前処理として実施されてもよい。

その後、位置情報が埋め込まれたパッチ画像は、複数層のTransformer Encoderブロック６１－３により処理され、特徴量３４が抽出される。なお、Transformer Encoderブロック６１－３自体は、一般的なＶｉＴにおける処理であるため、ここでの詳細な説明は省略する。

図３の場合と同様に、エンコーダ６１から出力された特徴量３４は、負例正則化部１０５の処理により、全ての特徴量同士を遠ざけるように訓練可能なロス関数を用いてエンコーダ５１が訓練される。結果として、第２ロスＬ_ｒｅｇが計算される。デコーダ６３については、図３の場合と同様に、出力画像３５と入力画像３３との差分が小さくなるようなロス関数を用いる、または出力画像３５と入力画像３３がデータ増強される前の画像との差分が小さくなるようなロス関数を用いて、第１ロスＬ_ｔａｓｋが計算されればよい。

その後は、例えば（５）式に示すモデル全体のロスＬに関するロス関数を用いて、図６の機械学習モデルが訓練されればよい。

次に、上述の実施形態に係る情報処理装置１０のハードウェア構成の一例を図７のブロック図に示す。
情報処理装置１０は、ＣＰＵ（Central Processing Unit）７１と、ＲＡＭ（Random Access Memory）７２と、ＲＯＭ（Read Only Memory）７３と、ストレージ７４と、表示装置７５と、入力装置７６と、通信装置７７とを含み、それぞれバスにより接続される。

ＣＰＵ７１は、プログラムに従って演算処理および制御処理などを実行するプロセッサである。ＣＰＵ７１は、ＲＡＭ７２の所定領域を作業領域として、ＲＯＭ７３およびストレージ７４などに記憶されたプログラムとの協働により、上述した情報処理装置１０の各部の処理を実行する。なお、情報処理装置１０の各処理は、１つのプロセッサにより実行されてもよいし、複数のプロセッサにより分散して実行されてもよい。

ＲＡＭ７２は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などのメモリである。ＲＡＭ７２は、ＣＰＵ７１の作業領域として機能する。ＲＯＭ７３は、プログラムおよび各種情報を書き換え不可能に記憶するメモリである。

ストレージ７４は、ＨＤＤ（Hard Disc Drive）等の磁気記録媒体、フラッシュメモリなどの半導体による記憶媒体、または、ＨＤＤなどの磁気的に記録可能な記憶媒体、光学的に記録可能な記憶媒体などにデータを書き込みおよび読み出しをする装置である。ストレージ７４は、ＣＰＵ７１からの制御に応じて、記憶媒体にデータの書き込みおよび読み出しをする。

表示装置７５は、ＬＣＤ（Liquid Crystal Display）などの表示デバイスである。表示装置７５は、ＣＰＵ７１からの表示信号に基づいて、各種情報を表示する。

入力装置７６は、マウスおよびキーボード等の入力デバイスである。入力装置７６は、ユーザから操作入力された情報を指示信号として受け付け、指示信号をＣＰＵ７１に出力する。

通信装置７７は、ＣＰＵ７１からの制御に応じて外部機器とネットワークを介して通信する。

以上に示した本実施形態によれば、訓練データと教師データとから、タスクに関する予測結果を生成し、訓練データの特徴量間の類似度を算出し、予測結果と類似度とに基づいて、特徴量同士が遠ざかるようにロス関数を設定して、当該ロス関数のロス値に基づき機械学習モデルのパラメータを更新する。
これにより、一般的な対照学習のように、正例を生成し、訓練データと正例とのペアおよび訓練データと負例とのペアについて、それぞれエンコーダに入力して計算する必要がない。また、Masked Auto Encoder（ＭＡＥ）のように、マスク画像（入力画像の一部をマスクした画像またはパッチ画像）を生成し、エンコーダに入力する必要もない。よって、機械学習モデルの訓練時の計算コストを低減することができる。さらに、機械学習モデルのうち、デコーダのモデルサイズをエンコーダのモデルサイズよりも小さくすることで、さらに計算量を減らすことができる。

ここで、エンコーダと比べてデコーダのモデルサイズが十分に小さく、デコーダの計算量が無視できる場合を想定する。機械学習モデルとしてニューラルネットワークを用い、その一般的な訓練方法である誤差逆伝播法を用いる。この場合、１データあたりのエンコーダの順伝播の計算量をＣと定義すると、誤差逆伝播では、逆伝播に係る計算量Ｃ、微分計算に係る計算量Ｃとで合計２Ｃの計算コストとなる。さらに、対照学習では、正例に関するペアと負例に関するペアとの両者をエンコーダに入力するため、順伝播の計算量が２Ｃとなり、結果的に、１つの訓練データあたり合計でおよそ４Ｃの計算量が必要である。

一方、本実施形態に係る情報処理装置１０による訓練時の計算コストは、正例のペアに関する計算が不要であるため、本実施形態に係る情報処理装置１０の計算コストはおよそ３Ｃといえる。よって、対照学習と比較して、１つの訓練データあたり２５パーセント計算量を低減できる。

上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した情報処理装置の制御動作による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、Ｂｌｕ－ｒａｙ（登録商標）Ｄｉｓｃなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の情報処理装置の制御と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本実施形態における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。
また、記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。

なお、本実施形態におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
また、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本実施形態における機能を実現することが可能な機器、装置を総称している。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…情報処理装置、３０，４０…機械学習モデル、３１，６１…エンコーダ、３２，６３…デコーダ、３３－１，３３－２…入力画像、３４－１，３４－２…特徴量、３５－１，３５－２…出力画像、４１…分類器、６１－１…パッチ埋め込み処理、６１－２…位置埋め込み処理、６１－３…Transformer Encoderブロック、６２…クラストークン、７１…ＣＰＵ、７２…ＲＡＭ、７３…ＲＯＭ、７４…ストレージ、７５…表示装置、７６…入力装置、７７…通信装置、１０１…格納部、１０２…取得部、１０３…生成部、１０４…特徴抽出部、１０５…負例正則化部、１０６…予測部、１０７…訓練部。

Claims (8)

1. 機械学習モデルを用いて複数の訓練データから複数の特徴量を抽出する特徴抽出部と、
   前記訓練データと前記訓練データに対応する教師データとから、タスクに関する予測結果を生成する予測部と、
   前記複数の特徴量について、特徴量間の類似度を算出する負例正則化部と、
   前記予測結果と前記類似度とに基づいて、前記特徴量同士が遠ざかるように前記機械学習モデルのパラメータを更新する訓練部と、
   を具備する情報処理装置。
2. １つの訓練データから複数の部分訓練データを生成する生成部をさらに具備し、
   前記特徴抽出部は、前記複数の部分訓練データを用いて前記特徴量を抽出する、請求項１に記載の情報処理装置。
3. 前記予測部で利用するモデルは、前記特徴抽出部よりもモデルサイズが小さい、請求項１に記載の情報処理装置。
4. 前記タスクは、前記特徴抽出部に入力される前記訓練データを予測する処理である、請求項１に記載の情報処理装置。
5. 前記複数の訓練データに対してデータ増強処理を実行する生成部をさらに具備し、
   前記タスクは、前記データ増強処理が実行される前の前記訓練データを予測する処理である、請求項１に記載の情報処理装置。
6. 前記訓練部は、前記特徴量間の前記類似度が低いほど値が小さくなるロス関数によって算出されるロス値が最小化されるように、前記機械学習モデルのパラメータを更新する、請求項１に記載の情報処理装置。
7. 機械学習モデルを用いて複数の訓練データから複数の特徴量を抽出し、
   前記訓練データと前記訓練データに対応する教師データとから、タスクに関する予測結果を生成し、
   前記複数の特徴量について、特徴量間の類似度を算出し、
   前記予測結果と前記類似度とに基づいて、前記特徴量同士が遠ざかるように前記機械学習モデルのパラメータを更新する、
   情報処理方法。
8. コンピュータを、
   機械学習モデルを用いて複数の訓練データから複数の特徴量を抽出する特徴抽出手段と、
   前記訓練データと前記訓練データに対応する教師データとから、タスクに関する予測結果を生成する予測手段と、
   前記複数の特徴量について、特徴量間の類似度を算出する負例正則化手段と、
   前記予測結果と前記類似度とに基づいて、前記特徴量同士が遠ざかるように前記機械学習モデルのパラメータを更新する訓練手段として機能させるための情報処理プログラム。