JP7666142B2 - 情報処理プログラム，情報処理方法および情報処理装置 - Google Patents

Description

本発明は、情報処理プログラム，情報処理方法および情報処理装置に関する。

主にニューラルネットワークを用いた学習型ＡＩ（Artificial Intelligence）において、ＯＯＤ（Out-of-Distribution Detection：分布外）判定とよばれる手法が行なわれる場合がある。ＯＯＤ判定をＯＯＤ検出といってもよい。

ＯＯＤ判定は、ある機械学習モデルが特定のドメインからサンプルされたデータによって経験損失最小化（empirical risk minimization ：ＥＲＭ）を行なうことで訓練されたと仮定したとき、推論時に与えられた別のあるサンプルがそのドメインに属するかどうかを判定する。

従来のＯＯＤ判定手法においては、各サンプルに対して機械学習モデルが出力する信頼度を活用している。具体的には、信頼度が大きいとき、そのサンプルはＩＤ（In-Distribution）とみなし、信頼度が小さいときはＯＯＤとみなす。そこで、従来のＯＯＤ判定手法においては、信頼度に対して、ある適切な閾値を設定することでＯＯＤ判定を実現している。

しかし、ＯＯＤのデータに対しても機械学習モデルが高い信頼度を出力することがある。このようにＯＯＤに対して高い信頼度が出力される問題を解決する手法として、Calibration，Parametric Assumption，Anomaly DetectionおよびOutlier Exposure等の複数の各手法が知られている。

Calibrationは、機械学習モデルが出力する信頼度を、当該機械学習モデルの正解率に対して揃えることで不当に高い信頼度が出されることを防ぐ。Calibrationの具体的手法として、例えば、ODIN，FocalLoss，Confidence Learningが知られている。

Parametric Assumptionは、ＩＤまたはＯＯＤのデータに対して統計的仮定をおき、その仮定にどれだけ反するかによってＯＯＤ判定を行なう。Parametric Assumptionの具体的手法として、例えば、Mahalanobis, PriorNet, FSSDが知られている。

Anomaly Detectionは、主にオートエンコーダ構造のネットワークにおいて、モデルが未知のデータをうまく再構成できないことを利用してＯＯＤ判定を行なう。Anomaly Detectionの具体的手法として、AnoGAN, Efficient GANが知られている。

Outlier Exposureにおいては、わずかではあるが、ＯＯＤのデータも入手可能であると想定し、そのＯＯＤデータについては高い信頼度を出力しないように正則化しながら学習する。Outlier Exposureの具体的手法として、例えば、OE, OECCが知られている。

特開２０２０－１２３８３０号公報 特表２０２０－５３３７２３号公報

しかしながら、これらの従来のＯＯＤ判定手法においては、いくつかの理由によりＯＯＤ判定を効率的に行なうことができない。例えば、ＯＯＤ判定精度が低い場合があり、例えば、上述したCalibrationのODINやFocalLossがこれに該当する。

また、ＯＯＤ判定により元のタスクの性能に悪影響がある場合があり、例えば、上述したParametric AssumptionのPriorNetがこれに該当する。

さらに、ＯＯＤ判定のために全く別のモデルを要する場合があり、これにより高コストとなる。例えば、上述したAnomaly DetectionのAnoGANがこれに該当する。

また、上述したOutlier Exposure系においては、ＯＯＤデータを訓練に用いる必要があるが、訓練に用いるＯＯＤデータを網羅的に用意することは困難である。
１つの側面では、本発明は、分布外判定を効率的に行なうことができるようにすることを目的とする。

このため、この情報処理プログラムは、入力データに基づき特徴ベクトルを生成する特徴抽出器と、前記特徴ベクトルに対する推論を行なう第１ネットワークとを含む機械学習モデルに関して、前記特徴抽出器によって生成された前記特徴ベクトルを第２ネットワークに入力して、前記機械学習モデルのロス推論結果を出力し、前記ロス推論結果に基づいて、前記入力データが特定ドメインに含まれるか否かの分布外判定を行なう。

一実施形態によれば、分布外判定を効率的に行なうことができる。

実施形態の一例としての情報処理装置の機能構成を模式的に示す図である。 実施形態の一例としての情報処理装置の処理を説明するための図である。 実施形態の一例としての情報処理装置における処理を説明するためのフローチャートである。 実施形態の一例としての情報処理装置のハードウェア構成を例示する図である。

以下、図面を参照して本情報処理プログラム，情報処理方法および情報処理装置にかかる実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。

（Ａ）構成
図１は実施形態の一例としての情報処理装置１の機能構成を模式的に示す図、図２はその処理を説明するための図である。

図２に示す例においては、入力データが画像（Image）データであり、この入力データに対する分類を推論する例を示す。以下、入力データを符号xで表す場合がある。入力データｘは、後述する第１推論処理部１００による推論対象のデータであり、また、後述する第２推論処理部３００によるＯＯＤ判定対象のデータでもある。
本情報処理装置１は、図１に示すように、第１推論処理部１００，第２推論処理部３００および訓練処理部２００を備える。

第１推論処理部１００は、機械学習モデル１１０を用いて推論を行なう。機械学習モデル１１０における推論をO(F(x))であるものとし、元のタスクのロス関数をLoss(y , y′)とする。
第１推論処理部１００は、入力データを機械学習モデル１１０に入力し、機械学習モデル１１０が出力する推論結果を得る。
機械学習モデル１１０は、図１に示すように、特徴抽出器１０１および第１ネットワーク１０２を備える。

特徴抽出器１０１は、入力データに対して特徴抽出を行なう。特徴抽出器１０１は、例えば、畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）を用いて、入力データの特徴抽出を行なってもよい。
特徴抽出器１０１は入力データに基づいて特徴ベクトルを生成する（図２の符号Ｐ１参照）。以下、特徴ベクトルを符号zで表す場合がある。
特徴抽出器１０１により生成される特徴ベクトルzは、以下の式（１）で表わされる。
z = F(x ; θ_f) ・・・（１）

Fは特徴抽出関数である。特徴ベクトルzは、入力データxを特徴抽出関数Fに通すことで得られる。θ_fは関数Fの重みを表し、機械学習モデル１１０の訓練時において、後述する最適化処理部２０４によって更新される。

特徴抽出器１０１によって生成された特徴ベクトルは第１ネットワーク１０２に入力され、推論結果が出力される（図２の符号Ｐ２参照）。以下、推論結果を符号yで表す場合がある。第１ネットワーク１０２は、例えば、全結合層（Fully Connected Layer：ＦＣ層）として構成されてもよい（図２の符号Ｐ３参照）。第１ネットワーク１０２を最終層１０２といってもよい。
機械学習モデル１１０により出力される推論結果yは、以下の式（２）で表される。
y = O(z ; θ_o) ・・・（２）

Oは関数である。推論結果yは、特徴ベクトルzを関数Oに通すことで得られる。θ_oは最終層Oの重みを表し、機械学習モデル１１０の訓練時には、最適化処理部２０４によって更新される。
第２推論処理部３００は、第２ネットワーク３０１を用いて、機械学習モデル１１０のロスの推論とＯＯＤの推論とを行なう。

一般に、機械学習モデルは、あるサンプルが十分に学習されている場合、すなわちＩＤである場合に、より高い確率で正解の推論結果を出力する。その一方で、機械学習モデルが十分に学習されていない場合は、誤った推論結果を出力する可能性が高くなる。

すなわち、機械学習モデルがより高い信頼度で結果を出力した場合は一般にロスが小さくなり、低い信頼度で結果を出力した場合はロスが大きくなる。また、高い信頼度であるものの、推論結果が誤っている場合にもロスが大きくなる。
本情報処理装置１においては、このような特性を活用して、入力データに対するＯＯＤ判定を明示的に学習する。
第２推論処理部３００は、図１に示すように、第２ネットワーク３０１およびＯＯＤ推論部３０２を備える。

第２推論処理部３００においては、機械学習モデル１１０の特徴抽出器１０１によって生成された特徴ベクトルが第２ネットワーク３０１に入力され、ロス推論結果を出力する。

以下、第２ネットワーク３０１によるロス推論結果を符号wで表す場合がある。図２においては、第２ネットワーク３０１が、３層のマルチレイヤ全結合層（ＦＣ層）による推論を行なう例を示す（図２の符号Ｐ４参照）。

第２ネットワーク３０１は、機械学習モデル１１０の特徴抽出器１０１によって生成される特徴ベクトルzを入力として１スカラーを出力するネットワークであり、第１ネットワーク１０２とは別に設けられた異なるネットワークである。
第２ネットワーク３０１により生成されるロス推論結果wは、以下の式（３）で表される。
w = L(z ; θ_l) ・・・（３）

Lは関数である。ロス推論結果wは、特徴ベクトルzを関数Lに通すことで得られる。θ_lはロスを推論するネットワークの重みであり、第２ネットワーク３０１の訓練時には最適化処理部２０４によって更新される。
ＯＯＤ推論部３０２は、第２ネットワーク３０１によって推論されたロス推論結果wに基づき、ＯＯＤ判定を推論する。すなわち、ＯＯＤ推論部３０２は、第２ネットワーク３０１によって推論されたロス推論結果wに基づいて、入力データxが特定ドメインに含まれるか否かの分布外判定を行なう。

ＯＯＤ推論部３０２は、第２ネットワーク３０１によって推論されたロス推論結果wを閾値Tと比較し、ロス推論結果wが閾値Tよりも大きい場合に、入力データxが、特定ドメインに含まれない（ＯＯＤ）と判定する。また、ＯＯＤ推論部３０２は、ロス推論結果wが閾値T以下の場合に、入力データxが特定ドメインに含まれる（ＩＤ）と判定する。

閾値Tは、Validation setによって計算された、最も上手くＩＤとＯＯＤとを分割できるロス推論結果wの閾値である。閾値Tはユーザが任意に設定してもよい。
訓練処理部２００は、機械学習モデル１１０の訓練（機械学習）を行なう。

機械学習モデル１１０の訓練には訓練用データが用いられる。訓練データは、入力データと、この入力データに対する正解とを備える。訓練データは、例えば、ユーザが予め用意する。
訓練処理部２００は、図１に示すように、第１ロス算出部２０１，第２ロス算出部２０２，合計ロス算出部２０３および最適化処理部２０４を備える。

第１ロス算出部２０１は、入力データｘに対する正解ｔを取得する（図２の符号Ｐ５参照）。そして、第１ロス算出部２０１は、正解tに対する入力データｘのロス（距離，誤差）を算出する。正解tに対する入力データｘのロスを符号ｌ_１で表す場合がある（図２の符号Ｐ６参照）。ロスｌ_１は以下の式（４）で表される。
l₁= Loss(y , t) ・・・（４）

ロスｌ_１を第１ロスｌ_１といってもよい。第１ロスｌ_１は、機械学習モデル１１０の第１ネットワーク１０２により出力される推論結果yと正解データtとから計算されるロスであり、機械学習モデル１１０において実際に発生したロスを表す。

第２ロス算出部２０２は、第２ネットワーク３０１により生成されたロス推論結果wと第１ロス算出部２０１によって算出された第１ロスｌ_１とのＬ１距離ｌ_２を算出する（図２の符号Ｐ７参照）。Ｌ１距離ｌ_２は以下の式（５）で表される。
l₂= |l₁ - w| ・・・（５）
Ｌ１距離ｌ_２を第２ロスｌ_２といってもよい。第２ロスｌ_２は推論された機械学習モデル１１０のロスを表す。

合計ロス算出部２０３は、第１ロス算出部２０１によって算出された第１ロスｌ_１と、第２ロス算出部２０２によって算出された第２ロスｌ_２とを合計して、合計ロスｌ_{ｔｏｔａｌ}を算出する（図２の符号Ｐ８参照）。合計ロスｌ_{ｔｏｔａｌ}は以下の式（６）で表される。
l_total = l₁ + l₂ ・・・（６）
合計ロスｌ_{ｔｏｔａｌ}は、第１ロスｌ_１と第２ロスｌ_２の総和であり、最適化処理部２０４によって最小化されるコストを示す。

最適化処理部２０４は、合計ロス算出部２０３が算出した合計ロスｌ_{ｔｏｔａｌ}が最小化する勾配を算出し、誤差逆伝搬を行なう。誤差逆伝搬には、例えば、最急降下法（勾配法）を用いてもよく、適宜変更して実施することができる。勾配をδｌ_{ｔｏｔａｌ}/δθで表してもよい。

最適化処理部２０４は、合計ロスｌ_{ｔｏｔａｌ}が最小化する重みθ_f，θ_oおよびθ_lをそれぞれ算出する。なお、これらの重みθ_f，θ_oおよびθ_lの算出は既知の種々の手法を用いて実現することができ、その説明は省略する。

最適化処理部２０４は、算出した重みθ_f，θ_oおよびθ_lを、機械学習モデル１１０の第１ネットワーク１０２および第２ネットワーク３０１に反映させる。すなわち、最適化処理部２０４は、算出したこれらのパラメータ（重みθ_f，θ_oおよびθ_l）を用いて、機械学習モデル１１０（第１ネットワーク１０２）のパラメータ（重みθ_fおよびθ_o）および第２ネットワーク３０１のパラメータ（重みθ_l）をそれぞれ更新する。
なお、最適化処理部２０４が算出した各重みθ_f，θ_oおよびθ_lは後述する記憶装置１３（図４参照）等の所定の記憶領域に記憶される。

（Ｂ）動作
上述の如く構成された実施形態の一例としての情報処理装置１における処理を、図３に示すフローチャート（ステップＳ１～Ｓ１２）に従って説明する。

図３に示すフローチャートにおいて、ステップＳ１～Ｓ６の処理が入力データに対する推論処理を示し、ステップＳ１～Ｓ３，Ｓ７～Ｓ１２の処理が、機械学習モデル１１０（第１ネットワーク１０２）および第２ネットワーク３０１の訓練処理を示す。

先ず、本情報処理装置１における、入力データに対する推論処理を説明する。
ステップＳ１において、第１推論処理部１００が入力データxを取得する。
ステップＳ２において、機械学習モデル１１０の特徴抽出器１０１が、入力データxに対する特徴抽出を行ない、上述した式（１）を用いて特徴ベクトルzを算出する。
ステップＳ３において、第２推論処理部３００の第２ネットワーク３０１が、上述した式（３）を用いてロス推論結果wを算出する。

ステップＳ４において、第２推論処理部３００のＯＯＤ推論部３０２が、第２ネットワーク３０１によって推論されたロス推論結果wを閾値Tと比較し、ロス推論結果wが閾値T以下であるかを確認する。

確認の結果、ロス推論結果wが閾値T以下である場合には（ステップＳ４の“True”ルート参照）、ステップＳ６において、ＯＯＤ推論部３０２は、入力データxがＩＤであると判定する。その後、処理を終了する。

一方、ステップＳ４における確認の結果、ロス推論結果wが閾値Tよりも大きい場合には（ステップＳ４の“False”ルート参照）、ステップＳ５において、ＯＯＤ推論部３０２は、入力データxがＯＯＤであると判定する。その後、処理を終了する。

次に、本情報処理装置１における訓練処理を説明する。
ステップＳ１において、第１推論処理部１００が入力データxを取得する。
ステップＳ２において、機械学習モデル１１０の特徴抽出器１０１が、入力データxに対する特徴抽出を行ない、上述した式（１）を用いて特徴ベクトルzを算出する。
ステップＳ７において、機械学習モデル１１０の第１ネットワーク１０２が、上述した式（２）を用いて推論結果yを算出する。

ステップＳ８において、訓練処理部２００の第１ロス算出部２０１が、入力データｘに対する正解ｔを取得する。
ステップＳ９において、第１ロス算出部２０１が、上述した式（４）を用いて第１ロスｌ_１を算出する。
また、ステップＳ３において、第２推論処理部３００の第２ネットワーク３０１が、上述した式（３）を用いてロス推論結果wを算出する。

ステップＳ１０において、第２ロス算出部２０２が、上述した式（５）を用いて第２ロスｌ_２を算出する。また、合計ロス算出部２０３が、上述した式（６）を用いて、合計ロスｌ_{ｔｏｔａｌ}を算出する。
ステップＳ１１において、最適化処理部２０４が、合計ロスｌ_{ｔｏｔａｌ}が最小化する重みθ_f，θ_oおよびθ_lを誤差逆伝搬を用いてそれぞれ算出する。

ステップＳ１２において、最適化処理部２０４が、算出した重みθ_f，θ_oおよびθ_lを用いて、機械学習モデル１１０（第１ネットワーク１０２）のパラメータ（重みθ_fおよびθ_o）および第２ネットワーク３０１のパラメータ（重みθ_l）をそれぞれ更新する。その後、ステップＳ１に戻る。
訓練処理は、例えば、予め設定した繰り返し回数に到達するまで行なってもよく、また、機械学習モデルの推論精度が所定の閾値以上となるまで行なってもよく、適宜変更して実施することができる。

（Ｃ）効果
このように、実施形態の一例としての情報処理装置１によれば、第２推論処理部３００において第２ネットワーク３０１を備えることで、ＯＯＤ判定そのものを直接的に学習可能であり、ＯＯＤの判定に高い精度が得られる。また、実験的に、元のタスクの性能低下はほぼ無いことが確認できている。

さらに、機械学習モデル１１０の特徴抽出器１０１によって生成された特徴ベクトルが入力される第２ネットワーク３０１を備え、この第２ネットワーク３０１により機械学習モデル１１０のロスの推論を行なう。これによりＯＯＤを推論するために専用の機械学習モデルを新たに備える必要がなく、低コストでＯＯＤの検出を実現することができる。
また、本情報処理装置１においては、ＯＯＤの推論を行なうための訓練データを用意する必要がない。

（Ｄ）その他
図４は実施形態の一例としての情報処理装置１のハードウェア構成を例示する図である。

情報処理装置１は、コンピュータであって、例えば、プロセッサ１１，メモリ１２，記憶装置１３，グラフィック処理装置１４，入力インタフェース１５，光学ドライブ装置１６，機器接続インタフェース１７およびネットワークインタフェース１８を構成要素として有する。これらの構成要素１１～１８は、バス１９を介して相互に通信可能に構成される。

プロセッサ（処理部）１１は、情報処理装置１全体を制御する。プロセッサ１１は、マルチプロセッサであってもよい。プロセッサ１１は、例えばＣＰＵ，ＭＰＵ（Micro Processing Unit），ＤＳＰ（Digital Signal Processor），ＡＳＩＣ（Application Specific Integrated Circuit），ＰＬＤ（Programmable Logic Device），ＦＰＧＡ（Field Programmable Gate Array）のいずれか一つであってもよい。また、プロセッサ１１は、ＣＰＵ，ＭＰＵ，ＤＳＰ，ＡＳＩＣ，ＰＬＤ，ＦＰＧＡのうちの２種類以上の要素の組み合わせであってもよい。

そして、プロセッサ１１が情報処理装置１用の制御プログラム（情報処理プログラム，：図示省略）を実行することにより、図１に例示した、第１推論処理部１００，訓練処理部２００および第２推論処理部３００としての機能が実現される。

なお、情報処理装置１は、例えばコンピュータ読み取り可能な非一時的な記録媒体に記録されたプログラム（情報処理プログラム，ＯＳプログラム）を実行することにより、第１推論処理部１００，訓練処理部２００および第２推論処理部３００としての機能を実現する。

情報処理装置１に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、情報処理装置１に実行させるプログラムを記憶装置１３に格納しておくことができる。プロセッサ１１は、記憶装置１３内のプログラムの少なくとも一部をメモリ１２にロードし、ロードしたプログラムを実行する。

また、情報処理装置１（プロセッサ１１）に実行させるプログラムを、光ディスク１６ａ，メモリ装置１７ａ，メモリカード１７ｃ等の非一時的な可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ１１からの制御により、記憶装置１３にインストールされた後、実行可能になる。また、プロセッサ１１が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。

メモリ１２は、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を含む記憶メモリである。メモリ１２のＲＡＭは情報処理装置１の主記憶装置として使用される。ＲＡＭには、プロセッサ１１に実行させるプログラムの少なくとも一部が一時的に格納される。また、メモリ１２には、プロセッサ１１による処理に必要な各種データが格納される。

記憶装置１３は、ハードディスクドライブ（Hard Disk Drive：ＨＤＤ）、ＳＳＤ（Solid State Drive）、ストレージクラスメモリ（Storage Class Memory：ＳＣＭ）等の記憶装置であって、種々のデータを格納するものである。記憶装置１３は、本情報処理装置１の補助記憶装置として使用される。
記憶装置１３には、ＯＳプログラム，制御プログラムおよび各種データが格納される。制御プログラムには情報処理プログラムが含まれる。

なお、補助記憶装置としては、ＳＣＭやフラッシュメモリ等の半導体記憶装置を使用することもできる。また、複数の記憶装置１３を用いてＲＡＩＤ（Redundant Arrays of Inexpensive Disks）を構成してもよい。

記憶装置１３には、第１推論処理部１００，第２推論処理部３００および訓練処理部２００が生成した各種データを格納してもよい。

グラフィック処理装置１４には、モニタ１４ａが接続されている。グラフィック処理装置１４は、プロセッサ１１からの命令に従って、画像をモニタ１４ａの画面に表示させる。モニタ１４ａとしては、ＣＲＴ（Cathode Ray Tube）を用いた表示装置や液晶表示装置等が挙げられる。

入力インタフェース１５には、キーボード１５ａおよびマウス１５ｂが接続されている。入力インタフェース１５は、キーボード１５ａやマウス１５ｂから送られてくる信号をプロセッサ１１に送信する。なお、マウス１５ｂは、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル，タブレット，タッチパッド，トラックボール等が挙げられる。

光学ドライブ装置１６は、レーザ光等を利用して、光ディスク１６ａに記録されたデータの読み取りを行なう。光ディスク１６ａは、光の反射によって読み取り可能にデータを記録された可搬型の非一時的な記録媒体である。光ディスク１６ａには、ＤＶＤ（Digital Versatile Disc），ＤＶＤ－ＲＡＭ，ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）等が挙げられる。

機器接続インタフェース１７は、情報処理装置１に周辺機器を接続するための通信インタフェースである。例えば、機器接続インタフェース１７には、メモリ装置１７ａやメモリリーダライタ１７ｂを接続することができる。メモリ装置１７ａは、機器接続インタフェース１７との通信機能を搭載した非一時的な記録媒体、例えばＵＳＢ（Universal Serial Bus）メモリである。メモリリーダライタ１７ｂは、メモリカード１７ｃへのデータの書き込み、またはメモリカード１７ｃからのデータの読み出しを行なう。メモリカード１７ｃは、カード型の非一時的な記録媒体である。

ネットワークインタフェース１８は、ネットワークに接続される。ネットワークインタフェース１８は、ネットワークを介してデータの送受信を行なう。ネットワークには他の情報処理装置や通信機器等が接続されてもよい。

そして、開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。本実施形態の各構成および各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。

例えば、上述した実施形態においては、ＯＯＤ推論部３０２が、ロス推論結果wを閾値Tと比較することでＯＯＤであるか否かの判定を行なっているが、これに限定されるものではなく、種々変形して実施することができる。例えば、Mahalanobis, ODIN, FSSD等の一つ以上の他のモデルの推定結果を統合するアンサンブル学習を行なってもよい。このようなアンサンブル学習を用いるに場合は、ロジスティック回帰などを用いてもよく、これにより更なる精度向上が見込める。本情報処理装置１においては、他手法とのアンサンブルが容易であり、更に高い精度を実現できる。

また、上述した実施形態においては、入力データが画像データであり、この入力データに対する分類を推論する例を示したが、これに限定されるものではなく、適宜変更して実施することができる。

さらに、上述した実施形態においては、特徴抽出器１０１が、畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）を用いて、入力データの特徴抽出を行なう例を示したが、これに限定されるものではなく、適宜変更して実施することができる。

上述した実施形態においては、第２ネットワーク３０１が、３層のマルチレイヤ全結合層（ＦＣ層）による推論を行なう例を示しているが、これに限定されるものではない。第２ネットワーク３０１は適宜変更して実施することができる。
また、上述した開示により本実施形態を当業者によって実施・製造することが可能である。

（Ｅ）付記
以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
入力データに基づき特徴データを生成する特徴抽出器と、前記特徴データに対する推論を行なう第１ネットワークとを含む機械学習モデルに関して、
前記特徴抽出器によって生成された特徴ベクトルを第２ネットワークに入力して、前記機械学習モデルのロス推論結果を出力し、
前記ロス推論結果に基づいて、前記入力データが特定ドメインに含まれるか否かの分布外判定を行なう
処理をプロセッサに実行させることを特徴とする情報処理プログラム。

（付記２）
前記分布外判定を行なう処理は、前記ロス推論結果が閾値よりも大きい場合に、前記入力データが前記特定ドメインに含まれないと判定し、前記ロス推論結果が閾値以下の場合に、前記入力データが前記特定ドメインに含まれると判定する
ことを特徴とする付記１記載の情報処理プログラム。

（付記３）
入力データに基づき特徴データを生成する特徴抽出器と、前記特徴データに対する推論を行なう第１ネットワークとを含む機械学習モデルに対して、特定ドメインに含まれるサンプルデータと正解データとを備える訓練データを用いて訓練を行なう場合に、
前記特徴抽出器に、前記サンプルデータに基づき特徴データを生成させ、
前記第１ネットワークに、前記サンプルデータに基づく前記特徴データに対して推論を行なって推論結果を出力させ、
前記正解データに対する前記推論結果の第１のロスを算出する第１の計算を行ない、
前記特徴抽出器によって生成された特徴ベクトルに基づき前記機械学習モデルのロス推論結果を出力する第２ネットワークに、前記サンプルデータに基づく前記特徴データに対して推論を行なって出力するロス推論結果と、前記第１の計算によって算出された前記第１のロスとのＬ１距離を算出する第２の計算を行なわせ、
前記第１のロスと前記Ｌ１距離とを最小化する勾配を求めて誤算逆伝搬させることで、前記機械学習モデルおよび前記第２ネットワークの各パラメータを算出する
処理をプロセッサに実行させることを特徴とする情報処理プログラム。

（付記４）
入力データに基づき特徴データを生成する特徴抽出器と、前記特徴データに対する推論を行なう第１ネットワークとを含む機械学習モデルに関して、
前記特徴抽出器によって生成された特徴ベクトルを第２ネットワークに入力して、前記機械学習モデルのロス推論結果を出力し、
前記ロス推論結果に基づいて、前記入力データが特定ドメインに含まれるか否かの分布外判定を行なう
処理をプロセッサが実行することを特徴とする情報処理方法。

（付記５）
前記分布外判定を行なう処理は、前記ロス推論結果が閾値よりも大きい場合に、前記入力データが前記特定ドメインに含まれないと判定し、前記ロス推論結果が閾値以下の場合に、前記入力データが前記特定ドメインに含まれると判定する
ことを特徴とする、付記４記載の情報処理方法。

（付記６）
入力データに基づき特徴データを生成する特徴抽出器と、前記特徴データに対する推論を行なう第１ネットワークとを含む機械学習モデルに対して、特定ドメインに含まれるサンプルデータと正解データとを備える訓練データを用いて訓練を行なう場合に、
前記特徴抽出器は、前記サンプルデータに基づき特徴データを生成し、
前記第１ネットワークが、前記サンプルデータに基づく前記特徴データに対して推論を行なって推論結果を出力し、
前記正解データに対する前記推論結果の第１のロスを算出する第１の計算を行ない、
前記特徴抽出器によって生成された特徴ベクトルに基づき前記機械学習モデルのロス推論結果を出力する第２ネットワークが、前記サンプルデータに基づく前記特徴データに対して推論を行なって出力するロス推論結果と、前記第１の計算によって算出された前記第１のロスとのＬ１距離を算出する第２の計算を行ない、
前記第１のロスと前記Ｌ１距離とを最小化する勾配を求めて誤算逆伝搬させることで、前記機械学習モデルおよび前記第２ネットワークの各パラメータを算出する
処理をプロセッサが実行することを特徴とする情報処理方法。

（付記７）
入力データに基づき特徴データを生成する特徴抽出器と、前記特徴データに対する推論を行なう第１ネットワークとを含む機械学習モデルに関して、
前記特徴抽出器によって生成された特徴ベクトルを第２ネットワークに入力して、前記機械学習モデルのロス推論結果を出力し、
前記ロス推論結果に基づいて、前記入力データが特定ドメインに含まれるか否かの分布外判定を行なう
処理部を備えることを特徴とする情報処理装置。

（付記８）
前記分布外判定を行なう処理は、前記ロス推論結果が閾値よりも大きい場合に、前記入力データが前記特定ドメインに含まれないと判定し、前記ロス推論結果が閾値以下の場合に、前記入力データが前記特定ドメインに含まれると判定する
ことを特徴とする付記７記載の情報処理装置。

（付記９）
入力データに基づき特徴データを生成する特徴抽出器と、前記特徴データに対する推論を行なう第１ネットワークとを含む機械学習モデルに対して、特定ドメインに含まれるサンプルデータと正解データとを備える訓練データを用いて訓練を行なう場合に、
前記特徴抽出器に、前記サンプルデータに基づき特徴データを生成させ、
前記第１ネットワークに、前記サンプルデータに基づく前記特徴データに対して推論を行なって推論結果を出力させ、
前記正解データに対する前記推論結果の第１のロスを算出する第１の計算を行ない、
前記特徴抽出器によって生成された特徴ベクトルに基づき前記機械学習モデルのロス推論結果を出力する第２ネットワークが、前記サンプルデータに基づく前記特徴データに対して推論を行なって出力するロス推論結果と、前記第１の計算によって算出された前記第１のロスとのＬ１距離を算出する第２の計算を行ない、
前記第１のロスと前記Ｌ１距離とを最小化する勾配を求めて誤算逆伝搬させることで、前記機械学習モデルおよび前記第２ネットワークの各パラメータを算出する
処理部を備えることを特徴とする情報処理装置。

１ 情報処理装置
１１ プロセッサ（処理部）
１２ メモリ
１３ 記憶装置
１４ グラフィック処理装置
１４ａ モニタ
１５ 入力インタフェース
１５ａ キーボード
１５ｂ マウス
１６ 光学ドライブ装置
１６ａ 光ディスク
１７ 機器接続インタフェース
１７ａ メモリ装置
１７ｂ メモリリーダライタ
１７ｃ メモリカード
１８ ネットワークインタフェース
１８ａ ネットワーク
１９ バス
１００ 第１推論処理部
１０１ 特徴抽出器
１０２ 第１ネットワーク
１１０ 機械学習モデル
２００ 訓練処理部
２０１ 第１ロス算出部
２０２ 第２ロス算出部
２０３ 合計ロス算出部
２０４ 最適化処理部
３００ 第２推論処理部
３０１ 第２ネットワーク
３０２ ＯＯＤ推論部

Claims (7)

1. 入力データに基づき特徴ベクトルを生成する特徴抽出器と、前記特徴ベクトルに対する推論を行なう第１ネットワークとを含む機械学習モデルに関して、
   前記特徴抽出器によって生成された前記特徴ベクトルを第２ネットワークに入力して、前記機械学習モデルのロス推論結果を出力し、
   前記ロス推論結果に基づいて、前記入力データが特定ドメインに含まれるか否かの分布外判定を行なう
   処理をプロセッサに実行させることを特徴とする情報処理プログラム。
2. 前記分布外判定を行なう処理は、前記ロス推論結果が閾値よりも大きい場合に、前記入力データが前記特定ドメインに含まれないと判定し、前記ロス推論結果が閾値以下の場合に、前記入力データが前記特定ドメインに含まれると判定する
   ことを特徴とする請求項１記載の情報処理プログラム。
3. 入力データに基づき特徴ベクトルを生成する特徴抽出器と、前記特徴ベクトルに対する推論を行なう第１ネットワークとを含む機械学習モデルに対して、特定ドメインに含まれるサンプルデータと正解データとを備える訓練データを用いて訓練を行なう場合に、
   前記特徴抽出器に、前記サンプルデータに基づき特徴ベクトルを生成させ、
   前記第１ネットワークに、前記サンプルデータに基づく前記特徴ベクトルに対して推論を行なって推論結果を出力させ、
   前記正解データに対する前記推論結果の第１のロスを算出する第１の計算を行ない、
   前記特徴抽出器によって生成された前記特徴ベクトルに基づき前記機械学習モデルのロス推論結果を出力する第２ネットワークに、前記サンプルデータに基づく前記特徴ベクトルに対して推論を行なって出力するロス推論結果と、前記第１の計算によって算出された前記第１のロスとのＬ１距離を算出する第２の計算を行なわせ、
   前記第１のロスと前記Ｌ１距離とを最小化する勾配を求めて誤算逆伝搬させることで、前記機械学習モデルおよび前記第２ネットワークの各パラメータを算出する
   処理をプロセッサに実行させることを特徴とする情報処理プログラム。
4. 入力データに基づき特徴ベクトルを生成する特徴抽出器と、前記特徴ベクトルに対する推論を行なう第１ネットワークとを含む機械学習モデルに関して、
   前記特徴抽出器によって生成された前記特徴ベクトルを第２ネットワークに入力して、前記機械学習モデルのロス推論結果を出力し、
   前記ロス推論結果に基づいて、前記入力データが特定ドメインに含まれるか否かの分布外判定を行なう
   処理をプロセッサが実行することを特徴とする情報処理方法。
5. 入力データに基づき特徴ベクトルを生成する特徴抽出器と、前記特徴ベクトルに対する推論を行なう第１ネットワークとを含む機械学習モデルに対して、特定ドメインに含まれるサンプルデータと正解データとを備える訓練データを用いて訓練を行なう場合に、
   前記特徴抽出器は、前記サンプルデータに基づき特徴ベクトルを生成し、
   前記第１ネットワークが、前記サンプルデータに基づく前記特徴ベクトルに対して推論を行なって推論結果を出力し、
   前記正解データに対する前記推論結果の第１のロスを算出する第１の計算を行ない、
   前記特徴抽出器によって生成された前記特徴ベクトルに基づき前記機械学習モデルのロス推論結果を出力する第２ネットワークが、前記サンプルデータに基づく前記特徴ベクトルに対して推論を行なって出力するロス推論結果と、前記第１の計算によって算出された前記第１のロスとのＬ１距離を算出する第２の計算を行ない、
   前記第１のロスと前記Ｌ１距離とを最小化する勾配を求めて誤算逆伝搬させることで、
   前記機械学習モデルおよび前記第２ネットワークのパラメータを算出する
   処理をプロセッサが実行することを特徴とする情報処理方法。
6. 入力データに基づき特徴ベクトルを生成する特徴抽出器と、前記特徴ベクトルに対する推論を行なう第１ネットワークとを含む機械学習モデルに関して、
   前記特徴抽出器によって生成された前記特徴ベクトルを第２ネットワークに入力して、前記機械学習モデルのロス推論結果を出力し、
   前記ロス推論結果に基づいて、前記入力データが特定ドメインに含まれるか否かの分布外判定を行なう
   処理部を備えることを特徴とする情報処理装置。
7. 入力データに基づき特徴ベクトルを生成する特徴抽出器と、前記特徴ベクトルに対する推論を行なう第１ネットワークとを含む機械学習モデルに対して、特定ドメインに含まれるサンプルデータと正解データとを備える訓練データを用いて訓練を行なう場合に、
   前記特徴抽出器に、前記サンプルデータに基づき特徴ベクトルを生成させ、
   前記第１ネットワークに、前記サンプルデータに基づく前記特徴ベクトルに対して推論を行なって推論結果を出力させ、
   前記正解データに対する前記推論結果の第１のロスを算出する第１の計算を行ない、
   前記特徴抽出器によって生成された前記特徴ベクトルに基づき前記機械学習モデルのロス推論結果を出力する第２ネットワークが、前記サンプルデータに基づく前記特徴ベクトルに対して推論を行なって出力するロス推論結果と、前記第１の計算によって算出された前記第１のロスとのＬ１距離を算出する第２の計算を行ない、
   前記第１のロスと前記Ｌ１距離とを最小化する勾配を求めて誤算逆伝搬させることで、前記機械学習モデルおよび前記第２ネットワークの各パラメータを算出する
   処理部を備えることを特徴とする情報処理装置。

Images