JP7759723B2 - 敵対的攻撃を検出するためのシステム及び方法 - Google Patents

Description

本開示は、概して、機械学習システムに関し、より具体的には、敵対的データシーケンスの検出に関する。

一般に、機械学習システム、特にディープニューラルネットワークは、敵対的攻撃を受け易い。これらの敵対的攻撃には、機械学習システムの期待される出力の知識に基づく攻撃に関連するブラックボックス攻撃、及び／又は、機械学習システムの内部動作の知識に基づく攻撃に関連するホワイトボックス攻撃が含まれ得る。例として、機械学習システムは、その入力側を介して攻撃されることがある。そのような敵対的攻撃は、機械学習システムの出力データに変化をもたらす入力側の摂動に見られる。これらの敵対的攻撃は、典型的には、フィードバックに基づいて入力データの摂動を更新することによって実行されており、これは、機械学習システムが、これらの摂動によって改変された決定を行い、誤った出力データ（入力データの誤分類など）が生成されるまで続く。これにより、否定的な結果と悪影響とがもたらされる。

概要
以下は、下記において詳細に説明される特定の実施形態の要約である。説明されるこれらの態様は、単に、これらの特定の実施形態の簡単な要約を閲覧者に提供するために提示されるものに過ぎず、これらの態様の説明は、本開示の範囲の限定を意図するものではない。実質的に、この開示は、以下に明示的に記載されない可能性のある種々の態様を包含し得る。

少なくとも１つの態様によれば、コンピュータ実装方法は、敵対的攻撃を検出するための機械学習システムのトレーニングに関する。この方法は、シーケンスのコレクションを取得するステップを含む。シーケンスのコレクションは、少なくとも第１のシーケンスと第２のシーケンスとを含む。この方法は、第１のシーケンスが、センサデータの摂動されていないバージョンを含むという第１の予測に基づいて、名目的シーケンスを示す第１のクラスに属するものとして第１のシーケンスを分類するステップを含む。この方法は、第２のシーケンスが、センサデータの摂動されたバージョンを含むという第２の予測に基づいて、敵対的シーケンスを示す第２のクラスに属するものとして第２のシーケンスを分類するステップを含む。この方法は、（ｉ）シーケンスの第１のセット内の各シーケンスが名目的シーケンスであるシーケンスのコレクションからのシーケンスの第１のセットに関する第１のクラスの誤った分類を含む第１の平均損失と、（ｉｉ）シーケンスの第２のセット内の各シーケンスが敵対的シーケンスであるシーケンスのコレクションからのシーケンスの第２のセットに関する第２のクラスの誤った分類を含む第２の平均損失とに基づいて、結合損失データを生成するステップを含む。この方法は、結合損失データに基づいて機械学習システムのパラメータを更新するステップを含む。

少なくとも１つの態様によれば、非一時的コンピュータ可読媒体は、プロセッサによって実行されるときに、本方法を当該プロセッサに実施させるためのコンピュータ可読データを含む。この方法は、シーケンスのコレクションを取得するステップを含む。シーケンスのコレクションは、少なくとも第１のシーケンスと第２のシーケンスとを含む。この方法は、第１のシーケンスが、センサデータの摂動されていないバージョンを含むという第１の予測に基づいて、名目的シーケンスを示す第１のクラスに属するものとして第１のシーケンスを分類するステップを含む。この方法は、第２のシーケンスが、センサデータの摂動されたバージョンを含むという第２の予測に基づいて、敵対的シーケンスを示す第２のクラスに属するものとして第２のシーケンスを分類するステップを含む。この方法は、（ｉ）シーケンスの第１のセット内の各シーケンスが名目的シーケンスであるシーケンスのコレクションからのシーケンスの第１のセットに関する第１のクラスの誤った分類を含む第１の平均損失と、（ｉｉ）シーケンスの第２のセット内の各シーケンスが敵対的シーケンスであるシーケンスのコレクションからのシーケンスの第２のセットに関する第２のクラスの誤った分類を含む第２の平均損失とに基づいて、結合損失データを生成するステップを含む。この方法は、結合損失データに基づいて機械学習システムのパラメータを更新するステップを含む。

少なくとも１つの態様によれば、コンピュータ実装方法は、敵対的攻撃に対する防御に関する。この方法は、第１の機械学習システムへの入力シーケンスを取得するステップを含む。この方法は、入力シーケンスが、センサデータの複数のフレームの摂動されたバージョンであるという統計的特定に基づいて、敵対的であるとして入力シーケンスを分類するための敵対的ラベルを生成するステップを含む。この方法は、入力シーケンスに基づいて、第１の機械学習システムによって生成された出力データシーケンスを識別するステップを含む。この方法は、出力データシーケンスに基づきアクチュエータシステムが制御されることを防止するために、敵対的ラベルに基づいて出力データシーケンスをフィルタリングするステップを含む。

本発明のこれらの特徴、態様及び利点並びに他の特徴、態様及び利点は、添付の図面に従って以下の詳細な説明において論述されており、その全体を通して、同様の文字は、類似の又は同様の部分を表す。

本開示の一実施例による、検出器及び敵対的防御システムを含むシステムの一例を示した図。 本開示の一実施例による、移動体装置技術に関する図１のシステムの一例を示した図。 本開示の一実施例による、名目的動作モードに関する図１のシステムのいくつかのコンポーネントの構想図。 本開示の一実施例による、防御動作モードに関する図１のシステムのいくつかのコンポーネントの構想図。 本開示の一実施例による、検出器のトレーニングに関連するシステムの一例を示した図。 本開示の一実施例による、検出器のトレーニングに関連するフローチャート。 本開示の一実施例による、名目的シーケンスに基づいて生成された敵対的シーケンスの一例の構想図。 本開示の一実施例による、名目的シーケンスに基づいて生成された敵対的シーケンスの他の一例の構想図。 本開示の一実施例による、検出器を生成するためのトレーニングプロセスの一例のフローチャート。

詳細な説明
例として示され、説明された本明細書に記載の実施形態及びそれらの利点の多くは、前述の説明によって理解されるものであり、開示された対象から逸脱することなく、又は、その利点の１つ若しくは複数を犠牲にすることなく、これらのコンポーネントの形態、構造及び配列構成において種々の変更を行うことができることは明らかである。むしろ、これらの実施形態の説明された形態は、単なる説明に過ぎない。これらの実施形態は、種々の変更や代替的形態の余地があり、後述の特許請求の範囲は、そのような変更を包括的に含むことを意図したものであり、開示された特定の形態に限定されるものではなく、むしろ、この開示の精神及び範囲に該当する総ての変更、等価物及び代替を保護することを意図している。

図１は、センサシステム１１０、制御システム１２０及びアクチュエータシステム１３０を含むシステム１００を示す図である。このシステム１００は、制御システム１２０が、センサシステム１１０からのデータセンサに基づいてアクチュエータシステム１３０を制御するように構成されている。より具体的には、このセンサシステム１１０は、センサデータを生成するための１つ又は複数のセンサ及び／又は対応するデバイスを含む。例えば、センサシステム１１０は、画像センサ、カメラ、レーダセンサ、光検出及び測距（ＬＩＤＡＲ）センサ、熱センサ、超音波センサ、赤外線センサ、モーションセンサ、衛星ベースのナビゲーションセンサ（例えば、グローバルポジショニングシステム（ＧＰＳ）センサ）、マイク、任意の適当なセンサ、又は、それらの任意の組合せを含む。その環境の検出データを取得すると、センサシステム１１０は、入出力（Ｉ／Ｏ）システム１４０及び／又は通信技術を含めた他の機能モジュール１５０を介して、制御システム１２０と通信するように動作することが可能である。

制御システム１２０は、センサシステム１１０の１つ又は複数のセンサから直接的に又は間接的にセンサデータを取得するように構成されている。これに関して、センサデータは、単一のセンサからのセンサデータ又は複数のセンサからのセンサ融合データを含み得る。少なくともセンサデータを含む入力を受信すると同時に、制御システム１２０は、センサデータストリームから少なくとも１つのシーケンスを取得するために、スライディングウィンドウなどのソフトウェアメカニズムを実施することができる。各シーケンスは、任意の長さであるものとしてよく、任意の数の要素を含み得る。一例においては、各シーケンスは複数の要素を含み、ここにおける各要素は、少なくともセンサデータを含むフレームである。制御システムは、処理システム１６０を介してセンサデータを処理するように動作することが可能である。これに関して、処理システム１６０は、少なくとも１つのプロセッサを含む。例えば、処理システム１６０は、電子プロセッサ、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、処理回路、任意の適当な処理技術、又は、それらの任意の組合せを含む。少なくともこのセンサデータを処理すると同時に、処理システム１６０は、メモリシステム１７０との通信に基づいて出力データを生成するように動作することが可能である。さらに、処理システム１６０は、出力データに基づいてアクチュエータシステム１３０に制御データを提供するように動作することが可能である。

メモリシステム１７０は、本明細書に開示されるように、少なくとも動作及び機能を可能にするために、種々のデータを記憶し、種々のデータへのアクセスを提供するように構成されたコンピュータ又は電子記憶システムである。メモリシステム１７０は、単一のデバイス又は複数のデバイスを含む。このメモリシステム１７０は、電気、電子、磁気、光学、半導体、電磁、任意の適当なメモリ技術、又は、それらの任意の組合せを含む。例えば、メモリシステム１７０は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、フラッシュメモリ、ディスクドライブ、メモリカード、光学的記憶デバイス、磁気記憶デバイス、メモリモジュール、任意の適当なタイプのメモリデバイス、又は、それらの任意の組合せを含み得る。一実施例においては、制御システム１２０及び／又は処理システム１６０に関して、メモリシステム１７０は、ローカル、リモート、又は、それらの組合せ（例えば、一部がローカル、一部がリモート）である。例えば、メモリシステム１７０は、処理システム１６０及び／又は制御システム１２０の他のコンポーネントから離隔した、少なくともクラウドベースの記憶システム（例えば、クラウドベースのデータベースシステム）を含むように構成されている。

メモリシステム１７０は、少なくとも分類器２００を含む。この分類器２００は、機械学習システム２００Ａを含む。この機械学習システム２００Ａは、少なくとも１つの人工ニューラルネットワーク（例えば、ディープニューラルネットワーク）又は任意の適当な機械学習技術を含む。参照の便宜のために、この機械学習システム２００Ａは、本開示においては「第１の機械学習システム」と称されることがある。入力に応じて、処理システム１６０は、機械学習システム２００Ａを介して、入力に基づき出力データを生成するように動作することが可能である。例えば、センサシステム１１０から少なくともセンサデータを受信すると同時に、処理システム１６０は、機械学習システム２００Ａのアプリケーションを介して、センサデータのエンティティのためのクラスを予測し、クラスデータを出力データとして提供するように動作することが可能である。非限定的な例として、例えば、処理システム１６０は、機械学習システム２００Ａを介して、センサデータの検出されたエンティティが歩行者クラスに属している可能性が最も高いことを特定すると同時に、複数のクラス（例えば、交通標識、信号機、動物、車両など）の中から「歩行者」クラスを割り当てるように構成されている。機械学習システム２００Ａを介してこの出力データ（例えば、歩行者を示すクラスデータ）を生成すると同時に、処理システム１６０は、少なくともこの出力データ（例えば、「歩行者」）に基づいてアクチュエータシステム１３０のための制御データを生成するように動作することが可能であり、それにより、アクチュエータシステム１３０は、センサシステム１１０の検出を考慮に入れるアクションを実行するように制御される。

メモリシステム１７０はまた、検出器２１０を含む。この検出器２１０は、好適には、名目的シーケンスと敵対的シーケンスとを区別するように構成されている。より具体的には、この検出器２１０は、少なくとも１つの機械学習システム２１０Ａを含む。参照の便宜のために、この機械学習システム２１０Ａは、「第１の機械学習システム」と称されることがある機械学習システム２００Ａと区別するために、「第２の機械学習システム」と称されることもある。より具体的には、この検出器２１０は、時間シーケンスに合わせて調整された少なくとも１つのニューラルネットワーク及び／又はディープニューラルネットワークアーキテクチャを含む。例えば、この検出器２１０は、少なくとも再帰型ニューラルネットワーク（ＲＮＮ）、長短期記憶（ＬＳＴＭ）ネットワーク、ゲート付き再帰型ユニット（ＧＲＵ）、他の適当な機械学習技術、又は、それらの任意の組合せを含む。

検出器２１０は、処理システム１６０を介して、分類器２００によって直接受信され処理されたものと同一の入力を取得するように構成されている。より具体的には、この検出器２１０の機械学習システム２１０Ａは、処理システム１６０を介して、分類器２００の機械学習システム２００Ａと同時に、又は、同一の時間フレーム内において入力シーケンスを取得する。この検出器２１０は、少なくとも部分的に機械学習システム２００Ａと統合され、及び／又は、少なくとも部分的に機械学習システム２００Ａから分離されるものとしてもよい。入力シーケンスを受信すると同時に、処理システム１６０は、検出器２１０を介して、入力シーケンスが名目的データのシーケンスを含むことを統計的に特定すると同時に「名目的シーケンス」の検出を示す名目的ラベルを生成し、入力シーケンスが敵対的データのシーケンス又は非名目的データのシーケンスを含むことを統計的に特定すると同時に「敵対的シーケンス」の検出を示す敵対的ラベルを生成するように構成されている。シーケンスの評価により、検出器２１０は、機械学習システム２００Ａに対する敵対的攻撃の有無を特定するように構成されている。なぜなら、敵対的攻撃は、機械学習システム２００Ａにエラーを引き起こさせるための入力の摂動において反復的試行を伴うことが多いからである。

メモリシステム１７０はまた、敵対的防御システム２２０を含む。この敵対的防御システム２２０は、少なくともソフトウェア技術を含む。付加的に又は代替的に、敵対的防御システム２２０は、ハードウェア技術を含み得る。この敵対的防御システム２２０は、少なくとも部分的に、検出器２１０から分離され、又は、検出器２１０と統合されるように構成されている。この敵対的防御システム２２０は、処理システム１６０を介して、機械学習システム２００Ａからの出力データと、検出器２１０からの対応する分類データとを受信するように構成されている。より具体的には、この敵対的防御システム２２０は、分類データに分類するのと同様の入力シーケンスに基づいて生成された機械学習システム２００Ａからの出力データシーケンスを受信する。これに関して、処理システム１６０は、少なくともタイムスタンプデータ又は任意の適当な相関データを介して、機械学習システム２００Ａへの入力シーケンスの分類データに対応する、機械学習システム２００Ａからの出力データシーケンスを識別するように構成されている。

敵対的防御システム２２０は、処理システム１６０を介して、好適には、少なくとも１つの他のシステム（例えば、アクチュエータシステム１３０）が、検出器２１０によって敵対的シーケンスであるとみなされる入力シーケンスに基づいて生成された、機械学習システム２００Ａからの出力データシーケンスを直接的に又は間接的に受信することから保護されることを保証するように構成されている。より具体的には、検出器２１０から敵対的ラベルを受信すると同時に、敵対的防御システム２２０は、処理システム１６０を介して、敵対的シーケンスに相当する、機械学習システム２００Ａからの識別された出力データシーケンスに関して、防御アクションを取るように構成されている。例えば、敵対的防御システム２２０は、出力データを遅延させたり、出力データを予め定められた出力データ（例えば、デフォルト出力データ、アラートなど）に置き換えたり、出力データを拒否したり、出力データをフィルタリングしたり、出力データを破棄したり、及び／又は、検出された敵対的データのシーケンスに基づいて生成された出力データシーケンスに基づく作用からシステム１００を防御するための任意の適当なアクションを取るように構成されている。従って、敵対的防御システム２２０は、検出器２１０及び処理システム１６０と協働する場合、名目的シーケンスとみなされる入力シーケンスに基づいて生成された出力データシーケンスにのみシステム１００が作用することを保証することによって、予め定められた精度レベルにおいてシステム１００が動作することを保証するように構成されている。

さらに、図１に示されるように、システム１００は、センサシステム１１０及びアクチュエータシステム１３０に関連して制御システム１２０の動作に寄与する他のコンポーネントを含む。例えば、図１に示されるように、メモリシステム１７０はまた、１つ又は複数のコンポーネント（例えば、センサシステム１１０、アクチュエータシステム１３０、機械学習システム２００Ａ、検出器２１０及び敵対的防御システム２２０）に関連するシステム１００の動作に関連する他の関連データ２３０を記憶するように構成されている。また、図１に示されるように、制御システム１２０は、システム１００に関連する１つ又は複数のＩ／Ｏデバイスのための１つ又は複数のインタフェースを含むＩ／Ｏシステム１４０を含む。例えば、このＩ／Ｏシステム１４０は、センサシステム１１０への少なくとも１つのインタフェース及びアクチュエータシステム１３０への少なくとも１つのインタフェースを提供する。また、制御システム１２０は、システム１００の機能を支援する及び／又はシステム１００の機能に寄与する任意の適当なハードウェア、ソフトウェア、又は、それらの任意の組合せなどの他の機能モジュール１５０を提供するように構成されている。例えば、他の機能モジュール１５０は、本明細書において説明されるように、システム１００のコンポーネントが互いに通信することを可能にするオペレーティングシステム及び通信技術を含む。少なくとも図１の例において論述した構成を用いることにより、システム１００は、種々の技術に適用可能である。

図２は、一実施例による、移動体装置技術に関するシステム１００の一例を示す図である。より具体的には、図２においては、システム１００が車両１０によって使用されており、この車両１０内において、制御システム１２０は、センサシステム１１０からのセンサデータに従って、車両１０の少なくとも１つのアクチュエータシステム１３０を制御している。また、図２においては、制御システム１２０は、障害物検出システムを含む。この例においては、制御システム１２０は、センサデータに基づいてエンティティを検出し、センサデータに関するエンティティの検出に対応する境界データ（例えば、外殻、輪郭、又は、フレーム）を生成するように構成されている。より具体的には、少なくともセンサデータ及び／又はセンサデータから検出されたエンティティの境界データを受信すると同時に、処理システム１６０は、その機械学習システム２００Ａを備えた分類器２００を介して、エンティティの識別子を予測し、その予測に基づき出力データを提供するように構成されている。非限定的な例として、例えば、このセンサデータの中から検出された少なくとも１つのエンティティを示すセンサデータ及び／又は境界データを受信すると同時に、処理システム１６０は、機械学習システム２００Ａを介して、検出されたエンティティを、障害物のいくつかのクラス（例えば、信号機、交通標識、車両、動物、道路構造など）の中から歩行者クラスに属するものとして分類するように構成されている。さらに、処理システム１６０は、機械学習システム２００Ａを介して、検出されたエンティティが「歩行者」であることを示すためのクラスデータを生成するように構成されている。また、この非限定的な例においては、分類器２００を介してこのクラスデータが生成されると同時に、制御システム１２０は、車両１０の環境において感知されている検出されたエンティティを識別するクラスデータに基づいて、車両１０の少なくとも１つの機能コンポーネントを動作させるアクチュエータシステム１３０のための制御データを生成するように構成されている。例えば、アクチュエータシステム１３０は、操舵操作に関する制御データを制御システム１２０が生成するような操舵システムを含み得る。他の例として、アクチュエータシステム１３０は、制動操作に関する制御データを制御システム１２０が生成するような制動システムを含み得る。アクチュエータシステム１３０は、操舵システム及び／又は制動システムに限定されることはないが、車両１０に関連する任意のアクチュエータを含み得る。

さらに、制御システム１２０は、検出器２１０を介して、機械学習システム２００Ａへの入力シーケンスごとに分類データを生成するように構成されている。分類データは、入力シーケンスを、（ｉ）名目的要素を含む名目的シーケンス、又は、（ｉｉ）敵対的要素を含む敵対的シーケンス、として分類する。これに関して、検出器２１０は、機械学習システム２００Ａが入力として受信する各名目的シーケンスを識別し、機械学習システム２００Ａによって生成された対応する各出力データシーケンスに基づいて、対応する出力データシーケンスの生成中に敵対的攻撃がなかった可能性が最も高いという保証レベルにおいてシステム１００を動作させることを可能にするために有利である。また、検出器２１０は、機械学習システム２００Ａが入力として受信する各敵対的シーケンスを識別し、起こり得る敵対的攻撃に関して防御アクションをシステム１００に取らせ、その時間フレーム中に機械学習システム２００Ａから生成された対応する各出力データシーケンスの使用を回避させることを可能にするために有利である。

制御システム１２０はまた、検出器２１０からのこの分類データを、機械学習システム２００Ａからの対応する出力データと共に敵対的防御システム２２０へ提供するように構成されている。これに関して、敵対的防御システム２２０は、検出器２１０から取得された分類データに従って、機械学習システム２００Ａから取得された出力データを処理するように構成されている。例えば、検出器２１０から名目的ラベルを受信すると同時に、敵対的防御システム２２０は、名目的ラベルに対応するこの入力シーケンスに基づいて生成された機械学習システム２００Ａからの出力データを識別し、制御システム１２０が名目的モードにおいて出力データを処理する表示を提供するように構成されている。この名目的モードにおいては、制御システム１２０は、機械学習システム２００Ａの対応する出力データに基づいて制御データを生成するように動作することが可能である。代替的に、検出器２１０から敵対的ラベルを受信すると同時に、敵対的防御システム２２０は、敵対的ラベルに対応するフラグが立てられた入力シーケンスに基づいて生成された機械学習システム２００Ａからの出力データを識別し、制御システム１２０が防御的モードにおいて出力データを処理する表示を提供するように構成されている。この防御的モードにおいては、敵対的防御システム２２０は、出力データを遅延させたり、出力データを予め定められた出力データ（例えば、デフォルト出力データ）に置き換えたり、出力データを拒否したり、出力データをフィルタリングしたり、出力データを破棄したり、又は、検出された敵対的データのシーケンスに基づいて生成された出力データの作用からシステム１００を防御するための任意の適当なアクションを取るように構成されている。名目的シーケンスに対応する機械学習システム２００Ａからの出力データシーケンスのみを選択的に含む敵対的防御システム２２０からの通信を受信すると同時に、制御システム１２０は、これらの出力データの名目的シーケンスに基づく制御データを生成するように構成されている。制御データに応じて、アクチュエータシステム１３０は、自律的支援、高度な自律的支援、一部の自律的支援、条件付きの自律的支援、又は、運転者支援であり得る車両１０の動作を制御又は支援するように構成されている。

図２の例に対して付加的に又は代替的に、システム１００（及び／又は制御システム１２０）はまた、他のアプリケーションにおいても動作することが可能である。例えば、システム１００及び／又は制御システム１２０は、コンピュータ制御機械、ロボット、家電製品、電動工具、電子パーソナルアシスタント、ヘルスケア／医療技術、移動体装置、セキュリティ技術などの種々の分野において動作することが可能である。即ち、システム１００及び／又は制御システム１２０は、上記の用途に限定されることはないが、複数の要素のシーケンスにわたって摂動を伴う反復的技術を使用した敵対的攻撃を検出することが有益となる任意の適当な用途に適用することができる。

図３Ａ及び図３Ｂは、システム１００のいくつかのコンポーネント、特に、機械学習システム２００Ａ、検出器２１０及び敵対的防御システム２２０の相互作用の構想図を示している。より具体的には、図３Ａにおいては、制御システム１２０は、入力シーケンスが名目的であることを検出器２１０が特定するときに、及び／又は、敵対的攻撃の不存在を敵対的防御システム２２０が示すときに、名目的モードにおいて動作する。対照的に、図３Ｂにおいては、制御システム１２０は、入力シーケンスが敵対的であることを検出器２１０が特定するときに、及び／又は、敵対的攻撃の存在を敵対的防御システム２２０が示すときに、敵対的モードにおいて動作する。さらに、図３Ａ及び図３Ｂには示されていないが、処理システム１６０は、名目的モードと防御的モードの両モード中はこれらのコンポーネントと能動的に連動している。

図３Ａは、制御システム１２０が名目的モードにおいて動作するシナリオの一例を示している。より具体的には、センサシステム１１０は、その環境に基づいてセンサデータストリームを提供する。センサデータストリームには、Ｘ＝｛ｘ_１，ｘ_２，…ｘ_ｔ｝として表し得るセンサデータシーケンスが含まれる。ここで、Ｘは、シーケンスを表し、ｘ_１からｘ_ｔは、シーケンスの要素を表す。例えば、シーケンスＸの各要素は、センサデータフレームと称することができる。センサデータを取得すると同時に、処理システム１６０は、機械学習システム２００Ａを介して、センサデータのためのクラスデータを生成するように構成されている。センサデータストリームに対して機械学習システム２００Ａを介して出力されるクラスデータは、Ｙ＝｛ｙ_１，ｙ_２，…ｙ_ｔ｝として表し得る。ここで、Ｙは、シーケンスを表し、ｙ_１からｙ_ｔは、シーケンスの要素を表す。例えば、シーケンスＹの各要素は、シーケンスＸの各要素について機械学習システム２００Ａによって生成されるクラスデータと称することができる。

検出器２１０は、機械学習システム２００Ａと同一の入力（例えば、Ｘ＝｛ｘ_１，ｘ_２，…ｘ_ｔ｝）を受信するように構成されている。センサデータシーケンスを入力として受信すると同時に、検出器２１０は、センサデータシーケンスが名目的シーケンスであると予測すると同時に名目的ラベルを生成し、センサデータシーケンスが敵対的シーケンスであると予測すると同時に敵対的ラベルを生成するように構成されている。この場合、図３Ａに示されるように、検出器２１０は、センサデータシーケンスが名目的データを含むことを特定し、入力に対して名目的ラベルを生成する。敵対的防御システム２２０は、検出器２１０から名目的ラベルを受信し、機械学習システム２００Ａから対応するクラスデータ（Ｙ＝｛ｙ_１，ｙ_２，…ｙ_ｔ｝）を受信するように構成されている。この場合、検出器２１０は、機械学習システム２００Ａが入力として名目的シーケンスを受信したことを示すので、敵対的防御システム２２０は、制御システム１２０が、名目的モードにおいて動作するように構成されていることを示すように動作することが可能であり、それにより、アクチュエータシステム１３０に対する制御データが、少なくとも機械学習システム２００Ａからのクラスデータに基づいて、アクチュエータシステムのために生成される。

図３Ｂは、制御システム１２０が防御的モードにおいて動作するシナリオの一例を示している。図３Ａとは異なり、図３Ｂは、システム１００の一部ではなく、システム１００に対して敵対的攻撃を生成している敵対的システム２０を含む。一般に、この敵対的システム２０は、機械学習システム２００Ａへのセンサデータを反復的に摂動させ、機械学習システム２００Ａに破壊及び／又はエラーを引き起こさせている。この例においては、敵対的システム２０は、次のような摂動データによりセンサデータを摂動するように動作することが可能である。即ち、同一のセンサデータの摂動されていないバージョンのために機械学習システム２００Ａによって生成されたであろうクラスデータとは異なる、センサデータの摂動されたバージョンのためのクラスデータを機械学習システム２００Ａが生成する程度までは知覚し得ない可能性がある摂動データである。敵対的システム２０は、機械学習システム２００Ａにエラーを引き起こさせる最初の試みでは失敗することが多く、従って、機械学習システム２００Ａの出力データ（例えばクラスデータ）をフィードバックとして使用している間、機械学習システム２００Ａへの入力を摂動させて、機械学習システム２００Ａのエラーを引き起こす入力上の摂動データを特定することを数回試みる。これに関して、敵対的システム２０は、典型的には、敵対的攻撃の成功を達成するために反復的技術に依存している。

図３Ｂに示されるように、センサシステム１１０は、その環境に基づいてセンサデータストリームを生成する。このセンサデータストリームは、センサデータシーケンスを含み、これは、Ｘ＝｛ｘ_１，ｘ_２，…ｘ_ｔ｝で表すことができる。ここで、Ｘは、名目的シーケンスを表し、ｘ_１からｘ_ｔは、シーケンスの要素を表す。例えば、各要素は、センサデータフレームと称することができる。しかしながら、このシナリオにおいては、敵対的システム２０は、摂動データのシーケンスを生成し、機械学習システム２００Ａがセンサデータの摂動されたバージョンを受信するようにセンサデータを摂動させる。例えば、摂動データのシーケンスは、δ＝｛δ_１，δ_２，…δ_ｔ｝として表し得る。ここで、δは、摂動データのシーケンスを表し、δ_１からδ_ｔは、このシーケンスの種々の摂動要素を表す。また、センサデータの摂動されたバージョンは、Ｘ’＝｛ｘ’_１，ｘ’_２，…ｘ’_ｔ｝として表し得る。ここで、Ｘ’は、シーケンスＸの摂動されたバージョンを表し、ｘ’_１からｘ’_ｔは、摂動データのシーケンスδ＝｛δ_１，δ_２，…δ_ｔ｝によってそれぞれ摂動されたシーケンスの摂動された要素を表す。センサデータの摂動されたバージョンを受信すると同時に、処理システム１６０は、機械学習システム２００Ａを介して、これらの摂動されたバージョンのセンサデータを分類するクラスデータを生成するように構成されている。さらに、検出器２１０はまた、機械学習システム２００Ａと同一の入力（即ち、Ｘ’＝｛ｘ’_１，ｘ’_２，…ｘ’_ｔ｝の摂動されたセンサデータ）を受信するように構成されている。センサデータシーケンスの摂動されたバージョンを入力として受信すると同時に、検出器２１０は、センサデータシーケンスが名目的シーケンスであると予測すると同時に名目的ラベルを生成し、センサデータシーケンスが敵対的シーケンスであると予測すると同時に敵対的ラベルを生成するように構成されている。この場合、図３Ｂに示されるように、検出器２１０は、機械学習システム２００Ａへの入力シーケンス（即ち、Ｘ’）が敵対的シーケンスであることを特定し、この入力シーケンス（即ち、Ｘ’）に対して敵対的ラベルを生成する。敵対的防御システム２２０は、検出器２１０から敵対的ラベルを受信し、タイムスタンプデータに基づいて、機械学習システム２００Ａからクラスデータ（Ｙ’＝｛ｙ_１，ｙ_２，…ｙ_ｔ｝）の対応するシーケンスＹ’を受信するように構成されている。この場合、検出器２１０は、機械学習システム２００Ａへの入力シーケンスが敵対的シーケンスであることを示すので、敵対的防御システム２２０は、フラグが立てられた入力に基づいて生成されたクラスデータの対応するシーケンスがフィルタリングされ、アクチュエータシステム１３０などの下流側システムに影響を及ぼすことが防止される、防御的モードをアクティブにするように構成されている。例えば、図３Ｂにおいては、敵対的防御システム２２０は、出力データとしてＹ’＝｛ｙ_１，ｙ_２，…ｙ_ｔ｝の対応するクラスデータの使用を許可しない。

図４は、一実施例による、検出器２１０のトレーニングに関連するシステム４００を示す図である。この簡略化された例においては、システム４００は、少なくともメモリシステム４１０及び処理システム４２０を含む。図４においては、メモリシステム４１０は、本明細書に開示されるように、少なくとも動作及び機能を可能にするために種々のデータを記憶し、これらのデータへのアクセスを提供するように構成されたコンピュータ又は電子記憶システムである。このメモリシステム４１０は、単一のデバイス又は複数のデバイスを含む。このメモリシステム４１０は、電気、電子、磁気、光学、半導体、電磁、任意の適当なメモリ技術又はそれらの任意の組合せを含む。例えば、メモリシステム４１０は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ディスクドライブ、メモリカード、光学的記憶デバイス、磁気記憶デバイス、メモリモジュール、任意の適当なタイプのメモリデバイス、又は、それらの任意の組合せを含み得る。一実施例においては、処理システム４２０に関して、メモリシステム４１０は、ローカル、リモート、又は、それらの組合せ（例えば、一部がローカル、一部がリモート）である。例えば、メモリシステム４１０は、処理システム４２０から離隔した、少なくともクラウドベースの記憶システム（例えば、クラウドベースのデータベースシステム）を含むように構成されている。

一実施例においては、図４に示されるように、メモリシステム４１０は、機械学習システム２１０Ａを含む検出器２１０を含む。また、図４に示すように、メモリシステム４１０は、検出器２１０を生成するために使用される少なくともトレーニングデータ４１２及び機械学習データ４１４を含む。さらに、メモリシステム４１０は、本明細書において論述されるように、検出器２１０をトレーニング及び生成することに関する他の関連データを含むように構成されている。より具体的には、トレーニングデータ４１２は、少なくともセンサデータ（及び／又はセンサデータに基づく画像データ）を含む。機械学習データ４１４は、検出器２１０をトレーニング及び生成するための方法７００（図７）に関連する機械学習アルゴリズムを含む。検出器２１０は、その機械学習システム２１０Ａのトレーニング及び／又は操作に関連する種々のデータ（例えば、種々の層、重み付け、パラメータデータなど）と共に機械学習システム２１０Ａを含む。予め定められたレベルの精度において実行するように一度トレーニングされると、検出器２１０は、図１のシステム１００又は任意の適当なアプリケーションシステムによって展開可能及び／又は使用可能になる。

トレーニングデータ４１２を受信すると、処理システム４２０は、機械学習データ４１４に従って機械学習システム２１０Ａをトレーニングするように構成されている。これに関して、処理システム４２０は、少なくとも１つのプロセッサを含む。例えば、処理システム４２０は、電子プロセッサ、ＣＰＵ、ＧＰＵ、マイクロプロセッサ、ＦＰＧＡ、ＡＳＩＣ、処理回路、任意の適当な処理技術、又は、それらの任意の組合せを含む。一実施例においては、処理システム４２０は、トレーニングデータ４１２及び機械学習データ４１４に基づいて検出器２１０を生成するために、メモリシステム４１０と通信する。

図５は、一実施例による、検出器２１０を生成するためのトレーニングプロセス５００に関連するフローチャートである。一般に、トレーニングプロセス５００は、検出器２１０が正確に機能することを保証するために、実質的かつ十分な量のトレーニングデータ４１２を含む。例えば、トレーニングデータ４１２のコレクションは、少なくとも名目的シーケンスのセット４１２Ａ及び敵対的シーケンスのセット４１２Ｂを含む。さらに、トレーニングデータ４１２は、種々の機械学習システムへの現実の敵対的攻撃から収集された過去及び／又は実際の敵対的攻撃データを含み得る。

名目的シーケンスのセット４１２Ａは、少なくともセンサデータ、センサ融合データ、センサデータに基づく画像データ、センサ融合データに基づく画像データ、又は、それらの任意の組合せを含む。また、この例においては、敵対的シーケンスのセット４１２Ｂは、名目的シーケンスのセット４１２Ａの少なくとも１つ又は複数の摂動されたバージョンを含む。一般に、敵対的シーケンスのセット４１２Ｂは、シーケンスによって機械学習システムにエラーを引き起こさせることが成功しなかったとしても、摂動によってそれらの複数の要素が摂動される任意のシーケンスを含み得る（例えば、ｆ（ｘ’）≠ｆ（ｘ）などのシーケンスの誤分類、ここで、ｆ（ｘ’）は、要素の摂動されたバージョンに基づく機械学習システムの出力データを表し、ｆ（ｘ）は、その同一の要素の摂動されていないバージョンに基づく機械学習システムの出力データを表す）。少なくともこのトレーニングデータ４１２のコレクションを用いたこのトレーニングプロセス５００を完了した後、検出器２１０は、少なくとも１つのプロセッサを介して、シーケンスが名目的シーケンス（又はセンサデータの摂動されていないバージョン）であると予測すると同時に名目的ラベルを生成し、シーケンスが敵対的シーケンス（又はそのセンサデータの摂動されたバージョン）であると予測すると同時に敵対的ラベルを生成するように構成されている。

図６Ａ及び図６Ｂは、トレーニングデータ４１２の一例を示している。例えば、図６Ａは、ｘ_１からｘ_ｔによって示される要素を含む名目的シーケンス６００を示している。この場合、各要素は、センサデータフレームである。例えば、各要素は、ビデオストリームから取り出した画像フレームであるものとしてもよい。また、図６Ａに示されるように、名目的シーケンス６００は、時間に関して連続的であり、これは矢印の方向に進む。図６Ａはまた、名目的シーケンス６００から生成される敵対的シーケンス６１０も示している。これに関して、例えば、名目的シーケンス６００を受信すると同時に、処理システム４２０は、名目的シーケンス６００から要素（例えばｘ_ｉ）を選択し、その要素を反復的に摂動させることによって敵対的シーケンス６１０を生成するように構成されている。これにより、敵対的シーケンス６１０の形成のために複数の摂動されたバージョン（例えば、ｘ’_ｉ，１＝ｘ_ｉ＋δ_１，…，ｘ’_ｉ，ｐ＝ｘ_ｉ＋δ_ｐ）が生成されている。図６Ａにおいては、選択された要素ｘ_ｉは、「ｐ」回摂動されている。ここで、ｐは、選択された要素が、摂動された要素ｘ’_ｉ，ｐ（即ち、ｘ_ｉ＋δ_ｐ）を生成する反復を表し、これは、機械学習システム２００Ａに、ｆ（ｘ_ｉ＋δ_ｐ）≠ｆ（ｘ_ｉ）などのエラーを引き起こさせる。さらに、図６Ａはまた、敵対的シーケンス６１０をサブシーケンスとして含む敵対的シーケンス６２０が、トレーニングデータ４１２として提供され得ることを示している。

図６Ｂもまた、名目的シーケンス６００から生成される敵対的シーケンス６３０を示している。より具体的には、処理システム４２０は、名目的シーケンスの各要素を摂動させることによって敵対的シーケンス６３０を生成するように構成されている。この場合、敵対的シーケンス６３０は、機械学習システム２００Ａがエラーを起こすまで、名目的シーケンス６００の各要素の摂動されたバージョンを含む。例えば、敵対的シーケンス６３０は、機械学習システム２００Ａがエラーを起こすまで、名目的シーケンスの第１の要素の摂動されたバージョン、名目的シーケンスの第２の要素の摂動されたバージョンなどを含む。さらに、図６Ｂはまた、サブシーケンスとして敵対的シーケンス６３０を含む敵対的シーケンス６４０を示している。この場合、処理システム４２０は、摂動の敵対的署名（例えば、δ_１，δ_２，…δ_ｋ）からの各要素により名目的シーケンス６００の要素を摂動することによって、少なくともこれらの敵対的シーケンス６３０及び６４０を生成するように構成されている。

上記で論じたように、図６Ａ及び図６Ｂは、トレーニングプロセス５００中に検出器２１０をトレーニングするために使用することができるトレーニングデータ４１２のいくつかの例を示している。図６Ａ及び図６Ｂは、処理システム４２０が、少なくとも１つの名目的シーケンス６００を取得すると同時にこれらの敵対的シーケンス６１０，６２０，６３０及び６４０を生成することができる点において有利である。さらに、処理システム４２０はまた、他の摂動を含む他の敵対的署名により名目的シーケンス６００を攻撃することによって、名目的シーケンス６００から、他の敵対的シーケンス６１０，６２０，６３０及び６４０を生成するように構成されている。ただし、敵対的シーケンスのセット４１２Ｂは、上記の敵対的シーケンス６１０，６２０，６３０及び６４０（及び／又は機械学習システム２００Ａにエラーを引き起こさせる敵対的シーケンス）に限定されることはないが、摂動要素のシーケンスが含まれる任意の敵対的シーケンスを含み得る。一般に、検出器２１０は、名目的シーケンスと敵対的シーケンスとを区別するその能力が強化される程度まで、可能な限り多くのトレーニングデータ４１２によりトレーニングされることが有益となる。

図７は、一実施例による、検出器２１０を生成するためのトレーニングプロセス５００（図５）の一例のフローチャートを示している。このトレーニングプロセス５００は、名目的データの少なくとも１つのシーケンスと、敵対的データの少なくとも１つのシーケンスとの間を区別するために、検出器２１０の少なくとも１つの機械学習システム２１０Ａをトレーニングするための方法７００を含む。好適には、この方法７００は、名目的シーケンスのセット４１２Ａと敵対的シーケンスのセット４１２Ｂとの両方を含むトレーニングデータ４１２を提供すると同時に、このトレーニングデータ４１２から取得された結果に基づいて検出器２１０の機械学習システム２１０Ａのパラメータを最適化する。従って、この方法７００によるトレーニングプロセス５００を経ると同時に検出器２１０は、シーケンスを識別し、このシーケンスが名目的／敵対的であるかどうかを予測し、その予測を示すラベルを提供するように動作することが可能になる。

ステップ７０２においては、処理システム４２０は、検出器２１０を介して、トレーニングデータの第１のセットを取得する。例えば、トレーニングデータの第１のセットは、検出器２１０をトレーニングするために十分な量の名目的データを含み、それにより、機械学習システム２１０Ａは、予め定められたレベルの精度において動作するように構成されている。より具体的には、トレーニングデータの第１のセットは、各シーケンスが、摂動データによって摂動されていない名目的データを含む名目的シーケンスのセット４１２Ａを含む。上述のように、例えば、名目的データは、センサデータ、センサ融合データ、センサデータに基づく画像データ、センサ融合データに基づく画像データ、又は、それらの任意の組合せを含む。トレーニングデータ４１２として名目的シーケンスのセット４１２Ａを取得すると同時に、本方法７００は、ステップ７０６に進む。

ステップ７０４においては、処理システム４２０は、検出器２１０を介して、トレーニングデータの第２のセットを取得する。例えば、トレーニングデータの第２のセットは、検出器２１０をトレーニングするために十分な量の敵対的データを含み、それにより、機械学習システム２１０Ａは、予め定められたレベルの精度において動作するように構成されている。より具体的には、トレーニングデータの第２のセットは、各シーケンスが、摂動データによって摂動された名目的データを含む敵対的シーケンスのセット４１２Ｂを含む。これに関して、例えば、各敵対的シーケンスは、複数の摂動されたセンサデータ、摂動されたセンサ融合データ、センサデータに基づく摂動された画像データ、センサ融合データに基づく摂動された画像データ、又は、それらの任意の組合せを含む。一般に、敵対的シーケンスは、名目的シーケンスに対応するが、要素の摂動をさらに含む。トレーニングデータ４１２として敵対的シーケンスのセット４１２Ｂを取得すると同時に、本方法７００は、ステップ７０８に進む。

ステップ７０６においては、処理システム４２０は、検出器２１０を介して、トレーニングデータの第１のセットと称されることがある名目的シーケンスのセットから各シーケンスを分類する。処理システム４２０は、検出器を介して、シーケンスを分析し、クラスの１つをこのシーケンスに割り当てるように動作することが可能である。例えば、処理システム４２０は、検出器２１０を介して、名目的シーケンスのセットからシーケンスを評価し、その機械学習モデルによって、シーケンスが名目的クラスに属すること、又は、敵対的クラスに属することを特定するように構成されている。

ステップ７０８においては、処理システム４２０は、検出器２１０を介して、トレーニングデータの第２のセットと称されることがある敵対的シーケンスのセットから各シーケンスを分類する。処理システム４２０は、検出器を介して、シーケンスを分析し、クラスの１つをこのシーケンスに割り当てるように動作することが可能である。例えば、処理システム４２０は、検出器２１０を介して、敵対的シーケンスのセットからシーケンスを評価し、その機械学習モデルによって、シーケンスが名目的クラスに属すること、又は、敵対的クラスに属することを特定するように構成されている。

ステップ７１０においては、処理システム４２０は、検出器２１０を介して、トレーニングデータの第１のセットに基づいて分類データを生成する。この場合、トレーニングデータの第１のセットは、名目的シーケンスのセット４１２Ａを含む。検出器２１０は、入力が名目的データシーケンス（又は非敵対的データシーケンス）であると予測すると同時に入力に対する名目的ラベルを生成し、入力が敵対的データシーケンス（又は非名目的データシーケンス）であると予測すると同時にこの入力に対する敵対的ラベルを生成するように動作することが可能である。これに関して、例えば、名目的ラベルは、１つのバイナリシンボル（例えば０）によって表されるものとしてもよく、敵対的ラベルは、他のバイナリシンボル（例えば１）によって表されるものとしてもよい。又は、この逆であってもよい。この場合、検出器２１０への各入力は、トレーニングデータの第１のセットからの名目的シーケンスであるため、処理システム４２０は、第１のセットのシーケンスに対する名目的ラベルの真の分類データと、第１のセットのこのシーケンスに対する予測された分類データ（例えば、名目的ラベル又は敵対的ラベル）とを比較することができる。

ステップ７１２においては、処理システム４２０は、検出器２１０を介して、トレーニングデータの第２のセットに基づいて分類データを生成する。この場合、トレーニングデータの第２のセットは、敵対的シーケンスのセット４１２Ｂを含む。前述のように、検出器２１０は、入力が名目的データシーケンス（又は非敵対的データシーケンス）であると予測すると同時に入力に対して名目的ラベルを生成し、入力が敵対的データシーケンス（又は非名目的データシーケンス）であると予測すると同時にこの入力に対して敵対的ラベルを生成するように動作することが可能である。これに関しては、ステップ７１０と一致して、名目的ラベルは、１つのバイナリシンボル（例えば０）によって表されるものとするとよく、敵対的ラベルは、他のバイナリシンボル（例えば１）によって表されるものとするとよい。この場合、検出器２１０への各入力は、トレーニングデータの第２のセットからの敵対的シーケンスであるため、処理システム４２０は、第２のセットのシーケンスに対する敵対的ラベルの真の分類データと、第２のセットのこのシーケンスに対する予測された分類データ（例えば、名目的ラベル又は敵対的ラベル）とを比較することができる。

ステップ７１４においては、処理システム４２０は、トレーニングデータの第１のセットの予測された分類と真の分類との間の差分に関連する検出器２１０の平均損失データを生成する。より具体的には、処理システム４２０は、トレーニングデータの第１のセット（例えば、名目的シーケンスのセット４１２Ａ）に対して生成された適正な分類データとの比較において、誤った分類データを評価する。より具体的には、トレーニングデータのこの第１のセットに関して、検出器２１０は、（ｉ）これらの名目的シーケンスの１つを入力として受信すると同時に機械学習システム２１０Ａを介して名目的ラベルが予測されるときには適正な分類データを生成し、（ｉｉ）これらの名目的シーケンスの１つを入力として受信すると同時に機械学習システム２１０Ａを介して敵対的ラベルが予測されるときには誤った分類データを生成する。便宜上、この平均損失データは、「第１の平均損失データ」と称されることがある。

ステップ７１６においては、処理システム４２０は、トレーニングデータの第２のセットの予測された分類と真の分類との間の差分に関連する検出器２１０の平均損失データを生成する。より具体的には、処理システム４２０は、トレーニングデータの第２のセット（例えば、敵対的シーケンスのセット４１２Ｂ）に対して生成された適正な分類データとの比較において、誤った分類データを評価する。より具体的には、トレーニングデータのこの第２のセットに関して、検出器２１０は、（ｉ）敵対的シーケンスの１つを入力として受信すると同時に機械学習システム２１０Ａを介して敵対的ラベルが予測されるときには適正な分類データを生成し、（ｉｉ）敵対的シーケンスの１つを入力として受信すると同時に機械学習システム２１０Ａを介して名目的ラベルが予測されたときには誤った分類データを生成する。便宜上、この平均損失データは、「第２の平均損失データ」とも称される。

ステップ７１８においては、処理システム４２０は、第１の平均損失データ及び第２の平均損失データを含む相対的な重み付け関数に基づいて、検出器２１０の弁別器のパラメータを最適化する。より具体的には、例えば、処理システム４２０は、機械学習システム２１０Ａの弁別器（例えば、弁別モデル又はネットワーク）に関連してパラメータ（例えばθ）を最適化する。これは、以下の式
において、θによってパラメータ化され、ｄ_θによって表される。

この式において、処理システム４２０は、検出器２１０の弁別器のパラメータ（例えばθ）の値を決定し、ここでは、結合損失
がａｒｇｍｉｎ関数を介してその最小値に達する。この場合、この結合損失は、第１の平均損失データ
と、第２の平均損失データ
とを含む。また、この式においては、損失関数は、Ｌ（ｙ_ｐ，ｙ_ｃ）により表され、これは、出力データｙ_ｐと出力データｙ_ｃとの間の誤差を最小化する。ここで、出力データｙ_ｐは、入力シーケンスの予測された分類データ（例えば、名目的／敵対的ラベル）を表し、出力データｙ_ｃは、入力シーケンスの真の分類データ（例えば、名目的／敵対的ラベル）を表す。

また、式（１）によって示されるように、処理システム４２０は、検出器２１０を介して、入力データシーケンスに関する敵対的署名の存在の有無を識別するためのバイナリシーケンス分類を実行する、少なくとも１つの機械学習モデルを含む。例えば、説明の便宜上、入力のテストシーケンスとしてＸ^ｔｅｓｔを使用して、検出器２１０は、テストシーケンスが名目的シーケンスであるという予測に基づきｄ（Ｘ^ｔｅｓｔ）＝０であることを特定すると同時に、名目的ラベルとして１つのバイナリ値（例えば、０の値）をこのテストシーケンスに割り当てるように構成されている。さらに、検出器２１０は、テストシーケンスが敵対的シーケンスであるという予測に基づきｄ（Ｘ^ｔｅｓｔ）＝１であることを特定すると同時に、敵対的ラベルとして他のバイナリ値（例えば、１の値）をこのテストシーケンスに割り当てるように構成されている。代替的に、検出器２１０が本明細書に記載されるように動作することを前提として、検出器２１０は、分類データ（例えば、名目的ラベル及び敵対的ラベル）として任意の値のセット（例えば、０及び１）を割り当てるように構成されるものとしてもよい。

式（１）においては、λは、第１の平均損失と第２の平均損失との間の相対的な重み付けを提供するパラメータを表す。パラメータλは、処理システム４２０に、用途に従って、名目的データ（例えば、名目的シーケンス）の誤分類及び敵対的データ（例えば、敵対的シーケンス）の誤分類の相対的な重み付けバランスを調整させることを可能にする。これに関して、パラメータλは、名目的シーケンス（例えば、名目的センサデータ）の検出と、敵対的シーケンス（及び／又は敵対的攻撃）の検出との間のバランス係数を提供する。

ステップ７２０においては、処理システム４２０は、最適化されたパラメータを用いてそのトレーニングを完了すると同時に、展開／使用の準備が整った検出器２１０を提供する。これに関して、パラメータが最適化された後、及び／又は、検出器２１０が、最適化されたパラメータによりトレーニングされた後、この検出器２１０は、予め定められたレベルの精度において検出器２１０が動作することが評価されると同時に、システム１００又は任意の適当なシステムによって展開／使用されるように構成されている。また、一度トレーニングされると、その機械学習システム２１０Ａを備えた検出器２１０は、好適には、少なくとも１つのプロセッサを介して、統計的特定及び／又は確率的手段により、シーケンスが名目的ラベル又は敵対的ラベルを保証するかどうかの予測が可能になる。これにより、敵対的攻撃の有無の表示が提供される。

さらに、これらの実施形態の趣旨及び範囲から逸脱することなく、上述の実施形態に対して種々の変更を行うことができる。例えば、図１においては、分類器２００及びそれに関連する機械学習システム２００Ａの代わりに、システム１００は、意図された用途に適するようにトレーニングされた機械学習システムを備えた任意のソフトウェアモジュールを含み得る。即ち、敵対的攻撃を受け易い可能性のある入力シーケンスに依存する任意の機械学習システム及び／又はソフトウェアシステムに対して、検出器２１０及び敵対的防御システム２２０が、同様の利点又は実質的に類似の利点を提供するように構成されている。

さらに、他の変更例として、合成タイプの攻撃に対して付加的に又は代替的に、敵対的シーケンスのセット４１２Ｂは、種々の機械学習システムへの実際の敵対的攻撃から取得された現実の敵対的攻撃データを含み得る。また、さらなる他の変更例として、敵対的シーケンスのセット４１２Ｂは、図６Ａ及び図６Ｂの例に限定されることはないが、このシーケンスの複数の要素（又はフレーム）にわたって複数の摂動が発生する名目的シーケンスの任意の摂動されたバージョンを含み得る。付加的に、さらなる他の変更例として、敵対的シーケンスを生成するプロセスは、検出器２１０をトレーニングする反復ごとにトレーニングセットとして新しい敵対的シーケンスを生成し得るようなトレーニングプロセス５００と組み合わせることができる。さらに、トレーニングプロセス５００は、複数の反復及び複数のバッチにより実行することができる。また、さらなる他の変更例として、トレーニングプロセス５００中に、検出器２１０及び敵対的システム２０は、ゼロサムゲームを作成するように構成されるものとしてもよく、ここでは、検出器２１０は、結合損失を最小化するように動作することが可能であり、それに対して、敵対的システム２０は、結合損失を最大化するように動作することが可能である（例えば、敵対的データのシーケンスを検出不能にする）。これにより、検出器２１０は、さらに堅固な敵対的システム２０のアドレッシングによってさらに堅固になるようにトレーニングされる。

本明細書に記載されるように、本実施形態は、いくつかの有利な特徴及び利点を含む。例えば、本実施形態は、機械学習システム２００Ａへの入力シーケンスが、モデルの制限を理解する、及び／又は、機械学習システム２００Ａにエラーを引き起こさせる入力データへの摂動を学習する、という意味において、敵対的な目標を有しているクエリシーケンスであるかどうかを特定するために有利である。これに関して、本実施形態は、少なくとも１つの機械学習システム２００Ａに入力されたシーケンスが、敵対的攻撃の不存在／存在を検出する手段として、名目的データ（例えば、センサからのセンサストリーム）又は敵対的データ（例えば、敵対的システム２０からの敵対的クエリを伴うセンサストリームの摂動されたバージョン）に関連付けられているかどうかを特定するという技術的問題に対処するために有利である。敵対的シーケンスを検出すると同時に、検出器２１０は、その敵対的検出にフラグを立てるように動作することが可能であり、そのため、システム１００は、敵対的攻撃に応じることが可能になる。一例として、例えば、敵対的防御システム２２０は、敵対的シーケンスに基づいて機械学習システム２００Ａによって生成された出力データの対応するシーケンスをフィルタリングするためにアクティブ化されるので、敵対的シーケンスから生じる影響は、回避され、及び／又は、機械学習システム２００Ａからこの出力データを他の方法により受信することとなる他のシステムによって実現されることはない。例えば、システム１００は、検出された敵対的データのシーケンスに基づく誤った出力データ（例えば、誤ったクラスデータ）がアクチュエータシステム１３０に影響を与えることを防止するように動作することが可能であり、これにより、敵対的攻撃に関するシステム１００に対する付加的レベルのセキュリティ及び安全性が提供される。

即ち、上述の説明は、例示的にかつ限定を意味することなく、特定の用途及びその要件の文脈において提供されることを意図している。当業者であるならば、前述の説明から、本発明が種々の形態において実装されるものとしてもよいこと、及び、種々の実施形態が単独又は組合せにおいて実施されるものとしてもよいことを理解することができる。従って、本発明の実施形態は、その特定の例に関連して説明してきたが、本明細書において定義された一般原理は、説明された実施形態の趣旨及び範囲から逸脱することなく他の実施形態及び用途に適用されるものとしてもよく、本発明の実施形態及び／又は方法の真の範囲は、図示及び説明された実施形態に限定されるものではない。なぜなら、当業者にとっては、図面、明細書及び以下の特許請求の範囲を検討すると同時に種々の変更が明らかになるからである。例えば、コンポーネント及び機能は、説明された種々の実施形態の手法とは異なる手法により分離され又は組み合わせられるものとしてもよく、異なる用語を使用して記述されるものとしてもよい。これら並びに他の変形、変更、追加及び改良は、以下の特許請求の範囲において特定されるように、本開示の範囲内に含まれ得る。

Claims (20)

1. 敵対的攻撃を検出するための機械学習システムをトレーニングし、当該トレーニングされた機械学習システムにより当該敵対的攻撃に対する防御を行うためのコンピュータ実装方法であって、
   少なくとも第１のシーケンスと第２のシーケンスとを含むシーケンスのコレクションを取得するステップと、
   前記第１のシーケンスが、センサデータの摂動されていないバージョンを含むという第１の予測に基づいて、名目的シーケンスを示す第１のクラスに属するものとして前記第１のシーケンスを分類するステップと、
   前記第２のシーケンスが、センサデータの摂動されたバージョンを含むという第２の予測に基づいて、敵対的シーケンスを示す第２のクラスに属するものとして前記第２のシーケンスを分類するステップと、
   （ｉ）シーケンスの第１のセット内の各シーケンスが名目的シーケンスであるシーケンスのコレクションからのシーケンスの第１のセットに関する前記第１のクラスの誤った分類を含む第１の平均損失と、（ｉｉ）シーケンスの第２のセット内の各シーケンスが敵対的シーケンスであるシーケンスのコレクションからのシーケンスの第２のセットに関する第２のクラスの誤った分類を含む第２の平均損失とに基づいて、結合損失データを生成するステップと、
   前記結合損失データに基づいて前記機械学習システムのパラメータを更新するステップと、
   を含み、前記トレーニングされた機械学習システムにより実施される、敵対的攻撃に対する防御のために、前記コンピュータ実装方法は、さらに、
   他の機械学習システムへの入力シーケンスを取得するステップと、
   前記トレーニングされた機械学習システムを用いて、前記入力シーケンスが、センサデータの複数のフレームの摂動されたバージョンであるという予測に基づいて、前記入力シーケンスを分類するための敵対的ラベルを生成するステップと、
   前記入力シーケンスに基づいて、前記他の機械学習システムによって生成された出力データシーケンスを識別するステップと、
   前記出力データシーケンスに基づく制御データによりアクチュエータシステムが制御されることを防止するために、前記敵対的ラベルに基づいて前記他の機械学習システムからの前記出力データシーケンスをフィルタリングするステップと、
   を含む、コンピュータ実装方法。
2. 前記パラメータを更新するステップは、
   前記第１の平均損失と前記第２の平均損失とを含む重み付け関数の前記結合損失データを最小化する、前記機械学習システムの識別モデルのパラメータを決定するステップを含む、
   請求項１に記載のコンピュータ実装方法。
3. 前記機械学習システムは、時間シーケンスを処理するアーキテクチャを備えたディープニューラルネットワークを含む、
   請求項１に記載のコンピュータ実装方法。
4. 前記機械学習システムは、再帰型ニューラルネットワーク、長短期記憶ネットワーク、又は、ゲート付き再帰型ユニットを含む、
   請求項１に記載のコンピュータ実装方法。
5. 前記第１のシーケンスは、前記他の機械学習システムが前記第１のシーケンスのための第１のクラスデータを生成するように生成され、前記第２のシーケンスは、前記他の機械学習システムが前記第２のシーケンスのための第２のクラスデータを生成する、前記第１のシーケンスの摂動されたバージョンであり、前記第１のクラスデータは、前記第２のクラスデータとは異なる、
   請求項１に記載のコンピュータ実装方法。
6. 前記第１のシーケンスは、センサデータストリームから抽出され、前記第１のシーケンスは、センサデータの複数のフレームを含み、前記第２のシーケンスは、サブシーケンスを含み、前記サブシーケンスは、前記第１のシーケンスの選択されたフレームの反復的な摂動されたバージョンを含み、前記選択されたフレームの前記摂動されたバージョンの１つは、前記他の機械学習システムに前記第２のシーケンスのための前記第２のクラスデータを生成させる、
   請求項５に記載のコンピュータ実装方法。
7. 前記第１のシーケンスは、センサデータストリームから抽出され、前記第１のシーケンスは、センサデータの複数のフレームを含み、前記第２のシーケンスの各フレームは、前記第２のシーケンスが前記他の機械学習システムに前記第２のシーケンスのための前記第２のクラスデータを生成させるようにそれぞれの摂動により摂動される、
   請求項５に記載のコンピュータ実装方法。
8. 非一時的コンピュータ可読媒体であって、前記非一時的コンピュータ可読媒体は、プロセッサによって実行されるときに、敵対的攻撃を検出するための機械学習システムをトレーニングし、当該トレーニングされた機械学習システムにより当該敵対的攻撃に対する防御を行うための方法を、前記プロセッサに実施させるためのコンピュータ可読データを含み、
   前記方法は、
   少なくとも第１のシーケンスと第２のシーケンスとを含むシーケンスのコレクションを取得するステップと、
   前記第１のシーケンスが、センサデータの摂動されていないバージョンを含むという第１の予測に基づいて、名目的シーケンスを示す第１のクラスに属するものとして前記第１のシーケンスを分類するステップと、
   前記第２のシーケンスが、センサデータの摂動されたバージョンを含むという第２の予測に基づいて、敵対的シーケンスを示す第２のクラスに属するものとして前記第２のシーケンスを分類するステップと、
   （ｉ）シーケンスの第１のセット内の各シーケンスが名目的シーケンスであるシーケンスのコレクションからのシーケンスの第１のセットに関する前記第１のクラスの誤った分類を含む第１の平均損失と、（ｉｉ）シーケンスの第２のセット内の各シーケンスが敵対的シーケンスであるシーケンスのコレクションからのシーケンスの第２のセットに関する第２のクラスの誤った分類を含む第２の平均損失とに基づいて、結合損失データを生成するステップと、
   前記結合損失データに基づいて前記機械学習システムのパラメータを更新するステップと、
   を含み、前記トレーニングされた機械学習システムにより実施される、敵対的攻撃に対する防御のために、前記方法は、さらに、
   他の機械学習システムへの入力シーケンスを取得するステップと、
   前記トレーニングされた機械学習システムを用いて、前記入力シーケンスが、センサデータの複数のフレームの摂動されたバージョンであるという予測に基づいて、前記入力シーケンスを分類するための敵対的ラベルを生成するステップと、
   前記入力シーケンスに基づいて、前記他の機械学習システムによって生成された出力データシーケンスを識別するステップと、
   前記出力データシーケンスに基づく制御データによりアクチュエータシステムが制御されることを防止するために、前記敵対的ラベルに基づいて前記他の機械学習システムからの前記出力データシーケンスをフィルタリングするステップと、
   を含む、
   非一時的コンピュータ可読媒体。
9. 前記パラメータを更新するステップは、前記第１の平均損失と前記第２の平均損失とを含む重み付け関数の前記結合損失データを最小化する、前記機械学習システムの弁別器記識別モデルのパラメータを決定するステップを含む、
   請求項８に記載の非一時的コンピュータ可読媒体。
10. 前記機械学習システムは、時間シーケンスを処理するアーキテクチャを備えたディープニューラルネットワークを含む、
    請求項８に記載の非一時的コンピュータ可読媒体。
11. 前記機械学習システムは、再帰型ニューラルネットワーク、長短期記憶ネットワーク、又は、ゲート付き再帰型ユニットを含む、
    請求項８に記載の非一時的コンピュータ可読媒体。
12. 前記第１のシーケンスは、前記他の機械学習システムが前記第１のシーケンスのための第１のクラスデータを生成するように生成され、前記第２のシーケンスは、前記他の機械学習システムが前記第２のシーケンスのための第２のクラスデータを生成する、前記第１のシーケンスの摂動されたバージョンであり、前記第１のクラスデータは、前記第２のクラスデータとは異なる、
    請求項８に記載の非一時的コンピュータ可読媒体。
13. 前記第１のシーケンスは、センサデータストリームから抽出され、前記第１のシーケンスは、センサデータの複数のフレームを含み、前記第２のシーケンスは、サブシーケンスを含み、前記サブシーケンスは、前記第１のシーケンスの選択されたフレームの反復的な摂動されたバージョンを含み、前記選択されたフレームの前記摂動されたバージョンの１つは、前記他の機械学習システムに前記第２のシーケンスのための前記第２のクラスデータを生成させる、
    請求項１２に記載の非一時的コンピュータ可読媒体。
14. 前記第１のシーケンスは、センサデータストリームから抽出され、前記第１のシーケンスは、センサデータの複数のフレームを含み、前記第２のシーケンスの各フレームは、前記第２のシーケンスが前記他の機械学習システムに前記第２のシーケンスのための前記第２のクラスデータを生成させるようにそれぞれの摂動により摂動される、
    請求項１２に記載の非一時的コンピュータ可読媒体。
15. 敵対的攻撃に対する防御のためのコンピュータ実装方法であって、
    第１の機械学習システムへの入力シーケンスを取得するステップと、
    前記入力シーケンスが、センサデータの複数のフレームの摂動されたバージョンであるという予測に基づいて、前記入力シーケンスを分類するための敵対的ラベルを生成するステップと、
    前記入力シーケンスに基づいて、前記第１の機械学習システムによって生成された出力データシーケンスを識別するステップと、
    前記出力データシーケンスに基づく制御データによりアクチュエータシステムが制御されることを防止するために、前記敵対的ラベルに基づいて前記第１の機械学習システムからの前記出力データシーケンスをフィルタリングするステップと、
    を含むコンピュータ実装方法。
16. 前記第１の機械学習システムへの他の入力シーケンスを取得するステップであって、前記他の入力シーケンスは、センサデータの他の複数のフレームを含む、ステップと、
    前記他の入力シーケンスが摂動データによって摂動されていないという他の予測に基づいて、前記他の入力シーケンスのための非敵対的ラベルを生成するステップと、
    前記他の入力シーケンスに基づいて、前記第１の機械学習システムによって生成された他の出力データシーケンスを取得するステップと、
    前記他の出力データシーケンスに基づいて前記アクチュエータシステムを制御するステップと、
    をさらに含む、
    請求項１５に記載のコンピュータ実装方法。
17. 前記第１の機械学習システムに入力されている前記入力シーケンスを取得するためにスライディングウィンドウを操作するステップをさらに含み、センサデータの前記複数のフレームは、センサデータの選択されたフレームの反復的な摂動されたバージョンを含む、
    請求項１５に記載のコンピュータ実装方法。
18. 前記敵対的ラベルを生成する前記ステップは、第２の機械学習システムによって実行される、
    請求項１５に記載のコンピュータ実装方法。
19. 前記第２の機械学習システムは、シーケンスのセットによりトレーニングされ、前記シーケンスのセットは、名目的シーケンスのセットと敵対的シーケンスのセットとが含まれ、前記敵対的シーケンスのセットは、前記第１の機械学習システムが、前記名目的シーケンスに基づくクラスデータと比較して、前記敵対的シーケンスに基づいて異なるクラスデータを生成するように、前記名目的シーケンスのセットの摂動されたバージョンを含む、
    請求項１８に記載のコンピュータ実装方法。
20. 前記第２の機械学習システムは、再帰型ニューラルネットワーク、長短期記憶ネットワーク、又は、ゲート付き再帰型ユニットを含む、
    請求項１８に記載のコンピュータ実装方法。