JP7046181B2 - マルチ・タスク学習を用いた特徴抽出方法、コンピュータ・システム、およびコンピュータ・プログラム製品（マルチ・タスク学習を用いた特徴抽出） - Google Patents

Description

本出願は、一般に、データ処理に関し、より詳細には、マルチ・タスク学習を用いて特徴を抽出するためのコンピュータ実施方法、システム、およびコンピュータ・プログラム製品に関する。

現代においては、人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）が、データを処理するために広く用いられている。ビッグ・データのシナリオでは、通例、データの特徴が、冗長性を低減するために抽出される。データの特徴は、通例、特徴ベクトルとして表現される。抽出されるべき特徴は、データの関連情報を含むことが期待され、そのため、この低減された表現を完全なデータの代わりに用いることによって、所望のタスク、例えば、分類タスクまたはクラスタリング・タスクを遂行することができる。

特徴抽出は様々な技術分野において有用であり得、例えば、ＧＰＳおよび他の車両センサ・データの分析は、テレマティクスおよびコネクテッド・ビークル・ソリューション（connected vehicle solution）において不可欠である。誰が自動車を運転しているのか、およびその人がどのように運転するのかの判定は、後の利用のための分析および記録のために有用である。例えば、自動車保険会社から提起される主要要求は、人間の運転者の運転スタイルを運転者識別のためにモデル化することに関するものであり、それゆえ、識別結果は、コストが、使用される車両の種類に依存し、時間、距離、運転挙動、および場所に対して測定される新興の自動車保険である、利用ベース保険（Ｕｓａｇｅ－Ｂａｓｅｄ Ｉｎｓｕｒａｎｃｅ、ＵＢＩ）において非常に有用になり得る。要求の背後にある課題は、運転者の運転挙動に従って異なる運転者を区別するために用いることができる優れた特徴表現をどのように獲得するのかである。

典型的なモデルは、以前は、生データから手作業で作った特徴を信頼していたが、人間ドメイン知識および経験（human domain knowledge and experience）に信頼を置きすぎている。人間ドメイン知識および経験へのこの信頼は必ずしも信頼できるとは限らず、通例、必ずしも完全であるとは限らない。

加えて、既存の方法は、主に、特徴表現を学習するための分類枠組みを用いる。しかし、実際には、任意の新たなデータのためのラベルを有する十分なトレーニング・データを収集することは難しく、このため、既存の方法は新たなデータに対してはうまく機能しなくなる。

マルチ・タスク学習を用いた特徴抽出方法、システム、プログラムを提供する。

一実施形態によれば、ニューラル・ネットワークをトレーニングするためのコンピュータ実施方法が提供される。本方法によれば、まず、トレーニング・データがディープ・ニューラル・ネットワーク（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＤＮＮ）によって獲得され得る。ディープ・ニューラル・ネットワークは少なくとも１つの隠れ層を含む。次に、トレーニング・データの特徴が少なくとも１つの隠れ層のうちの指定隠れ層（specified hidden layer）から獲得され得る。指定隠れ層は、分類タスクのための教師あり分類ネットワーク（supervised classification network）、および再構成タスクのためのオートエンコーダ・ベース再構成ネットワーク（autoencoder based reconstruction network）にそれぞれ接続されている。そして最後に、獲得された特徴に基づいて、ＤＮＮ、教師あり分類ネットワーク、および再構成ネットワークが全体としてトレーニングされ得る。トレーニングは分類タスクおよび再構成タスクによって導かれる（being guided:手引きされる）。

本発明の別の実施形態によれば、ニューラル・ネットワークをトレーニングするためのコンピュータ・システムが提供される。コンピュータ・システムは、プロセッサと、プロセッサに結合されたコンピュータ可読メモリと、を備える。メモリは、プロセッサによって実行可能な命令を含む。プロセッサは、１つまたは複数の以下のアクションを遂行するよう動作可能である。まず、トレーニング・データがディープ・ニューラル・ネットワーク（ＤＮＮ）によって獲得され得る。ディープ・ニューラル・ネットワークは少なくとも１つの隠れ層を含む。次に、トレーニング・データの特徴が少なくとも１つの隠れ層のうちの指定隠れ層から獲得され得る。指定隠れ層は、分類タスクのための教師あり分類ネットワーク、および再構成タスクのためのオートエンコーダ・ベース再構成ネットワークにそれぞれ接続されている。そして最後に、獲得された特徴に基づいて、ＤＮＮ、教師あり分類ネットワーク、および再構成ネットワークが全体としてトレーニングされ得る。トレーニングは分類タスクおよび再構成タスクによって手引きされる。

本発明のさらに別の実施形態によれば、コンピュータ・プログラム製品が提供される。コンピュータ・プログラム製品は、プログラム命令が具現化されたコンピュータ可読記憶媒体を備え、プログラム命令は、プロセッサに、１つまたは複数の以下のアクションを遂行させるようプロセッサによって実行可能である。まず、トレーニング・データがディープ・ニューラル・ネットワーク（ＤＮＮ）によって獲得され得る。ディープ・ニューラル・ネットワークは少なくとも１つの隠れ層を含む。次に、トレーニング・データの特徴が少なくとも１つの隠れ層のうちの指定隠れ層から獲得され得る。指定隠れ層は、分類タスクのための教師あり分類ネットワーク、および再構成タスクのためのオートエンコーダ・ベース再構成ネットワークにそれぞれ接続されている。そして最後に、獲得された特徴に基づいて、ＤＮＮ、教師あり分類ネットワーク、および再構成ネットワークが全体としてトレーニングされ得る。トレーニングは分類タスクおよび再構成タスクによって手引きされる。

様々な実施形態のさらなる特徴ならびに構造および動作が以下において添付の図面を参照して詳細に説明される。図面において、同様の参照符号は同一または機能的に類似の要素を指示する。

添付の図面における本開示のいくつかの実施形態のより詳細な説明を通じて、本開示の、上述の、および他の目的、特徴および利点がより明らかになる。同じ参照は、概して、本開示の諸実施形態における同じ構成要素を参照する。

本発明の一実施形態に係るクラウド・コンピューティング・ノードを示す図である。 本発明の一実施形態に係るクラウド・コンピューティング環境を示す図である。 本発明の一実施形態に係る抽象化モデル・レイヤを示す図である。 本発明の一実施形態に係る、特徴を抽出するためにニューラル・ネットワーク・モデルをトレーニングするための方法を示すフローチャートである。 本発明の一実施形態に係るマルチ・タスク学習システムの構造図である。 本発明の一実施形態に係る、既存のオートエンコーダ・ネットワークの例示的なアーキテクチャを示す図である。 本発明の一実施形態に係る、全ニューラル・ネットワークを全体として調整するための方法７００を示すフローチャートである。 本発明の一実施形態に係る、トレーニングされたニューラル・ネットワークを試験し、トレーニングが完了したかどうかを決定するための方法８００を示すフローチャートである。 本発明の一実施形態に係る、トレーニングされたニューラル・ネットワークを用いることによってクラスタリングするための方法９００を示すフローチャートである。

いくつかの好ましい実施形態が、本開示の好ましい実施形態が示された添付の図面を参照してより詳細に説明される。しかし、本開示は様々な仕方で実施することができ、それゆえ、本明細書に開示されている諸実施形態に限定されると解釈されるべきでない。逆に、それらの実施形態は、本開示の徹底的で完全な理解のため、および本開示の範囲を当業者に完全に伝えるために提供されている。

本開示はクラウド・コンピューティングに関する詳細な説明を含むが、本明細書において述べられる教示の実施はクラウド・コンピューティング環境に限定されないことがあらかじめ理解される。むしろ、本発明の諸実施形態は、現在知られている、または将来開発される任意の他の種類のコンピューティング環境と連動して実施される能力を有する。

クラウド・コンピューティングは、最小限の管理労力またはサービスのプロバイダとの対話をもって迅速にプロビジョニングし、解放することができる構成可能なコンピューティング・リソース（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想機械、およびサービス）の共用プールへの簡便なオン・デマンド・ネットワーク・アクセスを可能にするためのサービス提供のモデルである。このクラウド・モデルは、少なくとも５つの特徴、少なくとも３つのサービス・モデル、および少なくとも４つの展開モデルを含み得る。

特徴は以下のとおりである。

オン・デマンド・セルフ・サービス：クラウド消費者は、サーバ時間およびネットワーク・ストレージなどの、コンピューティング能力を、サービスのプロバイダとの人的対話を必要とすることなく、必要に応じて自動的に、一方的にプロビジョニングすることができる。

幅広いネットワーク・アクセス：能力はネットワークを通じて利用可能であり、異種のシンまたはシック・クライアント・プラットフォーム（例えば、携帯電話、ラップトップ、およびＰＤＡ）による利用を促進する標準的な機構を通じてアクセスされる。

リソース・プーリング：プロバイダのコンピューティング・リソースが、マルチ・テナント・モデルを用いて複数の消費者に対応するためにプールされる。異なる物理および仮想リソースが要求に従って動的に割り当てられ、再割り当てされる。消費者は、概して、提供されるリソースの厳密な位置を制御できない、または知らないが、より高い抽象化レベルにおける位置（例えば、国、州、またはデータセンタ）を指定することが可能であり得るという点で、位置独立と言える。

迅速な弾力性：能力を、素早くスケール・アウトするために迅速且つ弾力的に、場合によっては自動的にプロビジョニングし、素早くスケール・インするために迅速に解放することができる。消費者にとって、プロビジョニングのために利用可能な能力は、多くの場合、無制限であるように見え、任意の時間に任意の量で購入することができる。

度数制：クラウド・システムは、サービスの種類（例えば、記憶、処理、帯域幅、およびアクティブ・ユーザ・アカウント）に適した何らかの抽象化レベルにおけるメータリング能力を活用することによって、リソース使用を自動的に制御し、最適化する。リソース使用状況を監視、制御、および報告することができ、利用されるサービスのプロバイダおよび消費者の双方のために透明性をもたらす。

サービス・モデルは以下のとおりである。

Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ（ＳａａＳ）：消費者に提供される能力は、クラウド・インフラストラクチャ上で実行するプロバイダのアプリケーションを使用することである。アプリケーションは、ウェブ・ブラウザ（例えば、ウェブ・ベースの電子メール）などのシン・クライアント・インターフェースを通じて様々なクライアント・デバイスからアクセス可能である。消費者は、場合によっては、限定的なユーザ固有のアプリケーション構成設定を例外として、ネットワーク、サーバ、オペレーティング・システム、ストレージ、またはさらに、個々のアプリケーション能力を含む、基礎をなすクラウド・インフラストラクチャを管理または制御しない。

Ｐｌａｔｆｏｒｍ ａｓ ａ Ｓｅｒｖｉｃｅ（ＰａａＳ）：消費者に提供される能力は、プロバイダによってサポートされたプログラミング言語およびツールを用いて作成された、消費者作成または取得アプリケーションをクラウド・インフラストラクチャ上に展開することである。消費者は、ネットワーク、サーバ、オペレーティング・システム、またはストレージを含む、基礎をなすクラウド・インフラストラクチャを管理または制御しないが、展開されたアプリケーション、および場合によっては、環境構成をホストするアプリケーションを制御する。

Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ（ＩａａＳ）：消費者に提供される能力は、処理、ストレージ、ネットワーク、および他の基本的コンピューティング・リソースをプロビジョニングすることであり、消費者は、オペレーティング・システムおよびアプリケーションを含み得る、任意のソフトウェアを展開および実行することが可能である。消費者は、基礎をなすクラウド・インフラストラクチャを管理または制御しないが、オペレーティング・システム、ストレージ、展開されたアプリケーションを制御し、場合によっては、選択されたネットワーキング・コンポーネント（例えば、ホスト・ファイアウォール）を限定的に制御する。

展開モデルは以下のとおりである。

プライベート・クラウド：このクラウド・インフラストラクチャは組織のためにのみ運用される。それは、その組織または第三者によって管理されてもよく、構内または構外に存在してもよい。

コミュニティ・クラウド：このクラウド・インフラストラクチャはいくつかの組織によって共有され、共有関心事（例えば、任務、セキュリティ要求、ポリシー、およびコンプライアンスの考慮事項）を有する特定のコミュニティをサポートする。それは、その組織または第三者によって管理されてもよく、構内または構外に存在してもよい。

パブリック・クラウド：このクラウド・インフラストラクチャは公衆または大規模な業界団体に対して利用可能にされ、クラウド・サービスを販売する組織によって所有される。

ハイブリッド・クラウド：このクラウド・インフラストラクチャは、固有エンティティのままであるが、データおよびアプリケーションの可搬性を可能にする標準または独占技術（例えば、クラウド間のロード・バランシングのためのクラウド・バースティング）によって互いに結合された、２つ以上のクラウド（プライベート、コミュニティ、またはパブリック）の合成である。

クラウド・コンピューティング環境は、ステートレス性、疎結合性、モジュール性、および意味的相互運用性に重点を置いて指向されたサービスである。クラウド・コンピューティングの中核には、相互接続されたノードのネットワークを備えるインフラストラクチャがある。

次に図１を参照すると、クラウド・コンピューティング・ノードの一例の概略図が示されている。クラウド・コンピューティング・ノード１０は好適なクラウド・コンピューティング・ノードの単なる一例にすぎず、本明細書において説明されている本発明の諸実施形態の使用または機能性の範囲に関するいかなる限定を示唆することも意図されていない。いずれにせよ、クラウド・コンピューティング・ノード１０は、以上において説明された機能性の任意のものを実施される、または遂行する、あるいはその両方の能力を有する。

クラウド・コンピューティング・ノード１０内には、コンピュータ・システム／サーバ１２が存在し、コンピュータ・システム／サーバ１２は、数多くの他の汎用または専用コンピューティング・システム環境または構成と共に動作可能である、本発明の諸実施形態を実施するために適用可能である通信デバイスなどのポータブル電子デバイスの例示の実施例を示すように構成することもできる。コンピュータ・システム／サーバ１２と共に使用するために適し得る周知のコンピューティング・システム、環境、または構成、あるいはその組み合わせの例としては、限定するものではないが、パーソナル・コンピュータ・システム、サーバ・コンピュータ・システム、シン・クライアント、シック・クライアント、ハンド・ヘルドもしくはラップトップ・デバイス、マルチプロセッサ・システム、マイクロプロセッサ・ベースのシステム、セット・トップ・ボックス、プログラム可能家庭用電化製品、ネットワークＰＣ、ミニコンピュータ・システム、メインフレーム・コンピュータ・システム、および上述のシステムもしくはデバイスのうちの任意のものを含む分散クラウド・コンピューティング環境、ならびに同様のものが挙げられる。

コンピュータ・システム／サーバ１２は、プログラム・モジュールなどのコンピュータ・システム実行可能命令がコンピュータ・システムによって実行されるという一般的状況で説明されてもよい。概して、プログラム・モジュールは、特定のタスクを遂行するか、または特定の抽象データ型を実装する、ルーチン、プログラム、オブジェクト、コンポーネント、論理、データ構造などを含み得る。コンピュータ・システム／サーバ１２は、タスクが、通信ネットワークを通じてリンクされたリモート処理デバイスによって遂行される分散クラウド・コンピューティング環境内で実施されてもよい。分散クラウド・コンピューティング環境内において、プログラム・モジュールは、メモリ記憶デバイスを含むローカルおよびリモート・コンピュータ・システム記憶媒体の両方の内部に配置されてもよい。

図１に示されるように、クラウド・コンピューティング・ノード１０内のコンピュータ・システム／サーバ１２は汎用コンピューティング・デバイスの形態で示されている。コンピュータ・システム／サーバ１２のコンポーネントは、限定するものではないが、１つまたは複数のプロセッサもしくは処理ユニット１６、システム・メモリ２８、およびシステム・メモリ２８を含む様々なシステム・コンポーネントをプロセッサ１６に結合するバス１８を含み得る。

バス１８は、メモリ・バスまたはメモリ・コントローラ、周辺バス、アクセラレイティッド・グラフィックス・ポート、ならびに種々のバス・アーキテクチャのうちの任意のものを用いるプロセッサまたはローカル・バスを含む、いくつかの種類のバス構造のうちの任意のもののうちの１つまたは複数を表す。限定ではなく、例として、このようなアーキテクチャとしては、業界標準アーキテクチャ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＩＳＡ）バス、マイクロ・チャネル・アーキテクチャ（Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＭＣＡ）バス、拡張ＩＳＡ（Ｅｎｈａｎｃｅｄ ＩＳＡ、ＥＩＳＡ）バス、ビデオ・エレクトロニクス規格協会（Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ、ＶＥＳＡ）ローカル・バス、および周辺装置相互接続（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ、ＰＣＩ）バスが挙げられる。

コンピュータ・システム／サーバ１２は通例、種々のコンピュータ・システム可読媒体を含む。このような媒体は、コンピュータ・システム／サーバ１２によってアクセス可能である任意の利用可能な媒体であり得、それは、揮発性および不揮発性媒体、取り外し可能なおよび非取り外し可能な媒体の両方を含む。

システム・メモリ２８は、ランダム・アクセス・メモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）３０またはキャッシュ・メモリ３２あるいはその両方などの、揮発性メモリの形態のコンピュータ・システム可読媒体を含むことができる。コンピュータ・システム／サーバ１２は、他の取り外し可能／非取り外し可能な、揮発性／不揮発性コンピュータ・システム記憶媒体をさらに含み得る。単なる一例として、記憶システム３４は、非取り外し可能な不揮発性磁気媒体（図示されておらず、通例、「ハード・ドライブ」と呼ばれる）からの読み取り、およびそれへの書き込みのために設けることができる。図示されていないが、取り外し可能な不揮発性磁気ディスク（例えば、「フロッピー（Ｒ）・ディスク」）からの読み取り、およびそれへの書き込みのための磁気ディスク・ドライブ、ならびにＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、もしくは他の光媒体などの取り外し可能な不揮発性光ディスクからの読み取り、またはそれへの書き込みのための光ディスク・ドライブを設けることができる。このような場合には、１つまたは複数のデータ媒体インターフェースによって各々をバス１８に接続することができる。以下においてさらに図示され、説明されるように、メモリ２８は、本発明の諸実施形態の機能を実施するように構成されたプログラム・モジュールのセット（例えば、少なくとも１つ）を有する少なくとも１つのプログラム製品を含み得る。

プログラム・モジュール４２のセット（少なくとも１つ）を有するプログラム／ユーティリティ４０が、限定ではなく、例として、オペレーティング・システム、１つまたは複数のアプリケーション・プログラム、他のプログラム・モジュール、およびプログラム・データと同様に、メモリ２８内に記憶されてもよい。オペレーティング・システム、１つまたは複数のアプリケーション・プログラム、他のプログラム・モジュール、およびプログラム・データ、あるいはこれらの何らかの組み合わせの各々は、ネットワーキング環境の一実装形態を含み得る。プログラム・モジュール４２は、本明細書において説明されるとおりの本発明の諸実施形態の機能または方法論あるいはその両方を一般的に実施する。

コンピュータ・システム／サーバ１２はまた、キーボード、ポインティング・デバイス、ディスプレイ２４等などの１つまたは複数の外部デバイス１４、ユーザがコンピュータ・システム／サーバ１２と対話することを可能にする１つまたは複数のデバイス、またはコンピュータ・システム／サーバ１２が１つまたは複数の他のコンピューティング・デバイスと通信することを可能にする任意のデバイス（例えば、ネットワーク・カード、モデム等）、あるいはその組み合わせと通信し得る。このような通信は入力／出力（Ｉ／Ｏ）インターフェース２２を介して行うことができる。それでもなお、コンピュータ・システム／サーバ１２は、ネットワーク・アダプタ２０を介して、ローカル・エリア・ネットワーク（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ、ＬＡＮ）、一般のワイド・エリア・ネットワーク（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ、ＷＡＮ）、または公衆ネットワーク（例えば、インターネット）、あるいはこの組み合わせなどの１つまたは複数のネットワークと通信することができる。図示のように、ネットワーク・アダプタ２０はバス１８を介してコンピュータ・システム／サーバ１２の他のコンポーネントと通信する。図示されていないが、他のハードウェアまたはソフトウェア・コンポーネントあるいはこの両方をコンピュータ・システム／サーバ１２と併せて用いることができることを理解されたい。例としては、限定するものではないが、マイクロコード、デバイス・ドライバ、冗長処理ユニット、外部ディスク・ドライブ・アレイ、ＲＡＩＤシステム、テープ・ドライブ、およびデータ・アーカイブ記憶システム等が挙げられる。

次に図２を参照すると、例示的なクラウド・コンピューティング環境５０が示されている。図示のように、クラウド・コンピューティング環境５０は、例えば、パーソナル・デジタル・アシスタント（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ、ＰＤＡ）もしくはセルラー電話５４Ａ、デスクトップ・コンピュータ５４Ｂ、ラップトップ・コンピュータ５４Ｃ、または車載コンピュータ・システム５４Ｎ、あるいはその組み合わせなどの、クラウド消費者によって用いられるローカル・コンピューティング・デバイスが通信し得る、１つまたは複数のクラウド・コンピューティング・ノード１０を含む。ノード１０は互いに通信し得る。それらは、上述されたとおりのプライベート、コミュニティ、パブリック、またはハイブリッド・クラウド、あるいはこれらの組み合わせなどの、１つまたは複数のネットワークにおいて物理的または仮想的にグループ化されてもよい（図示せず）。これは、クラウド・コンピューティング環境５０が、インフラストラクチャ、プラットフォーム、またはソフトウェア、あるいはこの組み合わせを、クラウド消費者がリソースをローカル・コンピューティング・デバイス上に維持することを必要としないサービスとして提供することを可能にする。図２に示されるコンピューティング・デバイス５４Ａ～Ｎの種類は例示を意図されているにすぎず、コンピューティング・ノード１０およびクラウド・コンピューティング環境５０は、（例えば、ウェブ・ブラウザを用いて）任意の種類のネットワーク、またはネットワーク・アドレス可能接続、あるいはその両方を通じて任意の種類のコンピュータ化デバイスと通信することができることが理解される。

次に図３を参照すると、クラウド・コンピューティング環境５０（図２）によって提供される機能抽象化レイヤのセットが示されている。図３に示されるコンポーネント、レイヤ、および機能は例示を意図されているにすぎず、本発明の諸実施形態はこれらに限定されないことをあらかじめ理解されたい。図示のように、以下のレイヤおよび対応する機能が提供される。

ハードウェアおよびソフトウェア・レイヤ６０はハードウェアおよびソフトウェア・コンポーネントを含む。ハードウェア・コンポーネントの例は、メインフレーム６１、ＲＩＳＣ（Ｒｅｄｕｃｅｄ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｅｒ（縮小命令セット・コンピュータ））アーキテクチャ・ベースのサーバ６２、サーバ６３、ブレード・サーバ６４、記憶デバイス６５、ならびにネットワークおよびネットワーキング・コンポーネント６６を含む。実施形態によっては、ソフトウェア・コンポーネントは、ネットワーク・アプリケーション・サーバ・ソフトウェア６７およびデータベース・ソフトウェア６８を含む。

仮想化レイヤ７０は抽象化レイヤを提供する。抽象化レイヤからは仮想エンティティの以下の例が提供され得る：仮想サーバ７１、仮想ストレージ７２、仮想プライベート・ネットワークを含む、仮想ネットワーク７３、仮想アプリケーションおよびオペレーティング・システム７４、ならびに仮想クライアント７５。

一例では、管理レイヤ８０は、後述される機能を提供し得る。リソース・プロビジョニング８１は、コンピューティング・リソース、およびクラウド・コンピューティング環境内でタスクを遂行するために利用される他のリソースの動的調達を提供する。計量および価格決定８２は、リソースがクラウド・コンピューティング環境内で利用される際のコスト追跡、ならびにこれらのリソースの消費のための請求書またはインボイスの作成送付を提供する。一例では、これらのリソースはアプリケーション・ソフトウェア・ライセンスを含み得る。セキュリティは、クラウド消費者およびタスクのための識別確認、ならびにデータおよび他のリソースのための保護を提供する。ユーザ・ポータル８３は、消費者およびシステム・アドミニストレータのためのクラウド・コンピューティング環境へのアクセスを提供する。サービス・レベル管理８４は、要求サービス・レベルが満たされるよう、クラウド・コンピューティング・リソースの割り当ておよび管理を提供する。サービス品質保証（Ｓｅｒｖｉｃｅ Ｌｅｖｅｌ Ａｇｒｅｅｍｅｎｔ、ＳＬＡ）計画および達成８５は、ＳＬＡに従って、将来の要求が予想されるクラウド・コンピューティング・リソースのための事前準備、およびその調達を提供する。

作業負荷レイヤ９０は、クラウド・コンピューティング環境が利用され得る機能性の例を提供する。このレイヤから提供され得る作業負荷および機能の例は、マッピングおよびナビゲーション９１、ソフトウェア開発およびライフサイクル管理９２、仮想教室教育配信９３、データ分析処理９４、トランザクション処理９５、ならびにモデル・トレーニング９６を含む。

本開示は、マルチ・タスク学習を用いて特徴を抽出するためにディープ・ニューラル・ネットワーク・ベース・モデルをトレーニングするためのコンピュータ・システムおよびコンピュータ実施方法に関する。トレーニングされたディープ・ニューラル・ネットワーク・ベース・モデルによって抽出された特徴は正確なクラスタリング／分類のために用いることができる。

本明細書で使用するとき、用語「～を含む（ｉｎｃｌｕｄｅｓ）」およびその変化形は、「～を含むが、これらに限定されない（ｉｎｃｌｕｄｅｓ， ｂｕｔ ｉｓ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」を意味する非限定用語（ｏｐｅｎ ｔｅｒｍ）と読まれるべきである。用語「～に基づく（ｂａｓｅｄ ｏｎ）」は、「～に少なくとも一部基づく」と読まれるべきである。用語「１つの実施形態（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」および「一実施形態（ａｎ ｅｍｂｏｄｉｍｅｎｔ）」は「少なくとも１つの実施形態」と読まれるべきである。用語「別の実施形態（ａｎｏｔｈｅｒ ｅｍｂｏｄｉｍｅｎｔ）」は「少なくとも１つの他の実施形態」と読まれるべきである。明示的および黙示的な他の定義が以下において含まれ得る。

以下において、本発明の一実施形態に係る、特徴を抽出するためにニューラル・ネットワークをトレーニングするための方法を示すフローチャートを示す図４を参照して、本発明の諸実施形態が詳細に説明される。

ステップ４１０において、ディープ・ニューラル・ネットワーク（ＤＮＮ）によってトレーニング・データを獲得し得る。

一実施形態では、トレーニング・データは、限定するものではないが、トリップ・データ（trip data）、画像データ、音声データ、およびテキスト・データ等を含む、任意の種類の生データからのものであり得る。ディープ・ニューラル・ネットワークによって用いられるトレーニング・データを獲得するために、生データは事前処理され、要求されるフォーマットで、例えば、多次元アレイで、ＤＮＮ内に出力される必要がある。換言すれば、トレーニング・データは、事前処理された生データである。当業者には、様々な既存の事前処理方法が、生データを処理するために利用され得、簡潔にするために詳細には説明されないことが明らかであるということに留意されたい。以下において、本発明の諸実施形態は、トリップを生データおよびトレーニング・データとして用いて説明されることになり、通例、トリップ・データは複数のトリップを含み、トリップの各々は少なくとも１つのセグメントを含む。当業者には、全ての他の種類のデータを用いることが可能であり得ることが明らかである。

ＤＮＮは、複数の隠れ層を有するニューラル・ネットワークであることが周知である。ＤＮＮ内において、各隠れ層は以前の層の非線形変換を決定する。ＤＮＮのトレーニングは、多くの極小を有することができる、グラフ、非凸関数（例えば、ニューラル・ネットワークの損失はその重みの関数として扱われる）として示すことができる非凸問題と考えられ得る。一実施形態では、畳み込みニューラル・ネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＣＮＮ）、またはリカレント・ニューラル・ネットワーク（ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＲＮＮ）、または他の種類のニューラル・ネットワーク・ベースのＤＮＮアーキテクチャが、入力されたトレーニング・データから特徴を抽出するために用いられ得る。ＤＮＮベースのニューラル・ネットワークは、図４の手順の間に、マルチ・タスク学習を適用し、トレーニングされたＤＮＮベースのニューラル・モデルを形成し得る。

ステップ４２０において、ＤＮＮの少なくとも１つの隠れ層のうちの指定隠れ層からトレーニング・データの特徴を獲得し得る。本発明の一実施形態によれば、指定隠れ層は、分類タスクのための教師あり分類ネットワーク、および再構成タスクのためのオートエンコーダ・ベース再構成ネットワークにそれぞれ接続されている。以下において、上述の構造が図５を参照して説明される。

上述されたように、指定隠れ層は、本発明の一実施形態に係る図５に示されるマルチ・タスク学習システム５００を一緒に構成する、教師あり分類ネットワークおよび再構成ネットワークにそれぞれ接続されている。図５に示されるように、ＤＮＮ５３０内の指定隠れ層５４０は、ニューロン間の重み付き接続を用いる異なる学習タスクのための２つの異なるニューラル・ネットワークにそれぞれ接続され得る。２つの異なるニューラル・ネットワークは、本発明の一実施形態によれば、分類タスクのための教師あり分類ネットワーク５１０、および再構成タスクのためのオートエンコーダ・ベース再構成ネットワーク５２０であることができる。教師あり分類ネットワーク５１０およびオートエンコーダ・ベース再構成ネットワーク５２０の両方が指定隠れ層５４０と接続されているため、それらは、共有隠れ層として機能し得る指定隠れ層５４０を介して互いに対話することができる。マルチ・タスク学習システム５００のトレーニングの間に、教師あり分類ネットワーク５１０および再構成ネットワーク５２０の両方は、ディープ・ニューラル・ネットワーク５３０内の指定隠れ層５４０の実行時出力「ｘ」を取り込む必要があり得る。

一実施形態では、ＤＮＮ５３０の指定隠れ層５４０は、トレーニング・データから獲得された特徴を出力するための特徴抽出インターフェースとして用いられ得、特徴もまた、分類ネットワークおよび再構成ネットワークの両方によって取り込まれることになる。ＤＮＮのために、隠れ層の各々は、獲得された特徴を出力するためのインターフェースとして用いられてもよく、通常、より高い隠れ層によって出力された特徴は、より低い隠れ層によって出力された特徴よりも抽象度が高くてもよいことに留意されたい。一実施形態では、最後の隠れ層が、分類ネットワークおよび再構成ネットワークの両方をそれらのそれぞれの学習タスクのために接続する指定隠れ層として選択されてもよい。以下において、本発明の諸実施形態は、例示の目的のために最後の隠れ層を指定隠れ層として用いて説明されることになるが、当業者には、最後の隠れ層は単なる一例にすぎず、任意の他の隠れ層が、指定隠れ層として用いられ得ることが明らかであるはずである。

本発明の一実施形態によれば、教師あり分類ネットワークはソフトマックス・ベースの分類器であることができる。ソフトマックスは、任意の実数値のＫ次元ベクトルｚを、総和が１に達する範囲（０，１）内の実数値のＫ次元ベクトルσ（ｚ）に写像するロジスティック関数の周知の一般化である。通常、ソフトマックス関数は、分類の出力が確率であることを確実にするために、分類タスクの出力層内の活性化関数として用いられ得る。以下において、本発明の諸実施形態は、ソフトマックス・ベースの分類器を教師あり分類ネットワークとして用いて説明されることになるが、当業者には、任意の他の既存の教師あり分類ネットワークを利用することが可能であり得ることが明らかであるはずである。

実施形態によっては、当業者によって知られているように、オートエンコーダ・ベース再構成ネットワーク５２０は、効率的符号化の教師なし学習のために用いられる人工ニューラル・ネットワークである。再構成ネットワーク５２０の目的は、通例、次元削減のために、データのセットのための表現（エンコーディング）を学習することである。さらに、それゆえ、既存のオートエンコーダが通常行うように、全ネットワーク入力の代わりに共有層出力を再構成することによって、共有隠れ層よりも低い次元を有する特徴抽出層が獲得され得る。より詳細な一実施形態では、再構成タスクは実行時における共有隠れ層の動的出力を再構成し、それゆえ、その再構成損失は、共有隠れ層によって出力された動的目標ｘに基づいて決定されるべきである。

図６は、本発明の一実施形態に係る、既存のオートエンコーダ・ネットワーク６００の例示的なアーキテクチャを示す図である。アーキテクチャ的に見ると、図６に示されるように、典型的なオートエンコーダは、フィードフォワード型の非リカレント・ニューラル・ネットワーク（入力層（ｘによって示される）、出力層（ｘ’によって示される）、および１つまたは複数の完全に接続された隠れ層（図６によって示される例示的なオートエンコーダは３つの完全に接続された隠れ層を有し、そのうちの１つがｚによって示される）を有する）であるが、出力層は入力層と同数のノードを有し、それ自体の入力を再構成することを目的とし、したがって、オートエンコーダは教師なし学習モデルである。すなわち、特徴層（ｚによって示される）はネットワーク６００の入力（ｘによって示される）を再構成し、その後、ｚは入力ｘの圧縮表現として捉えられ得る。

図４に戻ると、ステップ４３０において、獲得された特徴に基づいて、ディープ・ニューラル・ネットワーク、教師あり分類ネットワーク、および再構成ネットワークを全体としてトレーニングし得る。すなわち、全ニューラル・ネットワークのトレーニングは、教師あり分類ネットワーク５１０における分類タスクおよびオートエンコーダ・ベース再構成ネットワーク５２０における再構成タスクによって手引きされ得る。一実施形態では、逆伝搬（Ｂａｃｋ Ｐｒｏｐａｇａｔｉｏｎ、ＢＰ）アルゴリズムを用いることによって、誤差または損失が受け入れられ、両方のタスクから逆伝搬され得、全ニューラル・ネットワークの重みがマルチ・タスク学習の間に調整され得る。ニューラル・ネットワークがマルチ・タスク学習の間に全体としてどのように調整されるのかについての詳細は、後に、図７を参照して説明されることになる。

トレーニングを完全に理解するために、まず、分類ネットワークの分類損失および再構成ネットワークの再構成損失のコンセプトが以下の段落において説明され得る。

一実施形態では、分類損失はトレーニング・データのラベルに従って定義され得る。トリップ・データを一例として取ると、運転者分類損失は、分類タスクを手引きするための教師情報（supervisory information）としての所与のトリップ・セグメント（すなわち、運転者ＩＤ）のラベルによって定義され得る。

事前処理されたトリップ・データをトレーニング・データとして、およびソフトマックス・ベースの分類器を教師あり分類ネットワークとして採用する実施形態では、分類損失は、ソフトマックス回帰出力、および所与の教師情報、例えば、トレーニング・セグメントのラベル（すなわち、運転者ＩＤ）に基づく交差エントロピーによって定義され得る。それゆえ、ソフトマックス分類器は、推定された分類確率と実際の分類確率との間の交差エントロピーをトレーニングの間に最小にするためのものである。

事前処理されたトリップ・データをトレーニング・データとして採用する一実施形態では、再構成損失は誤差項を含み、誤差項は、指定隠れ層から出力された特徴に基づいて決定される。

上述の実施形態に続き、さらなる実施形態では、オートエンコーダ・ベース再構成ネットワークの再構成損失が以下のとおりの式１によって定義され得、それゆえ、運転スタイル特徴層が、例えば、低次元でスパースな特徴を抽出するために用いられ得る。

式１：

式１は、再構成タスクの再構成損失関数の一例であり、損失関数は、予測が実際の値から逸脱する量を定量化する。式１から見ることができるように、損失関数は２つの項を含み、一方の項は誤差項

に対応し、もう一方の項は、正則化のために用いられるノルム項λ｜｜ｓ_ｉ｜｜_１に対応する。

ｘ_ｉによって表現されるデータはＤＮＮの指定隠れ層からの入力であり、ｘ_ｉ’はオートエンコーダ・ベース再構成ネットワークの出力であり、ｓ_ｉは、図６に示される既存のオートエンコーダ・アーキテクチャの符号層「ｚ」に対応し、ｓの特徴空間は、入力ｘよりも低い次元数を有し、このとき、特徴ベクトルｓは入力ｘの圧縮表現と見なされ得る。

以上に示された式１の実施形態では、Ｌ２ノルム、例えば、

が誤差項としてオートエンコーダの再構成損失に適用された。Ｌ２ノルムは、目標値ｘ_ｉと推定値ｘ_ｉ’との差の２乗の合計を最小にする最小２乗として知られる。Ｌ２ノルムを用いることによって，過適合が或る程度回避され得る。

代替的な一実施形態では、Ｌ１ノルム損失関数が損失関数の誤差項として採用され得る。Ｌ１ノルム損失関数は、目標値ｘ_ｉと推定値ｘ_ｉ’との絶対差の合計を基本的に最小にする最小絶対偏差（ｌｅａｓｔ ａｂｓｏｌｕｔｅ ｄｅｖｉａｔｉｏｎ、ＬＡＤ）または最小絶対誤差（ｌｅａｓｔ ａｂｓｏｌｕｔｅ ｅｒｒｏｒ、ＬＡＥ）として知られる。他の種類の誤差関数が用いられてもよいことに留意されたい。

式１の実施形態では、ノルム正則化項が、特徴出力インターフェースの出力をスパースにするために用いられ得る。出力をスパースにすることのほかにも、正則化はまた、過適合を防止するための機械学習における非常に重要な技法である。すなわち，数学的に言えば、係数があまりにも完全に適合して過適合するのを防止するために、正則化項が追加され得る。

正則化項の一実施形態では、損失関数は、Ｌａｓｓｏ正則化としても知られる、Ｌ１ノルム正則化項を追加され得る。Ｌ１ノルムは、特徴をスパースにするために用いられ得る。すなわち、例示的な一実施形態では、Ｌ１ノルムがオートエンコーダ・ベース再構成タスクの損失関数に正則化項として追加され得る。Ｌ１ノルムおよびＬ０ノルムの両方が、特徴をスパースにするために用いられ得るが、比較すると，Ｌ１ノルムが広く用いられており、その理由は、Ｌ１ノルムが、最適化解決策を促進する、Ｌ０ノルムよりも優れた特性を有するためであることに留意されたい。式１の例を参照すると、λ｜｜ｓ_ｉ｜｜_１は、Ｌ１ノルムを本発明の再構成タスクの再構成損失に適用する特定の正則化実装形態であり、特定のＬ１ノルム正則化を用いることによって、ｓはｘのスパースなコンパクト表現になることができ、将来、より優れたクラスタリングのために用いることができる。

その一方で、正則化項の別の代替的な実施形態では、Ｌ２正則化項が同じく損失関数に適用されてもよい。

図７は、本発明の一実施形態に係る、全ニューラル・ネットワークを全体として調整するための方法７００を示すフローチャートである。

ステップ７１０において、トレーニング・データ内のラベル付きデータに基づいて、分類ネットワークの分類損失を決定し得る。一実施形態では、トレーニング・データはラベル付きデータおよびラベルなしデータを含み、ラベル付きデータは、カテゴリ情報などの、意味のある情報をタグ付けされたデータを指す。

ステップ７２０において、分類損失の逆伝搬（ＢＰ）を介して、教師あり分類ネットワークおよびＤＮＮを調整し、第１の調整されたＤＮＮおよび第１の調整された分類ネットワークを獲得し得る。さらに、それゆえ、教師あり分類ネットワークおよび深層学習ネットワークの重みを初期化し、ラベル付きトレーニング・データに基づいて調整し得る。それは、教師あり分類タスクによって提供される情報に基づいて開始され得る、再構成タスクである、別のタスクの学習のための情報ソースの役割を果たす。

ステップ７３０において、全てのトレーニング・データおよび第１の調整された分類ネットワークに基づいて、分類ネットワークの分類損失および再構成ネットワークの再構成損失を決定し得る。分類損失および再構成損失をどのように決定するのかについての詳細は以上においてすでに説明されたため、本明細書を簡潔にするために、それを反復する必要はない。以上において開示された仕方以外に、分類損失および再構成損失を決定する他の仕方が当業者によって採用され得ることに留意されたい。

一実施形態では、トレーニング・データ内のラベル付きデータは教師あり分類ネットワークによって再び獲得されてもよく、分類損失が、調整された教師あり分類ネットワークに基づいて再び決定されてもよい。その一方で、トレーニング・データ内のラベルなしデータはオートエンコーダ・ベース再構成ネットワークによって獲得されてもよく、再構成損失が決定されてもよい。

ステップ７４０において、分類損失および再構成損失のＢＰを介して、第１の調整された分類ネットワーク、第１の調整されたＤＮＮ、オートエンコーダ・ベース再構成ネットワークを調整し、第２の調整されたＤＮＮ、および第２の調整された教師あり分類ネットワーク、および調整されたオートエンコーダ・ベース再構成ネットワークを獲得し得る。さらに、次に、ラベル付きトレーニング・データおよびラベルなしトレーニング・データの両方を含む全ての種類のトレーニング・データに基づいて、全ニューラル・ネットワークの重みを調整し得る。一実施形態では、重みは順次に調整されてもよい。別の実施形態では、重みは同時に調整されてもよく、すなわち、各重みは、異なるタスクのＢＰからの調整値の合計に基づいて調整されてもよい。

次に再び図５を参照すると、ＤＮＮ５３０の指定隠れ層５４０の動的出力ｘがトレーニングの間に取り込まれ得、それゆえ、取り込まれた動的出力ｘが、再構成損失を計算するために用いられ得る。入力ｘごとに、オートエンコーダ・ベース再構成ネットワーク５２０内の再構成タスクの全ての隠れ層における活性化が計算され得、次に、出力ｘ’が、図５に示されるように、再構成ネットワーク５２０の最後の層であり得る、出力層において獲得され得る。再構成損失は、入力ｘからの出力ｘ’の逸脱に基づいて決定され得る。決定された再構成損失は、図５に示される全ニューラル・ネットワークを通じて逆伝搬され得、全ニューラル・ネットワークの重みの更新がバッチの間で遂行され得る。ニューラル・ネットワークが全体として調整され得るため、ニューラル・ネットワークの重みが調整の間に変化するのに従って、再構成目標、すなわち、共有された指定隠れ層５４０の出力ｘは変化する。すなわち、たとえ、同じネットワーク入力を用いても、再構成目標ｘ’は変更され得る。したがって、再構成損失は、ＤＮＮ５３０の指定隠れ層５４０によって出力された動的目標ｘに基づいて計算されるべきである。一実施形態では、指定隠れ層はＤＮＮ５３０の最後の隠れ層であり得る。

さらなる一実施形態では、トレーニングはバッチごとに行われてもよく、各バッチのサイズは経験に基づいて決定されてもよい。バッチ内において、ネットワーク重みは固定されてもよいが、重みの更新がバッチの間で行われ、共有された隠れ層の出力ｘは、次のバッチにおける最新の正味の重みを用いて更新され得る。

結論として、このような再構成タスクは、学習された特徴が、単一の教師あり分類ネットワークまたは単一のオートエンコーダ・ベース再構成ネットワークから学習されたそれらの特徴よりも、未知のデータに対する優れた汎化性能を有することを保証する。

一実施形態では、方法４００は、当該技術分野における技術者の経験に従って決定され得る、所定の回数反復されてもよい。ニューラル・ネットワークが所定の回数だけ反復的にトレーニングされた後に、図８によって示される方法８００を用いて、トレーニングされたニューラル・ネットワークが適格であるかどうか、例えば、トレーニングが完了したかどうかを試験し得る。トレーニングが完了した場合には、特徴出力インターフェースの出力は、抽出された特徴になり得る。一実施形態では、図６を再び参照すると、特徴出力インターフェースは、ＤＮＮ５３０の隠れ層のうちの１つと、再構成ネットワーク５２０の中間隠れ層と、から成る群から選択される。

図８は、本発明の一実施形態に係る、特徴を抽出するためにニューラル・ネットワークを試験するための方法８００を示すフローチャートである。ステップ８１０において、ＤＮＮによって試験データを獲得し得る。試験データはトレーニング・データとは異なる。ステップ８２０において、特徴出力インターフェースから試験データの特徴を獲得し得る。ステップ８３０において、試験データの獲得された特徴に基づいて、クラスタリング／分類を含む少なくとも１つの動作を遂行し得る。クラスタリング／分類は通常のクラスタリング／分類方法によって実施されてもよく、それゆえ、学習されたクラスタリング／分類結果が獲得され得る。

ステップ８４０において、試験データのクラスタリング精度／分類精度を含む少なくとも１つの精度値を算出し得る。通常、精度値は、実際の分類、および学習された分類結果に基づいて決定され得る。同様に、クラスタリング精度は、実際のクラスタ・ラベル情報および推定されたクラスタリング結果に基づいて評価され得る。実際のラベルおよび推定結果に基づいて特定の値をどのように算出するのかは、当業者にとって明白であり得、その詳細は、本明細書を簡潔にするために省略され得る。

ステップ８５０において、クラスタリング／分類精度値のうちの少なくとも１つが所定の閾値よりも大きいことに応じて、トレーニングが完了したと決定し得る。ここで、トレーニングされたネットワークは、トレーニングされたディープ・ニューラル・ネットワーク、トレーニングされた教師あり分類ネットワーク、およびトレーニングされたオートエンコーダ・ベース再構成ネットワークを含み、トレーニングされたネットワークの出力は特徴出力インターフェースの出力である。

適格な特徴抽出器をトレーニングするために、クラスタリング精度または分類精度の所定の閾値が、ニューラル・ネットワークのトレーニングが完了したかどうかをチェックするために定義され得る。

トリップ・データの実装形態では、トレーニング・データはトリップ・データを含み得、各トリップは少なくとも１つのセグメントを含み、本方法は、ＤＮＮによって、セグメントのうちの少なくとも１つをトレーニング・データとして獲得することを含み得る。

図９は、本発明の一実施形態に係る、トレーニングされたニューラル・ネットワークを用いることによってクラスタリングするための方法９００を示すフローチャートを示す。

図９を参照すると、ステップ９１０において、クラスタリングされるべき実際のトリップ・データが、トレーニングされたディープ・ニューラル・ネットワークによって要求されるフォーマットになるよう事前処理され得、クラスタリングされるべき事前処理された実際のトリップ・データはトレーニング・トリップ・データとは異なり得る。一実施形態では、トレーニング・トリップ・データが複数のトレーニング・トリップを含む場合には、試験トリップ・データは複数の試験トリップを含み得、次に、トレーニングされたＤＮＮを用いて、事前処理された実際のトリップ・データから特徴を抽出し得、それゆえ、事前処理された実際のトリップ・データの抽出された特徴に基づいて、クラスタリングされるべき事前処理された実際のトリップ・データをクラスタリングし得る。

ステップ９１０は図４におけるステップ４１０と同様であり、そのため、ここでは、詳細な説明はこのステップ９１０のために省略される。

ステップ９２０において、特徴出力インターフェースから、クラスタリングされるべき事前処理された実際のトリップ・データの特徴を獲得し得る。

一実施形態では、全ニューラル・ネットワークが、上述された方法４００に従ってトレーニングされると、ディープ・ニューラル・ネットワークの隠れ層のうちの１つ、または再構成ネットワークの中間隠れ層、から成る群から選択される、特徴出力インターフェースが決定され得る。

一実施形態では、トレーニングされたディープ・ニューラル・ネットワークの隠れ層のうちの１つ、例えば、最後の隠れ層が特徴出力インターフェースとして採用されてもよく、従来の単一タスクのトレーニングされたネットワークと比べて、抽出された特徴はより優れた分類／クラスタリング性能を有し得る。しかし、ディープ・ニューラル・ネットワークの隠れ層から選択された特徴出力インターフェース、例えば、指定共有層は、以下の別の実施形態と比べて優れた表現にならない場合がある。なぜなら、指定共有層は教師情報に直接接続しており、特徴が未知の運転者のトリップのためにうまく汎化しないためである。

別の実施形態では、オートエンコーダ・ベース再構成ネットワークの中間隠れ層である、符号層が、運転スタイル特徴を抽出するための出力インターフェースとして採用され得る。上述されたように、異なる種類の学習タスクを互いに橋渡しすることによって、低次元でスパースな運転スタイル特徴表現が学習され得、ＤＮＮの指定隠れ層によって出力された特徴と比べて、学習された特徴は、特に、未知の運転者のクラスタリングのために、より優れた分類またはクラスタリング性能を有し得る。

ステップ９３０において、任意のクラスタリング・ネットワークによって、特徴出力インターフェースから獲得された特徴に基づいて、実際のトリップ・データをクラスタリングする。

クラスタリングされるべきデータが、クラスタリングされるべき複数のトリップを含む実施形態では、抽出された運転スタイル特徴に基づいて、少なくとも１つのトリップが固定長の特徴ベクトルに符号化され得る。

一実施形態では、トピック・モデリング／語の袋（Ｂａｇ－ｏｆ－Ｗｏｒｄｓ、ＢＯＷ）の方略が、トリップを符号化するために用いられ得る。トピック・モデリング／語の袋（ＢＯＷ）は、自然言語処理および情報検索（ｉｎｆｏｒｍａｔｉｏｎ ｒｅｔｒｉｅｖａｌ、ＩＲ）において用いられる簡約化表現（simplifying representation）である。トピック・モデリング／語の袋モデリングが本発明に適用される場合には、このとき、各トリップは記事として扱われてもよく、トリップの各セグメントは段落として扱われてもよい。より具体的に言うと、まず、学習された特徴を用いてトリップのセグメントを符号化し得る。すなわち、トピック・モデリング／語の袋（ＢＯＷ）の方略を用いることによって、各セグメントのトピックを獲得し、セグメントを符号化し得る。さらに、次に、トリップの全ての符号化されたセグメントを合計し得、正則化をさらに適用し得、固定長の特徴ベクトルを生成し、トリップを符号化し得、最後に、固定長の特徴ベクトルを各トリップのトピックと見なし得る。

一実施形態では、符号化されたトリップを用いて、運転者クラスタリングが遂行されてもよい。すなわち、ラベルなしトリップのセットを所与として、何人の運転者がこれらのトリップを生成しているのかを決定することができる。トリップ・クラスタリングはトリップ特徴空間内で遂行され得る。すなわち、各トリップは特徴空間内の点と見なされ得る。一実施形態では、トリップは、アフィニティ伝搬、Ｋ－平均法、または他のクラスタリング・アルゴリズムを用いることによってクラスタリングされ得、したがって、運転者の数がクラスタの数から推測され得る。特定のシナリオでは、１台の自動車のトリップのクラスタリング結果は、保険会社が自動車保険料の決定を行うための重要な情報を提供することができる、何人の運転者が自動車を共有しているのかを推測するために用いることもできる。

トリップ特徴を用いる別の実施形態では、運転者識別方法が提供される。すなわち、１人または複数人の既知の運転者のトリップ履歴を所与とすると、新しいトリップがこれらの既知の運転者のうちの１人によって運転されたのか否かを判定することができる。具体的に言うと、トリップ特徴を用いることによって既知の運転者の少なくとも１つのトリップを符号化し得、さらに、類似度ベースのアルゴリズム（例えば、最近傍）を用いて、特徴空間内における新たなトリップと既知の運転者のトリップとの間の類似度計算を遂行することによって入力トリップのラベルを決定し得る。

方法９００の実施形態の実施の詳細が、トリップ・データ・シナリオを参照して説明されたが、本原理は、他の種類のシナリオ、例えば、画像データ、テキスト・データ、音声データ等にも適用可能である。

本開示はクラウド・コンピューティングに関する詳細な説明を含むが、本明細書において述べられる教示の実施はクラウド・コンピューティング環境に限定されないことを理解されたい。むしろ、本発明の諸実施形態は、現在知られている、または将来開発される任意の他の種類のコンピューティング環境と連動して実施される能力を有する。

本発明は、システム、方法、またはコンピュータ・プログラム製品、あるいはその組み合わせであり得る。コンピュータ・プログラム製品は、プロセッサに本発明の諸態様を実施させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体を含み得る。

コンピュータ可読記憶媒体は、命令実行デバイスによる使用のための命令を保持および記憶することができる有形のデバイスであることができる。コンピュータ可読記憶媒体は、例えば、限定するものではないが、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、または上述のものの任意の好適な組み合わせであり得る。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストは、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリー・メモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）、消去可能プログラム可能リード・オンリー・メモリ（ＥＰＲＯＭもしくはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＳＲＡＭ）、ポータブル・コンパクト・ディスク・リード・オンリー・メモリ（ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ、ＤＶＤ）、メモリ・スティック、フロッピー（Ｒ）・ディスク、穿孔カード、または命令が記録された溝内の隆起構造などの、機械的に符号化されたデバイス、ならびに上述のものの任意の好適な組み合わせを含む。コンピュータ可読記憶媒体は、本明細書で使用するとき、電波または他の自由伝搬する電磁波、導波路または他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバ・ケーブルを通過する光パルス）、あるいは電線を通して伝送される電気信号などの、一過性信号自体であると解釈されるべきでない。

本明細書において説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスに、あるいはネットワーク、例えば、インターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、または無線ネットワーク、あるいはその組み合わせを経由して外部コンピュータまたは外部記憶デバイスにダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバ、あるいはその組み合わせを含み得る。各コンピューティング／処理デバイス内のネットワーク・アダプタ・カードまたはネットワーク・インターフェースがネットワークからコンピュータ可読プログラム命令を受信し、コンピュータ可読プログラム命令をそれぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体における記憶のために転送する。

本発明の動作を実施するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ｉｎｓｔｒｕｃｔｉｏｎ－ｓｅｔ－ａｒｃｈｉｔｅｃｔｕｒｅ、ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、あるいはＳｍａｌｌｔａｌｋ（Ｒ）、Ｃ＋＋、もしくは同様のものなどの、オブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語もしくは同様のプログラミング言語などの、従来の手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで書かれた、ソース・コードまたはオブジェクト・コードのいずれかであり得る。コンピュータ可読プログラム命令は完全にユーザのコンピュータ上で実行するか、一部ユーザのコンピュータ上で実行するか、独立型ソフトウェア・パッケージとして実行するか、一部ユーザのコンピュータ上で、且つ一部リモート・コンピュータ上で実行するか、または完全にリモート・コンピュータもしくはサーバ上で実行し得る。後者のシナリオでは、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）またはワイド・エリア・ネットワーク（ＷＡＮ）を含む、任意の種類のネットワークを通じてユーザのコンピュータに接続され得るか、あるいは外部コンピュータへの接続が（例えば、インターネット・サービス・プロバイダを利用してインターネットを通じて）行われてもよい。実施形態によっては、例えば、プログラム可能論理回路機構、フィールド・プログラム可能ゲート・アレイ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、ＦＰＧＡ）、またはプログラム可能論理アレイ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ａｒｒａｙ、ＰＬＡ）を含む電子回路機構が、本発明の諸態様を遂行するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路機構を個別化することによって、コンピュータ可読プログラム命令を実行し得る。

本発明の諸態様は、本明細書において、本発明の諸実施形態に係る方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図またはブロック図あるいはその両方を参照して説明されている。フローチャート図またはブロック図あるいはその両方の各ブロック、ならびにフローチャート図またはブロック図あるいはその両方内のブロックの組み合わせは、コンピュータ可読プログラム命令によって実施され得ることが理解される。

これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラム可能データ処理装置のプロセッサを介して実行する命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックにおいて指定された機能／行為を実施するための手段を生み出すように、汎用コンピュータ、専用コンピュータ、または他のプログラム可能データ処理装置のプロセッサに提供されてマシンを作り出すものであってよい。これらのコンピュータ可読プログラム命令はまた、内部に記憶された命令を有するコンピュータ可読記憶媒体が、フローチャートまたはブロック図あるいはその両方の１つもしくは複数のブロック内で指定された機能／行為の諸態様を実施する命令を含む製造品を構成するように、コンピュータ可読記憶媒体内に記憶され、コンピュータ、プログラム可能データ処理装置、または他のデバイスあるいはその組み合わせに特定の仕方で機能するように指示することができるものであってもよい。

コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラム可能装置、または他のデバイス上で実行する命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックにおいて指定された機能／行為を実施するように、コンピュータ実施プロセスを作り出すために、コンピュータ、他のプログラム可能データ処理装置、または他のデバイス上にロードされ、コンピュータ、他のプログラム可能装置または他のデバイス上で一連の動作ステップを遂行させるものであってもよい。

図面におけるフローチャートおよびブロック図は、本発明の様々な実施形態に係るシステム、方法、およびコンピュータ・プログラム製品の可能な諸実装形態のアーキテクチャ、機能性、および動作を示す。この点に関して、フローチャートまたはブロック図における各ブロックは、指定された論理機能を実施するための１つまたは複数の実行可能命令を含む、コードのモジュール、セグメント、または部分を表し得る。いくつかの代替的実装形態では、ブロック内に記された機能は、図面に記された順序に従わずに生じてもよいことにも留意されたい。例えば、連続して示された２つのブロックは、実際には、実質的に同時に実行されてもよく、またはブロックは、時として、含まれる機能性に依存して、逆の順序で実行されてもよい。また、ブロック図またはフローチャート図あるいはその両方の各ブロック、ならびにブロック図またはフローチャート図あるいはその両方におけるブロックの組み合わせは、指定された機能または行為、あるいは専用ハードウェアおよびコンピュータ命令の組み合わせを遂行する専用ハードウェア・ベースのシステムによって実施され得ることにも留意されたい。

本発明の様々な実施形態の説明が例示の目的のために提示されたが、網羅的であること、または開示された諸実施形態に限定されることを意図されてはいない。当業者には、上述の諸実施形態の範囲および思想から逸脱することなく、多くの変更および変形が明らかである。本明細書において使用される用語は、諸実施形態の原理、実際の適用、または市場において見いだされる技術に対する技術的改善を最もうまく説明するため、あるいは他の当業者が、本明細書において開示される諸実施形態を理解することを可能にするために選定された。

加えて、本発明の好ましい諸実施形態が特定の用語を用いて説明されたが、このような説明は単に例示を目的とするものにすぎず、添付の請求項の思想または範囲から逸脱することなく変更および変形がなされ得ることが理解されるべきである。

Claims (12)

1. ディープ・ニューラル・ネットワーク（ＤＮＮ）によって、トレーニング・データを獲得することであって、前記ディープ・ニューラル・ネットワークが少なくとも１つの隠れ層を含む、前記獲得することと、
   前記少なくとも１つの隠れ層のうちの指定隠れ層から、前記トレーニング・データの特徴を獲得することであって、前記指定隠れ層が、分類タスクのための教師あり分類ネットワーク、および再構成タスクのためのオートエンコーダ・ベース再構成ネットワークにそれぞれ接続されている、前記獲得することと、
   前記獲得された特徴に基づいて、前記ＤＮＮ、前記教師あり分類ネットワーク、および前記再構成ネットワークを全体としてトレーニングすることであって、前記トレーニングが前記分類タスクおよび前記再構成タスクによって導かれる、前記トレーニングすることと、
   を含む方法。
2. 前記ディープ・ニューラル・ネットワークの前記隠れ層のうちの１つ、または前記再構成ネットワークの中間隠れ層、から成る群から選択される、特徴出力インターフェースを決定することをさらに含む、請求項１に記載の方法。
3. 前記ディープ・ニューラル・ネットワークによって試験データを獲得することであって、前記試験データが前記トレーニング・データとは異なる、前記獲得することと、
   前記特徴出力インターフェースから前記試験データの特徴を獲得することと、
   前記試験データの前記獲得された特徴に基づいて、クラスタリングおよび分類を含む少なくとも１つの動作を遂行することと、
   前記試験データのクラスタリング精度および分類精度を含む少なくとも１つの精度値を算出することと、
   前記精度値が所定の閾値よりも大きいことに応じて、前記トレーニングが完了したと決定することであって、前記トレーニングされたネットワークが、前記トレーニングされたディープ・ニューラル・ネットワーク、前記トレーニングされた教師あり分類ネットワーク、および前記トレーニングされたオートエンコーダ・ベース再構成ネットワークを含み、前記トレーニングされたネットワークの出力が前記特徴出力インターフェースの出力である、前記決定することと、
   をさらに含む、請求項２に記載の方法。
4. 前記トレーニングが、
   前記トレーニング・データ内のラベル付きデータに基づいて、前記教師あり分類ネットワークの分類損失を決定することと、
   前記分類損失の逆伝搬（ＢＰ）を介して、前記教師あり分類ネットワークおよび前記ＤＮＮを調整し、第１の調整されたＤＮＮおよび第１の調整された教師あり分類ネットワークを獲得することと、
   全ての前記トレーニング・データおよび前記第１の調整された教師あり分類ネットワークに基づいて、前記教師あり分類ネットワークの分類損失および前記オートエンコーダ・ベース再構成ネットワークの再構成損失を決定することと、
   前記分類損失および前記再構成損失のＢＰを介して、前記第１の調整された教師あり分類ネットワーク、前記第１の調整されたＤＮＮ、前記オートエンコーダ・ベース再構成ネットワークを調整し、第２の調整されたＤＮＮ、および第２の調整された教師あり分類ネットワーク、および調整されたオートエンコーダ・ベース再構成ネットワークを獲得することと、
   を含む、請求項１に記載の方法。
5. 前記分類損失が前記トレーニング・データのラベルに従って定義され、前記再構成損失が、前記指定隠れ層から出力された前記特徴に基づいて決定された誤差項を含む、請求項４に記載の方法。
6. 前記再構成損失が正則化項をさらに含み、前記正則化項がＬ１ノルムに基づいて決定される、請求項５に記載の方法。
7. 前記トレーニング・データがトリップ・データを含み、各トリップが少なくとも１つのセグメントを含み、前記方法が、
   前記ＤＮＮによって、前記セグメントのうちの少なくとも１つを前記トレーニング・データとして獲得することをさらに含む、請求項３に記載の方法。
8. 前記試験データがトリップ・データを含み、各トリップが少なくとも１つのセグメントを含み、前記方法が、
   前記ＤＮＮによって、前記セグメントのうちの少なくとも１つを前記試験データとして獲得することをさらに含む、請求項７に記載の方法。
9. コンピュータ・システムであって、
   プロセッサと、
   前記プロセッサに結合されたコンピュータ可読メモリと、
   を備え、請求項１～８の何れか１項に記載の方法の各ステップをコンピュータ・ハードウェアによる手段として構成した、コンピュータ・システム。
10. 請求項１～８の何れか１項に記載の方法の各ステップをコンピュータに実行させる、コンピュータ・プログラム。
11. 請求項１０に記載の前記コンピュータ・プログラムをコンピュータ可読記憶媒体に記録した、記憶媒体。
12. ディープ・ニューラル・ネットワーク（ＤＮＮ）によって、トレーニング・データを獲得することであって、前記ディープ・ニューラル・ネットワークが少なくとも１つの隠れ層を含む、前記獲得することと、
    前記少なくとも１つの隠れ層のうちの指定隠れ層から、前記トレーニング・データの特徴を獲得することであって、前記指定隠れ層が、分類タスクのための教師あり分類ネットワーク、および再構成タスクのためのオートエンコーダ・ベース再構成ネットワークにそれぞれ接続されている、前記獲得することと、
    前記獲得された特徴に基づいて、前記ＤＮＮ、前記教師あり分類ネットワーク、および前記再構成ネットワークを全体としてトレーニングすることであって、前記トレーニングが前記分類タスクおよび前記再構成タスクによって導かれる、前記トレーニングすることと、
    を含む方法。

Images