JP7744719B2 - 決定論的学習映像シーン検出 - Google Patents

Description

本発明は、一般に、映像シーン検出の分野に関し、より詳細には、映像シーン検出におけるニューラルネットワークの使用に関するものである。

一般に、映像シーン検出モデルは、映像シーンにおける視覚的特徴、テキスト的特徴、音声的特徴の表現を学習するために決定論的アルゴリズムを利用する。

本発明の実施形態は、映像シーン検出機械学習モデルのための方法、システム、及びプログラム製品を提供する。

第１の実施形態は、映像シーン検出機械学習モデルのための方法を包含する。１つまたは複数のプロセッサは、映像の音声及び映像コンポーネントに対応する特徴ベクトルを受信する。１つまたは複数のプロセッサは、特徴ベクトルを、訓練されたニューラルネットワークへの入力として提供する。１つまたは複数のプロセッサは、訓練されたニューラルネットワークから、映像のショットに対応する複数の出力特徴ベクトルを受信する。１つまたは複数のプロセッサは、出力特徴ベクトルに対して最適なシーケンスのグループ化を適用する。１つまたは複数のプロセッサは、適用された最適なシーケンスのグループ化に少なくとも部分的に基づいて、訓練されたニューラルネットワークをさらに訓練する。

第２の実施形態は、映像シーン検出機械学習モデルのためのコンピュータプログラム製品を包含する。コンピュータプログラム製品は、１つまたは複数のコンピュータ可読記憶媒体と、１つまたは複数のコンピュータ可読記憶媒体に格納されたプログラム命令とを含む。プログラム命令は、映像の音声及び映像コンポーネントに対応する特徴ベクトルを受信するプログラム命令を含む。プログラム命令は、訓練されたニューラルネットワークへの入力として特徴ベクトルを提供するためのプログラム命令を含む。プログラム命令は、訓練されたニューラルネットワークから、映像のショットに対応する複数の出力特徴ベクトルを受信するプログラム命令を含む。プログラム命令は、出力特徴ベクトルに最適なシーケンスのグループ化を適用するプログラム命令を含む。プログラム命令は、適用された最適なシーケンスのグループ化に少なくとも部分的に基づいて、訓練されたニューラルネットワークをさらに訓練するプログラム命令を含む。

第３の実施形態は、映像シーン検出機械学習モデルのためのコンピュータシステムを包含する。コンピュータシステムは、１つまたは複数のコンピュータプロセッサと、１つまたは複数のコンピュータ可読記憶媒体と、１つまたは複数のプロセッサの少なくとも１つによる実行のためにコンピュータ可読記憶媒体に格納されたプログラム命令とを含む。プログラム命令は、映像の音声及び映像コンポーネントに対応する特徴ベクトルを受信するプログラム命令を含む。プログラム命令は、訓練されたニューラルネットワークへの入力として特徴ベクトルを提供するためのプログラム命令を含む。プログラム命令は、訓練されたニューラルネットワークから、映像のショットに対応する複数の出力特徴ベクトルを受信するプログラム命令を含む。プログラム命令は、出力特徴ベクトルに最適なシーケンスのグループ化を適用するプログラム命令を含む。プログラム命令は、適用された最適なシーケンスのグループ化に少なくとも部分的に基づいて、訓練されたニューラルネットワークをさらに訓練するプログラム命令を含む。

本発明の例示的な実施形態による、コンピューティング装置が機械学習を通じてマルチメディア検索エンジンを生成する、コンピューティング環境を示す機能ブロック図である。 本発明の例示的な実施形態による、図１の環境内のコンピューティング装置で、マルチメディア検索エンジンのためのシステムを実行する動作処理を示す図である。 本発明の例示的な実施形態による、図１の環境内のコンピューティング装置で、マルチメディア検索エンジンのためのシステムを実行する動作プロセッサを示す図である。 本発明の少なくとも１つの実施形態による映像シーン検出を決定するシステムを実行する動作処理を示す図である。 本発明の少なくとも１つの実施形態による、距離行列のブロック図である。 本発明の少なくとも１つの実施形態による、距離行列の隣接ブロック図である。 本発明の少なくとも１つの実施形態によるクラウドコンピューティング環境を示す図である。 本発明の少なくとも１つの実施形態による抽象化モデルレイヤを示す図である。 本発明の例示的な実施形態による、図１に描かれたコンピューティング環境内の１つまたは複数のコンピューティング装置のコンポーネントのブロック図である。

本発明の詳細な実施形態は、添付の図面を参照して本明細書に開示される。開示された実施形態は、本発明の潜在的な実施形態を単に例示するものであり、様々な形態を取り得ることを理解されたい。加えて、様々な実施形態に関連して与えられる各例は、例示的であることを意図しており、制限的なものではない。さらに、図は必ずしも縮尺通りではなく、いくつかの特徴は、特定の構成要素の詳細を示すために誇張されている場合がある。したがって、本明細書に開示された特定の構造的及び機能的な詳細は、限定的に解釈されるものではなく、単に、本発明を様々に採用することを当業者に教えるための代表的な基礎として解釈されるものである。

本明細書における「一実施形態」、「実施形態」、「例示的実施形態」等への言及は、記載された実施形態が特定の特徴、構造、又は特性を含み得るが、全ての実施形態が必ずしも特定の特徴、構造、又は特性を含まない可能性があることを示すものである。さらに、このようなフレーズは、必ずしも同じ実施形態を指すものではない。さらに、特定の特徴、構造、または特性が実施形態に関連して記載されている場合、明示的に記載されているかどうかにかかわらず、他の実施形態に関連してそのような特徴、構造、または特性に影響を与えることは当業者の知識の範囲内であると提出される。

本発明の実施形態は、映像セグメントをシーンに分割し、さらにそれらのシーンを分類することを含む映像シーン検出モデルの精度を向上させるものである。映像シーン検出モデルに対する既知の解決策は、映像セグメント及びシーンに関してデータを収集し、次に、それらの映像セグメント及びシーンから視覚的特徴及びテキスト的特徴を抽出する。一般に、映像シーン検出の注釈されたデータの量が限られているため、誤差逆伝播法を介して完全に機能する機械学習モデルを作成するアプローチは存在しないことが知られている。

可能な解決策は教師なしアプローチを提供するが、一般的に、これらの可能な解決策は、視覚的な単語のカテゴリの記述子のキーフレームの類似性を使用してシーンにショットをグループ化し、よりロバストな記述子を提供するために量子化法が使用されている。グループ化は、ショットまたは短いシーンを一緒に結合するかどうかを決定するスライディングウィンドウアルゴリズムを使用して実行される。一般に、深い特徴のシーケンスは、シーンにクラスタリングされる。リンキングショットは、グラフベースの手法と同等となり得るオーバーラップリンク法を用いて結合される。さらに、評価は単一の視点に対して行われる。一般に、可能な解決策は、距離測定のシーン境界を近似するためにスペクトルクラスタリングを適用する深いシャムネットワーク（例えば、機械学習モデル）を利用して距離測定を学習する。映像を表現するための類似性メトリックのために、視覚的特徴及びテキスト的特徴の共同表現が学習される。しかしながら、本発明の実施形態は、シーン分割動作への学習パイプラインを提供し、ここで、学習は、クラスタ埋め込みと同様に、分割段階から切り離されたと見なすことができる。

本発明の実施形態は、機械学習に基づかないシーン分割解決策、具体的には、最適なシーケンスのグループ化、を教師付き機械学習と組み合わせて、組み合わせたロバストシーン分割解決策を形成することによって、前述の解決策を改善する。このようにして、本明細書でさらに説明するように、本発明の実施形態は、両方のシーン分割方法の利点を組み合わせると同時に、それらの既知の欠陥の多くを回避する。

次に、本発明について、図を参照しながら詳細に説明する。

図１は、本発明の一実施形態による、一般に１００と指定されるコンピューティング環境を示す機能ブロック図である。コンピューティング環境１００は、ネットワーク１１０を介して接続されたコンピュータシステム１２０及びストレージエリアネットワーク（ＳＡＮ）１３０を含む。コンピュータシステム１２０は、シーン分割プログラム１２２、機械学習モデル１２４、最適なシーケンスのグループ化プログラム１２６、及びコンピュータインタフェース１２８を含む。ストレージエリアネットワーク（ＳＡＮ）１３０は、サーバアプリケーション１３２とデータベース１３４を含む。

本発明の様々な実施形態において、コンピュータシステム１２０は、スタンドアロン装置、サーバ、ラップトップコンピュータ、タブレットコンピュータ、ネットブックコンピュータ、パーソナルコンピュータ（ＰＣ）、パーソナルデジタルアシスタント（ＰＤＡ）、デスクトップコンピュータ、またはデータを受信、送信、および処理できる任意のプログラマブル電子装置となり得るコンピューティング装置である。一般に、コンピュータシステム１２０は、機械可読プログラム命令及び様々な他のコンピュータシステム（不図示）との通信を実行することができる任意のプログラマブル電子装置又はプログラマブル電子装置の組合せを表す。別の実施形態では、コンピュータシステム１２０は、シームレスなリソースの単一のプールとして機能するようにクラスタ化されたコンピュータ及びコンポーネントを利用するコンピューティングシステムを表す。一般に、コンピュータシステム１２０は、様々な他のコンピューティングシステム（不図示）にアクセス可能な任意のコンピューティング装置又は装置の組み合わせとすることができ、シーン分割プログラム１２２、機械学習モデル１２４、最適なシーケンスのグループ化プログラム１２６、及びコンピュータインタフェース１２８を実行することが可能である。コンピュータシステム１２０は、図１に関してさらに詳細に説明するように、内部および外部のハードウェアコンポーネントを含むことができる。

この例示的な実施形態では、シーン分割プログラム１２２、機械学習モデル１２４、最適なシーケンスのグループ化プログラム１２６、及びコンピュータインタフェース１２８は、コンピュータシステム１２０上に格納される。しかしながら、他の実施形態では、シーン分割プログラム１２２、機械学習モデル１２４、最適なシーケンスのグループ化プログラム１２６、及びコンピュータインタフェース１２８は、外部に格納され、ネットワーク１１０などの通信ネットワークを通じてアクセスされる。ネットワーク１１０は、例えば、ローカルエリアネットワーク（ＬＡＮ）、インターネットなどのワイドエリアネットワーク（ＷＡＮ）、またはその組み合わせとすることができ、有線、無線、光ファイバ、または当技術分野で知られている他の任意の接続を含むことができる。一般に、ネットワーク１１０は、本発明の所望の実施形態に従って、コンピュータシステム１２０、ＳＡＮ１３０、及び様々な他のコンピュータシステム（不図示）間の通信をサポートする接続及びプロトコルの任意の組合せとすることができる。

本発明の、様々な実施形態において、様々な他のコンピュータシステム（不図示）は、スタンドアロン装置、サーバ、ラップトップコンピュータ、タブレットコンピュータ、ネットブックコンピュータ、パーソナルコンピュータ（ＰＣ）、デスクトップコンピュータ、またはデータを受信、送信、および処理できる任意のプログラム可能電子装置であり得る。別の実施形態では、様々な他のコンピュータシステムは、シームレスなリソースの単一のプールとして機能するようにクラスタ化されたコンピュータ及びコンポーネントを利用するコンピューティングシステムを表す。一般に、様々な他のコンピュータシステムは、コンピュータシステム１２０、ＳＡＮ１３０、及びネットワーク１１０にアクセスし、シーン分割プログラム１２２、機械学習モデル１２４、最適なシーケンスのグループ化プログラム１２６、及びコンピュータインタフェース１２８を実行することができる任意のコンピュータ装置又は装置の組み合わせであり得る。他の様々なコンピュータシステムは、図１に関して描かれ、さらに詳細に説明されるように、内部及び外部のハードウェアコンポーネントを含んでもよい。

図１に描かれた実施形態では、シーン分割プログラム１２２、機械学習モデル１２４、および最適なシーケンスのグループ化プログラム１２６は、少なくとも部分的に、サーバアプリケーション１３２へのアクセスを有し、コンピュータシステム１２０に格納されたデータをＳＡＮ１３０、および他の様々なコンピュータシステム（不図示）に伝達することができる。より具体的には、シーン分割プログラム１２２は、コンピュータシステム１２０もしくはデータベース１３４またはこれらの組み合わせに格納されたデータへのアクセスを有するコンピュータシステム１２０のユーザを定義する。

シーン分割プログラム１２２は、説明の簡略化のために図１に描かれている。本発明の様々な実施形態において、シーン分割プログラム１２２は、コンピュータシステム１２０上で実行される論理演算を表し、コンピュータインタフェース１２８は、シーン分割プログラム１２２に従って管理及び実行されるこれらの論理演算を閲覧する能力を管理する。様々な実施形態において、シーン分割プログラム１２２は、機械学習モデル１２４及び最適なシーケンスグループ化プログラム１２６を含むが、これらに限定されるものではない。いくつかの実施形態において、機械学習モデル１２４は、入力と出力（Ｉ／Ｏ）を処理し分析する認知ＡＩシステムを表す。さらに、機械学習モデル１２４は、認知ＡＩ処理を実行する際に、分析されたＩ／Ｏから学習し、分析動作に基づく距離行列を生成するように動作するが、これに限定されるものではない。様々な実施形態において、最適なシーケンスのグループ化プログラムは、映像シーンの検出を解くための決定論的最適化定式を表し、この定式は、ショット表現（すなわち、映像のショット）の距離行列を取り、シーン内距離に関するコスト関数を与えて最適分割を計算する。

コンピュータシステム１２０は、コンピュータインタフェース１２８を含む。コンピュータインタフェース１２８は、コンピュータシステム１２０とＳＡＮ１３０との間のインタフェースを提供する。いくつかの実施形態では、コンピュータインタフェース１２８は、グラフィカルユーザインタフェース（ＧＵＩ）またはウェブユーザインターフェース（ＷＵＩ）であり得、テキスト、ドキュメント、ウェブブラウザ、ウィンドウ、ユーザオプション、アプリケーションインターフェースおよび操作の指示を表示し得、プログラムがユーザに提示する情報（グラフィック、テキストおよびサウンドなど）およびユーザがプログラムの制御に用いる制御シーケンスが含まれる。いくつかの実施形態では、コンピュータシステム１２０は、コンピュータシステム１２０上で動作するクライアントベースのアプリケーションを介して、ＳＡＮ１３０または他の様々なコンピュータシステムから通信されるデータにアクセスする。例えば、コンピュータシステム１２０は、コンピュータシステム１２０とＳＡＮ１３０との間のインタフェースを提供するモバイルアプリケーションソフトウェアを含む。

ストレージエリアネットワーク（ＳＡＮ）１３０は、サーバアプリケーション１３２及びデータベース１３４を含むストレージシステムである。ＳＡＮ１３０は、１つまたは複数のコンピューティング装置、サーバ、サーバクラスタ、ウェブサーバ、データベース、及びストレージ装置を含むことができるが、これらに限定されるものではない。ＳＡＮ１３０は、ネットワーク１１０などのネットワークを介して、コンピュータシステム１２０、および他の様々なコンピューティング装置（不図示）と通信するように動作する。例えば、ＳＡＮ１３０は、機械学習モデル１２４と通信して、コンピュータシステム１２０と、ネットワーク１１０に接続されている他の様々なコンピューティング装置（不図示）との間でデータを転送する。ＳＡＮ１３０は、本明細書に記載される機能を提供するために、ローカルＩｏＴネットワーク、すなわち、コンピュータシステム１２０を含むが、これに限定されない様々なコンピューティング装置で構成されるネットワークに通信可能に接続される任意のコンピューティング装置または装置の組合せであり得る。ＳＡＮ１３０は、図８に関して説明されるように、内部および外部のハードウェアコンポーネントを含むことができる。本発明の実施形態は、図１が任意の数のコンピューティング装置、サーバ、データベース、もしくはストレージ装置またはこれらの組み合わせを含み得ることを認識し、本発明は、図１に描かれているものだけに限定されない。このように、いくつかの実施形態では、ＳＡＮ１３０の特徴および機能の一部または全部が、コンピュータシステム１２０もしくは別のコンピューティング装置またはこれらの組み合わせの一部として含まれる。同様に、いくつかの実施形態では、コンピュータシステム１２０の特徴のいくつかは、ＳＡＮ１３０もしくは別のコンピューティング装置またはこれらの組み合わせの一部として含まれる。

さらに、いくつかの実施形態では、コンピュータシステム１２０およびＳＡＮ１３０は、クラウドコンピューティングプラットフォームを表すか、またはその一部である。クラウドコンピューティングは、設定可能なコンピューティングリソースの共有プール（例えばネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、記憶装置、アプリケーション、仮想マシンおよびサービス）へ、簡便かつオンデマンドのネットワークアクセスを可能にするためのサービス提供のモデルであり、リソースは、最小限の管理労力または最小限のサービスプロバイダとのやり取りによって速やかに準備（provision）およびリリースできるものである。クラウドモデルは、オンデマンド・セルフサービス、ブロード・ネットワークアクセス、リソースプーリング、迅速な柔軟性（elasticity）、および測定されるサービスなどの特性を含み、サービスとしてのプラットフォーム（ＰａａＳ）モデル、サービスとしてのインフラストラクチャ（ＩａａＳ）モデル、およびサービスとしてのソフトウェア（ＳａａＳ）モデルを含むサービスモデルによって表され、プライベートクラウド、コミュニティクラウド、パブリッククラウド、およびハイブリッドクラウドとして含む種々の導入モデルとして実装することが可能でありうる。

ＳＡＮ１３０は、例示的な簡略化のために図１に描かれている。しかしながら、様々な実施形態において、ＳＡＮ１３０は、サーバアプリケーション１３２の機能に従って管理される任意の数のデータベースを含み得ることが理解されよう。一般に、データベース１３４はデータを表し、サーバアプリケーション１３２は、別の物理リソースまたは仮想リソースに関して特定のアクションを取る能力を提供し、データを使用および変更する能力を管理するコードを表す。代替の実施形態では、シーン分割プログラム１２２は、サーバアプリケーション１３２がデータベース１３４にアクセスする、前述の特徴の任意の組み合わせを表すこともできる。本発明の様々な態様を説明するために、機械学習モデル１２４がローカルＩｏＴネットワークのうちの１つまたは複数を表すが、これに限定されない、サーバアプリケーション１３２の例が提示される。

いくつかの実施形態では、サーバアプリケーション１３２およびデータベース１３４は、ＳＡＮ１３０に格納される。しかしながら、様々な実施形態において、サーバアプリケーション１３２及びデータベース１３４は、外部に格納され、上述したように、ネットワーク１１０などの通信ネットワークを介してアクセスすることができる。

本発明の様々な実施形態において、シーン分割プログラム１２２は、映像シーン検出モデルであり、シーン分割プログラム１２２は、映像を意味的な時間的チャプタに分割する。様々な実施形態において、機械学習モデル１２４は、最適なシーケンスのグループ化アルゴリズム（例えば、最適なシーケンスのグループ化プログラム１２６）から学習する機械学習モデルを表し、ここで、学習は、意味的時間的チャプタへの映像分割の結果を向上させることに向けられる。シーン分割プログラム１２２は、誤差逆伝播法を通じて映像分割の特徴表現を提供し、特徴表現の変更が最適なシーケンスのグループ化アルゴリズムの解決策に及ぼす影響が測定される。

様々な実施形態において、シーン分割プログラム１２２は、映像解析のための２０４８次元視覚バックボーン特徴抽出器としてｉｎｃｅｐｔｉｏｎ－ｖ３アーキテクチャを利用し、音声セグメントを１２８次元ベクトルに符号化するためにＶＧＧｉｓｈネットワークを利用する。本発明の様々な実施形態において、コンピュータシステム１２０は、機械学習モデルが入力／出力（Ｉ／Ｏ）データ、ならびにニューロンの複数の隠れ層（すなわち、整流線形ユニット（ＲＥＬＵ）層）からなる機械学習モデル（たとえば、ニューラルネットワーク）を表す機械学習モデル１２４を含む。様々な実施形態において、４つの完全連結ニューラルネットワーク層は、映像シーンを意味的な時間的チャプタに分割するために利用される。いくつかの実施形態では、４つの層が視覚学習に利用され（例えば、３０００、３０００、１０００、１００ニューロン）、４つの層が音声学習に利用される（例えば、２００、２００、１００、２０ニューロン）。様々な実施形態において、機械学習モデル１２４は、少なくとも、視覚学習のための４つの層と、音声学習のための４つの層とに、バッチ正規化を適用する。さらに、様々な実施形態において、機械学習モデル１２４は、出力層を除くニューラルネットワークの全層にＲｅＬＵ活性化を適用する。様々な実施形態において、機械学習モデル１２４は、最適化フレームワークを利用して、ニューラルネットワークを５×１０^－３の学習率で訓練する。当業者であれば、学習率が勾配を乗じた単位無しの比率であることを理解するであろう。機械学習モデル１２４は、ニューラルネットワークの過学習を避けるために停止基準を適用し、訓練損失が初期値の２５％に減少したときにニューラルネットワークの訓練モジュールが中止される。さらに、機械学習モデル１２４は、下記式（７）のコサイン距離（Δ）を０と１の間で正規化する。式（７）の値パラメータであるマージン（α）を０．５に選択する。さらに、以下に定義するロングエルボーアプローチが、機械学習モデル１２４によって利用され、映像ファイルからシーンの数を推定する（例えば、意味的な時間的チャプタ）。最適化フレームワークは、機械学習モデルのパラメータを学習するための勾配降下またはＡＤＡＭ最適化を含むが、これらに限定されるものではない。

様々な実施形態において、機械学習モデル１２４は、距離行列のブロック対角を生成するために、映像を意味的な時間的チャプタに分割し、距離行列は、シーン内距離を表わす。

本発明の様々な実施形態において、機械学習モデル１２４は、異なるシーンに属するショットと比較して、同じシーンに属するショットの類似性を計算する。様々な実施形態において、シーンの類似性は、距離行列として表され、一般に、映像の同じシーンに属するショットが異なるシーンに属するショットよりも低い距離値を有する可能性が高いことを表すために、ブロック対角構造が生成される。様々な実施形態において、最適なシーケンスのグループ化プログラム１２６は、最適なシーケンスのグループ化アルゴリズムを利用して、ブロック対角線構造によって表される距離行列の分割を、最も低いシーン内距離で達成する。

本発明の様々な実施形態において、最適なシーケンスのグループ化プログラム１２６は、ログエルボーアプローチ、ギャップ統計、または当技術分野で、所定のデータ点におけるクラスタの数を推定するための既知の推定のための別の方法のいずれかを使用して、ｋの分割数を推定する。

本発明の様々な実施形態において、最適なシーケンスのグループ化プログラム１２６は、上で特定した式（１）～式（５）の計算に従い、距離行列におけるブロック対角線構造を強調する。様々な実施形態において、最適なシーケンスのグループ化プログラム１２６は、距離行列におけるブロック対角構造を強化するために、ブロック対角損失を適用する。

本発明の実施形態は、映像シーンの分割から抽出された特徴が、埋め込みを出力する完全連結ニューラルネットワークを介して供給されることを提供する。様々な実施形態において、埋め込みは、ビデオシーンの分割が決定される最適なシーケンスのグループ化アルゴリズムを利用して計算される。最適なシーケンスのグループ化プログラム１２６は、映像シーンの分割における誤差を測定することによって損失を計算し、最適なシーケンスのグループ化プログラム１２６は、損失を埋め込み出力に直接戻すのとは対照的に、最適なシーケンスのグループ化アルゴリズムを介して損失を逆伝播させる。

本発明の実施形態は、映像シーン検出に関連する学習のためのニューラルネットワークに適用される、トリプレット損失、ブロック対角損失、そしてより具体的には分割確率損失を含むシステムを提供する。様々な実施形態において、トリプレット損失及びブロック対角損失は、同じシーンからのショット間の距離を最小化し、異なるシーンに属するショット間の距離を上げるよう努める。トリプレット損失とブロック対角損失との違いは、ブロック対角損失は、最適な逐次的グループ化アルゴリズムの性能を向上させるために、ブロック対角構造を強化するように努めることである。トリプレット損失が距離サンプルに着目するのに対し、ブロック対角損失は完全な構造に着目する。

様々な実施形態において、３つの損失は、距離行列の勾配に影響を与える。いくつかの実施形態において、トリプレット損失は、距離の個々の値に依存し、ブロック対角損失は、グランドトゥルースシーンのブロック対角構造全体に重点を置き、分割確率損失は、分割点の周りに焦点を当てたローカルな影響を有する。分割確率損失については、これはシーンの分割の平均確率の値を重視する定式化の直接的な結果である。

図２は本発明の例示的な実施形態による、コンピューティング環境１００におけるシーン分割プログラム１２２の動作を表す、フローチャート２００である。図２はまた、機械学習モデル１２４とサーバアプリケーション１３２との間の特定の相互作用を表している。いくつかの実施形態では、図２に描かれた動作は、コンピュータシステム１２０上で実行される最適なシーケンスのグループ化プログラム１２６の特定の論理動作の出力を組み込んでいる。図１は、１つの実装の例示を提供し、異なる実施形態が実装され得る環境に関していかなる制限も示唆しないことを理解されたい。描かれた環境に対する多くの変更がなされ得る。一実施形態において、図２に描かれた一連の動作は、任意の順序で実行することができる。別の実施形態では、図２に描かれた一連の動作は、同時に実行することができる。さらに、図２に描かれた一連の動作、は、任意の動作で終了させることができる。先に述べた特徴に加えて、図２に描かれた、任意の動作は、いつでも再開することができる。

いくつかの実施形態では、機械学習モデル１２４は、映像ファイルを意味的時間的チャプタに分割し、機械学習モデル１２４は、最適な逐次的グループ化及び深層学習モジュールを利用して、機械学習モデル１２４によって出力されたブロック対角構造によって表される距離行列に基づいて、映像ショットもしくはシーン（例えば、意味的時間チャプタ）またはこれらの組み合わせの類似性をクラスタリングして特定するが、これだけに限定されない。

動作２０２において、シーン分割プログラム１２２は、映像ファイルの映像セグメントを分析する。様々な実施形態において、シーン分割プログラム１２２は、データベース１３４から映像ファイルを受信する。

動作２０４において、シーン分割プログラム１２２は、機械学習モデル１２４（例えば、深層学習ニューラルネットワーク）への入力のために、映像セグメントの視覚及び音声映像コンポーネント、並びにベクトルを符号化する。様々な実施形態において、シーン分割プログラム１２２は、２０４８次元の視覚的バックボーン特徴抽出器を含む事前に訓練されたＩｎｃｅｐｔｉｏｎ－ｖ３アーキテクチャを利用する。いくつかの実施形態では、シーン分割プログラム１２２は、映像のショットに存在するオブジェクト、キャラクター、天候パターン、活動（例えば、旅行、食事など）、感情移入などを含むが、これらに限定されない特徴を抽出する。さらに、様々な実施形態において、シーン分割プログラム１２２、映像セグメントに関連するオーディオセグメントを１２８次元ベクトルに符号化する。本発明の実施形態は、映像セグメントおよび音声セグメントをそれぞれ２０４８次元および１２８次元のベクトルに符号化することが、深層学習ニューラルネットワークの目的のためであることを認識する。機械学習モデル１２４は、視覚セグメントについて４つのニューラルネットワーク層（例えば、３０００、３０００、１０００、１００）を接続し、音声セグメントについて４つのニューラルネットワーク層（例えば、２００、２００、１００、２０）を接続する。様々な実施形態において、機械学習モデル１２４は、深層学習ニューラルネットワーク内のすべての層にバッチ正規化を適用し、機械学習モデル１２４は、出力層を除く深層学習ニューラルネットワークのすべての層にＲｅＬＵ活性化を適用する。

動作２０６において、シーン分割プログラム１２２は、符号化された映像および音声セグメントベクトルを、訓練された深層学習ニューラルネットワークに提供する。この動作において、機械学習モデル１２４（例えば、深層学習ニューラルネットワーク）は、入力として、映像ファイルの映像および音声セグメントのそれぞれのベクトルを受信する。これに応答して、機械学習モデル１２４は、出力として、ショットが同じシーンにあることの尤度に基づき、一般的にグループ化されたショット特徴ベクトルを生成する。例えば、これらの実施形態において、互いに比較的近いベクトルを有するショットは、同じシーンにある可能性が高い。

様々な実施形態において、シーン分割プログラム１２２は、映像ファイルの映像セグメントを検出するために、オープン映像シーン検出（ＯＶＳＤ）データセットを含むがこれに限定されない注釈された映像シーンデータセットを用いて機械学習モデル１２４を最初に訓練する。

動作２０８において、シーン分割プログラム１２２は、機械学習モデル１２４の出力（即ち、ショット特徴ベクトル）から距離行列を生成する。様々な実施形態において、ブロック対角構造が、少なくとも、距離行列に基づいて生成される。様々な実施形態において、シーン分割プログラム１２２は、ブロック対角構造を生成し、相対的な類似度が高いショットは、類似度が低いショットよりも明るい強度が割り当てられる。様々な実施形態において、各対角ブロック間の距離は、ショットのシーケンスを表す。いくつかの実施形態において、暗いブロックは、低い内距離を有するショットのシーケンスであり、これは、映像のシーンを示している可能性が高い。後述する後続の動作において、シーン分割プログラム１２２は、ブロック対角構造によって表される距離行列を利用し、マルチモーダルな最適な逐次的グループ化（例えば、最適なシーケンスのグループ化プログラム１２６）を適用して、視覚及び音声埋め込み及び映像ファイル内の種々のショットの距離行列の表現の精度をさらに向上させる。様々な実施形態において、式（１）～（６）（例えば、マルチモーダルな最適なシーケンスのグループ化）は、映像のショット間の距離を提供するブロック対角構造によって表される特徴ベクトルのデータに対して適用される。

図３は、本発明の例示的な実施形態による、コンピューティング環境１００のための、受け取った距離行列に基づいてシーン境界を決定するための動作を描写するフローチャートである。より具体的には、この実施形態では、図３は、コンピュータシステム１２０上で実行されるシーン分割プログラム１２２の全体的な動作３００を表している。また、図３は、機械学習モデル１２４とサーバアプリケーション１３２との間の特定の相互作用も表している。さらに、動作３００は、２００の組み合わせられた全体的な動作の一部又は全部を含むことができる。様々な実施形態において、一連の動作３００は、動作２００と同時に実行することができる。図３は、１つの実装の例示を提供し、異なる実施形態が実装され得る環境に関していかなる制限も示唆しないことを理解されたい。描かれた環境に対する多くの変更がなされ得る。一実施形態では、図３に描かれた一連の動作は、任意の順序で実行することができる。別の実施形態では、図３に描かれた一連の動作は、同時に実行され得る。さらに、図３に描かれた一連の動作、は、任意の動作で終了させることができる。言及された特徴に加えて、図３に描かれた、任意の動作は、任意の時間に再開することができる。

動作３０２において、最適なシーケンスのグループ化プログラム１２６は、動作２０８において生成された距離行列に基づいて、最適なシーケンスのグループ化及び確率的分割損失を決定する。様々な実施形態において、最適なシーケンスのグループ化プログラム１２６は、距離行列から、映像シーンから抽出された類似の特徴を有する様々なショットのシーケンスを決定する。さらに、最適なシーケンスのグループ化プログラム１２６は、対角ブロック構造から、複数のショットを含むシーンの尤度を示す低い値を示す１つまたは複数のブロックを特定する。本発明の実施形態は、対角ブロック構造が距離行列の視覚的表現であり、距離行列が映像シーン間の内距離を表す値を表すことを提供する。様々な実施形態において、最適なシーケンスのグループ化プログラム１２６は、式（１）～（５）を利用して、少なくとも、決定されたシーン距離に基づいて正規化コスト関数の値を計算する。さらに、最適なシーケンスのグループ化プログラム１２６は、式（１）～（５）から算出された値を利用し、式（１０）～（１２）に値を挿入して、確率分割損失の値を算出する。本発明の実施形態は、最適なシーケンスのグループ化プログラム１２６が、確率分割損失の値を利用して、機械学習モデルをさらに訓練させ、映像シーン検出の予測精度を向上させることを提供する。

様々な実施形態において、最適なシーケンスのグループ化プログラム１２６は、シーンの分割にＯＳＧ－Ｐｒｏｂを適用する。様々な実施形態において、最適なシーケンスのグループ化プログラム１２６は、式（１０）～式（１２）を介して、距離行列内の正しい位置での分割の確率を計算する。いくつかの実施形態では、最適なシーケンスのグループ化プログラム１２６は、距離行列におけるシーンの様々な分割の誤差を決定する。後述する動作に関連して説明するように、最適なシーケンスのグループ化プログラム１２６は、機械学習モデルを通じてシーンの分割における誤差を逆伝播して新しい出力埋め込みを生成し、ここで、損失はニューラルネットワークの学習における変化を反映させる。様々な実施形態において、最適なシーケンスのグループ化プログラム１２６は、分割確率の損失を通じて学習し、より正確な位置でのシーンの分割を決定し、ブロック対角構造におけるショットのシーケンスのより定義されたブロックを表す強化された距離行列を生成する。

動作３０４において、最適なシーケンスのグループ化を決定し、確率分割損失を実行した後、機械学習モデル１２４は、最適なシーケンスのグループ化及び確率分割損失を用いて深層学習ニューラルネットワークを訓練する。様々な実施形態において、プログラム１２２は、確率分割損失を深層学習ニューラルネットワークの元の出力に適用し、次に、更新された出力を使用して、誤差逆伝播を介して深層学習ニューラルネットワークを訓練する。様々な実施形態において、機械学習モデル１２４は、ショットのデータが最適なシーケンスのグループ化及び確率分割損失に基づいて更新された後、映像ファイルのショットのデータから学習する。

本発明の様々な実施形態において、シーン分割プログラム１２２は、映像ショット特徴を、強化された機械学習モデル１２４を通して供給し、ここで、確率分割損失は、機械学習モデルを強化し、２０４８次元ベクトル及び１２８次元ベクトルは、映像シーンのそれぞれの特徴ベクトルに符号化される。いくつかの実施形態において、機械学習モデルの出力は、強化された埋め込みを生成し、強化された埋め込みは、上記で特定されたように、最適な逐次的グループ化アルゴリズムによって処理される。様々な実施形態において、埋め込みは、映像シーンからのサンプルが、映像シーンから抽出された映像及び音声の特徴に関して比較的近い特徴空間埋め込みによって表される。本発明の実施形態は、強化された機械学習モデルの出力が、映像シーン間の距離を表す強化された埋め込みを含むことを提供する。

本発明の実施形態は、深層学習ニューラルネットワークを訓練する際に、シーン分割プログラム１２２が、（ｉ）動作２０４で符号化された元の音声及び映像特徴ベクトルと、（ｉｉ）深層学習ニューラルネットワークの元の出力に適用される式（１０）～（１２）から計算される分割確率損失とを、機械学習モデル１２４の深層学習ニューラルネットワークに提供することを規定する。様々な実施形態において、シーン分割プログラム１２２は、分割確率損失によって表される更新された特徴ベクトルを利用して、映像シーン間の類似性をより正確に決定するために機械学習モデル１２４を訓練する。様々な実施形態において、強化された機械学習モデルは、より類似している他の様々な映像シーン（例えば、映画のシーンを分離する）よりも類似度が高い映像シーンを決定する。様々な実施形態において、機械学習モデル１２４は、次に、音声及び映像ファイルの元々符号化された特徴ベクトルを強化された機械学習モデルに提供する。様々な実施形態において、機械学習モデルは、音声及び映像ファイルの元々符号化された特徴ベクトルを分析し、強化された機械学習モデルから特徴ベクトルの更新された埋め込みを出力する。

様々な実施形態において、機械学習モデル１２４は、映像シーン間の距離の例示を提供する新しい距離行列を生成する。様々な実施形態において、機械学習モデルは、距離行列（例えば、出力埋め込み）に追加のマルチモーダルな最適な逐次的グループ化を適用して、ベクトル近接に基づくシーン分割確率を決定する。

図４は、本発明の例示的な実施形態による、コンピューティング環境１００のための深層学習ニューラルネットワークを生成、変更、活用、もしくは実行またはこれらの組み合わせをするための動作を示すフローチャートである。より具体的には、この実施形態において、図４は、コンピュータシステム１２０上で実行されるシーン分割プログラム１２２の、全体的な動作４００を表す。また、図４は、機械学習モデル１２４とサーバアプリケーション１３２との間の特定の相互作用も表している。さらに、動作４００は、２００の動作と３００の動作を組み合わせた全体の動作の一部または全部を含むことができる。図４は、１つの実装の例示を提供し、異なる実施形態が実装され得る環境に関していかなる制限も示唆しないことを理解されたい。描かれた環境に対する多くの変更がなされ得る。一実施形態では、図４に描かれた一連の動作は、任意の順序で実行することができる。別の実施形態では、図４に描かれた一連の動作は、同時に実行することができる。さらに、図４に描かれた一連の動作は、任意の動作で終了させることができる。また、図４に示した動作は、いつでも再開することができる。

動作４０２において、機械学習モデル１２４は、上述のようにニューラルネットワークを訓練する。様々な実施形態において、機械学習モデル１２４は、ビデオ解析のための２０４８次元視覚バックボーン特徴抽出器としてｉｎｃｅｐｔｉｏｎ－ｖ３アーキテクチャを利用し、１２８次元ベクトル音声オセグメントを符号化するためにＶＧＧｉｓｈネットワークを利用する。様々な実施形態において、４つの完全接続されたニューラルネットワーク層が、意味的な時間的チャプタへの映像シーン分割を実行するために利用される。いくつかの実施形態では、４つの層が視覚的学習のために利用され（例えば、３０００、３０００、１０００、１００ニューロン）、４つの層が音声学習のために利用される（例えば、２００、２００、１００、２０ニューロン）。様々な実施形態において、機械学習モデル１２４は、少なくとも、視覚学習のための４つの層と、音声学習のための４つの層とにバッチ正規化を適用する。さらに、様々な実施形態において、機械学習モデル１２４は、出力層を除くニューラルネットワークの全層にＲｅＬＵ活性化を適用する。様々な実施形態において、機械学習モデル１２４は、最適化フレームワークを利用して、ニューラルネットワークを、５×１０^－３の学習率で訓練する。上述したように、当業者であれば、学習率が勾配を乗じた単位無しの比率であることを理解するであろう。機械学習モデル１２４は、ニューラルネットワークの過学習を回避するために停止基準を適用し、学習損失が初期値の２５％に減少したときにニューラルネットワークの訓練モジュールを中止させる。さらに、機械学習モデル１２４は、上記の式（７）の、コサイン距離（Δ）を０と１の間で正規化し、式（７）の値パラメータであるマージン（α）は０.５として選ばれ、以下に定義するロングエルボーアプローチは、機械学習モデル１２４によって映像ファイル（例えば、意味的時間チャプタ）からシーン数を推定するために利用される。当業者であれば、最適化フレームワークは、機械学習モデルのパラメータを学習するための勾配降下またはＡＤＡＭ最適化を含むが、これらに限定されないことを理解することができる。

様々な実施形態において、シーン分割プログラム１２２は、視覚及び音声コンポーネントを含むが、これに限定されない映像ファイルを受信する。シーン分割プログラム１２２は、映像及び音声コンポーネントをそれぞれの特徴ベクトルに符号化し、シーン分割プログラム１２２は、機械学習モデルを訓練する目的で、符号化された特徴ベクトルを機械学習モデル１２４に提供する。様々な実施形態において、機械学習モデル１２４は、映像および音声コンポーネントの特徴ベクトルから分析および学習を行い、映像シーン間の類似性を特定する。

動作４０４において、最適なシーケンスのグループ化プログラム１２６は、出力埋め込みを特定する。様々な実施形態において、映像シーンの分割から抽出された特徴は、埋め込みを出力する完全連結ニューラルネットワークを通して供給される。様々な実施形態において、埋め込みは、映像シーンの分割が決定される、最適な逐次的グループ化によって利用される。最適なシーケンスのグループ化プログラム１２６は、映像シーンの分割における誤差を測定することによって損失を計算し、最適なシーケンスのグループ化プログラム１２６は、損失を埋め込み出力に直接戻すのとは対照的に、最適な逐次的グループ化アルゴリズムを通して損失を逆伝播する。

様々な実施形態において、ニューラルネットワークは、映像セグメントの視覚的埋め込みと音声的埋め込みとを含むが、これに限定されない特徴空間埋め込みを出力する。同じクラス（例えば、映像セグメント）からのサンプルが特徴空間において近い場合、異なるクラス（例えば、映像セグメント）からのサンプルは、さらに離れている。これにより、タスクのランク付けが可能になるが、シーン分割の場合は、サンプルを一緒にクラスタ化させるトリプレット損失が発生する。

動作４０６において、機械学習モデル１２４は、距離行列を生成する。様々な実施形態において、機械学習モデル１２４は、距離行列のブロック対角を生成するために映像を意味的な時間的チャプタに分割し、距離行列は、シーン内距離を表す。様々な実施形態において、シーンの類似性は、距離行列として表され、一般に、ブロック対角構造は、映像の同じシーンに属するショットが異なるシーンに属するショットよりも低い距離値を有する可能性が高いことを表すために生成される。様々な実施形態において、機械学習モデル１２４は、最適な逐次的グループ化アルゴリズムを利用して、ブロック対角構造によって表される距離行列の分割を、最も低いシーン内距離で達成する。

動作４１０において、シーン分割プログラム１２２は、ニューラルネットワークを介してトリプレット損失を適用して戻す。様々な実施形態において、機械学習は、同じクラスからのサンプルが特徴空間において近い一方、異なるクラスからのサンプルがさらに離れている特徴空間埋め込みを学習する。本発明の実施形態は、シーン分割プログラム１２２が、同じシーンからの映像セグメント間の距離を最小化し、異なるシーンに属するショット間の距離を上げるよう努力することを提供する。さらに、トリプレット損失は、異なるサンプルに注目する。

動作４１２において、シーン分割プログラム１２２は、ニューラルネットワークを通してブロック対角損失を戻して適用する。様々な実施形態において、シーン分割プログラム１２２は、映像を通して、いくつかの映像セグメントが互いに非常に類似しているかもしれないが、それらの時間的距離または介在するシーンがそれらの区別を示すと決定する。コスト関数（例えば、式（６））は、その間の値が十分に高い限り、遠く離れた対角の値が決定に影響を与えないように蓄積する。いくつかの実施形態において、ブロック対角損失のわずかな変形は、ブロック隣接として知られる、互いに隣接していないシーン間のシーン間距離を考慮することである。ブロック対角損失は、トリプレット損失と同様に、同じシーンからのショット間の距離を最小化し、異なるシーンに属するショット間の距離を高くするように努める。しかし、ブロック対角損失はブロック対角構造を強化し、最適な逐次的グループ化アルゴリズムの性能をよりよく助ける。

動作４１４において、最適なシーケンスのグループ化プログラム１２６は、ニューラルネットワークを介して分割確率損失を適用して戻す。様々な実施形態において、分割確率損失は、シーン分割の平均確率の値を強調する。さらに、分割確率損失は、ブロック対角とは対照的に、分割位置に依存するように構成される。様々な実施形態において、分割確率損失に依存する構造は、最適な逐次的グループ化アルゴリズムがより大きな学習パイプラインに統合されることを可能にする。

図５Ａは、本発明の実施形態による、様々な暗い色の正方形によって示されるように、一緒にクラスタ化された様々な映像セグメント、又はショットを含むブロック対角構造５００を描写している。この実施形態では、より高い値がブロックの強度レベルに割り当てられ、暗いブロックは、シーンを示す可能性が高い低い内距離を有する映像セグメントのシーケンスである。

図５Ｂは、本発明の実施形態による、距離行列のブロック隣接部分５０２を含む同様のブロック対角構造を描写している。この実施形態では、ブロック対角構造は、互いに隣接していない（例えば、ブロック隣接）シーンのシーン間距離の間の損失を描いている。様々な実施形態において、暗い色の正方形は、映像セグメントの内距離（例えば、ブロック対角）を表し、明るい色の正方形は、シーン間距離（例えば、ブロック隣接）を表す。

本開示は、クラウドコンピューティングに関する詳細な説明を含むが、本明細書に記載された教示の実装は、クラウドコンピューティング環境に限定されないことを理解されたい。むしろ、本発明の実施形態は、現在知られている又は後に開発される任意の他のタイプのコンピューティング環境と組み合わせて実施することが可能である。

クラウドコンピューティングは、設定可能なコンピューティングリソースの共有プール（例えばネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、記憶装置、アプリケーション、仮想マシンおよびサービス）へ、簡便かつオンデマンドのネットワークアクセスを可能にするためのサービス提供のモデルであり、リソースは、速やかに準備される（provisioned）モデルであり、少なくとも５つの特性、少なくとも３つのサービスモデル、および少なくとも４つの展開モデルを含むことがある。

特性は以下の通りである。

オンデマンド・セルフサービス：クラウドの消費者は、サービスプロバイダとの人的な対話を必要することなく、必要に応じて自動的に、サーバ時間やネットワークストレージなどのコンピューティング能力を一方的に準備することができる。

ブロード・ネットワークアクセス：コンピューティング能力はネットワーク経由で利用可能であり、また、標準的なメカニズムを介してアクセスできる。それにより、異種のシンまたはシッククライアントプラットフォーム（例えば、携帯電話、ラップトップ、ＰＤＡ）による利用が促進される。

リソースプーリング：プロバイダのコンピューティングリソースはプールされ、マルチテナントモデルを利用して複数の消費者に提供される。様々な物理リソースおよび仮想リソースが、需要に応じて動的に割り当ておよび再割り当てされる。一般に消費者は、提供されたリソースの正確な位置を管理または把握していないため、位置非依存（location independence）の感覚がある。ただし消費者は、より高い抽象レベル（例えば、国、州、データセンタ）では場所を特定可能な場合がある。

迅速な柔軟性（elasticity）：コンピューティング能力は、迅速かつ柔軟に準備することができるため、場合によっては自動的に、直ちにスケールアウトし、また、速やかにリリースされて直ちにスケールインすることができる。消費者にとって、準備に利用可能なコンピューティング能力は無制限に見える場合が多く、任意の時間に任意の数量で購入することができる。

測定されるサービス：クラウドシステムは、サービスの種類（例えば、ストレージ、処理、帯域幅、アクティブユーザアカウント）に適したある程度の抽象化レベルでの測定機能を活用して、リソースの使用を自動的に制御し最適化する。リソース使用量を監視、制御、および報告して、利用されるサービスのプロバイダおよび消費者の両方に透明性を提供することができる。

サービスモデルは以下の通りである。

サービスとしてのソフトウェア（ＳａａＳ）：消費者に提供される機能は、クラウドインフラストラクチャ上で動作するプロバイダのアプリケーションを利用できることである。当該そのアプリケーションは、ウェブブラウザ（例えばウェブメール）などのシンクライアントインタフェースを介して、各種のクライアント装置からアクセスできる。消費者は、ネットワーク、サーバ、オペレーティングシステム、ストレージや、個別のアプリケーション機能さえも含めて、基礎となるクラウドインフラストラクチャの管理や制御は行わない。ただし、ユーザ固有の限られたアプリケーション構成の設定はその限りではない。

サービスとしてのプラットフォーム（ＰａａＳ）：消費者に提供される機能は、プロバイダによってサポートされるプログラム言語およびツールを用いて、消費者が作成または取得したアプリケーションを、クラウドインフラストラクチャに展開（deploy）することである。消費者は、ネットワーク、サーバ、オペレーティングシステム、ストレージを含む、基礎となるクラウドインフラストラクチャの管理や制御は行わないが、展開されたアプリケーションを制御でき、かつ場合によってはそのホスティング環境の構成も制御できる。

サービスとしてのインフラストラクチャ（ＩａａＳ）：消費者に提供される機能は、オペレーティングシステムやアプリケーションを含む任意のソフトウェアを消費者が展開および実行可能な、プロセッサ、ストレージ、ネットワーク、および他の基本的なコンピューティングリソースを準備することである。消費者は、基礎となるクラウドインフラストラクチャの管理や制御は行わないが、オペレーティングシステム、ストレージ、および展開されたアプリケーションを制御でき、かつ場合によっては一部のネットワークコンポーネント（例えばホストファイアウォール）を部分的に制御できる。

展開モデルは以下の通りである。

プライベートクラウド：このクラウドインフラストラクチャは、特定の組織専用で運用される。このクラウドインフラストラクチャは、当該組織または第三者によって管理することができ、オンプレミスまたはオフプレミスで存在することができる。

コミュニティクラウド：このクラウドインフラストラクチャは、複数の組織によって共有され、共通の関心事（例えば、ミッション、セキュリティ要件、ポリシー、およびコンプライアンス）を持つ特定のコミュニティをサポートする。このクラウドインフラストラクチャは、当該組織または第三者によって管理することができ、オンプレミスまたはオフプレミスで存在することができる。

パブリッククラウド：このクラウドインフラストラクチャは、不特定多数の人々や大規模な業界団体に提供され、クラウドサービスを販売する組織によって所有される。

ハイブリッドクラウド：このクラウドインフラストラクチャは、２つ以上のクラウドモデル（プライベート、コミュニティまたはパブリック）を組み合わせたものとなる。それぞれのモデル固有の実体は保持するが、標準または個別の技術によってバインドされ、データとアプリケーションの可搬性（例えば、クラウド間の負荷分散のためのクラウドバースティング）を実現する。

クラウドコンピューティング環境は、ステートレス性（statelessness）、低結合性（low coupling）、モジュール性（modularity）および意味論的相互運用性（semantic interoperability）に重点を置いたサービス指向型環境である。クラウドコンピューティングの中核にあるのは、相互接続されたノードのネットワークを含むインフラストラクチャである。

ここで、図６に例示的なクラウドコンピューティング環境５０を示す。図示するように、クラウドコンピューティング環境５０は１つ以上のクラウドコンピューティングノード１０を含む。これらに対して、クラウド消費者が使用するローカルコンピュータ装置（例えば、ＰＤＡもしくは携帯電話５４Ａ、デスクトップコンピュータ５４Ｂ、ラップトップコンピュータ５４Ｃ、もしくは自動車コンピュータシステム５４Ｎまたはこれらの組み合わせなど）は通信を行うことができる。ノード１０は互いに通信することができる。ノード１０は、例えば、上述のプライベート、コミュニティ、パブリックもしくはハイブリッドクラウドまたはこれらの組み合わせなど、１つ以上のネットワークにおいて、物理的または仮想的にグループ化（不図示）することができる。これにより、クラウドコンピューティング環境５０は、サービスとしてのインフラストラクチャ、プラットフォームもしくはソフトウェアまたはこれらの組み合わせを提供することができ、クラウド消費者はこれらについて、ローカルコンピュータ装置上にリソースを維持する必要がない。なお、図６に示すコンピュータ装置５４Ａ～Ｎの種類は例示に過ぎず、コンピューティングノード１０およびクラウドコンピューティング環境５０は、任意の種類のネットワークもしくはネットワークアドレス指定可能接続（例えば、ウェブブラウザの使用）またはその両方を介して、任意の種類の電子装置と通信可能であることを理解されたい。

ここで、クラウドコンピューティング環境５０（図６）によって提供される機能的抽象化レイヤのセットを図７に示す。なお、図７に示すコンポーネント、レイヤおよび機能は例示に過ぎず、本発明の実施形態はこれらに限定されないことをあらかじめ理解されたい。図示するように、以下のレイヤおよび対応する機能が提供される。

ハードウェアおよびソフトウェアレイヤ６０は、ハードウェアコンポーネントおよびソフトウェアコンポーネントを含む。ハードウェアコンポーネントの例には、メインフレーム６１、縮小命令セットコンピュータ（ＲＩＳＣ）アーキテクチャベースのサーバ６２、サーバ６３、ブレードサーバ６４、記憶装置６５、ならびにネットワークおよびネットワークコンポーネント６６が含まれる。いくつかの実施形態において、ソフトウェアコンポーネントは、ネットワークアプリケーションサーバソフトウェア６７およびデータベースソフトウェア６８を含む。

仮想化レイヤ７０は、抽象化レイヤを提供する。当該レイヤから、例えば以下の仮想エンティティを提供することができる：仮想サーバ７１、仮想ストレージ７２、仮想プライベートネットワークを含む仮想ネットワーク７３、仮想アプリケーションおよびオペレーティングシステム７４、ならびに仮想クライアント７５。

一例として、管理レイヤ８０は以下の機能を提供することができる。リソース準備８１は、クラウドコンピューティング環境内でタスクを実行するために利用されるコンピューティングリソースおよび他のリソースの動的な調達を可能にする。計量および価格設定８２は、クラウドコンピューティング環境内でリソースが利用される際のコスト追跡、およびこれらのリソースの消費に対する請求またはインボイス送付を可能にする。一例として、これらのリソースはアプリケーションソフトウェアのライセンスを含んでよい。セキュリティは、データおよび他のリソースに対する保護のみならず、クラウド消費者およびタスクの識別確認を可能にする。ユーザポータル８３は、消費者およびシステム管理者にクラウドコンピューティング環境へのアクセスを提供する。サービスレベル管理８４は、要求されたサービスレベルが満たされるように、クラウドコンピューティングリソースの割り当ておよび管理を可能にする。サービス品質保証（ＳＬＡ）の計画および履行８５は、ＳＬＡに従って将来必要になると予想されるクラウドコンピューティングリソースの事前手配および調達を可能にする。

ワークロードレイヤ９０は、クラウドコンピューティング環境が利用可能な機能の例を提供する。このレイヤから提供可能なワークロードおよび機能の例には、マッピングおよびナビゲーション９１、ソフトウェア開発およびライフサイクル管理９２、仮想教室教育の配信９３、データ分析処理９４、取引処理９５、および心地良い出力の提供９６が含まれる。

図８は、本発明の例示的な実施形態による、コンピュータシステム１２０およびストレージエリアネットワーク１３０の構成要素のブロック図、８００を示す。図８は、１つの実装の例示のみを提供し、異なる実施形態が実装され得る環境に関していかなる制限も示唆しないことを理解されたい。描かれた環境に対する多くの変更がなされ得る。

コンピュータシステム１２０及びストレージエリアネットワーク１３０は、コンピュータプロセッサ８０４、メモリ８０６、永続記憶装置８０８、通信ユニット８１０、及び入力／出力（Ｉ／Ｏ）インタフェース８１２の間の通信を提供する通信ファブリック８０２を含む。通信ファブリック８０２は、プロセッサ（マイクロプロセッサ、通信およびネットワークプロセッサなど）、システムメモリ、周辺装置、およびシステム内の他の任意のハードウェアコンポーネント間でデータもしくは制御情報またはこれらの組み合わせを渡すために設計された任意のアーキテクチャで実装することができる。例えば、通信ファブリック８０２は、１つまたは複数のバスを用いて実装することができる。

メモリ８０６及び永続記憶装置８０８は、コンピュータ可読記憶媒体である。本実施形態では、メモリ８０６は、ランダムアクセスメモリ（ＲＡＭ）８１４及びキャッシュメモリ８１６を含む。一般に、メモリ８０６は、任意の適切な揮発性又は不揮発性のコンピュータ可読記憶媒体を含むことができる。

シーン分割プログラム１２２、機械学習モデル１２４、最適なシーケンスのグループ化プログラム１２６、コンピュータインタフェース１２８、サーバアプリケーション１３２、及びデータベース１３４は、メモリ８０６の１つ又は複数のメモリを介したそれぞれのコンピュータプロセッサ８０４の１つ又は複数による実行もしくはアクセスまたはこれらの組み合わせのために永続記憶装置８０８に格納される。この実施形態では、永続記憶装置８０８は、磁気ハードディスクドライブを含む。代替的に、または磁気ハードディスクドライブに加えて、永続記憶装置８０８は、ソリッドステートハードドライブ、半導体記憶装置、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、フラッシュメモリ、またはプログラム命令またはデジタル情報を格納できる任意の他のコンピュータ可読記憶媒体を含むことができる。

また、永続記憶装置８０８が使用する媒体は、取り外し可能なものであってもよい。例えば、永続記憶装置８０８には、取り外し可能なハードディスクが使用されてもよい。他の例としては、永続記憶装置８０８の一部でもある別のコンピュータ可読記憶媒体上に転送するためにドライブに挿入される光ディスクおよび磁気ディスク、サムドライブ、およびスマートカードがある。

通信ユニット８１０は、これらの例では、ネットワーク１１０のリソースを含む他のデータ処理システム又は装置との通信を提供する。これらの実施例では、通信ユニット８１０は、１つまたは複数のネットワークインターフェースカードを含む。通信ユニット８１０は、物理通信リンク及び無線通信リンクのいずれか又は両方の使用を通じて通信を提供することができる。シーン分割プログラム１２２、機械学習モデル１２４、最適なシーケンスグループ化プログラム１２６、コンピュータインタフェース１２８、サーバアプリケーション１３２、及びデータベース１３４は、通信ユニット８１０を通じて永続記憶装置８０８にダウンロードされてもよい。

Ｉ／Ｏインタフェース８１２は、コンピュータシステム１２０およびストレージエリアネットワーク１３０に接続され得る他の装置とのデータの入力および出力を可能にする。例えば、Ｉ／Ｏインタフェース８１２は、キーボード、キーパッド、タッチスクリーン、もしくは他のいくつかの適切な入力装置またはこれらの組み合わせなどの外部装置８１８への接続を提供することができる。外部装置８１８は、例えば、サムドライブ、ポータブル光または磁気ディスク、およびメモリカードなどのポータブルコンピュータ可読記憶媒体を含むこともできる。本発明の実施形態を実践するために使用されるソフトウェアおよびデータ、例えば、シーン分割プログラム１２２、機械学習モデル１２４、最適なシーケンスのグループ化プログラム１２６、コンピュータインタフェース１２８、サーバアプリケーション１３２、およびデータベース１３４は、そのような携帯型コンピュータ可読記憶媒体に格納することができ、Ｉ／Ｏインタフェース８１２を介して永続記憶装置８０８にロードすることができる。Ｉ／Ｏインタフェース８１２はまた、ディスプレイ８２０に接続する。

ディスプレイ８２０は、データをユーザに表示する機構を提供し、例えば、コンピュータのモニタ、またはテレビ画面であってもよい。

本発明は、システム、方法、もしくはコンピュータプログラム製品であってよい。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令をその上に有するコンピュータ可読記憶媒体を含んでもよい。

コンピュータ可読記憶媒体は、命令実行装置によって使用される命令を保持し、記憶することができる有形の装置とすることができる。コンピュータ可読記憶媒体は、一例として、電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置またはこれらの適切な組み合わせであってよい。コンピュータ可読記憶媒体のより具体的な一例としては、ポータブルコンピュータディスケット、ハードディスク、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ（またはフラッシュメモリ）、ＳＲＡＭ、ＣＤ－ＲＯＭ、ＤＶＤ、メモリスティック、フロッピーディスク、パンチカードまたは溝内の隆起構造などに命令を記録した機械的に符号化された装置、およびこれらの適切な組み合せが挙げられる。本明細書で使用されるコンピュータ可読記憶装置は、電波もしくは他の自由に伝播する電磁波、導波管もしくは他の伝送媒体を介して伝播する電磁波（例えば、光ファイバケーブルを通過する光パルス）、またはワイヤを介して送信される電気信号のような、一過性の信号それ自体として解釈されるべきではない。

本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピュータ装置／処理装置へダウンロード可能である。あるいは、ネットワーク（例えばインターネット、ＬＡＮ、ＷＡＮもしくはワイヤレスネットワークまたはこれらの組み合わせ）を介して、外部コンピュータまたは外部記憶装置へダウンロード可能である。ネットワークは、銅製伝送ケーブル、光伝送ファイバ、ワイヤレス伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータもしくはエッジサーバまたはこれらの組み合わせを備えることができる。各コンピュータ装置／処理装置内のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、当該コンピュータ可読プログラム命令を、各々のコンピュータ装置／処理装置におけるコンピュータ可読記憶媒体に記憶するために転送する。

本発明の動作を実施するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路用構成データ、または、スモールトークやＣ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語や類似のプログラミング言語などの手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで記述されたソースコードもしくはオブジェクトコードのいずれかとすることができる。コンピュータ可読プログラム命令は、スタンドアロン型ソフトウェアパッケージとして完全にユーザのコンピュータ上で、または部分的にユーザのコンピュータ上で実行可能である。あるいは、部分的にユーザのコンピュータ上でかつ部分的にリモートコンピュータ上で、または、完全にリモートコンピュータもしくはサーバ上で実行可能である。後者の場合、リモートコンピュータは、ＬＡＮやＷＡＮを含む任意の種類のネットワークを介してユーザのコンピュータに接続してもよいし、外部コンピュータに（例えば、インターネットサービスプロバイダを使用してインターネットを介して）接続してもよい。いくつかの実施形態において、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブル論理アレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行する目的で当該電子回路をカスタマイズするために、コンピュータ可読プログラム命令の状態情報を利用することによって、コンピュータ可読プログラム命令を実行することができる。

本発明の実施形態は、本明細書において、本発明の実施形態に係る方法、装置（システム）、およびコンピュータプログラム製品のフローチャートもしくはブロック図またはその両方を参照して説明されている。フローチャートもしくはブロック図またはその両方における各ブロック、および、フローチャートもしくはブロック図またはその両方における複数のブロックの組み合わせは、コンピュータ可読プログラム命令によって実行可能である。

上記のコンピュータ可読プログラム命令は、機械を生産するために、コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供してよい。これにより、かかるコンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行されるこれらの命令が、フローチャートもしくはブロック図またはその両方における１つ以上のブロックにて特定される機能／動作を実行するための手段を創出する。上記のコンピュータ可読プログラム命令はさらに、コンピュータ、プログラマブルデータ処理装置もしくは他の装置またはこれらの組み合わせに対して特定の態様で機能するよう命令可能なコンピュータ可読記憶媒体に記憶してよい。これにより、命令が記憶された当該コンピュータ可読記憶媒体は、フローチャートもしくはブロック図またはその両方における１つ以上のブロックにて特定される機能／動作の態様を実行するための命令を含む製品を構成する。

また、コンピュータ可読プログラム命令を、コンピュータ、他のプログラマブル装置、または他の装置にロードし、一連の動作ステップを当該コンピュータ、他のプログラマブル装置、または他の装置上で実行させることにより、コンピュータ実行プロセスを生成してもよい。これにより、当該コンピュータ、他のプログラマブル装置、または他の装置上で実行される命令が、フローチャートもしくはブロック図またはその両方における１つ以上のブロックにて特定される機能／動作を実行する。

本開示の図面におけるフローチャートおよびブロック図は、本発明の種々の実施形態に係るシステム、方法およびコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能性、および動作を示している。この点に関して、フローチャートまたはブロック図における各ブロックは、特定の論理機能を実行するための１つ以上の実行可能な命令を含む、命令のモジュール、セグメント、または部分を表すことができる。他の一部の実装形態において、ブロック内に示した機能は、各図に示す順序とは異なる順序で実行してもよい。例えば、連続して示される２つのブロックは、実際には、関係する機能に応じて、同時もしくは略同時に実行してもよいし、または場合により逆順で実行してもよい。なお、ブロック図もしくはフローチャートまたはその両方における各ブロック、および、ブロック図もしくはフローチャートまたはその両方における複数のブロックの組み合わせは、特定の機能または動作を行う、または専用ハードウェアとコンピュータ命令との組み合わせを実行する専用ハードウェアベースのシステムによって、実行可能である。

本明細書に記載されたプログラムは、本発明の特定の実施形態においてそれらが実装される用途に基づいて特定される。しかしながら、本明細書における任意の特定のプログラム命名法は単に便宜上使用されており、したがって、本発明は、かかる命名法によって特定もしくは暗示またはその両方がされる任意の特定の用途における使用のみに限定されるべきではないことを理解されたい。

なお、「Smalltalk」等の用語は、世界中の様々な法域で商標権の対象となっている可能性があり、ここでは、そのような商標権が存在する限りにおいて、商標によって適切に示される製品またはサービスに関してのみ使用される。

Claims (9)

1. １つまたは複数のコンピュータ可読記憶媒体と、前記１つまたは複数のコンピュータ可読記憶媒体に格納されたプログラム命令とを含み、前記格納されたプログラム命令は、
   プロセッサに、映像の音声および映像コンポーネントに対応する特徴ベクトルを受信させるためのプログラム命令と、
   プロセッサに、前記特徴ベクトルを、訓練されたニューラルネットワークの入力として提供させるためのプログラム命令と、
   プロセッサに、前記訓練されたニューラルネットワークから、各出力特徴ベクトルが前記特徴ベクトルに対応する映像の音声および映像コンポーネントに基づく前記映像のショットにそれぞれ対応する、当該映像のショットのシーンに基づいてグループ化された複数の出力特徴ベクトルを受信させるためのプログラム命令と、
   プロセッサに、前記出力特徴ベクトルに前記映像のショットのシーケンスのグループ化を適用する処理を実行させるためのプログラム命令と、
   プロセッサに、前記適用された前記映像のショットのシーケンスのグループ化に少なくとも部分的に基づいて、前記訓練されたニューラルネットワークをさらに訓練させるためのプログラム命令と、
   プロセッサに、出力特徴ベクトルを用いて距離行列を生成させるためのプログラム命令であって、前記距離行列がブロック対角構造によって表され、前記距離行列が前記出力特徴ベクトル間の距離を定義する、プログラム命令と、
   プロセッサに、前記距離行列から、それぞれの前記出力特徴ベクトルが一定の距離以内にあるショットのシーケンスを表す対角ブロックを特定させるためのプログラム命令と、
   プロセッサに、前記距離行列から特定される前記対角ブロックに少なくとも部分的に基づいて、前記映像中のシーンの分割を決定させるためのプログラム命令と、を含む、コンピュータプログラム。
2. 前記格納されたプログラム命令は、
   プロセッサに、前記映像のシーン境界を決定させるためのプログラム命令であって、前記シーン境界は、前記特徴ベクトルと、前記出力特徴ベクトルに基づく分割確率損失とを用いてさらに訓練された前記ニューラルネットワークから受信した第２の複数の出力特徴ベクトルに少なくとも部分的に基づいて決定される、プログラム命令をさらに含む、請求項１に記載のコンピュータプログラム。
3. プロセッサに、前記出力特徴ベクトルにシーケンスのグループ化を適用する処理を実行させるための前記プログラム命令は、
   プロセッサに、シーケンスのグループ化の確率関数を前記映像の前記シーンの前記分割に適用する処理を実行させ、その結果、修正されたシーンの分割になる、プログラム命令と、
   プロセッサに、分割確率の損失に少なくとも部分的に基づいて、修正されたシーンの分割における誤差を計算させるためのプログラム命令と、
   プロセッサに、前記修正されたシーンの分割と前記修正されたシーンの分割における前記計算された誤差に少なくとも部分的に基づいて、前記出力特徴ベクトルを修正させるためのプログラム命令と、を含む、請求項１に記載のコンピュータプログラム。
4. プロセッサに、前記適用されたシーケンスのグループ化に少なくとも部分的に基づく、前記訓練されたニューラルネットワークをさらに訓練するための前記プログラム命令は、プロセッサに、前記訓練されたニューラルネットワークを介して前記修正された出力特徴ベクトルを逆伝播するためのプログラム命令を含む、請求項３に記載のコンピュータプログラム。
5. 前記格納されたプログラム命令は、
   プロセッサに、前記映像を前記音声および映像コンポーネントに分離させるためのプログラム命令と、
   プロセッサに、前記音声および映像コンポーネントを前記特徴ベクトルに符号化させるためのプログラム命令であって、（ｉ）前記音声コンポーネントは１２８次元の特徴ベクトルに符号化され、（ｉｉ）前記映像コンポーネントは２０４８次元のベクトルに符号化される、プログラム命令と、を含み、
   前記ニューラルネットワークは、（ｉ）３０００、３０００、１０００、および１００ニューロンでそれぞれ４つの視覚層と、（ｉｉ）２００、２００、１００、および２０ニューロンでそれぞれ４つの音声層と、を含む、請求項４に記載のコンピュータプログラム。
6. コンピュータシステムであって、前記コンピュータシステムは、
   １つまたは複数のプロセッサと、
   １つまたは複数のコンピュータ可読記憶媒体と、
   前記１つまたは複数のプロセッサの少なくとも１つによって実行されるために前記コンピュータ可読記憶媒体に格納されたプログラム命令であって、前記格納されたプログラム命令は、
   映像の音声および映像コンポーネントに対応する特徴ベクトルを受信するためのプログラム命令と、
   前記特徴ベクトルを、訓練されたニューラルネットワークの入力として提供するためのプログラム命令と、
   前記訓練されたニューラルネットワークから、各出力特徴ベクトルが前記特徴ベクトルに対応する映像の音声および映像コンポーネントに基づく前記映像のショットにそれぞれ対応する、当該映像のショットのシーンに基づいてグループ化された複数の出力特徴ベクトルを受信するためのプログラム命令と、
   前記出力特徴ベクトルに前記映像のショットのシーケンスのグループ化を適用するためのプログラム命令と、
   前記適用された前記映像のショットのシーケンスのグループ化に少なくとも部分的に基づいて、前記訓練されたニューラルネットワークをさらに訓練するためのプログラム命令と、
   出力特徴ベクトルを用いて距離行列を生成するためのプログラム命令であって、前記距離行列がブロック対角構造によって表され、前記距離行列が前記出力特徴ベクトル間の距離を定義する、プログラム命令と、
   前記距離行列から、それぞれの前記出力特徴ベクトルが一定の距離以内にあるショットのシーケンスを表す対角ブロックを特定するためのプログラム命令と、
   前記距離行列から特定される前記対角ブロックに少なくとも部分的に基づいて、前記映像中のシーンの分割を決定するためのプログラム命令と、を含む、コンピュータシステム。
7. 前記格納されたプログラム命令は、
   前記映像のシーン境界を決定するためのプログラム命令であって、前記シーン境界は、前記特徴ベクトルと、前記出力特徴ベクトルに基づく分割確率損失とを用いてさらに訓練された前記ニューラルネットワークから受信した第２の複数の出力特徴ベクトルに少なくとも部分的に基づいて決定される、プログラム命令をさらに含む、請求項６に記載のコンピュータシステム。
8. 前記出力特徴ベクトルにシーケンスのグループ化を適用するための前記プログラム命令は、
   シーケンスのグループ化の確率関数を前記映像の前記シーンの前記分割に適用し、その結果、修正されたシーンの分割になる、プログラム命令と、
   分割確率の損失に少なくとも部分的に基づいて、修正されたシーンの分割における誤差を計算するためのプログラム命令と、
   前記修正されたシーンの分割と前記修正されたシーンの分割における前記計算された誤差に少なくとも部分的に基づいて、前記出力特徴ベクトルを修正するためのプログラム命令と、を含む、請求項６に記載のコンピュータシステム。
9. 前記適用されたシーケンスのグループ化に少なくとも部分的に基づく、前記訓練されたニューラルネットワークをさらに訓練するための前記プログラム命令は、前記訓練されたニューラルネットワークを介して前記修正された出力特徴ベクトルを逆伝播するためのプログラム命令を含む、請求項８に記載のコンピュータシステム。