JP7793134B2 - コネクショニスト時間分類損失に基づく視覚音声認識 - Google Patents

Description

〔関連出願への相互参照／引用による組み込み〕
[0001] 本出願は、２０２１年３月８日に米国特許商標庁に出願された米国特許出願第１７／６８９，２７０号の優先権の利益を主張するものであり、この出願は、２０２１年１０月４日出願の米国仮特許出願番号第６３／２６２０４９号の優先権を主張するものであり、その内容全体が引用により本明細書に組み入れられる。

[0002] 本開示の様々な実施形態は、音声認識及びディープニューラルネットワークに関する。より具体的には、本開示の様々な実施形態は、コネクショニスト時間分類損失に基づく視覚音声認識のための電子装置及び方法に関する。

[0003] ニューラルネットワークの分野の進歩は、音声認識のための様々な技術の開発をもたらしている。例えば、オーディオを処理して字幕を生成することができる音声－テキストモデルがある。特に、オーディオが騒々しい環境で記録される場合、又はビデオにおける人々が適切に発音しない場合、字幕は常に完璧であるとは限らない場合がある。字幕を生成するために、別のオプションは、ビデオにおける話者の唇の動きの分析を含む。しかしながら、リップリーディングのための大抵の従来の技術は、単語境界の検出がうまく機能せず、ビデオのオーディオ部分に依拠して単語境界を抽出する。

[0004] 当業者には、説明したシステムと、本出願の残り部分において図面を参照しながら示す本開示のいくつかの態様とを比較することにより、従来の慣習的方法の更なる制限及び不利点が明らかになるであろう。

[0005] 少なくとも１つの図に実質的に示し、及び／又はこれらの図に関連して説明し、特許請求の範囲に更に完全に示す、コネクショニスト時間分類損失に基づく視覚音声認識のための電子装置及び方法を提供する。

[0006] 全体を通じて同じ要素を同じ参照符号によって示す添付図面を参照しながら本開示の以下の詳細な説明を検討することにより、本開示のこれらの及びその他の特徴及び利点を理解することができる。

本開示の実施形態による、コネクショニスト時間分類損失に基づく視覚音声認識のための例示的なネットワーク環境を示すブロック図である。 本開示の実施形態による、視覚音声認識のための例示的な電子装置を示すブロック図である。 本開示の実施形態による、視覚音声認識のための例示的な処理パイプラインを示す図である。 本開示の実施形態による、コネクショニスト時間分類損失に基づく視覚音声認識のための例示的な動作を示すフローチャートである。

[0011] 以下で説明する実装は、コネクショニスト時間分類（ＣＴＣ）損失に基づく視覚音声認識のための開示される電子装置及び方法に見出すことができる。本開示の例示的な態様は、ＣＴＣ損失に基づく視覚音声認識のための方法を提供することができる電子装置を提供する。電子装置は、１又は２以上の人間の話者を含むビデオを受け取り、ビデオにおける１又は２以上の人間の話者の唇の動きに対応する予測を生成するように構成することができる。予測は、（フレームごとに）ビデオへのディープニューラルネットワーク（ＤＮＮ）の適用に基づいて生成されることができる。ＤＮＮのトレーニングを監視する損失関数は、２つの別個の関数、すなわち、コネクショニスト時間分類（ＣＴＣ）損失関数及びクロスエントロピー損失関数の組み合わせとすることができる。予測をＣＴＣ損失関数に供給して、最も高い確率で最良の（又は最適の）パスを見つけることができる。他方の損失関数を使用して、トレーニングフェーズにおいて、予測（例えば予測行列）と実際の位置合わせとを比較することができる。２つの損失関数は一緒に、ＤＮＮの精度及び収束速度の両方を高めることができる。公知のＣＴＣ損失関数とは対照的に、本開示のＣＴＣ関数は、文字予測に加えて、ビデオのフレームに対応する単語境界を予測するように、トレーニングフェーズにおいてＤＮＮを構成することができる。

[0012] ビデオの各画像フレームに対して、予測は、クラスラベルのセット（例えば、単語文字（すなわち文字）、非単語文字、空白、及び擬似文字のうちの少なくとも１つを含む文字）に対応する確率値のセットを含む。これにより、開示される電子装置は、望ましくない場合があるビデオの重複（繰り返しなどの）画像フレーム、又は各単語間に存在する場合があるブランク画像フレームを検出できるようになる。電子装置は、予測に基づいて、唇の動きに対応する一連の文字において１又は２以上の単語境界を検出するように構成することができる。このような単語境界の各々は、一連の文字の第１の端部における単語文字と、一連の文字の第２の端部における非単語文字又は文字間隔とによって定められることができる。予測により、開示される電子装置は、ＣＴＣ損失及び唇の動きの分析に基づいて単語境界を検出することによって、受け取ったビデオと関連付けられるオーディオ情報の使用をなくすことができる。従来、公知のリップリーディング技術は単語境界の予測においてうまく機能しないので、オーディオ情報は、単語境界の予測において事前知識として使用される。本開示は、単語境界の予測においてオーディオ情報を使用する必要をなくす。

[0013] 電子装置は、検出に基づいて、ビデオを一連のビデオクリップに分割するように構成することができる。一連のビデオクリップのうちの各ビデオクリップは、１又は２以上の人間の話者によって発話される単語に対応することができる。電子装置は、一連のビデオクリップを処理することによって、一連の単語予測を生成するように更に構成することができる。その後、電子装置は、生成された一連の単語予測に基づいて、センテンス又はフレーズを生成するように構成することができる。センテンス又はフレーズの生成は、例えば、一連の単語予測と、一連の単語予測のうちの隣接する単語予測の間に含まれる文字間隔又は非単語文字との連結を含むことができる。

[0014] 図１は、本開示の実施形態による、コネクショニスト時間分類損失に基づく視覚音声認識のための例示的なネットワーク環境を示すブロック図である。図１を参照すると、ネットワーク環境１００が示されている。ネットワーク環境１００は、電子装置１０２、サーバ１０４、及びビデオソース１０６を含むことができる。電子装置１０２、サーバ１０４、及びビデオソース１０６は、通信ネットワーク１０８を介して互いに通信可能に結合することができる。電子装置１０２は、ディスプレイデバイス１１０を更に含むことができる。ネットワーク環境１００において、電子装置１０２と関連付けられるディープニューラルネットワーク（ＤＮＮ）１１２が更に示されている。シーンと関連付けられる複数の画像フレームの一部として、１又は２以上の人間の話者１１４Ａを含むことができるビデオ１１４が更に示されている。

[0015] 電子装置１０２は、ビデオソース１０６からビデオ１１４を受け取り、ビデオ１１４のフレームへのＤＮＮ１１２の適用に基づいて視覚音声認識を実行するように構成できる好適なロジック、回路、インターフェイス、及び／又はコードを含むことができる。例示的な実施形態では、電子装置１０２は、ディスプレイ対応メディアプレーヤとすることができ、ディスプレイデバイス１１０は、電子装置１０２に含まれることができる。電子装置１０２のこのような実装の例としては、以下に限定されるわけではないが、テレビジョン（ＴＶ）、インターネットプロトコルＴＶ（ＩＰＴＶ）、スマートＴＶ、スマートフォン、パーソナルコンピュータ、ラップトップ、タブレット、ウェアラブル電子デバイス、又はケーブル又は衛星ネットワーク、無線放送、又はインターネットからの信号にカプセル化されるコンテンツを受け取り、復号し、再生する能力を有する他の任意のディスプレイデバイスを挙げることができる。別の例示的な実施形態では、電子装置１０２は、有線又は無線接続を介してディスプレイデバイス１１０と通信することができるメディアプレーヤとすることができる。電子装置１０２のこのような実装の例としては、以下に限定されるわけではないが、デジタルメディアプレーヤ（ＤＭＰ）、マイクロコンソール、ＴＶチューナ、高度テレビジョンシステム委員会（ＡＴＳＣ）３．０チューナ、セットトップボックス、オーバーザトップ（ＯＴＴ）プレーヤ、デジタルメディアストリーマ、メディアエクステンダ／レギュレータ、デジタルメディアハブ、コンピュータワークステーション、メインフレームコンピュータ、ハンドヘルドコンピュータ、スマート家電、プラグインデバイス、及び/又はコンテンツストリーミング機能を有する他の任意のコンピュータデバイスを挙げることができる。

[0016] サーバ１０４は、ビデオ１１４を記憶するように構成できる好適なロジック、回路、インターフェイス、及び／又はコードを含むことができ、ＣＴＣ損失関数及びクロスエントロピー損失関数を使用してＤＮＮ１１２をトレーニングするために使用することができる。ある実施形態によれば、サーバ１０４は、クラウドサーバとして実装することができ、ウェブアプリケーション、クラウドアプリケーション、ＨＴＴＰ要求、リポジトリ動作、ファイル転送などを通じて動作を実行することができる。サーバ１０４の他の実装例としては、以下に限定されるわけではないが、データベースサーバ、ファイルサーバ、コンテンツサーバ、ウェブサーバ、アプリケーションサーバ、メインフレームサーバ、又はクラウドコンピューティングサーバを挙げることができる。

[0017] 少なくとも１つの実施形態では、サーバ１０４は、当業者に周知であるいくつかの技術を使用して、複数の分散クラウドベースのリソースとして実装することができる。当業者であれば、本開示の範囲を、２つの別個のエンティティとしてのサーバ１０４及び電子装置１０２の実装に限定することはできないと理解するであろう。特定の実施形態では、サーバ１０４の機能は、本開示の範囲から逸脱することなく、その全体が又は少なくとも部分的に電子装置１０２に組み込まれることができる。

[0018] ビデオソース１０６は、電子装置１０２にビデオ１１４を送信するように構成できる好適なロジック、回路、及びインターフェイスを含むことができる。ビデオソース１０６上のビデオ１１４は、１又は２以上の人間の話者１１４Ａを含むことができる。ある実施形態では、ビデオソース１０６は、ビデオ１１４を記憶するストレージデバイスとして実装することができる。ビデオソース１０６のこのような実装の例としては、以下に限定されるわけではないが、ペンドライブ、フラッシュＵＳＢスティック、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、及び／又はセキュアデジタル（ＳＤ）カードを挙げることができる。別の実施形態では、ビデオソース１０６は、メディアストリーミングサーバとして実装することができ、これは、通信ネットワーク１０８を介して電子装置１０２にメディアコンテンツを送信することができる。別の実施形態では、ビデオソース１０６は、ＡＴＳＣチューナなどのＴＶチューナとすることができ、これは、無線放送ネットワークからデジタルＴＶ（ＤＴＶ）信号を受け取ることができ、受け取ったＤＴＶ信号からメディアコンテンツを抽出することができる。その後、ビデオソース１０６は、電子装置１０２に抽出されたビデオ１１４を送信することができる。

[0019] 図１には、ビデオソース１０６及び電子装置１０２を２つの別個のデバイスとして示している。しかしながら、本開示はこのように限定的なものではなく、いくつかの実施形態では、本開示の範囲から逸脱することなく、ビデオソース１０６の機能の全体又は少なくとも一部を電子装置１０２に組み込むこともできる。

[0020] ディスプレイデバイス１１０は、電子装置１０２によって生成される出力を表示するように構成できる好適なロジック、回路、及びインターフェイスを含むことができる。例えば、ディスプレイデバイス１１０を利用して、電子装置１０２から受け取られるビデオ１１４を表示することができる。ディスプレイデバイス１１０は、ビデオ１１４における（単複の）人間の話者の唇の動きに対応するセンテンス又はフレーズを含む字幕を表示するように更に構成することができる。ディスプレイデバイス１１０は、Ｉ／Ｏポート（高品位マルチメディアインターフェイス（ＨＤＭＩ(登録商標）ポートなど）又はネットワークインターフェイスを通じて、電子装置１０２とインターフェイス又は接続することができる。代替的に、ディスプレイデバイス１１０は、電子装置１０２の組み込みコンポーネントとすることができる。

[0021] 少なくとも１つの実施形態では、ディスプレイデバイス１１０は、ユーザがディスプレイデバイス１１０を介してユーザ入力を提供できるようにすることができるタッチスクリーンとすることができる。ディスプレイデバイス１１０は、以下に限定されるわけではないが、液晶ディスプレイ（ＬＣＤ）ディスプレイ、フォルダブル又はローラブルディスプレイ（ｆｏｌｄａｂｌｅ ｏｒ ｒｏｌｌａｂｌｅ ｄｉｓｐｌａｙ）、発光ダイオード（ＬＥＤ）ディスプレイ、プラズマディスプレイ、又は有機ＬＥＤ（ＯＬＥＤ）ディスプレイ技術、又はその他のディスプレイデバイスのうちの少なくとも１つなどのいくつかの公知技術を通じて実現することができる。ある実施形態によれば、ディスプレイデバイス１１０は、ヘッドマウントデバイス（ＨＭＤ）、スマートグラスデバイス、シースルーディスプレイ、投影式ディスプレイ、エレクトロクロミックディスプレイ、又は透明ディスプレイのディスプレイ画面を意味することができる。

[0022] ＤＮＮ１１２は、ノード（例えば、人工ニューロン）の計算ネットワーク又はシステムと呼ぶことができる。深層学習の実装では、深層学習モデルのノードは、ニューラルネットワークトポロジにおいて定められるように、層に配置することができる。層は、入力層と、１又は２以上の隠れ層と、出力層とを含むことができる。各層は、１又は２以上のノード（又は例えば人工ニューロン）を含むことができる。入力層における全てのノードの出力は、（単複の）隠れ層の少なくとも１つのノードに結合することができる。同様に、各隠れ層の入力は、モデルの他の層における少なくとも１つのノードの出力に結合することができる。各隠れ層の出力は、深層学習モデルの他の層における少なくとも１つのノードの入力に結合することができる。最終層における１又は２以上のノードは、少なくとも１つの隠れ層から入力を受け取り、結果を出力することができる。層の数及び各層内のノードの数は、ハイパーパラメータから決定することができ、ハイパーパラメータは、トレーニングデータセットでＤＮＮ１１２をトレーニングする前に又はその後に設定することができる。

[0023] ＤＮＮ１１２の各ノードは、モデルのトレーニング中に調整できるパラメータセットを有する数学関数（例えば、シグモイド関数又は正規化線形ユニット）に対応することができる。パラメータセットは、例えば、重みパラメータ、正則化パラメータなどを含むことができる。各ノードは、数学関数を使用して、深層学習モデルの（単複の）他の層（例えば、（単複の）前の層）内のノードからの１又は２以上の入力に基づいて出力を計算することができる。深層学習モデルのノードの全て又はそのうちのいくつかは、同じ又は異なる数学関数に対応することができる。

[0024] ＤＮＮ１１２は、入力としてビデオデータセットを使用して唇の動きの分析（又はリップリーディング）のタスクでトレーニングされて、ビデオデータセットの各サンプルビデオにおける１又は２以上の人間の話者の唇の動きに対応する（単複の）予測を生成することができる。トレーニングにおいて、ＤＮＮ１１２は、ＣＴＣ損失関数を使用して、唇の動きに対応する文字／単語及び文字間のそれぞれの単語境界を示す予測を生成することができる。一般に、ＣＴＣは、時系列入力に対して回帰型ニューラルネットワーク（ＲＮＮ）をトレーニングするためのニューラルネットワーク出力及び関連するスコアリング関数の一種である。本開示では、時系列入力は、人間の口の動き（すなわち、ビデオにおいて示される動き）を示すことができる。ＤＮＮ１１２によって、ビデオのフレームを処理することによって、単語境界を予測することができる。ＤＮＮ１１２は、クロスエントロピー損失関数に基づいてトレーニングすることもできる。トレーニングされたＤＮＮ１１２を使用して、予測と、グラウンドトゥルース位置合わせを含むことができる基準クラスラベルとを比較することができる。

[0025] ２つの損失関数（すなわち、ＣＴＣ損失関数及びクロスエントロピー損失関数）は互いに、ＤＮＮ１１２のトレーニングフェーズにおいて収束速度及び精度を高めることができる。クロスエントロピー損失関数の詳細な実装は、当業者に周知であり得るので、クロスエントロピー損失関数に関する詳細な説明については、簡潔さのために本開示からは省略する。

[0026] ＤＮＮ１１２は、そのハイパーパラメータ及びトポロジ／アーキテクチャによって定めることができる。例えば、ＤＮＮ１１２は、ノード（又はニューロン）の数、（単複の）活性化関数、重みの数、コスト関数、正則化関数、入力サイズ、学習率、層の数などを有することができる。

[0027] ＤＮＮ１１２のトレーニングでは、（トレーニングデータセットからの）所与の入力に対する最終層の出力が、ＤＮＮ１１２に対する損失関数に基づく正しい結果と一致するかどうかに基づいて、各ノードの１又は２以上のパラメータを更新することができる。損失関数の最小値に達し、トレーニングエラーが最小化されるまで、同じ又は異なる入力に対して上記のプロセスを繰り返すことができる。いくつかのトレーニング方法は、当技術分野で公知であり、例えば、勾配降下法、確率的勾配降下法、バッチ勾配降下法、勾配ブースト法、メタヒューリスティクスなどである。

[0028] ある実施形態では、ＤＮＮ１１２は、例えば、電子装置１０２上で実行可能なアプリケーションのソフトウェアコンポーネントとして実装することができる電子データを含むことができる。ＤＮＮ１１２は、電子装置１０２などのコンピュータデバイスがＣＴＣ損失関数に基づく視覚音声認識のための１又は２以上の動作を実行できるようにするように構成できるコード及びルーチンを含むことができる。加えて、又は代替的に、ＤＮＮ１１２は、以下に限定されるわけではないが、プロセッサ、マイクロプロセッサ（例えば、１又は２以上の動作の実行又は実行の制御を行う）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コプロセッサ（ＡＩアクセラレータなど）、又は特定用途向け集積回路（ＡＳＩＣ）を含むハードウェアを使用して実装することもできる。いくつかの実施形態では、トレーニングされたＤＮＮ１１２を、ハードウェア及びソフトウェアの両方の組み合わせを使用して実装することができる。

[0029] 特定の実施形態では、ＤＮＮ１１２は、複数のディープニューラルネットワーク（ＤＮＮ）のハイブリッドアーキテクチャに基づいて実装することができる。ＤＮＮ１１２の例としては、以下に限定されるわけではないが、人工ニューラルネットワーク（ＡＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、回帰型ニューラルネットワーク（ＲＮＮ）、ＣＮＮ－回帰型ニューラルネットワーク（ＣＮＮ－ＲＮＮ）、Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ（ＹＯＬＯ）ネットワーク、残差ニューラルネットワーク（Ｒｅｓ－Ｎｅｔ）、特徴ピラミッドネットワーク（ＦＰＮ）、Ｒｅｔｉｎａ－Ｎｅｔ、シングルショット検出器（ＳＳＤ）、自然言語処理、及び場合によってはＯＣＲ（通常、ＣＮＮ－回帰型ニューラルネットワーク（ＣＮＮ－ＲＮＮ）、長・短期記憶（ＬＳＴＭ）ネットワークベースのＲＮＮ、ＬＳＴＭ＋ＡＮＮ、ハイブリッドリップリーディング（ＨＬＲ－Ｎｅｔ）モデル、及び／又はこれらの組み合わせなどのネットワークを使用する）などのニューラルネットワークモデルを挙げることができる。

[0030] 通信ネットワーク１０８は、電子装置１０２、サーバ１０４及びビデオソース１０６が互いに通信できるようにする通信媒体を含むことができる。通信ネットワーク１０８の例としては、以下に限定されるわけではないが、インターネット、クラウドネットワーク、無線ローカルエリアネットワーク（ＷＬＡＮ）、ワイヤレスフィデリティ（Ｗｉ－Ｆｉ）ネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、電話回線（ＰＯＴＳ）、及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）、ロングタームエボリューション（ＬＴＥ）ネットワーク（例えば、第４世代又は第５世代（５Ｇ）モバイルネットワーク（すなわち、５Ｇ Ｎｅｗ Ｒａｄｉｏ））などのモバイル無線ネットワークを挙げることができる。ネットワーク環境１００における様々なデバイスは、様々な有線及び無線通信プロトコルに従って、通信ネットワーク１０８に接続するように構成することができる。このような有線及び無線通信プロトコルの例としては、以下に限定されるわけではないが、伝送制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、ＩＥＥＥ ８０２．１１、ライトフィデリティ（Ｌｉ－Ｆｉ）、８０２．１６、ＩＥＥＥ ８０２．１１ｓ、ＩＥＥＥ ８０２．１１ｇ、マルチホップ通信、無線アクセスポイント（ＡＰ）、装置間通信、セルラー通信プロトコル、及びＢｌｕｅｔｏｏｔｈ（ＢＴ）通信プロトコル、又はこれらの組み合わせのうちの少なくとも１つを挙げることができる。

[0031] 動作時に、電子装置１０２は、入力を受け取り、例えば、電子装置１０２をオンにするか又は視覚音声認識モードを作動させることができる。入力に基づいて、電子装置１０２は、動作のセットを実行して、本明細書で説明するように視覚音声認識を実行するように構成することができる。

[0032] 任意の時間的瞬間において、電子装置１０２は、ビデオソース１０６からビデオ１１４を受け取ることができる。ビデオ１１４は、任意の電子デバイス又はストレージ上でレンダリング、ストリーミング、ブロードキャスト、及び記憶することができる任意のデジタルメディアとすることができる。ビデオ１１４は、１又は２以上の人間の話者１１４Ａを含むことができる。例えば、ビデオ１１４は、２又は３以上の俳優が会話している場合があるシーンを示すムービークリップとすることができる。ビデオ１１４の例としては、以下に限定されるわけではないが、画像（オーバーレイグラフィックスなど）、アニメーション（２Ｄ／３Ｄアニメーション又はモーショングラフィックスなど）、オーディオ／ビデオデータ、従来のテレビ番組（伝統的な放送、ケーブル、衛星、インターネット、又は他の手段を介して提供される）、ペイパービュー番組、オンデマンド番組（ビデオオンデマンド（ＶＯＤ）システムにおけるような）、又はインターネットコンテンツ（例えば、ストリーミングメディア、ダウンロード可能なメディア、ウェブキャストなど）を挙げることができる。ある実施形態では、受け取られたビデオ１１４は、予め記録されたビデオ又はライブビデオとすることができる。

[0033] 電子装置１０２は、ビデオ１１４における１又は２以上の人間の話者１１４Ａの唇の動きに対応する予測を生成するように構成することができる。予測は、ビデオ１１４へのＤＮＮ１１２の適用に基づいて生成されることができる。ＤＮＮ１１２は、トレーニングフェーズにおいてＣＴＣ損失関数を使用した、事前にトレーニングされたネットワークとすることができる。予測の生成に関する詳細については、例えば図３に示す。ある実施形態によれば、ビデオ１１４の各画像フレームに対して、予測は、クラスラベルのセットに対応する確率値のセットを含むことができる。クラスラベルのセットは、単語文字（すなわち文字）、非単語文字、ブランク、空白、及び擬似文字（ＣＴＣ損失において定められるような）のうちの少なくとも１つを含む文字を含むことができる。

[0034] 予測に基づいて、電子装置１０２は、唇の動きに対応する一連の文字において１又は２以上の単語境界を検出することができる。検出された１又は２以上の単語境界の各々は、一連の文字の第１の端部における単語文字と、一連の文字の第２の端部における非単語文字（例えば、ハイフン、句読点など）又は文字間隔とによって定められることができる。１又は２以上の単語境界の検出に関する詳細については、例えば図３に示す。

[0035] 電子装置１０２は、検出に基づいて、ビデオ１１４を一連のビデオクリップに分割するように更に構成することができる。一連のビデオクリップのうちの各ビデオクリップは、１又は２以上の人間の話者１１４Ａによって発話される単語に対応することができる。分割の後に、電子装置１０２は、例えば図３で説明するように、一連のビデオクリップを処理することによって、一連の単語予測を生成するように構成することができる。電子装置１０２は、一連の単語予測に基づいて、センテンス又はフレーズを生成することができる。センテンス又はフレーズの生成は、一連の単語予測と、一連の単語予測のうちの隣接する単語予測の間に含まれる文字間隔又は非単語文字との連結を含むことができる。センテンス又はフレーズの生成については、例えば図３で説明する。

[0036] 図２は、本開示の実施形態による、視覚音声認識のための例示的な電子装置を示すブロック図である。図２の説明は、図１の要素に関連して行う。図２を参照すると、電子装置１０２が示されている。電子装置１０２は、回路２０２と、メモリ２０４と、唇の動き検出器２０６と、入力／出力（Ｉ／Ｏ）デバイス２０８と、ネットワークインターフェイス２１０とを含むことができる。Ｉ／Ｏデバイス２０８は、ディスプレイデバイス１１０を含むことができる。メモリ２０４は、ＤＮＮ１１２を含むことができる。ネットワークインターフェイス２１０は、通信ネットワーク１０８を介して、電子装置１０２と、サーバ１０４及びビデオソース１０６とを接続することができる。

[0037] 回路２０２は、電子装置１０２によって実行されるべき異なる動作と関連付けられるプログラム命令を実行するように構成できる好適なロジック、回路、及び／又はインターフェイスを含むことができる。回路２０２は、１又は２以上の処理ユニットを含むことができ、１又は２以上の処理ユニットは、１又は２以上の処理ユニットの機能を共同で実行する統合プロセッサ又はプロセッサ群として実装することができる。回路２０２は、当技術分野で公知のいくつかのプロセッサ技術に基づいて実装することができる。回路２０２の実装の例は、Ｘ８６ベースのプロセッサ、グラフィックス処理ユニット（ＧＰＵ）、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピュータ（ＣＩＳＣ）プロセッサ、マイクロコントローラ、中央処理装置（ＣＰＵ）、及び／又はその他の制御回路とすることができる。

[0038] メモリ２０４は、回路２０２によって実行されるべき１又は２以上の命令を記憶するように構成できる好適なロジック、回路、インターフェイス、及び／又はコードを含むことができる。メモリ２０４は、ＤＮＮ１１２及びビデオ１１４を記憶するように構成することができる。メモリ２０４は、クラスラベルのセットを記憶するように更に構成することができる。メモリ２０４の実装の例としては、以下に限定されるわけではないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的に消去可能なプログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、ＣＰＵキャッシュ、及び／又はセキュアデジタル（ＳＤ）カードを挙げることができる。

[0039] 唇の動き検出器２０６は、ビデオ１１４における唇の動きを検出するように構成できる好適なロジック、回路、インターフェイス、及び／又はコードを含むことができる。ある実施形態によれば、唇の動き検出器２０６は、ビデオ１１４における１又は２以上の人間の話者１１４Ａの検出された唇の動きに対応する予測を生成するように構成することができる。唇の動き検出器２０６は、ＡＩモデルとして又は画像認識ツールにおいて実装することができる。唇の動き検出器２０６は、当技術分野で公知のいくつかのプロセッサ技術に基づいて更に実装することができる。プロセッサ技術の例としては、以下に限定されるわけではないが、中央処理装置（ＣＰＵ）、Ｘ８６ベースのプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピュータ（ＣＩＳＣ）プロセッサ、グラフィックス処理ユニット（ＧＰＵ）、及びその他のプロセッサを挙げることができる。

[0040] Ｉ／Ｏデバイス２０８は、入力を受け取り、受け取った入力に基づいて出力を提供するように構成できる好適なロジック、回路、インターフェイス、及び／又はコードを含むことができる。Ｉ／Ｏデバイス２０８は、様々な入力及び出力デバイスを含むことができ、これらは、回路２０２と通信するように構成することができる。一例では、電子装置１０２は、（Ｉ／Ｏデバイス２０８と関連付けられるディスプレイデバイス１１０を介して）、生成されたセンテンス又はフレーズを表示することができる。Ｉ／Ｏデバイス２０８の例としては、以下に限定されるわけではないが、タッチスクリーン、キーボード、マウス、ジョイスティック、ディスプレイデバイス（例えばディスプレイデバイス１１０）、マイクロフォン、又はスピーカを挙げることができる。

[0041] ネットワークインターフェイス２１０は、通信ネットワーク１０８を介した電子装置１０２、サーバ１０４、及びビデオソース１０６の間の通信を容易にするように構成できる好適なロジック、回路、インターフェイス、及び／又はコードを含むことができる。ネットワークインターフェイス２１０は、電子装置１０２と通信ネットワーク１０８との有線又は無線通信をサポートする様々な公知技術を用いて実装することができる。ネットワークインターフェイス２１０としては、以下に限定されるわけではないが、アンテナ、無線周波数（ＲＦ）トランシーバ、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタルシグナルプロセッサ、コーダ・デコーダ（ＣＯＤＥＣ）チップセット、加入者識別モジュール（ＳＩＭ）カード、又はローカルバッファ回路を挙げることができる。

[0042] ネットワークインターフェイス２１０は、インターネット、イントラネット、無線ネットワーク、セルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）、又はメトロポリタンエリアネットワーク（ＭＡＮ）などのネットワークと無線通信を介して通信するように構成することができる。無線通信は、グローバル・システム・フォー・モバイル・コミュニケーションズ（ＧＳＭ）、拡張データＧＳＭ環境（ＥＤＧＥ）、広帯域符号分割多元接続（Ｗ－ＣＤＭＡ）、ロングタームエボリューション（ＬＴＥ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、ワイヤレスフィデリティ（Ｗｉ－Ｆｉ）（ＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ又はＩＥＥＥ８０２．１１ｎなど）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、ライトフィデリティ（Ｌｉ－Ｆｉ）、ワールドワイド・インターオペラビリティ・フォー・マイクロウェーブ・アクセス（Ｗｉ－ＭＡＸ）、電子メールプロトコル、インスタントメッセージング及びショートメッセージサービス（ＳＭＳ）などの複数の通信規格、通信プロトコル及び通信技術のうちの１又は２以上を使用するように構成することができる。コネクショニスト時間分類損失に基づく視覚音声認識のための回路２０２の様々な動作については、例えば図３及び図４で更に説明する。

[0043] 図３は、本開示の実施形態による、視覚音声認識のための例示的な処理パイプラインを示す図である。図３の説明は、図１及び図２の要素に関連して行う。図３を参照すると、視覚音声認識のための例示的な動作を示す例示的な処理パイプライン３００が示されている。例示的な動作は、任意のコンピュータシステムによって、例えば、図１の電子装置１０２によって又は図２の回路２０２によって実行することができる。

[0044] 動作状態では、回路２０２は、ビデオソース１０６からビデオ１１４を受け取るように構成することができる。ビデオ１１４は、シーンに対応する複数の画像フレームの一部として、１又は２以上の人間の話者１１４Ａを含むことができる。例えば、ビデオ１１４は、１又は２以上の人間の話者１１４Ａがシーンにおいて演じながら話す場合があるテレビ番組に対応することができる。

[0045] ある実施形態では、回路２０２は、ビデオ１１４の画像フレームを抽出するように構成することができる。ビデオ１１４の各画像フレームは、フレーム番号と関連付けられることができる。フレーム番号は、１とビデオ１１４の画像フレームの総数との間の任意の数値（１、２、３、４、又は他の任意の数値など）とすることができる。例えば、ビデオ１１４が高精細（ＨＤ）ビデオである場合、対応する各画像フレームのサイズは、１２８０ｘ７２０ピクセルとすることができる。ある実施形態では、ビデオ１１４を
ビデオフレームに分割することができ、ここで、Ｔは、ビデオ１１４のフレームと関連付けられるフレーム番号を示すことができ、Ｈは、フレームの高さ（すなわち７２０）を示すことができ、Ｗは、フレームの幅（すなわち１２８０）を示すことができ、３は、ビデオ１１４のフレーム毎のカラーチャネルの数を示すことができる。例えば、ビデオ１１４がフルＨＤビデオである場合、ビデオの各フレームのサイズは、１９２０ｘ１０８０ピクセルとすることができ、これは、
ビデオフレームとして表すことができる。

[0046] ３０２において、唇の動きの分析を実行することができる。回路２０２は、ビデオ１１４における１又は２以上の人間の話者１１４Ａの唇の動きに対応する予測３０４を生成するように構成することができる。予測３０４は、ビデオ１１４へのＤＮＮ１１２の適用に基づいて生成されることができる。ある実施形態によれば、予測３０４は、ビデオ１１４のフレームに対応するＴ×Ｎ行列を含むことができ、ここで、Ｔは、ビデオ１１４と関連付けられるフレーム番号を示すことができ、Ｎは、全ての可能なクラスラベルを示すことができる。例えば、２つの単語（「Ｈｅｌｌｏ」及び「Ｗｏｒｌｄ」など）を検出すべきである場合、予測３０４は、Ｔ×（１０＋１）又はＴ×１１行列に対応することができ、ここで、１０は、文字クラスの数（Ｈｅｌｌｏの５及びＷｏｒｌｄの５）を示すことができ、１は、ＨｅｌｌｏとＷｏｒｌｄとの間の文字間隔のブランククラスを示すことができる。ここで、クラスの数（１１）は、文字の数（１０）及びブランククラス（１）に等しくあるべきである。

[0047] ある実施形態によれば、ＤＮＮ１１２は、入力として（ビデオ１１４に含まれる）一連のフレームを受け取ることができ、一連のフレームのうちの各フレームにおいて１又は２以上の人間の話者１１４Ａを検出することができる。更に、ＤＮＮ１１２は、各フレームにおいて検出された１又は２以上の人間の話者１１４Ａの唇の位置を追跡することができる。位置に基づいて、ＤＮＮ１１２は、一連の画像の各フレームから唇の動き情報を抽出することができる。ある実施形態では、１又は２以上の画像処理技術を使用して、ビデオ１１４を分析して、唇の動きを検出し、唇の動き情報を抽出することができる。

[0048] ＤＮＮ１１２は、唇の動き情報を処理して、予測３０４を生成することができる。ビデオ１１４の各フレームに対して、予測３０４は、クラスラベルのセットに対応する確率値のセットを含むことができる。各クラスラベルに対して、確率値は、唇の動きの所与のパターンに対するクラスラベルの予測において、ＤＮＮ１１２の信頼度（０と１との間の確率値に関して）を指定することができる。確率値が高いほど、尤度又は信頼度が高いことを示すことができる。クラスラベルのセットは、ソフトラベル又はハードラベルを含み、クラスを表すことができる。唇の動きに対応する予測３０４は、このようなクラスのうちの１つに属することができる。限定ではなく一例として、クラスラベルのセットは、文字又はブランクを含むことができる。文字は、単語文字（すなわち文字）、非単語文字、空白、及び／又は擬似文字のうちの少なくとも１つを含むことができる。非単語文字の例としては、以下に限定されるわけではないが、ハイフン、句読点、特殊文字のセット（「＊」、「＆」など）、及び非英語アルファベットのセット（「β」及び「π」など）を挙げることができる。

[0049] シナリオ例では、予測３０４がクラスラベルのセット（クラスＡ、クラスＢ、クラスＣ、及びブランク）に対応する確率値のセットを含む場合、予測３０４（行列の形式）を以下の表１に示す。
予測

ビデオのフレーム（１１～１２及び２６）に対して、予測３０４は、ブランククラスに、０．８を超える確率を与えることができる。ブランククラスは、予測３０４において単語境界を示すことができる。

[0050] 回路２０２は、予測に基づいて、唇の動きに対応する一連の文字において１又は２以上の単語境界を検出するように構成することができる。１又は２以上の単語境界は、ビデオ１１４において、１又は２以上の人間の話者１１４Ａ間の対話と関連付けられる各単語及び／又は１又は２以上の人間の話者１１４Ａによって発音又は発話される他の単語の開始点及び終了点を含むことができる。

[0051] ある実施形態では、検出された１又は２以上の単語境界の各々は、一連の文字の第１の端部における単語文字と、一連の文字の第２の端部における非単語文字又は文字間隔とによって定められることができる。例えば、唇の動きに対応する一連の文字が「ｈｏｗ ａｒｅ ｙｏｕ」である場合、回路２０２は、２つの単語境界を検出して、予測された各単語の開始及び終了をマークするように構成することができる。図３に、単語境界（単語境界ＷＢ１及びＷＢ２など）を例示し、このような境界は、予測３０４においてブランクフレームとして分類することができるビデオ１１４のフレームに対応することができる。

[0052] 回路２０２は、検出に基づいて、ビデオ１１４を一連のビデオクリップに分割するように構成することができる。一連のビデオクリップのうちの各ビデオクリップは、１又は２以上の人間の話者１１４Ａによって発話される単語に対応することができる。例えば、１又は２以上の人間の話者１１４Ａによって発話されるセンテンス又はフレーズは、「ｈｏｗ ａｒｅ ｙｏｕ」とすることができる。回路２０２は、ビデオ１１４を３つのビデオクリップ（例えば図３に示すようにＶＣ１、ＶＣ２、及びＶＣ３）に分割するように構成することができる。ビデオクリップＶＣ１、ＶＣ２、及びＶＣ３は、「ｈｏｗ」、「ａｒｅ」、及び「ｙｏｕ」などの発話された単語に対応することができる。

[0053] 回路２０２は、一連のビデオクリップを処理することによって、一連の単語予測を生成するように更に構成することができる。一連の単語予測のうちの各単語予測は、一連のビデオクリップのうちの対応するビデオクリップへのＤＮＮ１１２の適用に基づいて生成されることができる。その後、回路２０２は、生成された一連の単語予測に基づいて、センテンス又はフレーズを生成するように構成することができる。センテンス又はフレーズの生成は、一連の単語予測と、一連の単語予測のうちの隣接する単語予測の間に含まれる文字間隔又は非単語文字との連結を含むことができる。例えば図３に、一連の単語予測「ｈｏｗ」、「ａｒｅ」、「ｙｏｕ」を示す。回路２０２は、一連の単語予測を連結して、「ｈｏｗ ａｒｅ ｙｏｕ」というフレーズを生成するように構成することができる。１又は２以上の人間の話者１１４Ａの顔の表情、及び／又はセンテンス又はフレーズが生成される言語と関連付けられる意味的規則に基づいて、センテンス又はフレーズに句読点又は他の書式規則を適用することができる。例えば、「ｈｏｗ ａｒｅ ｙｏｕ」を「Ｈｏｗ ａｒｅ ｙｏｕ？」に更新することができる。

[0054] 図４は、本開示の実施形態による、コネクショニスト時間分類損失に基づく視覚音声認識のための例示的な動作を示すフローチャートである。図４の説明は、図１、図２及び図３の要素に関連して行う。図４を参照すると、フローチャート４００が示されている。フローチャート４００は、４０２～４１４の動作を含むことができ、図１の電子装置１０２によって又は図２の回路２０２によって実装することができる。フローチャート４００は４０２から開始し、４０４に進むことができる。

[0055] ４０４において、１又は２以上の人間の話者を含むビデオを受け取ることができる。ある実施形態では、回路２０２は、例えば図３で説明するように、１又は２以上の人間の話者１１４Ａを含むビデオ１１４を受け取るように構成することができる。

[0056] ４０６において、ビデオにおける１又は２以上の人間の話者の唇の動きに対応する予測を生成することができる。ある実施形態では、回路２０２は、ビデオ１１４における１又は２以上の人間の話者１１４Ａの唇の動きに対応する予測３０４を生成するように構成することができる。予測３０４は、ビデオ１１４へのＤＮＮ１１２の適用に基づいて生成されることができ、ＤＮＮ１１２は、ＣＴＣ損失関数を使用してトレーニングされることができる。一例では、ビデオ１１４の各画像フレームに対して、予測３０４は、クラスラベルのセットに対応する確率値のセットを含むことができる。クラスラベルのセットは、以下に限定されるわけではないが、単語文字、非単語文字、空白、及び擬似文字のうちの少なくとも１つを含む単語又は文字を含むことができる。予測３０４の生成については、例えば図３で説明する。

[0057] ４０８において、唇の動きに対応する一連の文字において１又は２以上の単語境界を検出することができる。ある実施形態では、回路２０２は、予測３０４に基づいて、唇の動きに対応する一連の文字において１又は２以上の単語境界を検出するように構成することができる。例えば、検出された１又は２以上の単語境界の各々は、一連の文字の第１の端部における単語文字と、一連の文字の第２の端部における非単語文字又は文字間隔とによって定められることができる。１又は２以上の単語境界の検出については、例えば図３で説明する。

[0058] ４１０において、ビデオを一連のビデオクリップに分割することができ、一連のビデオクリップのうちのビデオクリップは、１又は２以上の人間の話者によって発話される単語に対応する。ある実施形態では、回路２０２は、検出に基づいて、ビデオ１１４を一連のビデオクリップに分割するように構成することができる。ビデオの分割については、例えば図３で説明する。

[0059] ４１２において、一連のビデオクリップを処理することによって、一連の単語予測を生成することができる。ある実施形態では、回路２０２は、一連のビデオクリップを処理することによって、一連の単語予測を生成するように構成することができる。一連の単語予測の生成については、例えば図３で説明する。

[0060] ４１４において、生成された一連の単語予測に基づいて、センテンス又はフレーズを生成することができる。ある実施形態では、回路は、生成された一連の単語予測に基づいて、センテンス又はフレーズを生成するように構成することができる。センテンス又はフレーズの生成は、以下に限定されるわけではないが、一連の単語予測と、一連の単語予測のうちの隣接する単語予測の間に含まれる文字間隔又は非単語文字との連結を含むことができる。センテンス又はフレーズの生成については、例えば図３で説明する。制御は、終了に進むことができる。

[0061] フローチャート４００は、４０４、４０６、４０８、４１０、４１２及び４１４などの個別の動作として示されているが、本開示はこれに限定されるものではない。したがって、特定の実施形態では、このような個別の動作は、開示する実施形態の本質を損なうことなく、実装に応じて、追加の動作に更に分割したり、より少ない動作に組み合わせたり、又は削除したりすることができる。

[0062] 本開示の様々な実施形態は、機械及び／又はコンピュータが電子装置（例えば、電子装置１０２）を動作させるために実行できるコンピュータ実行可能命令を記憶した非一時的コンピュータ可読媒体及び／又は記憶媒体を提供することができる。これらの命令は、１又は２以上の人間の話者１１４Ａを含むビデオ１１４を取り出すことを含む動作を電子装置１０２に実行させることができる。動作は、ビデオ１１４における１又は２以上の人間の話者１１４Ａの唇の動きに対応する予測３０４を生成することを更に含むことができる。予測３０４は、ビデオ１１４へのＤＮＮ１１２の適用に基づいて生成されることができ、ＤＮＮ１１２は、コネクショニスト時間分類（ＣＴＣ）損失関数を使用してトレーニングされることができる。動作は、予測３０４に基づいて、唇の動きに対応する一連の文字において１又は２以上の単語境界を検出することを更に含むことができる。動作は、検出に基づいて、ビデオを一連のビデオクリップに分割することを更に含むことができる。一連のビデオクリップのうちの各ビデオクリップは、１又は２以上の人間の話者１１４Ａによって発話される単語に対応する。動作は、一連のビデオクリップを処理することによって、一連の単語予測を生成することを更に含むことができる。動作は、生成された一連の単語予測に基づいて、センテンス又はフレーズを生成することを更に含むことができる。

[0063] 本開示の例示的な態様は、回路（回路２０２など）を含む電子装置（図１の電子装置１０２など）を提供することができる。回路２０２は、１又は２以上の人間の話者１１４Ａを含むビデオ１１４を受け取るように構成することができる。回路２０２は、ビデオ１１４における１又は２以上の人間の話者１１４Ａの唇の動きに対応する予測３０４を生成するように構成することができる。予測３０４は、ビデオ１１４へのＤＮＮ１１２の適用に基づいて生成されることができ、ＤＮＮ１１２は、コネクショニスト時間分類（ＣＴＣ）損失関数を使用してトレーニングされることができる。回路２０２は、予測３０４に基づいて、唇の動きに対応する一連の文字において１又は２以上の単語境界を検出するように構成することができる。回路２０２は、検出に基づいて、ビデオを一連のビデオクリップに分割するように構成することができる。一連のビデオクリップのうちの各ビデオクリップは、１又は２以上の人間の話者１１４Ａによって発話される単語に対応する。回路２０２は、一連のビデオクリップを処理することによって、一連の単語予測を生成するように構成することができる。回路２０２は、生成された一連の単語予測に基づいて、センテンス又はフレーズを生成するように構成することができる。

[0064] ある実施形態では、検出された１又は２以上の単語境界の各々は、一連の文字の第１の端部における単語文字と、一連の文字の第２の端部における非単語文字又は文字間隔とによって定められることができる。

[0065] ある実施形態では、ビデオの各画像フレームに対して、予測３０４は、クラスラベルのセットに対応する確率値のセットを含む。

[0066] ある実施形態では、クラスラベルのセットは、単語文字、非単語文字、空白、及び擬似文字のうちの少なくとも１つを含む単語又は文字を含む。

[0067] ある実施形態では、ＤＮＮ１１２は、クロスエントロピー損失関数に更に基づいてトレーニングされることができる。

[0068] ある実施形態では、一連の単語予測のうちの各単語予測は、一連のビデオクリップのうちの対応するビデオクリップへのＤＮＮ１１２の適用に基づいて生成されることができる。

[0069] ある実施形態では、センテンス又はフレーズの生成は、一連の単語予測と、一連の単語予測のうちの隣接する単語予測の間に含まれる文字間隔又は非単語文字との連結を含む。

[0070] 本開示は、ハードウェアの形で実現することも、又はハードウェアとソフトウェアの組み合わせの形で実現することもできる。本開示は、少なくとも１つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアの組み合わせは、ロードされて実行された時に本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアの形で実現することができる。

[0071] 本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムとは、情報処理能力を有するシステムに、特定の機能を直接的に、或いはａ）別の言語、コード又は表記法への変換、ｂ）異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、あらゆる言語、コード又は表記法におけるあらゆる表現を意味する。

[0072] いくつかの実施形態を参照しながら本開示を説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することができると理解するであろう。また、本開示の範囲から逸脱することなく、本開示の教示に特定の状況又は内容を適合させるための多くの変更を行うこともできる。したがって、本開示は、開示した実施形態に限定されるものではなく、特許請求の範囲に該当する全ての実施形態を含むことが意図されている。

１００ ネットワーク環境
１０２ 電子装置
１０４ サーバ
１０６ ビデオソース
１０８ 通信ネットワーク
１１０ ディスプレイデバイス
１１２ ディープニューラルネットワーク（ＤＮＮ）
１１４ ビデオ
１１４Ａ １又は２以上の人間の話者
２０２ 回路
２０４ メモリ
２０６ 唇の動き検出器
２０８ 入力／出力（Ｉ／Ｏ）デバイス
２１０ ネットワークインターフェイス
３００ 処理パイプライン
３０２ 唇の動きの分析
３０４ 予測
４００ フローチャート
４０２ 開始
４０４ １又は２以上の人間の話者を含むビデオを受け取る
４０６ ビデオにおける１又は２以上の人間の話者の唇の動きに対応する予測を生成
４０８ 予測に基づいて、唇の動きに対応する一連の文字において１又は２以上の単語境界を検出
４１０ 検出に基づいてビデオを一連のビデオクリップに分割し、一連のビデオクリップのうちのビデオクリップは、１又は２以上の人間の話者によって発話される単語に対応する
４１２ 一連のビデオクリップを処理することによって、一連の単語予測を生成
４１４ 生成された一連の単語予測に基づいて、センテンス又はフレーズを生成
ＶＣ１，ＶＣ２，ＶＣ３ ビデオクリップ
ＷＢ１，ＷＢ２ 単語境界

Claims (17)

1. 電子装置であって、
   １又は２以上の人間の話者を含むビデオを受け取ることと、
   前記ビデオにおける前記１又は２以上の人間の話者の唇の動きに対応する予測を生成することであって、
   前記予測は、前記ビデオへのディープニューラルネットワーク（ＤＮＮ）の適用に基づいて生成され、かつ、
   前記ＤＮＮは、コネクショニスト時間分類（ＣＴＣ）損失関数を使用してトレーニングされる、ことと、
   前記予測に基づいて、前記唇の動きに対応する一連の文字において１又は２以上の単語境界を検出することと、
   前記検出に基づいて、前記ビデオを一連のビデオクリップに分割することであって、前記一連のビデオクリップのうちの各ビデオクリップは、前記１又は２以上の人間の話者によって発話される単語に対応する、ことと、
   前記一連のビデオクリップを処理することによって、一連の単語予測を生成することと、
   前記生成された一連の単語予測に基づいて、センテンス又はフレーズを生成することと、
   を行うように構成される回路、
   を含み、
   前記ビデオの各画像フレームに対して、前記予測は、クラスラベルのセットに対応する確率値のセットを含み、
   前記クラスラベルのセットは、単語文字、非単語文字、空白、及び擬似文字のうちの少なくとも１つを含む単語又は文字を含み、
   前記ＤＮＮは、空白のクラスである確率が最も高いと予測された画像フレームを、前記唇の動きに対応する一連の文字において１又は２以上の単語境界として検出する、
   ことを特徴とする電子装置。
2. 前記検出された１又は２以上の単語境界の各々は、前記一連の文字の第１の端部における単語文字と、前記一連の文字の第２の端部における非単語文字又は文字間隔とによって定められることを特徴とする、請求項１に記載の電子装置。
3. 前記ＤＮＮは、クロスエントロピー損失関数に更に基づいてトレーニングされることを特徴とする、請求項１に記載の電子装置。
4. 前記一連の単語予測のうちの各単語予測は、前記一連のビデオクリップのうちの対応するビデオクリップへの前記ＤＮＮの適用に基づいて生成されることを特徴とする、請求項１に記載の電子装置。
5. 前記センテンス又はフレーズの生成は、前記一連の単語予測と、前記一連の単語予測のうちの隣接する単語予測の間に含まれる文字間隔又は非単語文字との連結を含むことを特徴とする、請求項１に記載の電子装置。
6. 電子装置であって、
   １又は２以上の人間の話者を含むビデオを受け取ることと、
   前記ビデオにおける前記１又は２以上の人間の話者の唇の動きに対応する予測を生成することであって、
   前記予測は、前記ビデオへのディープニューラルネットワーク（ＤＮＮ）の適用に基づいて生成され、かつ、
   前記ＤＮＮは、コネクショニスト時間分類（ＣＴＣ）損失関数を使用してトレーニングされる、ことと、
   前記予測に基づいて、前記唇の動きに対応する一連の文字において１又は２以上の単語境界を検出することと、
   前記検出に基づいて、前記ビデオを一連のビデオクリップに分割することであって、前記一連のビデオクリップのうちの各ビデオクリップは、前記１又は２以上の人間の話者によって発話される単語に対応する、ことと、
   前記一連のビデオクリップを処理することによって、一連の単語予測を生成することと、
   前記生成された一連の単語予測に基づいて、センテンス又はフレーズを生成することと、
   を行うように構成される回路、
   を含み、
   前記一連の単語予測のうちの各単語予測は、前記一連のビデオクリップのうちの対応するビデオクリップへの前記ＤＮＮの適用に基づいて生成される、
   ことを特徴とする電子装置。
7. 方法であって、
   １又は２以上の人間の話者を含むビデオを受け取るステップと、
   前記ビデオにおける前記１又は２以上の人間の話者の唇の動きに対応する予測を生成するステップであって、
   前記予測は、前記ビデオへのディープニューラルネットワーク（ＤＮＮ）の適用に基づいて生成され、かつ、
   前記ＤＮＮは、コネクショニスト時間分類（ＣＴＣ）損失関数を使用してトレーニングされる、ステップと、
   前記予測に基づいて、前記唇の動きに対応する一連の文字において１又は２以上の単語境界を検出するステップと、
   前記検出に基づいて、前記ビデオを一連のビデオクリップに分割するステップであって、前記一連のビデオクリップのうちの各ビデオクリップは、前記１又は２以上の人間の話者によって発話される単語に対応する、ステップと、
   前記一連のビデオクリップを処理することによって、一連の単語予測を生成するステップと、
   前記生成された一連の単語予測に基づいて、センテンス又はフレーズを生成するステップと、
   を含み、
   前記ビデオの各画像フレームに対して、前記予測は、クラスラベルのセットに対応する確率値のセットを含み、
   前記クラスラベルのセットは、単語文字、非単語文字、空白、及び擬似文字のうちの少なくとも１つを含む単語又は文字を含み、
   前記ＤＮＮは、空白のクラスである確率が最も高いと予測された画像フレームを、前記唇の動きに対応する一連の文字において１又は２以上の単語境界として検出する、
   ことを特徴とする方法。
8. 前記検出された１又は２以上の単語境界の各々は、前記一連の文字の第１の端部における単語文字と、前記一連の文字の第２の端部における非単語文字又は文字間隔とによって定められることを特徴とする、請求項７に記載の方法。
9. 前記ＤＮＮは、クロスエントロピー損失関数に更に基づいてトレーニングされることを特徴とする、請求項７に記載の方法。
10. 前記一連の単語予測のうちの各単語予測は、前記一連のビデオクリップのうちの対応するビデオクリップへの前記ＤＮＮの適用に基づいて生成されることを特徴とする、請求項７に記載の方法。
11. 前記センテンス又はフレーズの生成は、前記一連の単語予測と、前記一連の単語予測のうちの隣接する単語予測の間に含まれる文字間隔又は非単語文字との連結を含むことを特徴とする、請求項７に記載の方法。
12. 方法であって、
    １又は２以上の人間の話者を含むビデオを受け取るステップと、
    前記ビデオにおける前記１又は２以上の人間の話者の唇の動きに対応する予測を生成するステップであって、
    前記予測は、前記ビデオへのディープニューラルネットワーク（ＤＮＮ）の適用に基づいて生成され、かつ、
    前記ＤＮＮは、コネクショニスト時間分類（ＣＴＣ）損失関数を使用してトレーニングされる、ステップと、
    前記予測に基づいて、前記唇の動きに対応する一連の文字において１又は２以上の単語境界を検出するステップと、
    前記検出に基づいて、前記ビデオを一連のビデオクリップに分割するステップであって、前記一連のビデオクリップのうちの各ビデオクリップは、前記１又は２以上の人間の話者によって発話される単語に対応する、ステップと、
    前記一連のビデオクリップを処理することによって、一連の単語予測を生成するステップと、
    前記生成された一連の単語予測に基づいて、センテンス又はフレーズを生成するステップと、
    を含み、
    前記一連の単語予測のうちの各単語予測は、前記一連のビデオクリップのうちの対応するビデオクリップへの前記ＤＮＮの適用に基づいて生成される、
    ことを特徴とする方法。
13. 電子装置によって実行された時に、前記電子装置に動作を実行させるコンピュータ実行可能命令が記憶された非一時的コンピュータ可読媒体であって、前記動作は、
    １又は２以上の人間の話者を含むビデオを受け取ることと、
    前記ビデオにおける前記１又は２以上の人間の話者の唇の動きに対応する予測を生成することであって、
    前記予測は、前記ビデオへのディープニューラルネットワーク（ＤＮＮ）の適用に基づいて生成され、かつ、
    前記ＤＮＮは、コネクショニスト時間分類（ＣＴＣ）損失関数を使用してトレーニングされる、ことと、
    前記予測に基づいて、前記唇の動きに対応する一連の文字において１又は２以上の単語境界を検出することと、
    前記検出に基づいて、前記ビデオを一連のビデオクリップに分割することであって、前記一連のビデオクリップのうちの各ビデオクリップは、前記１又は２以上の人間の話者によって発話される単語に対応する、ことと、
    前記一連のビデオクリップを処理することによって、一連の単語予測を生成することと、
    前記生成された一連の単語予測に基づいて、センテンス又はフレーズを生成することと、
    を含み、
    前記ビデオの各画像フレームに対して、前記予測は、クラスラベルのセットに対応する確率値のセットを含み、
    前記クラスラベルのセットは、単語文字、非単語文字、空白、及び擬似文字のうちの少なくとも１つを含む単語又は文字を含み、
    前記ＤＮＮは、空白のクラスである確率が最も高いと予測された画像フレームを、前記唇の動きに対応する一連の文字において１又は２以上の単語境界として検出する、
    ことを特徴とする非一時的コンピュータ可読媒体。
14. 前記検出された１又は２以上の単語境界の各々は、前記一連の文字の第１の端部における単語文字と、前記一連の文字の第２の端部における非単語文字又は文字間隔とによって定められることを特徴とする、請求項１３に記載の非一時的コンピュータ可読媒体。
15. 前記ＤＮＮは、クロスエントロピー損失関数に更に基づいてトレーニングされることを特徴とする、請求項１３に記載の非一時的コンピュータ可読媒体。
16. 前記センテンス又はフレーズの生成は、前記一連の単語予測と、前記一連の単語予測のうちの隣接する単語予測の間に含まれる文字間隔又は非単語文字との連結を含むことを特徴とする、請求項１３に記載の非一時的コンピュータ可読媒体。
17. 電子装置によって実行された時に、前記電子装置に動作を実行させるコンピュータ実行可能命令が記憶された非一時的コンピュータ可読媒体であって、前記動作は、
    １又は２以上の人間の話者を含むビデオを受け取ることと、
    前記ビデオにおける前記１又は２以上の人間の話者の唇の動きに対応する予測を生成することであって、
    前記予測は、前記ビデオへのディープニューラルネットワーク（ＤＮＮ）の適用に基づいて生成され、かつ、
    前記ＤＮＮは、コネクショニスト時間分類（ＣＴＣ）損失関数を使用してトレーニングされる、ことと、
    前記予測に基づいて、前記唇の動きに対応する一連の文字において１又は２以上の単語境界を検出することと、
    前記検出に基づいて、前記ビデオを一連のビデオクリップに分割することであって、前記一連のビデオクリップのうちの各ビデオクリップは、前記１又は２以上の人間の話者によって発話される単語に対応する、ことと、
    前記一連のビデオクリップを処理することによって、一連の単語予測を生成することと、
    前記生成された一連の単語予測に基づいて、センテンス又はフレーズを生成することと、
    を含み、
    前記一連の単語予測のうちの各単語予測は、前記一連のビデオクリップのうちの対応するビデオクリップへの前記ＤＮＮの適用に基づいて生成される、
    ことを特徴とする非一時的コンピュータ可読媒体。