Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7679367B2 - クラウドバイトストリームアライメント方式 - Google Patents
[go: Go Back, main page]

JP7679367B2 - クラウドバイトストリームアライメント方式 - Google Patents

クラウドバイトストリームアライメント方式 Download PDF

Info

Publication number
JP7679367B2
JP7679367B2 JP2022523594A JP2022523594A JP7679367B2 JP 7679367 B2 JP7679367 B2 JP 7679367B2 JP 2022523594 A JP2022523594 A JP 2022523594A JP 2022523594 A JP2022523594 A JP 2022523594A JP 7679367 B2 JP7679367 B2 JP 7679367B2
Authority
JP
Japan
Prior art keywords
audio signal
uplink
cloud
ecnr
downlink
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022523594A
Other languages
English (en)
Other versions
JP2023508627A (ja
Inventor
クリスティアン チス,
ティモシー レイモンド バンゴーテム,
ジャビル カナスヴァラピル モイダニー,
Original Assignee
ハーマン インターナショナル インダストリーズ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ハーマン インターナショナル インダストリーズ インコーポレイテッド filed Critical ハーマン インターナショナル インダストリーズ インコーポレイテッド
Publication of JP2023508627A publication Critical patent/JP2023508627A/ja
Application granted granted Critical
Publication of JP7679367B2 publication Critical patent/JP7679367B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407Monitoring of transmitted content, e.g. distribution time, number of downloads
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/20Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephonic Communication Services (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

本開示は、クラウドコンポーネントで処理され、クラウドコンポーネントとエンドデバイスとの間で再同期される信号を選択するための方法に関する。
エコーノイズキャンセルリダクション(ECNR)は、テレフォニー、会議、音声認識、モバイルデバイス、及びスマートスピーカーシステムのパフォーマンスを向上させる。これは、ほんの数例を挙げると、オーディオノイズカップリングが車両オーディオシステムからのノイズ、エンジンノイズ、ロードノイズ、空調システムからのノイズ、風騒音、ハンズフリー電話会話からの音声、及びその他のキャビンノイズを含み得る車両環境におけるハンズフリーオーディオに特に当てはまる。このように音声を処理するための計算コンポーネントは、その機能を実行するために入力ストリーム及び出力ストリームの両方を必要とする。入力ストリームと出力ストリームとの間に限定されたずれだけが許容され得る。例えば、車両の同じ場所に配置されたECNRシステム内では、これらのオーディオストリームの配信/受信に関連するスピーカーストリームとマイクロフォンストリームとの間の5msの遅延は管理可能である。ECNRまたはその他の処理がクラウドで実行されるとき、ストリームがネットワークを通じてクラウドベースプロセッサに伝送されるため、これらのストリームの配信/受信は、車両で通常発生するものよりも大幅に遅延し得る。処理コンポーネントをクラウドに移動することによって生じるレイテンシーは、より大きくなるだけでなく、変化もするため、例えば、クラウドベースECNRブロックによって処理されるオーディオ信号の決定が複雑になる。
ECNRがエコー及びノイズを検出及びキャンセルする機能を実行できるように、クラウドベースECNRに出入りするストリームの時間のずれを解決する必要がある。
本発明の主題は、ネットワークを通じて、車両、インターネットプロトコル電話、またはインテリジェントスピーカー等から送信されるコンテンツによって生じるレイテンシーの補償を調整するためのオーディオストリームを選択して、クラウドのECNRブロック、または車両の外部に位置するいくつかの他のコンピューティング環境で処理するための方法に関する。また、クラウドのECNRブロックによって処理される音声信号は車両のエンドデバイスに返送される。処理される適切なオーディオ信号の選択は、ループバック方式、タイムスタンプ(TS)方式、またはピング方式を使用して実現し得る。ピング方式では、着信オーディオ信号及び発信オーディオ信号をECNRブロックにおいて選択して、処理することも可能になる。
本明細書は、例えば、以下の項目も提供する。
(項目1)
オーディオシステムで発信され、エンドデバイスで再生されるオーディオ信号のクラウドベースのエコーノイズキャンセル低減(ECNR)の方法であって、
前記オーディオシステムのマイクロフォンで、アップリンクオーディオ信号を受信するステップと、
ネットワークを通じて、前記アップリンクオーディオ信号をクラウドベースECNRに伝送するステップと、
前記ECNRからコンテンツクラウドに前記アップリンクオーディオ信号を伝送するステップと、
前記ECNRにおいて、ダウンリンクオーディオ信号を前記コンテンツクラウドから受信するステップと、
前記アップリンクオーディオ信号及びダウンリンクオーディオ信号をバッファリング及び順序付けするステップと、
前記バッファから、適切なアップリンクオーディオ信号を識別するステップと、
前記ネットワークを通じて、前記エンドデバイスのスピーカーで再生される適切なアップリンクオーディオ信号を伝送するステップと、
を含む、前記方法。
(項目2)
前記適切なアップリンクオーディオ信号を識別するステップは、さらに、
前記ネットワークを通じて、前記ダウンリンクオーディオ信号を前記アップリンクオーディオ信号とともに前記ECNRにループバックするステップと、
前記ECNRに出入りする前記バッファリング及び順序付けされたオーディオ信号から、前記ループバックされたダウンリンクオーディオ信号と一致する前記オーディオ信号を前記適切なアップリンクオーディオ信号として選択するステップと、
を含む、項目1に記載の方法。
(項目3)
前記ダウンリンクオーディオ信号のタイムスタンプをさらに含み、前記適切なアップリンクオーディオ信号を識別するステップは、さらに、
前記アップリンクオーディオ信号を前記ダウンリンクオーディオ信号の前記タイムスタンプと組み合わせるステップと、
前記ECNRに出入りする前記バッファリング及び順序付けされたオーディオ信号から、前記ダウンリンクオーディオ信号の前記タイムスタンプと一致する前記オーディオ信号を前記適切なアップリンクオーディオ信号として選択するステップと、
を含む、項目1に記載の方法。
(項目4)
処理する前記適切なアップリンクオーディオ信号を識別するステップは、さらに、
前記オーディオシステムと前記クラウドとの間でピングをループして、時間遅延を測定するステップと、
前記ピングを前記アップリンクオーディオ信号で連続的に調整するステップと、
前記ECNRに出入りする前記バッファリング及び順序付けされたオーディオ信号から、前記ピングの前記時間遅延と一致する前記オーディオ信号を前記適切なアップリンクオーディオ信号として選択するステップと、
を含む、項目1に記載の方法。
(項目5)
前記ECNRにおいてダウンリンクオーディオ信号を受信するステップは、さらに、
前記ピングを前記ダウンリンクオーディオ信号で連続的に調整するステップと、
前記ECNRにおいて、前記ダウンリンクオーディオ信号を処理するステップと、
処理されたダウンリンクオーディオ信号を前記オーディオシステムに伝送するステップと、
を含む、項目4に記載の方法。
(項目6)
オーディオ信号のエコーノイズをキャンセルするためのシステムであって、
マイクロフォン及びラウドスピーカーを有するオーディオシステムと、
前記マイクロフォンにおいて受信されたアップリンクオーディオ信号と、
クラウドベースプロセッサと、
前記オーディオシステムと前記クラウドベースプロセッサとの間で前記アップリンクオーディオ信号を伝送するための、前記オーディオシステムと前記クラウドベースプロセッサとの間の通信リンクと、を備え、
前記クラウドベースプロセッサは適切なアップリンクオーディオ信号を前記アップリンクオーディオ信号から識別及び選択し、前記クラウドベースプロセッサは、エコーノイズキャンセル低減のために前記適切なアップリンクオーディオ信号を処理し、
前記適切なアップリンクオーディオ信号は、前記オーディオシステムに返送され、前記ラウドスピーカーで再生される、前記システム。
(項目7)
前記アップリンク信号でループバックされるコンテンツクラウドで生成されるダウンリンクオーディオ信号をさらに含み、前記適切なアップリンクオーディオ信号は、前記ループバックされたダウンリンクオーディオ信号と一致するオーディオ信号を検出することによって選択される、項目6に記載のシステム。
(項目8)
ダウンリンクオーディオ信号と、
前記ダウンリンクオーディオ信号のタイムスタンプと、をさらに含み、
前記適切なアップリンクオーディオ信号は、さらに、組み合わされたアップリンクオーディオ信号を前記ダウンリンクオーディオ信号の前記タイムスタンプと一致させる前記オーディオ信号を含む、項目6に記載のシステム。
(項目9)
ダウンリンクオーディオ信号と、
時間遅延を測定するためのピングと、をさらに含み、
前記ピングは、前記オーディオシステムと前記クラウドベースプロセッサとの間でループされ、前記アップリンクオーディオ信号で連続的に調整され、
前記適切なアップリンクオーディオ信号は、前記ピングの前記時間遅延に一致する前記オーディオ信号であると識別される、項目6に記載のシステム。
(項目10)
前記ピングは前記ダウンリンクオーディオ信号と連続的に調整され、前記適切なアップリンクオーディオ信号は、前記ピングの前記時間遅延に一致する前記オーディオ信号であると識別される、項目9に記載のシステム。
アップリンクオーディオストリーム及びダウンリンクオーディオストリームのクラウドベースECNRのためのオーディオサンプルを選択するための方法のフロー図である。 車両のオーディオシステムとクラウドベースECNRブロックとの間を流れるデータストリームを示すシステムのブロック図である。 車両のオーディオシステムと、タイムスタンプ(TS)を組み込んでいるクラウドベースECNRブロックとの間を流れるデータストリームを示すシステムのブロック図である。 車両のオーディオシステムと、ピングループを組み込んでいるクラウドベースECNRブロックとの間を流れるデータストリームを示すシステムのブロック図である。
図の要素及びステップは、単純及び明確にするために示され、必ずしもいずれかの特定の順序に従って提供されていない。例えば、同時にまたは異なる順序で行われ得るステップは、本開示の実施形態の理解を改善することを助けるために図に示される。
本開示の様々な態様が特定の例示的な実施形態を参照して説明されているが、本開示は、係る実施形態、及び追加の修正、適用に限定されず、実施形態は、本開示から逸脱することなく実施され得る。図では、同じ参照符号を使用して、同じ構成要素を示す。当業者は、本明細書に記載された様々な構成要素が、本開示の範囲から変わることなく変更され得ることを認識している。
本明細書に説明されるサーバ、レシーバ、またはデバイスのいずれかの1つ以上は、様々なプログラミング言語及び/または技術を使用して作成されたコンピュータプログラムからコンパイルまたは解釈され得るコンピュータ実行可能命令を含む。概して、プロセッサ(マイクロプロセッサ等)は、例えば、メモリ、コンピュータ可読媒体等から命令を受信し、命令を実行する。処理ユニットは、ソフトウェアプログラムの命令を実行することが可能である非一時的コンピュータ可読ストレージ媒体を含む。コンピュータ可読記憶媒体は、限定ではないが、電子記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁気記憶デバイス、半導体記憶デバイス、またはそれらのいずれかの適切な組み合わせであり得る。本明細書のいずれかの1つ以上のデバイスは、ファームウェアに依存し得、ファームウェアは、オペレーティングシステムとの互換性、改善及び追加機能、セキュリティアップデート等を確実にするために、時々更新を必要とし得る。接続サーバ及びネットワークサーバ、レシーバ、またはデバイスは、限定ではないが、SATA、Wi-Fi、ライトニングコネクタ、USB、イーサネット(登録商標)、UFS、5G等を含み得る。1つ以上のサーバ、レシーバ、またはデバイスは、ほんの数例を挙げると、専用オペレーティングシステム、グラフィックス、音声、無線ネットワーク等のインターフェース用の複数のソフトウェアプログラム及び/またはプラットフォームを使用して動作し得、アプリケーションを可能にし、車両コンポーネント、システムのハードウェア、ならびにスマートフォン、タブレット、及び他のシステム等の外部デバイスを統合する。
図1は、オーディオ信号のクラウドベースのエコーノイズキャンセル低減(ECNR)のための方法100のフロー図を示す。本明細書の説明は、ネットワークを通じて、クラウドプロバイダーと、テレフォニー及びコンテンツクラウドプロバイダーとに接続される車両ベースのオーディオシステムに適用される。しかしながら、本発明の主題は、車載用途に限定されず、また、スマートスピーカー、IP会議システム等にも適用され得ることに留意されたい。いずれの場合も、オーディオ信号処理はクラウドで実行される。音声、エコー、及びノイズ信号は、例えば、車室内のマイクロフォンによって受信される(102)。処理されるアップリンクオーディオサンプルは、受信された音声、エコー、及びノイズ信号から作成される(104)。処理されるアップリンクオーディオサンプルは、ネットワークを通じてクラウドに伝送される(106)。クラウド内で、処理されるアップリンクオーディオサンプルは順序付けされ、タイムスタンプが付けられ、バッファリングされる。
この時点までのプロセス全体を通じて、アップリンクオーディオがクラウドに伝送されるときにレイテンシーが生じる。このレイテンシーは変化し、ネットワーク速度、信号の移動距離、及びその他の要因の影響を受ける。したがって、バッファから、処理される適切なアップリンクオーディオサンプルが識別され(110)、選択され、処理(112)のためにECNRブロックに送信される。方法200、300、及び400のいずれか1つを使用して、ECNRに出入りするオーディオストリームの時間のずれを解決し、ECNRで処理される適切なアップリンクオーディオサンプルを識別し得る。方法200は、処理される適切なアップリンクオーディオサンプルを識別するステップ110にループバック方式を適用し、図2に示されるシステムを参照して本明細書で後述する。方法300は、タイムスタンプ方式を、処理される適切なアップリンクオーディオサンプルを識別するステップ110に適用し、図3に示されるシステムを参照して本明細書で後述する。方法400は、処理される適切なアップリンクオーディオサンプルを識別するステップ110にピング方式を適用し、図4に示されるシステムを参照して本明細書で後述する。
再び図1を参照すると、処理される適切なアップリンクオーディオサンプルがECNRブロックによって識別され(110)、処理され(112)、処理されたアップリンクオーディオサンプルは、テレフォニー及びコンテンツクラウドに伝送される(114)。ダウンリンクオーディオサンプルは、テレフォニー及びコンテンツクラウドから受信される(116)。ダウンリンクオーディオサンプルは、タイムスタンプが付けられ、再び追加の時間遅延を伴って、ネットワークを通じて伝送され(118)、そのダウンリンクオーディオサンプルは、スピーカー(例えば、車両のオーディオシステムのスピーカー)で出力される(120)。
オーディオ計算コンポーネントは、その機能を実行するために出力ストリーム及び入力ストリームの両方を必要とする。多くの場合、ストリーム間の限定された時間のずれだけが許容される。クラウドベースプロセッサ等で処理がリモートで行われ、ストリームの配信及び/または受信がクラウドベースプロセッサから数百マイル離れた車両で行われるとき、この調整を実現することは困難である。
図2は、オーディオシステム202(車両オーディオシステム、スマートスピーカー、またはIP会議システム等)と、クラウドベースECNR204との間を流れるオーディオデータストリームを示すシステム200のブロック図である。ループバックオーディオ214は、図1の方法によって使用され、バッファ、シーケンサー、及び時間調整ブロック218から、クラウドベースECNR204で処理される適切なアップリンクオーディオサンプル220を識別するステップ110に適用される。アップリンクオーディオ信号222は、マイクロフォン224で受信された音声、エコー、及びノイズ信号から作成される。ダウンリンクオーディオ信号206は、テレフォニー及びコンテンツクラウド208からネットワーク210を通じてオーディオシステム202に返送され、ダウンリンクオーディオ信号206は、スピーカー212で出力され、ループバックされ(214)、ネットワーク210を通じて、クラウド216に、処理されるアップリンクオーディオサンプルとともにルーティングされる。図2に示される方法200では、ループバックされるダウンリンクオーディオ信号214と一緒にアップリンクオーディオ信号222は両方とも時間的に調整され、ネットワーク210を通じて送信される。
オーディオ信号222、214が処理のためにクラウド216に到着するとき、選択される前に、それらのオーディオ信号は、時間基準219に関して、ブロック218でバッファリングされ、順序付けられ、タイムスタンプが付けられる。ループバック時間に従って、処理される適切なアップリンクオーディオサンプル220は識別され、次に、バッファから選択される。選択されたアップリンクオーディオサンプルは、ECNR204で処理される。処理された信号226はテレフォニー及びコンテンツクラウド208に伝送され、ダウンリンクオーディオ206はECNR204に戻され、ダウンリンクオーディオ206は、ブロック218でタイムスタンプが付けられ、ネットワーク210を通じて伝送され、オーディオシステム202のスピーカー212で再生される。
図3は、オーディオシステム302(車両オーディオシステム、スマートスピーカー、またはIP会議システム等)と、クラウドベースECNRブロック304との間を流れるオーディオデータストリームを示すシステム300のブロック図である。図3に示されるタイムスタンプシステムは、図1の方法によって使用され、ブロック318のバッファから、クラウドベースECNRブロック304で処理される適切なアップリンクオーディオサンプル320を識別するステップ110に適用される。アップリンクオーディオ信号322は、マイクロフォン324によって受信された音声、エコー、及びノイズ信号から作成され、タイムスタンプが付けられる(314)。アップリンク信号のタイムスタンプTuは、ネットワーク310を通じて伝送されるアップリンクオーディオ信号322に追加される。
ダウンリンクオーディオ信号306は、テレフォニー及びコンテンツクラウド308からネットワーク310を通じて車両オーディオシステム302に返送され、ダウンリンクオーディオ信号306はスピーカー312で出力される。また、ダウンリンクオーディオサンプルは、タイムスタンプが付けられる(314)。ダウンリンク信号タイムスタンプTdは、アップリンク信号タイムスタンプTu及びネットワーク310を通じて伝送されるアップリンクオーディオ信号322と組み合わされる。
アップリンクオーディオ信号322ならびにタイムスタンプTu及びTdがクラウド316に到着するとき、それらは、選択される前に、時間基準319に関して再びブロック318でバッファリングされ、順序付けられ、タイムスタンプが付けられる。処理される適切なアップリンクオーディオサンプル320は、ECNRブロック304で処理されるタイムスタンプTu、Tdを時間基準Trと調整することによって、ブロック318でバッファから識別及び選択される。処理された信号326は、テレフォニー及びコンテンツクラウド308に伝送され、ダウンリンクオーディオ信号306は、再度、ECNRブロック304に戻され、ネットワーク310を通じて伝送され、オーディオシステム302のスピーカー312で再生される前に、ブロック318でタイムスタンプが付けられる。
図3を参照して説明したタイムスタンプ方式は、ダウンリンクオーディオ信号の全体ではなく、ダウンリンクオーディオ信号に関連するタイムスタンプTdだけが、ネットワーク310を通じてループバックされ、伝送されるという利点をもたらす。これは、ストリーミングされるデータがより少ないという点で有利である。これは、図2を参照して説明したループバック方式よりも速く、より費用効果の高い方式で伝送される。
図4は、オーディオシステム402(車両オーディオシステム、スマートスピーカー、またはIP会議システム等)と、クラウドベースECNRブロック404との間を流れるオーディオデータストリームを示すシステム400のブロック図である。図4に示されるピングループシステムは、図1の方法によって使用され、バッファから(418)、クラウドベースECNR404で処理される適切なアップリンクオーディオサンプル420を識別するステップに適用される。
アップリンクオーディオ信号422は、オーディオシステム402でマイクロフォン424によって受信された音声、エコー、及びノイズ信号から作成される。ピング430は、オーディオシステム402のピングクライアント428と、クラウド416のブロック418のバッファとの間で、ネットワーク410を通じてループされる。上記のようにオーディオ信号にタイムスタンプを付ける代わりに、アップリンクオーディオ信号422をクラウド416に送信するのにかかる時間は、ブロック418のバッファから、ECNRブロック404で処理されるオーディオ信号420を識別及び選択するために使用される時間遅延の量である。処理された信号426は、テレフォニー及びコンテンツクラウド408に伝送され、ダウンリンクオーディオ信号406は、再度、ECNRブロック404に戻され、ネットワーク410を通じて伝送され、オーディオシステム402のスピーカー412で再生される前に、ブロック418でタイムスタンプが付けられる。
ダウンリンクオーディオ信号406は、テレフォニー及びコンテンツクラウド408からネットワーク410を通じて車両オーディオシステム402に返送され、ダウンリンクオーディオ信号406はスピーカー412で出力される。ピングループ方式の明確な利点は、レイテンシーの変化に対応するためにピングを連続的に調整し得ることである。また、ピングはユニバーサルである。ピングはクラウドプロバイダーに固有ではない。したがって、ピングはアップリンクオーディオ信号及びダウンリンクオーディオ信号の時間のずれを解決するために使用され得る。したがって、ダウンリンクオーディオ信号406をスピーカー412で再生するために、ネットワーク410を通じてオーディオシステム402に戻す前に、ECNRは、処理されるアップリンク信号420のような方式でダウンリンク信号をクリーンアップし得る。
前述の明細書では、特定の例示的な実施形態を参照して本開示を説明してきた。しかしながら、様々な修正及び変更は、特許請求の範囲に記載される本開示の範囲を逸脱することなくなされ得る。本明細書及び図は限定的ではなく例示的であり、修正は本開示の範囲内に含まれることが意図される。したがって、本開示の範囲は、単に説明された例によってではなく、特許請求の範囲及びその法的均等物によって決定されるべきである。
例えば、いずれかの方法または工程の請求項で列挙されるステップは、いずれかの順序で実行され得、特許請求の範囲に提示される特定の順序に限定されない。平均化は、信号ノイズの影響を最小限にするために、フィルタを用いて実施され得る。さらに、いずれかの機器の請求項で列挙される構成要素及び/または要素は組み立てられ得、またはそうでなければ、様々な順列で動作可能に構成され得るため、特許請求の範囲で列挙される特定の構成に限定されない。
利益、他の利点、及び問題に対する解決策は例示的な実施形態に関して上記に説明されている。しかしながら、いずれかの利益、利点、問題に対する解決策、あるいはいずれかの特定の利益、利点、もしくは解決策を発生させ得る、またはより顕著にし得るいずれかの要素は、請求項のいずれかまたは全ての重大な、必要または本質的な特徴または構成要素として解釈されない。
「含む(comprise)」、「含む(comprises)」、「含む(comprising)」、「有する(having)」、「含む(including)」、「含む(includes)」という用語、またはそれらのいずれかの変形は、非排他的な包含を言及することを意図しており、それにより、要素の一覧を含むプロセス、方法、物品、構成、または装置は、列挙されるそれらの要素だけを含むだけではなく、明示的に列挙されていない、またはそのようなプロセス、方法、物品、構成、または装置に固有ではない他の要素を含み得る。本開示の実践において使用される上述の構造、配置、用途、比率、要素、材料、または構成要素の他の組み合わせ及び/または修正は、具体的に列挙されていないものに加えて、本開示の一般的な原理から逸脱することなく、特定の環境、製造仕様、設計パラメータ、または他の動作要件に、変更され得る、またはそうでなければ、特別に適応し得る。

Claims (9)

  1. オーディオシステムで発信され、エンドデバイスで再生されるオーディオ信号のクラウドベースエコーノイズキャンセル低減(ECNR)の方法であって、前記方法は、
    前記オーディオシステムのマイクロフォンで、アップリンクオーディオ信号を受信するステップと、
    ネットワークを通じて、前記アップリンクオーディオ信号をクラウドベースECNRに伝送するステップと、
    前記ECNRからコンテンツクラウドに前記アップリンクオーディオ信号を伝送するステップと、
    前記ECNRにおいて、ダウンリンクオーディオ信号を前記コンテンツクラウドから受信するステップと、
    前記クラウドベースECNR内のバッファ及びシーケンサーブロックで、前記アップリンクオーディオ信号及び前記ダウンリンクオーディオ信号をバッファリング及び順序付けすることにより、バッファリング及び順序付けされたオーディオ信号を生成するステップと、
    前記バッファ及びシーケンサーブロックから、適切なアップリンクオーディオ信号を識別するステップであって、前記適切なアップリンクオーディオ信号は、前記ダウンリンクオーディオ信号と時間的に調整されたアップリンクオーディオ信号である、ステップと、
    前記ネットワークを通じて、前記エンドデバイスのスピーカーで再生される前記適切なアップリンクオーディオ信号を伝送するステップと、
    前記ネットワークを通じて、前記ダウンリンクオーディオ信号を前記アップリンクオーディオ信号とともに前記ECNRにループバックするステップと、
    前記ECNRに出入りする前記バッファリング及び順序付けされたオーディオ信号から、前記ループバックされたダウンリンクオーディオ信号と一致する前記オーディオ信号を前記適切なアップリンクオーディオ信号として選択するステップと、
    を含む方法。
  2. オーディオシステムで発信され、エンドデバイスで再生されるオーディオ信号のクラウドベースエコーノイズキャンセル低減(ECNR)の方法であって、前記方法は、
    前記オーディオシステムのマイクロフォンで、バッファリング及び順序付けされタイムスタンプが付けられたアップリンクオーディオ信号を受信するステップと、
    ネットワークを通じて、前記アップリンクオーディオ信号をクラウドベースECNRに伝送するステップと、
    前記ECNRにおいて、ダウンリンクオーディオ信号をコンテンツクラウドから受信するステップと、
    前記クラウドベースECNRで、基準タイムスタンプを用いて再度、前記アップリンクオーディオ信号及び前記ダウンリンクオーディオ信号に対してバッファリング及び順序付けしタイムスタンプを付けることにより、バッファリング及び順序付けされタイムスタンプが付けられたオーディオ信号を生成するステップと、
    前記クラウドベースECNRのバッファから、適切なアップリンクオーディオ信号を識別するステップであって、前記適切なアップリンクオーディオ信号は、前記ダウンリンクオーディオ信号と時間的に調整されたアップリンクオーディオ信号である、ステップと、
    前記アップリンクオーディオ信号を前記ダウンリンクオーディオ信号の前記タイムスタンプと組み合わせるステップと、
    前記ECNRに出入りする前記バッファリング及び順序付けされタイムスタンプが付けられたオーディオ信号から、前記ダウンリンクオーディオ信号の前記タイムスタンプと一致する前記オーディオ信号を前記適切なアップリンクオーディオ信号として選択するステップと、
    前記クラウドベースECNRから前記コンテンツクラウドに前記適切なアップリンクオーディオ信号を伝送するステップと、
    前記ネットワークを通じて、前記エンドデバイスのスピーカーで再生される前記ダウンリンクオーディオ信号を伝送するステップと、
    を含む、方法。
  3. オーディオシステムで発信され、エンドデバイスで再生されるオーディオ信号のクラウドベースエコーノイズキャンセル低減(ECNR)の方法であって、前記方法は、
    前記オーディオシステムのマイクロフォンで、アップリンクオーディオ信号を受信するステップと、
    ネットワークを通じて、前記アップリンクオーディオ信号をクラウドベースECNRに伝送するステップと、
    前記ECNRからコンテンツクラウドに前記アップリンクオーディオ信号を伝送するステップと、
    前記ECNRにおいて、ダウンリンクオーディオ信号を前記コンテンツクラウドから受信するステップと、
    前記クラウドベースECNR内のバッファ及びシーケンサーブロックで、前記アップリンクオーディオ信号及び前記ダウンリンクオーディオ信号をバッファリング及び順序付けすることにより、バッファリング及び順序付けされたオーディオ信号を生成するステップと、
    前記バッファ及びシーケンサーブロックから、適切なアップリンクオーディオ信号を識別するステップであって、前記適切なアップリンクオーディオ信号は、前記ダウンリンクオーディオ信号と時間的に調整されたアップリンクオーディオ信号である、ステップと、
    前記ネットワークを通じて、前記エンドデバイスのスピーカーで再生される前記適切なアップリンクオーディオ信号を伝送するステップと、
    を含み、
    処理する前記適切なアップリンクオーディオ信号を識別するステップは、さらに、
    前記オーディオシステムと前記クラウドベースECNRとの間でピングをループして、時間遅延を測定するステップと、
    前記ピングを前記アップリンクオーディオ信号で連続的に調整するステップと、
    前記ECNRに出入りする前記バッファリング及び順序付けされたオーディオ信号から、前記ピングの前記時間遅延と一致する前記オーディオ信号を前記適切なアップリンクオーディオ信号として選択するステップと、
    を含む方法。
  4. 前記ECNRにおいてダウンリンクオーディオ信号を受信するステップは、さらに、
    前記ピングを前記ダウンリンクオーディオ信号で連続的に調整するステップと、
    前記ECNRにおいて、前記ダウンリンクオーディオ信号を処理するステップと、
    処理されたダウンリンクオーディオ信号を前記オーディオシステムに伝送するステップと、
    を含む、請求項に記載の方法。
  5. オーディオ信号のエコーノイズをキャンセルするためのシステムであって、前記システムは、
    マイクロフォン及びラウドスピーカーを有するオーディオシステムと、
    前記マイクロフォンにおいて受信されたアップリンクオーディオ信号と、
    前記アップリンクオーディオ信号でループバックされるコンテンツクラウドで生成されるダウンリンクオーディオ信号と、
    クラウドベースプロセッサと、
    前記オーディオシステムと前記クラウドベースプロセッサとの間で前記アップリンクオーディオ信号を伝送するための、前記オーディオシステムと前記クラウドベースプロセッサとの間の通信リンクと、を備え、
    前記クラウドベースプロセッサは適切なアップリンクオーディオ信号を前記アップリンクオーディオ信号から識別及び選択し、前記適切なアップリンクオーディオ信号は、前記ダウンリンクオーディオ信号と時間的に調整されたものであり、前記クラウドベースプロセッサは、エコーノイズキャンセル低減のために前記適切なアップリンクオーディオ信号を処理し、
    前記適切なアップリンクオーディオ信号は、前記オーディオシステムに返送され、前記ラウドスピーカーで再生されるシステム。
  6. 記適切なアップリンクオーディオ信号は、前記ループバックされたダウンリンクオーディオ信号と一致するオーディオ信号を検出することによって選択される、請求項に記載のシステム。
  7. ダウンリンクオーディオ信号と、
    前記ダウンリンクオーディオ信号のタイムスタンプと、をさらに含み、
    前記適切なアップリンクオーディオ信号は、さらに、組み合わされたアップリンクオーディオ信号を前記ダウンリンクオーディオ信号の前記タイムスタンプと一致させる前記オーディオ信号を含み、前記組み合わされたアップリンクオーディオ信号は、(a)前記アップリンクオーディオ信号のタイムスタンプと(b)前記アップリンクオーディオ信号との組み合わせを含む、請求項に記載のシステム。
  8. ダウンリンクオーディオ信号と、
    時間遅延を測定するためのピングと、をさらに含み、
    前記ピングは、前記オーディオシステムと前記クラウドベースプロセッサとの間でループされ、前記アップリンクオーディオ信号で連続的に調整され、
    前記適切なアップリンクオーディオ信号は、前記ピングの前記時間遅延に一致する前記オーディオ信号であると識別される、請求項に記載のシステム。
  9. 前記ピングは前記ダウンリンクオーディオ信号連続的に調整され、前記適切なアップリンクオーディオ信号は、前記ピングの前記時間遅延に一致する前記オーディオ信号であると識別される、請求項に記載のシステム。
JP2022523594A 2019-12-26 2020-12-23 クラウドバイトストリームアライメント方式 Active JP7679367B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IN201941053874 2019-12-26
IN201941053874 2019-12-26
PCT/US2020/066757 WO2021133865A1 (en) 2019-12-26 2020-12-23 Cloud byte stream alignment method

Publications (2)

Publication Number Publication Date
JP2023508627A JP2023508627A (ja) 2023-03-03
JP7679367B2 true JP7679367B2 (ja) 2025-05-19

Family

ID=76575667

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022523594A Active JP7679367B2 (ja) 2019-12-26 2020-12-23 クラウドバイトストリームアライメント方式

Country Status (6)

Country Link
US (1) US12114023B2 (ja)
EP (1) EP4082179A4 (ja)
JP (1) JP7679367B2 (ja)
KR (1) KR102927845B1 (ja)
CN (1) CN114747197A (ja)
WO (1) WO2021133865A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014110640A (ja) 2012-12-04 2014-06-12 Revolabs Inc 中央集中型のオーディオ信号処理を伴うオーディオシステム
US20160014373A1 (en) 2014-07-11 2016-01-14 Biba Systems, Inc. Dynamic locale based aggregation of full duplex media streams

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8879438B2 (en) * 2011-05-11 2014-11-04 Radisys Corporation Resource efficient acoustic echo cancellation in IP networks
US10297250B1 (en) * 2013-03-11 2019-05-21 Amazon Technologies, Inc. Asynchronous transfer of audio data
US9779752B2 (en) * 2014-10-31 2017-10-03 At&T Intellectual Property I, L.P. Acoustic enhancement by leveraging metadata to mitigate the impact of noisy environments
US10439673B2 (en) * 2017-12-11 2019-10-08 Mitel Cloud Services, Inc. Cloud-based acoustic echo canceller

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014110640A (ja) 2012-12-04 2014-06-12 Revolabs Inc 中央集中型のオーディオ信号処理を伴うオーディオシステム
US20160014373A1 (en) 2014-07-11 2016-01-14 Biba Systems, Inc. Dynamic locale based aggregation of full duplex media streams

Also Published As

Publication number Publication date
US12114023B2 (en) 2024-10-08
KR20220119000A (ko) 2022-08-26
CN114747197A (zh) 2022-07-12
EP4082179A4 (en) 2023-12-20
WO2021133865A1 (en) 2021-07-01
EP4082179A1 (en) 2022-11-02
JP2023508627A (ja) 2023-03-03
US20220353554A1 (en) 2022-11-03
KR102927845B1 (ko) 2026-02-12

Similar Documents

Publication Publication Date Title
US20090323926A1 (en) Methods and systems for voice communication
US7243150B2 (en) Reducing the access delay for transmitting processed data over transmission data
US12165667B2 (en) Voice recognition with timing information for noise cancellation
US9967186B2 (en) Selective deep packet inspection
KR102580418B1 (ko) 어쿠스틱 에코 제거 장치 및 방법
US20160098244A1 (en) Audio synchronization method for bluetooth speakers
US10848201B2 (en) Cloud-based acoustic echo canceller
US10270703B2 (en) Media buffering
US9179217B2 (en) Signal processing apparatus and signal processing method
CN104168218A (zh) 抖动缓冲方法及装置
JP7679367B2 (ja) クラウドバイトストリームアライメント方式
EP4686171A1 (en) Systems for and methods for audio latency measurement
US11522929B2 (en) Providing synchronization for video conference audio and video
US20180063011A1 (en) Media Buffering
JP5792877B1 (ja) 遅延時間調整装置及び方法及びプログラム
JP5367554B2 (ja) ネットワーク装置
Melvin et al. Playback synchronization techniques for networked home appliances
KR20100032508A (ko) 휴대 인터넷 시스템에서 음성패킷망의 서비스 품질 보장 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231211

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20241008

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250507

R150 Certificate of patent or registration of utility model

Ref document number: 7679367

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150