Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6285027B2 - ビデオ電話におけるビデオ中断インジケーション - Google Patents
[go: Go Back, main page]

JP6285027B2 - ビデオ電話におけるビデオ中断インジケーション - Google Patents

ビデオ電話におけるビデオ中断インジケーション Download PDF

Info

Publication number
JP6285027B2
JP6285027B2 JP2016529831A JP2016529831A JP6285027B2 JP 6285027 B2 JP6285027 B2 JP 6285027B2 JP 2016529831 A JP2016529831 A JP 2016529831A JP 2016529831 A JP2016529831 A JP 2016529831A JP 6285027 B2 JP6285027 B2 JP 6285027B2
Authority
JP
Japan
Prior art keywords
video
packet
data
interrupted
count
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016529831A
Other languages
English (en)
Other versions
JP2016530796A5 (ja
JP2016530796A (ja
Inventor
リ、テン−シン
ワン、ミン
アグラワル、ラディカ
シン、ビクラム
リッキー、ナサン・アラン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2016530796A publication Critical patent/JP2016530796A/ja
Publication of JP2016530796A5 publication Critical patent/JP2016530796A5/ja
Application granted granted Critical
Publication of JP6285027B2 publication Critical patent/JP6285027B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1083In-session procedures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

関連出願
[0001]本出願は、2013年7月26日に出願され、そのすべての内容が全体として参照により本明細書に組み込まれる、インド特許出願第2477/MUM/2013号の利益を主張する。
[0002]本開示はビデオ電話(video telephony)に関し、より具体的には、ビデオ電話アプリケーションにおいてビデオ中断を検出するための技法に関する。
[0003]モバイル電話のような通信デバイスは、マイクロフォンまたは音声合成器のようなオーディオキャプチャデバイス、オーディオパケット(またはフレーム)を生成するためのオーディオエンコーダ、カメラのようなビデオキャプチャデバイス、およびビデオパケットフレームを生成するためのビデオエンコーダを含むことができる。電話は、リアルタイムトランスポートプロトコル(RTP)、無線リンクプロトコル(RLP)、媒体アクセス制御(MAC)、および物理(PHY)レイヤのような通信プロトコルレイヤを使用することができる。ビデオ電話アプリケーションでは、通信デバイスは、RLP待ち行列にビデオおよびオーディオRTPパケットを配置することができる。MACレイヤモジュールは、RLP待ち行列のコンテンツからMACレイヤパケットを生成することができる。MACレイヤパケットは、別の通信デバイスへの通信チャネルをわたった送信のために、PHYレイヤパケットに変換されうる。
[0004]本開示はビデオ電話に関し、より具体的には、ビデオ電話アプリケーションにおいてビデオ中断を検出するための技法に関する。
[0005]本開示の一例では、ビデオ電話のための方法は、ビデオ電話呼に関連付けられたビデオデータパケットが送信元デバイスから到着するのを停止したことを、受信デバイスにおいて検出することと、ビデオ制御パケットに含まれた情報に基づいて、該送信元デバイスが該ビデオ電話呼のビデオ部分を中断したと決定することと、を備える。
[0006]本開示の別の例では、ビデオ電話のために構成された装置は、ビデオ電話呼に関連付けられたビデオデータパケットが送信元デバイスから到着するのを停止したことを、受信デバイスにおいて検出するための手段と、ビデオ制御パケットに含まれた情報に基づいて、該送信元デバイスが該ビデオ電話呼のビデオ部分を中断したと決定するための手段と、を備える。
[0007]本開示の別の例では、ビデオ電話のために構成された装置は、ビデオ電話呼に関連付けられたビデオデータパケットが送信元デバイスから到着するのを停止したことを、受信デバイスにおいて検出し、ビデオ制御パケットに含まれた情報に基づいて、該送信元デバイスが該ビデオ電話呼のビデオ部分を中断したと決定するように構成された受信デバイスと、を備える。
[0008]別の例では、本開示は、命令を記憶するコンピュータ可読媒体を説明しており、該命令は、実行されるとき、ビデオ電話のためのデバイスの1つ以上のプロセッサに、ビデオ電話呼に関連付けられたビデオデータパケットが送信元デバイスから到着するのを停止したことを、受信デバイスにおいて検出することと、ビデオ制御パケットに含まれた情報に基づいて、該送信元デバイスが該ビデオ電話呼のビデオ部分を中断したと決定することと、を行わせる。
[0009]1つ以上の実施形態の詳細は、添付図面および以下の説明において述べられる。
ビデオおよびオーディオ符号化および復号システムを例示している。 汎用パケット交換(PS)ネットワークをわたった2方向VT呼の簡略化されたブロック図を描写している。 Call Hold明示シグナリングを使用したビデオ中断中の呼ダウングレードの使用ケースに関する信号フローを図示する概略図である。 本開示の技法を使用したビデオ中断検出の1つの使用ケースに関する例となる信号フローを図示している概略図である。 本開示の技法を使用したビデオ中断検出の別の使用ケースに関する別の例となる信号フローを図示している概略図である。 本開示の技法にしたがった例となる方法を図示しているフローチャートである。
[0016]本開示は、ビデオ電話に関し、より具体的には、ビデオ電話アプリケーションにおいてビデオ中断を検出するための技法に関する。ビデオ電話呼中のビデオの中断を示し、検出するための現在の技法は、その呼に携わる通信デバイス間で曖昧な状態を引き起こしうる。いくつかの環境では、以前に中断されたことのあるビデオ電話呼のビデオ部分が再スタートされた後に、ビデオの中断を示すための現在の技法は、その呼中の通信デバイスのうちの1つに一方向ビデオ呼(1つのデバイスからのみ送られたビデオ)が依然として実施されていることを想定させうる一方で、他の通信デバイスは、二方向ビデオ呼(両方の当事者(parties)から送られたビデオ)が再開したことを想定しうる。本開示の技法は、そのような曖昧な状態を回避する、ビデオの中断を示して決定するための技法を対象としている。
[0017]図1は、本開示の技法を利用することができるビデオ符号化および復号システム10を例示している。システム10は、デコーダシステム14に送信チャネル16をわたってデータを送るエンコーダシステム12を含む。エンコーダシステム12は、第1のビデオ通信デバイス中にあり得、オーディオソース17、ビデオソース18、ビデオエンコーダ20、オーディオエンコーダ22、リアルタイムトランスポートプロトコル(RTP)/ユーザデータグラムプロトコル(UDP)/インターネットプロトコル(IP)/ポイント対ポイントプロトコル(PPP)変換モジュール26、無線リンクプロトコル(RLP)待ち行列28、MACレイヤモジュール30、および物理(PHY)レイヤモジュール32を含むことができる。エンコーダシステム12の他の実施形態は、図1で図示されている要素の代わりに、またはその要素に加えて、他の要素を含むことができる。エンコーダシステム12の他の実施形態は、図1で図示されているものよりも少ない要素を含みうる。
[0018]デコーダシステム14は、別のビデオ通信デバイス中にあり得、PHYレイヤモジュール34、MACレイヤモジュール36、RLP待ち行列38、RTP/UDP/IP/PPP変換モジュール40、ビデオデコーダ42、ビデオデコーダ44、オーディオ出力ユニット46、およびビデオ出力ユニット48を含むことができる。デコーダシステム14の他の実施形態は、図1で図示されている要素の代わりに、またはその要素に加えて、他の要素を含むことができる。デコーダシステム14の他の実施形態は、図1で図示されているものよりも少ない要素を含みうる。
[0019]システム10は、例えば、送信チャネル16を介したビデオ電話(VT)のために、双方向ビデオおよびオーディオ送信を提供することができる。互恵的符号化(Reciprocal encoding)、復号、および変換モジュールは、チャネル16の反対側上で提供されうる。いくつかの実施形態では、エンコーダシステム12およびデコーダシステム14は、ビデオストリーミング、VT、またはその両方のために装備されたワイヤレスモバイル端末のようなビデオ通信デバイス内で具現化されうる。モバイル端末は、RTP、UDP、IP、またはPPPのようなパケット交換規格にしたがってVTをサポートすることができる。
[0020]RTP/UDP/IP/PPP変換モジュール26は、オーディオエンコーダ22およびビデオエンコーダ20から受信されたオーディオおよびビデオデータに、適切なRTP/UDP/IP/PPPヘッダを加え、RLP待ち行列28にそのデータを配置する。RTPがUDPの上部で作動する一方で、UDPがIPの上部で作動し、IPはPPPの上部で作動する。MACレイヤモジュール30は、RLP待ち行列28のコンテンツからMAC RLPパケットを生成する。PHYレイヤモジュール32は、チャネル16をわたった送信のために、PHYレイヤパケットにMAC RLPパケットを変換する。
[0021]復号システム14のPHYレイヤモジュール34およびMACレイヤモジュール36は、互恵的形式でオペレートする。PHYレイヤモジュール34は、MAC RLPパケットにチャネル16から受信されたPHYレイヤパケットを変換する。MACレイヤモジュール36は、RLP待ち行列38にMAC RLPパケットを配置する。RTP/UDP/IP/PPP変換モジュール40は、RLP待ち行列38におけるデータからヘッダ情報を取り除き、ビデオデコーダ42およびオーディオデコーダ44のそれぞれへの搬送のためにビデオおよびオーディオデータを再構築する。
[0022]システム10は、符号分割多元接続(CDMA)、周波数分割多元接続(FDMA)、時分割多元接続(TDMA)、または直交周波数分割多重(OFDM)、または別の適したワイヤレス技法のような、1つ以上のワイヤレス通信技術をサポートするように設計されうる。上記のワイヤレス通信技術は、様々な無線アクセス技術のいずれかにしたがって搬送されうる。例えば、CDMAは、cdma2000、広帯域CDMA(WCDMA(登録商標))規格、3G、4G、LTE(登録商標)、またはあらゆる他のCDMAベースのエアインターフェースにしたがって搬送されうる。TDMAは、移動通信のためのグローバルシステム(GSM(登録商標))規格にしたがって搬送されうる。ユニバーサルモバイル通信システム(UMTS)規格は、GSMまたはWCDMAオペレーションを許可する。VTアプリケーションでは、システム10は、cdma2000 1x EV−DO、リリース0、リビジョンA、または後続EV−DOリリースのような高データレート(HDR)技術をサポートするように設計されうる。
[0023]ビデオソース18は、1つ以上のビデオカメラ、1つ以上のビデオアーカイブ、またはビデオカメラとビデオアーカイブの組み合わせのようなビデオキャプチャデバイスでありうる。ビデオエンコーダ20は、MPEG−4、H.264/AVC(アドバンスドビデオコーディング)、または高効率ビデオコーディング(HEVC)のようなビデオ圧縮方法にしたがって、符号化されたビデオデータを生成する。国際電気通信連合(ITU)H.263、VP9、MPEG−2、または他の標準化されたもしくは独占権下にある方法のような、他のビデオ圧縮方法もまた使用されうる。ビデオエンコーダ20は、概してCODEC依存であるビデオソースレート制御スキームを提供することができる。HEVC、MPEG4、ITU H.263、ITU H.264、または別の規格もしくは技法にしたがったビデオ符号化のために適合されうる。一例では、ビデオエンコーダ20は、DSPまたは組み込まれたロジックコアによって実装されうる。
[0024]オーディオソース17は、マイクロフォンまたは音声合成器デバイスのような、オーディオキャプチャデバイスでありうる。オーディオエンコーダ22は、ビデオデータに付随するようにオーディオデータを符号化することができる。オーディオデータは、適応マルチレート狭帯域(AMR−NB)または他の技法のようなオーディオ圧縮方法にしたがって符号化されうる。VTアプリケーションでは、ビデオは、VT会議に対する当事者の表示を許可することになり、オーディオは、当事者の話す声が聞こえることを許可することになる。
[0025]オペレーションにおいて、RTP/UDP/IP/PPP変換モジュール26は、ビデオエンコーダ20およびオーディオエンコーダ22からビデオおよびオーディオデータパケットを取得する。RTP/UDP/IP/PPP変換モジュール26は、オーディオパケットに適切なヘッダ情報を追加し、RLP待ち行列28内に結果として生じたデータを挿入する。同様に、RTP/UDP/IP/PPP変換モジュール26は、ビデオパケットに適切なヘッダ情報を追加し、RLP待ち行列28内に結果として生じたデータを挿入する。MACレイヤモジュール30は、RLP待ち行列28からデータを検索し、MACレイヤパケットを形成する。各MACレイヤパケットは、RTP/UDP/IP/PPPヘッダ情報、およびRLP待ち行列28内に含まれるオーディオまたはビデオパケットデータを運ぶ。
[0026]オーディオパケットは、ビデオパケットから独立して、RLP待ち行列28に挿入されうる。いくつかのケースでは、RLP待ち行列28のコンテンツから生成されたMACレイヤパケットは、ヘッダ情報およびビデオパケットデータのみを運ぶことになる。他のケースでは、MACレイヤパケットは、ヘッダ情報およびオーディオパケットデータのみを運ぶことになる。
[0027]いくつかのケースでは、MACレイヤパケットは、RLP待ち行列28のコンテンツに依存して、ヘッダ情報、オーディオパケットデータ、およびビデオパケットデータを運ぶことになる。MACレイヤパケットは、無線リンクプロトコル(RLP)にしたがって構成され得、MAC RLPパケットとして称されうる。PHYレイヤモジュール32は、チャネル16をわたった送信のために、PHYレイヤパケットにMAC RLPオーディオ−ビデオパケットを変換する。
[0028]チャネル16は、デコーダシステム14にPHYレイヤパケットを運ぶ。例えば、チャネル16は、ローカルまたはワイドエリア有線ネットワークのような有線接続でありうる。代わりとして、本明細書で説明されるように、チャネル16は、セルラ、衛星、または光学チャネルのようなワイヤレスチャネルでありうる。
[0029]チャネル条件は、有線およびワイヤレスチャネルに関する懸念事項でありうるけれども、特に、チャネル条件がフェーディングまたは輻輳に起因して損害を被るワイヤレスチャネル16をわたって実行されるモバイルVTアプリケーション対して問題がある。例えば、チャネル16は、チャネル条件にしたがって変動するスループットを有する逆リンク(RL)によって特徴付けられうる。スループットは、現在のワイヤレスチャネル送信レート、ワイヤレス基地局アクティビティ、および送信電力制限、のうちの1つ以上によって表されるような、チャネル条件に基づいて推定されうる。例えば、チャネル条件は、現在のMACレイヤデータレート、逆アクティビティビット(RAB)、および電力増幅器(PA)制限に基づいて決定されうる。
[0030]ビデオエンコーダ20は、ターゲット符号化レートに対する符号化されたビデオの量を表す仮想ビデオバッファを維持することができる。ターゲット符号化レートは、チャネル16をわたって送信されるビデオパケットに対して指定された最大符号化レートでありうる。ビデオエンコーダ20は、ビデオソース18からのビデオの実際の符号化レートを制御することができる。
[0031]デコーダシステム14のPHYレイヤモジュール34は、PHYレイヤパケットからMACレイヤパケットを識別し、MAC RLPパケットにコンテンツを再構築する。MACレイヤモジュール36はその後、RLP待ち行列38内への挿入のためのビデオおよびオーディオパケットを提供するように、MAC RLPパケットのコンテンツを再構築する。RTP/UDP/IP/PPPモジュール40は、付随するヘッダ情報を排除し、ビデオデコーダ42にビデオパケットを、オーディオデコーダ44にオーディオパケットを提供する。
[0032]ビデオデコーダ42は、ディスプレイデバイスを駆動させる際に使用するビデオデータのストリームを作り出すためにビデオデータフレームを復号する。オーディオデコーダ44は、例えば、オーディオスピーカを介したユーザへの提示のためのオーディオ情報を作り出すように、オーディオデータを復号する。
[0033]ビデオ電話(VT)は、システム12および14のような少なくとも2つのデバイス間でオーディオおよびビデオデータを運ぶパケットのリアルタイム通信を指す。第1のVTデバイス12は、ビデオカメラまたはビデオアーカイブのようなビデオキャプチャデバイス18からビデオを取得し、ビデオパケットを生成するビデオエンコーダ20を含む。同様に、VTデバイス12中のオーディオエンコーダ22は、マイクロフォンまたは音声合成器のようなオーディオキャプチャデバイス17からオーディオを取得し、オーディオパケットを生成する。ビデオパケットおよびオーディオパケットは、RLP待ち行列28に配置される。MACレイヤモジュール30は、RLP待ち行列28のコンテンツからMACレイヤパケットを生成する。MACレイヤパケットは、第2のVT通信デバイス14への通信チャネル16をわたった送信のために、PHYレイヤパケットに変換される。
[0034]モバイルVTアプリケーションでは、VTデバイス(ワイヤレス端末)は、基地局からワイヤレス順方向リンク(FL)(すなわち、「ダウンリンク」)を介してPHYレイヤパケットを受信する。VTデバイスは、基地局にワイヤレス逆リンク(RL)(すなわち、「アップリンク」)を介してPHYレイヤパケットを送信する。各VTデバイスは、受信されたPHYおよびMACレイヤパケットを変換し、オーディオパケットおよびビデオパケットにそのパケットペイロードを再構築するためのPHYおよびMACレイヤを含む。VTデバイス内のビデオデコーダ42は、ディスプレイデバイス(ビデオ出力)48を介したユーザへの提示のためにビデオデータを復号する。VTデバイス内のオーディオデコーダ44は、スピーカデバイス(オーディオ出力)46を介した出力のためにオーディオデータを復号する。
[0035]図2は、汎用パケット交換(PS)ネットワーク52をわたった2方向VT呼の簡略化されたブロック図を描写している。PSネットワーク52は、LTE、HSPA、(e)HRPD、WiFi、衛星、同軸ケーブル、電力線通信、および同様のもの、または上記の任意のものの組み合わせでありうる。デバイスAの送信サイドでは、VT呼のオーディオ/ビデオは、マイク/スピーカ56およびカメラ/ディスプレイ54においてキャプチャされ、処理ユニット58によって、該当する場合(if applicable)、前処理され、符号化/圧縮され、RTP/UDP/IPパケット化され、およびモデムに渡される。デバイスAの受信サイドでは、受信されたオーディオ/ビデオパケットは、マイク/スピーカ56およびカメラ/ディスプレイ54に送られる前に処理ユニット58によって、該当する場合、復調され、パケット解除され(dis-packetized)、ジッタ除去され(de-jittered)、復号され、AV同期され、および後処理される。
[0036]同様に、デバイスBの送信サイドでは、VT呼のオーディオ/ビデオは、マイク/スピーカ66およびカメラ/ディスプレイ64においてキャプチャされ、処理ユニット68によって、該当する場合、前処理され、符号化/圧縮され、RTP/UDP/IPパケット化され、およびモデムに渡される。デバイスBの受信サイドでは、受信されたオーディオ/ビデオパケットは、マイク/スピーカ66およびカメラ/ディスプレイ64に送られる前に処理ユニット68によって、該当する場合、復調され、パケット解除され、ジッタ除去され、復号され、AV同期され、および後処理される。
[0037]オーディオ/ビデオRTCPパケットもまた、AV同期、メディア性能関連統計、レート適合等のためにオーディオ/ビデオRTPパケットとともに送られる。RTCPパケットは、RTPパケットよりも低い頻度で生じる。すなわち、RTCPパケットの制御情報が通常、500ms毎から2秒毎でシグナリングされる一方で、RTPパケットはより高い頻度で生じる。
[0038]典型的な2当事者(two-party)ビデオ電話(VT)呼中、ビデオは、ユーザアクションの結果として一方向または両方向で1回以上中断されうる。例えば、どちらサイドのユーザも、いくつかの他のタスクを簡潔に実行するために、デバイス上で背景にVTアプリケーションを移動させうる。例えば、VT呼の途中で、ユーザの一方が、写真を撮るために電話カメラを使用する、電子メールを素早くチェックする、または別のタスクを実行することができる。結果として、VT呼のためのカメラリソースはリリースされ得、このケースではどのビデオもピアサイドに送られる。すなわち、ユーザが背景にVTアプリケーションを移動させるとき、ビデオは通常、VT呼においてもう一方の当事者にはもはや送られない。ビデオは、背景にあるVTアプリケーションのユーザが、どのビデオが送られているかを示すプレビューウィンドウをもはや見ることができないので、停止されうる。増大したプライバシを提供するために、および通知なしでビデオを送ることを回避するために、VTアプリケーションは通常、ビデオRTPパケットを送ることを中止することになる。しかしながら、オーディオパケットは継続するだろうことになり(would)、VTはドロップ(drop)されない。ビデオ通話が継続する一方でビデオストリームが1つ以上の方向に流れるのを停止する現象は通常、ビデオ中断と呼ばれる。
[0039]図2に戻って参照すると、VTシステムは、デバイスA(またはデバイスB)がデバイスB(またはデバイスA)に、それがビデオを中断したことを示すことを可能にする技法の利益を享受する。VTシステムはまた、incomingビデオが打ち切られたときにデバイスが、打ち切られたビデオがビデオ送信の意図的な停止(例えば、ビデオ中断)に起因しているのかどうか、または打ち切られたビデオが送信経路の深刻な劣化の結果であるのかどうか、を見極めることを可能にする技法の利益も享受する。そのような技法は、複数当事者VT/VS呼と同様に、一方向ビデオ(またはビデオ共有(VS))呼に適用可能でありうる。
[0040]ビデオ中断を示すための1つの既存の解決策は、Call Holdプロシージャと呼ばれる。すなわち、デバイスAがビデオを中断するとき、それは、明示シグナリングを使用して、デバイスBのビデオストリームを保留にする、また逆に関しても同様のことを行う。この手法は、特に、ユーザ開始型の呼ダウングレード(例えば、ユーザが二方向ビデオ呼から一方向ビデオ呼にVT呼を変更すること)、および/またはユーザ開始型の呼アップグレード(例えば、ユーザが一方向ビデオ呼から二方向ビデオ呼にVTを変更すること)と合されるとき、複雑および/または曖昧になりうる。
[0041]図3は、Call Hold明示シグナリングを使用したビデオ中断中の呼ダウングレードの使用ケースに関する信号フローを図示する概略図である。呼は、VT呼としてスタートする。時間100において、デバイスAおよびデバイスBは、VT呼中にあり、オーディオおよびビデオRTCPパケットと同様に、オーディオおよびビデオRTPパケットの両方を送っている。イベント1において、デバイスAユーザのユーザは、背景にVTアプリケーションを移動させる。イベント1は、ビデオ中断を引き起こす。従来の解決策では、ビデオ中断は、デバイスBビデオを保留にするために明示シグナリングをトリガする。図3で図示されているシグナリングは、セッション開始プロトコル(SIP)と呼ばれる。時間102において、デバイスAは、デバイスBに、再INVITE(ビデオ:sendonly、オーディオ:sendrecv)SIPメッセージを送る。再INVITEメッセージは、デバイスAがビデオパケットに関して「sendonly」としてオペレートすることになることを示す。すなわち、デバイスAは、デバイスBに対して、デバイスAにビデオパケットを送ることを中止するように命令している。時間104において、デバイスBは、デバイスBが要求の受け取りを完了し、「recnonly」モードになる(つまり、デバイスBがビデオペットを受信するのみになり、それらを送らない)ことを示す、SIPメッセージ200OK(ビデオ:recvonly、オーディオ:sendrecv)で応答する。そのため、時間106において、どちらのデバイスからもRTCT以外のビデオトラフィックは存在しない。
[0042]図3の例では、イベント2において、デバイスBのユーザは、二方向ビデオ呼を一方向ビデオに変更するためにダウングレードを開始する(イベント2)。しかしながら、デバイスBが「recvonly」モードになるための要求の受け取りを完了しているので、それが既にイベント1の結果としてそのような状態にあるため、デバイスBは、ダウングレードを示すためのSIPメッセージ(ビデオ:recvonly、オーディオ:sendrecv)を送ることができない。次に、イベント3では、デバイスAのユーザは、最前面にVTアプリケーションを移動させる。このイベントは、時間108において、デバイスAの視点から二方向ビデオを再開するために、デバイスAがデバイスBにSIPメッセージ再INVITE(ビデオ:sendrecv、オーディオ:sendrecv)を送るようにトリガする。しかしながら、それは、デバイスBには(一方向ビデオから二方向ビデオへの)「アップグレード」のように見えるので、デバイスBは、アップグレードを受け取るようにユーザを促す。しかしながら、イベント2に起因して、デバイスBのユーザは、時間110においてSIPメッセージ603(拒絶)を送ることによって、「アップグレード」を拒絶する可能性が高い。このケースでは、デバイスAが、VT呼が二方向ビデオ呼であるという想定の下にありうる一方で、デバイスBは、VT呼が一方向ビデオ呼であるという想定の下にありうる。この例は、ビデオ中断を示すために明示SIPシグナリング、特にCall Holdプロシージャのためのシグナリングを使用することによって引き起こされるユーザ予測(user expectation)およびシグナリングにおける乱雑さ/曖昧さを表す。
[0043]これらの欠点の観点から、本開示は、ビデオ中断を示して決定するための代わりの手法を提案する。本開示の手法は、いずれの明示シグナリングメッセージ(例えば、SIPメッセージ)も用いない。代わりに本開示は、incoming側メディア自体で運ばれる既に利用可能な情報を使用することを提案する。例えば、本開示は、ビデオ中断のインジケーションとして、RTPおよび/またはRTCPパケットに含まれる情報(例えば、ビデオRTCPパケットにおいて運ばれる、ビデオRTP非アクティビティ(inactivity)/アクティビティ、RTCPパケットタイプ、および/または統計)を使用することを提案する。本手法は、シグナリングおよびユーザエクスペリエンス/予測において乱雑さを引き起こすことなく、ビデオ中断を決定するためのリアルタイムで、簡素で、明確で、かつ効果的なメカニズムを提供する。
[0044]再び、図2が提供しているデバイスAおよびデバイスBがアクティブVT呼にあり、(例えば、背景にVTアプリケーションを移動させた結果として)デバイスAがビデオを中断することを想定されたい。このケースでは、デバイスAは、デバイスBにビデオRTPパケットを送るのを停止する。しかしながら、デバイスAは、ビデオRTCPパケットを発し続ける。RTPおよびRTCPシグナリングプロトコルを指定する、インターネットエンジニアリングタスクフォース(IETF)ドキュメントRFC3550にしたがって、ビデオが中断されるとき、送信側報告(SR)(すなわち、「ペイロードタイプ」=200)を含む、最初の2つのRTCPパケットは、依然として中断の後にシグナリングされる。SRは、送信側情報セクションにおける「送信側のパケットカウント」および「送信側のオクテットカウント」に関する\情報を含む。「送信側パケットカウント」が送られたRTPパケットの数である一方で、「送信側オクテットカウント」は、RTPパケットで送られたデータの総量である。IETF RFC3550は、2013年7月25日付でhttp://www.ietf.org/rfc/rfc3550.txtから利用可能であり、この全体の内容は、本明細書において参照によって組み込まれている。
[0045]デバイスAがビデオを中断し、RTPパケットを送るのを停止した場合、2つの連続するRTCPパケットの第2のRTCPパケットは、2つの連続するRTCPパケットの第1のRTCPパケットに含まれるものと同一の「送信側パケットカウント」および「送信側オクテットカウント」を有するべきである。すなわち、2つの連続するRTCPパケットが、どのデータも送られていない(すなわち、送信側のパケットカウントおよび/または送信側のオクテットカウントが同一である)ことを示すSR情報を有する場合、受信デバイス(例えば、デバイスB)は、ビデオRTPパケットの中止が通信チャネルの悪化ではなくビデオ中断に起因すると決定するように構成されうる。しかしながら、RTPパケットが受信されることを中止してしまった後、2つの連続するRTCPパケットにおけるSRが、RTPパケットが送られ続けられた(例えば、送信側パケットカウントおよび/または送信側のオクテットカウントが等しくない)ことを示す場合、受信デバイスは、VT呼のためのチャネルが悪化したことを設定(configure)するように継続され得、いくつかのに例では、VT呼は、終了されるべきである。また、ビデオ中断が十分に長い場合、デバイスAによって発せられたSR RTCPパケットの後の後続のRTCPパケットは、受信機報告(RR)(すなわち、「ペイロードタイプ」=201)RTCPパケットであるべきである。
[0046]このように、ビデオRTCPパケットが到着し続ける間にビデオRTPパケットの受信が打ち切られるとき、デバイスBは、(デバイスAからデバイスBへの送信経路が悪化されることになると決定することであり、このケースにおいてはビデオRTPおよびRTCPの両方が失われているはずである、よりむしろ)デバイスAがビデオを中断したと決定することができる。デバイスBはさらに、「ペイロードタイプ」情報(SR対PR)、ならびに/または「送信側のパケットカウント」および「送信側のオクテットカウント」フィールドを調査することによって、受信されたRTCPパケットがSRである場合、この結論を承認する。一度デバイスAがビデオ中断に起因してビデオRTPパケットを送るのを停止したとデバイスBが承認してしまうと、デバイスBは、デバイスAとのオーディオ接続を依然として維持しながら、デバイスAにビデオを送り続ける(このケースでは、デバイスAは単に、ビデオRTPパケットをドロップするか、または各フレームを再構築および復号するがそれらをレンダリングしないことがある)か、いくつかの他のタスクを実行するために、背景にそれ自らのサイドのVTアプリケーションを置く(すなわち、ビデオ中断)か、または一方向ビデオにVT呼をダウングレードすることさえしうる。デバイスBが背景にそれ自らのサイドのVTアプリケーションを移動させるか、または一方向ビデオにVT呼をダウングレードする場合、デバイスBは、デバイスAにビデオRTCPパケットを送リ続けながらビデオRTPパケットを送るのを停止することになる。デバイスBからのRTCPパケットは、デバイスBによるビデオ中断を決定するために、デバイスAによって同じ方法で使用されうる。両側が互いにビデオRTPパケットを送るのを停止するとき、各サイドから送られるRTCPパケットは、結果として空のRRになる。
[0047]本開示の別の例では、RTCPパケットの継続された受信と関連して、RTPパケットの存在またはその欠如が、VT呼におけるデバイスがビデオ呼を開始したと決定するために使用されうる。例えば、VT呼がRTCPパケット間の長い遅延(例えば、2秒以上)を使用するいくつかの状況では、ビデオが中断したかを決定するために2つの連続するRTCPパケットを待つことは望ましくないことがある。このように、本開示はさらに、ビデオ中断が生じたと決定するための追加のトリガとして、RTPパケットの継続された非受信を使用することを提案する。
[0048]一例として、デバイスBは、デバイスAからビデオRTPパケットを受信するのを停止し、後続して1つのRTCPパケットを受信する。RTCPパケットが受信された後、デバイスBがタイマをスタートすることができる。どのRTPパケットも、タイマが何らかの所定のしきい値に達する前に受信されない場合、デバイスBは、デバイスAがビデオを中断したと積極的に決定することができる。しきい値は、RTCPパケット間の間隔よりも小さいいずれの値にも設定されうる。デバイスBはその後、第2の連続するRTCPパケットが受信される時間にビデオ中断の決定を承認することができる。この方法で、ビデオ中断の決定は、RTCPパケット間の長い遅延が存在する状況でより迅速に行われうる。
[0049]要約すると、本開示の技法を使用して、1つのデバイスがVT呼においてビデオを中断するとき、ピアサイドは、ビデオRTCPパケットで運ばれるincomingビデオRTP非アクティビティ、RTCPパケットタイプ、および/または統計をチェックすることによって、そのようなイベントを確実に、かつリアルタイムに、検出することができる。ビデオRTPパケットが再開するとき、ピアサイドは、ビデオ中断が終了されたと決定することができる。いくつかの例では、デバイスは、上記の検出に基づいて、ビデオ中断スタートおよびビデオ中断終了インジケーションをユーザに提示することができる。
[0050]本開示の技法を使用するとき、指定の呼/媒体フローのいくつかは、デバイスB(すなわち、中断しなかったデバイス)のアクション、および/またはデバイスAがビデオを中断した後のイベントの順序に依存して、変化しうる。図4は、本開示の技法を使用したビデオ中断検出の1つの使用ケースに関する例となる信号フローを図示している概略図である。時間200において、デバイスAおよびデバイスBは二方向VT呼中にあり、ここにおいてオーディオおよびビデオRTCPパケットとともに、オーディオおよびビデオRTPパケットの両方が送られる。イベント1において、デバイスAは、背景にVTアプリケーションを配置し、それにより、ビデオを中断し、ビデオRTPパケットの送信を中止する。そのため、時間202では、どのビデオRTPパケットもデバイスBに送られない。ビデオRTCPパケットは、デバイスBに送られることを継続される。上記で説明された本開示の技法に基づいて、デバイスBは、ビデオRTCPパケットにおける情報(例えば、SR)に基づいてビデオ中断が生じたと決定する。図4の例では、時間204において、デバイスBがデバイスAによるビデオ中断を検出した後、デバイスBは、ビデオRTPパケットを送り続けると決める。
[0051]イベント2では、デバイスBのユーザは、一方向モードにVT呼を配置するためにダウングレードオペレーションを実行する。ダウングレードオペレーションに応答して、再INVITEおよび200OK SIPメッセージは、VT呼を一方向モードにするために時間206および208において交換される。このため、時間210では、どのビデオRTPメッセージもいずれのデバイスからも送られない。オーディオRTP/RTCPメッセージおよびビデオRTCPメッセージは、送られることを継続される。
[0052]イベント3で、デバイスAのユーザは、最前面にVTアプリケーションを戻す。このため、時間212では、ビデオRTPパケットは、デバイスBに再び送信される。時間214において、デバイスBは、イベント2におけるユーザダウングレードに起因して、オーディオRTPパケットのみを送信し続ける。しかしながら、ビデオ中断が明示SIPシグナリングではなくRTCPパケットを通じて検出されたので、両デバイスは、一方向ビデオ呼が依然として実施されていると正確に決定する。
[0053]図5は、本開示の技法を使用したビデオ中断検出の別の使用ケースに関する別の例となる信号フローを図示している概略図である。時間302において、デバイスAおよびデバイスBは二方向VT呼中にあり、ここにおいてオーディオおよびビデオRTCPパケットとともに、オーディオおよびビデオRTPパケットの両方が送られる。イベント1において、デバイスAは、背景にVTアプリケーションを配置し、それにより、ビデオを中断し、ビデオRTPパケットの送信を中止する。このため、時間304では、どのビデオRTPパケットもデバイスBに送られない。ビデオRTCPパケットは、デバイスBに送られることを継続される。上記で説明された本開示の技法に基づいて、デバイスBは、ビデオRTCPパケットにおける情報(例えば、SR)に基づいてビデオ中断が生じたと決定する。図5の例では、時間306において、デバイスBがデバイスAによるビデオ中断を検出した後、デバイスBは、デバイスAにビデオRTPパケットを送ることを中止すると決める。
[0054]イベント2では、デバイスBのユーザは、一方向モードにVT呼を配置するためにダウングレードオペレーションを実行する。ダウングレードオペレーションに応答して、再INVITEおよび200OK SIPメッセージは、VT呼を一方向モードにするために時間308および310で交換される。このため、時間312では、どのビデオRTPメッセージもいずれのデバイスからも送られない。オーディオRTP/RTCPメッセージおよびビデオRTCPメッセージは、送られることを継続される。
[0055]イベント3では、デバイスAは、例えばユーザ入力に応答して、最前面にVTアプリケーションを戻す。このため、時間314では、ビデオRTPパケットは、デバイスBに再び送信される。時間316において、デバイスBは、イベント2におけるユーザダウングレードに起因して、オーディオRTPパケットのみを送信し続ける。しかしながら、ビデオ中断が明示SIPシグナリングではなくRTCPパケットを通じて検出されたので、両デバイスは、一方向ビデオ呼が依然として実施されていると正確に決定する。図3における呼/媒体フローと比較されると、図4および図5における各デバイスの状態は、各ステップで決定性があり、ユーザ予測の観点から乱雑さは存在しない。
[0056]図6は、本開示の技法にしたがった例となる方法を図示しているフローチャートである。図6の技法は、図2、1のデバイスAまたはデバイスBの1つ以上の構造ユニットまたはプロセッサによって実施されうる。
[0057]図6の例にしたがうと、ビデオ電話呼における受信デバイス(例えば、デバイスB)は、受信デバイスにおいて、ビデオ電話呼に関連付けられたビデオデータパケットが送信元デバイスから到着するのを停止したことを検出するように構成されうる(600)。受信デバイスはさらに、送信元デバイスが、ビデオ制御パケットに含まれる情報に基づいて、ビデオ電話呼のビデオ部分を中断したと決定するようにさらに構成されうる(602)。
[0058]本開示の一例では、ビデオ制御パケットは、ビデオデータパケットが到着するのを停止した後に、受信デバイスにおいて受信され続ける。いくつかの例では、ビデオデータパケットは、リアルタイムトランスポートプロトコル(RTP)パケットであり、ビデオ制御パケットは、RTP制御プロトコル(RTCP)パケットである。いくつかの例では、送信元デバイスがビデオ電話呼のビデオ部分を中断したかどうかを決定するために使用されるRTCPパケットにおける情報は、パケットカウントおよび総データ量のうちの1つ以上である。RTCPと一貫したいくつかの例では、パケットカウントは、RTCPパケットの送信側報告(SR)における送信側のパケットカウントであり、総データ量は、RTCPパケットのSRにおける送信側のオクテットカウントである。
[0059]本開示の別の例では、送信元デバイスがビデオ電話呼のビデオ部分を中断したと決定することは、ビデオが中断されたかを決定するために2つの連続するRTCPパケットにおけるパケットカウントおよび総データ量のうちの1つ以上を比較することを備え、ビデオが中断されたという決定は、パケットカウントおよび総データ量のうちの1つ以上が2つの連続するRTCPパケットに対して同じである場合に行われる。
[0060]本開示の別の例では、送信元デバイスがビデオ電話呼のビデオ部分を中断したと決定することは、ビデオ制御パケットが受信された後にタイマをスタートすることと、どのビデオデータパケットもタイマのスタートからのしきい値の時間内で受信されなかった場合、送信元デバイスがビデオ電話呼のビデオ部分を中断したと決定することと、を備える。いくつかの例では、しきい値の時間は、2つの連続するビデオ制御パケット間の時間より小さい。
[0061]1つ以上の例では、説明されている機能は、ハードウェア、ソフトウェア、ファームウェア、またはこれらのあらゆる組み合わせで実行されうる。ソフトウェアで実行される場合、機能は、コンピュータ可読媒体上で1つ以上の命令またはコードとして記憶または送信され、ハードウェアベースの処理ユニットによって実行されうる。コンピュータ可読媒体はまた、例えば、通信プロトコルにしたがったコンピュータプログラムのある場所から別の場所への転送を容易にするあらゆる媒体を含む通信媒体、またはデータ記憶媒体のような有体の媒体に対応するコンピュータ可読記憶媒体を含むことができる。このように、コンピュータ可読媒体は、概して、(1)非一時的である有体のコンピュータ可読記憶媒体、または(2)信号または搬送波のような通信媒体に対応しうる。データ記憶媒体は、本開示において説明されている技法の実行のための命令、コード、および/またはデータ構造を検索するために、1つ以上のコンピュータ、または1つ以上のプロセッサによってアクセスされうるあらゆる利用可能な媒体でありうる。コンピュータプログラム製品は、コンピュータ可読媒体を含むことができる。
[0062]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM(登録商標)、CD−ROMまたは他の光学ディスクストレージ、磁気ディスクストレージ、または他の磁気記憶デバイス、フラッシュメモリ、あるいは命令またはデータ構造の形態で所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされうる何らかの他の媒体を備えることができる。また、あらゆる接続手段は適切にコンピュータ可読媒体と呼ばれる。例えば、命令が、ウェブサイトから、サーバから、あるいは同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線(DSL)、または赤外線、無線、およびマイクロ波のようなワイヤレス技術を使用している他の遠隔ソースから送信された場合、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、あるいは赤外線、無線、およびマイクロ波のようなワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続手段、搬送波、信号、または他の一時的な媒体を含まないが、代わりとして非一時的な有体の記憶媒体を対象にすることは理解されるべきである。本明細書で使用される場合、ディスク(disk)およびディスク(disc)は、コンパクトディスク(CD)、レーザーディスク(登録商標)、光学ディスク、デジタル多目的ディスク(DVD)、フロッピー(登録商標)ディスクおよびBlu-ray(登録商標)ディスクを含み、ここでディスク(disk)は、大抵磁気的にデータを再生し、一方ディスク(disc)は、レーザーを用いて光学的にデータを再生する。上記の組み合わせもまた、コンピュータ可読媒体の範囲内に含まれるべきである。
[0063]命令が、1つ以上のデジタルシグナルプロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブル論理アレイ(FPGA)、または、他の同等な集積またはディスクリートな論理回路、のような1つ以上のプロセッサによって実行されうる。したがって本明細書で使用される場合「プロセッサ」という用語は、前述の構造、または本明細書で説明されている技法の実行に適したあらゆる何らかの他の構造のいずれも指すことができる。加えていくつかの態様では、本明細書で説明されている機能は、符号化および復号のために構成された専用ハードウェアモジュールおよび/またはソフトウェアモジュール内で提供されうる、あるいは組み合わせられたコデックに組み込まれうる。また、技法は、1つ以上の回路あるいは論理要素において十分に実行されうる。
[0064]本開示の技法は、ワイヤレスハンドセット、集積回路(IC)またはICのセット(例えば、チップセット)を含む、幅広い種類のデバイスまたは装置において実行されうる。様々なコンポーネント、モジュール、またはユニットは、開示されている技法を実行するように構成されたデバイスの機能的な態様を強調するために本開示で説明されているが、必ずしも異なるハードウェアユニットによる実現を要求しない。むしろ、上記で説明されたように、様々なユニットがコデックハードウェアユニットで組み合わせられうるか、あるいは適したソフトウェアおよび/またはファームウェアと連携した上記で説明されたような1つ以上のプロセッサを含む、対話型(interoperative)ハードウェアユニットの集合によって提供されうる。
[0065]様々な例が説明されてきた。これらの例および他の例は、次の請求項の範囲内にある。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1]
ビデオ電話のための方法であって、
受信デバイスにおいて、ビデオ電話呼に関連付けられたビデオデータパケットが送信元デバイスから到着するのを停止したことを検出することと、
前記受信デバイスにおいて、前記送信元デバイスが、ビデオ制御パケットに含まれる情報に基づいて、前記ビデオ電話呼のビデオ部分を中断したと決定することと、
を備える、方法。
[C2]
前記ビデオ制御パケットは、前記ビデオデータパケットが到着するのを停止した後に、前記受信デバイスにおいて受信され続ける、C1に記載の方法。
[C3]
前記ビデオデータパケットは、リアルタイムトランスポートプロトコル(RTP)パケットであり、前記ビデオ制御パケットは、RTP制御プロトコル(RTCP)パケットである、C1に記載の方法。
[C4]
前記送信元デバイスが前記ビデオ電話呼のビデオ部分を中断したかどうかを決定するために使用される前記RTCPパケットにおける前記情報は、パケットカウントおよび総データ量のうちの1つ以上である、C3に記載の方法。
[C5]
前記パケットカウントは、前記RTCPパケットの送信側報告(SR)における送信側のパケットカウントであり、前記総データ量は、前記RTCPパケットの前記SRにおける送信側のオクテットカウントである、C4に記載の方法。
[C6]
前記受信デバイスにおいて、前記送信元デバイスが、前記ビデオ電話呼の前記ビデオ部分を中断したと決定することは、
前記ビデオが中断されたかを決定するために2つの連続するRTCPパケットにおける前記パケットカウントおよび前記総データ量のうちの1つ以上を比較することを備え、前記ビデオが中断されたという決定は、前記パケットカウントおよび前記総データ量のうちの1つ以上が前記2つの連続するRTCPパケットに対して同じである場合に行われる、C4に記載の方法。
[C7]
前記受信デバイスにおいて、前記送信元デバイスは、前記ビデオ電話呼の前記ビデオ部分を中断したと決定することは、
ビデオ制御パケットが受信された後にタイマをスタートすることと、
どのビデオデータパケットも前記タイマの前記スタートからのしきい値の時間内で受信されなかった場合に前記送信元デバイスが前記ビデオ電話呼の前記ビデオ部分を中断したと決定することと、
を備える、C1に記載の方法。
[C8]
前記しきい値の時間は、2つの連続するビデオ制御パケット間の時間より小さい、C7に記載の方法。
[C9]
ビデオ電話のために構成された装置であって、
受信デバイスにおいて、ビデオ電話呼に関連付けられたビデオデータパケットが送信元デバイスから到着するのを停止したことを検出するための手段と、
前記受信デバイスにおいて、前記送信元デバイスが、ビデオ制御パケットに含まれる情報に基づいて、前記ビデオ電話呼のビデオ部分を中断したと決定するための手段と、
を備える、装置。
[C10]
前記ビデオ制御パケットは、前記ビデオデータパケットが到着するのを停止した後に、前記受信デバイスにおいて受信され続ける、C9に記載の装置。
[C11]
前記ビデオデータパケットは、リアルタイムトランスポートプロトコル(RTP)パケットであり、前記ビデオ制御パケットは、RTP制御プロトコル(RTCP)パケットである、C9に記載の装置。
[C12]
前記送信元デバイスが前記ビデオ電話呼のビデオ部分を中断したかどうかを決定するために使用される前記RTCPパケットにおける前記情報は、パケットカウントおよび総データ量のうちの1つ以上である、C11に記載の装置。
[C13]
前記パケットカウントは、前記RTCPパケットの送信側報告(SR)における送信側のパケットカウントであり、前記総データ量は、前記RTCPパケットの前記SRにおける送信側のオクテットカウントである、C12に記載の装置。
[C14]
前記受信デバイスにおいて、前記送信元デバイスが、前記ビデオ電話呼の前記ビデオ部分を中断したと決定するための手段は、
前記ビデオが中断されたかを決定するために2つの連続するRTCPパケットにおける前記パケットカウントおよび前記総データ量のうちの1つ以上を比較するための手段を備え、前記ビデオが中断されたという決定は、前記パケットカウントおよび前記総データ量のうちの1つ以上が前記2つの連続するRTCPパケットに対して同じである場合に行われる、C12の記載の装置。
[C15]
前記受信デバイスにおいて、前記送信元デバイスが、前記ビデオ電話呼の前記ビデオ部分を中断したと決定するための手段は、
ビデオ制御パケットが受信された後にタイマをスタートするための手段と、
どのビデオデータパケットも前記タイマの前記スタートからのしきい値の時間内で受信されなかった場合に前記送信元デバイスが前記ビデオ電話呼の前記ビデオ部分を中断したと決定するための手段と、
を備える、C9に記載の装置。
[C16]
前記しきい値の時間は、2つの連続するビデオ制御パケット間の時間より小さい、C15に記載の装置。
[C17]
ビデオ電話のために構成された装置であって、
受信デバイスにおいて、ビデオ電話呼に関連付けられたビデオデータパケットが送信元デバイスから到着するのを停止したことを検出し、
前記送信元デバイスが、ビデオ制御パケットに含まれる情報に基づいて、前記ビデオ電話呼のビデオ部分を中断したと決定する、ように構成された前記受信デバイス、
を備える、装置。
[C18]
前記ビデオ制御パケットは、前記ビデオデータパケットが到着するのを停止した後に、前記受信デバイスにおいて受信され続ける、C17に記載の装置。
[C19]
前記ビデオデータパケットは、リアルタイムトランスポートプロトコル(RTP)パケットであり、前記ビデオ制御パケットは、RTP制御プロトコル(RTCP)パケットである、C17に記載の装置。
[C20]
前記送信元デバイスが前記ビデオ電話呼のビデオ部分を中断したかどうかを決定するために使用される前記RTCPパケットにおける前記情報は、パケットカウントおよび総データ量のうちの1つ以上である、C19に記載の装置。
[C21]
前記パケットカウントは、前記RTCPパケットの送信側報告(SR)における送信側のパケットカウントであり、前記総データ量は、前記RTCPパケットの前記SRにおける送信側のオクテットカウントである、C20に記載の装置。
[C22]
前記受信デバイスは、
前記ビデオが中断されたかを決定するために2つの連続するRTCPパケットにおける前記パケットカウントおよび前記総データ量のうちの1つ以上を比較するようにさらに構成され、前記ビデオが中断されたという決定は、前記パケットカウントおよび前記総データ量のうちの1つ以上が前記2つの連続するRTCPパケットに対して同じである場合に行われる、C20に記載の装置。
[C23]
前記受信デバイスは、
ビデオ制御パケットが受信された後にタイマをスタートし、
どのビデオデータパケットが、前記タイマの前記スタートからのしきい値の時間内で受信されなかった場合に前記送信元デバイスが前記ビデオ電話呼の前記ビデオ部分を中断したと決定する、
ようにさらに構成される、C17に記載の装置。
[C24]
前記しきい値の時間は、2つの連続するビデオ制御パケット間の時間より小さい、C23に記載の装置。
[C25]
命令を記憶するコンピュータ可読記憶媒体であって、前記命令は実行されるとき、ビデオ電話のためのデバイスの1つ以上のプロセッサに、
受信デバイスにおいて、ビデオ電話呼に関連付けられたビデオデータパケットが送信元デバイスから到着するのを停止したことを検出し、
前記受信デバイスにおいて、前記送信元デバイスが、ビデオ制御パケットに含まれる情報に基づいて、前記ビデオ電話呼のビデオ部分を中断したと決定することと、
を行わせる、コンピュータ可読記憶媒体。
[C26]
前記ビデオ制御パケットは、前記ビデオデータパケットが到着するのを停止した後に、前記受信デバイスにおいて受信され続ける、C25に記載のコンピュータ可読記憶媒体。
[C27]
前記ビデオデータパケットは、リアルタイムトランスポートプロトコル(RTP)パケットであり、前記ビデオ制御パケットは、RTP制御プロトコル(RTCP)パケットである、C25に記載のコンピュータ可読記憶媒体。
[C28]
前記送信元デバイスが前記ビデオ電話呼のビデオ部分を中断したかどうかを決定するために使用される前記RTCPパケットにおける前記情報は、パケットカウントおよび総データ量のうちの1つ以上である、C27に記載のコンピュータ可読記憶媒体。
[C29]
前記パケットカウントは、前記RTCPパケットの送信側報告(SR)における送信側のパケットカウントであり、前記総データ量は、前記RTCPパケットの前記SRにおける送信側のオクテットカウントである、C28に記載のコンピュータ可読記憶媒体。
[C30]
前記命令は、前記1つ以上のプロセッサに、
前記ビデオが中断されたかを決定するために2つの連続するRTCPパケットにおける前記パケットカウントおよび前記総データ量のうちの1つ以上を比較することをさらに行わせ、前記ビデオが中断されたという決定は、前記パケットカウントおよび前記総データ量のうちの1つ以上が前記2つの連続するRTCPパケットに対して同じである場合に行われる、C28に記載のコンピュータ可読記憶媒体。

Claims (16)

  1. ビデオ電話のための方法であって、
    受信デバイスにおいて、送信元デバイスからの、ビデオ電話呼に関連付けられたビデオデータパケットの到着が停止したことを検出することと、
    前記受信デバイスにおいて、ビデオ制御パケットに含まれる情報に基づいて、前記送信元デバイスが前記ビデオ電話呼のビデオ部分を中断したと決定することと、ここにおいて、前記送信元デバイスが前記ビデオ電話呼のビデオ部分を中断したかどうかを決定するために使用される前記ビデオ制御パケットにおける前記情報は、パケットカウントまたは総データ量のうちの1つ以上を含み、前記受信デバイスにおいて、前記送信元デバイスが前記ビデオ電話呼の前記ビデオ部分を中断したと決定することは、前記ビデオ部分が中断されたかを決定するために2つの連続するビデオ制御パケットにおける前記パケットカウントまたは前記総データ量のうちの1つ以上を比較することを備え、前記ビデオ部分が中断されたという決定は、前記パケットカウントまたは前記総データ量のうちの1つ以上が前記2つの連続するビデオ制御パケットに対して同じである場合に行われる、
    を備える、方法。
  2. 前記ビデオ制御パケットは、前記ビデオデータパケットの到着が停止した後に、前記受信デバイスにおいて受信され続ける、請求項1に記載の方法。
  3. 前記ビデオデータパケットは、リアルタイムトランスポートプロトコル(RTP)パケットであり、前記ビデオ制御パケットは、RTP制御プロトコル(RTCP)パケットである、請求項1に記載の方法。
  4. 前記パケットカウントは、前記RTCPパケットの送信側報告(SR)における送信側のパケットカウントであり、前記総データ量は、前記RTCPパケットの前記SRにおける送信側のオクテットカウントである、請求項3に記載の方法。
  5. ビデオ電話のために構成された装置であって、
    前記装置において、送信元デバイスからの、ビデオ電話呼に関連付けられたビデオデータパケットの到着が停止したことを検出するための手段と、
    前記装置において、ビデオ制御パケットに含まれる情報に基づいて、前記送信元デバイスが前記ビデオ電話呼のビデオ部分を中断したと決定するための手段と、ここにおいて、前記送信元デバイスが前記ビデオ電話呼のビデオ部分を中断したかどうかを決定するために使用される前記ビデオ制御パケットにおける前記情報は、パケットカウントまたは総データ量のうちの1つ以上を含み、前記装置において、前記送信元デバイスが前記ビデオ電話呼の前記ビデオ部分を中断したと決定するための前記手段は、前記ビデオ部分が中断されたかを決定するために2つの連続するビデオ制御パケットにおける前記パケットカウントまたは前記総データ量のうちの1つ以上を比較するための手段を備え、前記ビデオ部分が中断されたという決定は、前記パケットカウントまたは前記総データ量のうちの1つ以上が前記2つの連続するビデオ制御パケットに対して同じである場合に行われる、
    を備える、装置。
  6. 前記ビデオ制御パケットは、前記ビデオデータパケットの到着が停止した後に、前記装置において受信され続ける、請求項に記載の装置。
  7. 前記ビデオデータパケットは、リアルタイムトランスポートプロトコル(RTP)パケットであり、前記ビデオ制御パケットは、RTP制御プロトコル(RTCP)パケットである、請求項に記載の装置。
  8. 前記パケットカウントは、前記RTCPパケットの送信側報告(SR)における送信側のパケットカウントであり、前記総データ量は、前記RTCPパケットの前記SRにおける送信側のオクテットカウントである、請求項に記載の装置。
  9. ビデオ電話のために構成された装置であって、
    受信デバイスを備えており、前記受信デバイスは、
    前記受信デバイスにおいて、送信元デバイスからの、ビデオ電話呼に関連付けられたビデオデータパケットの到着が停止したことを検出することと、
    ビデオ制御パケットに含まれる情報に基づいて、前記送信元デバイスが前記ビデオ電話呼のビデオ部分を中断したと決定することと、ここにおいて、前記送信元デバイスが前記ビデオ電話呼のビデオ部分を中断したかどうかを決定するために使用される前記ビデオ制御パケットにおける前記情報は、パケットカウントまたは総データ量のうちの1つ以上を含み、前記受信デバイスにおいて、前記送信元デバイスが前記ビデオ電話呼の前記ビデオ部分を中断したと決定することは、前記ビデオ部分が中断されたかを決定するために2つの連続するビデオ制御パケットにおける前記パケットカウントまたは前記総データ量のうちの1つ以上を比較することを備え、前記ビデオ部分が中断されたという決定は、前記パケットカウントまたは前記総データ量のうちの1つ以上が前記2つの連続するビデオ制御パケットに対して同じである場合に行われる、
    を行うように構成される、
    装置。
  10. 前記ビデオ制御パケットは、前記ビデオデータパケットの到着が停止した後に、前記受信デバイスにおいて受信され続ける、請求項に記載の装置。
  11. 前記ビデオデータパケットは、リアルタイムトランスポートプロトコル(RTP)パケットであり、前記ビデオ制御パケットは、RTP制御プロトコル(RTCP)パケットである、請求項に記載の装置。
  12. 前記パケットカウントは、前記RTCPパケットの送信側報告(SR)における送信側のパケットカウントであり、前記総データ量は、前記RTCPパケットの前記SRにおける送信側のオクテットカウントである、請求項11に記載の装置。
  13. 命令を記憶する非一時的なコンピュータ可読記憶媒体であって、前記命令は実行されるとき、ビデオ電話のためのデバイスの1つ以上のプロセッサに、
    前記デバイスにおいて、送信元デバイスからの、ビデオ電話呼に関連付けられたビデオデータパケットの到着が停止したことを検出することと、
    前記デバイスにおいて、ビデオ制御パケットに含まれる情報に基づいて、前記送信元デバイスが前記ビデオ電話呼のビデオ部分を中断したと決定することと、ここにおいて、前記送信元デバイスが前記ビデオ電話呼のビデオ部分を中断したかどうかを決定するために使用される前記ビデオ制御パケットにおける前記情報は、パケットカウントまたは総データ量のうちの1つ以上を含み、前記デバイスにおいて、前記送信元デバイスが前記ビデオ電話呼の前記ビデオ部分を中断したと決定することは、前記ビデオ部分が中断されたかを決定するために2つの連続するビデオ制御パケットにおける前記パケットカウントまたは前記総データ量のうちの1つ以上を比較することを備え、前記ビデオ部分が中断されたという決定は、前記パケットカウントまたは前記総データ量のうちの1つ以上が前記2つの連続するビデオ制御パケットに対して同じである場合に行われる、
    を行わせる、非一時的なコンピュータ可読記憶媒体。
  14. 前記ビデオ制御パケットは、前記ビデオデータパケットの到着が停止した後に、前記デバイスにおいて受信され続ける、請求項13に記載のコンピュータ可読記憶媒体。
  15. 前記ビデオデータパケットは、リアルタイムトランスポートプロトコル(RTP)パケットであり、前記ビデオ制御パケットは、RTP制御プロトコル(RTCP)パケットである、請求項13に記載のコンピュータ可読記憶媒体。
  16. 前記パケットカウントは、前記RTCPパケットの送信側報告(SR)における送信側のパケットカウントであり、前記総データ量は、前記RTCPパケットの前記SRにおける送信側のオクテットカウントである、請求項15に記載のコンピュータ可読記憶媒体。
JP2016529831A 2013-07-26 2014-07-22 ビデオ電話におけるビデオ中断インジケーション Expired - Fee Related JP6285027B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
IN2477/MUM/2013 2013-07-26
US14/257,300 US9398253B2 (en) 2013-07-26 2014-04-21 Video pause indication in video telephony
US14/257,300 2014-04-21
IN2477MU2013 IN2013MU02477A (ja) 2013-07-26 2014-07-22
PCT/US2014/047655 WO2015013302A1 (en) 2013-07-26 2014-07-22 Video pause indication in video telephony

Publications (3)

Publication Number Publication Date
JP2016530796A JP2016530796A (ja) 2016-09-29
JP2016530796A5 JP2016530796A5 (ja) 2016-11-10
JP6285027B2 true JP6285027B2 (ja) 2018-02-28

Family

ID=52390161

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016529831A Expired - Fee Related JP6285027B2 (ja) 2013-07-26 2014-07-22 ビデオ電話におけるビデオ中断インジケーション

Country Status (7)

Country Link
US (1) US9398253B2 (ja)
EP (1) EP3025496B1 (ja)
JP (1) JP6285027B2 (ja)
KR (1) KR101749006B1 (ja)
CN (1) CN105359515B (ja)
IN (1) IN2013MU02477A (ja)
WO (1) WO2015013302A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9253439B2 (en) * 2014-02-24 2016-02-02 Cellco Partnership Managing complex video call scenarios in volte calls
US9885887B2 (en) * 2015-04-22 2018-02-06 Kurt Matthew Gardner Method of determining eyeglass frame measurements from an image by executing computer-executable instructions stored on a non-transitory computer-readable medium
US9445051B1 (en) * 2015-08-14 2016-09-13 Qualcomm Incorporated Sender side video telephony downgrade
CN107277420A (zh) * 2016-04-08 2017-10-20 中国移动通信有限公司研究院 一种视频通话实现方法及终端
CN108668098B (zh) * 2017-03-30 2021-04-23 展讯通信(上海)有限公司 多方通话的建立方法、装置及多通终端
CN107105187A (zh) * 2017-05-18 2017-08-29 宇龙计算机通信科技(深圳)有限公司 一种视频通话的处理方法及装置、系统
CN109413357B (zh) * 2017-08-15 2021-08-10 腾讯科技(深圳)有限公司 音视频通话方法及其装置、设备、存储介质
CN110650109B (zh) * 2018-06-26 2022-03-01 展讯通信(上海)有限公司 单向视频场景下回复特定响应消息的方法、装置及终端

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6570880B1 (en) * 1998-08-21 2003-05-27 Adc Telecommunications, Inc. Control data over a ring network
TW484289B (en) * 1999-10-21 2002-04-21 Koninkl Philips Electronics Nv Communications system and communication method for data multiplexing
JP2001320440A (ja) * 2000-05-02 2001-11-16 Sony Corp 通信装置及び方法
JP2002058005A (ja) 2000-06-02 2002-02-22 Canon Inc テレビ会議・テレビ電話システム、送信装置、受信装置、画像通信システム、通信装置、通信方法、記録媒体、プログラム
US7146104B2 (en) * 2001-07-05 2006-12-05 Wave7 Optics, Inc. Method and system for providing a return data path for legacy terminals by using existing electrical waveguides of a structure
WO2003041424A2 (en) * 2001-11-06 2003-05-15 Koninklijke Philips Electronics N.V. Wireless communication arrangements with encapsulation and header compression
JP2004229122A (ja) * 2003-01-24 2004-08-12 Sony Corp コンテンツ配信サーバ及びコンテンツ配信方法、並びにコンテンツ配信システム
US20070011343A1 (en) * 2005-06-28 2007-01-11 Microsoft Corporation Reducing startup latencies in IP-based A/V stream distribution
WO2007091207A1 (en) 2006-02-07 2007-08-16 Nokia Corporation Providing and handling information on a state of a media stream
CA2672735A1 (en) * 2006-12-13 2008-06-19 Quickplay Media Inc. Mobile media platform
JP2009049818A (ja) * 2007-08-21 2009-03-05 Aruze Corp Ip電話システム
US20090135735A1 (en) 2007-11-27 2009-05-28 Tellabs Operations, Inc. Method and apparatus of RTP control protocol (RTCP) processing in real-time transport protocol (RTP) intermediate systems
US20110087765A1 (en) 2009-10-08 2011-04-14 Magor Communications Corporation Network bandwidth management system
FR2961651B1 (fr) * 2010-06-22 2012-07-20 Alcatel Lucent Procede et dispositif de traitement de flux media entre une pluralite de terminaux media et une unite de traitement a travers un reseau de communication
WO2013057548A1 (en) * 2011-10-21 2013-04-25 Telefonaktiebolaget Lm Ericsson (Publ) Real-time communications methods providing pause and resume functionality and related devices
US8803800B2 (en) 2011-12-02 2014-08-12 Microsoft Corporation User interface control based on head orientation
WO2013158293A1 (en) 2012-04-19 2013-10-24 Vid Scale, Inc. System and method for error-resilient video coding

Also Published As

Publication number Publication date
EP3025496A1 (en) 2016-06-01
WO2015013302A1 (en) 2015-01-29
EP3025496B1 (en) 2020-07-22
CN105359515B (zh) 2019-03-29
US9398253B2 (en) 2016-07-19
US20150029303A1 (en) 2015-01-29
JP2016530796A (ja) 2016-09-29
IN2013MU02477A (ja) 2015-06-26
CN105359515A (zh) 2016-02-24
KR101749006B1 (ko) 2017-06-19
KR20160037931A (ko) 2016-04-06

Similar Documents

Publication Publication Date Title
JP6285027B2 (ja) ビデオ電話におけるビデオ中断インジケーション
JP2018529261A (ja) 送信者側ビデオ電話ダウングレード
KR101479393B1 (ko) 대역 내 신호들을 이용한 코덱 전개
JP5021765B2 (ja) 逆方向リンクおよび順方向リンクのビデオデータエラーを区別するエラーフィルタ
US10085029B2 (en) Switching display devices in video telephony
CN103780907B (zh) 一种视频数据流量整形的方法和装置
WO2007105618A1 (ja) バッファ制御方法、中継装置、通信システム
US9826072B1 (en) Network-terminal interoperation using compatible payloads
US9674737B2 (en) Selective rate-adaptation in video telephony
CN107079132B (zh) 在视频电话中的端口重配置之后馈送经帧内译码的视频帧
EP2538632B1 (en) Method and receiver for reliable detection of the status of an RTP packet stream
CN114979080B (zh) 一种融合局域网和广域网的sip对讲方法、系统、存储装置
JPWO2005122455A1 (ja) 双方向通信方法と装置、システムならびにプログラム
KR102109607B1 (ko) 통신 네트워크에서 송수신 지연을 감소시키기 위한 시스템 및 장치
CN105827575B (zh) 一种传输控制方法、装置及电子设备
CN101990082B (zh) 一种实现可视电话的方法及装置
CN115102927A (zh) 一种保持视频清晰的sip对讲方法、系统、存储装置
Curcio QoS Aspects of Mobile Multimedia Applications

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160901

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160901

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160901

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20161201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170306

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170904

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180131

R150 Certificate of patent or registration of utility model

Ref document number: 6285027

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees