JP5651786B2 - 監視カメラによって取り込まれたディジタルビデオストリームを制御可能に見るためのシステムおよび方法 - Google Patents

Description

本発明は、全般的にはビデオ監視システムに関し、具体的にはビデオ監視カメラからのディジタルビデオストリームを見ることに関する。

高解像度タッチスクリーンおよび高速ネットワークアクセスを有するスマートホンおよび他のモバイルデバイスが、市場では、珍しくなくなっている。同様に、ＩＰビデオ監視カメラおよびＩＰエンコーダを用いて可能にされたレガシアナログ監視カメラが、今や、街路、空港、および多くの他の公共施設で広く展開されている。セキュリティ会社は、ＩＰネットワークに結合されたモバイルデバイス上で、リアルタイムで監視カメラストリームを見ることができることへの関心を示してきた。しかし、通常のモバイルデバイスの小さいスクリーンサイズでは、現在、複数のビデオストリームを並列に見ることが非実用的となっている。

１つの解決策は、複数のビデオストリームを、同時ではあるが、それぞれが減らされたウィンドウサイズおよび解像度を有する状態で表示することである。しかし、より小さいビデオウィンドウサイズは、人間の見る人に、重要な情報またはクリティカルな情報を見落とさせる可能性がある。もう１つの解決策は、複数のビデオストリームの間でサイクルするかトグルし、その結果、セット全体のうちの単一のストリームまたは少数のストリームだけが一度にフル解像度で表示されるようにすることである。たとえば、通常のビデオ監視スクリーンは、最初の１０秒にカメラ１を示し、次の１０秒にカメラ２を示し、次の１０秒にカメラＮなどを示し、その後、カメラ１に戻って繰り返すことができる。しかし、カメラ１の視野内で発生するクリティカルなアクティビティを、カメラ２−Ｎが見られている間に見ることはできない。

ディジタルビデオバッファリングも、パーソナルビデオレコーダ（ＰＶＲ）およびディジタルビデオレコーダ（ＤＶＲ）などの多数のディジタルビデオデバイスで一般的に利用される。たとえば、従来のＤＶＲシステムでは、ユーザは、リアルタイムでテレビジョン（ＴＶ）を見、ビデオを一時停止し、その後、リアルタイムだが遅延を伴ってビデオを見続けることができる。ユーザは、リアルタイムのテレビジョン番組に追い付くために、２倍速または４倍速でビデオを見ることもできる。いくつかのＤＶＲシステムでは、ユーザは、この形でＴＶの２つのチャネルを同時に見ることさえできる、すなわち、第２のチャネルが一時停止されている間にしばらく一方のチャネルを見、その後、第１のチャネルが一時停止されている間にしばらく第２のチャネルを見ることができる場合がある。しかし、このプロセスは、手動であり、極端に面倒である。したがって、人間の見る人は、すぐに両方のＴＶ番組を見るのに遅れをとる可能性がある。さらに、このプロセスは、ビデオの３つ以上のチャネルでは、ほぼ不可能である。

一実施形態では、ディジタルビデオ管理デバイスは、ディスプレイデバイス上で、リモート監視カメラによって取り込まれたディジタルビデオストリームを制御可能に見ることを可能にする。ディジタルビデオ管理デバイスは、入力インターフェースと、バッファと、プロセッサと、出力インターフェースとを含む。入力インターフェースは、リモート監視カメラによって取り込まれたディジタルビデオストリームを受信するためにパケット交換ネットワークに結合される。バッファは、ディジタルビデオストリームのパケットを受信し、格納し、プロセッサは、０出力レートとリアルタイムより高速の出力レートとの間でバッファのパケット出力フローレートを制御する。プロセッサは、第１の時にパケット出力フローレートに０出力レートをセットし、第１の時の後の第２の時にリアルタイムより高速の出力レートをセットする。出力インターフェースは、第２の時のリアルタイムより高速の出力レートで、ディスプレイデバイス上で表示するために、ディスプレイデバイスにディジタルビデオストリームを提供する。

さらなる実施形態では、プロセッサは、第２の時の後の第３の時にパケット出力フローレートにリアルタイム出力レートをセットする。たとえば、プロセッサは、第２の時と第３の時との間にパケット出力フローレートに可変出力レートをセットすることができる。プロセッサは、第２の時にバッファの現在の深さに基づいて、またはビデオ分析を使用して可変出力レートを決定することができる。

さらなる実施形態では、入力インターフェースは、少なくとも１つの追加のリモートビデオ監視システムによって取り込まれた少なくとも１つの追加のディジタルビデオストリームを受信し、少なくとも１つの追加のバッファ内に少なくとも１つの追加のディジタルビデオストリームを格納するためにさらに結合される。プロセッサは、ディジタルビデオストリームの選択されたディジタルビデオストリームと少なくとも１つの追加のディジタルビデオストリームとをディスプレイデバイス上でレンダリングすることを可能にするために少なくとも１つの追加のバッファのパケット出力フローレートをさらに制御する。たとえば、プロセッサは、選択されていないディジタルビデオストリームのパケット出力フローレートに０出力レートをセットすることによって、ディジタルビデオストリームの選択されていないディジタルビデオストリームおよび少なくとも１つの追加のディジタルビデオストリームを一時停止することができる。もう１つの例として、プロセッサは、選択されたディジタルビデオストリームおよび選択されたディジタルビデオストリームのそれぞれのパケット出力フローレートを決定するのに、所定のポリシ、ビデオ分析、およびディスプレイデバイスのユーザのユーザ入力のうちの１つまたは複数を使用することができる。

さらなる実施形態では、プロセッサは、ディスプレイデバイス上で選択されたディジタルビデオストリーム内の１つまたは複数の関心領域を表示するために選択されたディジタルビデオストリームの空間解像度をさらに調整する。例えば、プロセッサは、１つまたは複数の関心領域にズームインし、超解像技法を使用して１つまたは複数の関心領域の解像度を高め、あるいは１つまたは複数の関心領域のサイズを変更することによって、空間解像度を調整することができる。

本発明のもう１つの実施形態では、方法は、ディスプレイデバイス上で、リモート監視カメラによって取り込まれたディジタルビデオストリームを制御可能に見ることを可能にする。この方法は、リモート監視カメラによって取り込まれたディジタルビデオストリームを受信することと、ディジタルビデオストリームのパケットをバッファ内でバッファリングすることと、第１の時の０出力レートと第１の時の後の第２の時のリアルタイムより高速の出力レートとの間でバッファのパケット出力フローレートを制御することと、第２の時のリアルタイムより高速の出力レートで、ディスプレイデバイス上で表示するために、ディスプレイデバイスにディジタルビデオストリームを提供することとを含む。

本発明のより完全な理解を、添付図面と共に解釈される時に次の詳細な説明を参照することによって得ることができる。

本発明の実施形態による、リモート監視カメラによって取り込まれたディジタルビデオストリームを制御可能に見るための例示的なディジタルビデオシステムを示す図である。 ディジタルビデオバッファのパケット出力フローレートを制御するための例示的実施形態を示すタイミング図である。 ディジタルビデオバッファのパケット出力フローレートを制御するための例示的実施形態を示すタイミング図である。 ディジタルビデオバッファのパケット出力フローレートを制御するための例示的実施形態を示すタイミング図である。 本発明の実施形態による、複数のリモート監視カメラによって取り込まれた複数のディジタルビデオストリームを制御可能に見るためのもう１つの例示的なディジタルビデオシステムを示す図である。 本発明の実施形態による、ディジタルビデオストリームのパケット出力フローレートを制御するための例示的なディジタルビデオ管理デバイスを示すブロック図である。 本発明の実施形態による、モバイル通信デバイス上でのディジタルビデオストリームの表示を制御するための例示的な無線ネットワークを示す図である。 本発明の実施形態による、その上でのディジタルビデオストリームの表示を制御するための例示的なモバイル通信デバイスを示す図である。 本発明の実施形態による、制御されたディジタルビデオストリームの空間解像度を調整する例示的なディジタルビデオシステムを示す図である。 本発明の実施形態による、リモート監視カメラによって取り込まれたディジタルビデオストリームを制御可能に見る例示的な方法を示す図である。

本発明の実施形態によれば、１つまたは複数の監視カメラストリームを制御可能に見るためのシステムおよび方法が提供される。リアルタイム監視ビデオストリームを、たとえば、小さいスクリーンを有するモバイルデバイス上または大スクリーンディスプレイおよび／もしくはビデオウォール（ｖｉｄｅｏ ｗａｌｌ）上でレンダリングすることができ、見られる監視カメラの個数は、多い。さらに、本発明の実施形態を、既存のディジタルビデオレコーディングのリアルタイム再生および分析を含むように拡張することもできる。

図１に、本発明の実施形態による、リモート監視カメラによって取り込まれたディジタルビデオストリームを制御可能に見るための例示的なディジタルビデオシステム１０を示す。システム１０は、ビデオカメラ２０、ディジタルビデオ管理デバイス４０、およびディスプレイ７０を含む。ディスプレイ７０は、モバイルデバイス上のディスプレイまたはセキュリティシステムディスプレイなどの単一のディスプレイ７０を含むことができ、あるいは、セキュリティシステムビデオウォールなどの複数のディスプレイを含むことができる。デバイス４０は、たとえば、ネットワーク内のサーバまたはディスプレイ４０を収容する携帯電話機とすることができる。デバイス４０がサーバである実施形態では、デバイス４０は、インターネットプロトコル（ＩＰ）ネットワーク３５（たとえば、Ｗｉｆｉ、３Ｇ、４Ｇ、または他の手段を介して）または他のタイプのネットワークなどのネットワークを介してディスプレイに結合される。

デバイス４０は、たとえばパケット交換（たとえばＩＰ）ネットワーク、回線交換ネットワーク、またはその組合せとすることができる別のネットワーク３０を介してリモートビデオ監視カメラ２０にさらに結合される。リモートビデオ監視カメラ２０によって取り込まれたディジタルビデオストリーム２５は、デバイス４０で受信され、バッファ５０にバッファリングされる。ディジタルビデオストリーム２５を、たとえば、リアルタイムストリームまたは事前に記録されたストリームとすることができる。出力レート制御モジュール６０は、ディジタルビデオストリーム２５を適当なレートでディスプレイ７０上にレンダリングするために、バッファ５０の出力レートを最適に調整する。より具体的には、バッファ５０は、ディジタルビデオストリーム２５のパケット５５を受信し、格納し、出力レート制御モジュール６０は、０出力レートとリアルタイムより高速の出力レートとの間でバッファ５０のパケット出力フローレートを制御する。たとえば、出力レート制御モジュール６０は、第１の時にパケット出力フローレートに０出力レートをセットし、その後、第２の時に、パケット出力フローレートにリアルタイムより高速の出力レートをセットすることができる。出力レート制御モジュール６０は、さらに、バッファ５０のパケット出力フローレートに、第３の時にリアルタイムレートをセットすることができる。出力フローレートの調整によって、見る人の不注意または他の、ディスプレイ７０上に表示された１つまたは複数のストリームを観察できないことにより、ビデオストリーム２５からの重要な情報を、ディスプレイ７０を見るユーザが見逃すことを、確実になくすことができる。

一般に、出力レート制御モジュール６０は、多数の要因に依存して出力フローレートを調整することができる。たとえば、エンドユーザが、ディスプレイ７０上のビデオを手動で一時停止する場合に、出力レート制御モジュール６０は、出力フローレートに０をセットすることができ、これによって、ビデオバッファ５０は充てんし始める。ビデオの一時停止を解除した後に、出力レート制御モジュール６０は、ポリシ、ビデオ分析、またはユーザ入力に基づいて決定される調整可能なレートで出力フローレートを調整することができる。たとえば、ポリシまたはユーザ入力は、出力レート制御モジュール６０に、最も古いビデオを最高速で、またはバッファ深さ、シーン複雑さおよび／もしくは他の要因に依存するレートで出力するように指示することができる。もう１つの例として、ビデオ分析をディジタルビデオストリーム２５に適用して、複雑なコンテンツを有するビデオをより低いレートで出力し、より単純なコンテンツを有するビデオをより高いレートで出力することを可能にすることができる。

デバイス４０が、ネットワーク内にあり、バッファが圧縮された（たとえば、ＭＰＥＧ４）ビデオを格納する例示的実施形態では、圧縮されたビデオを、ＩＰネットワーク３５を介してより高いレートで送信し、その後、圧縮解除し、より高いレートで、ディスプレイ７０上でレンダリングすることができる。デバイス４０が、ディスプレイ７０と同一のハウジング内（すなわち、スマートホン内）にあるもう１つの実施形態では、ビデオ監視カメラ２０は、固定されたリアルタイムレートでディジタルビデオストリーム２５を送信することができ、出力レート制御は、スマートホン自体の中で実行することができる。さらに、ビデオバッファ５０は、出力レート制御６０と同一のデバイス４０内または異なるデバイス内に存在することができる（すなわち、両方がスマートホン内に存在することができ、一方がネットワーク内、他方がスマートホン内に存在することができ、あるいは、両方がネットワーク内に存在することができる）。

パケット出力フローレートが経時的にどのように変化し得るのかを示すために、ここで図２Ａを参照する。図２Ａに示されているように、リモート監視カメラからのディジタルビデオストリームは、Ｒｉフレーム／秒の通常の固定されたレートでバッファ５０にストリーミングされる。バッファ５０内のデータは、圧縮された（すなわち、ＭＪＰＥＧ、Ｈ２６４、または他の圧縮技法）ビデオまたは圧縮解除されたビデオのいずれかとすることができる。バッファリングされたビデオは、Ｒｏフレーム／秒のレートでバッファ５０から外へストリーミングされる。バッファの深さは、通常は非０である。たとえば、ビデオは、Ｒｉ＝３０フレーム／秒のレートでストリームインし、Ｒｏ＝３０フレーム／秒の、これと同一のレートでストリームアウトすることができ、総バッファ深さを６０フレームとすることができ、したがって、２秒の遅延が作られる。出力レートＲｏが入力レートＲｉと一致する場合には、バッファ深さは、図２Ａに示されているように時間Ｔ０で一定になり、このバッファのレベルは、増えも減りもしない。

本発明の実施形態によれば、バッファの出力レートは制御可能であるが、入力レートは、通常はカメラソースから固定されている。したがって、出力レートＲｏは、実際には時間の関数Ｒｏ（ｔ）である。たとえば、ある時刻Ｔ１に、バッファ出力レートＲｏに０がセットされる。バッファ深さは増え始めるが、ビデオは実際には失われない。そうではなく、使用可能な適度なバッファメモリがあるならば、ビデオは、バッファ５０内に一時的に格納される。

より後の時刻Ｔ２に、バッファ出力フローレートが、Ｒｉより高速のレートに再調整される（Ｒｏ＞Ｒｉ）。バッファ５０の深さは、減り始め、この減少は、バッファがアンダーフローしないならば継続することができる。最後に、時刻Ｔ３に、出力レートが、もう一度入力レートと一致するように調整され（Ｒｏ＝Ｒｉ）、バッファ深さは、変化するのを止め、一定のままになる。このプロセスを、時間的に、異なるレート、バッファ深さ、一時停止時間などを伴って繰り返すことができる。

図２Ａに示された出力フローレートの調整は、遅延またはバッファ深さが問題を示さないならば、ビデオストリームをある時間だけ一時停止し、その後にデータのギャップを全く伴わずにリアルタイムより高速のレートで再生することを可能にする。セキュリティに対する遅延の影響は、特定の監視使用ケースに依存する。しかし、多くのケースで、小さい遅延は、それでも、イベントが遅延されたストリーム内で監視される時に、セキュリティチームが適当な手段および処置を講じることを可能にする。

図２Ｂは、出力フローが経時的にどのように変化するのかの単純な例を表す。Ｒｉ−Ｒｏ（ｔ）が０より大きい時には必ず、バッファ深さが増え、Ｒｉ−Ｒｏ（ｔ）が０より小さい時には必ず、バッファ深さが減る。任意の２つの時点の間の曲線の下の面積は、バッファ深さの正味の変化を表す。図２Ｂからわかるように、遅延の正味の変化を伴わずに、再生レートを０とするか、入力レートと等しくするか、入力レートの２倍とすることができる。

ここで図２Ｃに移ると、出力フローレートを、他の非定数の非離散値に調整することもできる。たとえば、図２Ｃは、どのようにしてビデオストリームを一時停止でき（Ｔ０からＴ１までの領域）、その後、最初はＲｉを超え、その後に滑らかにＲｉに近づく可変レートで再生できるのかを示す。このビデオストリームを観察するユーザは、一時停止を見、その後、より古いビデオが、より高いレートで再生され、より最近のビデオが、ほぼリアルタイムに近づくレートで再生されるのを見る。

図３は、図１に示された単純なシステムのマルチチャネル版である。図３では、３つの異なるリモートビデオ監視カメラ２０ａ、２０ｂ、および２０ｃのそれぞれが、それぞれのディジタルビデオストリーム２５ａ、２５ｂ、および２５ｃをディジタルビデオ管理デバイス４０に供給する。ディジタルビデオ管理デバイス４０は、それぞれビデオストリーム２５ａ、２５ｂ、および２５ｃのパケット５５ａ、５５ｂ、および５５ｃをバッファリングし、格納するそれぞれのバッファ５０ａ、５０ｂ、および５０ｃを含み、出力レート制御モジュール６０は、ディスプレイ７０上のレンダリングのためにバッファ５０ａ、５０ｂ、および５０ｃのそれぞれのパケット出力フローレートを制御する。

ディジタルビデオ管理デバイス４０は、さらに、カメラ選択モジュール８０を含む。カメラ選択モジュール８０は、どのビデオストリームをディスプレイ７０に示すべきなのかを選択する。出力レート制御モジュール６０は、表示のために現在カメラ選択モジュール８０によって選択されているのではないチャネル（ディジタルビデオストリーム）を一時停止する。たとえば、図３に示されているように、カメラ選択モジュール８０は、ビデオ監視カメラ２０ａからのディジタルビデオストリーム２５ａを一時停止し、カメラ２０ｂおよび２０ｃからのディジタルビデオストリーム２５ｂおよび２５ｃだけをディスプレイ７０上にレンダリングすることができる。これらの表示されるビデオストリーム２５ｂおよび２５ｃの一方または両方を、出力レート制御モジュール６０によって選択される出力フローレートに依存して、リアルタイムで、リアルタイムより低速で、またはリアルタイムより高速でレンダリングすることができる。カメラ選択モジュール８０と出力レート制御モジュール６０との両方が、入力ポリシ仕様、ビデオ分析、およびユーザＧＵＩ（グラフィカルユーザインターフェース）指示を受け入れて、選択されたストリーム２５ａ−２５ｃおよび関連するパケット出力フローレートを決定する。

一実施形態では、各バッファ５０ａ−５０ｃを、それぞれがバッファ５０ａ−５０ｃ内の異なるポインタを使用する複数のスマートホン（または他のモバイルクライアントもしくは非モバイルクライアント）のために使用することができる。もう１つの実施形態では、上で説明したように、バッファ５０ａ−５０ｃが、スマートホン自体の中に存在することができ、その結果、各カメラ２０ａ−２０ｃが、そのそれぞれのディジタルビデオストリーム２５ａ−２５ｃをＲｉフレーム／秒の固定されたレートで１つまたは複数のスマートホンに送信し、バッファポインタ管理がスマートホン内で実行されるようになる。この実施形態では、デバイス４０は、スマートホン内に実装される。

同様に、出力レート制御モジュール６０およびカメラ選択モジュール８０が、スマートホン（または他のモバイルクライアントもしくは非モバイルクライアント）内またはスマートホンもしくは他のクライアントと通信するネットワーク内のサーバ内に存在することができる。バッファ５０ａ−５０ｃは、出力レート制御モジュール６０およびカメラ選択モジュール８０と同一のデバイス内または異なるデバイス内に存在することができる。

図４は、本発明の実施形態による、例示的なディジタルビデオ管理デバイス４０のブロック図である。デバイス４０は、プロセッサ１００、メモリ１１０、バッファ５０、ネットワーク入力インターフェース（Ｉ／Ｆ）１２０、出力Ｉ／Ｆ １３０、およびユーザ入力Ｉ／Ｆ １４０を含む。ネットワーク入力インターフェース１２０は、リモートビデオ監視カメラからディジタルビデオストリーム２５を受信するためにパケット交換（ＩＰ）または他のタイプの通信ネットワークに結合される。出力Ｉ／Ｆ １３０は、ディスプレイデバイス上でレンダリングするために、ディスプレイデバイスにディジタルビデオストリーム２５を供給するために結合される。ユーザ入力Ｉ／Ｆ １４０は、ディスプレイデバイスのユーザからユーザＧＵＩ（グラフィカルユーザインターフェース）指示１４５を受け取るために結合される。

一実施形態では、出力Ｉ／Ｆ １３０およびユーザ入力Ｉ／Ｆ １４０は、別の通信ネットワークに結合される。たとえば、出力Ｉ／Ｆ １３０は、通信ネットワークを介してスマートホンまたは他のクライアントにディジタルビデオストリーム２５（圧縮されたまたは圧縮されていない）を送信することができる。もう１つの例として、ユーザ入力Ｉ／Ｆ １４０は、通信ネットワークを介してスマートホンまたは他のクライアントからユーザＧＵＩ指示１４５を受信することができる。もう１つの実施形態では、出力Ｉ／Ｆ １３０およびユーザ入力Ｉ／Ｆ １４０は、スマートホンまたは他のクライアント内に組み込まれ、クライアントディスプレイおよびＧＵＩへ／からの内部インターフェースを提供する。

メモリ１１０は、出力レート制御モジュール６０およびカメラ選択モジュール８０を維持し、プロセッサ１００は、さらに、出力レート制御モジュール６０およびカメラ選択モジュール８０の命令を実行するためにメモリ１１０に結合される。たとえば、プロセッサ１００は、カメラ選択モジュール８０の命令を実行して、出力Ｉ／Ｆ １３０を介してディスプレイに出力するためにネットワーク入力Ｉ／Ｆ １２０を介して受信された１つまたは複数の入力ディジタルビデオストリーム２５を選択することができる。プロセッサ１００は、さらに、出力レート制御モジュール６０の命令を実行して、入力ディジタルビデオストリーム２５のそれぞれのパケットをバッファ５０に格納し、バッファ５０のそれぞれのパケット出力フローレートを制御することができる。たとえば、プロセッサ１００は、出力レート制御モジュール６０の命令を実行して、カメラ選択モジュール８０によって選択されていないすべてのディジタルビデオストリームを一時停止する（すなわち、パケット出力フローレートに０をセットする）ことができる。

本明細書で使用される時に、用語「プロセッサ」は、全般的に、ＰＣなどの汎用コンピュータを駆動するデバイスと理解される。しかし、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、ディジタル信号処理チップ、またはその組合せなどの他の処理デバイスを使用して、本明細書で説明される利益および長所を達成することもできることに留意されたい。さらに、本明細書で使用される時に、用語「メモリ」は、ハードドライブ、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、フラッシュメモリ、または他のタイプのストレージデバイスもしくは記憶媒体を含むがこれに限定されないすべてのタイプのデータ記憶デバイスを含む。

メモリ１１０は、さらに、ポリシ情報１５０および／またはビデオ分析情報１６０を維持する。ポリシ情報１５０を、システムのユーザまたは管理者によってプログラムすることができ、あるいは、バッファ特性、ネットワーク特性、および／または他の要因に基づいて事前に決定することができる。同様に、ビデオ分析情報１６０を、ユーザまたは管理者によってプログラムすることができ、あるいは複数の異なる要因に基づいて事前に決定することができる。

ポリシ情報１５０を、カメラ選択モジュール８０と出力レート制御モジュール６０との両方に入力して、カメラ選択機能および出力レート制御機能を制御することができる。たとえば、ポリシ情報１５０は、合計３つのストリーム（ストリームＡ、Ｂ、およびＣ）からの２つのストリーム（ストリームＡおよびＢ）が、それぞれ再生補償を伴って、５秒のインターバルについて任意の１つの時に表示されることを規定することができる。一例として、ストリームＡおよびＢ、ストリームＢおよびＣ、ストリームＣおよびＡを、固定されたリアルタイムより高速のレンダリングを用いてトグルすることができ、その結果、正味のバッファ深さの増加をなくすことができる。もう１つの例として、ポリシ情報１５０は、より古いビデオがより新しいビデオより高速で再生されることを要求することができ、あるいは、ストリームＡがストリームＢとは異なる再生レートを有することができる。ポリシ情報１５０は、各ビデオストリームの再生インターバルを適応的に調整することもできる。たとえば、ポリシ情報１５０は、最初の１分のうちに、ストリームＡが１０秒再生され、ストリームＢが５秒再生され、第２の１分のうちに、ストリームＡが５秒再生され、ストリームＢが１０秒再生されることを示すことができる。ポリシ情報１５０がカメラ選択モジュール８０および出力レート制御モジュール６０をどのように制御できるのかに関する多数の他の可能性および変形形態があることを理解されたい。

ポリシ情報１５０に加えて、ビデオ分析情報１６０を、カメラ選択モジュール８０および出力レート制御モジュール６０に入力して、どのストリーム２５がどのレートでレンダリングされるのかを制御することができる。たとえば、多数の動きコンテンツを有するストリーム２５を、より低い速度で７５％の時間再生することができ、より少ない動きコンテンツを有するストリーム２５を、より高い速度で２５％の時間再生することができる。動きコンテンツを含まないストリーム２５は、完全にスキップすることができ、あるいは、周期的に表示するのみとすることができ、これによって、限られた場所が動きを有するストリーム２５に使用される表示を可能にすることができる。動きが、選択されないストリーム内で発生する（すなわち、カメラ選択モジュール８０によって以前に選択されたストリーム２５がスキップされる）実施形態では、出力レート制御モジュール６０は、その発生の前、発生中、または発生の後に動きを示すためにカメラ選択モジュール８０をオーバーライドすることができる。

オブジェクト検出および認識などの他のビデオ分析１６０を活用することもできる。たとえば、ストリーム２５が、動く車両を含む場合には、カメラ選択および出力レート制御のための１つの方式を使用することができ、ストリーム２５が、動く人を含む場合には、カメラ選択および出力レート制御のための別の方式を使用することができる。さらに、ストリーム２５が、移動しない人を含む場合に、カメラ選択および出力レート制御のためのさらに別の方式を使用することができる。ビデオ分析１６０が、カメラストリーム選択モジュール８０および出力レート制御モジュール６０をどのように制御できるのかに関する多数の他の可能性および変形形態があることを理解されたい。

ポリシ１５０およびビデオ分析１６０に加えて、ユーザグラフィカルユーザインターフェース（ＧＵＩ）指示１４５を、ユーザ入力Ｉ／Ｆ １４０を介してカメラ選択モジュール８０および出力レート制御モジュール６０に入力して、どのストリームがどのレートでレンダリングされるのかを制御することもできる。たとえば、ユーザが、さらなる調査のためにストリーム２５のうちの１つを一時停止するために、モバイルデバイスディスプレイ上でそのストリーム２５にタッチすることができる。ユーザは、後刻にそのストリーム２５を一時停止解除することができ、出力レート制御モジュール６０は、あるＲ０（ｔ）関数を使用してリアルタイムに追い付くために一時停止解除されたストリームのパケット出力レートフローを調整することができる。ストリーム２５のうちの１つがユーザによって一時停止される時に、ポリシ１５０および／またはビデオ分析１６０に依存して、他のストリームを一時停止し、かつ／またはより低いレートで再生することもできる。もう１つの例として、ユーザは、異なるプロファイルの間で選択することができ、これによって、異なるストリーム２５の再生レートを決定することができる。たとえば、プロファイル１が、それぞれ５秒だけストリームＡ−Ｂ、Ｂ−Ｃ、Ｃ−Ａを示すことができ、プロファイル２が、５秒だけストリームＡ、５秒だけストリームＢ、および５秒だけストリームＣを示すことができる。さらに、プロファイル３が、ある固定されたレートまたは可変レートで、プロファイル１とプロファイル２との間でトグルすることができる。ユーザＧＵＩ指示１４５が、どのようにカメラストリーム選択モジュール８０を制御して、出力レート制御モジュール６０をバッファリングできるのかに関する多数の他の可能性および変形形態があることを理解されたい。

さらに、ポリシ１５０、ビデオ分析１６０、およびユーザＧＵＩ指示１４５は、カメラ選択モジュール８０および出力レートフローモジュール６０を制御するためにさまざまな形でお互いと相互作用することもできる。たとえば、ビデオ分析１６０によって決定される単純な動きがある時に、ポリシ情報１５０は、第１のポリシの選択および再生方式を使用しなければならないことを示すことができ、ビデオ分析１６０によって決定される複雑な動きがある時に、ポリシ情報１５０は、第２のポリシの選択および再生方式を使用しなければならないことを示すことができる。もう１つの例として、ユーザが、ＧＵＩ指示１４５を介してあるストリーム２５を一時停止する場合に、ビデオ分析１６０は、動きが検出される時に、ストリーム２５をオーバーライドして一時停止解除することができる。もう１つの例として、ユーザが、ＧＵＩ指示１４５を介してプロファイルＸを選択した場合に、ある時間（Ｔ）の後に、ポリシ情報１５０は、ユーザが選択したプロファイルをオーバーライドし、プロファイルＹに戻ってデフォルト設定することができる。カメラストリーム選択およびレート制御を最適に制御するための、ポリシ、ビデオ分析、およびユーザＧＵＩ相互作用がお互いに相互作用するための多数の他の可能性よび変形形態があることを理解されたい。

図５に、本発明の実施形態による、モバイル通信デバイス２５０上でのディジタルビデオストリーム２５の表示を制御するための例示的な無線ネットワーク２２０を示す。無線ネットワーク２２０は、モバイル通信デバイス２５０への無線接続２４０を提供するネットワークアクセスポイント２３０（たとえば、基地局または他のネットワーク送受信デバイス）を含む。モバイル通信デバイスを、たとえば、ネットワークアクセスポイント２３０と通信することのできるスマートホンまたは他のモバイルデバイスとすることができる。無線ネットワークは、Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＧＳＭ（登録商標））、Ｐｅｒｓｏｎａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｅｒｖｉｃｅ（ＰＣＳ）、Ｗｉ Ｆｉ、符号分割多元接続（ＣＤＭＡ）、または任意の他の３Ｇまたは４Ｇの無線ネットワークを含むがこれに限定されない任意のタイプの無線ネットワークとすることができる。

サーバ２００は、ビデオ監視カメラからディジタルビデオストリーム２５を受信し、ディジタルビデオストリーム２５を無線ネットワーク２２０に供給するために、無線ネットワーク２２０に結合される。サーバ２００は、バッファ５０およびプロセッサ２１０を含む。バッファ５０は、ディジタルビデオストリーム２５のパケットを受信し、格納し、プロセッサ２１０は、ポリシ、ビデオ分析、および／またはユーザＧＵＩ指示に基づいてバッファ５０の出力フローレートを制御する。

モバイル通信デバイス２５０は、ディスプレイ７０を含み、プロセッサ２６０をも含む。モバイル通信デバイスプロセッサ２６０は、受信されたディジタルビデオストリーム２５をサーバプロセッサ２１０によってセットされたパケットフローレートでディスプレイ７０上でレンダリングする。たとえば、ディジタルビデオストリーム２５のパケットが、リアルタイムより高速のレートで受信される場合には、プロセッサ２６０は、ディジタルビデオストリーム２５をディスプレイ７０上でリアルタイムより高速のレートでレンダリングする。一実施形態では、モバイル通信デバイスプロセッサ２５０は、さまざまな入力デバイス（たとえば、タッチスクリーン、キーパッド、キーボード、スタイラス、またはモバイル通信デバイス上の他の入力デバイス）を介してユーザＧＵＩ指示を受信し、ユーザＧＵＩ指示を無線ネットワーク２２０を介してサーバ２００に転送して、ディスプレイ７０上でのディジタルビデオストリーム２５の再生レートを制御する。

図６に、本発明の実施形態による、その上でのディジタルビデオストリームの表示を制御するための例示的なモバイル通信デバイス２５０を示す。図６では、ディジタルビデオ管理デバイス４０は、モバイル通信デバイス２５０内に組み込まれて、モバイル通信デバイスがディスプレイ７０上のディジタルビデオストリームの再生レートを制御することを可能にする。図６に示されているように、モバイル通信デバイス２５０は、バッファ５０およびプロセッサ１００を含む。バッファ５０は、モバイル通信デバイス内のトランシーバ（図示せず）によって受信されたディジタルビデオストリームのパケットを受信し、格納し、プロセッサ２１０は、ポリシ、ビデオ分析、および／またはユーザＧＵＩ指示に基づいてバッファ５０の出力フローレートを制御する。

通常のモバイル通信デバイス２５０は、低解像度ディスプレイ７０だけを有するので、しばしば、モバイル通信デバイス２５０上で監視カメラ（特に高解像度モデル）からのビデオを表示する時に、空間情報の消失がある。たとえば、シーンに関するクリティカルな情報が、フレームの小さい部分だけに集中する場合があり、フレームの残りは、重要ではない「バックグラウンド」情報を含む。

したがって、さらなる実施形態では、ディスプレイ７０上に表示される選択されたストリームの解像度およびサイズは、クリティカルな空間情報および時間情報を表示するために最適に制御される。ここで図７に移ると、本発明の実施形態による、制御されたディジタルビデオストリームの空間解像度を調整し、これによってクリティカル情報の消失を最小にする例示的なディジタルビデオシステムが示されている。

図７では、ディジタルビデオ管理デバイス４０は、ディジタルビデオストリーム２５のビデオフレーム３００内の特定の関心領域（ＲＯＩ）３１０を検出し、そのＲＯＩ ３１０をディスプレイ７０上に表示することができる。ディジタルビデオ管理デバイス４０は、バッファ５０、プロセッサ１００、およびメモリ１１０を含む。バッファ５０は、リモートビデオ監視カメラ２０からのディジタルビデオストリーム２５を受信し、ディジタルビデオストリームのパケットをその中に格納するために結合される。プロセッサ１００は、表示のために１つまたは複数のディジタルビデオストリームを選択し、バッファ５０の出力フローレートを制御し、ディジタルビデオストリーム２５内のＲＯＩ ３１０を検出し、ＲＯＩ ３１０をディスプレイ７０上に表示するためにディジタルビデオストリームの空間解像度を調整するように動作する。プロセッサ１００は、たとえば、関連するビデオストリームの選択、出力フローレートの制御、および選択されたフレーム内のＲＯＩの検出および空間解像度調整のためにポリシ、ビデオ分析、およびユーザＧＵＩ指示を使用することができる。

ＲＯＩ検出および空間解像度調整を提供するために、メモリ１１０は、空間解像度調整アプリケーション３３０およびＲＯＩ検出アプリケーション３４０を含んで図示されている。プロセッサ１００は、空間解像度調整アプリケーション３３０およびＲＯＩ検出アプリケーション３４０の命令を実行するためにメモリ１１０に結合される。たとえば、プロセッサ１００は、ＲＯＩ検出アプリケーション３４０の命令を実行して、ディジタルビデオストリーム２５の特定のフレーム３００内の１つまたは複数のＲＯＩ ３１０を検出することができる。ディジタルビデオストリーム２５を、ディスプレイ７０上の表示のために選択された選択されたディジタルビデオストリームまたは選択されないディジタルビデオストリームとすることができる。後者の場合に、選択されないディジタルビデオストリーム内のＲＯＩ ３１０の検出時に、プロセッサ１００は、そのディジタルビデオストリームを選択しないという判断をオーバーライドし、これをディスプレイ７０上にレンダリングすることができる（たとえば、プロセッサ１００は、ＲＯＩに対応するパケットをディスプレイ７０に供給することができる）。特定のＲＯＩ ３１０を検出した時に、プロセッサ１００は、さらに、フレームの重要でない空間領域を刈り込み、ディスプレイ７０上にレンダリングされるＲＯＩ ３１０だけを残すことができる。

ビデオ分析を使用して、指名手配人の顔、疑わしい挙動、および無人スーツケースなどのクリティカル情報を自動的に認識することができる。この情報は、フレーム３００内の関心領域（ＲＯＩ）３１０の選択のためにＲＯＩ検出アプリケーション３４０によって使用される。一般に、ＲＯＩ検出プロセスは、ユーザ入力およびＲＯＩ ３１０の識別のポリシなど、多数の要因に依存する可能性がある。たとえば、ポリシは、他のストリームがクリティカル情報を担持しない限り、合計３ストリームのうちの２ストリームが、５秒のインターバルの間の任意の一時間に表示されなければならないことを規定することができる。もう１つのポリシは、静的コンテンツ（動きなし）を有するストリームが、完全にスキップされるが、クリティカルコンテンツを有するストリームが、そのＲＯＩをディスプレイ７０上の使用可能な場所にあてはめることによって必ず表示されることを規定することができる。

プロセッサ１００は、さらに、１つまたは複数のＲＯＩ ３１０の空間解像度を調整するために、空間解像度調整アプリケーション３３０の命令を実行することができる。たとえば、プロセッサ１００は、ズーム倍率を調整し、またはＲＯＩ ３１０の解像度を増やすことができる。一例として、超解像技法を使用して、複数のセンサからの情報を融合するか動きを使用することによってイメージングセンサの解像度を高めることができる。イメージをぼけさせる伝統的なズームとは異なって、超解像技法は、シーンに関する追加情報を提供しながら空間解像度を高めることを可能にする。

ビデオ分析および／またはポリシを適用して、クリティカルなコンテンツを有するビデオをより低いレートで再生することもできる。ポリシおよびビデオ分析に加えて、ユーザグラフィフィカルユーザインターフェース（ＧＵＩ）指示を使用して、ＲＯＩ ３１０の空間解像度を制御することもできる。たとえば、ユーザは、ＲＯＩを選択するためにディスプレイ７０上のストリームのうちの１つにタッチし、ＲＯＩが超解像で再生されるのを見ることができる。ユーザＧＵＩ指示がＲＯＩ選択および空間解像度管理をどのように制御できるのかに関する多数の他の可能性および変形形態があることを理解されたい。

もう１つの実施形態では、ビデオオーバーレイ技法を使用して、追加のテキスト情報３２０をビデオに追加することができる（たとえば、人の名前をフレーム３１０内のその人の頭のとなりに挿入することができる）。たとえば、オブジェクト検出および認識などのビデオ分析を活用することができ、シーンに関する任意の抽出された知識は、テキスト情報３２０としてビデオストリームにタグ付けすることができる。さらに、抽出された任意の知識を、クリティカルなトリガのデータベースと比較し、使用して、救急電話をかけるまたは管理者に警告するなど、緊急手順を自動的にアクティブ化することができる。

空間解像度調整アプリケーション３３０およびＲＯＩ検出アプリケーション３４０を、ネットワークサーバ内またはディスプレイ７０を組み込んだクライアントデバイス（たとえば、スマートホン）内で実施することができる。たとえば、アプリケーション３３０および３４０が、クライアントデバイス内で実施される実施形態では、各カメラ２０は、そのストリームをＲｉフレーム／秒の固定されたレートで送信することができ、カメラ選択、出力フローレート、および空間解像度管理は、クライアントデバイス内で実行される。もう１つの実施形態では、カメラ選択プロセスが、ネットワーク上に存在することができ、空間解像度管理が、クライアントデバイス上で実行される。

図８は、本発明の実施形態による、ディジタルビデオストリームを制御可能に見る例示的なプロセス８００を示す図である。このプロセスは、ブロック８１０で開始され、ここで、リモート監視カメラによって取り込まれたディジタルビデオストリームを受信する。ブロック８２０では、ディジタルビデオストリームのパケットを、バッファ内でバッファリングする。ブロック８３０では、バッファのパケット出力フローレートを制御する。たとえば、パケット出力フローレートを、第１の時にパケット出力フローレートに０出力レートをセットし、第１の時の後の第２の時にリアルタイムより高速の出力レートをセットすることによって、０出力レートとリアルタイムより高速の出力レートとの間で制御することができる。最後に、ブロック８４０では、ディジタルビデオストリームを、現在のパケット出力フローレートで、ディスプレイデバイス上で出力するために、ディスプレイデバイスに供給する。

当業者が認めるように、本願で説明される発明的概念を、広範囲の応用にまたがって修正し、変更し、適合させることができる。したがって、特許対象の範囲は、議論された特定の例示的教示のいずれかに制限されるのではなく、次の特許請求の範囲によって定義される。

Claims (10)

1. ディジタルビデオストリームを制御可能に見るためのディジタルビデオ管理デバイスであって、
   少なくとも２つのリモート監視カメラによって取り込まれた少なくとも２つのディジタルビデオストリームを受信するためにパケット交換ネットワークに結合された入力インターフェースと、
   少なくとも２つのディジタルビデオストリームのパケットを受信し、格納するための少なくとも２つのバッファと、
   ０出力レートとリアルタイム出力レートより高速の出力レートとの間で各バッファのパケット出力フローレートを制御するためのプロセッサであって、プロセッサが、少なくとも２つのディジタルビデオストリームの第１のものについて、第１の時にパケット出力フローレートに０出力レートをセットし、第１の時の後の第２の時にリアルタイム出力レートより高速の出力レートをセットするとともに、少なくとも２つのディジタルビデオストリームの第２のものについて、第１の時にパケット出力フローレートにリアルタイム出力レートをセットし、第２の時に０出力レートをセットする、プロセッサと、
   第１の時のリアルタイム出力レートで少なくとも２つのディジタルビデオストリームの第２のものを、第２の時のリアルタイム出力レートより高速の出力レートで少なくとも２つのディジタルビデオストリームの第１のものを、ディスプレイデバイス上で表示するために、ディスプレイデバイスに少なくとも２つのディジタルビデオストリームを提供するための出力インターフェースと
   を含む、ディジタルビデオ管理デバイス。
2. プロセッサが、少なくとも２つのディジタルビデオストリームの第１のものについて、第２の時の後の第３の時にパケット出力フローレートにリアルタイム出力レートをセットするようにさらに動作可能である、請求項１に記載のディジタルビデオ管理デバイス。
3. プロセッサが、第２の時と第３の時との間にパケット出力フローレートに可変出力レートをセットするようにさらに動作可能であり、可変出力レートが、第２の時にリアルタイム出力レートより高速の出力レートと等しく、第２の時と第３の時との間にリアルタイム出力レートに滑らかに近づく、請求項２に記載のディジタルビデオ管理デバイス。
4. プロセッサが、第２の時にバッファの現在の深さに基づいて可変出力レートを決定し、または可変出力レートを決定するのにビデオ分析を使用する、請求項３に記載のディジタルビデオ管理デバイス。
5. 入力インターフェースが、少なくとも１つの追加のリモートビデオ監視システムによって取り込まれた少なくとも１つの追加のディジタルビデオストリームを受信するためにさらに結合され、
   少なくとも１つの追加のディジタルビデオストリームのパケットを受信し、格納するための少なくとも１つの追加のバッファであって、プロセッサが、ディジタルビデオストリームの選択されたディジタルビデオストリームおよび少なくとも１つの追加のディジタルビデオストリームをディスプレイデバイス上でレンダリングすることを可能にするために少なくとも１つの追加のバッファのパケット出力フローレートを制御する、少なくとも１つの追加のバッファ
   をさらに含む、請求項１に記載のディジタルビデオ管理デバイス。
6. プロセッサが、選択されていないディジタルビデオストリームのパケット出力フローレートに０出力レートをセットすることによって、ディジタルビデオストリームの選択されていないディジタルビデオストリームおよび少なくとも１つの追加のディジタルビデオストリームをさらに一時停止する、請求項５に記載のディジタルビデオ管理デバイス。
7. プロセッサが、選択されたディジタルビデオストリームおよび選択されたディジタルビデオストリームのそれぞれのパケット出力フローレートを決定するのに、所定のポリシ、ビデオ分析、およびディスプレイデバイスのユーザのユーザ入力のうちの１つまたは複数を使用する、請求項５に記載のディジタルビデオ管理デバイス。
8. プロセッサが、ディスプレイデバイス上で選択されたディジタルビデオストリーム内の１つまたは複数の関心領域を表示するために選択されたディジタルビデオストリームの空間解像度をさらに調整する、請求項７に記載のディジタルビデオ管理デバイス。
9. ディジタルビデオ管理デバイスが、パケット交換ネットワーク内のサーバおよびその上にディスプレイデバイスを有するモバイルデバイスのうちの１つまたは複数を含む、請求項１に記載のディジタルビデオ管理デバイス。
10. ディジタルビデオストリームを制御可能に見るための方法であって、
    少なくとも２つのリモート監視カメラによって取り込まれた少なくとも２つのディジタルビデオストリームを受信することと、
    少なくとも２つのディジタルビデオストリームのパケットを少なくとも２つのバッファ内でバッファリングすることと、
    少なくとも２つのディジタルビデオストリームの第１のものについて、第１の時にパケット出力フローレートに０出力レートをセットすることと、第１の時の後の第２の時にリアルタイム出力レートより高速の出力レートをセットするとともに、少なくとも２つのディジタルビデオストリームの第２のものについて、第１の時にパケット出力フローレートにリアルタイム出力レートをセットし、第２の時に０出力レートをセットすることとによって、０出力レートとリアルタイム出力レートより高速の出力レートとの間で各バッファのパケット出力フローレートを制御することと、
    第１の時のリアルタイム出力レートで少なくとも２つのディジタルビデオストリームの第２のものを、第２の時のリアルタイム出力レートより高速の出力レートで少なくとも２つのディジタルビデオストリームの第１のものを、ディスプレイデバイス上で表示するために、ディスプレイデバイスに少なくとも２つのディジタルビデオストリームを提供することと
    を含む、方法。

Images