JP5657802B2 - 時空間積分を使用してビデオの圧縮測定値を生成するための装置および方法 - Google Patents

Description

本発明は、時空間積分を使用してビデオの圧縮測定値を生成するための装置および方法に関する。

画像カメラまたはビデオカメラは、画像データまたはビデオデータを獲得するとき、かなりの量のデータを捕捉する。獲得されたデータを記憶または送信するために、このデータは、一般に、ビデオが捕捉された後で圧縮される。この圧縮は、一般に、Ｎ個の画素より少ない波長係数Ｋのスパースな線形結合（ｓｐａｒｓｅ ｌｉｎｅａｒ ｃｏｍｂｉｎａｔｉｏｎ）としてＮ画素画像が近似され得るという事実など、先験的な知識を利用する。波長係数は、Ｎの画素値から計算され、次いで、それらの位置と共に記憶または送信されることが可能である。スパース信号の変換符号化に関する標準手順は、完全なＮサンプル信号を獲得して、変換係数の完全セットを計算し、Ｋ個の最大有効係数の位置を突き止め、多くの小さな係数を廃棄し、最大係数の値および位置を符号化することである。Ｎが大きく、Ｋが小さいとき、このプロセスは非効率的である。しかし、大量の生画像データまたは生ビデオデータ（大きなＮ）を獲得することは、特に、ＣＭＯＳ感知技術またはＣＣＤ感知技術が制限される波長において費用がかかる場合がある。また、生データを圧縮することは、計算的に大変な労力を必要とする場合がある。

１つの従来の手法は、初めにＮ個の画素を収集せずに、圧縮撮像を使用して、ランダム投影を直接獲得することである。例えば、この従来の手法は、測定基底を（例えば、画素値が取得される前に）光学レンズによって捕捉されたデータに適用して、符号化データを表す一連の測定値を取得する。したがって、この従来の方法は、初めにＮの画素値を獲得せずに、Ｎ画素画像の削減された測定値のセットを直接獲得する。しかし、この従来の手法は、ビデオデータを捕捉するとき欠点を有する。例えば、この従来の手法は、時間積分なしに、画像のスナップショットを使用して空間投影／空間積分だけを実行する。ビデオデータはそれぞれの測定値に関して異なる二次元（２Ｄ）スナップショットにローカライズされる。したがって、この方法は、スナップショット間の情報を失うか、または高速動作を捕捉するために大量のデータを獲得せざるを得ない。

本発明は、時空間積分を使用してビデオの圧縮測定値を生成するための装置および方法に関する。

この装置は、光学データに基づいて、一定期間にわたって時間的ビデオ構造の輝度値を検出するように構成された検出器を含む。時間的ビデオ構造は、一定期間にわたって対応する輝度値を備えた水平次元と垂直次元とを有する画素を有する。この装置は、複数の測定基底を受信するように構成された時空間積分器ユニットも含む。それぞれの測定基底は、一定期間にわたって対応する割り当てられた値を備えた時間的ビデオ構造と同じ水平次元と垂直次元とを有する。また、時空間積分器ユニットは、それぞれの測定基底を時間的ビデオ構造に適用して、測定値のセットを取得するために、一定期間にわたって、それぞれの測定基底に関して結果として生じた値を合計するように構成される。それぞれの測定基底に関して合計された値は測定値のセットである。

ある実施形態によれば、この時空間積分器ユニットは、複数の乗算器を含むことが可能であり、それぞれの乗算器は、時間的ビデオ構造の検出された輝度値を対応する測定基底で乗算するように構成される。この時空間積分器ユニットは、複数の積分器を含むことが可能であり、それぞれの積分器は、対応する乗算器に接続され、一定期間にわたって対応する積分器の出力を合計するように構成される。

別の実施形態によれば、この時空間積分器ユニットは、複数の測定基底を受信して、測定基底の割り当てられた値に基づいて検出器によって検出され輝度値にアクセスするように構成された画素アクセスと、複数の乗算器であって、それぞれの乗算器が時間的ビデオ構造のアクセスされた輝度値を対応する測定基底で乗算するように構成された複数の乗算器と、複数の積分器であって、それぞれの積分器が対応する乗算器に接続され、一定期間にわたって対応する積分器の出力を合計するように構成された複数の積分器とを含むことが可能である。

ある実施形態によれば、それぞれの測定基底は、第１の割り当てられた値を有する基底成分と、一定期間内に等しい長さの複数の重複しないタイムスロットを有する時分割成分とを含み、タイムスロットは第２の割り当てられた値を有する。

一実施形態によれば、この時空間積分器ユニットは、第１の割り当てられた値に基づいて輝度値を検出するように構成された光子検出器と、第２の割り当てられた値に基づいて、検出された輝度値のうちの少なくとも１つを選択するように構成されたマルチプレクサと、一定期間にわたって、それぞれの測定基底に関して選択された輝度値を合計するように構成された複数の積分器とを含む。

別の実施形態によれば、この時空間積分器ユニットは、第１の割り当てられた値と第２の割り当てられた値とに基づいて検出器によって検出された輝度値にアクセスするように構成された画素アクセスと、一定期間にわたって、それぞれの測定基底に関してアクセスされた輝度値を合計するように構成された複数の積分器とを含む。

第１の割り当てられた値および第２の割り当てられた値は、０または１の２進値であってよい。検出器は、例えば、電荷結合素子（ＣＣＤ）と、相補型金属酸化膜半導体（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ−ｏｘｉｄｅ−ｓｅｍｉｃｏｎｄｕｃｔｏｒ）（ＣＭＯＳ）、またはマイクロミラーを含むことが可能である。測定基底のセットは、ランダムに順序付けられたウォルシュアダマール行列（Ｗａｌｓｈ−Ｈａｄａｍａｒｄ ｍａｔｒｉｘ）を使用して構成されることが可能である。割り当てられた値は、０または１の２進値であってよい。

この方法は、光学データに基づいて、一定期間にわたって、時間的ビデオ構造の輝度値を検出するステップを含むことが可能である。この時間的ビデオ構造は、一定期間にわたって対応する輝度値を備えた水平次元と垂直次元とを有する画素を有する。この方法は、複数の測定基底を受信するステップを含み、それぞれの測定基底は、一定期間にわたって対応する割り当てられた値を備えた時間的ビデオ構造と同じ水平次元と垂直次元とを有する。この方法は、それぞれの測定基底を時間的ビデオ構造に適用するステップと、測定値のセットを取得するために、それぞれの測定基底に関して、一定期間にわたって、結果として生じた値を合計するステップとをさらに含む。それぞれの測定基底に関して合計された値は測定値のセットである。

この方法は、時間的ビデオ構造の検出された輝度値を対応する測定基底で乗算するステップと、それぞれの測定基底に関して、一定期間にわたって、乗算するステップの結果を合計するステップとをさらに含むことが可能である。

他の実施形態では、この方法は、測定基底の割り当てられた値に基づいて検出器によって検出された輝度値にアクセスするステップと、時間的ビデオ構造のアクセスされた輝度値を対応する測定基底で乗算するステップと、それぞれの測定基底に関して、一定期間にわたって乗算するステップの結果を合計するステップとを含むことが可能である。

一実施形態では、それぞれの測定基底は、第１の割り当てられた値を有する基底成分と、一定期間内に等しい長さの複数の重複しないタイムスロットを有する時分割成分とを含み、タイムスロットは第２の割り当てられた値を有する。

この方法は、第１の割り当てられた値に基づいて輝度値を検出するステップと、第２の割り当てられた値に基づいて、検出された輝度値のうちの少なくとも１つを選択するステップと、一定期間にわたって、それぞれの測定基底に関して選択された輝度値を合計するステップとを含むことが可能である。

別の実施形態では、この方法は、第１の割り当てられた値と第２の割り当てられた値とに基づいて検出器によって検出された輝度値にアクセスするステップと、一定期間にわたって、それぞれの測定基底に関してアクセスされた輝度値を合計するステップとを含むことが可能である。第１の割り当てられた値および第２の割り当てられた値は、０または１の２進数であってよい。測定基底のセットは、ランダムに順序付けられたウォルシュアダマール行列を使用して構成され得る。

例示的な実施形態は、本明細書で下に提示される詳細な説明と、例としてのみ提示され、したがって、本発明の限定ではない、類似の要素が類似の参照番号によって表される、添付の図面とからより十分に明らかになるであろう。

本発明のある実施形態による時空間積分器を含む装置を例示する図である。 本発明のある実施形態による時空間積分器を例示する図である。 本発明の別の実施形態による時空間積分器を例示する図である。 本発明のある実施形態による時分割測定基底を示すタイミング図である。 本発明の別の実施形態による時空間積分器を例示する図である。 本発明の別の実施形態による時空間積分器を例示する図である。

次に、添付の図面を参照して、本発明の様々な実施形態がより十分に説明される。図面上の類似の要素は、類似の参照番号によってラベル付けされている。

本明細書で使用される場合、文脈上別段に明記されていない限り、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は複数形も同様に含むことが意図される。「備える」、「備えている」、「含む」、および／または「含んでいる」という用語は、本明細書で使用されるとき、提示された特徴、整数、ステップ、動作、要素、および／または成分の存在を指定するが、１つもしくは複数の他の特徴、整数、ステップ、動作、要素、成分、および／またはそれらのグループの存在あるいは追加を排除しない点をさらに理解されよう。

次に、添付の図面を参照して本発明が説明される。当業者によく知られている詳細で本発明を不明瞭にしないように、様々な構造、システム、およびデバイスは説明のためだけに図面で概略的に示される。それにもかかわらず、添付の図面は、本発明の説明のための実施例を記述および説明するために含まれる。本明細書で使用される用語および成句は、当業者によるそれらの用語および成句の理解と一致する意味を有すると理解され解釈されるべきである。用語または成句が特定の意味、すなわち、当業者によって理解される以外の意味を有することが意図される限り、そのような特別な定義は、その用語または成句に関してその特別な定義を直接的かつ明白に提供する明細書において明確に説明される。

本発明の実施形態は、光学データを受信して、測定値のセットを生成する時空間積分器を含む装置を提供する。

図１は、本発明のある実施形態による時空間積分器１１０を含む装置１００を例示する。装置１００は、例えば、カメラ、カメラシステム、モバイルビデオ電話、パーソナルコンピュータシステム、スマートフォン、または任意のタイプのコンピューティングデバイスなど、ビデオデータを獲得することができる任意のタイプのデバイスであってよい。装置１００は、光学レンズ１０５と、時空間積分器１１０と、測定基底記憶装置１１５とを含む。装置１００は、記憶ユニット１２０および／または送信機１２５を含むことも可能である。加えて、装置１００は、例えば、シャッターなど、当技術分野でよく知られているその他の構成要素を含むことが可能である。

光学レンズ１０５は、ビデオデータを捕捉するために光を送信および屈折させる軸対称を有する任意のタイプのレンズであってよい。測定基底記憶装置１１５は、光学レンズ１０５からの光学データに適用されることになる測定行列を記憶する。測定行列は、割り当てられた値のパターンを含む。また、測定行列は、測定基底のセットによって表されることが可能である。測定基底および測定行列という用語は、交換可能に使用され得る。測定行列の割り当てられた値のパターンは、ランダムに順序付けられたウォルシュアダマール行列を使用して構成されることが可能である。しかし、本発明の実施形態は、任意のタイプの測定行列を包含する。時空間積分器１１０は、光学レンズ１０５から光学データを受信して、測定基底記憶装置１１５から測定基底を受信して、圧縮測定値のセットを生成する。例えば、積分は空間と時間の両方で実行される。したがって、時空間積分を用いて、より多くのビデオ情報が捕捉される。

時空間積分器１１０は、それぞれの測定基底をビデオデータに適用して、ビデオデータの測定を行う。ビデオデータは、例えば、電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）、またはマイクロミラーなど、任意のタイプの光源検出器によって検出されることが可能である。本発明の実施形態は、黒／白ビデオデータとカラービデオデータとを含む。

検出されたビデオデータは、一定期間（例えば、０．１秒）の間のビデオのフレームを含む。ビデオデータは、三次元（３Ｄ）時間的ビデオ構造Ｖ（ｉ，ｊ，ｔ）によって表されることが可能であり、式中、ｉはフレームの水平次元、１≦ｉ≦Ｉであり、ｊはフレームの垂直次元、１≦ｊ≦Ｊであり、ｔは時間次元、１≦ｔ≦Ｔである。特定の例において、時間的ビデオ構造は、６４０×４８０の６個のフレームを含むことが可能であり、Ｉ＝６４０、Ｊ＝４８０、Ｔ＝６である。しかし、本発明の実施形態は、Ｉ、Ｊ、およびＴに関して任意のタイプの値を含む。時間的ビデオ構造は、照度Ｖと関連付けられることが可能である。したがって、検出されたビデオ構造は、一定期間Ｔにわたって、対応する輝度値を備えた水平次元ｉと垂直次元ｊとを有する画素を含むことが可能である。

ある実施形態によれば、測定基底のセットは、Ｍ個のビデオ構造を含む。例えば、それぞれの測定基底は、上で記述されたビデオ構造と同じビデオ構造（ｉ，ｊ，ｔ）を有する。測定基底のセットは、Ｍ個のビデオ構造（ｉ，ｊ，ｔ）を含み、Ｍは測定基底の数である。パラメータＭは、測定値の数にも対応する。例えば、測定基底のセットは以下、
Ｂ_ｍ（ｉ，ｊ，ｔ）、ｍ＝１、２、．．．Ｍ、１≦ｉ≦Ｉ、１≦ｊ≦Ｊ、１≦ｔ≦Ｔ
によって表されることが可能である。

測定基底のセットＢ_ｍは、事前に割り当てられた値を用いてランダムに生成され得る。すなわち、それぞれの測定基底（１からＭ）は、一定期間Ｔにわたって対応する割り当てられた値を備えた水平次元ｉと垂直次元ｊとを有する。

時空間積分器１１０は、測定基底のセットを受信する。また、時空間積分器は、ｉ、ｊ、およびｔのすべての値に対して画素を積分することによって、時間的ビデオ構造の検出された輝度値にそれぞれの測定基底（１からＭ）を適用して、時間的ビデオ構造を表す符号化データである測定値のセット（例えば、Ｙ_ｍ）を生成する。例えば、上記の測定基底において時間的ビデオ構造Ｖ（ｉ，ｊ，ｔ）の測定値（Ｙ_ｍ）は、

である。積分は、ｉ、ｊ、ｔのすべての値に対して実行される。したがって、時空間積分器１１０は、所与の測定基底Ｂ_ｍに関して、時間的ビデオ構造の測定値Ｙ_ｍを計算する。カラービデオデータの場合、時空間積分器１１０は、ＲＧＢカラー方式でそれぞれの色（赤、緑、青）に関する測定値Ｙ_ｍを計算する。

記憶ユニット１２０は、圧縮測定値のセットを記憶することが可能である。また、測定基底記憶装置１１５および記憶装置１２０は、１つの記憶ユニットであってよく、または図１に示されるように、別個の記憶ユニットであってもよい。記憶ユニット１２０および測定基底記憶装置１１５は、例えば、光ディスク、読出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ハードドライブ、フラッシュメモリ、または任意のその他のコンピュータメモリユニットなど、情報を記憶することが可能な任意のタイプのデバイスであってよい。送信機１２５は、記憶ユニット１２０から、かつ／または時空間積分器１１０から圧縮測定値を受信することができる。

送信機１２５は、ビデオ伝送アプリケーションをサポートするネットワークを介して圧縮測定値を送信することができる。ネットワークは、任意の知られている、無線または有線の伝送ネットワークであってよい。例えば、ネットワークは、無線ネットワーク制御装置（ＲＮＣ）、基地局（ＢＳ）、またはあるデバイスから別のデバイスにネットワークを介してビデオデータを送信するのに必要な任意のその他の知られている構成要素を含む無線ネットワークであってよい。ネットワークのビデオ伝送アプリケーション部としては、例えば、デジタルビデオブロードキャスティング−ハンドヘルド（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｂｒｏａｄｃａｓｔｉｎｇ−Ｈａｎｄｈｅｌｄ）（ＤＶＢ−Ｈ）、ハンドヘルド向けデジタルビデオブロードキャスティング−衛星サービス（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｂｒｏａｄｃａｓｔｉｎｇ−Ｓａｔｅｌｌｉｔｅ ｓｅｒｖｉｃｅｓ ｔｏ Ｈａｎｄｈｅｌｄｓ）（ＤＶＢ−ＳＨ）、ロングタームエボリューション（ＬＴＥ）、または進化型マルチメディアブロードキャストマルチキャストサービス（ｅＭＢＭＳ）が挙げられる。あるデバイスは、専用の通信チャネルまたは共有通信チャネルを経由して、ビデオ情報を別のデバイスに送信することができる。

図２は、本発明のある実施形態による時空間積分器１１０を例示する。時空間積分器１１０は、検出器と、時空間積分器ユニットとを含む。検出器は、電荷結合素子（ＣＣＤ）２０１を含む。この時空間積分器ユニットは、複数の乗算器２０２と、複数の積分器２０３と、複数のアナログデジタル変換器（ＡＤＣ）２０４とを含む。ＣＣＤ２０１は、乗算器２０２のそれぞれに接続される。それぞれの乗算器２０２は、対応するＡＤＣ２０４に接続された、対応する積分器２０３に接続される。

ＣＣＤ２０１は、光学レンズ１０５から光学データを受信して、一定期間Ｔにわたって時間的ビデオ構造Ｖ（ｉ，ｊ，ｔ）の輝度値を検出する。時間的ビデオ構造Ｖ（ｉ，ｊ，ｔ）は、水平次元ｉと垂直次元ｊとを有し、かつ期間Ｔにわたって、対応する輝度値を備えた画素を有する。時空間積分器１１０は、ＣＣＤ２０１からの画素値の二次元（２Ｄ）アレイが順序正しく（例えば、一度に１個の値が）乗算器２０２のそれぞれに送信されるように構成されるシリアル化によってＣＣＤ２０１から情報を取得する。乗算器２０２のそれぞれは、シリアル化された時間的ビデオ構造Ｖ（ｉ，ｊ，ｔ）を一度に１個の画素ずつ受信し、対応する測定基底Ｂ（ｉ，ｊ，ｔ）を受信する。

乗算器２０２の数は測定基底Ｍの数に対応する。例えば、それぞれの乗算器２０２は、シリアル化された時間的ビデオ構造Ｖ（ｉ，ｊ，ｔ）と、異なる測定基底（Ｂ_１からＢ_Ｍ）とを受信する。Ｂ_ｍ（ｉ，ｊ，ｔ）のそれぞれの割り当てられた値は、０もしくは１の２進数であってよく、または任意のその他の数であってもよい。Ｂ_ｍ（ｉ，ｊ，ｔ）のそれぞれの割り当てられた値が２進数であるとき、それぞれの分岐内の乗算器２０２は、オンスイッチ／オフスイッチとして動作する。時間的ビデオ構造Ｖ（ｉ，ｊ，ｔ）は、測定値のセットＢ_１（ｉ，ｊ，ｔ）からＢ_Ｍ（ｉ，ｊ，ｔ）のそれぞれによって乗算されて、各々それぞれの乗算器２０２から結果として生じる値は、測定値のセットを生成するために、一定期間Ｔにわたって合計される。それぞれの測定基底に関して合計された結果は、測定値のセットである。すなわち、それぞれの対応する積分器２０３は、期間０からＴにわたって対応する乗算器２０２からの値を積分する。それぞれのＡＤＣ２０４は、合計された値を、測定値のセットＹ_１からＹ_Ｍであるデジタル信号に変換する。測定値のセットＹ_１からＹ_Ｍは、時間的ビデオ構造を表す符号化データである。

図３は、本発明の別の実施形態による時空間積分器１１０を例示する。この実施形態では、検出器は、相補型金属酸化膜半導体（ＣＭＯＳ）３０１を含む。時空間積分器ユニットは、画素アクセス３０２と、複数の乗算器２０２と、複数の積分器２０４と、複数のＡＤＣ２０４とを含む。装置１００は、ＣＭＯＳ３０１上に時間的ビデオ構造Ｖ（ｉ，ｊ，ｔ）を形成する。例えば、ＣＭＯＳ３０１は、光学レンズ１０５から光学データを受信して、一定期間Ｔにわたって、時間的ビデオ構造Ｖ（ｉ，ｊ，ｔ）の輝度値を検出する。上で述べられたように、時間的ビデオ構造Ｖ（ｉ，ｊ，ｔ）は、水平次元ｉと垂直次元ｊとを有し、かつ期間Ｔにわたって対応する輝度値を備えた画素を有する。

画素アクセス３０２は、それぞれの測定基底（Ｂ_１−Ｂ_Ｍ）内の割り当てられた値のうちの１つがゼロでない限り、測定基底のセットＢ_ｍ（ｉ，ｊ，ｔ）に基づいて、ＣＭＯＳ３０１内の画素にアクセスする。例えば、Ｂ_ｍ（ｉ，ｊ，ｔ）のそれぞれの割り当てられた値は、０もしくは１の２進値であってよく、または任意のその他の数であってもよい。Ｂ_ｍ（ｉ，ｊ，ｔ）のそれぞれの割り当てられた値が２進値であるとき、Ｂ_ｍ（ｉ，ｊ，ｔ）の割り当てられた値がゼロでない場合、画素アクセス３０２は位置（ｉ，ｊ）における画素値にアクセスする。Ｂ_ｍ（ｉ，ｊ，ｔ）の割り当てられた値がゼロである場合、画素アクセス３０２は位置（ｉ，ｊ）における画素にアクセスしない。ＣＭＯＳ３０１からのそれぞれの検出された画素値は、受信された測定基底のセットＢ_ｍ（ｉ，ｊ，ｔ）に従って、画素アクセス３０２によってＭ個の乗算器２０２のそれぞれに転送される。それぞれの乗算器２０２において、検出された画素値は測定基底Ｂ_ｍ（ｉ，ｊ，ｔ）の対応する値によって乗算される。しかし、測定基底のセットＢ_ｍ（ｉ，ｊ，ｔ）の割り当てられた値が２進数であるとき、乗算器２０２は、パススルーデバイス（ｐａｓｓ−ｔｈｒｏｕｇｈ ｄｅｖｉｃｅｓ）として動作する。それぞれの乗算器２０２を通過する画素値は、測定値のセットを生成するために、一定期間Ｔにわたって合計される。それぞれの測定基底に関して合計された結果は、測定値のセットである。ＡＤＣ２０４は上で述べられたのと同じように動作するため、説明を簡単にするために、詳細な議論は省略される。

図４は、本発明のある実施形態による時分割測定基底を示すタイミング図を例示する。

この実施形態では、それぞれの測定基底は、第１の割り当てられた値を有する基底成分と、一定期間内に等しい長さの複数の重複しないタイムスロットを有する時分割成分とを含む。タイムスロットは、第２の割り当てられた値を有する。例えば、図４に示されるように、設定期間Ｔは、等しい長さの複数の重複しないタイムスロットに分割される。次いで、タイムスロットの少なくともいくつかには、それぞれの時分割成分Ｓ_１（ｔ）−Ｓ_Ｍ（ｔ）内の１の２進値がランダムに割り当てられる。基底成分Ｐ（ｉ，ｊ，ｔ）の様々な割り当てられた値は、それぞれの測定基底（１からＭ）に関して同じである。時分割成分Ｓ_ｍ（ｔ）に関してタイムスロット内で割り当てられた値は、それぞれの測定基底（１からＭ）に関して変更し得る。例えば、測定基底のセットＢ_ｍ（ｉ，ｊ，ｔ）は、以下の方程式、
Ｂ_ｍ（ｉ，ｊ，ｔ）＝Ｐ（ｉ，ｊ，ｔ）Ｓ_ｍ（ｔ）、ｍ＝１、２．．．Ｍ
によって表される
Ｍは測定基底の数である。Ｐ（ｉ，ｊ，ｔ）は、３つの変数のランダム２進関数であり、Ｓ_ｍ（ｔ）は、下でさらに記述されるように、それぞれの測定基底に関する１つの変数の２進関数である。

図４に示されるように、時間間隔［０，Ｔ］は、等しい長さのｋＭ個の重複しないタイムスロットに分割されて、ｍ＝１、２．．．Ｍのそれぞれに対するｋ個のタイムスロットがランダムに割り当てられる。パラメータｋは、１以上の整数であってよい。Ｄ_ｍは、ｍに関連するｋ個のタイムスロットの集合体である。一実施形態では、Ｓ_ｍ（ｔ）は、ｋ個のタイムスロットＤ_ｍ内では１であり、Ｄ_ｍ外ではゼロである。

図５は、本発明の別の実施形態による時空間積分器１１０を例示する。この実施形態では、検出器は、マイクロミラー５０１と光子検出器５０２とを含む。時空間積分器ユニットは、マルチプレクサ５０３と、複数の積分器２０３と、複数のＡＤＣ２０４とを含む。この実施形態では、測定基底Ｂ_ｍ（ｉ，ｊ，ｔ）の第１の割り当てられた値を有する基底成分Ｐ（ｉ，ｊ，ｔ）がマイクロミラー５０１に提供される。

基底成分Ｐ（ｉ，ｊ，ｔ）の割り当てられた値のそれぞれは、０または１の２進数である。基底成分Ｐ（ｉ，ｊ，ｔ）に関する１の値は、時間ｔに位置（ｉ，ｊ）におけるマイクロミラー５０１が、光学レンズ１０５からの光学データが光子検出器５０２に向けられるような角度に向けられることを示す。基底成分Ｐ（ｉ，ｊ，ｔ）に関する０の値は、時間ｔに位置（ｉ，ｊ）におけるマイクロミラー５０１が、光学レンズ１０５からの光が光子検出器５０２に向けられないような角度に向けられることを示す。したがって、光子検出器５０２は、測定基底Ｂ_ｍ（ｉ，ｊ，ｔ）の基底成分Ｐ（ｉ，ｊ，ｔ）の第１の割り当てられた値によって示されるように、時間的ビデオ構造Ｖ（ｉ，ｊ，ｔ）の輝度値を検出する。すなわち、光子検出器５０２は、１に等しい、対応する基底成分Ｐ（ｉ，ｊ，ｔ）を有するマイクロミラーから反射された、組み合わされた光源の光度を検出する。０に等しい、対応する基底成分Ｐ（ｉ，ｊ，ｔ）を有するマイクロミラーは、光子検出器５０２から離れた方向に光を導く。光子検出器５０２からの結果は、対応する測定基底Ｐ（ｉ，ｊ，ｔ）を有するオブジェクトからの光の空間積分を表す。

マルチプレクサ５０３は、測定基底Ｂ_ｍ（ｉ，ｊ，ｔ）の時分割成分Ｓ_ｍ（ｔ）の第２の割り当てられた値に基づいて、光子検出器５０２によって受信される輝度値を選択する。時分割成分Ｓ_ｍ（ｔ）のそれぞれの第２の割り当てられた値は、０または１の２進値を含む。タイムインスタンスｔで時分割成分Ｓ_ｍ（ｔ）＝１のとき、マルチプレクサ５０３は、値を光子検出器５０２から積分器２０３−ｍに転送する。例えば、タイムインスタンスｔで、時分割成分Ｓ_１（ｔ）＝１の場合、光子検出器５０２からの値は積分器２０３−１に転送される。他方で、時分割成分Ｓ_２（ｔ）＝１である場合、光子検出器５０２からの値は積分器２０３−２に転送される。時分割成分Ｓ_ｍ（ｔ）は、それぞれの所与のタイムインスタンスで、交差しないタイムスロットを使用することによって構成されるため、光子検出器からの値は積分器２０３のうちの１つだけに転送される。

積分器２０３は、測定値のセットを生成するために、一定期間Ｔにわたって、それぞれの測定基底に関してアクセスされた輝度値を合計する。ＡＤＣ２０４は上で述べられたのと同じように動作するため、説明を簡単にするために、詳細な議論は省略される。

図６は、本発明の別の実施形態による時空間積分器１１０を例示する。図６は、画素アクセス３０２が図４の時分割測定基底に基づいて、ＣＭＯＳ３０１の画素値にアクセスすることを除いて、本発明の図３に類似する。基底成分Ｐ（ｉ，ｊ，ｔ）と時分割成分Ｓ_ｍ（ｔ）は両方とも０または１の２進値を有するため、乗算器２０２は省略される。タイムインスタンスｔで測定基底Ｐ（ｉ，ｊ，ｔ）Ｓ_ｍ（ｔ）＝１のとき、画素アクセス３０２は、ＣＭＯＳ３０１の位置（ｉ，ｊ）からの画素値を積分器２０３−ｍに転送する。例えば、タイムインスタンスｔで、Ｐ（１，２，ｔ）Ｓ_１（ｔ）＝１の場合、ＣＭＯＳ３０１の位置（１，２）からの画素値は積分器２０３−１に転送される。他方で、Ｐ（３，２，ｔ）Ｓ_２（ｔ）＝１である場合、ＣＭＯＳ３０１の位置（３，２）からの画素値は積分器２０３−２に転送される。Ｓ_ｍ（ｔ）は、交差しないタイムスロットを使用することによって構成されるため、それぞれの所与のタイムインスタンスで、任意のＣＭＯＳ位置からの画素値は積分器２０３のうちの１つだけに転送される。積分器２０３およびＡＤＣ２０４は上で述べられたのと同じように動作するため、説明を簡単にするために、詳細な議論は省略される。

本発明の例示的な実施形態の改変形態は、本発明の例示的な実施形態の趣旨および範囲からの逸脱とみなされるべきではなく、当業者に明らかであるように、すべてのそのような改変形態は、本発明の範囲内に包括されることが意図される。

Claims (10)

1. 時空間積分を使用してビデオデータの圧縮測定値を生成するための装置（１００）であって、
   光学データに基づいて、一定期間にわたって時間的ビデオ構造の輝度値を検出するように構成された検出器（１１０）であって、時間的ビデオ構造が、一定期間にわたって対応する輝度値を備えた水平次元と垂直次元とを有する画素を有する、検出器（１１０）と、
   複数の測定基底を受信するように構成された時空間積分器ユニット（１１０）であって、それぞれの測定基底が、一定期間にわたって対応する割り当てられた値を備えた時間的ビデオ構造と同じ水平次元と垂直次元とを有する、時空間積分器ユニット（１１０）とを含み、
   時空間積分器ユニット（１１０）は、それぞれの測定基底を時間的ビデオ構造に適用して、測定値のセットを取得するために、一定期間にわたって、それぞれの測定基底に関して結果として生じる値を合計するように構成され、それぞれの測定基底に関して合計された値は測定値のセットである、装置（１００）。
2. 時空間積分器ユニット（１１０）が、
   それぞれが、時間的ビデオ構造の検出された輝度値を対応する測定基底で乗算するように構成されている複数の乗算器（２０２）と、
   それぞれが、対応する乗算器に接続され、一定期間にわたって対応する乗算器の出力を合計するように構成された複数の積分器（２０３）とを含む、請求項１に記載の装置。
3. 時空間積分器ユニット（１１０）が、
   複数の測定基底を受信して、測定基底の割り当てられた値に基づいて検出器によって検出された輝度値にアクセスするように構成された画素アクセス（３０２）と、
   それぞれが、時間的ビデオ構造のアクセスされた輝度値を対応する測定基底で乗算するように構成されている複数の乗算器（２０２）と、
   それぞれが、対応する乗算器に接続され、一定期間にわたって対応する乗算器の出力を合計するように構成された複数の積分器（２０３）とを含む、請求項１に記載の装置。
4. それぞれの測定基底が、第１の割り当てられた値を有する基底成分と、一定期間内に等しい長さの複数の重複しないタイムスロットを有する時分割成分とを含み、タイムスロットが第２の割り当てられた値を有する、請求項１に記載の装置。
5. 時空間積分器ユニットが、
   第１の割り当てられた値に基づいて輝度値を検出するように構成された光子検出器（５０２）と、
   第２の割り当てられた値に基づいて、検出された輝度値のうちの少なくとも１つを選択するように構成されたマルチプレクサ（５０３）と、
   一定期間にわたって、それぞれの測定基底に関して選択された輝度値を合計するように構成された複数の積分器（２０３）とを含む、請求項４に記載の装置。
6. 時空間積分器ユニットが、
   第１の割り当てられた値と第２の割り当てられた値とに基づいて検出器によって検出された輝度値にアクセスするように構成された画素アクセス（３０２）と、
   一定期間にわたって、それぞれの測定基底に関してアクセスされた輝度値を合計するように構成された複数の積分器（２０３）とを含む、請求項４に記載の装置。
7. 第１の割り当てられた値および第２の割り当てられた値が０または１の２進値である、請求項４に記載の装置。
8. 検出器が電荷結合素子（ＣＣＤ）（２０１）を含む、請求項１に記載の装置。
9. 検出器が相補型金属酸化膜半導体（ＣＭＯＳ）（３０１）を含む、請求項１に記載の装置。
10. 検出器がマイクロミラー（５０１）を含む、請求項１に記載の装置。

Images