JP5908581B2

JP5908581B2 - 画像キャプチャパラメータに基づくビデオ符号化の制御

Info

Publication number: JP5908581B2
Application number: JP2014512120A
Authority: JP
Inventors: アン、チョルホン; リアン、リアン; ハング、スゼポ・ロバート
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2011-05-24
Filing date: 2012-05-24
Publication date: 2016-04-26
Anticipated expiration: 2032-05-24
Also published as: US20110292997A1; WO2012162549A3; JP2014518049A; WO2012162549A2; EP2716042A2; KR20140022925A; CN103650504B; CN103650504A

Description

本開示は、ビデオコーディングに関する。

[0002]デジタルマルチメディア機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレス通信デバイス、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、デジタルカメラ、デジタル記録デバイス、ビデオゲームデバイス、ビデオゲームコンソール、セルラー電話または衛星無線電話、デジタルメディアプレーヤなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルマルチメディアデバイスは、デジタルビデオデータをより効率的に送信および受信または記憶および検索するために、ＭＰＥＧ−２、ＩＴＵ−Ｈ．２６３、ＭＰＥＧ−４、もしくはＩＴＵ−Ｈ．２６４／ＭＰＥＧ−４Ｐａｒｔ１０、ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ（ＡＶＣ）、またはＪｏｉｎｔＣｏｌｌａｂｏｒａｔｉｖｅＴｅａｍｏｎＶｉｄｅｏＣｏｄｉｎｇ（ＪＣＴ−ＶＣ）によって現在開発中のＨｉｇｈＥｆｆｉｃｉｅｎｃｙＶｉｄｅｏＣｏｄｉｎｇ（ＨＥＶＣ）規格などのビデオコーディング技法を実装し得る。

[0003]ビデオ符号化技法は、ビデオシーケンスに固有の冗長性を低減または除去するために、空間的および時間的予測を介してビデオ圧縮を実行し得る。ビデオキャプチャデバイス、たとえば、ビデオカメラは、ビデオをキャプチャし、それを符号化のためにビデオ符号器に送ることができる。ビデオ符号器は、キャプチャされたビデオを処理し、処理されたビデオを符号化し、符号化されたビデオデータを記憶または送信のために送信する。いずれの場合も、符号化されたビデオデータは、表示のためにビデオを再生するために符号化される。ビデオを記憶または送信するために利用可能な帯域幅は、しばしば制限され、ビデオ符号化データレートなどの要因によって影響を受ける。

[0004]いくつかの要因は、ビデオ符号化データレートに寄与する。したがって、ビデオ符号器を設計するとき、関心の１つは、ビデオ符号化データレートを向上させることである。一般に、向上は、ビデオ符号器において実現され、しばしば、余分の計算の複雑さをビデオ符号器に加え、余分の計算の複雑さが、向上したビデオ符号化データレートの利益の一部を相殺し得る。

[0005]本開示は、少なくとも部分的に、ビデオキャプチャデバイスの１つまたは複数のパラメータに基づいて、ビデオコーディングを制御するための技法について説明する。これらの技法は、カメラなどのビデオキャプチャデバイス、および／またはビデオ符号器などのビデオコーディングデバイスにおいて行われ得る。ビデオキャプチャデバイスは、１つまたは複数のパラメータを検知、測定または生成することができ、パラメータは、ビデオコーディングパラメータを制御するために使用され得る決定を行うために利用され得る。ビデオキャプチャデバイスによって取得されたパラメータは、キャプチャされたフレームに関連付けられたぼけ度を推定するために利用され得る。ビデオコーディングにおいて使用されるパラメータは、推定されたぼけ度に基づいて変更され得る。

[0006]一例では、本開示は、ビデオキャプチャモジュールにおいて、ビデオキャプチャモジュールの再焦点合せプロセス中にキャプチャされたビデオデータのフレームのぼけ度レベルを推定することと、ビデオ符号器において、フレームの推定されたぼけ度レベルに少なくとも部分的に基づいて、フレームを符号化することとを備える方法について説明する。

[0007]別の例では、本開示は、ビデオキャプチャモジュールにおいて、ビデオキャプチャモジュールの再焦点合せプロセス中にキャプチャされたビデオデータのフレームのぼけ度レベルを推定するための手段と、ビデオ符号器において、フレームの推定されたぼけ度レベルに少なくとも部分的に基づいて、フレームを符号化するための手段とを備えるシステムについて説明する。

[0008]別の例では、本開示は、ビデオキャプチャモジュールの再焦点合せプロセス中にキャプチャされたビデオデータのフレームのぼけ度レベルを推定するためのビデオキャプチャモジュールと、フレームの推定されたぼけ度レベルに少なくとも部分的に基づいて、フレームを符号化するためのビデオ符号器とを備えるシステムについて説明する。

[0009]本開示で説明する技法は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、ソフトウェアは、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはデジタル信号プロセッサ（ＤＳＰ）など、１つまたは複数のプロセッサで実行され得る。本技法を実行するソフトウェアは、最初に非一時的コンピュータ可読記憶媒体に記憶され、プロセッサにロードされ、実行され得る。

[0010]したがって、本開示はまた、ビデオキャプチャモジュールにおいて、ビデオキャプチャモジュールの再焦点合せプロセス中にキャプチャされたビデオデータのフレームのぼけ度レベルを推定することと、ビデオ符号器において、フレームの推定されたぼけ度レベルに少なくとも部分的に基づいて、フレームを符号化することとを、プログラマブルプロセッサに行わせるための命令を備えるコンピュータ可読媒体をも企図する。

[0011]別の例では、本開示は、ビデオデータのフレームのぼけ度レベルを、フレームにおいて検出された動きのタイプに基づいて推定することと、ビデオ符号器において、フレームの推定されたぼけ度レベルに少なくとも部分的に基づいて、フレームを符号化することとを備える方法について説明する。

[0012]別の例では、本開示は、ビデオデータのフレームのぼけ度レベルを、フレームにおいて検出された動きのタイプに基づいて推定するためのぼけ度ユニットと、フレームの推定されたぼけ度レベルに少なくとも部分的に基づいて、フレームを符号化するためのビデオ符号器とを備える装置について説明する。

[0013]別の例では、本開示は、ビデオデータのフレームのぼけ度レベルを、フレームにおいて検出された動きのタイプに基づいて推定するための手段と、フレームの推定されたぼけ度レベルに少なくとも部分的に基づいて、フレームを符号化するための手段とを備えるシステムについて説明する。

[0014]別の例では、本開示はまた、ビデオデータのフレームのぼけ度レベルを、フレームにおいて検出された動きのタイプに基づいて推定することと、ビデオ符号器において、フレームの推定されたぼけ度レベルに少なくとも部分的に基づいて、フレームを符号化することとを、プログラマブルプロセッサに行わせるための命令を備えるコンピュータ可読媒体をも企図する。

[0015]本開示の１つまたは複数の態様の詳細について添付の図面および以下の説明において述べる。本開示で説明する技法の他の特徴、目的、および利点は、これらの説明および図面、ならびに特許請求の範囲から明らかになろう。

本開示の技法を実装し得る、例示的なビデオキャプチャデバイスおよびビデオ符号器システムを示すブロック図。本開示の技法を実装し得る、別の例示的なビデオキャプチャデバイスおよびビデオ符号器システムを示すブロック図。キャプチャされたフレームにおいてぼけ度を生じる、ビデオキャプチャ機能を示す流れ図。ビデオキャプチャデバイスによってキャプチャされたフレームにおいてぼけ度を引き起こす、例示的なビデオキャプチャデバイス機能を示す図。ビデオキャプチャデバイスによってキャプチャされたフレームにおいてぼけ度を引き起こす、例示的なビデオキャプチャデバイス機能を示す図。ビデオキャプチャデバイスによってキャプチャされたフレームにおいてぼけ度を引き起こす、例示的なビデオキャプチャデバイス機能を示す図。ビデオキャプチャデバイスによってキャプチャされたフレームにおいてぼけ度を引き起こす、例示的なビデオキャプチャデバイス機能を示す図。ビデオキャプチャデバイスによってキャプチャされたフレームにおいてぼけ度を引き起こす、例示的なビデオキャプチャデバイス機能を示す図。ビデオキャプチャデバイスによってキャプチャされたフレームにおいてぼけ度を引き起こす、例示的なビデオキャプチャデバイス機能を示す図。本開示の技法を実装するビデオ符号化システムの一例を示すブロック図。本開示の技法を実装するレート制御ブロックの一例を示すブロック図。ビデオキャプチャデバイスによる例示的な連続自動焦点再焦点合せプロセスの性能を示す図。顔検出に関連付けられた自動焦点再焦点合せプロセスを示すグラフィカル表現の図。顔検出に関連付けられた自動焦点再焦点合せプロセスを示すグラフィカル表現の図。顔検出に関連付けられた自動焦点再焦点合せプロセスを示すグラフィカル表現の図。ズーミングに関連付けられた自動焦点再焦点合せプロセスを示すグラフィカル表現の図。ズーミングに関連付けられた自動焦点再焦点合せプロセスを示すグラフィカル表現の図。符号化中の動き推定のための例示的なブロック区分サイズを示す図。本開示の技法による、動きぼけ度を推定する一例を示す図。本開示の技法による、動きぼけ度を推定する別の例を示す図。ぼけ度レベルを使用したＱＰ決定の一例を示す図。図１３ＡによるＱＰ決定を行うために使用される、例示的な推定されたぼけ度レベルを示す図。ルックアップテーブルを使用したＱＰ決定の一例を示す図。本開示の技法を実装する、２つのビデオキャプチャデバイスモジュールをもつ例示的なシステムを示す図。本開示の例示的な技法による、キャプチャされたフレームにおけるぼけ度レベルの推定値を使用するビデオ符号化を示す流れ図。本開示の例示的な技法による、キャプチャされたフレームにおけるぼけ度レベルの推定値を使用するビデオ符号化を示す流れ図。本開示の例示的な技法による、キャプチャされたフレームにおけるぼけ度レベルの推定値を使用するビデオ符号化を示す流れ図。本開示の例示的な技法による、符号化アルゴリズムを簡略化するためにぼけ度レベルの推定値を使用するビデオ符号化を示す流れ図。

[0034]リアルタイムビデオ記録中に、ビデオフレームにおけるぼけ度は、いくつかの要因によって引き起こされ得る。たとえば、ビデオキャプチャデバイスのパンニング（panning）もしくは動き、ビデオキャプチャデバイスによってキャプチャされている画像における被写体の動き、または、たとえばビデオカメラなどのビデオキャプチャデバイスによってキャプチャされているシーンのズームインもしくはアウトは、カメラまたは被写体の動きが速すぎて焦点合せすることができないので、ぼけ度を引き起こすことがある。ぼけ度はまた、連続自動焦点（ＣＡＦ：continuous auto-focus）もしくは自動焦点（ＡＦ: auto-focus）をもつシステムにおける再焦点合せ段階中、または、手動焦点合せが使用されるとき再焦点合せ中に生じることもある。

[0035]ＣＡＦを使用するビデオキャプチャデバイスの例では、レンズ位置が、最良の焦点性能を実現するために、たとえば、フレーム・バイ・フレーム・ベースで、連続的に調整され得る。ビデオ記録中に注目する被写体が変わったか、または移動したとき、ビデオキャプチャデバイスは、新しい注目する被写体の新しい焦点面を発見することによって、再焦点合せを行う。たとえば、ビデオキャプチャデバイスのパンニングの動き中に、ビデオキャプチャデバイスが、フレームにおいてキャプチャされた新しいシーンに再焦点合せするためのパンニングの終了時にもはや動いていないとき、ＣＡＦが行われ得る。別の例では、動きセンサーによって検出される動き中に、顔または別の被写体がフレームにおいて検出されることがあり、その検出がＡＦプロセスをトリガすることがある。別の例では、ＡＦプロセスは、カメラによるズームインまたはアウトに続いて再焦点合せするためにトリガされ得る。ぼけ度は、この再焦点合せプロセス中に生じ、新しい焦点面が発見されるまで、デバイスがキャプチャするフレームは、再焦点合せが実現されるまで、再焦点合せプロセス中にぼやけることがある。加えて、ぼけ度は、たとえば、フレーム内の被写体の移動など、他のタイプの動き中に、または、再焦点合せが生じないとき（たとえば、カメラが移動中である間）、パンニング動きプロセスの部分中に、フレームにおいて生じ得る。ぼけ度は、これらのタイプのフレームにおいて生じるが、そこにおいて、ぼけ度は、再焦点合せプロセスによって引き起こされない。

[0036]動きによって引き起こされるぼけは、たとえば、カメラなどのビデオキャプチャデバイスの移動、ハンドジッタにより、または、ビデオフレームをキャプチャする間の被写体移動の結果として、キャプチャされたビデオフレームにおいて生じ得る。カメラ移動および被写体移動は、同様の動きぼけ効果を視覚的に生じる。しかしながら、カメラ移動は、グローバルな動きぼけをもたらすのに対して、移動する被写体は、ローカルな動きぼけをもたらす。いくつかのビデオキャプチャデバイスでは、特殊なカメラモード（たとえば、ハンドジッタ低減および夜間キャプチャモード）が、露出時間を制御することによって動きぼけを低減するために使用され得る。以下で説明する本開示の技法は、そのようなデバイスがこれらの特殊なカメラモードのいずれかを利用するかどうかにかかわらず、ビデオキャプチャデバイスにおいて使用され得、その理由は、いくつかの例では、これらの技法が、露出時間を使用してぼけ度を推定するために使用され得るからである。

[0037]ビデオ符号器は、フレームのコンテンツに関する決定を行うために、計算を行うことによって、ビデオデータレート制御を行う。これらの計算は、一般に、計算複雑性をビデオ符号器に加える。本開示の技法は、ビデオキャプチャデバイスによって決定及び／または測定されたパラメータに基づいて、ビデオキャプチャデバイスおよび／またはビデオ符号器における機能を行うことを含み得る。本開示の一態様では、ビデオ符号器は、ビデオフレームを記録するビデオキャプチャデバイスからビデオ符号器が得る情報を使用することによって、追加の計算複雑性を低減することができる。

[0038]本開示は、少なくとも部分的に、ビデオキャプチャデバイスの１つまたは複数のパラメータに基づいて、ビデオコーディングを制御するための技法について説明する。いくつかの例では、ビデオ符号器は、ぼけ度が検出されるフレームにおけるぼけ度レベルの推定値に基づいて、ビデオコーディングを制御することができる。フレームにおけるぼけ度は、典型的にぼけ度を生じる機能がビデオキャプチャデバイスによって行われるとき、検出され得る。ぼけ度が検出されるフレームのぼけ度は、次いで、ビデオキャプチャデバイスの１つまたは複数のパラメータを使用して推定され得る。一例では、いくつかの機能は、連続自動焦点（ＣＡＦ）プロセスをサポートするビデオキャプチャデバイスにおけるビデオキャプチャ中に再焦点合せを生じることがあり、再焦点合せは、ＣＡＦプロセス中にキャプチャされたフレームのぼけ度を生じることがある。他の例では、パンニング、ズーミング、フレーム内の被写体の移動、または他のタイプの動きのいずれかによるビデオキャプチャ中の動きは、その動き、および自動焦点（ＡＦ）を使用した再焦点合せのために、フレームのぼけ度を生じ得る。

[0039]ビデオ符号化システムなどのビデオシステムでは、帯域幅限界が懸念であることがあり、たとえば、ビデオ符号化データレートなど、パラメータによって影響を受けることがある。一例では、本開示による技法は、ビデオキャプチャデバイスによってキャプチャされたビデオフレームの特性に基づいて、ビデオ符号化データレートなど、ビデオコーディングプロセスの１つまたは複数の態様を調整することができる。一例では、ビットは、フレームの推定されたぼけ度レベルに基づいて、ビデオフレームを符号化することにおいてより効率的に割り振られ、したがって、ビデオ符号化データレートを最適化し得る。

[0040]一例では、ビデオキャプチャデバイスは、典型的にぼけ度を引き起こすビデオキャプチャデバイスにおけるいくつかの機能（たとえば、動き、ズーミング、パンニングなど）の性能に基づいて、キャプチャされたビデオフレームにおけるぼけ度を検出することができる。検出されたぼけ度は、次いで、ビデオキャプチャデバイスによって決定および／または測定されたパラメータを使用して、推定され得る。ぼけ度は、ビデオキャプチャデバイスまたはビデオ符号器において推定され得る。いくつかの例では、ビデオキャプチャデバイスとビデオ符号器とを備えるビデオシステムは、ビデオキャプチャデバイスまたはビデオ符号器のいずれかにおいてぼけ度を推定する能力を提供することができる。一例では、ビデオキャプチャデバイスおよびビデオ符号器は、１つのデバイスの一部であり得る。そのような例では、ビデオキャプチャデバイスおよびビデオ符号器の各々の機能の少なくとも一部分は、１つのプロセッサによって行われてもよく、プロセッサはまた、ぼけ度推定のような演算を行うこともできる。

[0041]一例では、ビデオキャプチャデバイスは、たとえば、ＣＡＦプロセスの再焦点合せ段階中、デバイスのパンニングの動き中、ズームインもしくはアウト中、または、フレームにおいてぼけ度を引き起こす他の動き中など、ぼけ度を引き起こすイベント中にキャプチャされたビデオフレームにおけるぼけ度の量を推定することができる。ビデオキャプチャデバイスは、ビデオ符号器へ、ビデオフレームにおけるぼけ度の量の推定値を送ることができる。別の例では、ビデオキャプチャデバイスは、ビデオ符号器へ、ぼけ度を引き起こすイベントに関連付けられた１つまたは複数のパラメータを送ることができ、ビデオ符号器は、それらのパラメータに基づいて、対応するビデオフレームにおけるぼけ度の量を推定することができる。

[0042]ビデオフレームにおけるぼけ度の量に基づいて、ビデオ符号器は、ビデオ符号器内でぼけ度を評価する必要なしに、あるしきい値を上回るぼけ度の量をもつフレームを符号化するために、より低いデータレート、すなわち、より少ないコーディングビットを割り振ることができる。むしろ、いくつかの例では、符号器は、ビデオキャプチャデバイスによってすでに決定されたぼけ度パラメータに依拠することができる。他の例では、符号器は、ぼけ度を引き起こすイベントに関連付けられた１つまたは複数のパラメータに基づいて、ぼけ度を推定することができる。ぼやけたフレームは、一般に、より低いデータレートを使用することによって影響を受けないか、またはそれほど影響を受けない、より低い視覚的品質を有するので、ぼけ度が検出されるとき、ビデオ符号器は、ぼやけたフレームを符号化するためにより低いデータレートを割り振ることができる。ビデオフレームのコンテンツがぼやけるようになるとき、本開示の一態様によれば、ビデオ符号器は、ぼやけたフレームを符号化するために、より低いデータレート、すなわち、コーディングビットを割り振り、それによって、ぼけ度が与えられれば、許容可能な全体的な視覚的品質を維持しながら、帯域幅消費を低減することができる。

[0043]本開示の一態様では、量子化パラメータ（ＱＰ）が、ぼけ度推定値に基づいて調整され得、フレームにおけるぼけの量に基づいて変動し得る。本開示の別の態様では、ビデオ符号器は、予測コーディングおよび動き補償のために異なるサイズのブロック区分を使用して、フレームを符号化することができる。本開示の別の態様では、ビデオ符号器は、フレームがぼやけているかどうかと、フレームにおけるぼけ度の量とを決定するためのアルゴリズムを実装する必要がなく、その理由は、これらがビデオキャプチャデバイスによって決定されるからである。

[0044]本開示の技法を使用して、簡略化されたビデオ符号化アルゴリズムは、ビデオ符号器の計算複雑性を低減することができ、より低いデータレートは、ビデオ符号器によって使用される帯域幅を低減することができる。ぼけ度推定値は、ビデオキャプチャデバイスからビデオ符号器へ報告され得る。ビデオ符号器は、次に、ビデオ符号器によって行われるときに計算集約的な演算であり得るぼけ度を検出するために、符号器リソースを費やすことなしに、特定のフレームがぼやけていると決定することができる。代わりに、ビデオ符号器は、ビデオキャプチャデバイスによって評価されたぼけ度推定値に依拠することができる。

[0045]一例では、本開示の技法は、ビデオ符号器によって実行されたレート制御（ＲＣ）アルゴリズムによって実施され得る。ＲＣアルゴリズムは、知覚品質を向上させるために、キャプチャされたビデオフレームにおいて動きぼけ推定を利用することができる。このアルゴリズムは、グローバル動きベクトル（ＭＶ）、符号化フレームレート、および露出時間などのパラメータを使用して、キャプチャされたビデオフレームのぼけ度を推定することができる。フレームの所与の推定されたぼけ度に対して、ＲＣアルゴリズムを適用して、ビデオ符号器は、ぼやけたフレームと鮮鋭なフレームとの間でコーディングビットを再割り振りすることができる。詳細には、ビデオ符号器は、たとえば、予測コーディングによって生成される残差変換係数に適用される量子化の程度を制御するために、フレームごとの量子化パラメータを調整することによって、より少ないコーディングビットをぼやけたフレームに、より多くのコーディングビットをぼやけていないフレームに割り振ることができる。このようにして、ぼやけたフレームをコーディングすることにおける節約が、他のフレームのコーディングを向上させるために利用され得る。

[0046]本開示の態様は、スタンドアロン記録デバイス、またはシステムの一部であり得る、様々な記録デバイスのいずれかにおいて利用され得る。この説明のために、ビデオカメラが例示的なビデオキャプチャデバイスとして使用される。

[0047]図１は、本開示の技法を実装し得る、例示的なビデオキャプチャデバイスおよびビデオ符号器システム１００を示すブロック図である。図１に示すように、システム１００は、たとえば、ビデオストリームをキャプチャし、リンク１２０を介してビデオ符号器１１０へ送る、ビデオカメラなどのビデオキャプチャデバイス１０２を含む。システム１００はまた、ぼけ度ユニット１０８をも含んでもよく、ぼけ度ユニット１０８は、ビデオキャプチャデバイス１０２またはビデオ符号器１１０の一部であってもよい。したがって、図１の例では、ぼけ度ユニット１０８は、いずれのデバイスからも別個に示され得る。ビデオキャプチャデバイス１０２およびビデオ符号器１１０は、モバイルデバイスを含む、広範囲にわたるデバイスのいずれかを備え得る。いくつかの例では、ビデオキャプチャデバイス１０２およびビデオ符号器１１０は、ワイヤレスハンドセット、携帯情報端末（ＰＤＡ）、モバイルメディアプレーヤ、カメラ、または、ビデオデータをキャプチャかつ符号化することができる任意のデバイスなど、ワイヤレス通信デバイスを備える。いくつかの例では、ビデオキャプチャデバイス１０２およびビデオ符号器１１０は、同じシステムの一部として、同じ筐体に含まれてもよい。他の例では、ビデオキャプチャデバイス１０２およびビデオ符号器１１０は、２つ以上の異なるデバイスに常駐してもよく、２つ以上の異なるシステムの一部であってもよい。ビデオキャプチャデバイス１０２およびビデオ符号器１１０が、２つ以上の異なるデバイスに常駐する場合、リンク１２０は、ワイヤードまたはワイヤレスリンクであってもよい。

[0048]図１の例では、ビデオキャプチャデバイス１０２は、入力センサーユニット１０４と、動きおよびＡＦユニット１０６とを含み得る。動きおよびＡＦユニット１０６は、たとえば、ＣＡＦユニット１０６Ａ、ズームユニット１０６Ｂ、および動きユニット１０６Ｃなど、ビデオキャプチャに関連付けられたいくつかの機能ユニットを含み得る。ビデオ符号器１１０は、ＱＰ再調整ユニット１１２と、フレームぼけ度評価ユニット１１４と、符号化ユニット１１６とを含み得る。本開示によれば、ビデオキャプチャデバイス１０２は、たとえば、ズーミング、パンニング、動き検出など、１つまたは複数の機能に関連付けられたパラメータを取得するように構成され得、それらのパラメータは、動きおよびＡＦユニット１０６によってさらに処理され、ぼけ度ユニット１０８に提供され得る。ぼけ度ユニット１０８は、カメラパラメータを使用してフレームのぼけ度のレベルを推定し、ぼけ度推定値をビデオ符号器１１０へ送ることができる。ビデオ符号器１１０は、ぼけ度情報を使用して、適切なビデオ符号化データレートを決定すること、および／またはビデオ符号化アルゴリズムを簡略化することができる。

[0049]入力センサーユニット１０４は、ビデオキャプチャデバイス１０２に関連付けられた入力センサーと、入力センサーによって検知されたフレーム画像に基づいて、キャプチャされたフレームに関連付けられた１つまたは複数のパラメータを決定するアルゴリズムとを含み得る。ビデオキャプチャデバイス１０２の入力センサーユニット１０４は、キャプチャするためのフレーム画像コンテンツを検知することができる。入力センサーユニット１０４は、たとえば、電荷結合デバイス（ＣＣＤ）アレイ、または、カメラレンズを介して光を受け、受信された画像に応答して画像データを生成する、別の画像センシングデバイスなど、センサーに結合されたカメラレンズを含み得る。入力センサーユニット１０４は、対応するフレームをキャプチャするための適切な機能を決定するために、状態における変化を検出するための能力を含み得る。入力センサー１０４によって行われた機能に基づいて、動きおよびＡＦユニット１０６は、たとえば、自動焦点（ＡＦ）を適用するかどうか、および適用するべきＡＦのタイプなど、適切な機能を決定することができる。たとえば、パンニングの動き中に、ＣＡＦが適用されてもよいが、ズーミング中に、ズーミング率情報を利用するＡＦプロセスが適用されてもよい。動きおよびＡＦユニット１０６は、関連付けられた機能に基づいて、フレームにおけるぼけ度を検出し、たとえば、ズーム率（zoom factor）、レンズ位置、他のレンズおよびセンサーパラメータなど、その機能に対応するパラメータとともに、ぼけ度検出の指示（indication）を送ることができる。

[0050]一例では、パンニングの動き中に、ユーザは、ビデオキャプチャデバイス１０２を移動させて、異なる被写体またはシーンをキャプチャする。この例では、ビデオキャプチャデバイス１０２の動きは、入力センサーユニット１０４を使用して決定されてもよく、入力センサーユニット１０４は、デバイスのパンニングの動きを検出することが可能なセンサーを装備してもよい。パンニングの動き中に、ビデオキャプチャデバイス１０２が動いている間にキャプチャされたフレームは、キャプチャされているシーンが急速に変化するので、再焦点合せを必要としなくてもよい。ビデオキャプチャデバイス１０２が動きを停止するとき、再焦点合せプロセスは、フレームをキャプチャする間に開始することができる。この例の再焦点合せは、焦点が合うまで、ＣＡＦを使用して行われ得る。パンニングの動き中に、および、パンニングの動きが停止した後に焦点が合うまでに、キャプチャされたフレームは、ぼけ度を含み得る。パンニングの動きに関連付けられたフレームにおけるぼけ度は、その動きの結果、または再焦点合せプロセスの結果であり得る。再焦点合せから生じるぼけ度は、入力センサーユニット１０４によって提供され得る、再焦点合せプロセス中のレンズ位置に関連付けられた情報を使用して推定され得る。再焦点合せが行われないとき、パンニングの動きから生じるぼけ度は、パンニングの動き中のデバイスに関連付けられた動き、および／またはフレーム内の被写体の動きを使用して、推定され得る。

[0051]ビデオキャプチャデバイス１０２は、ビデオを記録中に、ＣＡＦプロセスを利用することができる。ＣＡＦプロセスでは、カメラレンズ位置が、ビデオフレームにおける被写体への許容可能な焦点を実現するために、連続的に調整され得る。新しい注目する被写体が、入力センサーユニット１０４によってキャプチャされているシーンに入って来るとき、ユーザは、ビデオキャプチャデバイス１０２を移動させて、異なる被写体もしくは異なるシーンをキャプチャし、または、シーン内の被写体が移動し、入力センサーユニット１０４は、新しい被写体の存在を検出することができる。入力センサーユニット１０４は、次いで、信号をＣＡＦユニット１０６Ａへ送ることができ、ＣＡＦユニット１０６Ａは、受信された信号を解析し、信号の焦点値に基づいて、新しい被写体がシーンにおいて検出されたこと、および再焦点合せプロセスのトリガを決定する。新しい被写体に再焦点合せすることは、たとえば、ビデオキャプチャデバイスが、入力センサーユニット１０４から受信された信号の焦点値を解析することによって、所望の焦点を実現するまで、レンズ位置を調整するなどのアクションを含み得、各信号はフレームのピクセルを含む。ＣＡＦユニット１０６Ａは、ＣＡＦユニット１０６Ａが再焦点合せプロセスを行っていることを示す指示を、ぼけ度ユニット１０８へ送り得る。ぼけ度ユニット１０８は、再焦点合せが行われている間、フレームにおけるぼけ度を推定することができる。ぼけ度ユニット１０８は、フレームｎに関連付けられたぼけ度Ｂ（ｎ）を推定し、Ｂ（ｎ）をビデオ符号器１１０へ送ることができる。

[0052]別の例では、ビデオキャプチャデバイス１０２が、注目する被写体に接近しながら一方向に移動するとき、その被写体に関連付けられた視野が変わることがある。しかしながら、動きは、パンニングの動きが検出されるのと同様には検出されないことがある。たとえば、ユーザが、ビデオキャプチャデバイス１０２を同じ方向に向けながら、フレームにおける１つまたは複数の被写体により近く、またはそれからより遠くに離れて移動する場合、視野はそれぞれより小さく、またはより大きくなるが、視野はすべての方向で相対的に同量だけ変化するので、フレーム内のグローバルな動きは、合計ゼロになり得る。したがって、このタイプの動きは、グローバルな動きを推定することによって検出されないことがある。入力センサーユニット１０４は、このタイプの動きを検出することができる動きセンサー（たとえば、加速度計またはジャイロスコープ）を含んでもよく、フレームにおいて検出された被写体のタイプに基づいて、適切な機能を決定するために、検出された情報を動きおよびＡＦユニット１０６へ送ることができる。一例では、変化した視野の結果として、顔がフレームにおいて検出され得る。顔が検出される場合、ＡＦが、動き中に顔に焦点を合わせるために使用されてもよく、結果として、ＡＦが実現される間にキャプチャされたフレームは、ぼやけることがある。検出された顔に焦点を合わせることは、たとえば、キャプチャされたフレームにおける顔のサイズ、平均的な人間の顔のサイズ、被写体の距離など、顔検出に関連付けられたパラメータを使用して適切なレンズ位置を決定することによって実現され得る。検出された顔に再焦点合せすることから生じるぼけ度は、焦点が合うまで、各ステップで決定されたレンズ位置を使用して推定され得る。顔が検出されない場合、動きが停止するまで、再焦点合せがトリガされなくてもよく、ぼけ度が、動き中にキャプチャされたフレームにおいて生じ得る。動きから生じるぼけ度は、パンニングの動き中のデバイスに関連付けられた動き、および／またはフレーム内の被写体の動きを使用して、推定され得る。

[0053]別の例では、ユーザは、ビデオキャプチャ中にズームインまたはアウトするように選択することができる。ビデオキャプチャデバイス１０２が光学ズームを開始するとき、視野がズーミングプロセス中に変化し、再焦点合せを生じ得、ぼけ度が、ズーミング中にキャプチャされたフレームにおいて生じ得る。ＡＦが、ズーミング中に焦点合せのために使用され得、この場合、ズーム率が知られており、焦点が合うためのレンズ位置を決定するために使用され得る。たとえば、ズーミング率など、ズーミング情報はまた、ズーミングプロセス中にキャプチャされたフレームにおいてぼけ度を推定するために、ぼけ度推定ユニットによっても利用され得る。

[0054]他の例では、キャプチャされているフレームにおける他のタイプの動きが、ぼけ度を生じることがあり、ぼけ度は、たとえば、グローバル動きベクトル、露出時間、およびフレームレートなど、カメラパラメータに基づく動き情報を使用して推定され得る。いくつかの例では、ローカル動きベクトル情報もまた、ぼけ度を推定することにおいて利用され得る。ビデオキャプチャデバイス１０２が焦点合せを行う状況では、焦点合せプロセスに関連付けられたパラメータが、ぼけ度を推定することにおいて利用され得る。加えて、焦点合せが使用されない状況では、ビデオキャプチャデバイス１０２によって取得された動き情報が、ぼけ度を推定することにおいて利用され得る。このようにして、ぼけ度は、他の機能のために取得かつ／または計算されたパラメータを使用して推定され得、したがって、追加の複雑な計算または測定は、この例では、ぼけ度を推定するために必要とされない。これらの例の各々においてぼけ度レベルを推定することについて、以下でより詳細に説明する。

[0055]ビデオ符号器１１０は、ぼけをもつフレームについてのぼけ度推定値Ｂ（ｎ）を受信し得、それらのフレームにおけるぼけの量を決定するために追加の計算を行う必要なしに、ビデオフレームを符号化することにおいて、ぼけ度レベルを利用することができる。一例では、ビデオ符号器１１０は、ＱＰ再調整１１２のためにぼけ度レベルを利用し得る。言い換えれば、ビデオ符号器１１０は、フレームについての推定されたぼけ度のレベルに基づいて、そのフレームを符号化するためのＱＰ値を調整し得る。

[0056]ＱＰは、符号化された画像において保持される詳細（detail）の量を調節する。ビデオ符号器は、符号化中に、たとえば、残差値の量子化を行う。残差値は、ブロックをコーディングするために使用された、参照フレームにおいて、たとえば、マクロブロックなど、コーディングされるべき元のブロックと、予測ブロックとの間の残留ひずみ（residual distortion）を表す残差値のブロックを表す離散コサイン変換（ＤＣＴ）係数値であり得る。一例では、符号器が、より高い量子化のために極めて小さいＱＰ値を利用するとき、多量の画像詳細が保持される。しかしながら、極めて小さいＱＰ値を使用することは、より高い符号化データレートを生じる。ＱＰ値が増すにつれて、ビデオ符号化レートは低下するが、詳細の一部が失われ、画像はよりひずむようになり得る。ぼやけた画像では、画像の詳細はすでにひずんでおり、ビデオ符号器は、画像の品質に影響を及ぼすことなしに、ＱＰを増すことができる。ビデオ符号器は、フレームがぼやけているかどうかを決定するために、アルゴリズムを実装することができる。これらのアルゴリズムは、しかしながら、計算複雑性をビデオ符号器に加える。

[0057]一例では、ぼけ度は、ビデオキャプチャデバイス１０２において推定され得、したがって、ビデオ符号器１１０は、フレームがぼやけているかどうかを決定する必要がなくなり得る。代わりに、ビデオ符号器１１０は、ビデオキャプチャデバイス１０２から、フレームがぼやけているという指示を受信する。一例では、ビデオ符号器１１０は、符号化されるべきフレームｎについての推定されたぼけ度レベルＢ（ｎ）を受信し、そのぼけ度レベルに基づいて、ＱＰを増加させるか、減少させるかを決定する。言い換えれば、ビデオ符号器１１０は、ビデオキャプチャデバイス１０２から取得された、推定されたぼけ度レベルＢ（ｎ）に基づいて、ＱＰ値を調整する。一例では、ビデオ符号器１１０は、より大量のぼけ度をもつフレームを符号化するために、より大きいＱＰを使用し、より少量のぼけ度をもつフレームを符号化するために、より小さいＱＰを使用する。このようにして、ビデオ符号器１１０は、よりぼやけていないフレームにより多くのコーディングビットを、よりぼやけたフレームにより少ないコーディングビットを割り振ることができる。より大きいＱＰ値およびより小さいＱＰ値について、本明細書で、それぞれ、より量子化すること、およびあまり量子化しないことに対応するものとして説明するが、いくつかのコーディング技法では、その逆の場合もあり得、そこでは、より大きいＱＰ値およびより小さいＱＰ値が、それぞれ、あまり量子化しないこと、およびより量子化することに対応し得る。

[0058]一例では、本開示の技法を使用して、ぼやけた画像が、画像におけるぼけ度のレベルに基づくＱＰ値を使用して符号化され得る。画像のぼけ度レベルが高くなるほど、画像をコーディングするために使用されるビット数は少なくなる。一例では、量子化調整によって引き起こされるひずみが、よりぼやけていないフレームにおけるほどには顕著になり得ないので、ぼやけた画像をコーディングするために使用されるビット数は、追加のひずみを引き起こすことなしに低減され得る。いくつかの例では、より大きいぼけ度レベルをもつフレームが、より少ないビットを使用してコーディングされ得、かつ、より鮮鋭なフレームが、より少ないビットを使用してぼけているフレームをコーディングすることから節約されたと思われる、より多くのビットを使用してコーディングされ得るように、コード化ビットがフレーム間で再割り振りされ得る。このようにして、コード化ビットの量が全体的に不変のままであり得るので、ビデオ符号器の全体的なビットレートは、大幅に影響を受けない。

[0059]本開示の技法は、ぼけ度のレベルに基づいて、人間の視覚系によって認識可能なひずみを引き起こすように量子化の最大量を決定することができる。実験データが使用されて、人間の知覚と、人間の視覚系の鈍感性とに基づいて、フレームの全体的なひずみが知覚できるほどに元のフレームとは異ならないように、フレームにおけるぼけ度の異なるレベルと、対応する量子化とを提供することが決定され得る。一例では、ビデオ符号器は、コード化ビットの１００％と見なされる、１３７００８ビットを使用して、フレームをコーディングする。フレームにおけるぼけ度のレベルに基づいて、対応する量子化が、フレームにおけるひずみの知覚が容易に観測可能でないように決定される。実験は、１３７００８以下の異なる数のコード化ビットを利用し、平均的な人間の視覚系には、コード化ビットの１００％が使用されるときと同じ量のひずみとともにフレームが見え得る、あるぼけ度レベルにおいて使用されるビットの最低数を決定し得る。低減されたビット数に対応するＱＰが、次いで、そのぼけ度レベルへの対応するＱＰとして使用され得る。

[0060]別の例では、ビデオ符号器１１０は、ビデオ符号器１１０によって実行される符号化アルゴリズムを簡略化するために、ぼけ度レベルを利用することができる。簡略化された符号化アルゴリズムは、たとえば、動き推定探索のために、分数ピクセル精度の代わりに、整数ピクセル精度を使用するアルゴリズムであり得る。他の符号化アルゴリズム簡略化は、以下でより詳細に説明するように、例えば、スキップモードの使用と、動き推定において使用される参照ピクチャリストを変更することと、予測コードおよび動き補償のためのブロック区分サイズを変更することとを含み得る。画像符号化において、補間は、周囲ピクセルの色値と強度（intensity）値とに基づいて、ピクセル色とピクセル強度とを概算するために使用され、インターコーディングにおける圧縮を向上させるために使用され得る。インターコーディングは、隣接フレーム内の移動を追跡するための動き推定を指し、１つまたは複数の参照フレームにおいて対応するブロックに対する、フレーム内のブロックの変位を示す。符号化中に、符号器は、フレーム内のブロックのロケーションを決定し得る。圧縮のレベルは、サブピクセル補間または分数補間を使用して、分数ピクセルレベルでブロックを求めて探索することによって、向上し得る。分数が小さいほど、符号器が実現する圧縮が高くなるが、符号化アルゴリズムがより計算集約的になる。

[0061]たとえば、補間は、分数ピクセル値またはサブピクセル値（たとえば、１／２ピクセル値および１／４ピクセル値）を生成するために行われてもよく、符号化アルゴリズムは、コンテンツに基づいて、異なるレベルの精度を使用することができる。より詳細なフレーム、またはフレーム内のブロックに対して、符号化アルゴリズムは、たとえば、１／４ピクセルロケーションにおいてピクセル値を補間する必要があり得る１／４など、より小さいサブピクセル値を利用すし得る。より詳細でないフレーム、またはフレーム内のブロックに対して、符号化アルゴリズムは、１／２ピクセル値における補間を利用し得る。この例では、１／４ピクセル値を補間することは、より良い動き推定を提供することができるが、１／２ピクセル値を補間することよりも計算集約的である。ぼやけたフレームでは、画像は、それらのフレームにおいてより少ない詳細を有し、結果として、サブピクセルレベルで補間することは、画像の詳細を保持するために必須でない。したがって、整数ピクセル精度が、動き推定ブロックを符号化するために利用され、この場合、符号化アルゴリズムがそれらのピクセル値を見るので、ピクセル値を補間する追加の計算複雑性が回避され得る。

[0062]ビデオ符号器１１０は、フレームの推定されたぼけ度レベルＢ（ｎ）を、Ｂ（ｎ）評価ユニット１１４におけるしきい値と比較して、簡略化された符号化アルゴリズムを実行するかどうかを決定し得る。一例では、しきい値は、デフォルト値に設定され得る。別の例では、しきい値は、ビデオキャプチャデバイス１０２および／またはビデオ符号器１１０における設定に基づいて変更され得る。別の例では、しきい値は、システムのユーザによって定義され得る。たとえば、ぼけ度レベルは、範囲［０，１］における値であってもよく、デフォルトでは、しきい値は、０．５、または、ぼけ度レベルの値の範囲の中点に設定され得る。他の例では、しきい値は、ユーザ選好によって設定され得る。Ｂ（ｎ）評価ユニット１１４が、推定されたぼけ度がしきい値を上回ると決定する場合、Ｂ（ｎ）評価ユニット１１４は、ぼやけたフレームを符号化するために、適切な簡略化されたアルゴリズムを実行するように、符号化アルゴリズムユニット１１６に通知する。

[0063]一例では、ビデオ符号器１１０は、ビデオキャプチャデバイス１０２から、キャプチャされたフレームに関連付けられたパラメータを取得し、カメラパラメータに基づいて、ぼけ度レベルを推定し得る。ビデオ符号器１１０は、次いで、符号化レートを向上させるために、上記で説明したように、推定されたぼけ度レベルを利用し得る。このようにして、ぼけ度が検出されるフレームについての、ビデオキャプチャデバイス１０２によって提供されたパラメータを利用することによって、ビデオ符号器１１０は、フレームがぼやけているかどうかを決定する必要なしに、計算を使用してぼけ度を推定でき、その理由は、入力センサーユニット１０４と動きおよびＡＦユニット１０６とによって行われたカメラ機能に基づいて、ビデオキャプチャデバイス１０２によってぼけ度が検出されるからである。

[0064]図２は、本開示の技法を実装し得る、別の例示的なビデオキャプチャデバイスおよびビデオ符号器システム２００を示すブロック図である。図２の例は、図１の例に実質的に対応するが、以下でより詳細に説明するように、ビデオ符号器が図１において行う計算の一部分は、図２においてビデオ符号器２１０によって、またはビデオキャプチャデバイス２０２によって行われ得る。図２に示すように、システム２００は、たとえば、ビデオストリームをキャプチャし、リンク２２０を介してビデオ符号器２１０へ送る、ビデオカメラなどのビデオキャプチャデバイス２０２を含む。システム２００はまた、ぼけ度ユニット２０８と、ＱＰ再調整ユニット２１２とを含み得、ぼけ度ユニット２０８およびＱＰ再調整ユニット２１２は、ビデオキャプチャデバイス２０２またはビデオ符号器２１０の一部であってもよい。したがって、図２の例では、ぼけ度ユニット２０８およびＱＰ再調整ユニット２１２は、ユニット２０８および２１２のいずれかがビデオキャプチャデバイス２０２またはビデオ符号器２１０内であり得るという理解とともに、いずれのデバイスからも別個に示される。ビデオキャプチャデバイス２０２およびビデオ符号器２１０は、モバイルデバイスを含む、広範囲にわたるデバイスのいずれかを備え得る。いくつかの例では、ビデオキャプチャデバイス２０２およびビデオ符号器２１０は、ワイヤレスハンドセット、携帯情報端末（ＰＤＡ）、モバイルメディアプレーヤ、カメラ、または、ビデオデータをキャプチャかつ符号化することができる任意のデバイスなど、ワイヤレス通信デバイスを備える。いくつかの例では、ビデオキャプチャデバイス２０２およびビデオ符号器２１０は、同じシステムの一部として、同じ筐体に含まれてもよい。他の例では、ビデオキャプチャデバイス２０２およびビデオ符号器２１０は、２つ以上の異なるデバイスに常駐してもよく、２つ以上の異なるシステムの一部であってもよい。ビデオキャプチャデバイス２０２およびビデオ符号器２１０が、２つ以上の異なるデバイスに常駐する場合、リンク２２０は、ワイヤードまたはワイヤレスリンクであってもよい。

[0065]図２の例では、図１の例のように、ビデオキャプチャデバイス２０２は、入力センサー２０４と動きおよびＡＦユニット２０６とを含み得る。動きおよびＡＦユニット２０６は、たとえば、ＣＡＦユニット２０６Ａ、ズームユニット２０６Ｂ、および動きユニット２０６Ｃなど、ビデオキャプチャに関連付けられたいくつかの機能ユニットを含み得る。ビデオ符号器２１０は、量子化ユニット２１８と、フレームぼけ度評価ユニット２１４と、符号化アルゴリズムユニット２１６とを含み得る。本開示によれば、ビデオキャプチャデバイス２０２は、たとえば、ズーミング、パンニング、動き検出など、１つまたは複数の機能に関連付けられたパラメータを取得するように構成され得、それらのパラメータは、動きおよびＡＦユニット１０６によってさらに処理され得、次いでぼけ度ユニット２０８に提供され得る。ぼけ度ユニット２０８は、フレームのぼけ度のレベルを推定し得、推定されたぼけ度のレベルに基づいて、ＱＰ再調整ユニット２１２は、次いで、ＱＰを再調整し得る。ＱＰ再調整ユニット２１２は、ビデオ符号器２１０から前のＱＰ値を受信し得、それに基づいて、ＱＰ再調整ユニット２１２は、再調整されたＱＰ値を計算し得る。一例では、再調整されたＱＰ値は、フレームにおけるぼけ度のレベルに基づき、よりぼやけていないフレームを符号化することは、より量子化すること（たとえば、より小さいＱＰ）を利用し得、よりぼやけたフレームは、あまり量子化しないこと（たとえば、より大きいＱＰを利用する）を利用し得、この場合、再調整された量子化は、ビデオ符号器２１０によって使用された量子化の以前の量を超えることができない。ぼけ度ユニット２０８およびＱＰ再調整ユニット２１２は、再調整されたＱＰとぼけ度推定値とをビデオ符号器２１０へ送り得る。ビデオ符号器２１０は、ぼけ度情報を使用して、適切なビデオ符号化データレートを決定し得、および／またはビデオ符号化アルゴリズムを簡略化し得る。ビデオ符号器２１０は、量子化中に、再調整されたＱＰを使用することができる。この例では、ぼけ度レベル推定値に基づいてＱＰを調整することは、ビデオ符号器２１０における計算複雑性をさらに低減することができる。ビデオ符号器２１０は、ぼけ度以外の要因に基づいて、ＱＰをさらに再調整することができる。

[0066]ビデオキャプチャデバイス２０２の入力センサー２０４は、キャプチャするためのフレームコンテンツを検知することができる。キャプチャされたシーンにおける変化は、入力センサー２０４が信号を動きおよびＡＦユニット２０６へ送り、たとえば、図１に関して上記で説明したように、パンニングの動き、ズーミング、または他のタイプの動き中の再焦点合せなど、適切な機能をトリガする結果となり得る。動きおよびＡＦユニット２０６は、フレームにおける動きの存在、および／または、ＡＦがフレーム上で行われるかどうかを示す指示を、ぼけ度ユニット２０８へ送り得る。ぼけ度ユニット２０８は、動きおよびＡＦユニット２０６がそれについて動きおよび／またはＡＦを示すフレームにおけるぼけ度を推定し得る。ぼけ度ユニット２０８は、フレームｎに関連付けられたぼけ度Ｂ（ｎ）を推定し、Ｂ（ｎ）をＱＰ再調整ユニット２１２へ送り得る。ＱＰ再調整ユニット２１２は、上記で説明したように、ぼけ度レベルを利用して、そのフレームについてのＱＰを再調整し得る。ぼけ度ユニット２０８およびＱＰ再調整ユニット２１２は、フレームｎについてのぼけ度推定値Ｂ（ｎ）と再調整されたＱＰとをビデオ符号器２１０へ送り得る。

[0067]ビデオ符号器２１０は、ぼけが検出されるフレームについてのぼけ度推定値Ｂ（ｎ）と再調整されたＱＰとを受信し得、いくつかの例では、たとえば、それらのフレームにおけるぼけの量を決定するために追加の計算を行う必要なしに、ビデオフレームを符号化することにおいて、ぼけ度レベルを利用し得る。一例では、ビデオ符号器２１０は、再調整されたＱＰを利用して、量子化ユニット２１８において、フレームｎにおけるブロックについての残差データに関連付けられた係数値を量子化し得る。

[0068]再調整されたＱＰを利用することに加えて、ビデオ符号器２１０は、ビデオ符号器２１０によって実行される符号化アルゴリズムをさらに簡略化するために、ぼけ度レベルを利用し得る。簡略化された符号化アルゴリズムは、たとえば、上記で説明したように、動き推定探索のために、分数の代わりに、整数ピクセル精度を使用するアルゴリズムであり得る。他の符号化アルゴリズム簡略化は、以下でより詳細に説明するように、例えば、スキップモードの使用と、動き推定において使用される参照ピクチャリストを変更することと、予測コードおよび動き補償のためのブロック区分サイズを変更することとを含み得る。一例では、ビデオ符号器２１０は、推定されたぼけ度レベルに基づいて、符号化アルゴリズム簡略化方法のうちのどれを使用すべきかを決定し得る。一例では、ビデオ符号器２１０は、以下でさらに説明するように、符号化アルゴリズム簡略化の１つまたは複数の方法を実施することができる。ビデオ符号器２１０は、フレームの推定されたぼけ度レベルＢ（ｎ）を、Ｂ（ｎ）評価ユニット２１４におけるしきい値と比較して、簡略化された符号化アルゴリズムを実行するかどうかと、どれを実行すべきかと、を決定し得る。一例では、しきい値は、デフォルト値に設定され得る。別の例では、しきい値は、ビデオキャプチャデバイス２０２および／またはビデオ符号器２１０における設定に基づいて変更され得る。別の例では、しきい値は、システムのユーザによって定義され得る。Ｂ（ｎ）評価ユニット２１４が、推定されたぼけ度がしきい値を上回ると決定する場合、Ｂ（ｎ）評価ユニット２１４は、ぼやけたフレームを符号化するために、適切な簡略化されたアルゴリズムを実行するように、符号化アルゴリズムユニット２１６に通知する。

[0069]図３は、キャプチャされたフレームにおいてぼけ度を生じる、ビデオキャプチャ機能を示す流れ図である。図３の流れ図は、図１および図２のビデオキャプチャデバイス１０２および２０２など、ビデオキャプチャデバイスによって行われる機能に対応し得る。ビデオキャプチャデバイスがフレームをキャプチャするとき、たとえば、キャプチャされているシーン内の被写体の動き、デバイスの動き、ズーミングなど、状態における変化が、入力センサーユニット（たとえば、入力センサーユニット１０４／２０４）によって検出され得る。入力センサーユニットは、検出された状態に関連付けられたパラメータを、たとえば、動きおよびＡＦユニット１０６／２０６など、動きおよびＡＦユニットに提供し得る（３０２）。動きおよびＡＦユニットは、入力センサーユニットからのパラメータに基づいて、キャプチャされたフレームに関連付けられた動きのタイプと、ＡＦが必要であるかどうかと、ＡＦが必要であるときに行われるべきＡＦのタイプとを決定し得る。

[0070]動きおよびＡＦユニットは、動きがパンニングの動きであるかどうかを決定し得る（３０４）。パンニングの動き中に、ビデオキャプチャデバイスは、ビデオキャプチャデバイスの物理的な移動を通して、あるシーンから別のシーンへ移動し得る。したがって、キャプチャされたシーンは、パンニングの動きの開始から、ビデオキャプチャデバイスが停止するか、またはパンニングの動きが停止するまで、まったく異なり得る。ぼけ度が、パンニングの動き中に生じ得、ぼけ度を正確に推定できるようにするために、動きおよびＡＦユニットは、パンニングの動きの段階に基づいて、ぼけ度ユニットに提供するべき適切なパラメータを決定し得る。パンニングが開始するとき、およびそれが停止するまで、再焦点合せがなくてもよく、パンニングが停止するとすぐに、再焦点合せが開始する（３０６）。パンニングの動き中に、ぼけ度が、ローカルな動きとグローバルな動きとによって引き起こされ得る。ローカルな動きの一例を、図４Ａによって示し、そこで、カメラが移動するにつれて、フレームＮ−１における被写体がフレームＮにおける異なるロケーションへ移動する（たとえば、周囲に風が吹きつけられている花、またはシーンを横切って進むボール）。被写体が露出時間中に移動する場合、フレームＮ−１において影付き領域によって示す被写体境界は、キャプチャされたフレームにおいてぼやけて見え得る。したがって、より長い露出時間は、被写体の位置の変化のより多くをキャプチャすることを可能にし、短い露出時間よりも多くのぼけを生じる。グローバルな動きは、図４Ｂに示すように、フレームのエッジの動きの方向を示す矢印によって示すように、フレーム全体の動きから生じ得る。グローバルな動きは、カメラ移動から生じ得る。カメラが速く移動するほど、フレームにおける被写体位置の変化が大きくなり、被写体のぼけ度が大きくなる。

[0071]パンニングの動きにおいて動きが停止するとき、再焦点合せプロセスが開始し得る。ＣＡＦが、パンニングの動き中に再焦点合せを行うために利用され得、ＣＡＦに関連付けられたパラメータが、ぼけ度を推定する（３０８）ために、カメラからぼけ度ユニット（たとえば、ぼけ度ユニット１０８または２０８）へ提供され得る。ＣＡＦプロセスについては、図７を参照しながら以下でより詳細に説明する。再焦点合せが行われていないとき、パンニングの部分中に、以下でより詳細に説明するように、ぼけ度ユニットに提供され得る動きおよび他のカメラパラメータを使用して、ぼけ度が推定され得る（３１０）。再焦点合せが行われるべきでないとき、パンニングの動きの部分は、以下でより詳細に説明するように、グローバル動き推定を使用して検出され得る。

[0072]検出された動きがパンニングの動きではない場合、動きおよびＡＦユニットは、検出された動きが、動きセンサーによって検出された別のタイプの動きの結果であるかどうかを決定し得る（３１２）。たとえば、この動きは、図４Ｃに示すような矢印によって示す方向に沿って、ビデオキャプチャデバイスが注目する被写体に接近する結果であり得る。この例では、ビデオキャプチャデバイスが、矢印によって示す方向に沿って移動するにつれて、視野が変化し続ける。しかしながら、図４Ｄが示すように、このタイプの動きにおけるフレーム内の動きは、矢印の方向に沿っており、したがって、その動きがすべての方向で同じであり、グローバルに相殺するので、フレームのグローバルな動きは０であり、結果として、このタイプの動きは、パンニングの動きを検出するアルゴリズムおよび／またはセンサーによって検出され得ない。しかしながら、ビデオキャプチャデバイスの入力センサーユニットにおける１つまたは複数の動きセンサー（たとえば、加速度計）は、この動きを検出し、この動きに関する情報を動きおよびＡＦユニットへ送ることができる。動きが動きセンサーによって検出される場合（３１２）、動きおよびＡＦユニットは、顔が、動き中にキャプチャされたフレームにおいて検出されるかどうかを決定し得る（３１４）。顔が検出されない場合（３１４）、再焦点合わは、動き中に必要でなく、動きおよび他のカメラパラメータを使用して、ぼけ度を決定するために、ぼけ度の指示（indication）がぼけ度ユニットへ送られ得る（３１８）。動きが停止するとき、ＣＡＦが、再焦点合せするためにトリガされ得、ＣＡＦ中のぼけ度が、（３０８）の場合と同じように推定され得る。図４Ｅに示すように、動き中に、顔が検出される場合（３１４）、検出された顔に関連付けられたパラメータを使用して、焦点レンズが直接的に調整されてもよく、ぼけ度が、顔に焦点が合うように調整されたレンズ位置に基づいて推定され得る（３１６）。顔が検出されるフレームについてのＡＦプロセスについては、図８を参照しながら以下でより詳細に説明する。

[0073]パンニングの動きがなく、動きセンサーが動きを検出しない場合、動きおよびＡＦユニットは、光学ズーミングが行われているかどうかを決定することができる（３２０）。ビデオキャプチャデバイスが、図４Ｆに示すようにズーミングを開始するとき、視野が変化し、ぼけ度がズーミングプロセス中に生じ得る。ビデオキャプチャデバイスは、たとえば、ズーミング率など、利用可能な光学ズーミング情報を利用して、ズーミング中にキャプチャされたフレームにおけるぼけ度を決定し得る（３２２）。ズーミング中にキャプチャされたフレームについてのＡＦプロセスについては、図９を参照しながら以下でより詳細に説明する。

[0074]動きおよびＡＦユニットは、たとえば、フレーム内の被写体の動き、他のアクティビティの結果としてのグローバルな動きなど、他のソースからのぼけ度を検出することができる（３２４）。この場合、動きおよびＡＦユニット（たとえば、動きおよびＡＦユニット１０６または２０６）は、キャプチャされたフレームにおけるぼけ度の検出を示すことができ、ぼけ度ユニット（たとえば、ぼけ度ユニット１０８または２０８）に、ぼけ度ユニットがぼけ度を推定するために利用することができるパラメータを提供することができる（３２６）。たとえば、動きおよびＡＦユニットは、ぼけ度ユニットがぼけ度を推定するために利用することができる、動きおよび他のカメラパラメータを提供することができる。

[0075]上記で説明した動きの例の各々では、ぼけ度ユニットは、適切なパラメータを使用して、キャプチャされたフレームにおいてぼけ度を推定することができる。ぼけ度ユニットは、次いで、推定されたぼけ度レベルをビデオ符号器に提供することができ、ビデオ符号器は、推定されたぼけ度を利用して、符号化レートを向上し得る。上記の例の各々においてぼけ度を推定することについて、以下でより詳細に説明する。

[0076]図５は、本開示の技法を実装するビデオ符号化システム５００の一例を示すブロック図である。図５に示すように、システム５００は、ぼけ度ユニット５０８およびＱＰ再調整ユニット５１２に加えて、ビデオ符号器５１０を含む。ぼけ度ユニット５０８は、図１のぼけ度ユニット１０８または図２のぼけ度ユニット２０８の一例であり得る。一例では、ぼけ度ユニット５０８および／またはＱＰ再調整ユニット５１２は、ビデオ符号器５１０の一部であり得る。この例では、ビデオ符号器５１０は、図１のビデオ符号器１１０の一例であり得る。別の例では、ぼけ度ユニット５０８および／またはＱＰ再調整ユニット５１２は、ビデオ符号器５１０の一部でなくてもよい。ビデオ符号器５１０は、本開示の技法を実装する要素に加えて、従来のビデオ符号器の要素を含む。ビデオ符号化システム５００は、たとえば、図１のビデオキャプチャデバイス１０２または図２のビデオキャプチャデバイス２０２など、ビデオキャプチャデバイスによってキャプチャされたビデオフレームを符号化することができる。Ｆ（ｎ）５０２は、ビデオ符号器が符号化のために処理中である現在のフレームを表し得る。

[0077]その通常の動作中、すなわち、フレームに焦点が合っており、再焦点合せがビデオキャプチャデバイスにおいて行われていない間、または、フレームにおけるぼけ度の指示がないとき、ビデオ符号器５１０は、ビデオ符号器５１０がフレーム間予測モードで動作中である場合、動き推定を現在のフレーム上で行うことができる。代替的に、ビデオ符号器５１０は、フレーム内予測モードで動作中である場合、フレーム内予測を現在のフレーム上で行うことができる。選択器５３２を使用して、ビデオ符号器５１０は、フレーム間予測とフレーム内予測との間で切り替えることができる。たとえば、フレームにおいて推定されたぼけ度のレベルがあるしきい値を超える場合、ビデオ符号器５１０は、選択器５３２を使用して動き補償ユニット５１６を起動することによって、フレーム間予測モードで動作することができる。フレーム間予測モードで動作するとき、ビデオ符号器５１０は、以下でより詳細に説明するように、フレーム間予測データと現在のフレームとの間の差分を表す残差データに加えて、動き補償のために動きベクトルデータを利用することができる。

[0078]一例では、ビデオ符号器５１０は、フレーム内予測モードで動作中であり得る。フレーム内予測データが、現在のフレーム５０２から減算されて、残差データが生成され得、その結果が、たとえば、離散コサイン変換（ＤＣＴ）など、変換ユニット５２２において変換を受けて、残差データを表す変換係数を生成することができる。たとえば、変換係数など、変換されたフレームデータは、次いで、量子化ユニット５２４において量子化を受けることができる。ビデオ符号器５１０は、ある画像品質を保証するデフォルトのＱＰを有してもよく、ただし、より高度の量子化は、符号化されたフレームにおいてより多くの詳細を保持するが、より高いデータレート、すなわち、所与のフレームまたはブロックについての残差データを符号化するために割り振られたより多数のビットを生じる。量子化されたフレームデータは、次いで、さらなる圧縮のために、エントロピーコーディングユニット５２６を通過することができる。量子化されたフレームは、逆量子化ユニット５３０と逆変換ユニット５２８とにフィードバックされ得、フィルタ処理されていない信号を取得するために、フレーム内予測ユニット５１８からの結果と結合することができる。フィルタ処理されていない信号は、デブロッキングフィルタ５２０を通過することができ、それによって再構成されたフレーム、Ｆ（ｎ）を生じ、Ｆ（ｎ）は、他のフレームを符号化するための参照フレームとして使用され得る。

[0079]一例では、たとえば、ビデオカメラなどのビデオキャプチャデバイスの、たとえば、図１の入力センサーユニット１０４、もしくは図２の入力センサーユニット２０４などの入力センサーが、新しい注目する被写体が、キャプチャされているシーンに入って来るときを検出することができ、または、ユーザが、異なる被写体もしくは異なるシーンをキャプチャするために、入力センサーの方向を変更し、または、キャプチャされたフレームにおいて動きを生じる機能がトリガされる。新しい被写体または動きを検出することは、ビデオキャプチャデバイスに、新しい被写体への焦点を再確立するために再焦点合せを開始させること、または、再焦点合せが必要とされない場合、キャプチャされたフレームにおいてぼけ度を検出させることができる。再焦点合せが行われる例では、再焦点合せは、（たとえば、ＣＡＦ中に）所望の焦点が達成されるまで、または、機能（たとえば、ズーミング、顔検出）に関連付けられたパラメータに基づいて決定されたレンズ位置まで、レンズ位置を調整することを必要とし得る。再焦点合せ中に、キャプチャされたフレームは、所望の焦点を有していないことがあり、結果としてぼやけることがある。ビデオ符号化システム５００は、ぼやけたフレームのための符号化データレートを低減し、かつ／または、ぼやけたフレームに適用される符号化アルゴリズムを簡略化するために、フレームのぼけ度を活用し得る。

[0080]本開示の技法によれば、ビデオキャプチャデバイスまたはビデオ符号器５１０内にあってもよい、ぼけ度ユニット５０８は、フレームＦ（ｎ）のぼけ度Ｂ（ｎ）を推定し得る。ぼけ度ユニット５０８は、推定されたぼけ度レベルをＱＰ再調整ユニット５１２へ送り、そこで、ＱＰ値は、上記で説明したように、推定されたぼけ度レベルに基づいて再調整される。一例では、ＱＰ再調整ユニット５１２は、ビデオキャプチャデバイス内にあってもよい。別の例では、ＱＰ再調整ユニット５１２は、ビデオ符号器５１０内にあってもよい。ＱＰ再調整ユニット５１２は、推定されたぼけ度レベルに基づいて、ＱＰ値を再調整し得る。ビデオ符号器５１０は、他の要因にさらに基づいて、ＱＰ値を再調整することができる。

[0081]ぼけ度ユニット５０８は、推定されたぼけ度レベルをビデオ符号器５１０へ送ることができ、そこで、フレームぼけ度評価ユニット５１４が、推定されたぼけ度レベルＢ（ｎ）をしきい値と比較して、簡略化された符号化アルゴリズムを実行するかどうかを決定する。図５が示すように、Ｂ（ｎ）がしきい値を上回る場合、ぼけ度評価ユニット５１４は、簡略化された符号化アルゴリズムを使用するために、信号を動き推定ユニット５１０へ送る。一例では、符号化の簡略化は、たとえば、動き推定ブロック探索において、サブピクセル補間を必要としないか、またはより低いサブピクセル補間（たとえば、１／４以下の代わりに、１／２）を必要とするように、ピクセル精度レベルを調整することを含み得、それによって、コーディングされるべきデータの量を低減できる。たとえば、推定されたぼけ度レベルがしきい値を超える場合、ビデオ符号器５１０は、分数ピクセル精度動き推定探索の代わりに、整数ピクセル精度動き推定探索を選択的に起動し得る。この例では、参照フレーム内で分数ピクセルを補間するために、計算リソースを費やす代わりに、ビデオ符号器５１０は、整数ピクセル精度と、補間を行わないこととに依存し得る。整数ピクセル精度を使用することによって、ビデオ符号器５１０は、分数ピクセル精度を使用して選択されたブロックよりも正確ではない予測ブロックを選択し得る。すでにぼやけているフレームでは、しかしながら、低減された精度は、画像品質に実質的に影響を及ぼし得ない。したがって、整数精度は、許容可能であり得る。サブピクセル補間を行う必要をなくすことによって、ビデオ符号器５１０は、より少ない計算を行い、それによって、電力など、より少ないシステムリソースを使用する結果となり、符号化中の処理時間とレイテンシとを短縮する。

[0082]別の例では、符号化の簡略化は、動き推定のために、フレーム内でより大きいブロックを使用することによって、ブロック区分レベルを調整することを含み得る。たとえば、Ｈ．２６４規格では、フレームは、１６×１６、８×１６、１６×８、８×８、８×４、４×８、および４×４のサイズのブロックへの区分であり得る。たとえば、推定されたぼけ度レベルがしきい値を超える場合、ビデオ符号器５１０は、動き推定探索のために、たとえば、１６×１６など、より大きいブロック区分を選択し得る。この例では、各フレームがより少ないブロックから構成されるようになり、したがって、より少ない動きベクトルがそのフレームについて符号化されるようになるので、ビデオ符号器５１０は、よりぼやけたフレームを符号化するために、よりぼやけていないフレームを符号化するときよりも少ないブロックを使用する。より大きいブロック区分と、したがって、フレームごとにより少ないブロックとを使用することによって、ビデオ符号器５１０は、より少ない動きベクトルを符号化し、それによって、より少ないシステムリソースを使用する結果となる。

[0083]さらに別の例では、符号化の簡略化は、スキップモードで動作することを含んでもよく、そこで、ビデオ符号器５１０は、フレームを符号化することなしにスキップし、たとえば、ビデオ符号器５１０は、これらのフレームを破棄する。推定されたぼけ度レベルがフレームのシーケンスについてのしきい値を超える場合、ビデオ符号器５１０は、ぼけ度レベルがとても高いので、連続フレームのグループが実質的に等しく見えるようになるという仮定に基づいて、動作する。結果として、ビデオ符号器５１０は、その推定されたぼけ度レベルがあるしきい値を上回る、ぼやけたフレームのうちの１つを符号化し、他の実質的に等しいフレームの符号化をスキップすることができる。キャプチャされたビデオが後に復号かつ／または表示されるとき、１つの符号化されたフレームが、一度復号され、スキップされたフレームの代わりに表示するために繰り返され得る。スキップモードを使用することによって、ビデオ符号器５１０は、フレームのグループの代わりに１つのフレームを符号化し、したがって、ビデオシーケンスを符号化するために必要とされる計算の量を低減し、符号化中に消費される電力の量を低減する。加えて、複数のフレームの代わりに１つのフレームを符号化することは、符号化プロセス中の処理時間とレイテンシとを短縮する。ビデオ符号器５１０はまた、推定されたぼけ度レベルがしきい値を上回る場合、フレーム内の符号化ブロックとともにスキップモードを利用することもでき、そこで、ビデオ符号器５１０は、１つのブロックを符号化し、ぼけ度のレベルのために区別不可能であり得る他のブロックの代わりに、符号化されたブロックを使用する。一例では、ビデオ符号器５１０は、ＣＡＦが、再焦点合せするために採用されるとき、スキップモードを利用し得る。

[0084]Ｂ（ｎ）がしきい値を上回る場合、ぼけ度評価ユニット５１４はまた、信号を参照フレームユニット５０４へも送る。参照フレームユニット３０４は、Ｆ（ｎ）のための参照フレームを、前のフレーム、Ｆ（ｎ−１）に設定し得る。参照フレームユニット５０４は、その情報を動き補償ユニット５１６へ送り、動き補償ユニット５１６は、インター予測モードを使用して、すなわち、現在のフレームの代わりに、他のフレームからのデータを使用して、現在のぼやけたフレームにおいて動き補償を行うことができる。したがって、ぼけ度レベルＢ（ｎ）は、予測のためにインターモードとイントラモードとの間で、選択５３２を制御することができる。フレーム間予測データが、現在のフレーム５０２から減算され得、その結果は、たとえば、離散コサイン変換（ＤＣＴ）など、変換ユニット５２２において変換を受けることができる。

[0085]本開示の技法によれば、推定されたぼけ度レベルは、ＱＰ再調整ユニット５１２へ送られ得、ＱＰ再調整ユニット５１２は、ビデオ符号器内またはビデオキャプチャデバイス内にあってもよい。ＱＰ再調整ユニット５１２は、フレームにおけるぼけ度Ｂ（ｎ）の量に基づいて、ＱＰを調整する。一例では、推定されたぼけ度レベルがしきい値を上回る場合、ＱＰ値が再調整される。別の例では、フレームにおけるぼけ度のレベルが評価され、ＱＰ値が、フレームにおけるぼけ度のレベルに基づいて再調整され、ただし、再調整の量は、フレームにおけるぼけ度の重大度に比例する。

[0086]一例では、フレームにおけるぼけ度がひどくなりすぎることはなく、結果として、ＱＰの再調整が好ましくないことがある。結果として、量子化は、推定されたぼけ度レベルがしきい値を超えないとき、デフォルトのＱＰ値を使用して行われ得る。別の例では、ＱＰ再調整ユニット５１２は、推定されたぼけ度レベルＢ（ｎ）に基づいて、ある量のぼけ度がフレームにおいて存在するかどうかを決定して、推定されたぼけ度レベルがしきい値を超えるとき、ＱＰを増すことができる。ＱＰが増すにつれて、ビデオ符号化レートは低下するが、詳細の一部が失われ、画像はよりひずむようになり得る。ぼやけた画像では、画像の詳細はすでにひずんでおり、量子化レベルを増すことは、画像の品質に知覚できる影響をほとんど及ぼし得ない。ＱＰ再調整ユニット５１２は、調整されたＱＰ、ＱＰｎｅｗを、量子化ユニット５２４へ送ることができる。量子化ユニット５２４は、ＱＰｎｅｗを使用して、変換ユニット５２２から受信された、たとえば、残差データ変換係数値など、変換された残差フレームデータを量子化することができる。量子化されたフレームデータは、次いで、符号化されたデータのさらなる圧縮、記憶、または送信のために、エントロピーコーディング５２６を通過することができる。符号器は、量子化された残差変換係数データを、逆量子化ユニット５３０および逆変換ユニット５２８へフィードバックすることができ、フレーム間予測５１６からの結果と結合して、フレーム、またはフレーム内のブロックを表す、再構成されたデータを取得することができる。再構成されたデータは、デブロッキングフィルタ５２０を通過することができ、それによって、再構成されたフレーム、Ｆ（ｎ）を生じる。

[0087]図６は、本開示の技法を実装するレート制御（ＲＣ）ブロック６１０の一例を示すブロック図である。図６のレート制御ブロック６１０は、たとえば、ビデオフロントエンド（ＶＦＥ）デバイス６０２など、ビデオキャプチャデバイスによってキャプチャされたフレームにおいて推定されたぼけ度に基づいて、ビデオ符号器のレート制御を行うことができる。ＲＣブロック６１０は、たとえば、図１のビデオ符号器１１０、図２のビデオ符号器２１０、または図５のビデオ符号器５１０など、ビデオ符号化システムの一部であり得る。一例では、ＲＣブロック６１０は、図５のビデオ符号器５１０の内部に常駐し得る。別の例では、ＲＣブロック６１０の少なくとも一部分は、ビデオ符号器５１０の内部に常駐してもよく、他の部分は、ぼけ度ユニット５０８および／またはＱＰ再調整ユニット５１２の一部であってもよい。

[0088]一例では、ＲＣブロック６１０は、たとえば、動き情報など、キャプチャされたフレームに関連付けられたパラメータを含む、ＶＦＥデバイス６０２によってキャプチャされたビデオのフレームを受信することができる。ＶＦＥデバイス６０２はまた、検出された動きと、検出された動きのタイプとに基づいて、フレームにおいて検出されたぼけ度の指示を通信することもできる。動きぼけ推定器ブロック６０８は、ぼけ度推定ユニット１０８または２０８に類似していてもよく、本開示で説明するように、ＶＦＥデバイス６０２から通信された情報に基づいて、キャプチャされたフレームのぼけ度を推定することができる。キャプチャされたフレームの符号化が、次いで、推定されたぼけ度を使用して調整され得る。

[0089]動きぼけ推定器ブロック６０８は、推定されたぼけ度値を、ＱＰ再調整ユニット５１２の一部であり得る、フレームＱＰ決定ブロック６１２へ送ることができる。ＱＰ決定ブロック６１２は、以下でより詳細に説明するように、推定されたぼけ度に基づいて、対応するフレームを符号化するためのＱＰ値を調整することができる。ＲＣブロック６１０はまた、イントラまたはインターコーディングを使用して現在のフレームをコーディングするかと、適切なモードと、を決定し得るピクチャタイプ決定ブロック６１４をも備え得る。ピクチャタイプ決定ブロック６１４によって選択されたピクチャのタイプもまた、フレームを符号化するためのＱＰ値を決定するために使用され得、ただし、ＱＰは、変換ユニット５２２によって生成される残差変換係数に適用される量子化レベルを選択するために使用され得る。このＱＰ値は、ぼけ度をもつフレームについて、フレームの推定されたぼけ度に基づいて変化し得る。

[0090]ＲＣブロック６１０はまた、キャプチャされたフレームを符号化することにおいて使用されるビットレートを提供する、固定ビットレート（ＣＢＲ）または可変ビットレート（ＶＢＲ）ブロック６２０をも含み得る。ＲＣブロック６１０はまた、フレーム当たりのコード化ビットのための限界目標（たとえば、１３７００８ビット）を提供する仮説参照復号器（ＨＲＤ：hypothesis reference decoder）またはビデオバッファ検証器（ＶＢＶ）ブロック６２４をも含み得る。ＨＲＤ／ＶＢＶブロック６２４は、たとえば、Ｈ．２６４／Ｈ．２６３／ＭＰＥＧ−４／ＶＰ７などのコーデックタイプに依存し得る。ＨＲＤ／ＶＢＶブロック６２４は、復号器側のバッファサイズに基づく、コード化ピクチャバッファ（ＣＰＢ）ブロック６３６からの情報を使用して、コード化ビットのための限界目標を決定することができる。ＣＢＲ／ＶＢＲブロック６２０からのビットレートと、ＨＲＤ／ＶＢＶブロック６２４によるコード化ビットのための限界目標とが、ＧＯＰおよびフレーム目標ビット割振りブロック６１６に提供され得、ＧＯＰおよびフレーム目標ビット割振りブロック６１６は、ピクチャタイプと、ＣＢＲ／ＶＢＲブロック６２０によって生成されたビットレート制約と、ＨＲＤ／ＶＢＶブロック６２４によって提供された限界とに基づいて、現在のピクチャのための目標コード化ビットを割り振る。したがって、所与のビットレート制約（ビット／秒）では、ＲＣブロック６１０は、フレームについての目標コード化ビットを導出することができ、ただし、目標コード化ビットは、ＨＲＤ／ＶＢＶブロック６２４によって定義された制約によって制限され得る。

[0091]一例では、ＣＡＦまたはＡＦが行われない、いくつかのタイプの動きでは、ぼけ度が、再焦点合せが行われ得ない動きに基づいて検出され得る。この例では、ＶＦＥデバイス６０２は、キャプチャされたフレームに関連付けられた、グローバル動きベクトル情報と露出時間とを通信することができる。動きぼけ推定器ブロック６０８は、以下でより詳細に説明するように、ＶＦＥデバイス６０８からのグローバル動きベクトル情報と、ローカル動きベクトル情報６０４とに基づいて、グローバル動きベクトルがフレームにおいて真のグローバルな動きを示すかどうかを決定し得る。動きぼけ推定器ブロック６０８が、グローバル動きベクトルがフレームにおいて真のグローバル動きを示すと決定する場合、動きぼけ推定器ブロック６０８は、以下でより詳細に説明するように、グローバル動きベクトルと露出時間とを使用して、フレームのぼけ度を推定し得る。動きぼけ推定器ブロック６０８が、グローバル動きベクトルがフレームにおいて誤ったグローバル動きを示すと決定する場合、動きぼけ推定器ブロック６０８は、フレームにおけるぼけ度を推定し得、フレームは、フレームにおいてぼけ度が検出されないときに通常行われるように、かつＱＰ値を調整することなしに符号化され得る。

[0092]図７は、ＣＡＦプロセスと呼ばれることがある、例示的な連続自動焦点再焦点合せ（continuous auto-focus refocusing）プロセスを示す図である。本開示の一態様では、ＣＡＦ機能は、たとえば、図１のビデオキャプチャデバイス１０２または図２のビデオキャプチャデバイス２０２など、ビデオキャプチャデバイスにおいて実装され得る。ＣＡＦ再焦点合せは、パンニングの動きが検出されるとき、動きが停止すると、再焦点合せ中に利用され得る。ＣＡＦプロセスは、たとえば、機能の中でも、ＣＡＦユニット１０６Ａ（図１）または２０６Ａ（図２）によって行われ得る、コントラスト測定と探索アルゴリズムとを含み得る、受動自動焦点アルゴリズムであり得る。コントラスト測定は、キャプチャされたフレームにおける焦点ウィンドウ上でルーマ値を高域フィルタリングすることによって取得された焦点値（ＦＶ）に基づいてもよい。自動焦点アルゴリズムは、最も高いコントラストに達するとき、すなわち、ＦＶがピークに達するとき、最良または最適な焦点が達成されると決定すし得る。ＣＡＦユニットは、最良または最適な焦点がフレーム内で達成され得るように、探索アルゴリズムを実施して、最も高いか、または最も最適なコントラストに達する、すなわち、ＦＶがピークに達する方向で、レンズ位置を調整し得る。

[0093]図７に示すように、焦点値（ＦＶ）は、レンズ位置に応じてプロットされ得る。レンズ位置の範囲は、近端レンズ位置（７０２）から遠端レンズ位置（７０４）までにわたる、たとえば、ビデオカメラなど、ビデオキャプチャデバイスのレンズの範囲を表すことができる。最適な焦点におけるフレームは、ＦＶ０（７０６）のピーク焦点値を有し得る。この例では、新しい被写体がフレームに入って来て、再焦点合せプロセスを開始するためにＣＡＦユニット１０６Ａまたは２０６Ａをトリガする信号を生じ得る。その時点において、フレームの焦点値は、ＦＶ０（７０６）からＦＶ１（７０８）へ低下し得るが、レンズ位置は、まだ変化し始めていない。レンズ位置は、次いで、新しい最適またはピーク焦点値に達するまで、段階的に調整され得る。この例では、最適な焦点値は、新しいレンズ位置における、ＦＶ１０（７１０）であり得る。再焦点合せプロセス中に、ビデオキャプチャデバイスシステムは、最適な値が達成されるまで、各レンズ位置において焦点値を決定し得る。再焦点合せがトリガされるとき、探索方向、すなわち、レンズ位置が近端（７０２）に向かうべきであるか、遠端（７０４）に向かうべきであるかを決定することにおいて、探索方向は、ＦＶが増加する方向を発見することによって推定され得る。この例では、再焦点合せプロセスの第１の値は、ＦＶ１（７０８）であり得る（７０８）。次のステップで、レンズ位置は、近端（７０２）に向かい、対応する焦点値ＦＶ２（７１２）が決定され得、対応する焦点値ＦＶ２（７１２）は、この場合、ＦＶ１（７０８）よりも小さくなり得る。ＦＶ２（７１２）がＦＶ１（７０８）よりも小さいので、ビデオキャプチャデバイスシステムは、探索方向がレンズ位置の遠端（７０４）に向かい、したがって、ＦＶ２（７１２）から離れるべきであると決定する。

[0094]レンズ位置におけるあらゆる変化とともに、フレームがキャプチャされ、ＦＶ３〜ＦＶ９によって示すように、焦点値が決定される。一例では、ＦＶ１０（７１０）に達するとき、特定の数の連続するステップが、すでに達しているものよりも小さい焦点値を与えるまで、レンズ位置は、同じ方向に、この例では、遠端位置（７０４）に向かって変化し続けることができる。たとえば、ＦＶ１０（７１０）に達し、このシステムでは、余分のステップの数が３に設定され得る。結果として、レンズ位置は、あと３ステップ増加し、すべてがＦＶ１０（７１０）よりも小さいＦＶ１１と、ＦＶ１２と、ＦＶ１３とを生じ得る。ビデオキャプチャデバイスは、次いで、ＦＶ１０（７１０）が新しい最適な焦点値であると決定し、ＦＶ１０（７１０）に対応するレンズ位置に戻ることができる。

[0095]上述のように、ぼけ度レベルは、ＦＶ１（７０８）間でキャプチャされたあらゆるフレームについて、かつＦＶ１０（７１０）が新しい最良の焦点値として割り振られるまで、決定され得る。各ステップにおけるぼけ度レベルは、上記のように、すなわち、関連付けられたフレームを符号化するためにＱＰを再調整するかどうかを決定するために、および、場合によっては、ＱＰをどのくらい調整するかを決定するために利用され得る。フレームのぼけ度のレベルはまた、しきい値と比較されて、そのフレームのための符号化アルゴリズムを簡略化するかどうかを決定することもできる。ＣＡＦ再焦点合せのぼけ度推定は、パンニングの動きに関連付けられた再焦点合せ中のぼけ度推定（３０８）に対応し得る。

[0096]一例では、フレームのぼけ度レベルは、そのフレームの焦点値と先行するフレームの焦点値とに基づいて決定され得る。最初のぼけ度レベルＢ（１）は、次のように、元の焦点値、すなわち、ＦＶ０と比較して、最初の低下後、すなわち、ＦＶ０（４０６）からＦＶ１（７０８）までの焦点値変化の割合に基づいて推定され得る。

上記で説明したように、探索方向が決定されるとき、レンズは、最良の焦点位置に達するために段階的に調整され得る。このプロセス中のぼけ度は、次のように評価され得る。

ただし、Ｋは、ぼけ度レベルを、選択された範囲、たとえば［０，１］に正規化するために使用される調整可能な定数であり得る。Ｂｉは、フレームｉについての推定されたぼけ度レベルであり、ＦＶｉは、フレームｉに関連付けられた焦点値である。一例では、ＦＶ１が、再焦点合せプロセスが開始するときの初期ＦＶ値であるので、Ｋのデフォルト値は、ＦＶ１であり得る。ＫをＦＶ１に設定することによって、再焦点合せプロセス中のぼけ度レベルが初期ＦＶ値に正規化され、それによって、ぼけ度レベルを範囲［０，１］に正規化する結果となる。Ｇｉは、勾配の絶対値であり、次のように計算され得る。

ただし、ＬｅｎｓＰｉは、現在のフレームの焦点値ＦＶｉに対応するレンズ位置であり、ＬｅｎｓＰｉ−１は、前のフレームの焦点値ＦＶｉに対応するレンズ位置である。

[0097]一例では、ＦＶ_Nのピーク値が決定されるとき、再焦点合せプロセスは、終了することができ、ぼけ度は、フレームの焦点が合っていることを示すその初期値にリセットされ得る。この例では、ぼけ度がゼロにリセットされ、Ｂ_N＝０であり得る。

[0098]本開示の一例では、ＣＡＦは、フレームごとに実行しなくてもよい。再焦点合せプロセス中にフレームスキップがある場合、スキップされたフレームについてのぼけ度レベルは、前に計算されたものと同じに保たれ得る。

[0099]本開示の一態様では、上記で説明したようなぼけ度は、リアルタイムで決定されてもよく、ぼけ度レベルがビデオデータレートおよび／または符号化アルゴリズムの簡略化を制御するために利用され得る、リアルタイムまたは実質的にリアルタイムの符号化を可能にすることができる。

[00100]本開示の別の態様では、ぼけ度は、遅延とともにＣＡＦ再焦点合せ中に評価され得る。フレームｉについてのぼけ度Ｂ［ｉ］は、たとえば、次式によって示されるように、新しい焦点面のレンズ位置と、再焦点合せプロセス中の前のレンズ位置との間のレンズ位置差を評価することによって、ＣＡＦ再焦点合せプロセス中に推定され得る。

Ｎは、新しい焦点面が発見され得る、再焦点合せプロセスの終了時のレンズ位置の添字であり、ｉ＝０，．．．，（Ｎ−１）である。ｋは、調整可能な定数であり、ＬｅｎｓＰｏｓｉｔｉｏｎ［ｉ］は、新しい焦点面に関連付けられたレンズ位置であり、ＬｅｎｓＰｏｓｉｔｉｏｎ［Ｎ］は、前の再焦点合せプロセスに関連付けられたレンズ位置である。

[00101]一例では、ぼけ度レベルの値をある範囲に制限することが望まれることがあり、定数ｋの値は、定義された範囲に依存し得る。たとえば、ぼけ度レベルは、範囲［０，１］に制限されてもよく、そのような例では

ただし、ＬｅｎｓＦａｒＥｎｄは、最大レンズ位置であり、ＬｅｎｓＮｅａｒＥｎｄは、最小レンズ位置である。

[00102]ぼけ度が遅延ベースで評価され得る一例では、現在のレンズ位置から所望のレンズ位置、すなわち、最良の焦点に対応するレンズ位置までの距離は、最良の焦点位置が決定されると、より正確に評価され得る。この例では、ぼけ度は、初期位置と最良の焦点位置との間のフレームについてのみ決定され得る。ＣＡＦ再焦点合せプロセス中に、ぼけ度は、フレームごとに、各探索ステップにおいて評価され得る。

[00103]図８Ａから図８Ｃは、顔検出に関連付けられた自動焦点再焦点合せ（auto-focus refocusing）プロセスを示すグラフィカル表現である。上述したように、いくつかのタイプの動き中に、図４Ｃに示したように、顔がフレームにおいて検出されない限り、再焦点合せが必要でなくてもよい。顔が検出されるとき、レンズは、検出された顔に関連付けられたパラメータを使用して調整され得る。典型的には、キャプチャされた顔サイズは、被写体距離に反比例し、ここで、被写体は検出される顔である。この関係は、ビデオキャプチャデバイスに関連付けられた固定焦点距離ｆに基づく。したがって、顔サイズを知ることによって、焦点を実現するために必要とされるレンズ調整値が、計算を使用して取得され得る。このようにして、上記で説明したような、ＣＡＦにおいて使用されるＡＦ探索の試行錯誤法は、必要なくなり得る。

[00104]顔が検出されるとき、ＡＦ機能は、再焦点合せを開始し得る。被写体の距離（たとえば、図８Ａにおけるｄ２またはｄ２’）は、顔サイズと、レンズに関連付けられた距離と、キャプチャされている被写体または顔のサイズとを使用して計算され得る。顔サイズＦｓ（たとえば、図８ＡにおけるＳ１またはＳ１’）は、フレームサイズと、キャプチャされたフレームにおいて顔によって占有されたスペース量とに基づいて決定されてもよく、画像センサーによって測定されてもよい。距離ｄ１またはｄ１’は、顔に関連付けられたカメラ内の距離、またはレンズ長であり得る。一例では、平均的な人間の顔サイズＳ２が、計算において使用され得る。上記の比例関係に基づいて、

である場合、被写体の距離（ｄ２またはｄ２’）は、次のように決定され得る。

[00105]計算された被写体距離、ｄ２は、次いで、焦点を実現するために適切なレンズ位置を決定するために使用され得る。一例では、ｄ２は、初期被写体距離であり得、ｄ２’は、顔に接近する、したがって、再焦点合せを開始する、カメラの動きの後の新しい被写体距離であり得る。上記の式を使用して、ｄ２’が計算され得、被写体距離における変化は、レンズ位置不整合を決定するために使用され得る。

[00106]図８Ｂは、０から無限大までの、レンズに対する被写体距離の異なる範囲のグラフィカル表現を示す。ｄ２’がどの範囲に分類されるかに基づいて、対応するレンズ位置が選択され得る。レンズ位置は、次いで、対応するレンズ位置に調整され得、その調整は、レンズが開始位置（たとえば、ｄ２に対応するレンズ位置）から終了レンズ位置（たとえば、ｄ２’に対応するレンズ位置）まで行くために、いくつかのステップを必要とし得る。ステップの数は、レンズ位置不整合によって変動することがあり、対応する終了レンズ位置と焦点とを実現するために、レンズが通過するレンズ調整のステップの数に対応し得る。加えて、各ステップのサイズは、（図８Ｃに示すように）所定の関係に従って変動することがあり、各ステップは、０と１との間の値Ｋに対応し得る。以下の表１は、ｄ２が分類される範囲［Ｒ_N，Ｒ_N+1］に基づいて、被写体距離ｄ２に対応するレンズ位置と、ステップの数と、値Ｋとを決定するために使用され得る、例示的なルックアップテーブルを示す。

[00107]特定の計算された被写体距離ｄ２が与えられれば、ｄ２が分類される被写体距離範囲が決定され得る。焦点を実現するための対応するレンズ位置Ｌ（ｄ２）が決定され得、レンズ位置に達して再び焦点が合うためのステップの数Ｎ（ｄ２）が決定され得る。レンズ位置に達するためのレンズ位置間の各ステップのサイズは、同じであり得、対応する曲線（たとえば、図８Ｃ）と値Ｋとにマッピングされ得、ここで、Ｋは、０と１との間の値であり得る。

[00108]一例では、対応するレンズ位置に達するまで、フレームが各ステップにおいてキャプチャされ得る。したがって、各フレームは、検出された顔サイズ、Ｆｓに応じて、対応するＫ値を有し得る。ぼけ度は、次のように、顔検出のためのＡＦ中に各フレームについて推定され得る。

Ｋ_iは、上述したように、０と１との間の値である。したがって、ぼけ度レベルＢ_iもまた、範囲［０，１］における値であり得る。顔が検出されるときのＡＦ再焦点合せ中のぼけ度推定は、ぼけ度推定（３１６）に対応し得、ぼけ度ユニット１０８、２０８、５０８、または６０８によって生成され得る。

[00109]１つの例示的な例では、平均的な人間の顔サイズ、Ｓ₂は、０．２０ｍであると仮定され得る。カメラビューでは、顔の元のサイズ、Ｓ₁（ｏｒｇ）は、０．０００３ｍであり得る。カメラが顔のより近くに移動するにつれて、検出される顔のサイズ、Ｓ₁（ｆｉｎａｌ）は、０．０００６ｍであり得る。ｄ₁＝０．００６ｍ、ｆ＝０．００１ｍである場合、カメラからの距離、ｄ₂は、ｄ₂（ｏｒｇ）＝Ｓ２×ｄ１／Ｓ１（ｏｒｇ）＝０．２＊０．００６／０．０００３＝４ｍから、ｄ２’＝Ｓ２×ｄ１’／Ｓ１’まで変化し、ここで、ｄ１’は、式１／ｄ２’＋１／ｄ１’＝１／ｆを使用して取得され、ｄ２’＝０．３３４ｍを生じ得る。ルックアップテーブルを使用すると、一例では、
被写体距離範囲［Ｒ１，Ｒ２）＝［１０ｍ，２ｍ）
［Ｒｉ，Ｒ（ｉ＋１））＝［１ｍ，０．５ｍ）
範囲内で被写体のための焦点を実現するためのレンズ位置
［Ｒ１，Ｒ２）は、Ｌ１＝３６である
［Ｒ２，Ｒ３］は、Ｌ２＝６である
レンズ位置変化は、Ｌ１−Ｌ２＝３０ステップである
焦点を再度実現するためのステップ数：Ｎ１＝５
各ステップサイズ：ステップ１＝８、ステップ２＝６、ステップ３＝６、ステップ４＝５、ステップ５＝５
各ステップについて測定された正規化されたＦＶ：ｋ１＝０．１、ｋ２＝０．３、ｋ３＝０．６、ｋ４＝０．８、ｋ５＝１．０、正規化されたＦＶが１．０に達するとき、再焦点合せが実現される。

各ステップ変化について、ぼけ度が、上記の式に従って推定され得る。

Ｂ１＝１．０−ｋ１＝０．９；Ｂ２＝１．０−ｋ２＝０．７；Ｂ３＝１．０−ｋ３＝０．４；Ｂ４＝１．０−０．９＝０．２；Ｂ５＝１．０−１．０＝０
推定されたぼけ度が０に達するとき、それは、フレームの焦点が再度合うことを示す。

[00110]図９Ａから図９Ｂは、ズーミングに関連付けられた自動焦点再焦点合せプロセスを示すグラフィカル表現である。上述したように、ズーミング中に、ズーミング率Ｚ_fに関連付けられたパラメータを使用して、レンズを調整することによって、再焦点合せが実現され得る。レンズ位置不整合率Ｍは、図９Ａが示すように、初期ズーム率Ｚ_iから所望のズーム率Ｚ_fまでの変化に基づいて決定され得る。レンズに関連付けられた各ズーム率は、被写体距離に基づいた対応するレンズ位置不整合曲線を有し得る。ある距離において、レンズ位置不整合率Ｍは、ズーム率Ｚ_iおよびＺ_fの各々についての、その距離におけるレンズ位置不整合値間の差であり得る。ルックアップテーブルを使用すると、特定のレンズ位置不整合率Ｍについて焦点を実現するために、ステップの数はＮである。焦点を実現するためのＮ個のステップのうちの各ステップは、所望のズーミング率に関連付けられ、かつ正規化された曲線（図９Ｂ）に基づいて、ステップ値Ｋに対応し得、したがって、値Ｋは、範囲［０，１］内である。以下の表２は、レンズ位置不整合Ｍに対応する、ステップの数Ｎと、ステップの各々についての値Ｋとを決定するために使用され得る、例示的なルックアップテーブルを示す。

[00111]一例では、対応するズーム位置に達するまで、フレームが各ステップにおいてキャプチャされ得る。したがって、各フレームは、ズーム率に応じたＫ値を有してもよく、Ｋは、ズーム率Ｚ_fに関連付けられたレンズ位置不整合率をカバーするために必要とされるＮ個のステップに対応する。ぼけ度は、次のように、ズーミングのためのＡＦ中に各フレームについて推定され得る。

Ｋ_iは、上述したように、０と１との間の値である。したがって、ぼけ度レベルＢ_iもまた、範囲［０，１］における値であり得る。ズーミングが検出されるときのＡＦ再焦点合せ中のぼけ度推定は、ぼけ度推定（３２２）に対応し得、ぼけ度ユニット（たとえば、ぼけ度ユニット１０８、２０８、５０８、または６０８）によって生成され得る。

[00112]１つの例示的な例では、ズーム率Ｚ_f＝２である。対応するレンズ位置不整合は、Ｍ１＝５であり得る。ルックアップテーブルを使用すると、焦点位置に戻るためのステップの数は、Ｎ１＝３であり、対応するステップサイズは、ステップ１＝２（レンズ位置ステップサイズ）、ステップ２＝２、ステップ３＝１であり、各ステップについて測定された正規化されたＦＶは、Ｋ１＝０．４、Ｋ２＝０．８、Ｋ３＝１．０であり得る（１のＫ値は、ピークＦＶまたは焦点が合ったことを示し得る）。上記のぼけ度推定式を使用すると、各ステップにおいて推定されたぼけ度レベルは、次のようになり得る。

ただし、Ｋｉ（Ｚｆ）は、ＫｉがＺｆの関数であることを表す。

[00113]再び図４Ａから図４Ｂを参照すると、いくつかのタイプの動きがぼけ度を生じ得、そこではＡＦは行われない。たとえば、被写体の動きおよび／またはカメラの動きなど、動きに基づいたぼけ度推定は、検出された動きに関連付けられた動きベクトルを決定することを必要とし得る。このぼけ度推定は、パンニングの動き中の動きに対応するぼけ度推定（３１０）と、被写体の動きを含み得る、図４Ｃから図４Ｄに示す動きに対応するぼけ度推定（３１８）と、被写体の動きおよび／またはカメラの動き（たとえば、パンニングまたはハンドジッタ）に対応するぼけ度推定（３２６）とに対応し得る。

[00114]図４Ａに示すような被写体の動きは、ローカルな動きに対応し得、動き推定アルゴリズムを使用して推定され得る。図４Ｂに示すようなデバイスの動きは、グローバルな動きに対応し得、たとえば、加速度計など、ビデオキャプチャデバイスの入力センサーユニットにおける動きセンサーを使用して推定され得る。フレームに関連付けられた全体の動きは、動きに関連付けられた変位の量を示す、動きベクトル（ＭＶ）を使用して、推定かつ量子化され得る。フレームに関連付けられた全体の動き、ＭＶは、次のようになり得る。

ただし、ＭＶ_deviceは、たとえば、パンニングまたはハンドジッタのようなイベントの結果としてのデバイスの移動を示す。一例では、グローバルな動き、ＭＶ_globalが、ＭＶ_deviceを推定または表すために使用され得る。ＭＶ_objectは、キャプチャされたフレーム内の被写体移動を示す。

[00115]一例では、グローバルおよび／またはロケーション動きから生じるフレームのぼけ度の推定は、３つの主要なパラメータである、露出時間と、フレームレートと、グローバルＭＶおよび／またはローカルＭＶとを利用することができる。上述したように、図４Ａを参照すると、動きぼけは露出時間に関係し、そこで、より長い露出時間がより大きいぼけを引き起こす。図４Ａが示すように、被写体４０６が、露出時間中に、すなわち、フレーム４０２がビデオキャプチャデバイスによってキャプチャされている間に移動する場合、被写体４０６は、背景と重なり、ぼやけた領域４０８を生じ得る。移動が露出中に高速である場合、すなわち、デバイスが露出時間中に移動し、被写体４０６の位置をフレーム内で、あるフレームから次へと変化させる場合、たとえば、フレーム４０２および４０４などの２つのシーンが重なり、ぼけを生じる。

[00116]一例では、動きぼけを推定するために使用されるパラメータは、ビデオキャプチャデバイスから取得されてもよく、それによって、ビデオ符号器においてオーバーヘッドがほとんど生じない。上述したように、ぼけ度は、露出時間と、デバイスの移動の量に関係し得るグローバル動きベクトルとに比例し得る。加えて、より高いフレームレートは、所与のＭＶについてより高速なパンニング速度を暗示し、したがって、より大きいぼけ度を生じるので、ぼけ度は、フレームレートに比例する。ぼけ度を決定するために、動きの速度ｖは、次のように決定され得る。

ただし、ｍｖは、象限ピクセル（quad-pixel）動きベクトルであり、ｐは、インチ／象限ピクセルであり、ｆは、フレームレートである。ぼけ度Ｂは、次のものに比例する。

ここで、αは、ビデオキャプチャデバイスに関連付けられた露出時間である。結果として、フレームのぼけ度は、所与の露出時間、フレームレート、およびグローバルＭＶについて、次のように推定され得る。

[00117]ＭＶを決定することにおいて、グローバルな動きとローカルな動きとが考慮され得る。グローバルな動きは、グローバル動き推定器を使用して、ビデオキャプチャデバイスにおいて決定され得る。たとえば、グローバル動き推定器は、イメージスタビリゼーション（image stabilization）のためにグローバルＭＶを決定することができるデジタルイメージスタビリゼーション（ＤＩＳ）ユニットであり得る。フレームにおいて、（図４Ｂにおいて点線によって示す）フレームにおける大きい被写体のローカルな動き、４つのエッジの動きは０に近いのでローカルＭＶは小さくなり得るが、グローバルＭＶは、大きい被写体４１０の動きに基づいて大きくなり得る。この場合、大きいグローバルＭＶは、真のグローバルな動きを表し得ず、その理由は、それが、フレーム内の動きの結果であり、ハンドジッタまたはパンニングの動きの結果となるようなフレーム全体の動きではないからである。大きいグローバルＭＶが真のグローバルな動きを表さないと決定される場合、ぼけ度は、そのフレームについて推定されなくてもよく、その理由は、たいがい、１つの被写体４１０が移動する例におけるように、そのフレームの一部分のみがぼけ度を含み、画像中の他のあらゆるものの焦点が合ったままであり、ぼやけていないからである。真のグローバルな動きにおいては、ローカルＭＶとグローバルＭＶの両方が大きいはずであり、そこで、被写体４１０の動きおよび４つのエッジは、大きい値を有する。したがって、フレームについてのぼけ度を推定するとき、グローバルＭＶのソースが信頼できない場合、グローバルＭＶにより正確さを加えるために、ローカルＭＶが決定され、使用され得る。たとえば、グローバルＭＶが、信頼されるセンサー（たとえば、ジャイロスコープまたは加速度計）を使用して決定される場合、ローカルＭＶ情報は必要でなくてもよい。別の例では、グローバルＭＶが、動き推定器アルゴリズムを使用して決定される場合、正確なグローバルＭＶを保証するために、ローカルＭＶを決定することが有用であり得る。

[00118]ローカルＭＶは、他の符号化のために利用され得る符号器における動き推定を使用して決定され得、したがって、ローカルＭＶを決定することは、追加の計算または複雑性を符号器にもたらし得ない。上述したように、グローバルＭＶは、ビデオキャプチャデバイスにおいて決定され得る。グローバルＭＶが信頼されない（たとえば、動き推定器アルゴリズムによって決定される）場合、ローカルＭＶとグローバルＭＶの両方が、しきい値と比較されて、真のグローバルな動きがフレームにおいて存在するかどうかが決定され得る。真のグローバルな動きがフレームにおいて存在する場合、ぼけ度は、上述したように、ＭＶを使用して推定され得る。真のグローバルな動きがフレームにおいて存在しない（たとえば、フレーム内の大きい被写体の動きである）場合、ぼけ度は局地的であり得、ぼけ推定が行われなくてもよく、その理由は、フレーム全体が、フレームを符号化するためにＱＰを調整するためにぼけ度を使用することを正当化するために十分なぼけを有し得ないからである。

[00119]図１１は、本開示の技法による、動きぼけ度を推定する一例を示す。図１１の例では、ビデオキャプチャデバイスの一部であり得る、カメラモジュールは、たとえば、露出時間を含む、キャプチャされたフレームに関連付けられたパラメータを提供し得る（１１０２）。たとえば、デジタルイメージスタビリゼーションなど、ビデオキャプチャデバイスにおけるアルゴリズムを実行する別のモジュールまたはプロセッサは、キャプチャされたフレームに関連付けられたグローバルＭＶを決定し得る（１１０４）。グローバルＭＶおよび露出時間が、ぼけ度ユニット（たとえば、ぼけ度ユニット１０８または２０８）に提供され得る。グローバルＭＶのソースが完全に信頼されるとは限らない場合、上述したように、フレームに関連付けられたローカルＭＶが、動き推定器からオプションで取得され得る（１１０６）。ローカルＭＶとグローバルＭＶの両方が、各々に関連付けられた、あるしきい値を超えるかどうかの決定が行われ（１１０８）、グローバルＭＶが真のグローバルな動きを示すかどうかが決定され得る。加えて、しきい値との比較はまた、動きの量が、フレームにおけるぼけ度のしきい値レベルを示し得るある量を超えるかどうかをも示し得る。一例では、グローバルＭＶのソースが信頼され得（たとえば、ジャイロスコープまたは加速度計）、ローカルＭＶが、グローバルＭＶが真のグローバルな動きを示すかどうかを決定するために必要とされなくてもよい。この例では、グローバルＭＶがグローバルＭＶに関連付けられたしきい値を超えるかどうかの決定が行われ得る（１１０８）。

[00120]ローカルＭＶおよびグローバルＭＶのうちの少なくとも１つが、対応するしきい値を超えない場合、または、グローバルＭＶのみがしきい値と比較される例では、グローバルＭＶが対応するしきい値を超えない場合、真のグローバルな動きがないか、または、フレームにおいて有意なグローバルな動きがなく、したがって、動きからのぼけ度がない。したがって、ぼけ度が決定される必要はなく、フレームは、符号器設計または規格（standard）に従って生成されるＱＰ値を使用して通常に符号化されるように、符号化され得る（１１１４）。ローカルＭＶとグローバルＭＶの両方が、対応するしきい値を超える場合、または、グローバルＭＶのみがしきい値と比較される例では、グローバルＭＶが対応するしきい値を超える場合、グローバルな動きがフレームにおいて存在し、動きぼけ度推定器を使用して、動きぼけ度が推定され得（１１１０）、動きぼけ度推定器は、上記で説明したように、グローバルＭＶと、露出時間と、フレームレートとを使用して動きぼけ度を実施し得る。推定されたぼけ度は、次いで、以下でより詳細に説明するように、それに応じてＱＰを調整する（１１１２）ために、ＱＰ決定ブロックへ送られ得る。フレームは、次いで、調整されたＱＰ値を使用して符号化され得る（１１１４）。

[00121]図１２は、本開示の技法による、動きぼけ度を推定する別の例を示す。図１２の例は、上記で説明した図１１の例と同様である。しかしながら、図１２の例におけるグローバルＭＶは、たとえば、グローバルＭＶ推定器またはセンサー（たとえば、ジャイロスコープもしくは加速度計）を使用して、カメラモジュールによって決定され得る１２０２。

[00122]図１２の例では、ビデオキャプチャデバイスの一部であり得る、カメラモジュールは、たとえば、露出時間とグローバルＭＶとを含む、キャプチャされたフレームに関連付けられたパラメータを提供し得る（１２０２）。グローバルＭＶおよび露出時間が、ぼけ度ユニット（たとえば、ぼけ度ユニット１０８または２０８）に提供され得る。グローバルＭＶのソースが完全に信頼されるとは限らない場合、上述したように、フレームに関連付けられたローカルＭＶが、動き推定器からオプションで取得され得る（１２０６）。ローカルＭＶとグローバルＭＶの両方が、各々に関連付けられた、あるしきい値を超えるかどうかの決定が行われ（１２０８）、グローバルＭＶが真のグローバルな動きを示すかどうかが決定され得る。加えて、しきい値との比較はまた、動きの量が、フレームにおけるぼけ度のしきい値レベルを示し得るある量を超えるかどうかをも示し得る。一例では、グローバルＭＶのソースが信頼され得、ローカルＭＶが、グローバルＭＶが真のグローバルな動きを示すかどうかを決定するために必要とされなくてもよい。この例では、グローバルＭＶがグローバルＭＶに関連付けられたしきい値を超えるかどうかの決定が行われ得る（１１０８）。

[00123]ローカルＭＶおよびグローバルＭＶのうちの少なくとも１つが、対応するしきい値を超えない場合、または、グローバルＭＶのみがしきい値と比較される例では、グローバルＭＶが対応するしきい値を超えない場合、フレームにおいて真のグローバルな動きがないか、または、フレームにおいて有意なグローバルな動きがなく、したがって、動きからのぼけ度がない。したがって、ぼけ度が決定される必要はなく、フレームは、符号器設計または規格に従って生成されるＱＰ値を使用して通常に符号化されるように、符号化され得る（１２１４）。ローカルＭＶとグローバルＭＶの両方が、対応するしきい値を超える場合、または、グローバルＭＶのみがしきい値と比較される例では、グローバルＭＶが対応するしきい値を超える場合、グローバルな動きがフレームにおいて存在し、動きぼけ度推定器を使用して、動きぼけ度が推定され得（１２１０）、動きぼけ度推定器は、上記で説明したように、グローバルＭＶと、露出時間と、フレームレートとを使用して動きぼけ度を実施し得る。推定されたぼけ度は、次いで、以下でより詳細に説明するように、それに応じてＱＰを調整する（１２１２）ためにＱＰ決定ブロックへ送られ得る。フレームは、次いで、調整されたＱＰ値を使用して符号化され得る（１２１４）。

[00124]上述したように、ＱＰ値は、符号化レートを向上させるために、推定されたぼけ度を使用して再調整され得る。ぼけ度が検出されるフレームでは、ぼけ度が、たとえば、パンニング、ハンドジッタ、ズーム、およびＣＡＦなど、ぼけ度を引き起こす動きまたは機能のタイプに対応する方法を使用して、上記で説明したように推定され得る。現在のフレームを符号化するためのＱＰは、フレームコンテンツの推定されたぼけ度レベルに従って、データレート節約のために再調整され得る。一例では、フレームがよりぼやけるほど、対応するフレームを符号化するために使用される量子化が減り、その理由は、より鮮鋭でないエッジ情報およびより少ない詳細（detail）がフレームにあり得るからである。いくつかの例では、量子化の程度は、ＱＰ値に比例し得る。いくつかの例では、量子化の程度は、ＱＰ値に反比例し得る。いずれの場合も、ＱＰ値が、量子化の程度を指定するために使用され得る。したがって、より低い符号化データレートが、よりぼやけたフレームのために割り振られ得る。コーディングレートにおいて得られた節約が、いくつかの例では、ぼやけていないフレーム、またはより低いぼけ度をもつフレームにより多くのコーディングビットを割り振るために、使用され得る。

[00125]ＣＡＦによって引き起こされたぼけ度の例では、ＱＰ再調整値は、次のように、ＱＰ再調整ユニット１１２（図1）または２１２（図２）によって決定され得る。

ＱＰ_maxは、特定のビデオ符号化システムにおいて可能にされる最大ＱＰ値であり得る。この例では、量子化は、たとえば、Ｈ．２６４符号化の場合のように、ＱＰ値に比例し得る。たとえば、Ｈ．２６４では、ＱＰ_max＝５１であり、
ＱＰ_i ^newは、再調整後のＦＶ_iに対応する新しいＱＰ値であり得、
ＱＰ₀ ^orgは、ビデオ符号器によってフレームを符号化するために適用されたＦＶ₀における初期ＱＰであり得、
Ｂ_iは、再焦点合せプロセス中にＦＶ_iに対応するぼけ度レベルであり得、
ａは、規格依存であり得る設定範囲内にＱＰ^newがとどまるように、システム設計に適するように定義された範囲内で選択され、かつ、ＱＰにおける変化を正規化するために使用される定数パラメータであり得る。たとえば、Ｈ．２６４では、ＱＰ値のための範囲は［０，５１］である。一例では、ａは、範囲［０，１０］内であり得、１０は、デフォルト値であり得る。ａの値は、ユーザがどのくらいのビット削減をぼやけたフレームのために実施することを望むかに基づいて、ユーザによって選択され得る。

[00126]一例では、ＱＰ再調整は、再焦点合せプロセス中に適用され得る。再焦点合せが完了するとき、ＱＰは、元のＱＰ値ＱＰ₀ ^orgにリセットされ得る。一例では、再焦点合せ中に、各新しいＱＰ値が、前に計算されたＱＰ値とは無関係に計算され得る。

[00127]別の例では、推定されたぼけ度レベルが、フレームの推定されたぼけ度について決定され得る。図１３Ａは、ぼけ度レベルを使用したＱＰ決定の一例を示す。図１３Ｂが示すように、ｎ個のぼけ度レベルが、最小ぼけ度Ｂ₀と最大ぼけ度Ｂ_n-1に基づいて定義され得る。図１３Ａを参照すると、フレームのぼけ度は、ぼけ度ユニット（たとえば、ぼけ度ユニット１０８または２０８）の一部であり得る、ぼけ度推定器１３０２によって推定され得る。推定されたぼけ度は、次いで、同じくぼけ度ユニットの一部であり得る、ぼやけレベル決定ユニット１３０４へ送られ得る。ぼやけレベル決定ユニット１３０４は、最小ぼけ度と、最大ぼけ度と、ぼけ度のレベルの数とを使用して、ぼけ度レベルを決定する（図１３Ｂ参照）。一例では、最小ぼけ度、最大ぼけ度、およびぼけ度のレベルの数は、デバイス固有であり得、上述したように、実験結果に基づいて決定され得る。ぼやけレベル決定ユニット１３０４は、対応するぼけ度レベルｋを決定するために、推定されたぼけ度が入る範囲を決定することができる。図１３Ｂが示すように、フレームの推定されたぼけ度は、Ｂ_kとＢ_k+1との間に入り得、推定されたぼけ度レベルは、ｋであり得る。推定されたぼけ度レベルは、次いで、加算器１３０６によってＱＰ_baseに加算され、次いで、ＱＰ決定ブロック１３０８において最大ＱＰと比較されて、調整されたＱＰ値が決定され得る。このプロセスは、以下によって要約され得る。

ここで、ｋは、フレームの推定されたぼけ度に関連付けられたレベルであり、ＱＰ_baseは、たとえば、ぼけ度が検出されないフレームなど、Ｎ個の前のぼやけていないフレームの平均ＱＰであり、ＱＰ_maxは、コーデックに関連付けられた最大ＱＰ値であり、たとえば、Ｈ．２６４では、ＱＰ_maxは５１である。一例では、Ｎは４であり得る。

[00128]別の例では、推定されたぼけ度の範囲、および対応するぼけ度レベルが、あらかじめ決定され、ルックアップテーブルに記憶され得る。図１３Ｃは、ルックアップテーブルを使用したＱＰ決定の一例を示す。この例では、ぼけ推定器１３２２は、フレームのぼけ度を推定することができる。推定されたぼけ度レベルｋは、推定されたぼけ度とルックアップテーブル１３２４とを使用して決定され得る。推定されたぼけ度レベルは、次いで、加算器１３２６によってＱＰ_baseに加算され、次いで、ＱＰ決定ブロック１３２８において最大ＱＰと比較されて、調整されたＱＰ値が決定され得る。

[00129]図１４は、本開示の技法を実装する、２つのビデオキャプチャデバイスモジュールをもつ例示的なシステムを示す。この例では、システム１４００は、たとえば、ビデオキャプチャデバイス１０２および２０２に類似したビデオキャプチャデバイスモジュールであり得る、２つのカメラモジュール１４０２および１４０４を備え得る。カメラモジュール１４０２および１４０４の各々は、異なる特性を有してもよく、異なる設定においてビデオデータのフレームをキャプチャすることができる。カメラモジュール１４０２および１４０４の各々は、たとえば、上記で説明したように、グローバルＭＶ、露出時間など、キャプチャされたフレームに関連付けられたパラメータを提供し得る。カメラモジュール１４０２および１４０４から出力されたキャプチャされたフレームは、構成要素の中でも動きぼけ推定器１４０６とＱＰ決定ブロック１４０８とを含み得るビデオ符号化デバイス（たとえば、ビデオ符号器１１０、２１０、または５１０）へ送られ得る。動きぼけ推定器１４０６は、ぼけ度ユニット（たとえば、ぼけ度ユニット１０８または２０８）の一部であり得る。ＱＰ決定ブロック１４０８は、ＱＰ再調整ユニット（たとえば、ＱＰ再調整ユニット１１２または２１２）の一部であり得る。

[00130]たとえば、カメラモジュール１４０２またはカメラモジュール１４０４など、キャプチャされたビデオフレームのソースに基づいて、適切なぼけ度制約が選択され得る。たとえば、ぼけ度制約１は、カメラモジュール１４０２に関連付けられてもよく、ぼけ度制約２は、カメラモジュール１４０４に関連付けられてもよい。ぼけ度制約は、たとえば、対応するカメラモジュールに関連付けられた、最小ぼけ度と、最大ぼけ度と、ぼけ度のレベルの数とを示し得る。動きが、キャプチャされたビデオフレームにおいて検出され、ぼけ度がフレームにおいて推定されるべきであるとき、動きぼけ推定器１４０６は、選択されたぼけ度制約を使用して、フレームにおけるぼけ度を推定することができる。ＱＰ決定ブロック１４０８は、次いで、上記で説明したように、推定されたぼけ度を利用して、フレームを符号化するための適切なＱＰを決定することができる。このようにして、本開示の技法は、異なるカメラモジュールとともに利用され得る。

[00131]一例では、本開示の態様は、Ｈ．２６４ビデオ符号化システムとともに使用され得る。Ｈ．２６４ビデオ符号化は、既存の規格と比較して、圧縮性能およびレートひずみ効率における著しい向上を実現している。しかしながら、たとえば、動き補償プロセスなど、いくつかの態様の符号化により計算複雑性が増大し得る。Ｈ．２６４は、１６×１６から４×４までにわたる動き補償ブロックをサポートする。レートひずみコストは、可能なブロック区分組合せの各々について計算され得る。最小レートひずみ性能を生じ得るブロック区分が、ブロック区分決定として選択され得る。動き補償プロセスでは、参照フレームは、前に符号化された１６個のフレームと同数であり得、そのこともまたシステムの計算複雑性を増大し得る。Ｈ．２６４ビデオ符号化では、１／４または１／８サブピクセル予測と同じくらい小さい予測が使用され得、補間方法が、サブピクセル値を計算するために使用され得る。

[00132]上記で説明したように、Ｈ．２６４ビデオ符号化では、ブロック区分は、図１０に示したように、任意の組合せにおいて、１６×１６（１００２）から４×４（１０１４）までにわたり得る。たとえば、８×８（１００８）ブロック区分が選択されると、各８×８ブロックは、８×４（１０１０）、４×８（１０１２）、または４×４（１０１４）の区分選択肢を有し得る。

[00133]一例では、ビデオ符号器のビデオ符号化アルゴリズムは、ぼけ度レベルに基づいて簡略化され得る。ぼけ度レベルは、上記で説明した方法のうちの少なくとも１つを使用して推定され得る。推定されたぼけ度レベルは、あらかじめ定義されたブロック区分しきい値と比較され得る。

ただし、Ｂｉは、フレームｉの推定されたぼけ度レベルであり、Ｔｈｒｅｓｈｏｌｄ＿ｂｌｏｃｋｐａｒｔｉｔｉｏｎは、それに基づいてブロック区分レベルが調整され得るしきい値である。しきい値は、たとえば、ユーザの選好またはシステム要件に従って、たとえば、［０，１］の範囲内の値になるように調整され得る。しきい値が高くなるほど、符号化アルゴリズムの簡略化をトリガするために必要とされるぼけ度レベルが高くなる。

[00134]一例では、推定されたぼけ度レベルがしきい値を超える場合、ビデオ符号器５１０（図５）は、たとえば、１６×１６（１００２）、１６×８（１００６）、８×１６（１００４）、および８×８（１００８）など、より大きいブロック区分を選択し、したがって、ビデオ符号器が所与のフレームまたはフレームのグループについて符号化するために必要とする動き補償の量を減少させることができる。より大きいブロック区分の使用は、各フレームがより大きいブロックに分割され、したがって、フレームごとにより少数のブロックを、ビデオ符号器が符号化するようになることを意味する。結果として、ビデオ符号器は、より少ない動きベクトルを符号化するようになり、結果として、たとえば、電力およびメモリなど、より少ないシステムリソースを使用するようになる。一例では、ビデオ符号器は、フレームにおけるぼけ度の重大度に基づいてブロック区分を選択することができる。たとえば、より大きいブロック区分、たとえば、１６×１６、１６×８、または８×１６が、高いレベルのぼけ度をもつフレームに対して使用されてもよく、たとえば、８×８など、わずかにより小さいブロック区分が、より低いレベルのぼけ度をもつフレームに対して使用されてもよい。ぼけ度レベルがしきい値を超える場合、たとえば、８×４、４×８、および４×４など、より小さいブロック区分が考慮から除かれてもよく、ぼけ度の重大度に基づいて、より大きいブロック区分のうちの１つが、上記で説明したように選択され得る。

[00135]別の例では、符号化アルゴリズム簡略化は、そこからビデオ符号器５１０が参照フレームを選択するフレームの範囲を制限することによって、実現され得る。参照フレーム選択に関連付けられたしきい値を使用して、ビデオ符号器５１０は、参照フレーム選択肢を、前に符号化されたフレームのみに絞り込むことができる。

ここで、Ｂｉは、フレームｉの推定されたぼけ度レベルであり、Ｔｈｒｅｓｈｏｌｄ＿ｒｅｆｅｒｅｎｃｅは、それに基づいて参照ピクチャリストが調整され得るしきい値である。ビデオ符号化では、フレームを符号化するとき、参照フレームが、動き推定のために参照ピクチャリストから選択され得る。ビデオ符号器は、最も適切な参照フレームを決定し、それを現在のフレームまで探索して、動き推定データを符号化し得る。一例では、フレームにおいて推定されたぼけ度レベルがしきい値を超える場合、ビデオ符号器は、参照ピクチャリストを、たとえば、現在のぼやけたフレームに先行するフレームなど、フレームのサブセットに制限することができる。

[00136]ぼけ度推定を利用することによって、ぼけ度レベルがあらかじめ定義されたしきい値よりも高いとき、たとえば、Ｈ．２６４における、スキップモードが通知され得る。スキップモードの選択起動はまた、符号化データレートを下げることもできる。フレームスキップモードに関連付けられたしきい値を使用して、ビデオ符号器は、スキップモードを起動するように決定することができる。

[00137]ここで、Ｂｉは、フレームｉの推定されたぼけ度レベルであり、Ｔｈｒｅｓｈｏｌｄ＿ｆｒａｍｅｓｋｉｐは、それに基づいてフレームスキップモードが起動され得るしきい値である。一例では、推定されたぼけ度レベルがフレームスキップモードについてのしきい値を超える場合、ビデオ符号器は、スキップモードを起動することができ、フレームは、符号化なしにスキップ（すなわち、廃棄）され得る。一例では、フレームスキップについてのしきい値は、たとえば、ピクセル精度レベル、ブロック区分レベル、および参照ピクチャリスト変更など、他の符号化アルゴリズム簡略化技法についてのしきい値よりも大きくなり得る。一例では、あるフレームについての推定されたぼけ度レベルは、最初にフレームスキップしきい値と比較されてもよく、ぼけ度レベルがそのしきい値を超えて、そのフレームがスキップされるべきである場合、ビデオ符号器は、そのフレームに関連付けられたいかなるものを符号化する必要もないので、ビデオキャプチャデバイスが他のしきい値との比較を行う必要がないようにしてもよい。一例では、様々なしきい値との、推定されたぼけ度レベルの比較は、簡略化アルゴリズムの進行の順序に基づいて、特定の順序で行われ得る。たとえば、参照ピクチャリストの変更は、区分ブロックレベル決定およびピクセル精度レベル決定より先に行われ得る。

[00138]別の例では、再焦点合せ中のぼけ度推定は、ビデオ符号器がぼけ除去アルゴリズムを実装し、ぼやけたコンテンツを有し得るフレームに適用するように、これらのフレームを通知するために使用され得る。ビデオ符号器は、フレームがぼやけているという決定を行う必要がなく、ぼやけたコンテンツの存在を示す信号をビデオキャプチャデバイスから受信するとき、ただ、ぼけ除去アルゴリズムを適用し得る。別の例では、推定されたぼけ度レベルは、ぼやけたフレームのために必要とされるぼけ除去の量を決定するために使用され得、そこで、ぼけ度のレベルに基づいて、ビデオ符号器は、対応するぼけ除去アルゴリズムを選択し、または、ぼけ除去アルゴリズムによって使用される対応するパラメータを定義する。このようにして、ビデオ符号器は、フレームにおけるぼけ度のレベルに従って、異なるぼけ除去レベルを適用することができる。

[00139]本開示によれば、ビデオ符号器は、ビデオキャプチャデバイスからのパラメータと情報とを使用して、ビデオフレームにおけるぼけ度の量を推定する、ぼけ度ユニットを含み得る。いくつかの例では、ビデオ符号器は、再焦点合せ統計値と他のカメラパラメータ（たとえば、ＦＶ値、レンズ位置、グローバルＭＶ、露出時間、ズームなど）へアクセスせず、したがって、再焦点合せ統計値に基づいて、フレームにおけるぼけの量を決定することが不可能であり得る。結果として、ビデオ符号器は、フレームにおけるぼけ度を決定するために、より計算集約的な計算を行う必要があり得る。本開示の態様を使用して、ビデオキャプチャデバイスは、再焦点合せおよび他の機能の間中、および、ぼけ度を引き起こす動き中に、ぼけ度レベルを推定し、ぼけ度レベルをビデオ符号器へ送るぼけ度ユニットを含み得る。本明細書で説明する例では、再焦点合せ中に、および動きが検出されるフレームにおいて、ぼけ度レベルを評価するために異なる戦略が利用され得る。一例では、ＱＰ再調整は、ビデオ符号化において、再焦点合せ中にぼけ度レベルに基づいてビデオデータレートをより良く制御かつ低下させるために使用され得る。一例では、ビデオ符号化アルゴリズム簡略化は、推定されたぼけ度を使用して改良され得る。別の例では、ビデオキャプチャデバイスは、ＣＡＦ再焦点合せによって引き起こされる、ぼやけたフレームと、それらのぼけ度レベルとを識別するために、ぼけ度を推定し得る。ビデオキャプチャデバイスは、ぼけ度情報をビデオ符号器へ送り、ビデオ符号器は、フレームコンテンツをぼけ除去するために、ぼけ除去技法を適用することができる。

[00140]本開示の一例では、説明したアルゴリズムの計算は、いくつかの要因から生じる、より少ない計算リソースを利用することができる。たとえば、ＦＶによって示されるぼけ度など、ＣＡＦ統計値は、ＡＦプロセスの一部として、ビデオキャプチャデバイス自体においてすでに処理されていることがあり、グローバルＭＶ、ズーム、および顔検出パラメータなどのパラメータは、各キャプチャされたフレームとともに利用可能であり得る。したがって、符号器において、たとえば、レンズ位置と焦点値とを計算するために、余分の計算がほとんどまたはまったく必要とされなくてもよい。また、たとえば、ぼけ度レベル推定は、計算のための定数パラメータを用いた簡単な減算と、除算と、乗算とを含み得る。さらに、たとえば、ＣＡＦ再焦点合せおよび他の機能の最中のＱＰ再調整の計算は、ビデオ符号器に対して過剰な追加の計算複雑性を必要とすることなしに、単純かつ簡単であり得、または、カメラシステムにおいて行われる場合、符号器側からいくつかの計算を減らすことができる。上記で説明した技法および方法は、ビデオ符号器において余分な計算による遅延を引き起こすことなしに、ビデオ符号器にぼやけたフレームコンテンツを知らせることにおいて有用であり得る。加えて、いくつかの状況では、上記で説明したように、動き補償の計算複雑性は、符号化データレートを効率的に低減することに加えて、遅延を引き起こすことなしにぼやけたフレームコンテンツを識別することによって、著しく低減され得る。

[00141]図１５Ａから図１５Ｃは、本開示の例示的な技法による、キャプチャされたフレームにおけるぼけ度レベルの推定値を使用するビデオ符号化の制御を示す流れ図である。図１５のプロセスは、たとえば、ビデオキャプチャデバイスまたはビデオカメラなどのフロントエンドデバイスと、たとえば、ビデオ符号器などのバックエンドデバイスとによって、ビデオシステムにおいて行われ得る。図１５のプロセスの異なる態様は、ビデオキャプチャデバイスとビデオ符号器との間に割り振られ得る。たとえば、ぼけ度推定およびＱＰ再調整は、ビデオ符号器（図１）またはビデオキャプチャデバイス（図２）において行われ得る。

[00142]一例では、図１５に示すように、ＣＡＦをもつビデオキャプチャデバイス１０２（図１）は、フレームをキャプチャし、それらをビデオ符号器１１０（図１）へ送る。ビデオキャプチャデバイスは、キャプチャされたフレームの焦点値における低下に基づいて、フレームにおいて変化が生じ、焦点ずれが生じていると決定する（１５０２）。ビデオキャプチャデバイスは、ビデオフレームをキャプチャし、キャプチャされたフレームの焦点値が低下したときを決定し、したがって、フレームにおけるぼけ度の可能性を示すことを決定する、入力センサーユニット１０４（図１）を有し得る。焦点における低下は、ビデオキャプチャデバイスのユーザが、意図的または偶発的のいずれかで、ビデオキャプチャデバイスの方向を新しい被写体またはシーンに向けて変更することに起因して、新しい被写体がシーンまたは新しいシーンに入って来るか、またはそこから出ていくか、もしくはその周囲で移動することによって、引き起こされ得る。入力センサーユニットは、キャプチャされたフレームに基づいて、フレームのＦＶを決定することができ、それを前のフレームＦＶと比較する。ＦＶが低下するとき、入力センサーユニットは、検出された低下を、ビデオキャプチャデバイス内のＣＡＦユニット１０６（図１）に通知することができる（１５０４）。示されたＦＶにおける低下に応答して、ＣＡＦユニットは、再焦点合せプロセスを開始する（１５０６）。再焦点合せプロセスは、たとえば、ＦＶのピーキングによって示されるように、ビデオキャプチャデバイスが所望の焦点を実現するまで、たとえば、レンズ位置を調整することなどのアクションを含み得る。ビデオキャプチャデバイスが再焦点合せプロセスを行っている間、キャプチャされたフレームは、焦点が外れることがあり、結果としてぼやけることがある。ビデオキャプチャデバイスは、再焦点合せプロセス中にキャプチャされた各フレームにおいて、ぼけ度レベルを推定することができる（１５０８）。

[00143]別の例では、ビデオキャプチャデバイスの入力センサーユニットは、キャプチャされたフレームにおいて動きを検出することができる（１５１６）。動きは、パンニングの動き、ズーミング、他のタイプの動き（被写体により近く、および被写体からより遠くに離れて移動する）、または他のタイプの動きの結果であり得る。検出された動きのタイプに基づいて、ビデオキャプチャデバイスは、自動焦点を行うことができ（たとえば、動き中に顔が検出される場合、もしくはズーミング中）、または、焦点合せを行うことなしにフレームを取り込むことができる（たとえば、パンニング中に移動している間）。

[00144]ビデオキャプチャデバイスまたはビデオ符号器の一部であり得る、ぼけ度ユニット１０８（図１）または２０８（図２）は、上記で説明したように、フレームのぼけ度レベルを推定するために、アルゴリズムを実施することができる。動きから生じるぼけ度の例では、自動焦点が必要とされるかどうかにかかわらず、フレームのぼけ度は、フレームごとに、上記で説明したように決定され得る。推定されたぼけ度は、次いで、ビデオ符号器がその量子化機能において利用するＱＰを再調整するために使用され得る。ＱＰは、符号器によって生成される残差変換係数値に適用される量子化の程度を制御する。符号器がより量子化を利用するとき、より大量の画像詳細が保持される。しかしながら、より量子化を使用することは、より高い符号化データレートを生じる。量子化が減るにつれて、ビデオ符号化レートは低下するが、詳細の一部が失われ、画像はよりひずむようになり得る。ぼやけた画像では、画像の詳細はすでにひずんでおり、ビデオ符号器は、画像の品質に影響を及ぼすことなしに、量子化を減らすことができる。本開示によれば、ビデオキャプチャデバイスまたはビデオ符号器は、フレームにおけるぼけ度の量に基づいて、再焦点合せプロセス中にキャプチャされたフレームについて、ＱＰをより大きい値に再調整することができる。

[00145]本開示の一例では、ぼけ度ユニットおよびＱＰ再調整は、ビデオキャプチャデバイスの一部であり得る。この例では、ビデオキャプチャデバイスは、調整されたＱＰをビデオ符号器へ送って、図１５Ｂに示すように、ビデオ符号器が行う計算の量をさらに低減することができる。この例では、推定されたぼけ度レベルに基づいて、ビデオキャプチャデバイスは、ビデオ符号器がフレームを符号化するために使用するＱＰ値を再調整する（１５１０）。ビデオキャプチャデバイスは、次いで、ビデオ符号器に、再調整されたＱＰと推定されたぼけ度レベルとを通信する（１５１２）。ビデオ符号器は、次いで、上記で説明したように、量子化のために、再調整されたＱＰ値を利用し、いくつかの符号化アルゴリズムを簡略化するために、推定されたぼけ度レベルを利用する。

[00146]本開示の別の例では、ぼけ度ユニットおよびＱＰ再調整は、ビデオ符号器内にあってもよく、図１５Ｃに示すように、フレームに関連付けられたパラメータをビデオ符号器に通信する（１５１４）。この例では、ビデオ符号器は、ぼけ度を推定し、推定されたぼけ度レベルに基づいて、ＱＰを再調整し、量子化のために、再調整されたＱＰを利用する。ビデオ符号器はまた、上記で説明したように、いくつかの符号化アルゴリズムを簡略化するために、推定されたぼけ度レベルを利用することもできる。

[00147]図１６は、本開示の態様による、符号化アルゴリズムを簡略化するためにぼけ度レベルの推定値を使用するビデオ符号化を示す流れ図である。たとえば、図１のぼけ度ユニット１０８または図２のぼけ度ユニット２０８など、ぼけ度ユニットは、上記で説明したように、キャプチャされたフレームのぼけ度レベルを推定することができる。ぼけ度ユニットは、推定されたぼけ度レベルを、たとえば、図１のビデオ符号器１１０または図２のビデオ符号器２１０など、ビデオ符号器に提供することができ、ビデオ符号器は、符号化アルゴリズムを簡略化するために、推定されたぼけ度レベルを利用することができる。ビデオ符号器は、異なる符号化アルゴリズムに関連付けられたしきい値との比較に基づいて、ビデオ符号器が決定することができる、フレームにおけるぼけ度のレベルに基づいて、符号化アルゴリズムを簡略化することができる。一例では、ビデオ符号器は、推定されたぼけ度レベルを、フレームスキップモードに関連付けられたしきい値と比較する（１６０２）。推定されたぼけ度レベルが、フレームスキップモードについてのしきい値を超える場合、ビデオ符号器は、スキップモードを起動し（１６０４）、フレームは、符号化なしにスキップされ得、その理由は、ぼけ度レベルが大変高いので、連続フレームのグループが実質的に等しく見えるようになるという仮定に基づいて、ビデオ符号器が動作するからである。結果として、ビデオ符号器は、ぼやけたフレームのうちの１つを符号化し、他の実質的に等しいぼやけたフレームを符号化することをスキップすることができる。スキップモードが起動され、従ってフレームがスキップされる場合、フレームは符号化されなくてもよく、したがって、ビデオ符号器は、他の符号化アルゴリズム簡略化に関する決定を行うことを進める必要がなくてもよい。

[00148]推定されたぼけ度レベルがフレームスキップモードについてのしきい値を超えない場合、ビデオ符号器はスキップモードを起動せず、続いて、参照ピクチャリストを調整するかどうかを決定し得る。一例では、ビデオ符号器は、推定されたぼけ度レベルを、参照フレームに関連付けられたしきい値と比較する（１６０６）。推定されたぼけ度レベルがしきい値を超える場合、ビデオ符号器は、参照ピクチャリストを、たとえば、現在のぼやけたフレームに先行するフレームなどのフレームのサブセットに制限し（１６０８）、続いて、動き推定のためのブロック区分サイズを決定する。推定されたぼけ度レベルがしきい値を超えない場合、ビデオ符号器は、既存の参照ピクチャリストを利用し、続いて、動き推定のためのブロック区分サイズを決定する。

[00149]一例では、ビデオ符号器は、推定されたぼけ度レベルを、区分ブロックに関連付けられたしきい値と比較する（１６１０）。推定されたぼけ度レベルがしきい値を超える場合、ビデオ符号器は、動き推定を符号化するためにより大きいブロック区分を利用する（１６１２）。たとえば、Ｈ．２６４では、符号化は、１６×１６、８×１６、１６×８、８×８、４×８、８×４、および４×４のサイズのブロック区分を利用する。ぼやけたフレームに対して、ビデオ符号器は、たとえば、１６×１６、８×１６、および１６×８など、より大きい区分を利用して、動き推定を実施し、したがって、より少ない動きピクチャの符号化を必要とすることができる。ビデオ符号器は、続いて、動き推定のためのピクセル精度を決定し得る。推定されたぼけ度レベルがしきい値を超えない場合、ビデオ符号器は、その通常の実装形態によるブロック区分を利用し、続いて、動き推定のためのピクセル精度を決定し得る。一例では、フレームがぼやけたコンテンツを含むとき、ぼけ度のレベルが決定され、ぼけ度の重大度に基づいて、ブロック区分がそれに応じて決定され、そこで、より大量のぼけ度に対してより大きい区分ブロックが利用される。

[00150]一例では、ビデオ符号器は、推定されたぼけ度レベルを、動き推定において使用されるピクセル精度に関連付けられたしきい値と比較する（１６１４）。推定されたぼけ度レベルがしきい値を超える場合、ビデオ符号器は、動き推定を実施するためのピクセル精度を調整し（１６１６）、そこで、ぼやけた画像に対してより大きいピクセル精度が利用され、したがって、より少ない計算を必要とすることができる。一例では、ビデオ符号器は、整数ピクセル精度を利用し、それによって、動き推定において使用される参照ブロックを求めて探索することにおいて、サブピクセル補間の必要をなくすことができる。別の例では、ビデオ符号器は、フレームにおけるぼけ度の重大度を査定し、それに応じてピクセル精度を調整することができる。たとえば、ビデオ符号器は、大量のぼけ度をもつフレームに対して整数ピクセル精度を利用するが、より小さいレベルのぼけ度をもつフレームに対して、たとえば、１／２など、比較的大きいサブピクセル精度を利用する。推定されたぼけ度レベルがしきい値を超えない場合、ビデオ符号器は、ビデオ符号器がぼけ度のないフレームを符号化するのと同様に、フレームを符号化する（１６１８）。一例では、ビデオ符号器は、ビデオ符号器に関連付けられたプロプライエタリな符号化方法に従って、または、たとえば、Ｈ．２６４もしくはＨＥＶＣなどのビデオ規格に従って、ビデオデータを符号化することができる。

[00151]ビデオ符号器は、再焦点合せプロセス中にキャプチャされたフレームを符号化するために、変更された符号化技法を利用することができ、ビデオキャプチャデバイスの焦点が合っている間にキャプチャされたフレームに対して、その通常の符号化機能に戻ることができる。一例では、ビデオ符号器は、キャプチャされたフレームにおけるぼけの重大度に応じて、符号化アルゴリズムおよび機能のための様々なレベルの変更を使用することができる。たとえば、より高いレベルのぼけ度は、ＱＰを、より低いレベルのぼけ度に関連付けられた値よりも大きい値に再調整する結果となり得る。一例では、ビデオ符号器はまた、ビデオキャプチャデバイスから受信されたぼけ度情報を利用して、ぼけ除去機能を実施することもできる。

[00152]システムの、たとえば、ビデオキャプチャデバイスなどのフロントエンド部分と、たとえば、ビデオ符号器などのバックエンド部分とは、直接または間接的に接続され得る。一例では、ビデオキャプチャデバイスは、たとえば、あるタイプのワイヤード接続を使用して、ビデオ符号器に直接接続され得る。別の例では、カムコーダは、たとえば、ワイヤレス接続を使用して、ビデオ符号器に間接的に接続され得る。

[00153]本開示で説明する技法は、ビデオ符号器の機能を支援するためのデバイスにおいて利用され得るか、またはそのデバイスとそのデバイスが使用され得る適用例との要求に応じて別々に利用され得る。

[00154]本開示で説明する技法は、少なくとも部分的に、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。たとえば、説明する技法の様々な態様は、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、あるいは他の等価な集積回路またはディスクリート論理回路を含む、１つまたは複数のプロセッサ、ならびにそのような構成要素の任意の組合せ内で実装され得る。「プロセッサ」または「処理回路」という用語は、一般に、単独で、あるいは他の論理回路または任意の他の等価な回路との組合せで、上記の論理回路のいずれかを指すことがある。また、ハードウェアを備える制御ユニットが本開示の技法のうちの１つまたは複数を実行し得る。

[00155]そのようなハードウェア、ソフトウェア、およびファームウェアは、本開示で説明する様々な動作および機能をサポートするために、同じデバイス内で、または別々のデバイス内で実装され得る。さらに、説明したユニット、モジュール、または構成要素のいずれも、個別であるが相互運用可能な論理デバイスとして、一緒に、または別々に実装され得る。モジュールまたはユニットとしての様々な機能の図は、様々な機能的態様を強調するものであり、そのようなモジュールまたはユニットが別々のハードウェアまたはソフトウェア構成要素によって実現されなければならないことを必ずしも暗示するとは限らない。そうではなく、１つまたは複数のモジュールあるいはユニットに関連する機能は、別々のハードウェア、ファームウェア、および／またはソフトウェア構成要素によって実行されるか、あるいは共通または別々のハードウェアもしくはソフトウェア構成要素内に組み込まれることがある。

[00156]また、本開示で説明する技法は、命令を含んでいる、コンピュータ可読記憶媒体などのコンピュータ可読媒体中に実施または符号化され得る。コンピュータ可読媒体中に埋め込まれたまたは符号化された命令は、たとえば、その命令が実行されたとき、１つまたは複数のプログラマブルプロセッサまたは他のプロセッサに方法を実行させ得る。コンピュータ可読記憶媒体は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、ハードディスク、ＣＤ−ＲＯＭ、フロッピー（登録商標）ディスク、カセット、磁気媒体、光学媒体、または他のコンピュータ可読媒体を含み得る。

[00157]例示的な実装形態では、本開示で説明する技法は、部分的にハードウェア、ファームウェアおよび／またはソフトウェアによって実装されるかどうかにかかわらず、デジタルビデオコーディングハードウェア装置によって実行され得る。

[00158]様々な態様および例について説明した。しかしながら、以下の特許請求の範囲から逸脱することなく本開示の構造または技法に変更を行うことができる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］ビデオデータのフレームのぼけ度レベルを、前記フレームにおいて検出された動きのタイプに基づいて推定することと、
ビデオ符号器において、前記フレームの前記推定されたぼけ度レベルに少なくとも部分的に基づいて、前記フレームを符号化することと、
を備える方法。
［２］符号化することは、前記推定されたぼけ度レベルに基づいて、前記フレームを符号化するために使用されるべき量子化レベルを選択することを備える、［１］に記載の方法。
［３］前記検出された動きのタイプに基づいて、前記フレームの前記ぼけ度レベルを推定するかどうかを決定することをさらに備える、［１］に記載の方法。
［４］前記ビデオデータのフレームは、ビデオキャプチャモジュールによってキャプチャされる、［１］に記載の方法。
［５］前記動きを検出することは、前記ビデオデータのフレームに関連付けられたグローバル動きベクトルを決定することを備える、［１］に記載の方法。
［６］前記グローバル動きベクトルを、グローバル動きベクトルしきい値と比較することと、
前記グローバル動きベクトルが前記グローバル動きベクトルしきい値を超えるとき、前記ぼけ度レベルを推定することと、
前記グローバル動きベクトルが前記グローバル動きベクトルしきい値以下であるとき、前記ぼけ度レベルを推定することなしに、前記フレームを符号化することと、
をさらに備える［５］に記載の方法。
［７］前記フレームに関連付けられたローカル動きベクトルを決定することと、
前記ローカル動きベクトルを、ローカル動きベクトルしきい値と比較することと、
前記グローバル動きベクトルが前記グローバル動きベクトルしきい値を超え、かつ、前記ローカル動きベクトルが前記ローカル動きベクトルしきい値を超えるとき、前記ぼけ度レベルを推定することと、
前記グローバル動きベクトルが前記グローバル動きベクトルしきい値以下であるか、または、前記ローカル動きベクトルが前記ローカル動きベクトルしきい値以下であるとき、前記ぼけ度レベルを推定することなしに、前記フレームを符号化することと、
をさらに備える、［６］に記載の方法。
［８］前記ぼけ度レベルを推定することは、前記グローバル動きベクトルと、前記ビデオキャプチャモジュールに関連付けられた１つまたは複数のパラメータとに基づいて、前記ぼけ度レベルを推定することを備える、［５］に記載の方法。
［９］前記ビデオキャプチャデバイスに関連付けられた前記パラメータは、タイム露出とフレームレートとを備える、［８］に記載の方法。
［１０］前記フレームに関連付けられたズーム率による光学ズーミングにおける変化を検出することによって、前記動きを検出することと、
前記ズーム率に基づいて、前記ぼけ度レベルを推定することと、
をさらに備える、［１］に記載の方法。
［１１］前記ビデオキャプチャモジュールに関連付けられたパンニングの動きを検出することによって、前記動きを検出することと、
前記フレームが前記パンニングの動きの後にキャプチャされるとき、前記フレームに関連付けられた焦点値に基づいて、前記ぼけ度レベルを推定することと、
をさらに備える、［１］に記載の方法。
［１２］前記フレームにおいて顔を検出することによって、前記動きを検出することと、
前記フレームにおいて前記検出された顔のサイズに基づいて、前記ぼけ度レベルを推定することと、
をさらに備える、［１］に記載の方法。
［１３］ビデオデータのフレームのぼけ度レベルを、前記フレームにおいて検出された動きのタイプに基づいて推定するように構成されたぼけ度ユニットと、
前記フレームの前記推定されたぼけ度レベルに少なくとも部分的に基づいて、前記フレームを符号化するように構成されたビデオ符号器と、
を備える装置。
［１４］前記フレームを符号化するために、前記ビデオ符号器は、前記推定されたぼけ度レベルに基づいて、前記フレームを符号化するために使用されるべき量子化レベルを選択する、［１３］に記載の装置。
［１５］前記ぼけ度ユニットは、前記検出された動きのタイプに基づいて、前記フレームの前記ぼけ度レベルを推定するかどうかを決定することを行うようにさらに構成される、［１３］に記載の装置。
［１６］前記ビデオデータのフレームをキャプチャするように構成されたビデオキャプチャモジュールをさらに備える、［１３］に記載の装置。
［１７］前記動きを検出するために、前記ビデオキャプチャデバイスは、前記ビデオデータのフレームに関連付けられたグローバル動きベクトルを検出するようにさらに構成される、［１３］に記載の装置。
［１８］前記ぼけ度ユニットは、
前記グローバル動きベクトルを、グローバル動きベクトルしきい値と比較することと、
前記グローバル動きベクトルが前記グローバル動きベクトルしきい値を超えるとき、前記ぼけ度レベルを推定することと、
を行うようにさらに構成され、
前記ビデオ符号器は、前記グローバル動きベクトルが前記グローバル動きベクトルしきい値以下であるとき、前記ぼけ度レベルを推定することなしに、前記フレームを符号化するようにさらに構成される、［１７］に記載の装置。
［１９］前記ビデオ符号器は、前記フレームに関連付けられたローカル動きベクトルを決定することを行うようにさらに構成され、
前記ぼけ度ユニットは、前記ローカル動きベクトルを、ローカル動きベクトルしきい値と比較することと、前記グローバル動きベクトルが前記グローバル動きベクトルしきい値を超え、かつ、前記ローカル動きベクトルが前記ローカル動きベクトルしきい値を超えるとき、前記ぼけ度レベルを推定することと、を行うようにさらに構成され、
前記ビデオ符号器は、前記グローバル動きベクトルが前記グローバル動きベクトルしきい値以下であるか、または、前記ローカル動きベクトルが前記ローカル動きベクトルしきい値以下であるとき、前記ぼけ度レベルを推定することなしに、前記フレームを符号化するようにさらに構成される、［１８］に記載の装置。
［２０］前記ぼけ度ユニットは、前記グローバル動きベクトルと、前記ビデオキャプチャデバイスに関連付けられた１つまたは複数のパラメータとに基づいて、前記ぼけ度レベルを推定するように構成される、［１７］に記載の装置。
［２１］前記ビデオキャプチャデバイスに関連付けられた前記パラメータは、タイム露出とフレームレートとを備える、［２０］に記載の装置。
［２２］前記フレームに関連付けられたズーム率による光学ズーミングにおける変化を検出することによって、前記動きを検出するように構成されたビデオキャプチャモジュールと、
前記ズーム率に基づいて、前記ぼけ度レベルを推定するように構成されたぼけ度ユニットと、
をさらに備える、［１３］に記載の装置。
［２３］前記ビデオキャプチャモジュールに関連付けられたパンニングの動きを検出することによって、前記動きを検出するように構成された前記ビデオキャプチャモジュールと、
前記フレームが前記パンニングの動きの後にキャプチャされるとき、前記フレームに関連付けられた焦点値に基づいて、前記ぼけ度レベルを推定するように構成されたぼけ度ユニットと、
をさらに備える、［１３］に記載の装置。
［２４］前記フレームにおいて顔を検出することによって、前記動きを検出するように構成されたビデオキャプチャモジュールと、
前記フレームにおいて前記検出された顔のサイズに基づいて、前記ぼけ度レベルを推定するように構成されたぼけ度ユニットと、
をさらに備える、［１３］に記載の装置。
［２５］プログラマブルプロセッサに、
ビデオデータのフレームのぼけ度レベルを、前記フレームにおいて検出された動きのタイプに基づいて推定することと、
ビデオ符号器において、前記フレームの前記推定されたぼけ度レベルに少なくとも部分的に基づいて、前記フレームを符号化することと、
を行わせる命令を備えるコンピュータ可読媒体。
［２６］前記符号化するための命令は、前記プロセッサに、前記推定されたぼけ度レベルに基づいて、前記フレームを符号化するために使用されるべき量子化レベルを選択することを行わせる命令を備える、［２５］に記載のコンピュータ可読媒体。
［２７］前記プロセッサに、前記検出された動きのタイプに基づいて、前記フレームの前記ぼけ度レベルを推定するかどうかを決定することを行わせる命令をさらに備える、［２５］に記載のコンピュータ可読媒体。
［２８］前記動きを検出するための前記命令は、前記プロセッサに、前記ビデオデータのフレームに関連付けられたグローバル動きベクトルを検出することを行わせる命令を備える、［２５］に記載のコンピュータ可読媒体。
［２９］前記プロセッサに、
前記グローバル動きベクトルを、グローバル動きベクトルしきい値と比較することと、
前記グローバル動きベクトルが前記グローバル動きベクトルしきい値を超えるとき、前記ぼけ度レベルを推定することと、
前記グローバル動きベクトルが前記グローバル動きベクトルしきい値以下であるとき、前記ぼけ度レベルを推定することなしに、前記フレームを符号化することと、
を行わせる命令をさらに備える、［２８］に記載のコンピュータ可読媒体。
［３０］前記プロセッサに、
前記フレームに関連付けられたローカル動きベクトルを決定することと、
前記ローカル動きベクトルを、ローカル動きベクトルしきい値と比較することと、
前記グローバル動きベクトルが前記グローバル動きベクトルしきい値を超え、かつ、前記ローカル動きベクトルが前記ローカル動きベクトルしきい値を超えるとき、前記ぼけ度レベルを推定することと、
前記グローバル動きベクトルが前記グローバル動きベクトルしきい値以下であるか、または、前記ローカル動きベクトルが前記ローカル動きベクトルしきい値以下であるとき、前記ぼけ度レベルを推定することなしに、前記フレームを符号化することと、
を行わせる命令をさらに備える、［２９］に記載のコンピュータ可読媒体。
［３１］前記ぼけ度レベルを推定するための前記命令は、前記プロセッサに、前記グローバル動きベクトルと、前記ビデオキャプチャデバイスに関連付けられた１つまたは複数のパラメータとに基づいて、前記ぼけ度レベルを推定することを行わせる命令を備える、［２８］に記載のコンピュータ可読媒体。
［３２］前記ビデオキャプチャデバイスに関連付けられた前記パラメータは、タイム露出とフレームレートとを備える、［３１］に記載のコンピュータ可読媒体。
［３３］前記プロセッサに、
前記フレームに関連付けられたズーム率による光学ズーミングにおける変化を検出することによって、前記動きを検出することと、
前記ズーム率に基づいて、前記ぼけ度レベルを推定することと、
を行わせる命令をさらに備える、［２５］に記載のコンピュータ可読媒体。
［３４］前記プロセッサに、
前記ビデオキャプチャモジュールに関連付けられたパンニングの動きを検出することによって、前記動きを検出することと、
前記フレームが前記パンニングの動きの後にキャプチャされるとき、前記フレームに関連付けられた焦点値に基づいて、前記ぼけ度レベルを推定することと、
を行わせる命令をさらに備える、［２５］に記載のコンピュータ可読媒体。
［３５］前記プロセッサに、
前記フレームにおいて顔を検出することによって、前記動きを検出することと、
前記フレームにおいて前記検出された顔のサイズに基づいて、前記ぼけ度レベルを推定することと、
を行わせる命令をさらに備える、［２５］に記載のコンピュータ可読媒体。
［３６］ビデオデータのフレームのぼけ度レベルを、前記フレームにおいて検出された動きのタイプに基づいて推定する手段と、
前記フレームの前記ぼけ度レベルを推定するかどうかの前記判定に少なくとも部分的に基づいて、前記フレームを符号化する手段と、
を備えるシステム。
［３７］前記符号化する手段は、前記推定されたぼけ度レベルに基づいて、前記フレームを符号化するために使用されるべき量子化レベルを選択する手段を備える、［３６］に記載のシステム。
［３８］前記検出された動きのタイプに基づいて、前記フレームの前記ぼけ度レベルを推定するかどうかを決定する手段をさらに備える、［３６］に記載のシステム。
［３９］前記ビデオデータのフレームが、ビデオキャプチャモジュールによってキャプチャされる、［３６］に記載のシステム。
［４０］前記動きを検出する手段は、前記ビデオデータのフレームに関連付けられたグローバル動きベクトルを検出する手段を備える、［３６］に記載のシステム。
［４１］前記グローバル動きベクトルを、グローバル動きベクトルしきい値と比較する手段と、
前記グローバル動きベクトルが前記グローバル動きベクトルしきい値を超えるとき、前記ぼけ度レベルを推定する手段と、
前記グローバル動きベクトルが前記グローバル動きベクトルしきい値以下であるとき、前記ぼけ度レベルを推定することなしに、前記フレームを符号化する手段と、
をさらに備える、［４０］に記載のシステム。
［４２］前記フレームに関連付けられたローカル動きベクトルを決定する手段と、
前記ローカル動きベクトルを、ローカル動きベクトルしきい値と比較する手段と、
前記グローバル動きベクトルが前記グローバル動きベクトルしきい値を超え、かつ、前記ローカル動きベクトルが前記ローカル動きベクトルしきい値を超えるとき、前記ぼけ度レベルを推定する手段と、
前記グローバル動きベクトルが前記グローバル動きベクトルしきい値以下であるか、または、前記ローカル動きベクトルが前記ローカル動きベクトルしきい値以下であるとき、前記ぼけ度レベルを推定することなしに、前記フレームを符号化する手段と、
をさらに備える、［４１］に記載のシステム。
［４３］前記ぼけ度レベルを推定する手段は、前記グローバル動きベクトルと、前記ビデオキャプチャデバイスに関連付けられた１つまたは複数のパラメータとに基づいて、前記ぼけ度レベルを推定する手段を備える、［４０］に記載のシステム。
［４４］前記ビデオキャプチャデバイスに関連付けられた前記パラメータは、タイム露出とフレームレートとを備える、［４３］に記載のシステム。
［４５］前記フレームに関連付けられたズーム率による光学ズーミングにおける変化を検出することによって、前記動きを検出する手段と、
前記ズーム率に基づいて、前記ぼけ度レベルを推定する手段と、
をさらに備える、［３６］に記載のシステム。
［４６］前記ビデオキャプチャモジュールに関連付けられたパンニングの動きを検出することによって、前記動きを検出する手段と、
前記フレームが前記パンニングの動きの後にキャプチャされるとき、前記フレームに関連付けられた焦点値に基づいて、前記ぼけ度レベルを推定する手段と、
をさらに備える、［３６］に記載のシステム。
［４７］前記フレームにおいて顔を検出することによって、前記動きを検出する手段と、
前記フレームにおいて前記検出された顔のサイズに基づいて、前記ぼけ度レベルを推定する手段と、
をさらに備える、［３６］に記載のシステム。

Claims

ビデオデータのフレームのぼけ度レベルを、前記フレームにおいて検出された動きのタイプに基づいて推定することと、
ビデオ符号器において、前記フレームの前記推定されたぼけ度レベルに少なくとも部分的に基づいて、前記フレームを符号化することと、
を備え、
前記フレームに関連付けられたグローバル動きベクトルと前記フレームに関連付けられたローカル動きベクトルとに基づき、グローバルな動きが検出されたときに、前記ぼけ度レベルが推定される、方法。
符号化することは、前記推定されたぼけ度レベルに基づいて、前記フレームを符号化するために使用されるべき量子化レベルを選択することを備える、請求項１に記載の方法。
前記検出された動きのタイプに基づいて、前記フレームの前記ぼけ度レベルを推定するかどうかを決定することをさらに備える、請求項１に記載の方法。
前記ビデオデータのフレームは、ビデオキャプチャモジュールによってキャプチャされる、請求項１に記載の方法。
前記動きを検出することは、前記ビデオデータのフレームに関連付けられたグローバル動きベクトルを決定することを備える、請求項１に記載の方法。
前記グローバル動きベクトルを、グローバル動きベクトルしきい値と比較することと、
前記グローバル動きベクトルが前記グローバル動きベクトルしきい値を超えるとき、前記ぼけ度レベルを推定することと、
前記グローバル動きベクトルが前記グローバル動きベクトルしきい値以下であるとき、前記ぼけ度レベルを推定することなしに、前記フレームを符号化することと、
をさらに備える、請求項５に記載の方法。
前記フレームに関連付けられたローカル動きベクトルを決定することと、
前記ローカル動きベクトルを、ローカル動きベクトルしきい値と比較することと、
前記グローバル動きベクトルが前記グローバル動きベクトルしきい値を超え、かつ、前記ローカル動きベクトルが前記ローカル動きベクトルしきい値を超えるとき、前記ぼけ度レベルを推定することと、
前記グローバル動きベクトルが前記グローバル動きベクトルしきい値以下であるか、または、前記ローカル動きベクトルが前記ローカル動きベクトルしきい値以下であるとき、前記ぼけ度レベルを推定することなしに、前記フレームを符号化することと、
をさらに備える、請求項６に記載の方法。
前記ぼけ度レベルを推定することは、前記グローバル動きベクトルと、前記ビデオキャプチャモジュールに関連付けられた１つまたは複数のパラメータとに基づいて、前記ぼけ度レベルを推定することを備える、請求項５に記載の方法。
前記ビデオキャプチャデバイスに関連付けられた前記パラメータは、タイム露出とフレームレートとを備える、請求項８に記載の方法。
前記フレームに関連付けられたズーム率による光学ズーミングにおける変化を検出することによって、前記動きを検出することと、
前記ズーム率に基づいて、前記ぼけ度レベルを推定することと、
をさらに備える、請求項１に記載の方法。
前記ビデオキャプチャモジュールに関連付けられたパンニングの動きを検出することによって、前記動きを検出することと、
前記フレームが前記パンニングの動きの後にキャプチャされるとき、前記フレームに関連付けられた焦点値に基づいて、前記ぼけ度レベルを推定することと、
をさらに備える、請求項１に記載の方法。
前記フレームにおいて顔を検出することによって、前記動きを検出することと、
前記フレームにおいて前記検出された顔のサイズに基づいて、前記ぼけ度レベルを推定することと、
をさらに備える、請求項１に記載の方法。
ビデオデータのフレームのぼけ度レベルを、前記フレームにおいて検出された動きのタイプに基づいて推定するように構成されたぼけ度ユニットと、
前記フレームの前記推定されたぼけ度レベルに少なくとも部分的に基づいて、前記フレームを符号化するように構成されたビデオ符号器と、
を備え、
前記フレームに関連付けられたグローバル動きベクトルと前記フレームに関連付けられたローカル動きベクトルとに基づき、グローバルな動きが検出されたときに、前記ぼけ度レベルが推定される、装置。
前記フレームを符号化するために、前記ビデオ符号器は、前記推定されたぼけ度レベルに基づいて、前記フレームを符号化するために使用されるべき量子化レベルを選択する、請求項１３に記載の装置。
前記ぼけ度ユニットは、前記検出された動きのタイプに基づいて、前記フレームの前記ぼけ度レベルを推定するかどうかを決定することを行うようにさらに構成される、請求項１３に記載の装置。
前記ビデオデータのフレームをキャプチャするように構成されたビデオキャプチャモジュールをさらに備える、請求項１３に記載の装置。
前記動きを検出するために、前記ビデオキャプチャデバイスは、前記ビデオデータのフレームに関連付けられたグローバル動きベクトルを検出するようにさらに構成される、請求項１３に記載の装置。
前記ぼけ度ユニットは、
前記グローバル動きベクトルを、グローバル動きベクトルしきい値と比較することと、
前記グローバル動きベクトルが前記グローバル動きベクトルしきい値を超えるとき、前記ぼけ度レベルを推定することと、
を行うようにさらに構成され、
前記ビデオ符号器は、前記グローバル動きベクトルが前記グローバル動きベクトルしきい値以下であるとき、前記ぼけ度レベルを推定することなしに、前記フレームを符号化するようにさらに構成される、請求項１７に記載の装置。
前記ビデオ符号器は、前記フレームに関連付けられたローカル動きベクトルを決定することを行うようにさらに構成され、
前記ぼけ度ユニットは、前記ローカル動きベクトルを、ローカル動きベクトルしきい値と比較することと、前記グローバル動きベクトルが前記グローバル動きベクトルしきい値を超え、かつ、前記ローカル動きベクトルが前記ローカル動きベクトルしきい値を超えるとき、前記ぼけ度レベルを推定することと、を行うようにさらに構成され、
前記ビデオ符号器は、前記グローバル動きベクトルが前記グローバル動きベクトルしきい値以下であるか、または、前記ローカル動きベクトルが前記ローカル動きベクトルしきい値以下であるとき、前記ぼけ度レベルを推定することなしに、前記フレームを符号化するようにさらに構成される、請求項１８に記載の装置。
前記ぼけ度ユニットは、前記グローバル動きベクトルと、前記ビデオキャプチャデバイスに関連付けられた１つまたは複数のパラメータとに基づいて、前記ぼけ度レベルを推定するように構成される、請求項１７に記載の装置。
前記ビデオキャプチャデバイスに関連付けられた前記パラメータは、タイム露出とフレームレートとを備える、請求項２０に記載の装置。
前記フレームに関連付けられたズーム率による光学ズーミングにおける変化を検出することによって、前記動きを検出するように構成されたビデオキャプチャモジュールと、
前記ズーム率に基づいて、前記ぼけ度レベルを推定するように構成されたぼけ度ユニットと、
をさらに備える、請求項１３に記載の装置。
前記ビデオキャプチャモジュールに関連付けられたパンニングの動きを検出することによって、前記動きを検出するように構成された前記ビデオキャプチャモジュールと、
前記フレームが前記パンニングの動きの後にキャプチャされるとき、前記フレームに関連付けられた焦点値に基づいて、前記ぼけ度レベルを推定するように構成されたぼけ度ユニットと、
をさらに備える、請求項１３に記載の装置。
前記フレームにおいて顔を検出することによって、前記動きを検出するように構成されたビデオキャプチャモジュールと、
前記フレームにおいて前記検出された顔のサイズに基づいて、前記ぼけ度レベルを推定するように構成されたぼけ度ユニットと、
をさらに備える、請求項１３に記載の装置。
プログラマブルプロセッサに、
ビデオデータのフレームのぼけ度レベルを、前記フレームにおいて検出された動きのタイプに基づいて推定することと、
ビデオ符号器において、前記フレームの前記推定されたぼけ度レベルに少なくとも部分的に基づいて、前記フレームを符号化することと、
を行わせる命令を記憶し、
前記フレームに関連付けられたグローバル動きベクトルと前記フレームに関連付けられたローカル動きベクトルとに基づき、グローバルな動きが検出されたときに、前記ぼけ度レベルが推定される、コンピュータ可読媒体。
前記符号化するための命令は、前記プロセッサに、前記推定されたぼけ度レベルに基づいて、前記フレームを符号化するために使用されるべき量子化レベルを選択することを行わせる命令を備える、請求項２５に記載のコンピュータ可読媒体。
前記プロセッサに、前記検出された動きのタイプに基づいて、前記フレームの前記ぼけ度レベルを推定するかどうかを決定することを行わせる命令をさらに記憶した、請求項２５に記載のコンピュータ可読媒体。
前記動きを検出するための前記命令は、前記プロセッサに、前記ビデオデータのフレームに関連付けられたグローバル動きベクトルを検出することを行わせる命令を備える、請求項２５に記載のコンピュータ可読媒体。
前記プロセッサに、
前記グローバル動きベクトルを、グローバル動きベクトルしきい値と比較することと、
前記グローバル動きベクトルが前記グローバル動きベクトルしきい値を超えるとき、前記ぼけ度レベルを推定することと、
前記グローバル動きベクトルが前記グローバル動きベクトルしきい値以下であるとき、前記ぼけ度レベルを推定することなしに、前記フレームを符号化することと、
を行わせる命令をさらに記憶した、請求項２８に記載のコンピュータ可読媒体。
前記プロセッサに、
前記フレームに関連付けられたローカル動きベクトルを決定することと、
前記ローカル動きベクトルを、ローカル動きベクトルしきい値と比較することと、
前記グローバル動きベクトルが前記グローバル動きベクトルしきい値を超え、かつ、前記ローカル動きベクトルが前記ローカル動きベクトルしきい値を超えるとき、前記ぼけ度レベルを推定することと、
前記グローバル動きベクトルが前記グローバル動きベクトルしきい値以下であるか、または、前記ローカル動きベクトルが前記ローカル動きベクトルしきい値以下であるとき、前記ぼけ度レベルを推定することなしに、前記フレームを符号化することと、
を行わせる命令をさらに記憶した、請求項２９に記載のコンピュータ可読媒体。
前記ぼけ度レベルを推定するための前記命令は、前記プロセッサに、前記グローバル動きベクトルと、前記ビデオキャプチャデバイスに関連付けられた１つまたは複数のパラメータとに基づいて、前記ぼけ度レベルを推定することを行わせる命令を備える、請求項２８に記載のコンピュータ可読媒体。
前記ビデオキャプチャデバイスに関連付けられた前記パラメータは、タイム露出とフレームレートとを備える、請求項３１に記載のコンピュータ可読媒体。
前記プロセッサに、
前記フレームに関連付けられたズーム率による光学ズーミングにおける変化を検出することによって、前記動きを検出することと、
前記ズーム率に基づいて、前記ぼけ度レベルを推定することと、
を行わせる命令をさらに記憶した、請求項２５に記載のコンピュータ可読媒体。
前記プロセッサに、
前記ビデオキャプチャモジュールに関連付けられたパンニングの動きを検出することによって、前記動きを検出することと、
前記フレームが前記パンニングの動きの後にキャプチャされるとき、前記フレームに関連付けられた焦点値に基づいて、前記ぼけ度レベルを推定することと、
を行わせる命令をさらに記憶した、請求項２５に記載のコンピュータ可読媒体。
前記プロセッサに、
前記フレームにおいて顔を検出することによって、前記動きを検出することと、
前記フレームにおいて前記検出された顔のサイズに基づいて、前記ぼけ度レベルを推定することと、
を行わせる命令をさらに記憶した、請求項２５に記載のコンピュータ可読媒体。
ビデオデータのフレームのぼけ度レベルを、前記フレームにおいて検出された動きのタイプに基づいて推定する手段と、
前記フレームの前記ぼけ度レベルを推定するかどうかの前記判定に少なくとも部分的に基づいて、前記フレームを符号化する手段と、
を備え、
前記フレームに関連付けられたグローバル動きベクトルと前記フレームに関連付けられたローカル動きベクトルとに基づき、グローバルな動きが検出されたとき、前記ぼけ度レベルが推定される、システム。
前記符号化する手段は、前記推定されたぼけ度レベルに基づいて、前記フレームを符号化するために使用されるべき量子化レベルを選択する手段を備える、請求項３６に記載のシステム。
前記検出された動きのタイプに基づいて、前記フレームの前記ぼけ度レベルを推定するかどうかを決定する手段をさらに備える、請求項３６に記載のシステム。
前記ビデオデータのフレームが、ビデオキャプチャモジュールによってキャプチャされる、請求項３６に記載のシステム。
前記動きを検出する手段は、前記ビデオデータのフレームに関連付けられたグローバル動きベクトルを検出する手段を備える、請求項３６に記載のシステム。
前記グローバル動きベクトルを、グローバル動きベクトルしきい値と比較する手段と、
前記グローバル動きベクトルが前記グローバル動きベクトルしきい値を超えるとき、前記ぼけ度レベルを推定する手段と、
前記グローバル動きベクトルが前記グローバル動きベクトルしきい値以下であるとき、前記ぼけ度レベルを推定することなしに、前記フレームを符号化する手段と、
をさらに備える、請求項４０に記載のシステム。
前記フレームに関連付けられたローカル動きベクトルを決定する手段と、
前記ローカル動きベクトルを、ローカル動きベクトルしきい値と比較する手段と、
前記グローバル動きベクトルが前記グローバル動きベクトルしきい値を超え、かつ、前記ローカル動きベクトルが前記ローカル動きベクトルしきい値を超えるとき、前記ぼけ度レベルを推定する手段と、
前記グローバル動きベクトルが前記グローバル動きベクトルしきい値以下であるか、または、前記ローカル動きベクトルが前記ローカル動きベクトルしきい値以下であるとき、前記ぼけ度レベルを推定することなしに、前記フレームを符号化する手段と、
をさらに備える、請求項４１に記載のシステム。
前記ぼけ度レベルを推定する手段は、前記グローバル動きベクトルと、前記ビデオキャプチャデバイスに関連付けられた１つまたは複数のパラメータとに基づいて、前記ぼけ度レベルを推定する手段を備える、請求項４０に記載のシステム。
前記ビデオキャプチャデバイスに関連付けられた前記パラメータは、タイム露出とフレームレートとを備える、請求項４３に記載のシステム。
前記フレームに関連付けられたズーム率による光学ズーミングにおける変化を検出することによって、前記動きを検出する手段と、
前記ズーム率に基づいて、前記ぼけ度レベルを推定する手段と、
をさらに備える、請求項３６に記載のシステム。
前記ビデオキャプチャモジュールに関連付けられたパンニングの動きを検出することによって、前記動きを検出する手段と、
前記フレームが前記パンニングの動きの後にキャプチャされるとき、前記フレームに関連付けられた焦点値に基づいて、前記ぼけ度レベルを推定する手段と、
をさらに備える、請求項３６に記載のシステム。
前記フレームにおいて顔を検出することによって、前記動きを検出する手段と、
前記フレームにおいて前記検出された顔のサイズに基づいて、前記ぼけ度レベルを推定する手段と、
をさらに備える、請求項３６に記載のシステム。