JP6951166B2 - ビデオにおける仮想オブジェクトをボカす方法及びデバイス - Google Patents

Description

開示される方法、装置及びシステムの技術分野は、仮想オブジェクトがビデオを取得中にビデオに挿入される拡張現実（augmented reality）に関連する。

拡張現実の１つの態様は、ビデオの中で、実際のシーン（real scene）を仮想オブジェクトと合成することである。高速で動く実際のオブジェクトからビデオが取得されるとき、その結果生じるビデオは、一般に、いわゆるモーションブラー（motion blur：被写体ぶれ）を含む。実際のシーンからビデオが取得された場合、現実のオブジェクトのモーションブラーは、カメラによって必然的に取得される。アニメフィルムの場合は、モーションブラーは、アニメのオブジェクトの動きからコンピュータ的に作り出される。現実のシーンと仮想オブジェクトの両方をミックスする、拡張現実アプリケーションの場合は、ポストプロダクションの一部として、既に取得されたビデオに挿入された仮想オブジェクトをボカすためのいくつかの方法が知られており、そして、それらは通常コンピュータで集中的に行われる。ボカすこと（blurring）は、例えば、仮想オブジェクトの動きの知識から、又はイメージ処理技法からビデオで検出された動きから、取得される。しかしながら、動くデバイスによって取得されたビデオで、且つ取得デバイスによってそのビデオに仮想オブジェクトが挿入される場合は、ビデオに挿入された仮想オブジェクトをボケさせるための取得デバイスに直接適用可能な既知の方法はない。結果として生じたビデオは、仮想オブジェクトがボケたビデオにおいて余りにシャープであるので、現実味に欠けることになる。拡張現実アプリケーションの結果を改善するために、キャプチャするデバイスによって取得されたビデオに挿入された仮想オブジェクトをリアルタイムでボカす方法が必要である。そのような新たな方法は、例えば、モバイルデバイス上の新しい拡張現実アプリケーションの範囲を可能にするだろう。

実際のシーンをキャプチャするデバイスによってビデオが取得されるにつれて、リアルタイムでビデオにおける仮想オブジェクトをボカすために、顕著なアイデアは、２つの連続するデバイスポーズでキャプチャされる、２つの連続するイメージの間の見かけの動きベクトルを推定することを含み、見かけの動きベクタルの推定は、デバイスの動きに基づいている。連続するイメージは、次に、推定された見かけの動きベクトルに基づいてフィルタ処理される。そのために、シーンからデバイスによってキャプチャされたビデオにおいて仮想オブジェクトをボケさせる方法が開示される。デバイスによって実行される方法は、下記を含む：
・ビデオの初期イメージをキャプチャすること；
・ビデオの現在のイメージをキャプチャすること；
・デバイスの動きに基づいて、初期イメージと現在イメージとの間の仮想オブジェクトの見かけの動きベクトルを推定すること；
・見かけの動きベクトル（３０）に基づいて現在のイメージの少なくとも一部をフィルタ処理すること。

特定の有利な変形例によるとデバイスは、さらに、少なくとも１つの動きセンサと、初期デバイスポーズでデバイスによってキャプチャされた初期イメージと、現在のデバイスポーズでデバイスによってキャプチャされた現在のイメージと、デバイスの少なくとも１つの動きセンサによって生成されたデータから取得され、初期デバイスポーズから現在のデイバスポーズへ動く、デバイスの動きと、を含む。

別の特定の有利な変形例によると、見かけの動きベクトルを推定することが、さらに、初期デバイスポーズとデバイスの動きに基づいて、現在のデバイスポーズを推定することを含む。

別の特定の有利な変形例によると、方法はさらに、見かけの動きベクトル及び初期イメージにおける初期オブジェクトロケーションに基づいて現在のイメージにおける現在のオブジェクトロケーションを推定することを含み、初期オブジェクトロケーションは、仮想オブジェクトの頂点と関連し、現在のオブジェクトロケーションは、頂点に関連する。

別の特定の有利な変形例によると、仮想オブジェクトがシーンにおける軌道を有し、方法がさらに、
軌道及び初期オブジェクトポジションに基づいて現在のオブジェクトポジションを推定することであって、初期オブジェクトポジションは仮想オブジェクトの頂点に対応し、現在のオブジェクトのポジションは、頂点に対応し、
現在のイメージにおける現在のオブジェクトポジションの投射に基づいて現在のイメージにおける現在のオブジェクトロケーションを推定することであって、現在のオブジェクトロケーションは頂点に対応する、を含む。

別の特定の有利な変形例によると仮想オブジェクトの見かけの動きベクトルの推定は、現在のイメージにおける現在のオブジェクトロケーションと初期イメージにおける初期オブジェクトロケーションとの間の差に基づき、初期オブジェクトロケーションは、頂点と関連する。

別の特定の有利な変形例によると、フィルタ処理することがさらに、空間フィルタ長と空間フィルタ方向を決定することを含み、空間フィルタ方向は、見かけの動きベクトルの方向に対応し、空間フィルタ長は、見かけの動きベクトルのモジュールの因子であり、空間フィルタ長は、隣接する画素の数に対応している。

別の特定の有利な変形例によると、因子は、デバイスのシャッタアパーチャ期間に対応する。

別の特定の有利な変形例によると、現在のイメージの少なくとも一部をフィルタ処理することは、
現在のイメージに対する仮想オブジェクトのマスクを取得することであって、マスクは、仮想オブジェクトに対応する現在のイメージの各ピクセルに対する非ゼロの色値と重み値を含み、
決定された空間フィルタに従ってマスクを空間的にフィルタ処理することと、
現在のイメージを仮想オブジェクトの空間的にフィルタ処理されたマスクと混ぜ合わせることと、
を含む。

別の特定の有利な変形例によると、方法は、さらに、先行するデバイスポーズでデイバスによってキャプチャされた先行するイメージに基づいて初期デバイスポーズを推定することをさらに含み、初期デバイスポーズを推定することは、さらに先行するデバイスポーズと、先行するデバイスポーズから初期デバイスポーズへのデバイスの先行する動きに基づく。

別の特定の有利な変形例によると、方法はさらに、
ユーザインタフェースから、初期イメージに仮想オブジェクトを挿入することであって、挿入することは、仮想オブジェクトの頂点を、初期イメージにおける初期オブジェクトロケーションと関連付けることを含み、
初期オブジェクトロケーションに対応する初期オブジェクトポジションに対して初期デバイスポーズを推定することと、
を含む。

第２の態様において、ビデオをキャプチャし、ビデオにおいて仮想オブジェクトをボカすデバイスがまた開示される。デバイスは、
ビデオの初期イメージをキャプチャする手段と、
ビデオの現在のイメージをキャプチャする手段と、
デイバスの動きに基づいて、初期イメージと現在のイメージとの間の仮想オブジェクトの見かけの動きベクトルを推定する手段と、
見かけの動きベクトルに基づいて現在のイメージの少なくとも１部をフィルタ処理するための手段と、
を備える

第３の態様において、ビデオをキャプチャし、ビデオにおいて仮想オブジェクトをボカすデバイスがまた開示される。デバイスは、
ビデオの初期イメージをキャプチャし、
ビデオの現在のイメージをキャプチャし、
デバイスの動きに基づいて、初期イメージと現在のイメージとの間の仮想オブジェクトの見かけの動きベクトルを推定し、
見かけの動きベクトルに基づいて現在のイメージの少なくとも１部にフィルタ処理する、
ように構成されたカメラを備える。

第４の態様において、シーンからキャプチャされたビデオにおける仮想オブジェクトをボカすコンピュータプログラムも開示される。コンピュータプログラムは、プロセッサによって、
ビデオの初期イメージをキャプチャすることと、
ビデオの現在のイメージをキャプチャすることと、
デバイスの動きに基づいて、初期イメージと現在のイメージとの間の仮想オブジェクトの見かけの動きベクトルを推定することと、
見かけの動きベクトルに基づいて現在のイメージの少なくとも１部にフィルタ処理することと、
を実行可能なプログラムコード命令を含む。

第５の態様において、発明は、開示される方法を実行するコンピュータで実行可能なプログラム命令を記憶するコンピュータ読取可能記憶媒体を対象とする。

第６の態様において、発明は、開示される方法を実行する少なくとも１つのプロセッサによって実行するためのプログラムコードの命令を含むコンピュータプログラム製品を対象とする。

明示的に説明されていないとしても、本実施形態は、任意のコンビネーション又はサブコンビネーションで用いることができる。例えば、本原理は、説明される変形例には限定されず、変形例及び実施形態の任意のアレンジで使用することができる。さらに、本原理は、説明されるイメージサンプリング及びイメージ／オブジェクト初期化例に限定されない。本原理は、さらに、説明されるポーズ推定方法に限定されず、デバイスポーズ推定方法の任意の他の種類に適用可能である。本原理は、説明されるオブジェクトの軌道にさらに限定されない。

加えて、本方法を説明するための任意の特徴、変形例又は実施形態は、開示される方法を処理することを目的とするデバイス、開示される方法を処理するプロセッサによって実行可能なプログラムコード命令を含むコンピュータプログラム及びプログラム命令を記憶するコンピュータ読取可能記憶媒体と互換性がある。

特定且つ非制限的な実施形態による、ビデオ中の仮想オブジェクトをボカすための方法を説明する。 特定且つ非制限的な実施形態による、シーンからビデオをキャプチャし、仮想オブジェクトを挿入する例を説明する。 特定且つ非制限的な実施形態による、見かけの動きベクトルを表す。 特定且つ非制限的な実施形態による、ビデオ中の仮想オブジェクトをボカすためのフィルタ処理の例を表す。 特定且つ非制限的な実施形態による、ビデオ中の仮想オブジェクトをボカす処理デバイスを表す。 特定且つ非制限的な実施形態による、図５の処理デバイスのアーキテクチャの例を表す。

図１は、特定且つ非制限的な実施形態によるビデオ中の仮想オブジェクトをボカす方法を説明する。図１は、特定且つ非制限的な実施形態による例となるビデオキャプチャ及び仮想オブジェクト２０の挿入を説明する、図２に関連してさらに説明する。明確にする目的で制限なく、シーン２のビデオをキャプチャするカメラに実装される方法を説明する。しかし、イメージシーケンスをキャプチャするように適合するカメラを組み込む例えばスマートフォン又はタブレットにおける任意の他の実装は、説明される原理と互換性がある。他の説明の至る所で、デバイス１の一般的な用語は、キャプチャするデバイスに関して使用される。シーン２は、実際のシーンとして理解されるべきであり、その実際のシーンのキャプチャされたビデオは、アートビデオキャプチャコンポーネントの状態を使用する、その実際のシーンからの一連のイメージである。

ステップＳ１００において、デバイス１は、初期化される。制限なく、デバイス初期化は、デバイス１のハードウェア及びソフトウェアの初期化の様々なステップを含む。デバイス初期化（device initialization）は、また、ビデオキャプチャに先行する様々なステップを含み、それらは、例えば、シーンに対してふさわしい場所でのデバイス１のポジショニング及び方向合わせ、フォーカス、ズーム、絞りなどのカメラのパラメータの調整などを含む。

ステップＳ１１０において、初期イメージ（initial image）２１０は、デバイス１が初期デバイスポーズ（initial device pose）２１にあるときに、デバイス１によってキャプチャされる。制限なく、３次元空間におけるデバイスポーズは、その空間におけるポジション（position）と方向（orientation）を含む。ポジションは、デバイスがある場所を定義し、方向は、それがいかに回転しているかを定義する。本説明を通してより一般的に、且つ明確性のために、用語ポーズ（pose）は、３次元空間におけるデバイス／オブジェクトのポジション（position）を指定し、一方、用語ロケーション（location）は、イメージにおける点（point）／頂点（vertex）の２次元のロケーションを指定する。

ステップＳ１２０において、デバイス１は、現在のデバイスポーズ２２にあるとき、現在のイメージ２２０は、デバイス１によってキャプチャされる。制限なく、開示される原理は、ビデオキャプチャの間のデバイスの動きが純粋な回転によって近似されると仮定する。手持ちのカメラで人々がキャプチャした広い範囲のビデオに対応する場合、そのような近似は、妥当である。明確性の目的で且つ制限なく、初期デバイスポーズにおいてキャプチャされた初期イメージ、現在のデバイスポーズにおいてキャプチャされた現在のイメージとの間で方法が説明され、仮想オブジェクトは、現在のイメージに挿入される。しかし、ビデオシーケンスの様々なイメージの間で、方法は、最初からずっとビデオに適用可能である。例えば、方法は、反復プロセスに続く、初期イメージと先行イメージとの間にも適用可能である。さらに、初期イメージと現在のイメージを決定するためのビデオシーケンスのサンプリングに対する任意の変形例も開示される原理に適用可能である：第１の例において、ビデオシーケンスのすべてのキャプチャされたイメージは、ビデオシーケンスの先行するイメージに対して、現在のイメージとして、本方法によって処理される。ビデオサンプリングの第２の例において、１つだけ、２つ又は３つおき、又は任意の他の数のイメージが、ビデオシーケンスの先行するイメージに対して、現在のイメージとして処理される。

ステップＳ１３０において、挿入された仮想オブジェクト（inserted virtual object）２０の見かけの動きベクトル３０（apparent motion vector）は、推定される（estimated）。現在のイメージ２２０と初期イメージ２１０との間の見かけの動きベクトル３０の例が、図３で説明される。見かけの動きベクトル３０は、現在のイメージ２２１の領域（area）と初期イメージ２１０の領域との間のイメージのロケーションの差として定義され、両方の領域は、挿入された仮想オブジェクトの同じ部分に対応する。例えば、図２と図３によって説明されるように、仮想オブジェクト２０は、仮想オブジェクト２０の３Ｄ位置に対応する頂点２００を含む。仮想オブジェクト２０は、現在のイメージ２２０に挿入されるので、現在のイメージ２２０における頂点２００の投射（projection）は、現在のイメージ２２０におけるロケーション２２１に置かれたイメージ点に対応する。仮想オブジェクト２０の頂点２００は、現在のイメージ２２における現在のオブジェクトロケーション２２１に関連する。図２と図３は、また、初期イメージ２１０に挿入された仮想オブジェクト２０の頂点２００に関連する初期オブジェクトロケーション２１１を含む。図３は、現在のイメージ２２０での見かけの動きベクトル３０を図示する。現在のイメージ２２０と初期イメージ２１０との間の見かけの動きベクトル３０は、現在のオブジェクトロケーション２２１と初期オブジェクトロケーション２１１との間の差であり、初期オブジェクトロケーション２２１と現在のオブジェクトロケーション２２１は、仮想オブジェクトの同じ頂点２００に関連する。明確性のために且つ制限なく、本方法は、イメージ２１０、２２０のそれぞれにおけるイメージロケーション２１１、２２１に関連する点に対応する頂点２００の例を使用して説明されるが、例えば仮想オブジェクト２０の領域、又は点群を使用した任意の他の変形例も開示される原理と互換性がある。

特定の実施形態によると、デバイス１は、デバイス１の少なくとも角速度（angular rates）を測定し報告するための加速度計及びジャイロスコープの組合せを使用する、慣性測定ユニット（ＩＭＵ：Inertial Measurement Unit）を備える。例えば、デバイス１は、初期ポーズ２１から現在のポーズ２２へ動くにつれて、デバイス１の動きは、デバイス１の組み込まれたＩＭＵによって生成されるデータから取得される。明確性の目的で且つ制限なく、本方法は、初期デバイスポーズ２１と現在のデバイスポーズ２２との間の動きに基づいて説明されるが、動きをサンプリングする任意の他の手段は、開示される原理と互換性がある。明確性の目的で且つ一般性を失わずに、用語「慣性センサ（inertial sensor）」又は「ＩＭＵ（Inertial Measurement Unit：慣性測定ユニット）」は、デバイスの動きを測定し、報告するのに適合するセンサを説明するために使用される。例えば加速度計などの、デバイスの動きを測定し、報告することに適合する任意の動きセンサは、開示される原理と互換性がある。

見かけの動きベクトル３０を推定することは、初期デバイスポーズ及び初期デバイスポーズ２１から現在のデバイスポーズ２２へのデバイス１の動きに基づいて現在のデイバスポーズ２２を推定することを含み、動きは、例えば、デイバス１のＩＭＵによって生成されるデータから取得される。
より正式には：
^ＣＭ_０（ｔ−１）４×４行列は、例えば、デバイス座標系とワールド座標系（ＷＣＳ）との間の回転並進変換（rotation translation transformation）として、時刻（ｔ−１）における初期デバイスポーズ２１に対応し；
^ｉＭ_ｃ４×４行列は、ＩＭＵ座標系からデバイス座標系（ＣＣＳ）への固定変換（rigid transformation）に対応し、^ＣＭ_ｉはその逆（inverse）であり；
瞬間ｔでのＩＭＵによって返されるデータから推定される^ｉＭ_ｉ（ｔ）４×４回転行列は、ｔ−１とｔとの間で計算された方向（orientation）の変化に対応する。例えば、ＩＭＵに組み込まれた、ジャイロスコープは、３つ組の生の値を提供し、それらの値は、さらに角速度に変換され、その方向が回転の方向を示し、その大きさがｒａｄ／ｓでの回転速度を示すベクトルである。所望の時間間隔に亘る積分は、回転の軸角度表現（axis-angle representation）を与え、それは、次に、ロドリゲスの式（Rodrigues formula）を使用して回転行列に変換される。
^ＣＭ_０（ｔ）４×４行列は、例えば、デバイス座標系とワールド座標系（ＷＣＳ）との間の回転並進変換として、時間（ｔ）における現在のデイバスポーズ２２に対応し；
現在のデバイスポーズ２２、^ＣＭ_０（ｔ）は、下記のとおり計算される：

デバイスと慣性センサとの間の固定変換（^ｉＭ_ｃと^ｃＭ_ｉ）は、例えば、２００７年６月に発行されたインターナショナルジャーナルオブロボティクスリサーチ（the International Journal of Robotics Research）の「視覚センサと慣性センサとの間の相対ポーズキャリブレーション（Relative Pose Calibration between visual and inertial sensors）」においてジョージ・ロ（Jorge Lo）とジョージ・ディアス（Jorge Dias）によって説明された方法により推定される。

この式によると、^ｃＭ_０（ｔ）で示される現在のデバイスポーズ２２は、^ｃＭ_０（ｔ−１）で示される初期デバイスポーズ２１及びデバイス１の動きから推定され、デバイスの動きは、デバイス１が初期デバイスポーズ２１から現在のデバイスポーズ２２へ動くにつれて、組み込まれたＩＭＵによって生成されたデータから取得される。

・静止している仮想オブジェクト（STATIONARY VIRTUAL OBJECT）
第１の実施形態によると、ビデオに挿入される仮想オブジェクト２０は、静止している仮想オブジェクトである。仮想オブジェクトは、シーンに対して動きがない。ステップＳ１３０において、例えば、デバイス１が、初期デバイスポーズ２１から現在のデバイスポーズ２２へ動くにつれて、デバイス１の組み込まれたＩＭＵによって生成されたデータから、見かけの動きベクトル３０は取得される。仮想オブジェクト２０は、キャプチャされたシーンに関して静止しており、見かけの動きベクトルは、キャプチャするデバイスの動きだけに依存する。さらに、ビデオキャプチャの間のデバイスの動きは、純粋な回転によって近似されるので、デバイスの全体のしかし近似された動きは、デイバス１のＩＭＵによって生成される角速度から取得することができる。見かけの動きベクトルを推定することに関して静止した仮想オブジェクトとデイバスポーズとの間の距離を無視することができるので、純粋な回転によって動きを近似し且つデバイスの並進（translations）を無視することは、さらに利点がある：開示される原理によれば、そのような場合、その挿入をボカすこと対して仮想オブジェクトの３次元の知識を持つ必要が本当にない。実際に、見かけの動きベクトル３０は、上述のとおり、初期デバイスポーズ２１とデバイス１の動きとに基づいて現在のデイバスポーズ２２を推定することによって取得される。第２の実施形態（後述する）に反して、現在のオブジェクトロケーション２１を決定することは、デバイス１に対する３次元空間における仮想オブジェクト２０のポジションの知識を必要としない。現在のオブジェクトロケーション２２１は、初期オブジェクトロケーション２２１と、組み込まれたＩＭＵによって生成されるデータから取得される見かけの動きベクトル３０とから直接取得される。初期オブジェクトロケーションを決定するための様々な変形例が後述される。

スッテプＳ１４０において、現在のイメージ２２０の少なくとも一部は、見かけの動きベクトル３０に基づいてフィルタ処理される。より正確には、空間フィルタ（spatial filter）は、見かけの動きベクトル３０に基づいて決定される。空間フィルタは、例えば、ガウシアンフィルタ（Gaussian filter）である。別の有利な例において、空間フィルタは、矩形フィルタ（rectangular filter）である。矩形フィルタを使用すると、それがイメージキャプチャの物理特性に対応するので有利である：期間の間窓（window）は開いており、その時間間隔の間その窓を通り抜ける光が平均化される。より正確には、推定される見かけの動きベクトル３０は、ボカす効果を作り出すフィルタパラメータを決定するために使用される。これらのフィルタパラメータは、図４に説明されるように、フィルタ長（filter length）４０１とフィルタ方向（filter direction）４００を含む。これらのフィルタパラメータは、見かけの動きベクトル３０モジュールと方向に直接リンクしている。フィルタ方向４００は、見かけの動きベクトル３０の方向である。挿入される仮想オブジェクトの画素４０に適用されるフィルタ長４０１は、対応するオブジェクトロケーションでの、見かけの動きベクトル３０のモジュールの倍数因子であり、それは、平均化された隣接する画素数に対応している。図４で説明される例において、フィルタのフィルタ長４０１は、３つの点４１、４２、４３によって表される３つの画素に対応する。倍数（乗法）因子（multiplicative factor）は、例えば、シャッタアパーチャ期間（shutter aperture duration）である。より正式には、例えば、長さＬの矩形ウインドウフィルタ（rectangular window filter）を考えると、Ｌは以下の式によって定義され：
（外１）

ここでτは、シャッタアパーチャ期間であり、
（外２）

は、画素数で定義され、初期イメージ２１０と現在のイメージ２２０との間で測定される、見かけの動きベクトル３０のモジュールであり、τは、初期イメージ２１０と現在のイメージ２２０との間の時間間隔の一部である。フィルタの方向は、見かけの動きベクトル
（外３）

の方向である。

シャッタアパーチャ期間τが不知であり、しかし固定の場合、オフラインキャリブレーションプロセスから推定され、オフラインキャリブレーションプロセスは、真っ直ぐなエッジ（straight edges）を持つキャリブレーションパタンの前でモバイルデバイスを回転すること、このパターンのイメージをキャプチャすること及びイメージにおいてこれらのエッジの斜面を分析することを含む。フィルタ長４０１の倍数因子は、斜面の傾きを推定することから取得される。

現在のイメージ２２０の少なくとも一部でのフィルタ処理Ｓ１４０は、さらに、現在のイメージ２２０に対する仮想オブジェクト２０のマスク（mask）を取得することを含み、このマスクは、空ではない色値（color value）及び仮想オブジェクトに対応する現在のイメージの各画素に対する１つの重み値（weight value）を含む。言い換えれば、マスクは、挿入される仮想オブジェクトに関連するデータのみを含み、実際のシーンに関連するデータを含まない。仮想オブジェクトに属するマスクの画素は、仮想オブジェクトの色値とその重みを有する。他の画素は、ゼロの重みを有する。マスクは、色値と重み値の両方に対する決定された空間フィルタによって空間的にフィルタ処理される。その結果得られるボケた現在のイメージは、現在のイメージ２２０が仮想オブジェクト２０の空間フィルタ処理されたマスクを混ぜ合わせることによって取得される。

図４は、さらに、マスクの画素４０に適用される、空間フィルタリング処理を説明する。例えば、画素４０は、現在のオブジェクトロケーション２２１に対応する。フィルタは、見かけの動きベクトル方向に対応する方向４００において画素４０の中央４１から引かれる（drawn）。上述のとおり、見かけの動きベクトルモジュールから取得されたフィルタ長４０１は、説明した例における３つの画素である。点４２と点４３は、画素４０の中央４１から等距離のところに置かれ、等距離は、画素間距離（inter pixel distance）に対応している。点４２と点４３での隣接する画素の色値と重み値は、バイナリフィルタ処理に基づいてさらに近隣する画素値から補間される。画素４０の色値と重み値は、例えば、点４２と点４３での近隣の画素の補間された色値と重み値の平均を取ることによってフィルタ処理される。変形例において、フィルタマスクは、例えば、４方向：水平、垂直と２つの斜め方向（diagonals）などの方向の組に限定される。この変形例では、フィルタマスク、すなわち、関係する画素の重みは、有利なことに事前に計算される。

上述の原理のお陰で生成された仮想オブジェクトのボカし効果をユーザが視覚化することができるように、フィルタ処理された現在のイメージは、次に、表示手段上に表示される。

・軌道に沿って動く仮想オブジェクト（MOVING VIRTUAL OBJECT ALONG A TRAJECTORY）
第２の実施形態によると、ビデオの挿入された仮想オブジェクト２０は、シーンにおいて軌道を有する。例えば、軌道は、事前に定義される３Ｄ軌道である。有利なことに、仮想オブジェクト２０の軌道は、さらに、見かけの動きベクトル３０のより良い推定に対して考慮される。その結果、任意選択のステップＳ１２２において、現在のオブジェクトポジションが、軌道と初期オブジェクトポジションに基づいて推定され、初期オブジェクトポジション及び現在のオブジェクトポジションの両方は、仮想オブジェクトの同じ頂点の３次元空間におけるロケーションに対応する。初期オブジェクトポジションと現在のオブジェクトポジションとの間の差は、仮想オブジェクトの軌道によって与えられる。

任意選択のステップＳ１２４において、現在のイメージにおける現在のオブジェクトのロケーションは、現在のイメージにおける現在のオブジェクトのポジションの投射から推定され、現在のオブジェクトのロケーションは、仮想オブジェクトの頂点に関連する。より正式には、各後続の瞬間ｔに対して、ワールド座標系（ＷＣＳ）における、軌道に沿った仮想オブジェクトの第１のポジションの中央にある仮想オブジェクトの事前定義された軌道を仮定すると、現在のオブジェクトのポジションは、３Ｄ座標（Ｘ（ｔ），Ｙ（ｔ），Ｚ（ｔ））の組みとして計算され、それは次に、仮想オブジェクト挿入に対応する２Ｄ座標（Ｘ（ｔ），Ｙ（ｔ））の組みとして現在のオブジェクトロケーションを推定するために、現在のイメージ面上に投射される。

より正式には、

瞬間ｔにおけるワールド座標系に対する仮想オブジェクトの頂点の３Ｄ座標を仮定すると、時間の関数として、３Ｄ点投射に対するイメージのロケーションに興味がある。透視投射（perspective projection）の下で、内部の及び外部のデバイス１パラメータを仮定するとイメージ点ｐ＝（ｘ，ｙ）^Ｔへの同次点Ｘ＝（Ｘ，Ｙ，Ｚ，１）^Ｔ投射は、次式で与えられる。

ここで、ｗとｈは、視点（viewpoint）の幅と高さであり、点
（外４）

は、投射空間におけるＸの投射であり：
（外５）

は、Ｖワールドツービュー行列（world-to-view matrix）とＰビューツープロジェクション行列（view-to-projection matrix）を有する。

内部デバイスパラメータは、デバイス１に組み込まれたカメラのオフラインキャリブレーションステップから取得される。カメラに付随する３次元行列座標と、画素として表現されたイメージにおけるその対応する２Ｄ点の２Ｄ座標を仮定すると、内部パラメータは、シーンにおける３Ｄ点の３Ｄ座標にリンクする投射モデルのパラメータである。デバイスのポーズを表現する外部パラメータは、上述の通り、先行するポーズと、時間を通して累積されたＩＭＵからの回転情報に基づいて取得される。別の変形例によると、仮想オブジェクトの軌道は、動く固いオブジェクトとして、又は統合されたオブジェクトとして定義される。例えば、第１の変形例において、現在のオブジェクトポジションを表す３Ｄ座標（Ｘ，Ｙ，Ｚ）は、軌道データから直接取得できる。第２の変形例において、現在のオブジェクトポジションを表す３Ｄ座標（Ｘ，Ｙ，Ｚ）は、軌道データの一部であるＯオブジェクトツーワールド行列（object-to-world matrix）から取得できる。第３の変形例において、Ｏオブジェクトツーワールド行列は、例えば、変換及び／又は回転及び／又はスケールを含む軌道パラメータの組みから推定される。

ここで、Ｘ_０は、ワールド座標系における仮想オブジェクトの頂点に対応する同次座標（homogeneous coordinates）である。実際のシーンのジオメトリのいかなる必要な演繹的な知識において仮定がされない。ワールド座標系は、例えば、初期デバイスポジション上、又は初期オブジェクトポジション上の中央にある。

第２の実施形態によると、仮想オブジェクトは、軌道を持ち、仮想オブジェクトの見かけの動きベクトル３０は、現在のオブジェクトロケーション（現在のイメージにおける現在のオブジェクトのポジションの投射の結果として得られる）と初期イメージにおける初期オブジェクトロケーションとの間の差から推定され、初期オブジェクトロケーションは、現在のイメージロケーションとしての同じ頂点に関連する。

特定の実施形態によると、初期イメージ２１０における初期オブジェクトポジション（position）及び／又は初期オブジェクトロケーション（location）２２１は、事前に設定される。静止するオブジェクト（第１の実施形態）の場合、初期オブジェクトロケーション２１１のみが事前に設定される必要がある。例えば、初期イメージ２１０の真ん中、又は初期イメージ２１０の右上である。変形例において、事前に設定された初期オブジェクトロケーション２１１は、仮想オブジェクトのサイズ（size）及び／又はフォーム（form）に依存する。別の変形例において、仮想オブジェクト挿入の現実味を改善するために、初期オブジェクトロケーション２１１は、初期イメージ２１０に適用されるイメージ処理技法から取得される。特定された構造に関連する初期オブジェクトロケーション２１１を決定するために、イメージ処理技法は、例えば、初期イメージ２１０において面（planes）又は構造（structures）を特定するために使用される。動く仮想オブジェクト（第２の実施形態）の場合、３次元空間における仮想オブジェクト２０の初期オブジェクトポジションと軌道も事前に設定される。軌道は、例えば、飛んでいるオブジェクトに対して直線である。別の例では、軌道は、あり得る跳ね返り（rebounds：リバウンド）を有する落ちていくオブジェクトであり、それは、また、例えば、軌道のライブラリから事前に設定され、取得される。初期オブジェクトポジションを設定するために初期イメージ２１０上でイメージ処理技法を使用することによって、初期オブジェクトロケーション２１１と軌道は、開示された原理と互換性がある。

別の特定の実施形態によると、仮想オブジェクト２０は、ユーザインタフェースを経由してユーザによってビデオに挿入される。オブジェクトの挿入は、挿入設定（insertion configuration）を含み、仮想オブジェクト２０の頂点２００は、ユーザインタフェースを経由してユーザによって、初期イメージ２１０における初期オブジェクトロケーション２１１と関連付けられる。例えば、ユーザは、タッチスクリーン上に表示される初期イメージ２１０の対応する領域を指でタッチすることによって、頂点２００を初期イメージ２１０における初期オブジェクトロケーション２１１と関連付ける。別の例では、初期イメージ２１０における初期オブジェクトロケーション２１１の２Ｄ座標が、ユーザインタフェースを経由してユーザによって設定される。動くオブジェクト（第２の実施形態）の場合、初期オブジェクトポジションは、さらに、例えば、３次元空間における３Ｄ座標の組として、ユーザインタフェースを経由してユーザによって設定される。別の変形例によると、初期イメージ２１０において挿入される仮想オブジェクト２０の方向及び／又はスケールは、さらに、ユーザインタフェースを経由してユーザによって設定される。オブジェクト座標系（ＯＣＳ）は、オブジェクトに付随する。オブジェクトの軌道は、さらにこの座標系においても設定される。軌道の時間スケールは、あるフィールドレートによって与えられ、通常、調整可能である。変形例において、軌道は、さらに、例えば、利用可能な軌道の組の中から軌道を選択することによって、ユーザによって設定される。ユーザによって仮想オブジェクト２０の軌道を設定するための任意の手段は、開示された原理と互換性がある。仮想オブジェクト２０の初期オブジェクトポジション、方向、及びスケールが初期イメージ２１０に対して、デイバス１の内部パラメータを使用して、一旦設定されると、初期デバイスポーズ２１は、仮想オブジェクト頂点の３Ｄ座標と初期イメージ２１０における投射された頂点の２Ｄイメージ座標との間の対応を使用することによって最新のポーズ推定アルゴリズムから推定される。ポーズ推定アルゴリズムは、例えば、ＯｐｅｎＣＶに実装される方法として、レーベンバーグ・マーカート最適化（Levenberg-Marquardt optimization）に基づく反復方法である。この場合、最小化される関数は、観察される投射（有効な挿入に対応する２Ｄイメージ座標）とイメージ面への３Ｄモデル頂点の投射との間の距離の二乗の合計である再投射誤差（re-projection error）である。有利なことに、初期デイバスポーズ２１は、シーン２と相対的に推定され、ユーザによって設定される初期オブジェクトポジションの中央に位置する。

図５は、ビデオにおける仮想オブジェクトをボカすための処理デバイス５を描写し、図２のキャプチャリングデバイス１の実装例に対応している。本原理の特定且つ非制限的な実施形態によると、処理デバイス５は、イメージのシーケンスとしてビデオをキャプチャするように構成されるカメラ５０を備える。本原理の特定且つ非制限的な実施形態によると、カメラ５０は、光に焦点を合わせ、光を半導体イメージキャプチャデバイスへ向かわせるために使用されるレンズを備え、半導体イメージキャプチャデバイスは、例えば、感光性セルと呼ばれる数千又は数百万の行列の非常に小さい感光性ダイオードで光を測定するＣＣＤ（電荷結合素子）捕獲器又はＣＭＯＳ（相補型金属酸化膜半導体）捕獲器である。カメラ５０は、初期イメージ及び現在のイメージをキャプチャするように構成される。

本原理の特定の実施形態によると、処理デバイス５は、さらに、慣性測定手段５１を備え、それは、処理モジュール５４にリンクされ、処理デバイス５の角速度を測定し、報告するように構成される。慣性測定手段は、例えば、加速度計やジャイロスコープの組合せを含み、加速度計は、処理デバイスの加速度を検知するように構成され、ジャイロスコープは、ピッチ、ロール及びヨーなどの回転特性を検知するように構成される。本原理の別の実施形態によれば、慣性測定手段は、少なくとも以下のものの組合せである：
・処理デバイス５の加速度を検知し、報告するように構成された線形加速度計；
・ピッチ、ロール及びヨーなどの処理デバイス５の回転特性を検知し、報告するように構成された角加速度計；
・絶対角度基準を維持するように構成されたジャイロスコープ。
より一般的に、処理デバイス５の加速度の測定と報告を許す任意の慣性又は動き測定手段は、開示された原理と互換性がある。

カメラ５０と慣性測定手段は、初期イメージと現在のイメージとの間で仮想オブジェクトの見かけの動きベクトルを推定するように構成された処理モジュール５４にリンクされる。特定の実施形態によると、処理モジュール５４は、キャプチャされた初期イメージをローカルの表示手段５６に送信する。処理モジュール５４は、さらに、見かけの動きベクトルに基づいて現在のイメージの少なくとも一部をフィルタ処理するように構成される。特定の実施形態によると、処理モジュール５４は、フィルタ処理された現在のイメージをローカルな表示手段５６へ送信する。

特定の実施形態によると、表示手段は、デバイスの外部にあり、出力５６は、初期イメージ及びさらにフィルタ処理されたイメージを表示するために外部の表示手段に送信する。本発明の別の実施形態によれば、内部又は外部の表示手段は、下記を含む組に属する：
・タッチスクリーン；
・パーソナルコンピュータスクリーン；
・ＴＶスクリーン；
・タブレット；
・スマートフォンスクリーン；
より一般的に、ボケた仮想オブジェクトを有するビデオを表示することを許す任意の表示手段は、開示された原理と互換性がある。

特定の実施形態によると、処理モジュール５４は、キャプチャされた初期イメージ及び現在のイメージを記憶モジュール５５へ送信する。特定の実施形態によると、処理モジュール５４は、また、フィルタ処理された現在のイメージ、及びより一般的にはボケた仮想オブジェクトを含むビデオを、記憶モジュール５５へ送信する。本原理の別の実施形態によると、記憶モジュールは、以下のものを含む組に属する：
・ハードディスクドライブ；
・ＳＳＤ；
・メモリ；
・書き込み可能ＣＤ−ＲＯＭ；
・書き込み可能ＤＶＤ；
・書き込み可能ブルーレイ（登録商標）ディスク。
より一般的に、ボケた仮想オブジェクトを含むビデオの記憶を許す任意の記憶手段は、開示された原理と互換性がある。

本原理の特定且つ非制限的な実施形態によれば、処理デバイス５は、さらに、処理モジュール５４にリンクされたユーザインタフェース５２を備え、ユーザインタフェース５２は初期イメージにおいて仮想オブジェクトを挿入するためのユーザからの設定データを受信するように構成されている。本原理の特定且つ非制限的な実施形態によれば、ユーザインタフェース５２は、さらに、仮想オブジェクトの頂点を表示手段５６上に表示される初期イメージにおける初期オブジェクトロケーションと関連付けるためにデータを受信するように構成される。本原理の別の実施形態によると、ユーザインタフェース５２は、以下のものを含む組に属する：
・イメージとアイコンを表示し、表示されたアイコンとユーザの対話からデータを受信するように適合するタッチスクリーンとその付随するコントローラベースファームウェア；
・ユーザにリモートのユーザインタフェースを提供するように構成された外部デバイスに処理デバイス５を接続するためのローカルエリアネットワークインタフェース又はワイドエリアネットワークインタフェースなどのネットワークインタフェース。
より一般的には、ユーザインタフェースを提供し、初期イメージに仮想オブジェクトを挿入するための設定データを受信することに適合する任意のデバイスは、開示される原理と互換性がある。

図６は、特定且つ非制限的な実施形態による処理デバイス５の構成の例を表現し、処理デバイス５は、キャプチャされたビデオにおける仮想オブジェクトをボカすように構成される。処理デバイス５は、１つ以上のプロセッサ６１０を備え、それらは例えば、内部メモリ６２０（例えば、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ）と共に、ＣＰＵ、ＧＰＵ及び／又はＤＳＰ（デジタルシグナルプロセッサの英語の頭字語）である。メモリ６２０は、キャプチャされたビデオのイメージ、測定された角速度データ、及びフィルタ処理された現在のイメージを記憶する。処理デバイス５は、出力情報をディスプレイに送信するように適合し及び／又はユーザにコマンド及び／又はデータ（例えば、キーボード、マウス、タッチバッド、ウェブカム、ディスプレイ）の入力を許し、及び／又はネットワークインタフェースを介してデータを送信／受信する１つ以上の入力／出力インタフェースと、処理デバイス５の外部にあり得る電源６４０を備える。処理デバイス５は、処理デバイス５の加速度データを検知し、報告するように適合された１つ以上の慣性測定ユニット６５０（ＩＭＵ）を備える。

例となる非制限的な実施形態によると、処理デバイス５は、さらに、メモリ６２０に記憶されるコンピュータプログラムを含む。コンピュータプログラムは、処理デバイス５、特にプロセッサ６１０によって、実行されたときに、処理デバイス５に図１を参照して説明された処理方法を実行させる、命令を含む。変形例によると、コンピュータプログラムは、処理デバイス５の外部にある非一時的デジタルデータサポート、例えば、この技術分野で知られている、ＳＤカード、ＨＤＤ、ＣＤ−ＲＯＭ、ＤＶＤ、リードオンリ及び／又はＤＶＤドライブ及び／又はＤＶＤリード／ライトドライブなどの上に記憶される。処理デバイス５は、それ故に、コンピュータプログラムを読み込むためのインタフェースを備える。さらに、処理デバイス５は、対応するＵＳＢポート（図示せず）を介して、１つ以上のユニバーサルシリアルバス（ＵＳＢ）タイプ記憶デバイス（例えば、「メモリスティック」）へアクセスできる。

例となる非制限的な実施形態によると、処理デバイス５は、下記を含む組に属するデバイスである：
・カメラ；
・スマートフォン；
・タブレット；
・ポータブルゲームデバイス；
・ＨＭＤ（ヘッドマウントデバイス）；
・スマートグラス。
なお、上述の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
（付記１）
ビデオに中の仮想オブジェクト（２０）をボカす方法であって、前記ビデオは、デバイス（１）によってキャプチャされ、前記方法は前記デバイス（１）によって実行され、前記方法は、
前記ビデオの初期イメージ（２１０）をキャプチャすること（Ｓ１１０）と、
前記ビデオの現在のイメージ（２２０）をキャプチャすること（Ｓ１２０）と、
前記デバイス（１）の動きに基づいて、前記初期イメージ（２１０）と前記現在のイメージ（２２０）との間の前記仮想オブジェクト（２０）の見かけの動きベクトル（３０）を推定すること（Ｓ１３０）と、
前記見かけの動きベクトル（３０）に基づいて前記現在のイメージ（２２０）の少なくとも１部にフィルタ処理すること（Ｓ１４０）と、
を含む、方法。
（付記２）
前記デバイス（１）は、さらに、少なくとも１つの動きセンサと、初期デバイスポーズ（２１）で前記デバイス（１）によってキャプチャされた前記初期イメージ（２１０）と、現在のデバイスポーズ（２２）で前記デバイス（１）によってキャプチャされた前記現在のイメージ（２２０）と、前記初期デバイスポーズ（２１）から前記現在のデイバスポーズ（２２）へ動くときに前記デバイス（１）の前記少なくとも１つの動きセンサによって生成されたデータから取得された前記デバイス（１）の前記動きと、を含む、付記１に記載の方法。
（付記３）
前記見かけの動きベクトル（３０）を前記推定すること（Ｓ１３０）が、さらに、初期デバイスポーズ（２１）と前記デバイス（１）の前記動きに基づいて、前記現在のデバイスポーズ（２２）を推定することを含む、付記１乃至２のいずれか１項記載の方法。
（付記４）
前記見かけの動きベクトル（３０）及び前記初期イメージ（２１０）における初期オブジェクトロケーション（２１１）に基づいて前記現在のイメージ（２２０）における現在のオブジェクトロケーション（２２１）を推定することをさらに含む、付記１乃至３のいずれか１項記載の方法。
（付記５）
前記仮想オブジェクト（２０）が軌道を有し、前記方法がさらに、
前記軌道及び初期オブジェクトポジションに基づいて現在のオブジェクトポジションを推定すること（Ｓ１２２）と、
前記現在のイメージ（２２０）における前記現在のオブジェクトポジションの投射に基づいて前記現在のイメージ（２２０）における現在のオブジェクトロケーション（２２１）を推定すること（Ｓ１２４）と、
を含む、付記１乃至３のいずれか１項記載の方法。
（付記６）
前記仮想オブジェクト（２０）の前記見かけの動きベクトル（３０）を推定すること（Ｓ１３０）は、前記現在のイメージ（２２０）における前記現在のオブジェクトロケーション（２２１）と前記初期イメージ（２１０）における初期オブジェクトロケーション（２１１）との間の差に基づく、付記５に記載の方法。
（付記７）
前記フィルタ処理すること（Ｓ１４０）がさらに、空間フィルタ長（４０１）と空間フィルタ方向（４００）を決定することを含み、
前記空間フィルタ方向（４００）は、前記見かけの動きベクトル（３０）の方向に対応し、
前記空間フィルタ長（４０１）は、前記見かけの動きベクトル（３０）のモジュールの因子であり、前記空間フィルタ長（４０１）は、隣接する画素（４１、４２）の数に対応している、付記１乃至６のいずれか１項記載の方法。
（付記８）
前記因子は、前記デバイス（１）のシャッタアパーチャ期間に対応する、付記７記載の方法。
（付記９）
前記現在のイメージ（２２０）の少なくとも一部を前記フィルタ処理すること（Ｓ１４０）は、さらに、
前記現在のイメージ（２２０）に対する前記仮想オブジェクト（２０）のマスクを取得することであって、前記マスクは、前記仮想オブジェクト（２に対応する前記現在のイメージ（２２０）の各ピクセルに対する非ゼロの色値と重み値を含み、
前記決定された空間フィルタに従って前記マスクを空間的にフィルタ処理することと、
前記現在のイメージ（２２０）を前記仮想オブジェクト（２０）の前記空間的にフィルタ処理されたマスクと混ぜ合わせることと、
を含む、付記７又は８に記載の方法。
（付記１０）
先行するデバイスポーズで前記デイバス（１）によってキャプチャされた先行するイメージに基づいて初期デバイスポーズ（２１）を推定することをさらに含み、前記初期デバイスポーズを前記推定することは、さらに前記先行するデバイスポーズと、前記先行するデバイスポーズから前記初期デバイスポーズ（２１）への前記デバイス（１）の先行する動きに基づく、付記２乃至９のいずれか１項記載の方法。
（付記１１）
ユーザインタフェースから、前記初期イメージ（２１０）に前記仮想オブジェクトを挿入することであって、前記挿入することは、前記仮想オブジェクト（２０）の頂点（２００）を、前記初期イメージ（２１０）における初期オブジェクトロケーション（２１１）と関連付けることを含み、
前記初期オブジェクトロケーション（２１１）に対応する初期オブジェクトポジションに対して初期デバイスポーズ（２１）を推定することと、
を含む、付記３乃至９のいずれか１項記載の方法。
（付記１２）
ビデオをキャプチャし、前記ビデオにおいて仮想オブジェクト（２０）をボカすデバイス（１）であって、
前記ビデオの初期イメージ（２１０）をキャプチャする手段と、
前記ビデオの現在のイメージ（２２０）をキャプチャする手段と、
前記デイバス（１）の動きに基づいて、前記初期イメージ（２１０）と前記現在のイメージ（２２０）との間の前記仮想オブジェクト（２０）の見かけの動きベクトル（３０）を推定する手段と、
前記見かけの動きベクトル（３０）に基づいて前記現在のイメージ（２２０）の少なくとも１部をフィルタ処理するための手段と、
を備える、デバイス。
（付記１３）
前記デバイス（１）は、さらに、少なくとも１つの動きセンサと、初期デバイスポーズ（２１）で前記デバイス（１）によってキャプチャされた前記初期イメージ（２１０）と、現在のデバイスポーズ（２２）で前記デバイス（１）によってキャプチャされた前記現在のイメージ（２２０）と、前記デバイス（１）の前記少なくとも１つの動きセンサによって生成されたデータから取得され、前記初期デバイスポーズ（２１）から前記現在のデイバスポーズ（２２）へ動く、前記デバイスの前記動きと、を含む、付記１２に記載のデバイス。
（付記１４）
前記見かけの動きベクトル（３）を推定するための前記手段が、さらに、初期デバイスポーズ（２１）と前記デバイス（１）の前記動きに基づいて、前記現在のデバイスポーズ（２２）を推定する手段を含む、付記１２乃至１３のいずれか１項記載のデバイス。
（付記１５）
ビデオに中の仮想オブジェクト（２０）をボカすコンピュータプログラムであって、前記コンピュータプログラムは、プロセッサによって、
前記ビデオの初期イメージ（２１０）をキャプチャすること（Ｓ１１０）と、
前記ビデオの現在のイメージをキャプチャすること（Ｓ１２０）と、
前記デバイスの動きに基づいて、前記初期イメージ（２１０）と前記現在のイメージ（２２０）との間の前記仮想オブジェクト（２０）の見かけの動きベクトル（３０）を推定すること（Ｓ１３０）と、
前記見かけの動きベクトル（３０）に基づいて前記現在のイメージ（２２０）の少なくとも１部にフィルタ処理すること（Ｓ１４０）と、
を実行可能なプログラムコード命令を含む、コンピュータプログラム。

Claims (15)

1. ビデオの中の仮想オブジェクトをボカす方法であって、前記ビデオは、デバイスによってキャプチャされ、前記方法は前記デバイスによって実行され、前記方法は、
   初期デバイスポーズで前記デバイスによってキャプチャされる、前記ビデオの初期イメージを取得することと、
   現在のデバイスポーズで前記デバイスによってキャプチャされる、前記ビデオの現在のイメージを取得することと、
   前記初期デバイスポーズから前記現在のデバイスポーズに動く前記デバイスの少なくとも１つの動きセンサに関連付けられる角速度に基づいて、前記初期イメージと前記現在のイメージとの間の前記仮想オブジェクトの見かけの動きベクトルを推定することであって、前記推定することは、前記初期デバイスポーズから前記現在のデバイスポーズに動く前記デバイスの並進とは無関係に実行される、ことと、
   前記見かけの動きベクトルに基づいて前記仮想オブジェクトをボカすことと、
   を含む、方法。
2. 前記見かけの動きベクトルを前記推定することが、さらに、初期デバイスポーズと前記デバイスの前記動きに基づいて、前記現在のデバイスポーズを推定することを含む、請求項１に記載の方法。
3. 前記見かけの動きベクトル及び前記初期イメージにおける初期オブジェクトロケーションに基づいて前記現在のイメージにおける現在のオブジェクトロケーションを推定することをさらに含む、請求項１乃至２のいずれか１項記載の方法。
4. 前記仮想オブジェクトが軌道を有し、前記方法がさらに、
   前記軌道及び初期オブジェクトポジションに基づいて現在のオブジェクトポジションを推定することと、
   前記現在のイメージにおける前記現在のオブジェクトポジションの投射に基づいて前記現在のイメージにおける現在のオブジェクトロケーションを推定することと、
   を含む、請求項１乃至２のいずれか１項記載の方法。
5. 前記仮想オブジェクトの前記見かけの動きベクトルを推定することは、前記現在のイメージにおける前記現在のオブジェクトロケーションと前記初期イメージにおける初期オブジェクトロケーションとの間の差に基づく、請求項４に記載の方法。
6. 前記仮想オブジェクトをボカすことは、空間フィルタ長と空間フィルタ方向とに基づいて前記仮想オブジェクトをフィルタリングすることを含み、前記空間フィルタ方向は、前記見かけの動きベクトルの方向に対応し、前記空間フィルタ長は、前記見かけの動きベクトルのモジュールの因子であり、前記空間フィルタ長は、隣接する画素の数に対応している、請求項１乃至５のいずれか１項記載の方法。
7. 前記因子は、前記デバイスのシャッタアパーチャ期間に対応する、請求項６記載の方法。
8. 前記仮想オブジェクトをフィルタリングすることは、
   前記現在のイメージに対する前記仮想オブジェクトのマスクを取得することであって、前記マスクは、前記仮想オブジェクトに対応する前記現在のイメージのピクセルに対する非ゼロの色値と重み値を含み、
   前記色値と前記重み値の両方に対して決定された空間フィルタに従って前記マスクを空間的にフィルタ処理することと、
   前記現在のイメージを前記仮想オブジェクトの前記空間的にフィルタ処理されたマスクと混ぜ合わせることと、
   を含む、請求項６又は７に記載の方法。
9. 先行するデバイスポーズで前記デバイスによってキャプチャされた先行するイメージに基づいて初期デバイスポーズを推定することをさらに含み、前記初期デバイスポーズを前記推定することは、さらに前記先行するデバイスポーズと、前記先行するデバイスポーズから前記初期デバイスポーズへの前記デバイスの先行する動きに基づく、請求項１乃至８のいずれか１項記載の方法。
10. ユーザインタフェースから、前記初期イメージに前記仮想オブジェクトを挿入することであって、前記挿入することは、前記仮想オブジェクトの頂点を、前記初期イメージにおける初期オブジェクトロケーションと関連付けることを含み、
    前記初期オブジェクトロケーションに対応する初期オブジェクトポジションに対して初期デバイスポーズを推定することと、
    を含む、請求項２乃至８のいずれか１項記載の方法。
11. ビデオを取得し、前記ビデオにおいて仮想オブジェクトをボカすデバイスであって、
    初期デバイスポーズで前記デバイスによってキャプチャされる、前記ビデオの初期イメージを取得する手段と、
    現在のデバイスポーズで前記デバイスによってキャプチャされる、前記ビデオの現在のイメージを取得する手段と、
    前記初期デバイスポーズから前記現在のデバイスポーズに動く前記デバイスの少なくとも１つの動きセンサに関連付けられる角速度に基づいて、前記初期イメージと前記現在のイメージとの間の前記仮想オブジェクトの見かけの動きベクトルを推定する手段であって、前記推定は、前記初期デバイスポーズから前記現在のデバイスポーズに動く前記デバイスの並進とは無関係に実行される、手段と、
    前記見かけの動きベクトルに基づいて前記仮想オブジェクトをボカす手段と、
    を備える、デバイス。
12. 前記見かけの動きベクトルを推定するための前記手段が、さらに、初期デバイスポーズと前記デバイスの前記動きに基づいて、前記現在のデバイスポーズを推定する手段を含む、請求項１１に記載のデバイス。
13. 現在のオブジェクトロケーションが、前記見かけの動きベクトル及び前記初期イメージにおける初期オブジェクトロケーションに基づいて、前記現在のイメージにおいて推定される、請求項１１乃至１２のいずれか１項記載のデバイス。
14. 前記仮想オブジェクトが軌道を有し、
    現在のオブジェクトポジションが、前記軌道及び初期オブジェクトポジションに基づいて推定され、
    現在のオブジェクトロケーションが、前記現在のイメージにおける前記現在のオブジェクトポジションの投射に基づいて、前記現在のイメージにおいて推定される、請求項１１乃至１２のいずれか１項記載のデバイス。
15. ビデオの中の仮想オブジェクトをボカすコンピュータプログラムであって、前記コンピュータプログラムは、デバイスのプロセッサによって、
    初期デバイスポーズで前記デバイスによってキャプチャされる、前記ビデオの初期イメージを取得することと、
    現在のデバイスポーズで前記デバイスによってキャプチャされる、前記ビデオの現在のイメージを取得することと、
    前記初期デバイスポーズから前記現在のデバイスポーズに動く前記デバイスの少なくとも１つの動きセンサに関連付けられる角速度に基づいて、前記初期イメージと前記現在のイメージとの間の前記仮想オブジェクトの見かけの動きベクトルを推定することであって、前記推定することは、前記初期デバイスポーズから前記現在のデバイスポーズに動く前記デバイスの並進とは無関係に実行される、ことと、
    前記見かけの動きベクトルに基づいて前記仮想オブジェクトをボカすこと、
    を実行可能なプログラムコード命令を含む、コンピュータプログラム。

Images