JP7478740B2 - アニメーションシーケンスを生成する方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明はアニメーションシーケンスを生成する方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体に関する。

最近、パーソナルコンピュータや移動端末装置などのようなデジタル機器の２次元画面においても３次元的に表現され得るコンテンツに対する需要が増加している。また、一人放送プラットホーム、コンテンツクリエイタープラットホームなどが活性化されるにつれて、３次元コンテンツを直接著作して使用しようとする一般人のユーザーが増えている。

しかし、従来にはこのような３次元コンテンツの著作のためにコンテンツ著作用ツール（ｔｏｏｌ）が利用されてきたが、通常のアニメーション著作用ツールはその使用方法が複雑で難しいため、熟練した専門家によってのみその使用が可能であるのが一般的であった。

そこで、本発明者（ら）は、カメラの位置および姿勢のうち少なくとも一つに関する変化情報に基づいて、非専門家も容易に３次元アニメーションを著作できる技術を提案するところである。

韓国登録特許第１５７５０９２号公報

本発明は、前述した従来技術の問題点をすべて解決することをその目的とする。

また、本発明は、カメラによって撮影されるコンテンツまたはソースコンテンツからターゲット客体を獲得し、カメラの位置および姿勢のうち少なくとも一つに関する変化情報に連動してターゲット客体に関するアニメーションを簡便に生成することをさらに他の目的とする。

また、本発明は、非専門家も３次元コンテンツを容易に著作できるように支援することをさらに他の目的とする。

前記目的を達成するための本発明の代表的な構成は次の通りである。

本発明の一態様によると、アニメーションシーケンスを生成する方法であって、カメラの位置および姿勢のうち少なくとも一つに関する変化情報に基づいて、ターゲット客体のモーションおよびエフェクトのうち少なくとも一つに関する属性情報を決定する段階、および前記決定される属性情報を参照して前記ターゲット客体に関するアニメーションシーケンスを生成する段階を含む方法が提供される。

本発明の他の態様によると、アニメーションシーケンスを生成するシステムであって、カメラの位置および姿勢のうち少なくとも一つに関する変化情報に基づいて、ターゲット客体のモーションおよびエフェクトのうち少なくとも一つに関する属性情報を決定する属性情報決定部、および前記決定される属性情報を参照して前記ターゲット客体に関するアニメーションシーケンスを生成するアニメーションシーケンス生成部を含むシステムが提供される。

この他にも、本発明を具現するための他の方法、他のシステムおよび前記方法を実行するためのコンピュータプログラムを記録する非一過性のコンピュータ読み取り可能な記録媒体がさらに提供される。

本発明によると、カメラによって撮影されるコンテンツまたはソースコンテンツからターゲット客体を獲得し、カメラの位置および姿勢のうち少なくとも一つに関する変化情報に連動してターゲット客体に関するアニメーションを簡便に生成できる。

また、本発明は、非専門家も３次元コンテンツを容易に著作できるように支援できる。

本発明の一実施形態に係る著作システムの内部構成を例示的に示す図面である。 本発明の一実施形態によりアニメーションシーケンスが生成される過程を示す図面である。 本発明の一実施形態によりアニメーションシーケンスが生成される過程を示す図面である。 本発明の一実施形態によりアニメーションシーケンスが生成される過程を示す図面である。 本発明の一実施形態によりアニメーションシーケンスが生成される過程を示す図面である。 本発明の他の実施形態によりアニメーションシーケンスが生成される過程を示す図面である。 本発明の他の実施形態によりアニメーションシーケンスが生成される過程を示す図面である。 本発明のさらに他の実施形態によりアニメーションシーケンスが生成される過程を示す図面である。 本発明のさらに他の実施形態によりアニメーションシーケンスが生成される過程を示す図面である。

後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施形態を例示として図示する添付図面を参照する。このような実施形態は当業者が本発明を充分に実施できるように詳細に説明される。本発明の多様な実施形態は互いに異なるが互いに排他的である必要はないことが理解されるべきである。例えば、本明細書に記載されている特定形状、構造および特性は本発明の精神と範囲を逸脱することなく一実施形態から他の実施形態に変更されて具現され得る。また、それぞれの実施形態内の個別構成要素の位置または配置も本発明の精神と範囲を逸脱することなく変更され得ることが理解されるべきである。したがって、後述する詳細な説明は限定的な意味で行われるものではなく、本発明の範囲は特許請求の範囲の請求項が請求する範囲およびそれと均等なすべての範囲を包括するものと理解されるべきである。図面で類似する参照符号は多様な側面に亘って同一または類似する構成要素を示す。

本明細書で、コンテンツとは、文字、符号、音声、音響、イメージ、動画などからなるデジタル情報または個別情報要素を総称する概念である。このようなコンテンツは、例えば、テキスト、イメージ、動画、オーディオ、リンク（例えば、ウェブリンク）等のデータまたはこのようなデータのうち少なくとも二つの組み合わせを含んで構成され得る。

以下では、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の多様な好ましい実施形態に関して添付された図面を参照して詳細に説明することにする。

著作システムの構成

以下では、本発明の具現のために重要な機能を遂行する著作システム１００の各構成要素の機能について詳察することにする。

図１は、本発明の一実施形態に係る著作システム１００の内部構成を例示的に示す図面である。

本発明の一実施形態に係る著作システム１００は、ターゲット客体獲得部１１０、属性情報決定部１２０、アニメーションシーケンス生成部１３０、通信部１４０および制御部１５０を含んで構成され得る。本発明の一実施形態によると、ターゲット客体獲得部１１０、属性情報決定部１２０、アニメーションシーケンス生成部１３０、通信部１４０および制御部１５０は、そのうちの少なくとも一部が外部システムと通信するプログラムモジュールであり得る。このようなプログラムモジュールは運営システム、アプリケーションモジュールまたはその他のプログラムモジュールの形態で著作システム１００に含まれ得、物理的には多様な公知の記憶装置に保存され得る。また、このようなプログラムモジュールは著作システム１００と通信可能な遠隔記憶装置にそれぞれ保存されてもよい。一方、このようなプログラムモジュールは本発明により後述する特定の業務を遂行したり、特定の抽象データの類型を実行するルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを包括するが、これに制限されはしない。

一方、著作システム１００に関して前記のように説明されたが、このような説明は例示的なものであり、著作システム１００の構成要素または機能のうち少なくとも一部が必要に応じてサーバーシステム（図示されず）またはユーザーが所持、携帯または着用するデバイス４００内で実現されたり、このようなサーバーシステムまたはデバイス４００内に含まれてもよいことは当業者に自明である。また、場合によっては、著作システム１００のすべての機能とすべての構成要素がサーバーシステムまたはデバイス４００内ですべて実行されるか、サーバーシステムまたはデバイス４００内にすべて含まれてもよい。

本発明の一実施形態に係るデバイス４００はメモリ手段を具備し、マイクロプロセッサを搭載して演算能力を備えたデジタル機器であり、スマートグラス、スマートウォッチ、スマートバンド、スマートリング、スマートネックレス（ｓｍａｒｔ ｎｅｃｋｌａｃｅ）、スマートイヤーセット、スマートイヤホン、スマートイヤリング（ｓｍａｒｔ ｅａｒｒｉｎｇ）などのようなウェアラブルデバイスであるか、スマートフォン、スマートパッド、デスクトップコンピュータ、ノートパソコン、ワークステーション、ピーディーエー（ＰＤＡ）、ウェブパッド、移動電話機、リモートコントローラなどのような多少伝統的なデバイスを含むことができる。デバイス４００は前記列挙された例示にのみ限定されず、本発明の目的を達成できる範囲内でいくらでも変更され得る。また、本発明の一実施形態に係るデバイス４００はテキスト、イメージまたは映像などに関するコンテンツを獲得するカメラ、カメラの位置および姿勢に関する変化情報を測定するセンサ（例えば、速度センサ、加速度センサ、ＧＰＳセンサなど）またはアニメーションを表示する表示手段（例えば、ディスプレイ）を含むことができる。

一方、本発明の一実施形態に係るデバイス４００には、本発明に係るアニメーションシーケンス生成を支援するアプリケーションが含まれていてもよい。このようなアプリケーションは外部のアプリケーション配布サーバー（図示されず）からダウンロードされたものであり得る。一方、このようなアプリケーションの性格は後述するような著作システム１００のターゲット客体獲得部１１０、属性情報決定部１２０、アニメーションシーケンス生成部１３０、通信部１４０および制御部１５０と全般的に類似していてもよい。ここで、アプリケーションはその少なくとも一部が必要に応じてそれと実質的に同一または均等な機能を遂行できるハードウェア装置やファームウェア装置で置換されてもよい。

まず、本発明の一実施形態に係るターゲット客体獲得部１１０は、カメラによって撮影されるコンテンツまたはソースコンテンツのうち少なくとも一つを参照してターゲット客体を獲得する機能を遂行することができる。本発明の一実施形態に係るターゲット客体は、事物、生命体などのように形状または形態を明確に特定できる対象だけでなく、領域、空間などのように形状または形態を明確に特定できない対象（例えば、背景）までもすべて含む最広義で解釈されるべきである。

例えば、ターゲット客体獲得部１１０はカメラによって撮影される映像またはイメージやソース映像またはイメージ内で獲得される複数の実世界（ｒｅａｌ ｗｏｒｌｄ）の客体のうち少なくとも一つの客体をターゲット客体として獲得することができる。

より具体的には、人形を含む複数の実世界客体に関するイメージがカメラによって撮影されると、ターゲット客体獲得部１１０はその撮影されたイメージ内の前記人形を仮想客体（このような仮想客体は２次元または３次元客体であり得る）で生成し、その仮想客体を本発明に係るターゲット客体として獲得することができる。本発明の一実施形態によると、このような仮想客体は実世界客体である人形とその形状または色相が同一または類似し得る。また、空（例えば、雲を含む）を含む複数の実世界客体に関するイメージがカメラによって撮影されると、ターゲット客体獲得部１１０はその撮影されたイメージ内の前記空（例えば、雲を含む）を仮想客体（このような仮想客体は２次元または３次元客体であり得る）で生成し、その仮想客体を本発明に係るターゲット客体として獲得することができる。一方、本発明の一実施形態に係るターゲット客体獲得部１１０は前記ターゲット客体を獲得する過程で公知の３次元（３Ｄ）スキャニング技術、３次元モデリング技術、または３次元レンダリング（ｒｅｎｄｅｒｉｎｇ）技術を活用することができる。

他の例として、ターゲット客体獲得部１１０は著作システム１００（またはデバイス４００）の内部に保存されたイメージまたは外部システム（図示されず）から提供されるイメージをソースコンテンツとして参照してターゲット客体を獲得することができる。

次に、本発明の一実施形態に係る属性情報決定部１２０は、カメラの位置および姿勢のうち少なくとも一つに関する変化情報に基づいてターゲット客体のモーションおよびエフェクトのうち少なくとも一つに関する属性情報を決定することができる。本発明の一実施形態によると、このようなカメラの位置に関する変化情報は、カメラの絶対座標（例えば、ＧＰＳ座標などの地理的座標）または相対座標（例えば、カメラによって特定される所定地点を基準としてカメラが位置する座標）に基づいて特定され得、例えば、カメラの移動距離、移動方向、移動速度および加速度のうち少なくとも一つを含むことができる。また、カメラの姿勢に関する変化情報は、カメラの傾き、角速度および角加速度のうち少なくとも一つに関する情報を含むことができる。また、ターゲット客体のモーションに関する属性情報には、ターゲット客体で動きの対象となる少なくとも一つの部位（例えば、手、頭、足など）、その部位が動く方向、その部位が動く程度（例えば、動く距離、速度、加速度、角速度、角加速度、傾きの発生時間など）等に関する情報が含まれ得、ターゲット客体のエフェクトに関する属性情報には、エフェクトの対象となる領域（または部位）、そのエフェクトの種類（例えば、雨、雪、稲妻など）、そのエフェクトの感覚類型（例えば、視覚的、触覚的、聴覚的など）、そのエフェクトの発生程度（例えば、発生持続時間など）等に関する情報が含まれ得る。

例えば、ターゲット客体が頭および体で構成される人形であり、そのカメラが人形を中心に左右に所定角度および所定速度で繰り返し移動しながらパンニング（ｐａｎｎｉｎｇ）されることがカメラの位置および姿勢に関する変化情報である場合に、属性情報決定部１２０は前記変化情報に対応して前記人形の頭を動きを発生させる部位として決定し、前記変化情報にしたがって（具体的には、カメラのパンニング角度およびパンニング速度に合わせて）前記人形の頭が左右に動くようにターゲット客体のモーションに関する属性情報を決定することができる。

他の例として、ターゲット客体が頭、体、腕および足で構成されるロボットであり、カメラが特定方向に加速して移動することがカメラの位置および姿勢に関する変化情報である場合に、属性情報決定部１２０は前記変化情報に対応して前記ロボットが前記特定方向に加速して走って行くこと（前記ロボットの腕および足を前後に動かすことも含まれ得る）にターゲット客体のモーションに関する属性情報を決定することができる。

さらに他の例として、ターゲット客体が頭、体、腕および足で構成されるロボットであり、カメラが所定地点を基準として左側から右側に（またはカメラの位置座標が（ｘ１、ｙ１、ｚ１）から（ｘ２、ｙ２、ｚ２）に）所定速度の等速に移動することがカメラの位置および姿勢に関する変化情報である場合に、属性情報決定部１２０は前記ロボットが前記左側に対応する座標から前記右側に対応する座標に歩いていくこと（または（ｘ１、ｙ１、ｚ１）から（ｘ２、ｙ２、ｚ２）に歩いていくこと）にターゲット客体のモーションに関する属性情報を決定することができる。一方、本発明の一実施形態に係る前記座標は、本発明に係る著作システム１００、デバイス４００、または前記カメラによって撮影される所定地点（または領域）を中心に定義される基準座標系（または基準平面）で特定される座標であり得る。

さらに他の例として、ターゲット客体が空であり、カメラが上下に所定角度で繰り返しチルティング（ｔｉｌｔｉｎｇ）されることがカメラの位置および姿勢に関する変化情報である場合に、属性情報決定部１２０は前記ターゲット客体を含む所定領域をエフェクトが発生する領域として決定し、前記変化情報（具体的には、カメラのチルティングされる速度）に対応して前記所定領域で雨または雪が降ることとしてターゲット客体のエフェクトに関する属性情報を決定することができる。

一方、属性情報決定部１２０は前記変化情報に関連するターゲット客体のモーションおよびエフェクトに関する属性情報に関するデータベースまたはルックアップテーブルを参照して、前記ターゲット客体のモーションおよびエフェクトのうち少なくとも一つに関する属性情報を決定してもよい。このようなデータベースまたはルックアップテーブルは既設定されるか動的にアップデートされ得る。

また、属性情報決定部１２０は前記カメラの位置に関連する状況情報（例えば、地域の天気または場所に関連した主題）を参照してターゲット客体のモーションおよびエフェクトのうち少なくとも一つに関する属性情報を決定することができる。

例えば、属性情報決定部１２０はカメラが位置する地域の天気が雪または雨が降る場合に、雪または雨に関することをターゲット客体のモーションおよびエフェクトに関する属性情報として決定することができる。より具体的には、ターゲット客体が傘を差し、その周辺で雪または雨が降ることがターゲット客体のモーションおよびエフェクトに関する属性情報として決定され得る。

他の例として、属性情報決定部１２０はカメラが位置する場所がスケート場である場合に、スケートに関することをターゲット客体のモーションおよびエフェクトに関する属性情報として決定することができる。より具体的には、ターゲット客体がスケートを着用した状態で動いたり走り、その周辺で雪が降ることがターゲット客体のモーションおよびエフェクトに関する属性情報として決定され得る。

一方、属性情報決定部１２０は前記変化情報に関連するユーザーが発生させる入力動作情報にさらに基づいて、前記ターゲット客体のモーションおよびエフェクトのうち少なくとも一つに関する属性情報を決定することができる。

例えば、前記変化情報に関連するユーザーが前記カメラを含むデバイス（例えば、スマートフォン）に対してボタン（またはタッチ）を入力する場合に、当該ボタンの入力に対応して前記ターゲット客体のモーションおよびエフェクトのうち少なくとも一つに関する属性情報を決定してもよい。

次に、本発明の一実施形態に係るアニメーションシーケンス生成部１３０は、前記属性情報決定部１２０により決定される属性情報を参照してターゲット客体に関するアニメーションシーケンスを生成することができる。

例えば、アニメーションシーケンス生成部１３０は、属性情報決定部１２０により決定されるモーションおよびエフェクトに関する属性情報をカメラに関連したタイムシーケンス上にマッチングさせることによって、ターゲット客体に関するアニメーションシーケンスを生成することができる。本発明の一実施形態に係るタイムシーケンスには、属性情報決定部１２０により決定されるモーションおよびエフェクトに関する属性情報がマッチングされる地点（または時点）である少なくとも一つのポッド（ｐｏｄ）が存在し得る。

また、アニメーションシーケンス生成部１３０はターゲット客体に関するアニメーションシーケンスをレンダリングすることによって、ターゲット客体に関するアニメーションを生成することができる。

例えば、アニメーションシーケンス生成部１３０は、ターゲット客体に関するアニメーションシーケンスを、カメラによって撮影される実世界映像または混合現実映像に結合してレンダリングすることによって、拡張現実（ＡＲ；Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）映像を生成することができる。

より具体的には、アニメーションシーケンス生成部１３０は、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ）技術を利用して、カメラによって撮影される実世界映像の座標を追跡して３次元マッピング（３Ｄ Ｍａｐｐｉｎｇ）座標を抽出することができ、前記追跡された実世界映像の座標および前記抽出された３次元マッピング座標に関する情報を参照して、ターゲット客体に関するアニメーションシーケンスが前記実世界映像内で表示される座標を決定することができ、その表示される座標を基準としてターゲット客体に関するアニメーションシーケンスと実世界映像を結合することにより拡張現実映像を生成することができる。

他の例として、アニメーションシーケンス生成部１３０は、ターゲット客体に関するアニメーションシーケンスを仮想現実映像に結合してレンダリングすることによって、ターゲット客体に関するアニメーションを生成してもよい。

次に、本発明の一実施形態によると、通信部１４０はターゲット客体獲得部１１０、属性情報決定部１２０およびアニメーションシーケンス生成部１３０からの／へのデータの送受信を可能とする機能を遂行することができる。

最後に、本発明の一実施形態によると、制御部１５０はターゲット客体獲得部１１０、属性情報決定部１２０、アニメーションシーケンス生成部１３０および通信部１４０間のデータの流れを制御する機能を遂行することができる。すなわち、本発明に係る制御部１５０は、著作システム１００の外部からの／へのデータの流れまたは著作システム１００の各構成要素間のデータの流れを制御することによって、ターゲット客体獲得部１１０、属性情報決定部１２０、アニメーションシーケンス生成部１３０および通信部１４０でそれぞれ固有機能を遂行するように制御することができる。

前述した著作システム１００を通じてアニメーションシーケンスを生成する過程を例示的に詳察すると、次の通りである。

第１実施形態

図２～図４は、本発明の一実施形態によりアニメーションシーケンスが生成される過程を例示的に示す図面である。

図２～４を参照すると、本発明の一実施形態に係る著作システム１００がスマートフォン４００（すなわち、本発明に係るデバイス４００）に含まれる状況を仮定して見ることができる。

まず、スマートフォン４００のカメラによって撮影されるコンテンツ（例えば、イメージ）に基づいてターゲット客体３００が獲得され得る。

例えば、図２を参照すると、実世界客体２００を含むイメージがスマートフォン４００のカメラによって撮影２１０、２２０され、その撮影されるイメージに基づいてターゲット客体３００が獲得され得る。この場合に、実世界客体２００に対する３次元スキャニングを遂行するために、実世界客体２００を中心に左右２１０または上下２２０の角度で回転して撮影が遂行されるようにすることができる。

その次に、スマートフォン４００のカメラによって撮影されている映像内に、前記獲得されるターゲット客体３００が仮想で生成され得る。

例えば、図３を参照すると、前記スマートフォン４００のカメラによって撮影されている背景３１０に前記獲得されるターゲット客体３００が仮想で配置され得る。

その次に、前記スマートフォン４００のカメラの位置および姿勢のうち少なくとも一つに関する変化情報に基づいて、ターゲット客体３００のモーションおよびエフェクトのうち少なくとも一つに関する属性情報が決定され得る。

例えば、図４を参照すると、前記スマートフォン４００のカメラがターゲット客体３００を中心として所定経路４１０に沿って移動する場合に、カメラに関連するタイムシーケンスで所定周期ごとに（または所定イベントの発生（例えば、所定水準以上のカメラモーションの変化）時ごとに）特定される少なくとも一つのポッド（ｐｏｄ）４０１、４０２、４０３に対して、前記変化情報に対応するターゲット客体３００のモーションおよびエフェクトに関する属性情報がマッチングされ得る。

より具体的には、第１ポッド４０１では、カメラが右側から左に移動しながらカメラが数回揺れることが前記変化情報である場合に、ターゲット客体３００が右側から左に歩きながら手を振ることとしてターゲット客体３００のモーションに関する属性情報が決定され得る。また、第２ポッド４０２では、カメラがターゲット客体３００に近く移動することが前記変化情報である場合に、ターゲット客体３００を中心に炎エフェクトが視覚的または聴覚的に発生することとしてターゲット客体３００のエフェクトに関する属性情報が決定され得る。また、第３ポッド４０３では、カメラがターゲット客体３００から遠ざかりながらその遠ざかる速度が２ｍ／ｓ以上であることが前記変化情報である場合に、ターゲット客体３００を中心に稲妻エフェクトが視覚的または聴覚的に発生しながら、ターゲット客体３００が後方に向かって走っていくこととしてターゲット客体３００のモーションおよびエフェクトに関する属性情報が決定され得る。

その次に、前記決定されるモーションおよびエフェクトに関する属性情報に基づいてターゲット客体に関するアニメーションシーケンスが生成され得る。

一方、著作システム１００では、ターゲット客体に関するアニメーションシーケンスに対する少なくとも一つのモーションまたは少なくとも一つのエフェクトの追加、修正および削除のうち少なくとも一つを支援するグラフィックユーザーインターフェース（ＧＵＩ）が提供され得る。

例えば、前記少なくとも一つのモーションまたは前記少なくとも一つのエフェクトの追加、修正および削除は、既決定されたポッド（ｐｏｄ）４２０、４２１（具体的には、前述したポッド（ｐｏｄ）４０１、４０２、４０３より前の時点で既決定されたポッド）または前述したポッド（ｐｏｄ）４０１、４０２、４０３を基準として遂行されるように支援され得る。

図５は、本発明の一実施形態により生成されたアニメーションシーケンスが実世界背景で動作する画面を例示的に示す図面である。

図５を参照すると、本発明の一実施形態により、前記スマートフォン４００のカメラによって撮影される場所（すなわち、台所）にターゲット客体３００が拡張されて配置され得、そのターゲット客体３００が台所の右側から左に歩きながら手を振った後に、ターゲット客体３００を中心に炎エフェクトが視覚的または聴覚的に発生し、ターゲット客体３００を中心に稲妻エフェクトが視覚的または聴覚的に発生しながらターゲット客体３００が後方（すなわち、流し台）に向かって走っていく拡張現実映像が生成され得る。

第２実施形態

図６は、本発明の他の実施形態によりアニメーションシーケンスが生成される過程を例示的に示す図面である。

図６を参照すると、本発明の一実施形態に係る著作システム１００がヘッドマウントディスプレイ（ＨＭＤ；Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）６００（すなわち、本発明に係るデバイス４００）に含まれる場合を仮定して見ることができる。このようなヘッドマウントディスプレイ６００にはカメラが含まれ得、例えば、グーグル社のグーグルグラス（Ｇｏｏｇｌｅ ｇｌａｓｓ）、バージョンスラブス社のエピファニー（Ｅｐｉｐｈａｎｙ）アイウェア、ビュージックス社のＭ１００グラスなどの一部の特性を含むことができる。

まず、ヘッドマウントディスプレイ６００に保存されたソースコンテンツ（例えば、イメージ）に基づいてターゲット客体（例えば、虎（図７の７０１））が獲得され得る。

その次に、前記ヘッドマウントディスプレイ６００のカメラの位置および姿勢のうち少なくとも一つに関する変化情報に基づいて、ターゲット客体７０１のモーションおよびエフェクトのうち少なくとも一つに関する属性情報が決定され得る。

例えば、前記ヘッドマウントディスプレイ６００のカメラが所定経路（例えば、矢印）に沿って移動する場合に、カメラに関連するタイムシーケンスで所定周期ごとに（または所定イベントの発生（例えば、所定水準以上のカメラモーションの変化）時ごとに）特定される少なくとも一つのポッド（ｐｏｄ）６０１、６０２、６０３に対して、前記変化情報に対応するターゲット客体のモーションおよびエフェクトに関する属性情報がマッチングされ得る。

より具体的には、第１ポッド６０１では、カメラが廊下の外部窓（すなわち、イメージ上で左側窓）から廊下の内部窓（すなわち、イメージ上で右側窓）に加速して移動することが前記変化情報である場合に、ターゲット客体７０１が廊下の外部窓に対応する座標から廊下の内部窓に対応する座標に加速して走っていくこととして前記ターゲット客体７０１のモーションに関する属性情報が決定され得る。また、第２ポッド６０２では、カメラが左右に回転することが前記変化情報である場合に、前記ターゲット客体７０１が頭を左右に回転しながら周囲を見回すこととして前記ターゲット客体７０１のモーションに関する属性情報が決定され得る。また、第３ポッド６０３では、カメラが廊下の内部窓から廊下の終端に移動するものの、その移動速度が等速であることが前記変化情報である場合に、ターゲット客体７０１が廊下の内部窓に対応する座標から廊下の終端に対応する座標に手を揺らしながら一定の速度で歩いていくこととしてターゲット客体７０１のモーションに関する属性情報が決定され得る。

その次に、前記決定されるモーションおよびエフェクトに関する属性情報に基づいて、ターゲット客体７０１に関するアニメーションシーケンスが生成され得る。

その次に、前記ターゲット客体７０１に関するアニメーションシーケンスを前記カメラによって撮影される実世界映像に結合して拡張現実（ＡＲ）映像が生成され得る。一方、前記ターゲット客体７０１に関するアニメーションシーケンスを前記ヘッドマウントディスプレイ６００で具現される映像に結合させることによって、仮想現実映像または混合現実映像が生成されてもよい。

図７は、本発明の他の実施形態により生成された前記アニメーションシーケンスが実世界背景で動作する画面を例示的に示す図面である。

図７を参照すると、本発明の一実施形態により前記ヘッドマウントディスプレイ６００のカメラによって撮影される場所（すなわち、廊下）を中心にターゲット客体７０１が拡張されて配置され得、そのターゲット客体７０１が廊下の外部窓から廊下の内部窓に加速して走っていき、廊下の内部窓から頭を回しながら周囲を見回し、廊下の内部窓から廊下の終端に手を揺らしながら一定の速度で歩いていく拡張現実映像が生成され得る。

第３実施形態

図８は、本発明のさらに他の実施形態によりアニメーションシーケンスが生成される過程を例示的に示す図面である。

図８を参照すると、本発明の一実施形態に係る著作システム１００がスマートフォン４００（すなわち、本発明に係るデバイス４００）に含まれる場合を仮定して見ることができる。

まず、スマートフォン４００に保存されたソースコンテンツ（例えば、映像、イメージなど）に基づいてターゲット客体（例えば、アイアンマンキャラクタ（図９の９０１））が獲得され得る。

その次に、前記スマートフォン４００のカメラの位置および姿勢のうち少なくとも一つに関する変化情報に基づいて、ターゲット客体９０１のモーションおよびエフェクトのうち少なくとも一つに関する属性情報が決定され得る。

例えば、前記スマートフォン４００のカメラが所定経路（例えば、矢印方向）に沿って移動する場合に、カメラに関連するタイムシーケンスで所定周期ごとに（または所定イベントの発生（例えば、所定水準以上のカメラモーションの変化）時ごとに）特定される少なくとも一つのポッド（ｐｏｄ）８０１、８０２に対して、前記変化情報に対応するターゲット客体のモーションおよびエフェクトに関する属性情報がマッチングされ得る。

より具体的には、第１ポッド８０１では、カメラが机の左側から右側に減速しながら平行移動することが前記変化情報である場合に、ターゲット客体９０１が机の左側に対応する座標から机の右側に対応する座標にスピードを下げながら走っていくこととしてターゲット客体９０１のモーションに関する属性情報が決定され得る。また、第２ポッド８０２では、カメラが平行移動する方向に対して所定角度上側に向かって加速して移動することが前記変化情報である場合に、ターゲット客体９０１が平行移動する方向に対して所定角度上側に飛びながらターゲット客体９０１を中心に稲妻エフェクトが発生することとしてターゲット客体９０１のモーションおよびエフェクトに関する属性情報が決定され得る。

その次に、前記決定されるモーションおよびエフェクトに関する属性情報に基づいてターゲット客体９０１に関するアニメーションシーケンスが生成され得る。

その次に、前記ターゲット客体９０１に関するアニメーションシーケンスを前記カメラによって撮影される実世界映像に結合して拡張現実（ＡＲ）映像が生成され得る。

図９は、本発明のさらに他の実施形態により生成された前記アニメーションシーケンスが実世界背景で動作する画面を例示的に示す図面である。

図９を参照すると、本発明のさらに他の実施形態により前記スマートフォン４００のカメラによって撮影される場所（すなわち、机の上）を中心にターゲット客体９０１が増強されて配置され得、そのターゲット客体９０１が机左側から右側に走っていきながら速度を下げ、平行移動する方向に対して所定角度上側に飛んでいきながら稲妻エフェクトが発生する拡張現実映像が生成され得る。

以上では、ターゲット客体が有形の対象である場合に関して主に説明したが、無形の対象である場合についても前述した過程と同一の過程でアニメーションシーケンスが生成され得る。

以上で説明された本発明に係る実施形態は、多様なコンピュータ構成要素を通じて実行され得るプログラム命令語の形態で具現され、コンピュータ読み取り可能な記録媒体に記録され得る。前記コンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知になっている使用可能なものであり得る。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉｕｍ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのような、プログラム命令語を保存し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを使ってコンピュータによって実行され得る高級言語コードも含まれる。ハードウェア装置は本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールに変更され得、その逆も同一である。

以上で本発明が具体的な構成要素などのような特定事項と限定された実施形態および図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明が前記実施形態に限定されるものではなく、本発明が属する技術分野で通常の知識を有する者ならばこのような記載から多様な修正と変更を試みることができる。

したがって、本発明の思想は前記説明された実施形態に限定されて定められてはならず、後述する特許請求の範囲だけでなくこの特許請求の範囲と均等なまたはこれから等価的に変更されたすべての範囲は本発明の思想の範疇に属するものと言える。

１００：著作システム
１１０：ターゲット客体獲得部
１２０：属性情報決定部
１３０：アニメーションシーケンス生成部
１４０：通信部
１５０：制御部
２００：実世界客体
３００：仮想客体

Claims (7)

1. アニメーションシーケンスを生成する方法であって、
   カメラの位置および姿勢のうち少なくとも一つに関する変化情報に基づいて、ターゲット客体のエフェクトに関する属性情報を決定する段階と、
   前記決定される前記ターゲット客体の前記エフェクトに関する属性情報を参照して前記ターゲット客体に関するアニメーションシーケンスを生成する段階と、
   を含み、
   前記ターゲット客体の前記エフェクトに関する前記属性情報は、前記ターゲット客体のモーションに関する属性情報とは独立して構成され、
   前記カメラの前記位置および前記姿勢のうちの少なくともいずれか一方の変化に応じて、前記ターゲット客体の前記エフェクトを前記アニメーションシーケンス内で異なるように生成し、
   前記ターゲット客体は、前記カメラによって撮影される一つ以上の実世界の客体から獲得される、方法。
2. 前記ターゲット客体に関するアニメーションシーケンスを前記カメラによって撮影される実世界映像に結合して拡張現実（ＡＲ）映像を生成する段階をさらに含む、請求項１に記載の方法。
3. 前記ターゲット客体に関するアニメーションシーケンスに対する少なくとも一つのモーションまたは少なくとも一つのエフェクトの追加、修正および削除のうち少なくとも一つを支援するグラフィックユーザーインターフェース（ＧＵＩ）が提供される、請求項１に記載の方法。
4. 請求項１に記載された方法を実行するためのコンピュータプログラムを記録する非一過性のコンピュータ読み取り可能な記録媒体。
5. アニメーションシーケンスを生成するシステムであって、
   カメラの位置および姿勢のうち少なくとも一つに関する変化情報に基づいて、ターゲット客体のエフェクトに関する属性情報を決定するように構成される属性情報決定部、および
   前記決定される前記ターゲット客体の前記エフェクトに関する属性情報を参照して前記ターゲット客体に関するアニメーションシーケンスを生成するように構成されるアニメーションシーケンス生成部を含み、
   前記ターゲット客体の前記エフェクトに関する前記属性情報は、前記ターゲット客体のモーションに関する属性情報とは独立して構成され、
   前記カメラの前記位置および前記姿勢のうちの少なくともいずれか一方の変化に応じて、前記ターゲット客体の前記エフェクトを前記アニメーションシーケンス内で異なるように生成し、
   前記ターゲット客体は、前記カメラによって撮影される一つ以上の実世界の客体から獲得される、システム。
6. 前記アニメーションシーケンス生成部が、前記ターゲット客体に関するアニメーションシーケンスを前記カメラによって撮影される実世界映像に結合して拡張現実（ＡＲ）映像を生成するように構成される、請求項５に記載のシステム。
7. 前記ターゲット客体に関するアニメーションシーケンスに対する少なくとも一つのモーションまたは少なくとも一つのエフェクトの追加、修正および削除のうち少なくとも一つを支援するグラフィックユーザーインターフェース（ＧＵＩ）が提供される、請求項５に記載のシステム。

Images