JP5008772B2 - 静止画の動画化方法、装置およびプログラム - Google Patents
静止画の動画化方法、装置およびプログラム Download PDFInfo
- Publication number
- JP5008772B2 JP5008772B2 JP2011101209A JP2011101209A JP5008772B2 JP 5008772 B2 JP5008772 B2 JP 5008772B2 JP 2011101209 A JP2011101209 A JP 2011101209A JP 2011101209 A JP2011101209 A JP 2011101209A JP 5008772 B2 JP5008772 B2 JP 5008772B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- image
- added
- motion
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Description
本発明は、コンピュータグラフィック（ＣＧ）等の分野において、静止画の内の一部又は全部の画像を動画化する技術に関するものである。
静止画にはさまざまな対象が映し出されているが、対象へ動きを加えることができれば静止画本来の情報を超えた付加価値を見出すことができる。従来では画像編集ツールを用いてメッシュに画像をマッピングし、そのメッシュの格子点をマウスで変形操作することで動きを加えることが中心的である。そのため、細かい変形では格子点の密度を高めていく必要があり、また動画化の際、画像フレーム間の動きが不連続になる問題が指摘されていた。特に、３次元的な構図が著しい対象については、奥行き情報について多くの手間と時間をかけて変形していくことが必要とされていた。
非特許文献１には、１枚の絵画中の波に動きを与える方法が提案され、スペクトル法により、乱数を介して複雑な動きをつくりだしている。しかし、乱数を用いているため、人為的に細かい動きを設定することができず、また波現象に表現が強く限定されている問題がある。
非特許文献２には、滝の映像を繰り返し表現がでるようにインタラクティブに設定できるツールが示されている。しかし、非特許文献１と同様に、適用できる素材が特定の対象（ここでは滝）に限定されている問題がある。また、２次元的な扱いに留まっており、奥行き効果が含まれていない。
Y-Y.Chuang,B.D.Goldman,K.C.Zheng,B.Curless,D.H.Salesin,and R.Szeliski "Animating pictures with stochastic motion textures" ACM SIGGRAPH,pp.853-860,2005.
K.S.Bhat,S.M.Seitz,J.K.Hodgins,and P.K.Khosla,"Flow-based video synthesis and editing",ACM SIGGRAPH,pp.360-363,2004.
本発明の目的は、２次元画像を動画化する際に奥行きを導入し任意の細かい動きを設定できるようにすることである。
上記目的を達成するために、請求項１にかかる発明の静止画の動画化方法は、動画化装置により、１枚の２次元画像を取り込んで蓄積し、該取り込んだ２次元画像を遠くの速度と手前の速度とが奥行き情報に基づいて非線形になるように３次元座標に変換し、前記２次元画像の内の動きを加えたい一部又は全部の画像に１又は２以上の同一又は異なる３次元の速度場を、奥行きを算出する項を加えた３次元移流方程式
により設定し、
の有限差分法による離散化表現により時間発展解を求めることで、前記動きを加えたい画像を前記速度場に応じて変形する、ことを特徴とする静止画の動画化方法である。
請求項２にかかる発明の静止画の動画化装置は、１枚の２次元画像を取り込むデータ入力手段と、該取り込んだ２次元画像を蓄積するデータ蓄積手段と、前記取り込んだ２次元画像を遠くの速度と手前の速度とが奥行き情報に基づいて非線形になるように３次元座標に変換する座標変換手段と、前記２次元画像の内の動きを加えたい一部又は全部の画像に１又は２以上の同一又は異なる３次元の速度場を、奥行きを算出する項を加えた３次元移流方程式
により設定する動き設定手段と、
の有限差分法による離散化表現により時間発展解を求めることで、前記動きを加えたい画像を前記速度場に応じて変形するデータを得る動画化計算手段と、を備えることを特徴とする静止画の動画化装置である。
請求項３にかかる発明の静止画の動画化プログラムは、１枚の２次元画像を取り込むデータ入力ステップと、該取り込んだ２次元画像を蓄積するデータ蓄積ステップと、前記取り込んだ２次元画像を遠くの速度と手前の速度とが奥行き情報に基づいて非線形になるように３次元座標に変換する座標変換ステップと、前記２次元画像の内の動きを加えたい一部又は全部の画像に１又は２以上の同一又は異なる３次元の速度場を、奥行きを算出する項を加えた３次元移流方程式
により設定する動き設定ステップと、
の有限差分法による離散化表現により時間発展解を求めることで、前記動きを加えたい画像を前記速度場に応じて変形するデータを得る動画化計算ステップと、をコンピュータに実行させるための静止画の動画化プログラムである。
請求項２にかかる発明の静止画の動画化装置は、１枚の２次元画像を取り込むデータ入力手段と、該取り込んだ２次元画像を蓄積するデータ蓄積手段と、前記取り込んだ２次元画像を遠くの速度と手前の速度とが奥行き情報に基づいて非線形になるように３次元座標に変換する座標変換手段と、前記２次元画像の内の動きを加えたい一部又は全部の画像に１又は２以上の同一又は異なる３次元の速度場を、奥行きを算出する項を加えた３次元移流方程式
請求項３にかかる発明の静止画の動画化プログラムは、１枚の２次元画像を取り込むデータ入力ステップと、該取り込んだ２次元画像を蓄積するデータ蓄積ステップと、前記取り込んだ２次元画像を遠くの速度と手前の速度とが奥行き情報に基づいて非線形になるように３次元座標に変換する座標変換ステップと、前記２次元画像の内の動きを加えたい一部又は全部の画像に１又は２以上の同一又は異なる３次元の速度場を、奥行きを算出する項を加えた３次元移流方程式
本発明によれば、２次元画像の３次元座標系への変換と、動きを加えたい画像への３次元の速度場の設定と、偏微分方程式を用いて動きを加えたい部分の画像を速度場に応じて変形することにより、自然な動画化の時間発展した結果のデータを得ることができる。手、顔の表情、その他の動きであっても、その３次元の速度場を検出して２次元画像の動画化処理に直接適用できる。
本発明は、カメラを通じてあるいは既に撮影された１枚の２次元画像を取り込んで蓄積し、該取り込んだ２次元画像を３次元座標に変換し、該２次元画像の内の動きを加えたい一部又は全部の画像に１又は２以上の同一又は異なる３次元の速度場を設定し、偏微分方程式（３次元移流方程式）を用いて前記動きを加えたい画像を前記速度場に応じて変形する動画化の計算を行い時間発展したデータを得、これを動画表示するものである。
これを実現するための装置構成の実施例を図１に示す。本装置は、カメラを通じてあるいは既に撮影された１枚の２次元画像を取り込むデータ入力手段１０１と、取り込んだ画像を蓄積するデータ蓄積手段１０２と、該２次元画像を３次元座標に変換する座標変換手段１０３と、該２次元画像の内の動きを加えたい一部又は全部の画像に１又は２以上の同一又は異なる３次元の速度場を設定する動き設定手段１０４と、偏微分方程式（３次元移流方程式）を用いて前記動きを加えたい画像を前記速度場に応じて変形する動画化の計算を行い時間発展したデータを得る動画化計算手段１０５と、結果を表示する表示手段１０６とを備える。
これらの手段は、演算処理装置、外部記憶装置、メモリ等を備えたコンピュータにより実現できるものであり、本実施例の格子点モデル変形・移動の処理はプログラムによって実効される。このプログラムはコンピュータの外部記憶装置に記憶されており、記録媒体に記録することも、ネットワークを介して提供することも可能である。
このプログラムは、カメラを通じてあるいは既に撮影された１枚の２次元画像を取り込むステップと、該２次元画像を３次元座標に変換するステップと、前記２次元画像の内の動きを加えたい一部又は全部の画像に１又は２以上の同一又は異なる３次元の速度場を設定するステップと、偏微分方程式（３次元移流方程式）を用いて前記動きを加えたい画像を前記速度場に応じて変形する動画化の計算を行い時間発展したデータを得るステップと、を備える。
図２は２次元画像を３次元座標に変換し、画像の一部に３次元速度場を設定した例の説明図である。２次元の画像に、弱透視投影や平行透視投影の考え方（参考文献：ＯｐｅｎＣＶプログラミングブック製作チーム、「ＯｐｅｎＣＶ」、毎日コミュニケーションズ、１１１頁、２００７年９月２１日）を当てはめることで、奥行きについての３次元情報を加味できるようにする。図２(a)に示す１枚の２次元画像（上空から雲を見た図）に、マウスを使って、予め用意されている複数の３次元の速度場から１つをＧＵＩのメニューによって選択して設定する。ここでは渦場２０１を選択した。図２(b)に示す２次元画像は３次元座標系に変換されている。この後、画像と速度場の双方をなじませた画像とし、次に、偏微分方程式として３次元移流方程式を使って、速度場（渦場２０１）にしたがって、図２(c)に示すように画像を変形させていくと、図３(d)、(e)に示すように、時間発展した動画を容易につくることができる。図３(e)では図３(d)の雲の一部が速度場に応じて変形している。なお、３次元の速度場は、２次元画像の内の動きを加えたい一部のみならず、全部の画像に設定することができる。また、１つの３次元の速度場に限られず、２以上の同一又は異なる３次元の速度場を異なる領域に設定することもできる。
３次元移流方程式は、
と表される。ｔは時間、ｘ、ｙは画素上の位置、ｚは奥行き、ｕ＝（ｕ，ｖ，ｗ）は速度ベクトル項である。画像濃淡値Ｉi,j,kがベクトルｕによって移流式により画像に伝播される。
移流方程式は、次の式(2)のように、有限差分法による離散化表現により時間発展解を求めることで、画像が段階的に外部から内部へ伝播する。初期画像は外部の既知領域である。
ここで、ｎは離散化時間を表し、ｎ＝０を初期値とする。Δｔは時間ステップ幅で1.0とした。右辺は空間の１次微分である。なお、格子幅は1.0とした。
２次元画像を３次元座標に変換することで、２次元画像上で、遠くの速度と手前の速度とが、奥行き情報に基づいて非線形に自然に変換される。これまでは２次元速度場のままだったため、このような動画化は困難であった。
図３は３次元速度場の例の説明図である。図３(a)は渦場、図３(b)は発散場を示す。ユーザはマウスを使って、ＧＵＩのメニューを利用して、自在にその大きさや密度を変更できる。また、これ以外の自由曲線も３次元的に設定できる。流体現象に限らず、顔変形なども適用できる。
図４はカメラ４０１，４０２で撮像した映像から動き推定法より動きベクトル（３次元速度場）を検出する例の説明図である。映像中で、手４０３，４０４を動かして、３次元的な動き情報を得ることができる（参考文献：徐剛、辻三郎、「３次元ビジョン」、共立出版、１１２−１１３頁、２００１）。４０５は動きベクトルである。このように、２台のカメラ４０１，４０２を用いることで、奥行き情報を容易に獲得できる。つまり、オプティカルフローを３次元的に得ることができる。これを入力情報としてＧＵＩメニューで選択できるように保存しておき、３次元の速度場として適用することで、２次元画像中の一部または全部の画像をユーザの意思に沿って複雑な動きを行わせるように動画化することができる。
１０１：データ入力手段、１０２：データ蓄積手段、１０３：座標変換手段、１０４：動き設定手段、１０５：動画化計算手段、１０６：表示手段
２０１：渦場
４０１，４０２：カメラ、４０３：４０４：手、４０５：動きベクトル
２０１：渦場
４０１，４０２：カメラ、４０３：４０４：手、４０５：動きベクトル
Claims (3)
- 動画化装置により、１枚の２次元画像を取り込んで蓄積し、該取り込んだ２次元画像を遠くの速度と手前の速度とが奥行き情報に基づいて非線形になるように３次元座標に変換し、前記２次元画像の内の動きを加えたい一部又は全部の画像に１又は２以上の同一又は異なる３次元の速度場を、奥行きを算出する項を加えた３次元移流方程式
により設定し、
の有限差分法による離散化表現により時間発展解を求めることで、前記動きを加えたい画像を前記速度場に応じて変形する、
ことを特徴とする静止画の動画化方法。 - １枚の２次元画像を取り込むデータ入力手段と、
該取り込んだ２次元画像を蓄積するデータ蓄積手段と、
前記取り込んだ２次元画像を遠くの速度と手前の速度とが奥行き情報に基づいて非線形になるように３次元座標に変換する座標変換手段と、
前記２次元画像の内の動きを加えたい一部又は全部の画像に１又は２以上の同一又は異なる３次元の速度場を、奥行きを算出する項を加えた３次元移流方程式
により設定する動き設定手段と、
の有限差分法による離散化表現により時間発展解を求めることで、前記動きを加えたい画像を前記速度場に応じて変形するデータを得る動画化計算手段と、
を備えることを特徴とする静止画の動画化装置。 - １枚の２次元画像を取り込むデータ入力ステップと、
該取り込んだ２次元画像を蓄積するデータ蓄積ステップと、
前記取り込んだ２次元画像を遠くの速度と手前の速度とが奥行き情報に基づいて非線形になるように３次元座標に変換する座標変換ステップと、
前記２次元画像の内の動きを加えたい一部又は全部の画像に１又は２以上の同一又は異なる３次元の速度場を、奥行きを算出する項を加えた３次元移流方程式
により設定する動き設定ステップと、
の有限差分法による離散化表現により時間発展解を求めることで、前記動きを加えたい画像を前記速度場に応じて変形するデータを得る動画化計算ステップと、
をコンピュータに実行させるための静止画の動画化プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011101209A JP5008772B2 (ja) | 2011-04-28 | 2011-04-28 | 静止画の動画化方法、装置およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011101209A JP5008772B2 (ja) | 2011-04-28 | 2011-04-28 | 静止画の動画化方法、装置およびプログラム |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008151081A Division JP2009295129A (ja) | 2008-06-09 | 2008-06-09 | 静止画の動画化方法、装置およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011181090A JP2011181090A (ja) | 2011-09-15 |
| JP5008772B2 true JP5008772B2 (ja) | 2012-08-22 |
Family
ID=44692476
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011101209A Expired - Fee Related JP5008772B2 (ja) | 2011-04-28 | 2011-04-28 | 静止画の動画化方法、装置およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5008772B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2521435A (en) * | 2013-12-19 | 2015-06-24 | Garscube Ip Ltd | Improved LED animation methods and displays |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3086577B2 (ja) * | 1993-12-22 | 2000-09-11 | 三洋電機株式会社 | ２次元画像の３次元化方法 |
| JP2003091741A (ja) * | 2001-09-17 | 2003-03-28 | Namco Ltd | 画像生成システム、プログラム及び情報記憶媒体 |
| JP4199214B2 (ja) * | 2005-06-02 | 2008-12-17 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 動画生成装置、動画生成方法、動画生成プログラム |
| JP4353957B2 (ja) * | 2006-04-24 | 2009-10-28 | 日本電信電話株式会社 | 画像生成方法、画像生成装置及び画像生成プログラム |
-
2011
- 2011-04-28 JP JP2011101209A patent/JP5008772B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011181090A (ja) | 2011-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3057066B1 (en) | Generation of three-dimensional imagery from a two-dimensional image using a depth map | |
| KR101145260B1 (ko) | 3ｄ 객체 모델에 텍스쳐를 매핑하는 방법 및 장치 | |
| CN109906600B (zh) | 模拟景深 | |
| CN113315878A (zh) | 单程对象扫描 | |
| CN108537110A (zh) | 生成三维人脸模型的基于虚拟现实的装置和方法 | |
| Figueroa et al. | From sense to print: Towards automatic 3D printing from 3D sensing devices | |
| CN112884860B (zh) | 水面波纹效果生成方法、装置、电子设备和存储介质 | |
| US8854376B1 (en) | Generating animation from actor performance | |
| US11625882B2 (en) | Method for simulating fluids interacting with submerged porous materials | |
| CN115023742A (zh) | 具有详细褶皱的面部网格变形 | |
| CA3143520A1 (en) | Method of computing simulated surfaces for animation generation and other purposes | |
| Deepu et al. | 3D Reconstruction from Single 2D Image | |
| Shih et al. | Modeling ambient scene dynamics for free-view synthesis | |
| CN113362467A (zh) | 一种基于点云预处理和ShuffleNet的移动端三维位姿估计方法 | |
| CA3169802A1 (en) | Method for generating simulations of fluid interfaces for improved animation of fluid interactions | |
| Casas et al. | Rapid photorealistic blendshape modeling from RGB-D sensors | |
| JP5008772B2 (ja) | 静止画の動画化方法、装置およびプログラム | |
| JP2009295129A (ja) | 静止画の動画化方法、装置およびプログラム | |
| CN102254308A (zh) | 一种真实感场景插值的计算方法及系统 | |
| Hartl et al. | Rapid reconstruction of small objects on mobile phones | |
| Radhika et al. | 3D modelling of a jewellery and its virtual try-on | |
| CN116993924B (zh) | 三维场景建模方法及装置、存储介质、计算机设备 | |
| JP4845998B2 (ja) | 動画化方法、動画化装置及び動画化プログラム | |
| Petit et al. | Deformed reality | |
| Mulumba et al. | Real-time 3D reconstruction for haptic interaction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120413 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120424 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120514 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120529 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120529 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5008772 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150608 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |