JP4353957B2 - 画像生成方法、画像生成装置及び画像生成プログラム - Google Patents

Description

本発明は、速度場情報により映像素材を加工する技術に関する。

映像やコンピュータグラフィクス、数値シミュレーションにおいて、動き情報はもっとも基本的な量であり、例えば、画像上に表示されている物体に物理法則を適用して移動・変形させる場合、時間依存の偏微分方程式を解くための初期速度場などに利用され重要な役割を果たしている。

しかしながら、動き情報の検出はオプティカルフロー法などにより可能であるが、逆に、動き情報を設定・定義するツールについてはほとんど見られない。数値シミュレーションの分野では、数式やモデルの検証のために、平行流、湾曲した速度パターン、正弦波など基本速度パターンの設定は一般に行われているが、複雑な速度パターンの設定は限られているのが現状である。

なお、速度場情報（動き情報）を設定して画像を作成する技術として、特許文献１に記載のものが提案されている。特許文献１に記載の技術は、渦や発散について速度場を設定し、設定された速度場に基づいて、画像の画素ごとに移流項を含む移流方程式を適用して任意の時刻における画像を順次作成するものである。
特開２００４−３３４６９４号公報

しかしながら、特許文献１に記載の技術のように、移流方程式の解法に有限差分法を用いる方法では、長い動画シーケンスを生成するときなど再帰的に繰り返し計算を行った場合、数値誤差拡散の影響により画像がぼやけたり、振動状の模様が発生するという問題がある。また、ＳＯＲ（Successive Over-Relaxation）法などによる加速解法を用いてもせいぜい２倍程度の高速化が限度であった。

本発明は、上記に鑑みてなされたものであり、その課題とするところは、画像に速度場を適用してその画像を変形するときに、より高速に処理し、画像劣化を改善することにある。

本発明の別の課題は、速度場の設定を容易にすることにある。

第１の本発明に係る画像生成方法は、画像入力手段により、画像データを入力して記憶手段に記憶させるステップと、画像生成手段により、速度成分の空間的な分布を表す速度場情報を記憶させた速度場蓄積手段から速度場情報を読み出すとともに、記憶手段から画像データを読み出し、速度場情報に含まれる各画素に対応する速度成分と、画像データの画像強度情報を移流拡散方程式に代入し、移流拡散方程式を、移流項を含まず拡散項を含み画像強度を変化させる非移流方程式と、移流項を含み画像強度を変えずに画像パターンを移動させる移流方程式とに分離し、非移流方程式で中間値を求め、画像データの画素各々について、速度場情報に含まれるその画素に対応する速度成分を移流方程式に代入し、当該画素および当該画素近傍の画像強度と各画素における画像強度の座標軸方向の勾配に基づいてＣＩＰ法を適用して移流方程式の解を求め、解と中間値により出力画像の画像強度を算出することで画像データを変形するステップと、を有することを特徴とする。

本発明にあっては、速度成分の空間的な分布を表す速度場情報を速度場蓄積手段に記憶しておき、速度場蓄積手段から読み出した速度場情報を移流拡散方程式に代入し、入力された画像データの画像強度および画像強度の勾配に基づいてＣＩＰ法を適用してその移流拡散方程式を解くことにより、各画素の画像強度のみならず画素での勾配も移流されるので、数値誤差を押えつつ、高速に画像処理をすることを可能とする。

上記画像生成方法において、速度場生成手段により、流体系の偏微分方程式に基づいて速度場情報を生成し、当該速度場情報を速度場蓄積手段に記憶させるステップを有することを特徴とする。

本発明にあっては、流体系の偏微分方程式に基づいて速度場情報を生成することにより、偏微分方程式の係数などを設定するだけで容易に速度場情報を生成することができる。

上記画像生成方法において、流体系の偏微分方程式は渦度方程式であることを特徴とする。

本発明にあっては、速度場情報を生成するための偏微分方程式に渦度方程式を用いることにより、渦パターンを有する速度場情報を生成することができる。

上記画像生成方法において、流体系の偏微分方程式は発散方程式であることを特徴とする。

本発明にあっては、速度場情報を生成するための偏微分方程式に発散方程式を用いることにより、発散または収束パターンを有する速度場情報を生成することができる。

上記画像生成方法において、速度場情報は、画素毎に速度ベクトルが指定されたものであって、速度場合成手段により、速度場蓄積手段から複数の速度場情報を読み出し、画素毎の速度ベクトルを合成することにより複数の前記速度場情報を合成し、速度場蓄積手段に記憶させるステップを有することを特徴とする。

本発明にあっては、複数の速度場情報を合成することにより、より複雑な速度場情報を容易に生成することができる。

上記画像生成方法において、画像データは３次元座標で指定される３次元要素毎に画像強度を有する３次元画像データであり、速度場情報は３次元要素毎に速度ベクトルが指定された３次元データであることを特徴とする。

本発明にあっては、入力される画像データと速度場情報を３次元座標で表されたものを用いることにより、台風やトルネードなどの気象現象のシミュレーションに利用することを可能とする。

第２の本発明に係る画像生成装置は、速度成分の空間的な分布を表す速度場情報を記憶しておく速度場蓄積手段と、画像データを入力して記憶手段に記憶させる画像入力手段と、速度場蓄積手段から速度場情報を読み出すとともに、記憶手段から画像データを読み出し、速度場情報に含まれる各画素に対応する速度成分と、画像データの画像強度情報を移流拡散方程式に代入し、移流拡散方程式を、移流項を含まず拡散項を含み画像強度を変化させる非移流方程式と、移流項を含み画像強度を変えずに画像パターンを移動させる移流方程式とに分離し、非移流方程式で中間値を求め、画像データの画素各々について、速度場情報に含まれるその画素に対応する速度成分を移流方程式に代入し、当該画素および当該画素近傍の画像強度と各画素における画像強度の座標軸方向の勾配に基づいてＣＩＰ法を適用して移流方程式の解を求め、解と中間値により出力画像の画像強度を算出することで画像データを変形する画像生成手段と、を有することを特徴とする。

上記画像生成装置において、流体系の偏微分方程式に基づいて速度場情報を生成し、当該速度場情報を速度場蓄積手段に記憶させる速度場生成手段を有することを特徴とする。

上記画像生成装置において、速度場情報は、画素毎に速度ベクトルが指定されたものであって、速度場蓄積手段から複数の速度場情報を読み出し、画素毎の速度ベクトルを合成することにより複数の速度場情報を合成し、速度場蓄積手段に記憶させる速度場合成手段を有することを特徴とする。

第３の本発明に係る画像生成プログラムは、上記画像生成方法における各ステップをコンピュータに実行させることを特徴とする。

本発明によれば、画像に速度場を適用してその画像を変形するときに、より高速に処理し、画像劣化を改善することが可能となる。

別の本発明によれば、速度場の設定を容易にすることができる。

以下、本発明の実施の形態について図面を用いて説明する。

図１は、一実施の形態における画像生成装置の構成を示すブロック図である。同図に示す画像生成装置１は、速度場生成部１１、速度場入力部１２、速度場合成部１３、速度場発展部１４、速度場蓄積部１５、画像入力部１６、画像生成部１７、画像出力部１８を有する構成である。画像生成装置１は、演算処理装置、記憶装置、メモリ等を備えたコンピュータにより構成できるものであり、各部の処理はプログラムによって実行される。プログラムはコンピュータの記憶装置に記憶されており、記録媒体に記録することも、ネットワークを通して提供することも可能である。以下では、各部の処理の概略について説明する。

速度場生成部１１は、流体系の偏微分方程式に基づいて速度成分の空間的な分布を表す速度場情報を生成する。例えば、図２（ａ）に示すように発散する速度場情報を生成する場合には、発散方程式を用い、図２（ｂ）に示すように収束する速度場情報を生成する場合には、係数を負にした発散方程式を用いる。また、係数の絶対値の大きさによって中心からの距離に応じた速度の変化の割合を制御することができる。図３は渦パターンを有する速度場を示す図である。同図に示す速度場情報を生成するには、渦度方程式を用いればよい。渦度方程式のパラメータを制御することにより、図３（ａ）に示すような時計まわりの渦パターンを生成したり、図３（ｂ）に示すような反時計まわりの渦パターンを生成することができる。

ここで、図４，５を用いて渦度方程式によって生成される速度場のパターンについて説明する。図４は、渦度ζが一定の場合に生成できる渦状の速度場の例である。流速ベクトル（ｕ，ｖ）は、ｕ＝−ζ₀ｙ／２，ｖ＝ζ₀ｘ／２である。中心の位置から距離に比例して流速は大きくなるが、角速度ωは渦度ζ₀の半分で一定である。図５は、さまざまな流速ベクトルと渦度の設定により生成される速度場のパターンを示す。図５（ａ）は回転する速度場、図５（ｂ）は両側で異なる方向に流れる速度場、図５（ｃ）は中心付近で回転する速度場、図５（ｄ）はある方向から収束し、別の方向へ発散する速度場を示している。このように、流体系の偏微分方程式に基づいて速度場を生成することにより、偏微分方程式の係数などを設定するだけでさまざまな速度場を生成することができる。

速度場入力部１２は、画像生成装置１に接続されたマウスなどのポインティングデバイス（図示せず）により速度場情報を直接入力する。速度場蓄積部１５から速度場情報を読み出して、その速度場情報を加工したり、速度場情報を入力して追加する。

速度場合成部１３は、速度場蓄積部１５から複数の速度場情報を読み出し、それらを合成して新たな速度場情報を生成し、速度場蓄積部１５に記憶させる。具体的には、各画素毎に速度ベクトルが指定されている速度場情報を速度場蓄積部１５から複数読み出し、各画素毎に速度ベクトルを合成し、速度場蓄積部１５に記憶させる。図６は、異なる２つの速度場情報から生成される速度場情報の例である。速度場情報を合成することにより、図６（ａ）に示すように、渦場と発散場で発散しながら渦を巻く速度場を生成することができる。図６（ｂ）は、楕円を描く速度場の合成を示しており、図６（ｃ）は、中心から上下方向に発散していく速度場の生成を示している。このように、複数の速度場情報を合成することにより、より複雑な速度場情報を容易に生成することができる。

速度場発展部１４は、速度場蓄積部１５から速度場情報を読み出し、その速度場情報を時間変化させて新たな速度場情報を生成し、速度場蓄積部１５に記憶させる。図７（ａ）に示す速度場は、直線状の速度場と２つの渦が合成されたものであり、図７（ｂ）に示す速度場は、図７（ａ）の速度場をナビエ・ストークス方程式により時間発展させたものである。図７（ａ）に示す渦と並進運動を伴った速度場を用いて時間発展させることにより、台風などのような渦と並進運動を伴った気象現象の数値シミュレーションに適用することができる。

画像入力部１６は、画像データをカメラやデータベースなどから入力し、記憶装置に記憶させる。

画像生成部１７は、速度場蓄積部１５から読み出した速度場情報に基づいて、入力された画像データを処理して出力画像データを生成する。具体的には、画像データの画素各々について、速度場情報に含まれるその画素に対応する速度成分を移流拡散方程式に代入し、当該画素および当該画素近傍の画素強度と各画素における画像強度の座標軸方法の勾配に基づいてＣＩＰ法を適用してその移流拡散方程式を解くことで出力画像データを生成する。ＣＩＰ法については後述する。

画像出力部１８は、画像生成部１７により生成された画像を表示する。

次に、ＣＩＰ法を適用して２次元移流拡散方程式を解くことについて説明する。２次元移流拡散方程式は次式で表される。

ここでは、画素を（ｘ，ｙ）、画素強度をｆとし、速度場情報から得られる速度ベクトルを（ｕ，ｖ）とする。式（１）を移流項を含む方程式と移流項を含まない方程式に分離すると次の式（２）、（３）のようになる。

また、式（２）、（３）の空間一次導関数∂ｆ／∂ｘ，∂ｆ／∂ｙは、次の式（４）、（５）となる。

式（１）〜（５）を解くために、画像強度（濃淡値）を変化させる非移流方程式系と画像強度を変えずに画像パターンを移動させる移流方程式系に分離する。非移流方程式系で中間値を求めたあと、移流方程式系にＣＩＰ法を適用して解を求め、その解と中間値により出力画像の画像強度を算出する。非移流方程式系を次の式（６）〜（８）に示す。

移流方程式系を次の式（９）〜（１１）に示す。

ＣＩＰ法において、２次元移流方程式については、（ｉ，ｊ），（ｉ＋１，ｊ），（ｉ，ｊ＋１），（ｉ＋１，ｊ＋１）の４点近傍で次の式（１２）に示す３次関数で近似する。

上記３次関数の係数Ｃ_i,jを決定するために、次の式（１３）〜（１６）で示す４点での画像強度と、式（１７）〜（２２）で示すその点での勾配に関する条件を定める。

各点における画像強度と画像強度のＸ軸方向、Ｙ軸方向の勾配を示す上記条件式に基づいて３次関数Ｆ_i,jを求める。時刻ｎ＋１での画像は、時刻ｎでの画像をΔｔだけ移流させたものであることから次式を得る。

このようにして、ＣＩＰ法によりｆ^*，ｆ_x ^*，ｆ_y ^*が得られるとき、時刻ｎ＋１における新しい値が式（２６）で得られる。また、微分量は式（２７）、（２８）により得られる。

次に、実施例のＣＩＰ法を適用したときの画質改善の効果について、比較例の有限差分法との比較により説明する。図８（ａ）は、実施例による拡大処理の結果を示す図であり、図８（ｂ）は、比較例による拡大処理の結果を示す図である。画像データの拡大処理を行うには、発散パターンの速度場を利用することで可能となる。図８に示す例は、発散パターンを左目付近に設定して計算を行ったものである。また、拡大処理する画像には、拡大していくことでそのエッジの変化が容易にわかるように、特有の細かいひび割れが表面を覆っている油絵を選択した。人は顔、目に対する画質劣化に対して敏感に反応するので、人間の目の部分に対して拡大処理を行った。

図８（ａ）と図８（ｂ）を比較すると、有限差分法では、図８（ｂ）に示されるように、拡大した外周部において小波パターンの不安定な現象が生じた。これは、線形補間による誤差拡散により生じた振動解である。これに対し、ＣＩＰ法では、このような現象は生じていない。また、有限差分法を適用した図８（ｂ）では、過剰な平滑化のためにもとの油絵の筆のタッチや細かい皺を見出すことはできないが、ＣＩＰ法を適用した図８（ａ）では、現画像上にある皺がよくわかる。さらに、ＣＩＰ法では、計算時のループ回数を減らすことができるので有限差分法に比べて高速化をすることができた。

次に、実施例のＣＩＰ法を適用して顔画像へ拡大処理を適用した場合と比較例の従来法を適用した場合とを比較した例を説明する。比較例の従来法とは、市販のデジタルカメラなどのデジタルズームに標準的に用いられているバイ・キュービック法を利用して拡大を行うものである。図９（ａ）に示す顔画像を拡大処理する場合、図９（ｂ）に示すように、実施例のＣＩＰ法によれば拡大を続けても輪郭線のくずれもなくきれいにズームインできる。これに対し、比較例の従来法を用いた場合、拡大を続けると、図９（ｃ）に示すように、輪郭線のまわりにリンギング、ボケなどが目立つようになる。

有限差分法との違いについて図１０を参照して説明する。図１０（ａ）は、図上右方向へ一定の移流速度が実線で示す初期プロファイル（形状）とともに与えられた１次元パターンの移動を示した図であり、同図の縦軸は画素強度、横軸は位置を表している。点線は、移流後のプロファイルを示している。図１０（ｂ）は有限差分法を適用した場合のプロファイルを示し、図１０（ｃ）はＣＩＰ法を適用した場合のプロファイルを示している。図１０（ｂ）では、格子点の値のみが移流するためプロファイルは崩れてしまっている。このため、さらに時間が進むと格子点間の距離は拡大し、数値誤差と数値的な不安定性を生む要因となる。これに対し、ＣＩＰ法を適用した図１０（ａ）では、プロファイルはほとんど崩れておらず、さらに時間を進めてもほとんどプロファイルが崩れることはない。これは、ＣＩＰ法においては、格子点のみならず格子点での傾き情報も同時に移流する仕組みとなっているからである。したがって、ＣＩＰ法は、長い動画シーケンスの生成に極めて効果的である。

図１１は、速度場の生成と変形を３次元で行った例である。図１１（ａ）は、サイクロン方程式に基づいて台風やハリケーンを想定した初期速度分布を３次元空間に生成した例である。図１１（ｂ）は、生成した３次元の速度場をポインティングデバイスにより加工した例である。３次元座標で指定される３次元画素毎に画像強度を有する３次元画像データを変形して画像データを生成する際には、３次元の移流拡散方程式を適用する。３次元の移流拡散方程式も２次元の移流拡散方程式と同様にＣＩＰ法を適用して解くことができる。３次元の場合も、２次元の時と同様に画素強度の分布を３次関数で表す。３次関数の係数は、求める画素（ｘ，ｙ，ｚ）の近傍８点の画素強度と傾きに基づいて求めることができる。

したがって、本実施の形態によれば、速度成分の空間的な分布を表す速度場情報を速度場蓄積部１５に記憶しておき、画像生成部１７において、速度場蓄積部１５から読み出した速度場情報を移流拡散方程式に代入し、入力された画像データの画像強度情報に基づいてＣＩＰ法を適用してその移流拡散方程式を解くことにより、各画素の画像強度のみならず画素での勾配も移流されるので、数値誤差を押えつつ、高速に画像処理をすることができる。

本実施の形態によれば、速度場生成部１１において、流体系の偏微分方程式に基づいて速度場情報を生成することにより、偏微分方程式の係数などを設定するだけで容易に速度場情報を生成することができる。

本実施の形態によれば、速度場生成部１１において、速度場情報を生成するための偏微分方程式に渦度方程式を用いることにより、渦パターンを有する速度場情報を生成することができる。

本実施の形態によれば、速度場生成部１１において、速度場情報を生成するための偏微分方程式に発散方程式を用いることにより、発散または収束パターンを有する速度場情報を生成することができる。

本実施の形態によれば、速度場合成部１３において、速度場蓄積部１５から複数の速度場情報を読み出して合成することにより、より複雑な速度場情報を容易に生成することができる。

本実施の形態によれば、発散パターンを有する速度場情報を用いることにより、数値誤差を押えつつ、高速に画像の拡大処理を行うことができる。

本実施の形態によれば、入力される画像データと速度場情報を３次元座標で表されたものを用いることにより、台風やトルネードなどの気象現象のシミュレーションに利用することを可能とする。

一実施の形態における画像生成装置の構成を示すブロック図である。 生成する速度場の例を示す図であり、同図（ａ）は発散する速度場、（ｂ）は収束する速度場を示す。 生成する速度場の例を示す図であり、同図（ａ）は時計まわりの渦パターン、（ｂ）は反時計まわりの渦パターンを示す。 渦度方程式によって生成される速度場を示す図である。 渦度方程式によって生成される速度場を示す図であり、同図（ａ）は回転する速度場、（ｂ）は両側で異なる方向に流れる速度場、（ｃ）は中心付近で回転する速度場、（ｄ）はある方向から収束し、別の方向へ発散する速度場を示す。 速度場を合成した例を示す図であり、同図（ａ）は発散しながら渦を巻く速度場、（ｂ）は楕円を描く速度場、（ｃ）は中心から上下方向に発散する速度場を示す。 速度場を時間発展した例を示す図であり、同図（ａ）は時間発展する前の速度場、（ｂ）は時間発展した後を示す速度場を示す。 画像に拡大処理を施した結果を示す比較図であり、同図（ａ）は実施例によるＣＩＰ法を用いた場合の出力画像、同図（ｂ）は比較例による有限差分法を用いた場合の出力画像を示す。 別の画像に拡大処理を施した結果を示す比較図であり、同図（ａ）は拡大処理を施す前の画像、（ｂ）は実施例によるＣＩＰ法を用いた場合の出力画像、（ｃ）は比較例によるバイ・キュービック法を用いた場合の出力画像を示す。 実施例のＣＩＰ法と比較例の有限差分法との違いを示す説明図であり、同図（ａ）は移流前のプロファイル、（ｂ）は比較例の有限差分法を適用した後のプロファイル、（ｃ）は実施例のＣＩＰ法を適用した後のプロファイルを示す。 ３次元で表した速度場を示す図であり、同図（ａ）はサイクロン方程式により生成した速度場、（ｂ）は（ａ）を加工した速度場を示す。

符号の説明

１…画像生成装置
１１…速度場生成部
１２…速度場入力部
１３…速度場合成部
１４…速度場発展部
１５…速度場蓄積部
１６…画像入力部
１７…画像生成部
１８…画像出力部

Claims (10)

1. 画像入力手段により、画像データを入力して記憶手段に記憶させるステップと、
   画像生成手段により、速度成分の空間的な分布を表す速度場情報を記憶させた速度場蓄積手段から前記速度場情報を読み出すとともに、前記記憶手段から前記画像データを読み出し、前記速度場情報に含まれる各画素に対応する速度成分と、前記画像データの画像強度情報を移流拡散方程式に代入し、前記移流拡散方程式を、移流項を含まず拡散項を含み画像強度を変化させる非移流方程式と、移流項を含み画像強度を変えずに画像パターンを移動させる移流方程式とに分離し、前記非移流方程式で中間値を求め、前記画像データの画素各々について、前記速度場情報に含まれるその画素に対応する速度成分を前記移流方程式に代入し、当該画素および当該画素近傍の画像強度と各画素における画像強度の座標軸方向の勾配に基づいてＣＩＰ法を適用して前記移流方程式の解を求め、前記解と前記中間値により出力画像の画像強度を算出することで前記画像データを変形するステップと、
   を有することを特徴とする画像生成方法。
2. 速度場生成手段により、流体系の偏微分方程式に基づいて前記速度場情報を生成し、当該速度場情報を前記速度場蓄積手段に記憶させるステップを有することを特徴とする請求項１に記載の画像生成方法。
3. 前記流体系の偏微分方程式は渦度方程式であることを特徴とする請求項２に記載の画像生成方法。
4. 前記流体系の偏微分方程式は発散方程式であることを特徴とする請求項２に記載の画像生成方法。
5. 前記速度場情報は、画素毎に速度ベクトルが指定されたものであって、
   速度場合成手段により、前記速度場蓄積手段から複数の前記速度場情報を読み出し、画素毎の速度ベクトルを合成することにより複数の前記速度場情報を合成し、前記速度場蓄積手段に記憶させるステップを有することを特徴とする請求項１乃至４のいずれかに記載の画像生成方法。
6. 前記画像データは３次元座標で指定される３次元要素毎に画像強度を有する３次元画像データであり、前記速度場情報は前記３次元要素毎に速度ベクトルが指定された３次元データであることを特徴とする請求項１乃至５のいずれかに記載の画像生成方法。
7. 速度成分の空間的な分布を表す速度場情報を記憶しておく速度場蓄積手段と、
   画像データを入力して記憶手段に記憶させる画像入力手段と、
   前記速度場蓄積手段から前記速度場情報を読み出すとともに、前記記憶手段から前記画像データを読み出し、前記速度場情報に含まれる各画素に対応する速度成分と、前記画像データの画像強度情報を移流拡散方程式に代入し、前記移流拡散方程式を、移流項を含まず拡散項を含み画像強度を変化させる非移流方程式と、移流項を含み画像強度を変えずに画像パターンを移動させる移流方程式とに分離し、前記非移流方程式で中間値を求め、前記画像データの画素各々について、前記速度場情報に含まれるその画素に対応する速度成分を前記移流方程式に代入し、当該画素および当該画素近傍の画像強度と各画素における画像強度の座標軸方向の勾配に基づいてＣＩＰ法を適用して前記移流方程式の解を求め、前記解と前記中間値により出力画像の画像強度を算出することで前記画像データを変形する画像生成手段と、
   を有することを特徴とする画像生成装置。
8. 流体系の偏微分方程式に基づいて前記速度場情報を生成し、当該速度場情報を前記速度場蓄積手段に記憶させる速度場生成手段を有することを特徴とする請求項７に記載の画像生成装置。
9. 前記速度場情報は、画素毎に速度ベクトルが指定されたものであって、
   前記速度場蓄積手段から複数の前記速度場情報を読み出し、画素毎の速度ベクトルを合成することにより複数の前記速度場情報を合成し、速度場蓄積手段に記憶させる速度場合成手段を有することを特徴とする請求項７又は８に記載の画像生成装置。
10. 請求項１乃至６のいずれかに１つに記載した画像生成方法における各ステップをコンピュータに実行させるための画像生成プログラム。