JP4500614B2

JP4500614B2 - 映像基盤レンダリングおよび編集の方法ならびにその装置

Info

Publication number: JP4500614B2
Application number: JP2004206811A
Authority: JP
Inventors: 仁圭朴; 周延韓; 萬鎭韓; アレクセイ・ヴィクトロヴィッチ・イグナテンコ; アントン・コノウチネ; レオニド・イヴァノヴィッチ・レフコヴィッチ−マスリュク
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2003-07-14
Filing date: 2004-07-14
Publication date: 2010-07-14
Anticipated expiration: 2024-07-14
Also published as: CN100367317C; EP1498850A2; CN101025829A; EP1498850A3; CN101025829B; KR100528343B1; EP2372663A2; CN101025830B; EP2372662A3; JP2005038426A; KR20050008242A; US20050012757A1; CN1604142A; EP2372663A3; US7453455B2; CN101025830A; EP2372662A2

Description

本発明は、３次元モデルのレンダリングおよび編集の方法ならびにその装置に係り、具体的に、本発明は３次元モデルの深さ情報を利用して迅速、かつ正確に３次元モデルを表現し、編集する方法および装置に関する。

立体映像（３次元グラフィックス）に関する研究が始まって以来、３次元モデルをより正確かつ高速にレンダリングすることは、３次元グラフィックスの技術分野における究極的な目標であり続けている。最近のマルチメディアアプリケーションは、ネットワーク環境下でモバイル機器を含むユーザ端末が３次元モデルを高速かつ正確に再現することを要求する。しかし、従来の多角形メッシュ（polygonal mesh）を利用した３次元モデルのレンダリング技法はこのような要求に十分に満足のいく解法を提供してこなかった。例えば、従来の多角形メッシュの手法を利用して、表示画面の小さな端末装置に複雑な３次元モデルを表現する場合、頂点連結情報に重複が生じてしまう。また、インタラクティブな３次元モデルのレンダリングを可能にするためには、複雑なメッシュを単純化させなければならないが、複雑なメッシュの単純化のためには複雑なアルゴリズムが必要であり、メッシュを圧縮し、圧縮したメッシュを順次（プログレッシブに）ネットワークを通じて送信するためにも複雑なアルゴリズムを必要とする。

上述のメッシュ基盤のレンダリング技法に代わるものとして提案された映像基盤のレンダリング技法は、このような問題点の解決に道を拓くものである。例えば、深さ情報を含む映像（以下適宜「深さ映像」という）を利用することにより、映像基盤ないし点基盤の３次元モデルレンダリングを高解像度で実現する技術が公知である。また、この映像基盤のレンダリング技法によれば、必要に応じて適宜映像データを処理しそれを編集することができるとともに、３次元モデルをリアルタイムでレンダリングすることができる。

しかし、従来の映像基盤のレンダリング方式は、３次元モデルの基準映像がそのモデルの同じ部位を異なる視点からレンダリングしたシンプルテクスチャーモデルのデータを重複して含むものであることを考慮せずにレンダリングするので、レンダリング速度が低下し、レンダリング品質も低下するという問題がある。

また、従来の映像基盤のレンダリング方式は、レンダリングされる３次元モデルの表面の、視線方向により異なるちらつきや陰影など、物の表面のさまざまな性質を表現できないため、現実感が劣るという問題がある。

また、従来のメッシュ基盤のレンダリング方式は、映像基盤でレンダリングされた３次元モデルを修正するために３次元モデルのすべての基準映像データをそれぞれ修正しなければならないので、複雑なアルゴリズムの実行が必要であり、その編集作業量は膨大な量となるという問題がある。

本発明が解決しようとする技術的課題は、映像基盤の３次元モデルのレンダリング時に３次元モデルの同じ部位を違う視点からレンダリングするため重複するシンプルテクスチャーモデルの重複データを除去することによって、レンダリング速度およびレンダリング品質を向上させることができる重複データ除去方法および重複データ除去装置を提供することである。

本発明が解決しようとする他の技術的課題は、レンダリングされる３次元モデルの表面の視線方向により異なるちらつきや陰影など物の表面のさまざまな性質を表現できるレンダリング方法および装置を提供することである。

本発明が解決しようとするさらに他の技術的課題は、映像基盤のレンダリング技法によりレンダリングされる３次元モデルを編集するための映像基盤の編集方法および編集装置を提供することである。

前述した技術的課題を解決するための本発明の重複データ除去方法は、（ａ）３次元モデルの複数の異なる面をそれぞれレンダリングしたシンプルテクスチャー映像に含まれる深さ映像を利用して３次元空間上に投影されたピクセルの法線ベクトルをそれぞれ計算する段階と、（ｂ）前記法線ベクトルを利用して前記各シンプルテクスチャー映像に含まれるピクセルの信頼度をそれぞれ計算する段階と、（ｃ）前記各シンプルテクスチャー映像に含まれるピクセルの前記信頼度を、前記３次元モデルの同じ領域を表すピクセル間で比較して、信頼度の低いピクセルを有するシンプルテクスチャー映像から、その信頼度の低いピクセルのデータを除去する段階と、を含む。

また、前述した重複データ除去方法の（ａ）段階は、前記深さ映像の各ピクセル値に基づいて、３次元空間上に前記各シンプルテクスチャー映像に含まれるピクセルを投影し、投影された各ピクセルに隣接するピクセルを検出する段階と、前記投影された各ピクセルと、それに隣接する２つのピクセルとで三角平面を構成し、前記各三角平面の法線ベクトルを計算する段階と、前記各三角平面の法線ベクトルの平均を計算する段階と、を含むことが望ましい。

また、前述した重複データ除去方法の（ｂ）段階は、前記各ピクセルの法線ベクトルと、前記シンプルテクスチャー映像の生成に利用されたカメラ視界平面に垂直なベクトルとを利用して信頼度を計算することが望ましく、各ピクセルの法線ベクトルとシンプルテクスチャー映像の生成に利用されたカメラ視界平面に垂直なベクトルとの間の内積をとることによって、各ピクセルの信頼度を決定することがさらに望ましい。

また、前述した重複データ除去方法の（ｂ）段階は、信頼度が計算された各ピクセル間の３次元空間上の近接度を計算し、近接度が所定の臨界値以下であるピクセルを３次元モデルの同じ領域を表すことと決定する段階をさらに含むことが望ましい。

また、前述した重複データ除去方法の（ｃ）段階は、前記３次元モデルの同じ領域を表すピクセルのうち、前記信頼度が最も高い１つのピクセル値のみを残し、それ以外のピクセルを前記シンプルテクスチャー映像から除去することが望ましく、信頼度の低い深さ映像のピクセルの値を背景ピクセルの値に設定することがさらに望ましい。

一方、前述した技術的課題を解決するための本発明の重複データ除去装置は、３次元モデルの複数の異なる面をそれぞれレンダリングしたシンプルテクスチャー映像に含まれる深さ映像を利用して３次元空間上に投影されたピクセルの法線ベクトルをそれぞれ計算する法線ベクトル計算部と、前記法線ベクトルを利用して前記各シンプルテクスチャー映像に含まれるピクセルの信頼度をそれぞれ計算する信頼度計算部と、前記各シンプルテクスチャー映像に含まれるピクセルの前記信頼度を、前記３次元モデルの同じ領域を表すピクセル間で比較して、信頼度の低いピクセルを有するシンプルテクスチャー映像から、その信頼度の低いピクセルのデータを除去する重複データ除去部と、を含む。

一方、前述した技術的課題を解決するための本発明のレンダリング方法は、（ａ）３次元モデルの複数の異なる面をそれぞれレンダリングしたシンプルテクスチャー映像および前記モデルの属性を表す属性情報を利用して、前記３次元モデルの視点により異なるカラーと深さと、前記３次元モデルの属性に関する情報とを、２次元映像の形態で表現する拡張深さ映像（ＸＤＩ：Extended Depth Image）を生成する段階と、（ｂ）前記３次元モデルの属性に基づき、前記拡張深さ映像の各ピクセルに対して所定の反射モデル係数を設定する段階と、（ｃ）前記拡張深さ映像に含まれる深さ映像を利用して各ピクセルの法線ベクトルを計算する段階と、（ｄ）前記反射モデル係数および前記法線ベクトルを利用して、前記３次元モデルの属性により変化する前記モデルのカラーを決定し、このカラーを利用して３次元モデルをレンダリングする段階と、を含む。

また、前述した属性情報は、視点により異なる３次元モデルの反射程度を表す鏡面反射（specular）成分と、３次元モデル表面のテクスチャーにより異なる３次元モデルの光沢の程度を表す光沢成分を含むことが望ましく、反射モデルはフォン反射モデルであることが望ましい。

また、前述したレンダリング方法の（ｃ）段階は、前記深さ映像の各ピクセル値に基づいて、３次元空間上に前記各シンプルテクスチャー映像に含まれるピクセルを投影し、投影された各ピクセルに隣接するピクセルを検出する段階と、前記投影された各ピクセルと、それに隣接する２つのピクセルとで三角平面を構成し、前記各三角平面の法線ベクトルを計算する段階と、前記各三角平面の法線ベクトルの平均を計算する段階と、を含むことが望ましい。

一方、前述した技術的課題を解決するための本発明のレンダリング装置は、３次元モデルの複数の異なる面をそれぞれレンダリングしたシンプルテクスチャー映像および前記モデルの属性を表す属性情報を利用して、前記３次元モデルの視点により異なるカラーと深さと、前記３次元モデルの属性に関する情報とを、２次元映像の形態で表現する拡張深さ映像を生成する拡張深さ映像構成部と、前記３次元モデルの属性に基づき、前記拡張深さ映像の各ピクセルに対して所定の反射モデル係数を設定する反射モデル係数設定部と、前記拡張深さ映像に含まれる深さ映像を利用して各ピクセルの法線ベクトルを計算する法線ベクトル決定部と、前記反射モデル係数および前記法線ベクトルを利用して、前記３次元モデルの属性により変化する前記モデルのカラーを決定し、このカラーを利用して３次元モデルをレンダリングするレンダリング部と、を含む。

一方、前述した技術的課題を解決するための本発明の映像基盤編集方法は、（ａ）３次元モデルの複数の異なる面をそれぞれレンダリングした、カラー映像および深さ映像をそれぞれ含む、複数のシンプルテクスチャー映像を利用して、前記３次元モデルをレンダリングした映像をキャプチャーする段階と、（ｂ）前記キャプチャーされた映像のピクセルを所定の編集方法で編集し、編集された内容を編集映像として保存する段階と、（ｃ）前記編集映像を利用して前記複数のシンプルテクスチャー映像のカラー映像および深さ映像で構成される基準映像を更新する段階と、を含む。

また、前述した映像基盤編集方法の（ｃ）段階は、（ｃ１）前記編集映像を利用して修正する基準映像と、当該基準映像中の修正する部分とを選択する段階と、（ｃ２）前記編集映像のピクセルと対応する基準映像のピクセルを選択し、前記選択されたピクセルを前記編集映像のピクセルによって修正する段階と、（ｃ３）前記修正された内容を含む基準映像を保存する段階と、を含むことが望ましく、前述した（ｃ）段階は、前記修正された基準映像に基づき、前記修正された基準映像の修正されたピクセルと同じ部分をレンダリングするあらゆる基準映像のピクセルに対して、行われることが望ましい。

また、前述した映像基盤編集方法の（ｂ）段階は、（ｂ１）キャプチャーされた映像でレンダリングされた３次元モデルの一部分を選択し、前記部分における法線ベクトルを計算する段階と、（ｂ２）前記法線ベクトルの方向の無限地点に、ユーザによって属性設定された光源を設定する段階と、（ｂ３）前記３次元モデルの各ピクセルの法線ベクトルを計算する段階と、（ｂ４）前記光源の属性および前記法線ベクトルに基づき、前記光源により異なる前記３次元モデルのカラーを計算する段階と、（ｂ５）前記計算されたカラーを利用して前記編集映像を生成する段階と、を含むものとすることができる。

また、前述した映像基盤編集方法の（ｂ）段階は、前記基準映像のうち１つを選択し、選択された基準映像中の除去する部分を選択する段階と、前記基準映像中の選択された部分のピクセル値を所定の値に設定し、前記選択された部分を前記基準映像から除去する段階と、前記選択された部分が除去された基準映像を編集映像として保存する段階と、を含むものとすることができる。

一方、前述した技術的課題を解決するための本発明の映像基盤編集装置は、３次元モデルの複数の異なる面をそれぞれレンダリングした、カラー映像および深さ映像をそれぞれ含む、複数のシンプルテクスチャー映像を利用して、前記３次元モデルをレンダリングした映像をキャプチャーする映像キャプチャリング部と、前記キャプチャーされた映像のピクセルを所定の編集方法で編集し、編集された内容を編集映像として保存する映像編集部と、前記編集映像を利用して、前記複数のシンプルテクスチャー映像のカラー映像および深さ映像で構成される基準映像を更新する逆投影部と、を含む。

本発明によるシンプルテクスチャー映像の重複データを除去する方法および装置によれば、視点（視線方向）ごとに重複生成されるシンプルテクスチャー映像の重複データを除去することによって、レンダリング速度およびレンダリング品質を向上させることができる。

また、前述した本発明のＸＤＩ（拡張深さ映像）を利用したレンダリング方法および装置によれば、レンダリングされる３次元モデルの表面の視線方向により異なるちらつきや陰影など物の表面のさまざまな性質を表現することができる。

また、前述した本発明の映像基盤編集方法および編集装置によれば、レンダリングされる３次元モデルを、２次元映像を利用して編集することが可能となる。

本発明は、シーン中に配される３次元モデルをシンプルテクスチャーモデルによってレンダリングする。このシンプルテクスチャーモデルは、３次元モデルの異なる複数の面（aspect）をそれぞれレンダリングする複数の基準映像を含む。各基準映像は、幾何学的な情報（深さ映像）と、カメラの位置、方向、視界などのカメラ情報と、近距離および遠距離クリッピング面などの情報等を含む。図１にシンプルテクスチャーモデルの一例を示す。図１の上段にはシンプルテクスチャーモデル（映像）に含まれるカラー映像を、下段にはシンプルテクスチャー映像に含まれる深さ映像をそれぞれ図示し、図１の右端にシンプルテクスチャーモデルを利用して生成されたレンダリング結果を示す。正射影カメラの場合には、カメラ視界の幅および高さが保存される。グレースケールの深さ映像の各ピクセルは、３次元モデルの表面の一部分を投影するものであって、所定のカメラからの距離をピクセル値で表す。図１の下段に示す深さ映像において、深さ映像の明るい領域は３次元モデルのうちカメラから近い領域を表し、暗い領域は相対的にカメラから遠い領域を表す。

基準映像は、ウェーブレット圧縮法などの方法により保存しておいて、ネットワークを通じてプログレッシブに伝送することができる。ここで、カラーと深さ映像は同じ寸法であることが望ましい。各深さ映像は、ピクセルあたり８ビットまたは１６ビットで、カラー映像のαチャンネルに選択的に符号化することができる。ただし、３次元モデルの高解像度で精確なレンダリングをおこなうためには、８ビットでは十分ではない。

各深さ映像は３次元モデルの一面をレンダリングするものであり、すべてあわせると、その３次元モデルのすべての面をレンダリングすることになる。図２に、ゲート（門）モデルのためのカメラの配置図を示す。図２に示すように、基準映像の大きさと、カメラの位置および方向には原則として制限がない。３次元モデルの表面の中でもより高い品質が要求される部分に対しては高解像度を有するマップが生成される。例えば、図３に示すように、恐竜の頭部分をキャプチャー（capture：撮像）するカメラは恐竜の背中部分をキャプチャーするカメラよりも精緻で高い正確性を有するシンプルテクスチャー映像を生成する。

本発明による３次元モデルレンダリングのスタティック（静止画）バージョンは実測された３次元距離データまたは合成物のオフラインでのレンダリングを通じて得ることができ、それをそのまま、または必要に応じて最適化したものを表示する。

また、本発明はカラーストリームおよび深さストリームを用いたアニメーション（動画）バージョンの（つまり、動く映像基盤の）レンダリング技法を採用する。アニメーション化されたオブジェクト映像は、相互に同期化された一連のカラーストリームおよび深さストリームの集合である。このような動く映像基盤のレンダリング技法は、３次元映画のようなアプリケーションに非常に有用である。動く映像基盤のレンダリング手法は、アニメーションの種類による制限がなく、複雑性に依存しないレンダリング手法であり、効率的なＭＰＥＧ−４ビデオ圧縮法により大きな映像データを小さなサイズにして処理することができるという点で、従来のキーフレームアニメーション方式と比べて、大幅に処理効率が高く、特に複雑なシーンやモデルをレンダリングする場合に有利である。

以下、本発明の望ましい実施例によるシンプルテクスチャー映像重複データ除去方法および装置を説明する。

シンプルテクスチャーモデルはカラー情報と深さ情報とを含む基準映像で構成される。深さ情報を含むそれぞれの基準映像は、所定の視点から３次元モデルの各部分までの距離情報を含む。シンプルテクスチャーモデルの異なる基準映像は３次元モデルの同一部位をレンダリングすることができる。すなわち、１つの基準映像に含まれた３次元モデルの一部分は他の基準映像に含まれた３次元モデルの一部分と部分的に重なることになる。したがって、重複したデータがシンプルテクスチャー映像に含まれることになる。このとき、３次元モデルの同じ部分をレンダリングする、異なる深さ映像から復元されたサンプルは、投影空間上でほぼ一致する。このような重複を含むサンプルは、次のような点が問題となる。

最初の問題は、シンプルテクスチャーモデルのサイズが大きくなる点である。これは重複するサンプルを含むあらゆるサンプルが処理されねばならないので、レンダリングの速度に悪影響を及ぼす。

第２の問題は、３次元モデルの表面の同一部分がレンダリング時にピクセル数の異なる複数の出力映像に投影される点である。すなわち、同一部分が別々の深さマップによって異なるサンプリングレートでキャプチャーされる。このとき、サンプリングレートの低いサンプルはレンダリング時に各出力映像内で占める面積が相対的に大きくなり、サンプリングレートの高いサンプルはレンダリング時に各出力映像内で占める面積が相対的に小さくなるので、高いサンプリングレートを有するサンプルの信頼度の高いピクセルが低いサンプリングレートを有するサンプルの信頼度の低いピクセルに置き換わってしまう結果を招き、総体的なレンダリングの正確性が期待水準を下回り、レンダリング品質を低下させる。

第３の問題は、サンプル間のカラー（色相）の不一致が発生してレンダリングノイズが発生する点である。すなわち、３次元モデル表面の同じ位置をキャプチャーしたサンプルであれば異なる深さマップから生成したものであっても、同じカラーまたは少なくとも類似したカラーを有するものであることが期待されるが、シンプルテクスチャーモデル上のデータに重複があると、サンプル間でカラーの不一致を発生する可能性がある。

本発明の重複データ除去方法および重複データ除去装置は、異なる深さマップで復元されたモデル表面の同一部分をレンダリングするサンプルの数を最小化することにより、前述した問題を解決しようとするものである。本発明では、サンプルは３次元モデル表面の同じ部分を高画質にキャプチャーした他のサンプルがある場合に重複したデータであり除去されるべきものとみなされる。以下で、このようなサンプルを検出する方法および装置を説明する。この方法は、生成された深さマップに対して適用できる。

図４は、本発明による重複データ除去装置の望ましい一実施例を示すブロック図である。図４に示すように、本発明の一実施例による重複データ除去装置は、法線ベクトル計算部４１０と、信頼度計算部４２０と、近接度計算部４３０と、重複データ除去部４４０とを含む。

本発明の一実施例による重複データ除去方法を説明する図５Ａをさらに参照すれば、同じ３次元モデルをレンダリングする、映像の形態で保存されたカラーマップ（カラー映像）および深さマップ（深さ映像）を含む複数のシンプルテクスチャー映像が、法線ベクトル計算部４１０に入力される（Ｓ５１０）。各深さマップのそれぞれのピクセルに対して、対応する３次元空間中の位置が復元され、一連の付加的属性、例えば、各深さマップのそれぞれのピクセルの位置（ｘ、ｙ）、サンプルサイズ、法線ベクトル、および信頼度などが計算されるが、まず、法線ベクトル計算部４１０では、シンプルテクスチャーモデルの深さ映像を利用して各ピクセルの法線ベクトルを計算する（Ｓ５２０）。各ピクセルの法線ベクトル計算方法は図５Ｂを参照して後述する。

信頼度計算部４２０は、各ピクセルの法線ベクトルを利用して各ピクセルの信頼度を計算する（Ｓ５３０）。各ピクセルの信頼度は所定の深さマップの所定の位置でのサンプリング品質を特徴づけるものであって、信頼度計算部４２０は、複数のシンプルテクスチャーモデルの深さ映像それぞれに対して次の数式１を利用して各ピクセルの信頼度ｒを計算する。

数式１で、Ｎ_pはカメラの視界平面に直角な法線ベクトルであり、Ｎ_sは所定のサンプルｓでの３次元モデルの表面に直角な法線ベクトルであり、（Ｎ_p，Ｎ_s）は法線ベクトルＮ_pおよびＮ_sの内積を意味する。また、｜ｘ｜はｘの絶対値を示す。

近接度計算部４３０は、複数のシンプルテクスチャー映像のピクセルのうち３次元モデルの同一部分をレンダリングするピクセル群を求めるために、各ピクセル相互の３次元空間上での近接度を計算する（Ｓ５４０）。近接度計算部４３０は各深さ映像の各ピクセルを３次元座標上にマッピングし、隣接ピクセルとの距離が所定の臨界値以下になれば、３次元モデルの同一部分をレンダリングするピクセルと決定する。

重複データ除去部４４０は、近接度計算部４３０から３次元モデルの同一部分をレンダリングすると判定されたピクセルを入力し、信頼度の低いピクセルを除去して、重複データが除去されたシンプルテクスチャー映像の集合を出力する（Ｓ５５０）。重複データ除去部４４０は、３次元モデルの、深さマップは異なるが同一の部分をレンダリングすると判定された複数のサンプル（ピクセル）の信頼度をそれぞれ比較して、最も高い信頼度を示す１つのサンプルを選択し、残りのサンプルは深さマップから除去する。重複されるサンプルを除去するために、除去されるべきピクセルの値は深さマップで０と設定される。

図６を参照すれば、平面ｐ₂に投影されたサンプルｓの信頼度は平面ｐ₁に投影された場合より高いが、これは（Ｎ_p1、Ｎ_s）の角度が（Ｎ_p2、Ｎ_s）の角度より大きいためである。ここで、Ｎ_sはサンプルの法線ベクトルを示す。したがって、ｐ₂上のサンプルはｐ₁上のサンプルより高解像度でより高い精度で幾何学的情報をレンダリングできることがわかる。したがって、深さマップｐ₁より信頼度の低いサンプルが除去される。

以下、図５Ｂを参照して、法線ベクトル計算部４１０で各ピクセルの法線ベクトルを計算する過程を説明する。法線ベクトル計算部４１０は、深さ映像のピクセル値によって各ピクセルを３次元空間上に投影し、法線ベクトルを計算する所定のピクセルに隣接するピクセルを検出した後（Ｓ５２２）、隣接するピクセルから複数の三角形を構成する（Ｓ５２４）。法線ベクトル計算部４１０は各三角形により画定される平面に直角な法線ベクトルをそれぞれ計算し（Ｓ５２６）、計算して得られた複数の法線ベクトルの平均を計算して所定ピクセルに対応する法線ベクトルを計算する（Ｓ５２８）。

また、本発明の望ましい実施例による重複データ除去装置は、サンプルにサイズの異なるものがある場合に１つの大きなサンプルが他のサンプルを完全に遮蔽してしまうことがあることを考慮する。この場合、小さなサンプルを遮蔽する大きいサンプルを除去する。

また、本発明で法線ベクトルがサンプルの信頼度計算に利用されるが、そのような法線ベクトルのマップは、ユーザ端末に伝送される３次元モデルのデータに含めると、伝送に必要なチャンネル帯域幅を顕著に増加させるので、法線ベクトルマップをユーザ端末に伝送するデータに含めないものとする。したがって、本発明で法線ベクトルは前処理段階でのみ使用される。ユーザ端末においては、法線ベクトルは深さマップから３次元情報を利用して復元される。

一方、上述した処理過程において、それぞれの深さマップから重複するサンプルを除去した後で、深さ映像の正確性を向上させるために、別途次のような処理段階を要するものとしてもよい。前述したように、重複サンプルが除去された深さ映像にレンダリングノイズが生じることがある。このノイズの理由は深さマップの性質に起因する。すなわち、異なる深さマップの同じサンプルからフィルタリングされた法線ベクトルであっても、相互に完全に一致しているわけではない。本発明はこのような問題を解決するために、互いに異なる信頼度を有するサンプルであってもその信頼度の差が所定の臨界値より小さい場合にはそのサンプルは同じ信頼度を有すると判断する。もし、異なる深さマップからの重複ピクセルが同じ信頼度を有するものである場合には、除去されるサンプルは任意に選択される。

前記のように、各深さマップから重複するサンプルを除去することにより、相互に異なるがそれぞれ単一の深さマップからキャプチャーされるピクセルからなる重複のない３次元モデルを取得することができる。図７に、ロボットモデルに対する重複サンプル除去の結果を示す。図７（ａ）および図７（ｂ）は重複データが除去される以前のカラーマップおよび深さマップをそれぞれ示す図面であり、図７（ｃ）および図７（ｄ）は重複データが除去された後のカラーマップおよび深さマップをそれぞれ示す図面である。図７（ａ）ないし図７（ｄ）を参照すれば、相当量の重複ピクセルが除去されてロボットモデルのサイズが顕著に減少していることがわかる。ロボットモデルのデータサイズの減少に示される処理されるサンプルの数の減少は、結果としてレンダリング速度の向上に直結する。図７（ｂ）および図７（ｄ）の一部分を拡大して示した図８を参照すれば、ロボットモデル上に書かれた文字が、左側に示す重複データ除去前に比べ右側に示す重複データ除去後では、明らかに鮮明になっており、レンダリングの品質が向上したことがわかる。

本発明が基礎とする映像基盤レンダリング技法は、前述したように、カラー映像と深さ映像とを含むシンプルテクスチャー映像を利用して３次元モデルをレンダリングする方法であって、従来の３次元メッシュモデルを利用したレンダリング技法と比較して、良好なレンダリング品質が見込めるとともにレンダリング速度の面でも優れた性能を表すものといえるが、シンプルテクスチャーモデルを利用するものである限り、表現される３次元モデルの微妙なテクスチャー（材質感等）が表現できないものでもある。

そこで、このような前述したシンプルテクスチャー映像を利用した映像基盤レンダリング技法の問題点を解決するために、本発明の拡張シンプルテクスチャーモデルを利用したレンダリング方法および装置は、既存のシンプルテクスチャーモデルに３次元モデルのテクスチャーに関するデータをさらに追加して拡張シンプルテクスチャーモデルを構成し、シンプルテクスチャーモデルに代えてこの拡張シンプルテクスチャーモデルを利用する。拡張シンプルテクスチャーモデルは、深さマップで定義されたモデル表面のピクセルごとに複数の追加的な情報を含む。以下、本発明の望ましい実施例による拡張されたシンプルテクスチャーモデルを利用したレンダリング方法および装置を説明する。

映像基盤レンダリング方法で、３次元モデルは複数の深さ映像（Depth Image：以下、“ＤＩ”という）を利用してレンダリングされる。ＤＩは、シンプルテクスチャー映像に関する情報やとシンプルテクスチャー映像を生成するために用いられたカメラに関する情報などの情報の集合から構成される。本発明でＤＩは、（３次元モデルの深さマップ、カラーマップ、特性１、特性２、・・・等から構成される）拡張深さ映像（eXtended Depth Image：ＸＤＩ）と拡張定義される。モデルの特性１、２、・・・は、シンプルテクスチャーモデルにおけるカラーマップまたは深さマップのように２次元平面上に平面映像の形態で保存される。このように３次元モデルの特性を表す値を保存することによって、例えば照明によって物体の表面に表れる陰影（明るい部分および暗い部分）や光沢特性などのような３次元モデルの属性をレンダリングすることが可能となる。

観視者の位置が変更されると、オブジェクトの３次元モデルは変更された観視者の位置に対して新たにレンダリングされるが、オブジェクトの３次元モデルのレンダリングに利用される基本要素であるスプラットのカラーは、観視者の変更された位置に対応する点での３次元モデルの表面のテクスチャーと、その対応する点を起点とする法線ベクトルと、観視者と３次元モデルと光源の相対的な位置と、を考慮して決定される。

また、本発明は、３次元モデルの表面において、そのテクスチャーによって発生する光の反射の程度を表現するためにフォン反射モデルを利用してレンダリングを行う。フォン反射モデルは、３次元モデルおよび光源の６種の性質（すなわち、深さマップから計算される各ピクセルの法線ベクトルと、放射係数 emission coefficient、環境係数 ambient coefficient、散乱係数 diffuse coefficient、鏡面反射係数 specular coefficient、光沢係数 shininess coefficient）を利用して３次元モデルをレンダリングする。これらの６種の係数のうち一部、例えば、環境係数および放射係数は、省略ないしデフォルト値で置き換えることができる。また、カラー映像は散乱係数マップと見なされる。

本発明によるフォン反射モデルを用いたレンダリングは、２次元および３次元グラフィックスにおける標準的な開発環境であるＯｐｅｎＧＬを利用して行われる。３次元レンダリングの間に、ピクセルの法線ベクトルとオブジェクト媒介変数と光媒介変数とがグラフィックパイプラインを通じて伝送される。現代のハードウェアアクセラレータ（例えば、Nvidia GeForce）はフォン反射モデルの計算をハードウェア的に非常に高速に行える。本発明でも、このようなＯｐｅｎＧＬレンダリングパイプラインを使用してハードウェアレンダリングを行うよう構成することができる。ハードウェアアクセラレータを使用できない場合でも、ソフトウェア的にレンダリングを行うことができる。

以下、本発明によるＸＤＩを利用したレンダリング装置を示した図９および本発明によるＸＤＩを利用したレンダリング方法を示した図１０を参照して説明する。図９に示すように、ＸＤＩを利用したレンダリング装置は、ＸＤＩ構成部９１０と、反射モデル係数設定部９２０と、法線ベクトル計算部９３０と、レンダリング部９４０とを含む。図１０をさらに参照してその方法を説明すれば、まず、ＸＤＩ構成部９１０に、オブジェクトの３次元モデルのシンプルテクスチャー映像およびモデルの属性情報が入力される（Ｓ１０１０）。ＸＤＩ構成部９１０に入力されるシンプルテクスチャー映像は、前述したように３次元モデルを表現するカラーマップおよび深さマップを含む。一方、ＸＤＩ構成部９１０に入力されるオブジェクトの属性情報は、３次元モデルの放射、環境、散乱、鏡面反射、光沢の各成分を含み、そのうち少なくとも、オブジェクトモデルの表面の一点における反射の程度を表す鏡面反射成分およびオブジェクトモデルの表面のテクスチャ（材質）による反射の程度を表す光沢成分を含む。このような鏡面反射成分および光沢成分は、例えば“フォトショップ（Photoshop）”のような映像編集プログラムを利用して生成し、各ピクセルの鏡面反射成分および光沢成分を表す２次元映像マップの形態で、それぞれＸＤＩ構成部９１０に入力される。

ＸＤＩ構成部９１０は、入力されたシンプルテクスチャー映像および３次元モデルの属性情報を利用して拡張された深さ映像ＸＤＩを構成する（Ｓ１０２０）。構成されたＸＤＩは、前述したように、深さ映像、カラー映像、特性１、特性２、・・・で構成される。このようなＸＤＩが、反射モデル係数設定部９２０および法線ベクトル計算部９３０にそれぞれ入力される。

反射モデル係数設定部９２０は、次の数式２のように表現されるフォン反射モデルの計算に必要な所定の係数を設定する。

数式２で、Ｋ_s、Ｋ_a、Ｋ_dは、鏡面反射係数、環境係数、散乱係数をそれぞれ表し、ｐは入力された各ピクセルの光沢値を表す。また、ｒは反射された光の方向を表し、ｖは観視者の方向を表し、ｌは光源の方向を表し、ｎは現在のピクセルでの法線をそれぞれ表すベクトルである。また、Ｓ_iは光度を表し、Ｋ_c、Ｋ_l、Ｋ_qは光の減衰係数を表し、ｄは３次元モデルと光源の間の距離を表し、Ｉ_ai、Ｉ_si、Ｉ_diはｉ番目光源の環境（周囲）カラー、鏡面反射カラーおよび散乱カラーをそれぞれ表す。

反射モデル係数設定部９２０は、数式２の変数のうち、Ｋ_s、Ｋ_a、Ｋ_d、ｐ、Ｉ_ai、Ｉ_si、Ｉ_diを、所定の規則ないしアルゴリズムによって設定する。この時、反射モデル係数設定部９２０は同じ変数値を有するピクセルを一括して処理できるように、同じ設定値を有するサンプルを分類してグルーピングする。

一方、法線ベクトル計算部９３０は、入力されたＸＤＩの深さ映像情報を利用して各ピクセルの法線ベクトルｎを決定する。深さ情報を利用して各ピクセルの法線ベクトルｎを決定する方法は図５Ｂを参照して前述した通りである。

レンダリング部は、前述した反射モデル係数設定部９２０で設定された係数Ｋ_s、Ｋ_a、Ｋ_d、ｐ、Ｉ_ai、Ｉ_si、Ｉ_diおよび法線ベクトル計算部９３０で決定された各ピクセルの法線ベクトルｎを利用して、前述した数式２によって各ピクセルで表現されるカラー値を計算して３次元モデルのレンダリングを行う（Ｓ１０５０）。この時、レンダリング部はスプラットサイズを調節し、各係数および法線ベクトルと各サンプルの復元された３次元位置をＯｐｅｎＧＬのような３次元グラフィックアクセラレータに入力してフォンモデルを計算することによって、オブジェクトの３次元モデルをレンダリングする。ハードウェアアクセラレータが使用できない場合にはソフトウェア的にレンダリングによるものとする。

図１１は、単一ＸＤＩ・４要素マップによるレンダリングの一例を示す。図１１を参照すれば、金属物体としてのモデルの表面の光を反射する性質および観視者の視野によってモデルの表面できらきらと輝く位置が変更される性質が良好にレンダリングされたことが観察できる。

以下、本発明の望ましい実施例による映像基盤の映像編集装置および映像編集方法について説明する。

テクスチャーが付与された３次元モデルの表面を修正する従来の編集技術は、複雑で、使い勝手がよいとはいえないものであった。例えば、３次元モデルの表面に着色したり、変位マッピング技法を適用したりする場合がそうである。本発明はかかる問題に対する解決策として映像基盤の映像編集装置および映像編集方法を提供する。

本発明によれば、ユーザは３次元モデルを構成する複数の基準映像のうちの１つを修正する。その後、他の基準映像のサンプルが再構成され、修正された映像に投影される。サンプルが編集されたピクセルに投影され、投影された他の基準映像サンプルの計算された深さと修正された基準映像サンプルの深さマップからの対応する値間の差が所定の臨界値より小さければ、サンプルは修正されなければならない。この過程によりモデルのあらゆるマップを修正してなお一貫性が維持される。本発明の長所は３次元メッシュのような追加的なデータ構造が作られない点である。したがって、中間モデルを作るための複雑な計算過程が不要である。すなわち、モデルの特定部分に対して変更された内容は、他のマップの特定部分を表す部分にまでも直接自動的に変更される。また、基準映像の修正だけでなく、３次元モデルの映像をキャプチャーしてレンダリング途中に修正を試みて、基準映像をキャプチャーされた映像に対してほどこされた修正情報によって変更することができる。

修正されていない基準映像のあらゆるサンプルは再構成されて修正された映像のピクセルと比較されるので、このようなシンプルテクスチャー映像編集方式を逆伝播修正（back-propagation editing method）という。図１２に逆伝播の原理を示す。図１２は、水平方向の基準映像が編集されており、編集された結果の修正情報によって垂直基準映像を変更させる過程を示す。図１２に示すように、垂直方向のマップＡを３次元空間上に再構成し、これを水平方向のマップに逆投影すれば、編集されたピクセルに対応するピクセルが得られる。この時、水平方向のマップから最も近いピクセルが所定の臨界値より小さな深さ差を有する修正されるピクセルであるので、このピクセルのカラー情報を編集されたピクセルのカラー情報により置換し更新する。

一方、本発明の実施例による映像基盤映像編集装置および方法では、ユーザが臨界値を変更することによって、変更された内容が他のマップに伝播される程度を調節することができる。これは深さマップの解像度が低い基準映像に対して特に重要である。少ない量子化ビット数によって、３次元モデルの同じ表面部位に置かれた異なる基準映像からのサンプルが、修正された映像に投影される時、異なる深さ値を有するものとなりうる。後述する“選択編集”のような映像編集方法の場合に、異なる臨界値を選択することによって編集されるモデルの量が変更できる。“選択編集”方法で最大臨界値を適用すれば、編集されたピクセルに投影されたすべてのサンプルが編集される。

図１３は、本発明の実施例による映像基盤編集装置の構成を示すブロック図であり、図１４Ａおよび図１４Ｂは映像基盤編集方法を説明するフローチャートである。図１３に示すように、映像編集装置は、映像キャプチャリング部１３１０と、映像編集部１３２０と、逆投影部１３３０とを含む。図１４Ａに示すように、従来のシンプルテクスチャーモデルを利用した手法によりレンダリングされた映像がキャプチャリング部１３１０に入力されると、キャプチャリング部１３１０は３次元モデルのレンダリングを停止して編集する基準映像をキャプチャーする（Ｓ１４１０）。

映像編集部１３２０は、キャプチャーされた映像を、後述するペイント編集、ライトペイント編集、削除、複製などの編集方法を利用して編集する（Ｓ１４２０）。具体的な編集方法に対しては後述する。

逆投影部１３３０は、キャプチャーされた映像に対して行われた編集作業の内容を同じモデルを表現する他の基準映像に反映するように編集された映像の情報を他の基準映像に逆投影する。

図１４Ｂをさらに参照して、Ｓ１４３０段階を詳細に説明する。映像逆投影部１３３０は、まず編集作業の内容によって修正される基準映像を選択し、選択された基準映像で修正される領域を選択する（Ｓ１４３２）。その後、編集された映像のピクセルと対応する基準映像のピクセルを選択し、編集された内容を選択された領域内で対応するピクセルに逆投影することによって基準映像を修正する（Ｓ１４３４）。その後、逆投影部は修正された基準映像をシンプルテクスチャー映像に保存することによって基準映像を更新する（Ｓ１４３６）。

以下、図１５Ａないし図１５Ｃを参照して、前述した第Ｓ１４２０段階の映像編集方法を説明する。本発明は非圧縮のシンプルテクスチャーモデルのテクスチャーを編集するために「ペイント編集」という方法を提供するものである。ペイント編集法は、一般的な“ペイントブラシ（Paintbrush）”または“フォトショップ（Photoshop）”などの映像編集プログラム用いて、前述の逆投影編集法に基づき、おこなわれるものである。

ペイント編集法の適用アルゴリズムは次のようなものである。３次元モデルのレンダリング中に、ユーザはペイント編集が適用される基準映像を選択する。その後、その選択された基準映像がキャプチャーされ、フォトショップなどの映像編集システムを用いて編集される。映像編集システムによって修正が行なわれた後で、変更された内容は当該３次元モデルを通じて他のすべての基準映像に伝播される。

修正された内容が逆伝播されるとき、伝播されたサンプルが投影されたピクセルと異なるカラーを有する場合には、サンプルのカラーを修正する必要がある。したがって、このピクセルに対応するピクセルのカラーは変更される。

図１６にペイント編集法を適用した例を示す。図１６（ａ）に示すキャプチャーされた映像に、図１６（ｂ）に示すように、文字がペイントされ、ペイントされた部分は、図１６（ｃ）に示すように、他の基準映像に逆伝播される。この逆伝播後に、さらに当該３次元モデルをレンダリングすることができるが、このペイント効果は、図１６（ｃ）に示すように、以後のレンダリングの間に現れる。

図１５Ａは、ライトペイント編集法を説明するフローチャートである。シンプルテクスチャーモデルは光源を追加した場合などに３次元モデルの照明強度の変化を反映するための編集をする必要がある。このために、本発明は「ライトペイント編集」という方法を提供するものである。３次元モデルの変化したテクスチャーは前述したフォン反射モデルで計算される。このフォン反射モデルでは、各表面サンプルごとの法線ベクトルが必要であるが、シンプルテクスチャーモデルは法線ベクトルマップを含まないので、法線ベクトルは深さマップから３次元深さ情報を利用して計算して求める。

図１５Ａを参照すれば、レンダリングの間、ユーザはライトペイントが適用される基準映像を選択し、それをキャプチャーさせた後、そのキャプチャーされた映像のモデルに対して、新しく追加された光源の位置、方向、カラーなどを含む照明の属性を設定する（Ｓ１５１０）。これは光源のカラーなどの属性値を特定することによって行われる。その後、３次元モデルの一地点を選択してその選択地点から法線ベクトルを抽出し（Ｓ１５１１）、法線ベクトル方向に無限地点に設定された光源を配置して、キャプチャーされた基準映像における３次元モデルをさらに照明する（Ｓ１５１２）。

その後、前述した図５Ｂを参照して説明した方法および同じ方法を利用して、照明を適用するモデルの各ピクセルの法線ベクトルを計算し（Ｓ１５１３）、前述したフォンモデルを利用して新しい光源を適用したモデルの色を計算し（Ｓ１５１４）、計算された色で修正のために選択された基準映像の各ピクセル値を変更する（Ｓ１５１５）。

図１７に、ライトペイント方法を適用した例を図示した。図１７（ｂ）に示すように、新しい光源効果がモデルに適用され、モデルは再照明される。逆伝播以後に、モデルをさらにレンダリングでき、図１７（ｃ）に示したように、以後のレンダリングの間にライトペイント効果が現れる。

以下、映像編集方法のうち選択編集、削除編集、および複製編集の方法を簡略に説明する。シンプルテクスチャーモデルの基準映像の集合は、モデル全体に対する情報を含む。ユーザは、全体モデルの一部分を別途に使用するために分離する必要がある。本発明はモデルの一部分のみが作業できるようにするための選択の方法を提案する。本発明はビット映像を各基準映像と連関させる。基準映像のカラーおよび深さマップの各ピクセルはビットマスクの特定ビットに対応する。ビット値が１であれば、対応するピクセルは選択されたものと見なされる。ユーザは可変サイズのブラシで任意の基準映像のピクセルの集合が選択できる。前述した変更内容の伝播方法は他のあらゆる基準映像の修正のために使われる。他のあらゆる映像のサンプルは再構成されて編集された映像に投影される。一部サンプルが選択されたピクセルに投影されれば、対応する深さ値および計算された深さ間の差が所定の臨界値より小さければ、サンプルは選択されたものと表示され、対応するマスクのビット値は１と設定される。

あらゆる基準映像の選択されたピクセルはモデルの選択された部分を削除する「削除編集」という方法を利用してマップから削除されうる。モデルの選択された部分は「複製編集」という方法を利用して複製される。少なくとも１つの選択されたピクセルを有するそれぞれの基準映像に対して、同じ基準カメラを利用した新しい映像が生成される。映像からのあらゆる選択されたピクセルは新しく複製された基準映像に複写される。あらゆる他のピクセルは対応する深さ値が０と設定されて背景として表示される。新しく生成された基準映像は、新しいシンプルテクスチャーモデルを生成するために別途に保存される。

以下、削除編集の方法を示す図１５Ｂおよび複製編集の方法を説明する図１５Ｃを参照して、その具体的な方法についてそれぞれ説明する。

映像で所定の領域を削除しようとする場合には、図１５Ｂに示すように、まず、基準映像１個を選択し（Ｓ１５２０）、選択された基準映像で削除する部分を選択する（Ｓ１５２１）。その後、選択された部分を前述したように削除した後（Ｓ１５２２）、変更された情報を他の基準映像に逆投影する（Ｓ１５２３）。

一方、映像で所定の領域を複製しようとする場合には、図１５Ｃに示すように、まず、複製する部分を含む基準映像を選択し（Ｓ１５３０）、選択された基準映像で複製する部分を選択する（Ｓ１５３１）。その後、複製した部分に新しい基準映像を生成し（Ｓ１５３２）、新しい基準映像を保存する（Ｓ１５３３）。図１８（ａ）、図１８（ｂ）、および図１８（ｃ）に前述した選択編集の方法、削除編集の方法、および複製編集の方法を適用した例をそれぞれ図示するものである。

さらに、本発明は、コンピュータにその機能を実行させるプログラムとして具現することが可能である。すなわち、コンピュータ可読媒体に書き込み、コンピュータが読取り実行することが可能なコードとして製品化することができる。ここで、コンピュータ可読媒体としては、コンピュータシステムによって読取り可能なデータを保存するためのあらゆる種類の媒体を含む。例えば、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フレキシブルディスク、光データ記憶装置などがあり、また、キャリアウェーブ（例えば、インターネット等の通信媒体を通じた伝送）の形態に具現されるものも含む。また、本発明は、コンピュータが読み取り実行することが可能なコードとして、ネットワークに連結されたコンピュータシステムに分散保存される実施形態も可能であり、分散方式で実行することもできる。

これまで本発明についてその望ましい実施例を中心として説明した。本発明が属する技術分野における当業者であれば本発明がその本質から逸脱することなく様々な形態に変形実施することが理解できるであろう。したがって、上記例示された実施例は本発明の範囲を限定するものとしてではなく、その本質を理解するための説明として理解されるべきものとする。本発明の技術的範囲は、特許請求の範囲に定義されており、それと均等な範囲内のあらゆる差異は本発明に包含されるものと解釈されねばならない。

本発明は３次元モデルの深さ情報を利用して迅速、かつ正確に３次元モデルをレンダリングおよび編集する方法および装置に係り、マルチメディアアプリケーション分野と３次元グラフィック分野などで利用することができる。

シンプルテクスチャーモデルの一例を示す図である。ゲートモデルのためのカメラの配置図を示した図面である。カメラの位置による解像度の差を示す図面である。本発明による重複データ除去装置の望ましい一実施例を図示するブロック図である。本発明の望ましい一実施例による重複データ除去方法を説明する図面である。本発明の望ましい一実施例による重複データ除去方法を説明する図面である。本発明の信頼度の意味を説明する図面である。（ａ）および（ｂ）は、重複データが除去される以前のカラーマップおよび深さマップをそれぞれ示した図面であり、（ｃ）および（ｄ）は、重複データが除去された後のカラーマップおよび深さマップをそれぞれ示した図面である。図７（ｂ）および図７（ｄ）の一部分を拡大してそれぞれ示した図面である。本発明の望ましい実施例による拡張深さ映像を利用したレンダリング装置を示したブロック図である。本発明の望ましい実施例による拡張深さ映像を利用したレンダリング方法を説明するフローチャートである。拡張深さ映像を利用してレンダリングされた一例を図示する図面である。本発明の逆伝播規則を説明する図面である。本発明の望ましい実施例による映像基盤編集装置の構成を図示するブロック図である。本発明の望ましい実施例による映像基盤編集方法を説明するフローチャートである。本発明の望ましい実施例による映像基盤編集方法を説明するフローチャートである。本発明の望ましい一実施例によるライトペイント方法を説明するフローチャートである。本発明の望ましい一実施例による削除編集方法を説明するフローチャートである。本発明の望ましい一実施例による複製編集方法を説明するフローチャートである。本発明によるペイント編集方法を適用した一例を示した図面である。本発明によるライトペイント編集方法を適用した一例を示した図面である。（ａ）、（ｂ）、および（ｃ）は、本発明の選択編集方法、削除編集方法、および複製編集方法を適用した例をそれぞれ示した図面である。

Claims

（ａ）３次元モデルの複数の異なる面をそれぞれレンダリングしたシンプルテクスチャー映像に含まれる深さ映像を利用して３次元空間上に投影されたピクセルの法線ベクトルをそれぞれ計算する段階と、
（ｂ）前記法線ベクトルを利用して前記各シンプルテクスチャー映像に含まれるピクセルの信頼度をそれぞれ計算する段階と、
（ｃ）前記各シンプルテクスチャー映像に含まれるピクセルの前記信頼度を、前記３次元モデルの同じ領域を表すピクセル間で比較して、信頼度の低いピクセルを有するシンプルテクスチャー映像から、その信頼度の低いピクセルのデータを除去する段階と、を含み、
前記（ａ）段階は、
前記深さ映像の各ピクセル値に基づいて、３次元空間上に前記各シンプルテクスチャー映像に含まれるピクセルを投影し、投影された各ピクセルと、それに隣接する２つのピクセルとで構成される三角平面の法線ベクトルを計算することにより、各ピクセルの法線ベクトルを計算することを特徴とする重複データ除去方法。
（ａ）３次元モデルの複数の異なる面をそれぞれレンダリングしたシンプルテクスチャー映像に含まれる深さ映像を利用して３次元空間上に投影されたピクセルの法線ベクトルをそれぞれ計算する段階と、
（ｂ）前記法線ベクトルを利用して前記各シンプルテクスチャー映像に含まれるピクセルの信頼度をそれぞれ計算する段階と、
（ｃ）前記各シンプルテクスチャー映像に含まれるピクセルの前記信頼度を、前記３次元モデルの同じ領域を表すピクセル間で比較して、信頼度の低いピクセルを有するシンプルテクスチャー映像から、その信頼度の低いピクセルのデータを除去する段階と、を含み、
前記（ａ）段階は、
前記深さ映像の各ピクセル値に基づいて、３次元空間上に前記各シンプルテクスチャー映像に含まれるピクセルを投影し、投影された各ピクセルに隣接するピクセルを検出する段階と、
前記投影された各ピクセルと、それに隣接する２つのピクセルとで三角平面を構成し、前記各三角平面の法線ベクトルを計算する段階と、
前記各三角平面の法線ベクトルの平均を計算する段階と、を含むことを特徴とする重複データ除去方法。
前記（ｂ）段階は、
前記各ピクセルの法線ベクトルと、前記シンプルテクスチャー映像の生成に利用されたカメラ視界平面に垂直なベクトルとを利用して信頼度を計算することを特徴とする請求項１又は２に記載の重複データ除去方法。
前記（ｂ）段階は、
前記各ピクセルの法線ベクトルと、前記シンプルテクスチャー映像の生成に利用されたカメラ視界平面に垂直なベクトルとの間の内積をとることによって、前記各ピクセルの信頼度を決定することを特徴とする請求項１又は２に記載の重複データ除去方法。
前記（ｂ）段階は、
前記信頼度が計算された各ピクセル間の３次元空間上の近接度を計算し、前記近接度が所定の臨界値以下であるピクセルを前記３次元モデルの同じ領域を表すものと決定する段階をさらに含むことを特徴とする請求項１又は２に記載の重複データ除去方法。
前記（ｃ）段階は、
前記３次元モデルの同じ領域を表すピクセルのうち、前記信頼度が最も高い１つのピクセル値のみを残し、それ以外のピクセルを前記シンプルテクスチャー映像から除去することを特徴とする請求項１又は２に記載の重複データ除去方法。
前記（ｃ）段階は、
前記信頼度の低い深さ映像のピクセルを背景映像のピクセルに設定することを特徴とする請求項１又は２に記載の重複データ除去方法。
請求項１ないし請求項７のうち何れか１項に記載の重複データ除去方法を実行するためのプログラムコードを記録したコンピュータ可読媒体。
３次元モデルの複数の異なる面をそれぞれレンダリングしたシンプルテクスチャー映像に含まれる深さ映像を利用して３次元空間上に投影されたピクセルの法線ベクトルをそれぞれ計算する法線ベクトル計算部と、
前記法線ベクトルを利用して前記各シンプルテクスチャー映像に含まれるピクセルの信頼度をそれぞれ計算する信頼度計算部と、
前記各シンプルテクスチャー映像に含まれるピクセルの前記信頼度を、前記３次元モデルの同じ領域を表すピクセル間で比較して、信頼度の低いピクセルを有するシンプルテクスチャー映像から、その信頼度の低いピクセルのデータを除去する重複データ除去部と、を含み、
前記法線ベクトル計算部は、
前記深さ映像の各ピクセル値に基づいて、３次元空間上に前記各シンプルテクスチャー映像に含まれるピクセルを投影し、投影された各ピクセルと、それに隣接する２つのピクセルで構成される三角平面の法線ベクトルを計算することにより、各ピクセルの法線ベクトルを計算することを特徴とする重複データ除去装置。
３次元モデルの複数の異なる面をそれぞれレンダリングしたシンプルテクスチャー映像に含まれる深さ映像を利用して３次元空間上に投影されたピクセルの法線ベクトルをそれぞれ計算する法線ベクトル計算部と、
前記法線ベクトルを利用して前記各シンプルテクスチャー映像に含まれるピクセルの信頼度をそれぞれ計算する信頼度計算部と、
前記各シンプルテクスチャー映像に含まれるピクセルの前記信頼度を、前記３次元モデルの同じ領域を表すピクセル間で比較して、信頼度の低いピクセルを有するシンプルテクスチャー映像から、その信頼度の低いピクセルのデータを除去する重複データ除去部と、を含み、
前記法線ベクトル計算部は、
前記深さ映像の各ピクセル値に基づいて、３次元空間上に前記各シンプルテクスチャー映像に含まれるピクセルを投影し、投影された各ピクセルに隣接するピクセルを検出し、前記投影された各ピクセルと、それに隣接する２つのピクセルから三角平面を構成し、前記各三角平面等の法線ベクトルを計算し、前記各三角平面の法線ベクトルの平均を計算して、前記各ピクセルの法線ベクトルを計算することを特徴とする重複データ除去装置。
前記信頼度計算部は、
前記各ピクセルの法線ベクトルと、前記シンプルテクスチャー映像の生成に利用されたカメラ視界平面に垂直なベクトルとを利用して、信頼度を計算することを特徴とする請求項９又は１０に記載の重複データ除去装置。
前記信頼度計算部は、
前記各ピクセルの法線ベクトルと、前記シンプルテクスチャー映像の生成に利用されたカメラ視界平面に垂直なベクトルとの間の内積をとることによって、前記各ピクセルの信頼度を決定することを特徴とする請求項９又は１０に記載の重複データ除去装置。
前記信頼度が計算された各ピクセル間の３次元空間上の近接度を計算し、前記近接度が所定の臨界値以下であるピクセルを前記３次元モデルの同じ領域を表すものと決定して、その同じ領域を表すピクセルを前記重複データ除去部に出力する近接度計算部をさらに含むことを特徴とする請求項９又は１０に記載の重複データ除去装置。
前記重複データ除去部は、
前記３次元モデルの同じ領域を表すピクセルのうち、前記信頼度が最も高い１つのピクセル値のみを残し、それ以外のピクセルを前記シンプルテクスチャー映像から除去することを特徴とする請求項９又は１０に記載の重複データ除去装置。
前記重複データ除去部は、
前記信頼度の低い深さ映像のピクセルを背景映像のピクセルに設定することを特徴とする請求項９又は１０に記載の重複データ除去装置。
（ａ）３次元モデルの複数の異なる面をそれぞれレンダリングしたシンプルテクスチャー映像および前記モデルの属性を表す属性情報を利用して、前記３次元モデルの視点により異なるカラーと深さと、前記３次元モデルの属性に関する情報とを、２次元映像の形態で表現する拡張深さ映像を生成する段階と、
（ｂ）前記３次元モデルの属性に基づき、前記拡張深さ映像の各ピクセルに対して所定の反射モデル係数を設定する段階と、
（ｃ）前記拡張深さ映像に含まれる深さ映像を利用して各ピクセルの法線ベクトルを計算する段階と、
（ｄ）前記反射モデル係数および前記法線ベクトルを利用して、前記３次元モデルの属性により変化する前記モデルのカラーを決定し、このカラーを利用して３次元モデルをレンダリングする段階と、を含み、
前記（ｃ）段階は、
前記深さ映像の各ピクセル値に基づいて、３次元空間上に前記各シンプルテクスチャー映像に含まれるピクセルを投影し、投影された各ピクセルと、それに隣接する２つのピクセルとで構成される三角平面の法線ベクトルを計算することにより、各ピクセルの法線ベクトルを計算することを特徴とするレンダリング方法。
（ａ）３次元モデルの複数の異なる面をそれぞれレンダリングしたシンプルテクスチャー映像および前記モデルの属性を表す属性情報を利用して、前記３次元モデルの視点により異なるカラーと深さと、前記３次元モデルの属性に関する情報とを、２次元映像の形態で表現する拡張深さ映像を生成する段階と、
（ｂ）前記３次元モデルの属性に基づき、前記拡張深さ映像の各ピクセルに対して所定の反射モデル係数を設定する段階と、
（ｃ）前記拡張深さ映像に含まれる深さ映像を利用して各ピクセルの法線ベクトルを計算する段階と、
（ｄ）前記反射モデル係数および前記法線ベクトルを利用して、前記３次元モデルの属性により変化する前記モデルのカラーを決定し、このカラーを利用して３次元モデルをレンダリングする段階と、を含み、
前記（ｃ）段階は、
前記深さ映像の各ピクセル値に基づいて、３次元空間上に前記各シンプルテクスチャー映像に含まれるピクセルを投影し、投影された各ピクセルに隣接するピクセルを検出する段階と、
前記投影された各ピクセルと、それに隣接する２つのピクセルとで三角平面を構成し、前記各三角平面の法線ベクトルを計算する段階と、
前記各三角平面の法線ベクトルの平均を計算する段階と、を含むことを特徴とするレンダリング方法。
前記属性情報は、
視点により異なる３次元モデルの反射程度を表す鏡面反射成分と、３次元モデル表面のテクスチャーにより異なる３次元モデルの光沢の程度を表す光沢成分を含むことを特徴とする請求項１６又は１７に記載のレンダリング方法。
前記反射モデルはフォン反射モデルであることを特徴とする請求項１６又は１７に記載のレンダリング方法。
請求項１６ないし請求項１９のうち何れか１項に記載のレンダリング方法を実行するためのプログラムコードを記録したコンピュータ可読媒体。
３次元モデルの複数の異なる面をそれぞれレンダリングしたシンプルテクスチャー映像および前記モデルの属性を表す属性情報を利用して、前記３次元モデルの視点により異なるカラーと深さと、前記３次元モデルの属性に関する情報とを、２次元映像の形態で表現する拡張深さ映像を生成する拡張深さ映像構成部と、
前記３次元モデルの属性に基づき、前記拡張深さ映像の各ピクセルに対して所定の反射モデル係数を設定する反射モデル係数設定部と、
前記拡張深さ映像に含まれる深さ映像を利用して各ピクセルの法線ベクトルを計算する法線ベクトル決定部と、
前記反射モデル係数および前記法線ベクトルを利用して、前記３次元モデルの属性により変化する前記モデルのカラーを決定し、このカラーを利用して３次元モデルをレンダリングするレンダリング部と、を含み、
前記法線ベクトル計算部は、
前記深さ映像の各ピクセル値に基づいて、３次元空間上に前記各シンプルテクスチャー映像に含まれるピクセルを投影し、投影された各ピクセルと、それに隣接する２つのピクセルとで構成される三角平面の法線ベクトルを計算することにより、各ピクセルの法線ベクトルを計算することを特徴とするレンダリング装置。
３次元モデルの複数の異なる面をそれぞれレンダリングしたシンプルテクスチャー映像および前記モデルの属性を表す属性情報を利用して、前記３次元モデルの視点により異なるカラーと深さと、前記３次元モデルの属性に関する情報とを、２次元映像の形態で表現する拡張深さ映像を生成する拡張深さ映像構成部と、
前記３次元モデルの属性に基づき、前記拡張深さ映像の各ピクセルに対して所定の反射モデル係数を設定する反射モデル係数設定部と、
前記拡張深さ映像に含まれる深さ映像を利用して各ピクセルの法線ベクトルを計算する法線ベクトル決定部と、
前記反射モデル係数および前記法線ベクトルを利用して、前記３次元モデルの属性により変化する前記モデルのカラーを決定し、このカラーを利用して３次元モデルをレンダリングするレンダリング部と、を含み、
前記法線ベクトル計算部は、
前記深さ映像の各ピクセル値に基づいて、３次元空間上に前記各シンプルテクスチャー映像に含まれるピクセルを投影し、投影された各ピクセルに隣接するピクセルを検出し、前記投影された各ピクセルと、それに隣接する２つのピクセルから三角平面を構成し、前記各三角平面の法線ベクトルを計算し、前記各三角平面の法線ベクトルの平均を計算することを特徴とするレンダリング装置。
前記属性情報は、
視点により異なる３次元モデルの反射程度を表す鏡面反射成分と、３次元モデル表面のテクスチャーにより異なる３次元モデルの光沢の程度を表す光沢成分とを含むことを特徴とする請求項２１又は２２に記載のレンダリング装置。
前記反射モデルはフォン反射モデルであることを特徴とする請求項２１又は２２に記載のレンダリング装置。
（ａ）３次元モデルの複数の異なる面をそれぞれレンダリングした、カラー映像および深さ映像をそれぞれ含む、複数のシンプルテクスチャー映像を利用して、前記３次元モデルをレンダリングした映像をキャプチャーする段階と、
（ｂ）前記キャプチャーされた映像のピクセルを所定の編集方法で編集し、編集された内容を編集映像として保存する段階と、
（ｃ）前記編集映像を利用して前記複数のシンプルテクスチャー映像のカラー映像および深さ映像で構成される基準映像を更新する段階と、を含み、
前記（ｂ）段階は、
前記基準映像のうち１つを選択し、選択された基準映像中の除去する部分を選択する段階と、
前記基準映像中の選択された部分のピクセル値を所定の値に設定し、前記選択された部分を前記基準映像から除去する段階と、
前記選択された部分が除去された基準映像を編集映像として保存する段階と、を含むことを特徴とする映像基盤編集方法。
（ａ）３次元モデルの複数の異なる面をそれぞれレンダリングした、カラー映像および深さ映像をそれぞれ含む、複数のシンプルテクスチャー映像を利用して、前記３次元モデルをレンダリングした映像をキャプチャーする段階と、
（ｂ）前記キャプチャーされた映像のピクセルを所定の編集方法で編集し、編集された内容を編集映像として保存する段階と、
（ｃ）前記編集映像を利用して前記複数のシンプルテクスチャー映像のカラー映像および深さ映像で構成される基準映像を更新する段階と、を含み、
前記（ｂ）段階は、
（ｂ１）前記キャプチャーされた映像でレンダリングされた３次元モデルの一部分を選択し、前記部分における法線ベクトルを計算する段階と、
（ｂ２）前記法線ベクトルの方向の無限地点に、ユーザによって属性設定された光源を設定する段階と、
（ｂ３）前記３次元モデルの各ピクセルの法線ベクトルを計算する段階と、
（ｂ４）前記光源の属性および前記法線ベクトルに基づき、前記光源により異なる前記３次元モデルのカラーを計算する段階と、
（ｂ５）前記計算されたカラーを利用して前記編集映像を生成する段階と、を含むことを特徴とする映像基盤編集方法。
前記（ｃ）段階は、
（ｃ１）前記編集映像を利用して修正する基準映像と、当該基準映像中の修正する部分とを選択する段階と、
（ｃ２）前記編集映像のピクセルと対応する基準映像のピクセルを選択し、前記選択されたピクセルを前記編集映像のピクセルによって修正する段階と、
（ｃ３）前記修正された内容を含む基準映像を保存する段階と、を含むことを特徴とする請求項２５又は２６に記載の映像基盤編集方法。
前記（ｃ）段階は、
前記修正された基準映像に基づき、前記修正された基準映像の修正されたピクセルと同じ部分をレンダリングするあらゆる基準映像のピクセルに対して、行われることを特徴とする請求項２７に記載の映像基盤編集方法。
前記（ｂ４）段階は、
フォン反射係数モデルを利用して前記照明により異なる前記３次元モデルのカラーを計算することを特徴とする請求項２６に記載の映像基盤編集方法。
請求項２５ないし請求項２９のうち何れか１項に記載の映像基盤編集方法を実行するためのプログラムコードを記録したコンピュータ可読媒体。
３次元モデルの複数の異なる面をそれぞれレンダリングした、カラー映像および深さ映像をそれぞれ含む、複数のシンプルテクスチャー映像を利用して、前記３次元モデルをレンダリングした映像をキャプチャーする映像キャプチャリング部と、
前記キャプチャーされた映像のピクセルを所定の編集方法で編集し、編集された内容を編集映像として保存する映像編集部と、
前記編集映像を利用して、前記複数のシンプルテクスチャー映像のカラー映像および深さ映像で構成される基準映像を更新する逆投影部と、を含み、
前記映像編集部は、
前記キャプチャーされた映像でレンダリングされた３次元モデルの一部分を選択し、前記部分における法線ベクトルを計算し、前記法線ベクトルの方向の無限地点に、ユーザによって属性設定された光源を設定する光源設定部と、
前記３次元モデルの各ピクセルの法線ベクトルを計算するベクトル計算部と、
前記光源の属性および前記法線ベクトルに基づき、前記光源により異なる前記３次元モデルのカラーを計算し、前記計算されたカラーを利用して前記編集映像を生成する編集映像生成部と、を含むことを特徴とする映像基盤編集装置。
３次元モデルの複数の異なる面をそれぞれレンダリングした、カラー映像および深さ映像をそれぞれ含む、複数のシンプルテクスチャー映像を利用して、前記３次元モデルをレンダリングした映像をキャプチャーする映像キャプチャリング部と、
前記キャプチャーされた映像のピクセルを所定の編集方法で編集し、編集された内容を編集映像として保存する映像編集部と、
前記編集映像を利用して、前記複数のシンプルテクスチャー映像のカラー映像および深さ映像で構成される基準映像を更新する逆投影部と、を含み、
前記映像編集部は、
前記基準映像のうち１つを選択し、選択された基準映像中の除去する部分を選択し、前記基準映像中の選択された部分のピクセル値を所定の値に設定して、前記選択された部分を前記基準映像から除去した後、前記選択された部分が除去された基準映像を編集映像として保存することを特徴とする映像基盤編集装置。
前記逆投影部は、
前記編集映像を利用して、修正する基準映像と、前記基準映像中の修正する部分とを選択し、前記編集映像のピクセルと対応する基準映像のピクセルを選択し、前記選択されたピクセルを前記編集映像のピクセルによって修正した後、前記修正された内容を含む基準映像を保存することを特徴とする請求項３１又は３２に記載の映像基盤編集装置。
前記逆投影部は、
前記修正された基準映像の修正されたピクセルと同じ部分をレンダリングするあらゆる基準映像のピクセルを、前記編集映像によって更新することを特徴とする請求項３３に記載の映像基盤編集装置。
前記編集映像生成部は、
フォン反射係数モデルを利用して前記照明により異なる前記３次元モデルのカラーを計算することを特徴とする請求項３１に記載の映像基盤編集装置。