JP4169909B2

JP4169909B2 - Three-dimensional object modeling apparatus and method

Info

Publication number: JP4169909B2
Application number: JP2000195829A
Authority: JP
Inventors: 浩幸今泉; 眞蓼沼; 美和片山; 保明金次
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2000-06-29
Filing date: 2000-06-29
Publication date: 2008-10-22
Anticipated expiration: 2020-06-29
Also published as: JP2002015305A

Description

【０００１】
【発明の属する技術分野】
本発明は、レンジファインダー装置などによって計測される３次元物体の画像情報（色情報）及び距離情報を、３次元コンピュータグラフィックスなどの分野で用いられる三角パッチによって表現される形状情報及び画像情報に変換する３次元物体モデリング装置及びその方法に関するものである。
【０００２】
【従来の技術】
従来、互いに相違する複数のカメラ位置で観測される３次元物体の画像情報及び距離情報を取得する装置が、例えば特願２０００−７７９１号に記載されている。一方、３次元コンピュータグラフィックスの分野では、例えば１９９９年に東京電機大学出版局から刊行された村上伸一による「コンピュータグラフィックスの基礎理論」に記載されているように、３次元物体の形状を、その物体を構成する表面の形状によって表現する方法が用いられており、この表面形状を三角形を単位とした小平面の集合で定義する三角形パッチモデルが通常的に使用されている。
【０００３】
【発明が解決しようとする課題】
互いに相違する複数の視点位置で観測される３次元物体までの距離情報は、３次元空間に分布した複数の点の集合である。その結果、点の個数が多くなるに従って、全ての点間の距離や位置関係を考慮しながら、被写体となっている３次元物体の表面形状を三角パッチに分割して表面形状を表現する場合、分割手法が非常に複雑になるという不都合がある。
【０００４】
本発明の目的は、互いに相違する複数の視点位置で観測される３次元物体の画像情報及び距離情報から３次元物体の表面形状を容易に表現することができる３次元物体モデリング装置及びその方法を提供することである。
【０００５】
【課題を解決するための手段】
本発明による３次元物体モデリング装置は、
互いに相違する複数のカメラ位置を視点として観測される３次元物体の色に関する情報を含む画像情報及び視点からの距離情報から、各視点を原点とした透視変換によって得られる２次元平面を格子状に標本化し、格子点で表される２次元平面の画像情報に変換するとともに、各格子点における距離情報から世界座標系で表される３次元物体の位置情報に変換する手段と、
前記３次元物体の各格子点のうち、隣接する３点を頂点とする三角形を１つの小平面とした三角パッチで定義づけて、前記３次元物体の表面形状の三角パッチの頂点の情報を取得する複数の頂点情報取得手段と、
取得した複数の視点からの前記世界座標系で表される３次元物体の各頂点の位置座標を量子化する量子化手段と、
量子化後の代表値が一致する場合に、当該一致する頂点を１つの頂点とするとともに、当該重複する頂点の各画像情報を平均化して、統合した画像情報を有する頂点からなる三角パッチで統合する頂点統合手段とを具えることを特徴とするものである。
【０００６】
本発明による３次元物体モデリング装置によれば、複数の頂点情報取得手段によって取得された三角形パッチの頂点のうち、同一位置における頂点の情報を平均化し及び平均化した情報を有する頂点に統合するので、処理すべき頂点の個数が減少し、その結果、互いに相違する複数の視点位置で観測される３次元物体及び距離情報から３次元物体の表面形状を容易に表現することができる。
【０００７】
前記頂点の情報が、透明度に関する情報を有することもできる。この場合、透明度の情報と３次元物体のカラー信号成分（ＲＢＧ信号値、輝度・色差信号値等）の各成分について、ある１個の頂点に統合される全ての点のカラー信号値の平均値を、その頂点に対応するカラー信号として、３次元物体の表面の色情報を表現する。
【０００８】
好適には、前記頂点情報取得手段が、
前記２次元平面上に投影された表面形状を、前記三角パッチに分割する分割手段を有する。
【０００９】
この場合、２次元平面上で互いに近接する点は、それらの点に投影されている３次元物体表面上の点の３次元空間においても互いに近接するものと近似すると、３次元的に分布する物体上の所定の点に隣接する別の点として、投影した２次元平面上の隣接する格子点を利用することができる。
【００１０】
格子状に整列した点の集合を、容易に三角パッチに分割することができる。各々の視点で観測された距離情報を三角パッチに分割して表現した後、複数の視点位置で観測した距離情報から各々分割した三角パッチを重ね合わせる。
【００１１】
好適には、前記頂点情報取得手段が、前記２次元平面上に投影された表面形状のうちの対象とする領域のみを抽出する領域抽出手段を更に有する。これによって、モデリングを所望する領域を有効に抽出することができる。
【００１３】
本発明の別の態様によれば、
互いに相違する複数のカメラ位置を視点として観測される３次元物体の色に関する情報を含む画像情報及び視点からの距離情報から、各視点を原点とした透視変換によって得られる２次元平面を格子状に標本化し、格子点で表される２次元平面の画像情報に変換するとともに、各格子点における距離情報から世界座標系で表される３次元物体の位置情報に変換するステップと、
前記３次元物体の各格子点のうち、隣接する３点を頂点とする三角形を１つの小平面とした三角パッチで定義づけて、前記３次元物体の表面形状の三角パッチの頂点の情報をそれぞれ取得するステップと、
取得した複数の視点からの前記世界座標系で表される３次元物体の各頂点の位置座標を量子化するステップと、
量子化後の代表値が一致する場合に、当該一致する頂点を１つの頂点とするとともに、当該重複する頂点の各画像情報を平均化して、統合した画像情報を有する頂点からなる三角パッチで統合する頂点統合ステップとを含む３次元物体モデリング方法として特徴づけることもできる。
【００１４】
本発明による３次元モデリング方法によれば、互いに相違する複数の視点位置で観測される３次元物体及び距離情報から３次元物体の表面形状を容易に表現することができる。
【００１５】
前記頂点の情報が、透明度に関する情報を有することもできる。この場合、透明度の情報と３次元物体のカラー信号成分（ＲＢＧ信号値、輝度・色差信号値等）の各成分について、ある１個の頂点に統合される全ての点のカラー信号値の平均値を、その頂点に対応するカラー信号として、３次元物体の表面の色情報を表現する。
【００１６】
好適には、前記頂点情報取得ステップが、前記２次元平面上に投影された表面形状を、前記三角パッチに分割する分割ステップを有する。
【００１７】
好適には、前記頂点情報取得ステップが、前記２次元平面上に投影された表面形状のうちの対象とする領域のみを抽出する領域抽出ステップを更に有する。
【００１９】
【発明の実施の形態】
本発明による３次元モデリング装置の実施の形態を、図面を参照して詳細に説明する。
図１は、本発明による３次元モデリング装置を示す図である。この３次元モデリング装置は、ｎ個の頂点情報取得部１−１，１−２，１−３，．．．，１−ｎと、頂点統合部２とを有する。
【００２０】
頂点情報取得部１−１，１−２，１−３，．．．，１−ｎは、互いに相違する複数のカメラ位置で観測される３次元物体の画像情報としてのＲＧＢ値についての情報を有する信号ｃ１，ｃ２，ｃ３，．．．，ｃｎ及び距離情報としての３次元座標の情報を有する信号ｄ１，ｄ２，ｄ３，．．．，ｄｎがそれぞれ入力される。なお、頂点情報取得部１−１，１−２，１−３，．．．，１−ｎは、同一構成を有し、その詳細については後に説明する。
【００２１】
頂点統合部２は、頂点情報取得部１−１，１−２，１−３，．．．，１−ｎからの量子化後の座標についての情報を有する信号Ｑ１，Ｑ２，Ｑ３，．．．Ｑｎ、三角パッチの頂点情報を有する信号Ｐ１，Ｐ２，Ｐ３，．．．，Ｐｎ並びにＲＧＢ値についての情報及び切り出し情報（例えば、透明度）についての情報を有する信号Ｃ１，Ｃ２，Ｃ３，．．．，Ｃｎとが入力される。これらの信号についても後に説明する。
【００２２】
入力された信号Ｐ１，Ｐ２，Ｐ３，．．．，Ｐｎが有する情報のうち、同一位置を示す情報は、共通のインデックス番号で表される。また、信号Ｃ１，Ｃ２，Ｃ３，．．．，Ｃｎが有するこれらに対応する画像についての情報、すなわち、ＲＧＢ値についての情報及び切り出し情報は、それぞれ平均化される。さらに、重複する三角パッチは削除される。
【００２３】
頂点統合部２は、統合後の三角パッチの頂点情報を有する、すなわち、統合後の全ての三角パッチをそれぞれ３頂点インデックスの組で表した信号Ｐを出力する。
【００２４】
また、頂点統合部２は、統合後の頂点に割当てたインデックス番号及びその頂点の世界座標における３次元位置（Ｘｗ，Ｙｗ，Ｚｗ）並びに画像情報すなわちＲＧＢ値についての情報及び切り出し情報を有する信号Ｃを出力する。なお、信号Ｃは、必ずしも透明度についての情報を有する必要がないが、被写体上の点が半透明であり、透明度を示す場合には必要となる。
【００２５】
本実施の形態によれば、同一位置における頂点の情報を平均化し及び平均化した情報を有する頂点に統合するので、処理すべき頂点の個数が減少し、その結果、互いに相違する複数の視点位置で観測される３次元物体及び距離情報から３次元物体の表面形状を容易に表現することができる。
【００２６】
図２は、図１の頂点情報取得部を詳細に示す図である。ここでは、頂点情報取得部１−１について説明する。頂点情報取得部１−１は、透視変換部１１と、領域抽出部１２と、三角パッチ分割部１３と、座標変換部１４と、量子化部１５とを有する。
【００２７】
透視変換部１１は、信号ｃ１，ｄ１が入力され、モデリング対象である３次元物体の画像情報と、被写体までの距離情報について、視点を原点とする透視変換を行い、投影された２次元平面上で格子状に標本化したＲＢＧ値についての情報を有する信号ｃ及びそれに対応する距離情報を有する信号ｅを領域抽出部１２に出力する。なお、本実施の形態では、距離情報として、視点から投影平面に下ろした垂線をｚ軸とした場合、被写体上の点の位置のｚ座標Ｚｃを使用する。
【００２８】
また、透視変換部１１は、視点における透視変換のための座標系（以下、カメラ座標と称する。）を世界座標系に変換するために必要となる座標変換行列Ｍの要素についての情報を有する信号ｆを座標変換部１４に供給する。Ｍは、視点位置と投影する平面の向きによって決定される３×４行列であり、カメラ座標系での被写体上の点の３次元座標位置（Ｘｃ，Ｙｃ，Ｚｃ）と、世界座標系での被写体上の点の３次元座標位置（Ｘｗ，Ｙｗ，Ｚｗ）とを、以下の式（１）によって関係付ける。
【００２９】
【数１】

【００３０】
領域抽出部１２は、画像中からモデリングの対象とする被写体のみを抽出する。なお、抽出を行わずに画像全体をモデリングの対象とすることもできる。抽出方法として、撮影時に背景を特定の色（例えば青色）とし、背景に用いた色領域を、しきい値処理によって信号ｃが有するＲＧＢ値についての情報から抽出し、それ以外の領域を、モデリング領域として切り出す方法（クロマキー処理）、予め設定された距離範囲に存在する被写体を、信号ｅが有する距離情報からモデリング領域として切り出す方法、信号ｃ，ｅを予め記録し、手動によって切り出し領域を自由に設定する方法等がある。
【００３１】
領域抽出部１２は、信号ｅと、後に説明する切り出し情報αを有する信号ｇとを三角パッチ分割部１３に出力する。このような切り出し情報αによって、切り出し情報αがしきい値αｘよりも大きい場合には、それがモデリング情報であると定義される。
【００３２】
なお、被写体が半透明な物体である場合、切り出し情報を透明度の定義として利用することもできる。この場合、αの値が小さくなるに従って透明度を高くし、αｘを完全に透明な物体のしきい値と定義すると、透明な物体以外をモデリング対象とすることとなり、切り出し情報αがしきい値αｘよりも大きい場合をモデリング領域と定義したことになる。
また、領域抽出部１２は三角パッチの頂点情報を有する信号Ｐ１を頂点統合部２に出力する。
【００３３】
次に、三角パッチ分割部１３の動作を、図３を参照して説明する。この場合、投影面に格子状に並んだ画素から水平及び垂直の画素間隔が１である４点からなる正方形を考える。なお、図３において、●は、モデリング領域内画素を表し、○は、モデリング領域外画素を表す。
【００３４】
図３Ａ−Ｄの場合のように、モデリング領域内画素の個数が２個以下の場合、三角パッチ（小平面）を定義しない。図３Ｅに示すように、モデリング領域内画素の個数が３個の場合、その３点を頂点とする三角形を一つの小平面と定義する。
【００３５】
図３Ｆに示すように、モデリング領域内画素の個数が４個である場合、正方形を、一方の対角線によって２個の三角形に分割し、２個の小平面を定義する。対角線の選択方法として、右上から左下（又は左上から右下）のように固定する方法、ランダムに選択する方法、２本の対角線の３次元座標での距離を比較し、短い方を選択する方法等がある。
【００３６】
三角パッチ分割部１３は、信号ｅを座標変換部１４に出力するとともに、信号Ｐ１を頂点統合部２に出力する。信号Ｐ１は、各々の小平面をなす三角パッチの頂点を規定するものであり、例えば、画素位置を示す２次元座標値３対からなるインデックスを、全ての三角パッチについて列挙すればよい。なお、撮像面上での三角パッチ分割の例を図３Ｇに示す。
【００３７】
座標変換部１４は、カメラ座標での被写体のｚ座標Ｚｃと、カメラの焦点距離Ｆｃを用いて、
【００３８】
【数２】

【００３９】
によって画素位置（Ｘｉ，Ｙｉ）をカメラ座標（Ｘｃ，Ｙｃ）に変換し、その後、カメラ座標で示された３次元位置情報（Ｘｃ，Ｙｃ，Ｚｃ）を、式（１）によって世界座標（Ｘｗ，Ｙｗ，Ｚｗ）に変換する。このような世界座標（Ｘｗ，Ｙｗ，Ｚｗ）の情報を有する信号ｈは、量子化部１５に供給される。
【００４０】
量子化部１５の動作を、図４を参照して説明する。なお、図４において、−５Δｘ，−３Δｘ，−Δｘ，Δｘ，３Δｘ，５Δｘはそれぞれ、量子化しきい値を表し、−６Δｘ，−４Δｘ，−２Δｘ，０，２Δｘ，４Δｘ，６Δｘはそれぞれ、量子化代表値を表す。
【００４１】
例えば、３Δｘ≦Ｘｗ≦５Δｘの場合、Ｘｗは代表値４Δｘに丸められる。なお、Ｙｗ，Ｚｗについても同様にして丸められる。量子化部１５は、量子化後の被写体上の点の座標位置（ｘｗ，ｙｗ，ｚｗ）についての情報を有する信号Ｑ１を頂点統合部２に出力する。
【００４２】
本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。
例えば、頂点情報取得部１−１，１−２，１−３，．．．，１−ｎは、従来既知の他の任意の構成を有することができる。また、画像情報として、輝度・色差情報のような他のカラー画像情報を用いることができる。
【図面の簡単な説明】
【図１】本発明による３次元モデリング装置の実施の形態を示す図である。
【図２】図１の頂点情報取得部を詳細に示す図である。
【図３】図２の三角パッチ分割部の動作を説明するための図である。
【図４】図２の座標位置量子化部の動作を説明するための図である。
【符号の説明】
１，１−１，１−２，１−３，．．．，１−ｎ頂点情報取得部
２頂点統合部
１１透視変換部
１２領域切り出し部
１３三角パッチ分割部
１４座標変換部
１５量子化部
ｃ，ｃ１，ｃ２，ｃ３，．．．，ｃｎ，Ｃ，Ｃ１，Ｃ２，Ｃ３，．．．，Ｃｎ，ｄ１，ｄ２，ｄ３，．．．，ｄｎ，ｅ，ｆ，ｇ，ｈ，Ｐ，Ｐ１，Ｐ２，Ｐ３，．．．，Ｐｎ，Ｑ１，Ｑ２，Ｑ３，．．．，Ｑｎ信号[0001]
BACKGROUND OF THE INVENTION
The present invention converts image information (color information) and distance information of a three-dimensional object measured by a range finder device into shape information and image information expressed by triangular patches used in the field of three-dimensional computer graphics. The present invention relates to a three-dimensional object modeling apparatus and method for conversion.
[0002]
[Prior art]
Conventionally, an apparatus for acquiring image information and distance information of a three-dimensional object observed at a plurality of different camera positions is described in, for example, Japanese Patent Application No. 2000-7791. On the other hand, in the field of 3D computer graphics, for example, as described in “Basic Theory of Computer Graphics” by Shinichi Murakami published by Tokyo Denki University Press in 1999, A method of representing the shape of the surface constituting the object is used, and a triangular patch model in which the surface shape is defined by a set of small planes with a triangle as a unit is usually used.
[0003]
[Problems to be solved by the invention]
The distance information to a three-dimensional object observed at a plurality of different viewpoint positions is a set of a plurality of points distributed in a three-dimensional space. As a result, as the number of points increases, the surface shape of the three-dimensional object that is the subject is expressed by dividing the surface shape into triangular patches while considering the distance and positional relationship between all points. There is an inconvenience that the dividing method becomes very complicated.
[0004]
An object of the present invention is to provide a three-dimensional object modeling apparatus and method capable of easily expressing the surface shape of a three-dimensional object from image information and distance information of the three-dimensional object observed at a plurality of different viewpoint positions. Is to provide.
[0005]
[Means for Solving the Problems]
The three-dimensional object modeling apparatus according to the present invention is:
A two-dimensional plane obtained by perspective transformation with each viewpoint as the origin from the image information including the information on the color of the three-dimensional object observed with a plurality of different camera positions as the viewpoint and the distance information from the viewpoint in a grid pattern Means for sampling and converting to image information of a two-dimensional plane represented by lattice points, and converting from distance information at each lattice point to position information of a three-dimensional object represented by a world coordinate system;
Of the lattice points of the three-dimensional object, define a triangle patch with a triangle having three adjacent points as vertices as one small plane, and obtain information on the vertex of the triangular patch of the surface shape of the three-dimensional object A plurality of vertex information acquisition means to perform,
Quantizing means for quantizing the position coordinates of each vertex of the three-dimensional object represented in the world coordinate system from a plurality of obtained viewpoints;
When the representative values after quantization match, the matching vertices are made one vertex, and the image information of the overlapping vertices is averaged and integrated with a triangular patch composed of vertices having integrated image information It is characterized by comprising vertex integrating means.
[0006]
According to the three-dimensional object modeling apparatus according to the present invention, information on the vertices at the same position among the vertices of the triangle patch acquired by the plurality of vertex information acquisition means is averaged and integrated into the vertices having the averaged information. The number of vertices to be processed decreases, and as a result, the surface shape of the three-dimensional object can be easily expressed from the three-dimensional object and distance information observed at a plurality of different viewpoint positions.
[0007]
The vertex information may include information on transparency . In this case, for each component of the transparency information and the color signal component (RBG signal value, luminance / color difference signal value, etc.) of the three-dimensional object, the average value of the color signal values of all the points integrated into a certain vertex. Is expressed as a color signal corresponding to the vertex of the color information of the surface of the three-dimensional object.
[0008]
Preferably, the vertex information acquisition means is
The projected surface shape on the two-dimensional plane, has a dividing means for dividing the triangular patch.
[0009]
In this case, if the points that are close to each other on the two-dimensional plane are approximate to those that are close to each other in the three-dimensional space of the points on the surface of the three-dimensional object projected onto those points, the objects that are distributed three-dimensionally As another point adjacent to the predetermined point above, an adjacent lattice point on the projected two-dimensional plane can be used.
[0010]
A set of points arranged in a grid pattern can be easily divided into triangular patches. After the distance information observed at each viewpoint is divided into triangular patches and expressed, the triangular patches divided from the distance information observed at a plurality of viewpoint positions are superimposed.
[0011]
Preferably, the vertex information acquisition unit further includes a region extraction unit that extracts only a target region of the surface shape projected on the two-dimensional plane. Thus, it is possible to effectively extract a region where modeling is desired.
[0013]
By the another aspect of the present invention lever,
A two-dimensional plane obtained by perspective transformation with each viewpoint as the origin from the image information including the information on the color of the three-dimensional object observed with a plurality of different camera positions as the viewpoint and the distance information from the viewpoint in a grid pattern Sampling and converting to image information of a two-dimensional plane represented by lattice points, and converting from distance information at each lattice point to position information of a three-dimensional object represented by a world coordinate system;
Of the three-dimensional object lattice points, a triangle having apexes at three adjacent points is defined as a triangular patch, and information on the vertexes of the triangular patch on the surface shape of the three-dimensional object is provided. A step to obtain,
Quantizing the position coordinates of each vertex of a three-dimensional object represented in the world coordinate system from a plurality of acquired viewpoints;
When the representative values after quantization match, the matching vertices are made one vertex, and the image information of the overlapping vertices is averaged and integrated with a triangular patch composed of vertices having integrated image information It can also be characterized as a three-dimensional object modeling method including a vertex integration step.
[0014]
According to the three-dimensional modeling method of the present invention, the surface shape of a three-dimensional object can be easily expressed from the three-dimensional object observed at a plurality of different viewpoint positions and distance information.
[0015]
The vertex information may include information on transparency . In this case, for each component of the transparency information and the color signal component (RBG signal value, luminance / color difference signal value, etc.) of the three-dimensional object, the average value of the color signal values of all the points integrated into a certain vertex. Is expressed as a color signal corresponding to the vertex of the color information of the surface of the three-dimensional object.
[0016]
Preferably, the vertex information acquisition step has a dividing step of dividing the surface shape projected on the two-dimensional plane, the triangular patches.
[0017]
Preferably, the vertex information acquisition step further includes a region extraction step of extracting only a target region of the surface shape projected on the two-dimensional plane.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
An embodiment of a three-dimensional modeling apparatus according to the present invention will be described in detail with reference to the drawings.
FIG. 1 shows a three-dimensional modeling apparatus according to the present invention. This three-dimensional modeling apparatus includes n vertex information acquisition units 1-1, 1-2, 1-3,. . . , 1-n and the vertex integration unit 2.
[0020]
Vertex information acquisition units 1-1, 1-2, 1-3,. . . , 1-n are signals c1, c2, c3,... Having information about RGB values as image information of a three-dimensional object observed at a plurality of different camera positions. . . , Cn and signals d1, d2, d3,. . . , Dn are respectively input. The vertex information acquisition units 1-1, 1-2, 1-3,. . . , 1-n have the same configuration, details of which will be described later.
[0021]
The vertex integration unit 2 includes vertex information acquisition units 1-1, 1-2, 1-3,. . . , 1-n signals Q1, Q2, Q3,. . . Qn, signals P1, P2, P3,. . . , Pn, and RGB values, and signals C1, C2, C3,. . . , Cn. These signals will also be described later.
[0022]
Input signals P1, P2, P3,. . . , Pn, information indicating the same position is represented by a common index number. Also, the signals C1, C2, C3,. . . , Cn, information about images corresponding to these, that is, information about RGB values and cut-out information are averaged. Furthermore, the overlapping triangular patch is deleted.
[0023]
The vertex integration unit 2 has vertex information of the triangular patches after integration, that is, outputs a signal P in which all the triangular patches after integration are each represented by a set of three vertex indices.
[0024]
The vertex integration unit 2 also has a signal C having an index number assigned to the vertex after integration, a three-dimensional position (Xw, Yw, Zw) of the vertex in the world coordinates, and image information, that is, information about RGB values and cutout information. Is output. Note that the signal C does not necessarily have information on transparency, but is necessary when the point on the subject is translucent and indicates transparency.
[0025]
According to the present embodiment, the information on the vertices at the same position is averaged and integrated into the vertices having the averaged information, so that the number of vertices to be processed is reduced, and as a result, a plurality of viewpoint positions that are different from each other. The surface shape of the three-dimensional object can be easily expressed from the three-dimensional object and the distance information observed in FIG.
[0026]
FIG. 2 is a diagram showing in detail the vertex information acquisition unit of FIG. Here, the vertex information acquisition unit 1-1 will be described. The vertex information acquisition unit 1-1 includes a perspective conversion unit 11, a region extraction unit 12, a triangular patch division unit 13, a coordinate conversion unit 14, and a quantization unit 15.
[0027]
The perspective transformation unit 11 receives the signals c1 and d1 and performs perspective transformation with respect to the image information of the three-dimensional object to be modeled and the distance information to the subject with the viewpoint as the origin, and on the projected two-dimensional plane. The signal c having information about the RBG value sampled in a grid pattern and the signal e having distance information corresponding to the signal c are output to the region extraction unit 12. In the present embodiment, the z-coordinate Zc of the position of the point on the subject is used as the distance information when the perpendicular line drawn from the viewpoint to the projection plane is the z-axis.
[0028]
In addition, the perspective conversion unit 11 is a signal having information on elements of the coordinate conversion matrix M necessary for converting a coordinate system for perspective conversion at the viewpoint (hereinafter referred to as camera coordinates) to the world coordinate system. f is supplied to the coordinate conversion unit 14. M is a 3 × 4 matrix determined by the viewpoint position and the direction of the projection plane, and the three-dimensional coordinate position (Xc, Yc, Zc) of the point on the subject in the camera coordinate system and the world coordinate system The three-dimensional coordinate position (Xw, Yw, Zw) of the point on the subject is related by the following equation (1).
[0029]
[Expression 1]

[0030]
The area extraction unit 12 extracts only the subject to be modeled from the image. Note that the entire image can be the target of modeling without performing extraction. As an extraction method, the background is set to a specific color (for example, blue) at the time of shooting, the color region used for the background is extracted from the information about the RGB value of the signal c by threshold processing, and the other regions are modeled. A method of cutting out as a region (chroma key processing), a method of cutting out a subject existing in a preset distance range as a modeling region from distance information included in the signal e, recording signals c and e in advance, and freely cutting out the cutting region manually There are methods for setting.
[0031]
The region extraction unit 12 outputs a signal e and a signal g having cutout information α described later to the triangular patch division unit 13. When the cutout information α is larger than the threshold value αx by such cutout information α, it is defined as modeling information.
[0032]
Note that when the subject is a translucent object, the cutout information can be used as a definition of transparency. In this case, when the value of α is decreased and the transparency is increased and αx is defined as a threshold value of a completely transparent object, the object other than the transparent object is set as a modeling target. The larger case is defined as the modeling area.
Further, the region extracting unit 12 outputs a signal P1 having vertex information of the triangular patch to the vertex integrating unit 2.
[0033]
Next, the operation of the triangular patch dividing unit 13 will be described with reference to FIG. In this case, a square composed of four points with horizontal and vertical pixel intervals of 1 from pixels arranged in a grid on the projection surface is considered. In FIG. 3, ● represents a pixel in the modeling area, and ◯ represents a pixel outside the modeling area.
[0034]
As in FIGS. 3A to 3D, when the number of pixels in the modeling area is two or less, the triangular patch (small plane) is not defined. As shown in FIG. 3E, when the number of pixels in the modeling area is three, a triangle having the three points as vertices is defined as one small plane.
[0035]
As shown in FIG. 3F, when the number of pixels in the modeling area is four, the square is divided into two triangles by one diagonal line to define two small planes. As a method of selecting a diagonal line, a method of fixing from upper right to lower left (or upper left to lower right), a method of selecting at random, a method of comparing the distances in three-dimensional coordinates of two diagonals, and selecting a shorter one Etc.
[0036]
The triangular patch division unit 13 outputs the signal e to the coordinate conversion unit 14 and outputs the signal P1 to the vertex integration unit 2. The signal P1 defines the vertices of triangular patches forming each small plane. For example, an index composed of three pairs of two-dimensional coordinate values indicating pixel positions may be listed for all triangular patches. An example of triangular patch division on the imaging surface is shown in FIG. 3G.
[0037]
The coordinate conversion unit 14 uses the z coordinate Zc of the subject in camera coordinates and the focal length Fc of the camera,
[0038]
[Expression 2]

[0039]
Is used to convert the pixel position (Xi, Yi) to camera coordinates (Xc, Yc), and then the three-dimensional position information (Xc, Yc, Zc) indicated by the camera coordinates is converted into the world coordinates (Xw , Yw, Zw). A signal h having information on such world coordinates (Xw, Yw, Zw) is supplied to the quantization unit 15.
[0040]
The operation of the quantization unit 15 will be described with reference to FIG. In FIG. 4, −5Δx, −3Δx, −Δx, Δx, 3Δx, and 5Δx represent quantization threshold values, and −6Δx, −4Δx, −2Δx, 0, 2Δx, 4Δx, and 6Δx represent quantum values, respectively. Represents a representative value.
[0041]
For example, when 3Δx ≦ Xw ≦ 5Δx, Xw is rounded to the representative value 4Δx. Yw and Zw are rounded in the same manner. The quantization unit 15 outputs a signal Q1 having information on the coordinate position (xw, yw, zw) of the point on the subject after quantization to the vertex integration unit 2.
[0042]
The present invention is not limited to the above-described embodiment, and many changes and modifications can be made.
For example, the vertex information acquisition units 1-1, 1-2, 1-3,. . . , 1-n can have any other known configuration. As the image information, other color image information such as luminance / color difference information can be used.
[Brief description of the drawings]
FIG. 1 is a diagram showing an embodiment of a three-dimensional modeling apparatus according to the present invention.
FIG. 2 is a diagram illustrating in detail a vertex information acquisition unit in FIG. 1;
FIG. 3 is a diagram for explaining an operation of a triangular patch division unit in FIG. 2;
4 is a diagram for explaining an operation of a coordinate position quantization unit in FIG. 2; FIG.
[Explanation of symbols]
1,1-1,1-2,1-3,. . . , 1-n Vertex information acquisition unit 2 Vertex integration unit 11 Perspective conversion unit 12 Region cutout unit 13 Triangular patch division unit 14 Coordinate conversion unit 15 Quantization units c, c1, c2, c3,. . . , Cn, C, C1, C2, C3,. . . , Cn, d1, d2, d3,. . . , Dn, e, f, g, h, P, P1, P2, P3,. . . , Pn, Q1, Q2, Q3,. . . , Qn signal

Claims

A two-dimensional plane obtained by perspective transformation with each viewpoint as the origin from the image information including the information on the color of the three-dimensional object observed with a plurality of different camera positions as the viewpoint and the distance information from the viewpoint in a grid pattern Means for sampling and converting to image information of a two-dimensional plane represented by lattice points, and converting from distance information at each lattice point to position information of a three-dimensional object represented by a world coordinate system;
Of the lattice points of the three-dimensional object, define a triangle patch with a triangle having three adjacent points as vertices as one small plane, and obtain information on the vertex of the triangular patch of the surface shape of the three-dimensional object A plurality of vertex information acquisition means to perform,
Quantizing means for quantizing the position coordinates of each vertex of the three-dimensional object represented in the world coordinate system from a plurality of obtained viewpoints;
When the representative values after quantization match, the matching vertices are made one vertex, and the image information of the overlapping vertices is averaged and integrated with a triangular patch composed of vertices having integrated image information A three-dimensional object modeling device comprising: vertex integrating means for performing.

The three-dimensional object modeling apparatus according to claim 1, wherein the vertex information includes information on transparency .

The vertex information acquisition means is
Wherein the projected surface shape on a two-dimensional plane, three-dimensional object modeling apparatus according to claim 1, wherein further comprising a dividing means for dividing the triangular patch.

4. The three-dimensional object modeling apparatus according to claim 3, wherein the vertex information acquisition unit further includes a region extraction unit that extracts only a target region of the surface shape projected on the two-dimensional plane. .