JP7016646B2 - Image processing equipment, image processing methods and programs - Google Patents
Image processing equipment, image processing methods and programs Download PDFInfo
- Publication number
- JP7016646B2 JP7016646B2 JP2017167752A JP2017167752A JP7016646B2 JP 7016646 B2 JP7016646 B2 JP 7016646B2 JP 2017167752 A JP2017167752 A JP 2017167752A JP 2017167752 A JP2017167752 A JP 2017167752A JP 7016646 B2 JP7016646 B2 JP 7016646B2
- Authority
- JP
- Japan
- Prior art keywords
- shape
- image processing
- light
- information
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Generation (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
本発明は、画像におけるオブジェクトの光沢についての画像処理技術に関する。 The present invention relates to an image processing technique for the gloss of an object in an image.
従来、画像におけるオブジェクトに光沢を付加する技術が知られている。特許文献1は、3次元コンピュータグラフィックス(3DCG)において、鏡面反射光が視点に向かうように光源位置を設定することによって、レンダリング対象のオブジェクトにおける任意の位置にハイライトを付加する技術を開示している。この技術では、オブジェクトの任意の範囲を指定し、その範囲の反射光が一律に鏡面反射光となるように光源位置を設定することによってハイライトを付加している。 Conventionally, a technique for adding gloss to an object in an image has been known. Patent Document 1 discloses, in 3D computer graphics (3DCG), a technique for adding a highlight to an arbitrary position in an object to be rendered by setting a light source position so that specularly reflected light faces a viewpoint. ing. In this technique, highlights are added by designating an arbitrary range of an object and setting the light source position so that the reflected light in that range becomes specularly reflected light.
一方で、オブジェクト表面の微細な凹凸形状をCG等で再現する技術が普及し始めている。表面に微細な凹凸形状を有するオブジェクトは、表面が滑らかなオブジェクトに比べ、当該凹凸形状の変化に応じて反射面の法線方向が細かく変化していく。この法線方向の細かい変化は、光の鏡面反射方向、ひいては、視点位置から観察される反射光の強度に微細な変動を与える。この変動がオブジェクト固有の質感となって現れる。例えば、上述したような質感は、微小な金属フレークを含むメタリック素材や、梨地加工を施した素材等において現れることが知られている。 On the other hand, a technique for reproducing fine uneven shapes on the surface of an object by CG or the like has begun to spread. An object having a fine uneven shape on the surface has a finer change in the normal direction of the reflecting surface according to a change in the uneven shape, as compared with an object having a smooth surface. This fine change in the normal direction gives a fine change in the specular reflection direction of the light and, by extension, the intensity of the reflected light observed from the viewpoint position. This fluctuation appears as a texture peculiar to the object. For example, it is known that the above-mentioned texture appears in a metallic material containing minute metal flakes, a material subjected to satin finish, and the like.
特許文献1が開示する技術を用いて上述したようなメタリック素材等の質感を再現しようとするオブジェクトにハイライトを付加しようとすると、上述したようにハイライト部分での反射光は一律に鏡面反射光となる。このため、ハイライト部分において上述した反射光の強度の微細な変動が生じなくなってしまう。この結果、ハイライト部分におけるオブジェクト固有の質感が損なわれてしまうという課題があった。 When an attempt is made to add a highlight to an object that attempts to reproduce the texture of a metallic material or the like as described above using the technique disclosed in Patent Document 1, the reflected light at the highlight portion is uniformly specularly reflected as described above. It becomes light. Therefore, the fine variation in the intensity of the reflected light described above does not occur in the highlight portion. As a result, there is a problem that the texture peculiar to the object in the highlight portion is impaired.
本発明は、上記課題に鑑みてなされたものであり、オブジェクト表面の形状を考慮して、当該オブジェクトの光沢を強調するための処理を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a process for enhancing the gloss of an object in consideration of the shape of the surface of the object.
上記課題を解決するために、本発明に係る画像処理装置は、オブジェクト表面の形状を表す形状情報と前記オブジェクトの反射特性を表す反射特性情報とを取得する第1取得手段と、前記オブジェクトを見る視点に関する視点情報と、前記オブジェクトに光を当てる光源に関する光源情報とを取得する第2取得手段と、前記反射特性情報と前記視点情報と前記光源情報と前記形状情報とに基づいて、前記オブジェクトを表す画像データにおいて、前記形状の平面度合いが高いほど強調度合いを上げるように、前記オブジェクトの光の反射強度を強調する強調手段と、前記強調手段によって前記光の反射強度が強調された前記オブジェクトを表す前記画像データを出力する出力手段と、を有し、前記形状の平面度合いは、前記オブジェクト表面の微細な凹凸形状とは異なる大局的な形状の平面度合いであることを特徴とする。 In order to solve the above problems, the image processing apparatus according to the present invention looks at the object and the first acquisition means for acquiring the shape information representing the shape of the object surface and the reflection characteristic information representing the reflection characteristic of the object. The object is obtained based on the second acquisition means for acquiring the viewpoint information regarding the viewpoint and the light source information regarding the light source that illuminates the object, the reflection characteristic information, the viewpoint information, the light source information, and the shape information. In the image data to be represented, the enhancing means for emphasizing the light reflection intensity of the object and the object for which the light reflection intensity is emphasized by the enhancing means are provided so that the higher the flatness of the shape is, the higher the emphasizing degree is. It has an output means for outputting the image data to be represented, and is characterized in that the degree of flatness of the shape is a degree of flatness of a global shape different from the fine uneven shape of the surface of the object .
本発明によれば、オブジェクト表面の形状を考慮して、当該オブジェクトの光沢を強調することができる。 According to the present invention, the gloss of the object can be emphasized in consideration of the shape of the surface of the object.
以下、本発明を実施するための形態について図面を用いて説明する。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings.
[実施形態1]
本実施形態では、レンダリング対象のオブジェクト表面の形状の特徴に応じて、光沢を強調する強調度合いを変える処理を行う。以下で詳しく説明する。
[Embodiment 1]
In the present embodiment, a process of changing the degree of emphasis for emphasizing gloss is performed according to the characteristics of the shape of the surface of the object to be rendered. This will be described in detail below.
<画像処理装置100のハードウェア構成>
図1は、画像処理装置100のハードウェア構成例を示す図である。画像処理装置100は、CPU101、ROM102、RAM103、ハードディスクドライブ(HDD)104、HDDインタフェース(I/F)105、入力I/F106、出力I/F107、システムバス108で構成される。CPU101は、RAM103をワークメモリとして、ROM102及びHDD104に格納されたプログラムを実行し、システムバス108を介して後述する各部を制御する。HDDI/F105は、HDD104や光ディスクドライブなどの二次記憶装置を接続する、例えばシリアルATA(SATA)等のインタフェースである。CPU101は、HDDI/F105を介した、HDD104からのデータの読み出し、およびHDD104へのデータ書き込みが可能である。さらにCPU101は、HDD104に格納されたデータをRAM103に展開し、同様に、RAM103に展開されたデータをHDD104に保存することが可能である。そしてCPU101は、RAM103に展開したデータをプログラムとみなし、実行することができる。入力I/F106は、キーボードやマウス、3Dスキャナなどの入力デバイス109を接続する、例えば、USB等のシリアルバスインタフェースである。CPU101は、入力I/F106を介して入力デバイス109から各種データを読み込むことが可能である。出力I/F107は、モニタやプリンタ等の出力デバイス110を接続する、例えばUSBやIEEE等のシリアルバスインタフェースである。CPU101は、出力I/F107を介して出力デバイス110にデータを送り、表示や記録を実行させることができる。尚、USBやIEEE等の双方向通信インタフェースを利用すれば、入力I/F106と出力I/F107を一つにまとめることができる。
<Hardware configuration of
FIG. 1 is a diagram showing a hardware configuration example of the
<画像処理装置100の機能構成>
図2は、画像処理装置100の機能構成を示すブロック図である。画像処理装置100は、第1取得部201、第2取得部202、算出部203、生成部204を有する。
<Functional configuration of
FIG. 2 is a block diagram showing a functional configuration of the
第1取得部201は、オブジェクトの形状情報と反射特性情報とから成るオブジェクトデータを、入力デバイス109や不図示のデータベースから取得する。ここで、形状情報はオブジェクト表面の形状を表すデータであり、本実施形態ではメッシュデータとする。メッシュデータは、複数の辺を有する板状の要素の集合によりオブジェクトの形状を表現するメッシュモデルの表示に必要なデータである。例えば、3次元空間内に配置された三角形の各頂点の座標データと法線ベクトルである。尚、形状情報のデータ形式は、オブジェクトの位置と形状を特定できるものであればよく、例えば、NURBS曲面などで表現されるパラメトリックモデルでもよい。また、反射特性情報は、オブジェクトの反射特性を表すデータである。本実施形態における反射特性情報は、以下の式(1)~(5)で表わされるフォンの鏡面反射モデルにおける拡散反射係数kd,環境光の反射係数ka,鏡面反射係数ks,鏡面反射指数nとする。
I=IDr+IAr+ISr・・・式(1)
IDr=IDi×kd×(N・L)・・・式(2)IAr=IAi×ka・・・式(3)
ISr=ISi×ks×(L・R)n・・・式(4)R=-E+2(N・E)N・・・式(5)
The
I = I Dr + I Ar + I Sr ... Equation (1)
I Dr = I Di × k d × (N ・ L) ・ ・ ・ Equation (2) I Ar = I Ai × ka・ ・ ・ Equation (3)
I Sr = I Si × k s × (L ・ R) n ... equation (4) R = −E + 2 (NE) N ・ ・ ・ equation (5)
ここで、Iはオブジェクトへ入射した光源からの入射光及び環境光に対する反射光の強度、IDrはIの拡散反射成分(拡散反射光の強度)である。また、IArはIの環境光成分(オブジェクトに入射した環境光に対する反射光の強度)、ISrはIの鏡面反射成分(鏡面反射光の強度)であり、Rは反射ベクトルである。また、IDiはオブジェクトにおいて拡散反射に寄与する光源からの入射光の強度、IAiはオブジェクトに入射する環境光の強度である。また、ISiはオブジェクトにおいて鏡面反射に寄与する光源からの入射光の強度であり、N,L,Eはそれぞれ法線ベクトル、光源ベクトル、視線ベクトルである。尚、ブリン‐フォンの鏡面反射モデルなど、他の反射モデルのパラメータを反射特性情報としてもよい。取得されたオブジェクトデータは、算出部203および生成部204へ送られる。
Here, I is the intensity of the reflected light with respect to the incident light and the ambient light from the light source incident on the object, and I Dr is the diffuse reflection component (intensity of the diffuse reflected light) of I. Further, I Ar is an ambient light component of I (intensity of reflected light with respect to the ambient light incident on the object), ISr is a specular reflection component of I (intensity of specular reflected light), and R is a reflection vector. Further, IDi is the intensity of incident light from a light source that contributes to diffuse reflection in the object, and IAi is the intensity of ambient light incident on the object. Further, ISi is the intensity of incident light from a light source that contributes to specular reflection in an object, and N, L, and E are a normal vector, a light source vector, and a line-of-sight vector, respectively. The parameters of other reflection models such as the specular reflection model of Brin-Fon may be used as the reflection characteristic information. The acquired object data is sent to the
第2取得部202は、オブジェクトのレンダリングに用いる視点情報と光源情報とからなるレンダリングパラメータを、入力I/F106を介したユーザ指示により取得する。尚、予めHDD104等の記憶装置に記憶しておいたものを取得してもよい。視点情報は、視点の位置、視点からの視線方向、視点から見る範囲(画角)である。光源情報は、光源の位置、光源から光が向かう方向(光線方向)、光源が発する光の強度である。取得されたレンダリングパラメータは、算出部203および生成部204へ送られる。
The
算出部203は、オブジェクトデータとレンダリングパラメータとに基づいて、オブジェクト表面の形状の特徴を表す形状特徴量を算出する。詳細は後述する。算出された形状特徴量は、生成部204へ送られる。
The
生成部204は、特徴画像生成部205、ベース画像生成部206、合成部207を有する。生成部204は、形状特徴量に応じて光沢が強調されたオブジェクトを表す出力画像を生成し出力する。オブジェクトの質感を与える要因の一つとして、反射面の法線方向の空間的な分布に基づく反射強度の変動がある。本実施形態では、広く一般に用いられている反射モデルであるフォンの鏡面反射モデルを仮定し、法線方向の変化が強度に大きく寄与する鏡面反射成分(光沢)を強調することにより、オブジェクトの質感を強調した出力画像を生成する。また、近傍メッシュ間での反射面に対する光の入射方向と視線方向とのなす角の変化が緩やかな凹凸のある曲面部よりも平坦な平面部では、反射光の強度の変動幅が小さくなり質感がわかりにくくなる。そこで本実施形態、オブジェクトの形状が平面に近いほど光沢の強調度合いを高くする。図9に反射の例を示す。図9(a)のオブジェクト901は表面に微細凹凸を持つ平板状のオブジェクトを表している。また、図9(b)のオブジェクト911は表面に微細凹凸を持つ湾曲したオブジェクトを表している。光源902からオブジェクトに対して照射すると光線903それぞれがオブジェクト901上の点で反射する。反射した光線905は、視点904に入射する。一点鎖線906は、オブジェクト901上の微細凹凸を含んだ小領域に対して、光源方向からの光線903から光が入射した際の鏡面反射を模式的に表している。通常、鏡面反射とは光の入射角と反射角が反射面に対して同一となる一方向への反射を指す。ただしオブジェクト表面の微細凹凸を含む小領域を考えると、小領域における鏡面反射は、微細凹凸の法線に応じた様々な方向へ生じて見える。すなわち、鏡面反射方向が広がりを持つように見え、この広がり方が質感となって現れる。一般的なメタリック素材では、小領域の近似平面を反射面とした際の鏡面反射方向へ向かう反射光が、最も強くなる。そのため、近似平面の鏡面反射方向と視線方向とが異なる場合、観察される鏡面反射光は相対的に弱くなる。図9(a)の曲線908は、オブジェクト901上の各点から視線方向へ向かう鏡面反射成分の強さを模式的に表している。図9(a)の例では、オブジェクト901上に近似平面の鏡面反射方向と視線方向とが一致する反射点が存在しないため、視点位置において観察される反射光の最大強度が小さくなる。これに対して、図9(b)の曲線918は、湾曲したオブジェクト911上の各点から視線方向へ向かう鏡面反射成分の強さを表している。一般に、ある面の鏡面反射光が得られる視点および光源の位置条件は、その面の法線方向に基づく狭い範囲に限定される。そのため、法線方向が様々な方向を向く湾曲したオブジェクトよりも、法線方向が一定方向を向く平面に近いオブジェクトの方が強い鏡面反射を得にくく、質感が分かりにくくなる。
The
以下、生成部204を構成する各部について説明する。尚、各部における処理の詳細は後述する。
Hereinafter, each part constituting the
特徴画像生成部205は、光源からの入射光のオブジェクトにおける鏡面反射成分を求め、これに形状特徴量に応じた強調処理を施して特徴画像データを生成する。生成した特徴画像データは、合成部207へ送られる。
The feature
ベース画像生成部206は、光源からの入射光のオブジェクトにおける拡散反射成分と環境光のオブジェクトにおける反射光の強度とを求めてベース画像データを生成する。生成したベース画像データは、合成部207へ送られる。
The base
合成部207は、特徴画像データとベース画像データとを合成して出力画像データを生成する。
The synthesizing
<画像処理装置100が実行する処理>
図3は、画像処理装置100における一連の処理の動作手順を示すフローチャートである。この一連の処理は、以下に示す手順を記述したコンピュータ実行可能なプログラムを、ROM102あるいはHDD104からRAM103上に読み込んだ後に、CPU101によって該プログラムを実行することによって実現される。以下、各ステップ(工程)は符号の前にSをつけて表す。
<Processes executed by the
FIG. 3 is a flowchart showing an operation procedure of a series of processes in the
S301において、第1取得部201は、オブジェクトデータを取得する。第2取得部202は、レンダリングパラメータを取得する。S302において、算出部203は、S301で取得したオブジェクトデータとレンダリングパラメータに基づいて形状特徴量を算出する。本実施形態では、オブジェクト表面の法線に基づきオブジェクトの概形を構成する面を求め、その各面内における法線方向のばらつき度合い(分散)を形状特徴量として算出する。ここで、オブジェクトの概形を構成する面とは、オブジェクトを大局的に見た場合(すなわち、表面の微細凹凸を無視して見た場合)に法線ベクトルが類似しているひとつながりの隣接したメッシュの集合である。以下に、形状特徴量を算出する処理の詳細を示す。
In S301, the
まず、オブジェクトデータとレンダリングパラメータとに基づき、オブジェクトを構成するメッシュのうちレンダリングの画角内に含まれるものに関して、その法線ベクトルを画素値として記録した法線画像を生成する。本実施形態では、一般的な投影変換式である式(6)を用いて3次元空間中におけるメッシュの頂点座標(x,y,z)を2次元画像上での画素位置(i,j)に変換する。この頂点に対応する法線ベクトル(nx,ny,nz)を画素(i,j)の画素値N(i,j)として記録する。 First, based on the object data and the rendering parameters, a normal image is generated in which the normal vector of the mesh constituting the object included in the angle of view of the rendering is recorded as a pixel value. In the present embodiment, the vertex coordinates (x, y, z) of the mesh in the three-dimensional space are set to the pixel positions (i, j) on the two-dimensional image by using the formula (6) which is a general projection conversion formula. Convert to. The normal vector (nx, ny, nz) corresponding to this vertex is recorded as the pixel value N (i, j) of the pixel (i, j).
ここで、Ms,Mp,Mvはそれぞれレンダリングパラメータから定まるスクリーン変換行列、射影変換行列、ビュー変換行列である。メッシュ内部に相当する画素については、メッシュを構成する各頂点に対応する法線ベクトルから補間した値を格納する。以上で説明した法線画像(各画素に画素値N(i,j)が記録された2次元画像)の生成には、コンピュータグラフィックスにおける公知のレンダリング処理を利用可能であるため、詳細な説明を省略する。 Here, M s , M p , and M v are a screen transformation matrix, a projective transformation matrix, and a view transformation matrix determined from the rendering parameters, respectively. For the pixels corresponding to the inside of the mesh, the values interpolated from the normal vector corresponding to each vertex constituting the mesh are stored. Since a known rendering process in computer graphics can be used for generating the normal image (a two-dimensional image in which a pixel value N (i, j) is recorded in each pixel) described above, a detailed description thereof will be given. Is omitted.
次に、生成した法線画像に平滑化処理を施すことによって微細凹凸による法線の変動を除去した平滑化法線画像を生成し、この平滑化法線画像に対して領域分割を行う。平滑化には公知のガウシアンフィルタを用いる。平滑化法線画像の画素値をN’(i,j)とする。尚、平滑化には移動平均フィルタやメディアンフィルタ等を用いても良い。また、領域分割には公知の領域成長法を用いる。尚、ヒストグラムに基づく閾値処理など、他の公知の手法を用いても良い。領域分割によって得られる各領域は、その内部において法線ベクトルがおおよそ類似した方向を向く領域となるので、オブジェクトの概形を構成する面とみなすことができる。 Next, the generated normal image is subjected to a smoothing process to generate a smoothed normal image in which fluctuations in the normal due to fine irregularities are removed, and the smoothed normal image is divided into regions. A known Gaussian filter is used for smoothing. Let the pixel value of the smoothed normal image be N'(i, j). A moving average filter, a median filter, or the like may be used for smoothing. Further, a known region growth method is used for region division. In addition, other known methods such as threshold processing based on a histogram may be used. Each region obtained by the region division is a region in which the normal vector points in substantially the same direction, and thus can be regarded as a surface constituting the outline of the object.
次に、平滑化法線画像の各画素(i,j)について、式(7)及び式(8)に従い形状特徴量F(i,j)を算出する。 Next, for each pixel (i, j) of the smoothed normal image, the shape feature amount F (i, j) is calculated according to the equations (7) and (8).
ここで、Rkは領域分割により得られた領域のうち画素(i,j)が含まれる領域であり、num(Rk)は領域Rk内の画素数である。また、θ(i,j)は平滑化後の法線ベクトルN’(i,j)と、予め定めた基準ベクトルN0(例えば(1,0,0))とのなす角を表わす。式(7)の形状特徴量F(i,j)は、画素(i,j)が含まれる領域Rk内における平滑化後の法線ベクトルN’(i,j)の向きの分散に相当し、画素(i,j)が属する領域に対応するオブジェクトの表面が平面に近いほどその値がゼロに近づく。図5(a)に示すオブジェクトについて領域分割した法線画像を図5(b)に示し、形状特徴量を明度として表した図を図5(c)に示す。この図の例では、表面が平らである直方体501では形状特徴量が小さく、表面が曲面である球体502では形状特徴量が大きくなる。以上の処理により法線画像の各画素について形状特徴量F(i,j)を算出することができる。
Here, R k is a region including pixels (i, j) in the region obtained by region division, and num (R k ) is the number of pixels in the region R k . Further, θ (i, j) represents the angle formed by the smoothed normal vector N'(i, j) and the predetermined reference vector N 0 (for example, (1, 0, 0)). The shape feature amount F (i, j ) in the equation (7) corresponds to the dispersion of the direction of the smoothed normal vector N'(i, j) in the region Rk including the pixel (i, j). Then, the closer the surface of the object corresponding to the region to which the pixel (i, j) belongs to the plane, the closer the value approaches zero. The area-divided normal image of the object shown in FIG. 5 (a) is shown in FIG. 5 (b), and the figure showing the shape feature amount as the brightness is shown in FIG. 5 (c). In the example of this figure, the
S303において、生成部204は、S301で取得したオブジェクトデータ及びレンダリングパラメータと、S302で算出した形状特徴量とを用いて出力画像を生成する。本実施形態では、反射光の鏡面反射成分をオブジェクトの質感における特徴的な反射成分とみなし、オブジェクトの形状が平面に近い部分ほど鏡面反射成分を強調した出力画像を生成する。図4は出力画像を生成する処理(S303)の詳細を示すフローチャートである。
In S303, the
S401において、特徴画像生成部205は、式(4)及び式(5)に平滑化前の法線ベクトルN(i,j)を与えることによって、法線画像の各画素(i,j)に対応する鏡面反射成分ISr(i,j)を算出する。さらに、S302で算出した形状特徴量F(i,j)を用いて、法線画像の各画素(i,j)に対応する鏡面反射成分を式(9)~(11)に従い強調する。
I’Sr(i,j)=ISr(i,j)×FEmphasize(i,j) ・・・式(9)
FEmphasize(i,j)=α×FFlat(i,j)+1 ・・・式(10)
FFlat(i,j)=1/(1+F(i,j)) ・・・式(11)
In S401, the feature
I'Sr (i, j) = I Sr ( i, j) × F Emphasize (i, j) ... Equation (9)
F Emphasize (i, j) = α × F Flat (i, j) +1 ... Equation (10)
F Flat (i, j) = 1 / (1 + F (i, j)) ... Equation (11)
ここで、式(10)のFEmphasize(i,j)は画素(i,j)に対する強調度合いでああり、式(11)のFFlat(i,j)は画素(i,j)における平面度合いである。また、α(>0)は強調度合いの高さの上限を規定するパラメータであり、入力I/F106を介したユーザ指示により取得してもよいし、予め定めた定数を用いてもよい。式(9)により得られた鏡面反射成分I’Sr(i,j)は、形状特徴量が小さい(表面形状が平面に近い)ほど元の鏡面反射成分ISr(i,j)よりも大きくなる。また、式(9)では平滑化前の法線ベクトルNを用いて算出した鏡面反射成分に強調度合いを乗算するため、法線方向の空間的な分布に基づく反射強度の変動ごと強調される。図6(a)、(b)に、それぞれ強調前の鏡面反射成分と強調後の鏡面反射成分の例を示す。直方体501の鏡面反射成分は、球体502よりもより強く強調される。得られた強調後の鏡面反射成分I’Sr(i,j)は、特徴画像の画素値として各画素に記録され、合成部207へ送られる。本実施形態では、S302において領域ごとに形状特徴量を算出することにより、少数の鋭いエッジを持ち、大部分が平面であるようなオブジェクト(例えば、階段状のオブジェクト)の平面部分について、エッジ部分の法線方向の変化に依らず、強調度合いを高めることができる。尚、S302で分割した領域間において強調度合いが急激に変化することにより不自然な画像とならないよう、近傍領域間において形状特徴量F(i,j)あるいは平面度合い又は強調度合いを平滑化してから鏡面反射成分を強調してもよい。平滑化処理については、上記と同様に、公知のフィルタ処理を用いる。
Here, the F Emphasize (i, j) in the equation (10) is the degree of emphasis on the pixel (i, j), and the F Flat (i, j) in the equation (11) is the plane in the pixel (i, j). The degree. Further, α (> 0) is a parameter that defines the upper limit of the degree of emphasis, and may be acquired by a user instruction via the input I /
S402において、ベース画像生成部206は、式(2)によってIDrを算出し、式(3)によってIArを算出する。式(2)のNには、平滑化前の法線ベクトルN(i,j)を用いる。さらに、S401で生成した特徴画像の各画素(i,j)に対応する鏡面反射成分以外の反射成分IDAr(i,j)を式(12)に従い算出する。鏡面反射成分以外の反射成分は、拡散反射成分の強度と環境光成分の強度との和である。
IDAr(i,j)=IDr(i,j)+IAr(i,j)・・・式(12)
In S402, the base
I DA (i, j) = I Dr (i, j) + I Ar (i, j) ... Equation (12)
図7に、鏡面反射成分以外の反射成分の例を示す。得られた鏡面反光成分以外の反射成分IDAr(i,j)は、ベース画像の画素値として各画素に記録され、合成部207へ送られる。
FIG. 7 shows an example of a reflection component other than the specular reflection component. The obtained reflection component I DAr (i, j) other than the mirror surface reflection component is recorded in each pixel as a pixel value of the base image and sent to the
S403において、合成部207は、S401で生成した特徴画像とS402で生成したベース画像とを式(13)に従い合成し、これを出力画像とする。
I′(i,j)=I′Sr(i,j)+IDAr(i,j)・・・式(13)
In S403, the synthesizing
I'(i, j) = I'Sr (i, j) + I DAr (i, j) ... Equation (13)
図8(a)に、S401における強調処理を行わずにレンダリングした画像の例を示す。また、図8(b)に、本実施形態における出力画像の例を示す。図8(b)の出力画像では、図8(a)のレンダリング画像に比べ、平坦な面で構成される直方体501の光沢が強調されており、よりオブジェクトの質感が強調して表現された画像となる。出力画像の生成処理によって得られた出力画像を表す出力画像データは、出力I/F107を介して出力デバイス110へ出力される。あるいは、HDD104等の記憶装置に記録される。
FIG. 8A shows an example of an image rendered without the enhancement process in S401. Further, FIG. 8B shows an example of an output image in the present embodiment. In the output image of FIG. 8 (b), the gloss of the
以上で説明した本実施形態によれば、オブジェクト表面の形状を考慮して、当該オブジェクトの光沢を強調することができ、これによりオブジェクトの質感を知覚しやすい画像を容易に生成することが可能となる。 According to the present embodiment described above, the gloss of the object can be emphasized in consideration of the shape of the surface of the object, whereby it is possible to easily generate an image in which the texture of the object is easily perceived. Become.
<変形例>
尚、S302において、法線画像を分割した領域ごとに形状特徴量を算出したが、法線画像全体から(領域分割せずに)1つの形状特徴量を求めてもよい。また、法線画像を生成せずに、オブジェクト表面の法線ベクトルから直接そのばらつき(分散)を求めて形状特徴量としてもよい。また、法線ベクトルのばらつき以外にも、オブジェクト表面の曲率を形状特徴量としてもよい。
<Modification example>
In S302, the shape feature amount is calculated for each region where the normal image is divided, but one shape feature amount may be obtained from the entire normal image (without dividing the region). Further, the variation (variance) may be obtained directly from the normal vector on the surface of the object and used as the shape feature amount without generating the normal image. In addition to the variation of the normal vector, the curvature of the object surface may be used as the shape feature quantity.
また、S401の特徴画像の生成において、式(9)を用いて鏡面反射成分を強調する例を説明したが、形状特徴量に応じてガンマ曲線やS字曲線を設定し、これに基づくトーンカーブ補正を用いて鏡面反射成分を強調しても良い。 Further, in the generation of the feature image of S401, an example of emphasizing the specular reflection component using the equation (9) has been described. However, a gamma curve or an S-shaped curve is set according to the shape feature amount, and a tone curve based on the gamma curve or the S-shaped curve is set. The specular reflection component may be emphasized by using the correction.
[実施形態2]
オブジェクト表面の法線方向は、面の向きによって定まる。また、拡散反射光や鏡面反射光の強度は、一般に式(2)や式(4)のような法線方向の関数でモデル化される。そのため、オブジェクトの表面形状の特徴は反射光にも現れる。例えば、オブジェクトの形状が平面であった場合、その法線方向は場所に依らず一定となり、面が様々な方向を向く複雑な形状の場合と比べて反射光の強度のばらつきが小さくなる。そこで、本実施形態では反射光の強度のばらつき度合いを形状特徴量として用いる。実施形態1と本実施形態とは、先述したS302における形状特徴量の算出方法が異なる。以下、実施形態1と異なる点を中心に簡潔に説明する。
[Embodiment 2]
The normal direction of the object surface is determined by the orientation of the surface. Further, the intensity of diffusely reflected light and specularly reflected light is generally modeled by a function in the normal direction such as Eq. (2) and Eq. (4). Therefore, the characteristics of the surface shape of the object also appear in the reflected light. For example, when the shape of an object is a plane, its normal direction is constant regardless of the location, and the variation in the intensity of reflected light becomes smaller than in the case of a complicated shape in which a surface faces various directions. Therefore, in the present embodiment, the degree of variation in the intensity of the reflected light is used as the shape feature amount. The method of calculating the shape feature amount in S302 described above is different between the first embodiment and the present embodiment. Hereinafter, the points different from those of the first embodiment will be briefly described.
まず、S301において取得したオブジェクトデータとレンダリングパラメータとに基づき、通常のレンダリングを行って基準画像を生成する。すなわち、オブジェクトを構成するメッシュのうちレンダリングの画角内に含まれるものに関して、その反射光の強度Iを式(1)に従い算出し、基準画像の画素値として記録する。 First, based on the object data acquired in S301 and the rendering parameters, normal rendering is performed to generate a reference image. That is, the intensity I of the reflected light of the mesh constituting the object included in the angle of view of the rendering is calculated according to the equation (1) and recorded as the pixel value of the reference image.
次に、S302において、基準画像の画素値I(i,j)を用いて反射光の強度のばらつき度合いを算出し、これを形状特徴量とする。本実施形態では、式(14)に示すI(i,j)の標準偏差σをばらつき度合いとして用いる。 Next, in S302, the degree of variation in the intensity of the reflected light is calculated using the pixel values I (i, j) of the reference image, and this is used as the shape feature amount. In this embodiment, the standard deviation σ of I (i, j) shown in the equation (14) is used as the degree of variation.
ここで、Imgは基準画像全体を表しており、num(Img)は基準画像の画素数である。 Here, Img represents the entire reference image, and num (Img) is the number of pixels of the reference image.
最後にS303において、形状特徴量σに基づいて光沢の強調度合いを算出し、この度合いに従って光沢を強調した出力画像を生成する。具体的には、実施形態1における形状特徴量F(i,j)を本実施形態における形状特徴量σに置き換え、実施形態1と同様の処理を適用すればよい。このとき、式(10)により得られる強調度合いは、反射光を表す基準画像の画素値の変動が小さい場合に大きな値となる。 Finally, in S303, the degree of gloss enhancement is calculated based on the shape feature amount σ, and an output image in which the gloss is emphasized is generated according to this degree. Specifically, the shape feature amount F (i, j) in the first embodiment may be replaced with the shape feature amount σ in the present embodiment, and the same processing as in the first embodiment may be applied. At this time, the degree of enhancement obtained by the equation (10) becomes a large value when the fluctuation of the pixel value of the reference image representing the reflected light is small.
以上で説明した実施形態2によれば、オブジェクトの反射光の強度に基づいて当該オブジェクトの形状を考慮し、当該オブジェクトの光沢を強調することができる。これによりオブジェクトの質感を知覚しやすい画像を容易に生成することが可能となる。 According to the second embodiment described above, the shape of the object can be considered based on the intensity of the reflected light of the object, and the gloss of the object can be emphasized. This makes it possible to easily generate an image in which the texture of the object is easily perceived.
なお、レンダリングの画角内に複数のオブジェクトが含まれる場合には、オブジェクトごとに対応する画像領域を抽出し、領域ごとに形状特徴量を算出してもよい。その場合、オブジェクトごとに異なる度合いで光沢を強調することができる。 When a plurality of objects are included in the angle of view of rendering, the corresponding image area may be extracted for each object and the shape feature amount may be calculated for each area. In that case, the gloss can be emphasized to a different degree for each object.
[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
[Other embodiments]
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
100 画像処理装置
201 第1取得部
202 第2取得部
203 算出部
204 生成部
100
Claims (11)
前記オブジェクトを見る視点に関する視点情報と、前記オブジェクトに光を当てる光源に関する光源情報とを取得する第2取得手段と、
前記反射特性情報と前記視点情報と前記光源情報と前記形状情報とに基づいて、前記オブジェクトを表す画像データにおいて、前記形状の平面度合いが高いほど強調度合いを上げるように、前記オブジェクトの光の反射強度を強調する強調手段と、
前記強調手段によって前記光の反射強度が強調された前記オブジェクトを表す前記画像データを出力する出力手段と、を有し、
前記形状の平面度合いは、前記オブジェクト表面の微細な凹凸形状とは異なる大局的な形状の平面度合いであることを特徴とする画像処理装置。 A first acquisition means for acquiring shape information representing the shape of an object surface and reflection characteristic information representing the reflection characteristics of the object, and
A second acquisition means for acquiring viewpoint information regarding a viewpoint for viewing the object and light source information regarding a light source that illuminates the object.
Based on the reflection characteristic information, the viewpoint information, the light source information, and the shape information, the reflection of light of the object so as to increase the degree of emphasis as the degree of flatness of the shape increases in the image data representing the object. A means of emphasizing strength and
It has an output means for outputting the image data representing the object whose reflection intensity of light is emphasized by the enhancement means.
An image processing apparatus characterized in that the degree of flatness of the shape is a degree of flatness of a global shape different from the fine uneven shape of the surface of the object .
前記強調手段は、前記平滑化手段によって平滑化された前記強調度合いに基づいて、前記オブジェクトの領域ごとに光の反射強度を強調することを特徴とする請求項7に記載の画像処理装置。 Further having a smoothing means for smoothing the degree of emphasis between regions in the vicinity of the object.
The image processing apparatus according to claim 7, wherein the enhancing means enhances the reflection intensity of light for each region of the object based on the enhancement degree smoothed by the smoothing means.
前記オブジェクトを見る視点に関する視点情報と、前記オブジェクトに光を当てる光源に関する光源情報とを取得する第2取得ステップと、
前記反射特性情報と前記視点情報と前記光源情報と前記形状情報とに基づいて、前記オブジェクトを表す画像データにおいて、前記形状の平面度合いが高いほど強調度合いを上げるように、前記オブジェクトの光の反射強度を強調する強調ステップと、
前記強調ステップによって前記光の反射強度が強調された前記オブジェクトを表す前記画像データを出力する出力ステップと、を有し、
前記形状の平面度合いは、前記オブジェクト表面の微細な凹凸形状とは異なる大局的な形状の平面度合いであることを特徴とする画像処理方法。 The first acquisition step of acquiring the shape information representing the shape of the object surface and the reflection characteristic information representing the reflection characteristic of the object, and
A second acquisition step of acquiring viewpoint information regarding a viewpoint for viewing the object and light source information regarding a light source that illuminates the object.
Based on the reflection characteristic information, the viewpoint information, the light source information, and the shape information, the reflection of light of the object so as to increase the degree of emphasis as the degree of flatness of the shape increases in the image data representing the object. An emphasis step that emphasizes strength, and
It has an output step for outputting the image data representing the object whose reflection intensity of light is enhanced by the enhancement step.
An image processing method characterized in that the flatness of the shape is a flatness of a global shape different from the fine uneven shape of the object surface .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/818,560 US10565780B2 (en) | 2016-11-28 | 2017-11-20 | Image processing apparatus, image processing method, and storage medium |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016229694 | 2016-11-28 | ||
| JP2016229694 | 2016-11-28 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018092594A JP2018092594A (en) | 2018-06-14 |
| JP7016646B2 true JP7016646B2 (en) | 2022-02-07 |
Family
ID=62565654
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017167752A Expired - Fee Related JP7016646B2 (en) | 2016-11-28 | 2017-08-31 | Image processing equipment, image processing methods and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7016646B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7762060B2 (en) * | 2021-12-20 | 2025-10-29 | キヤノン株式会社 | Information processing device, information processing method, and program |
| JP2024025926A (en) * | 2022-08-15 | 2024-02-28 | 富士フイルムビジネスイノベーション株式会社 | Information processing equipment and programs |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000057372A (en) | 1998-08-10 | 2000-02-25 | Taito Corp | Image processor, image processing method and storage medium |
| JP2006031595A (en) | 2004-07-21 | 2006-02-02 | Hiroshima Industrial Promotion Organization | Image processing device |
| JP2015197744A (en) | 2014-03-31 | 2015-11-09 | キヤノン株式会社 | Information processing device, measurement system, information processing method, and program |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9769392B1 (en) * | 2014-06-27 | 2017-09-19 | Amazon Technologies, Inc. | Imaging system for addressing specular reflection |
-
2017
- 2017-08-31 JP JP2017167752A patent/JP7016646B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000057372A (en) | 1998-08-10 | 2000-02-25 | Taito Corp | Image processor, image processing method and storage medium |
| JP2006031595A (en) | 2004-07-21 | 2006-02-02 | Hiroshima Industrial Promotion Organization | Image processing device |
| JP2015197744A (en) | 2014-03-31 | 2015-11-09 | キヤノン株式会社 | Information processing device, measurement system, information processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018092594A (en) | 2018-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10565780B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| US9202309B2 (en) | Methods and apparatus for digital stereo drawing | |
| US8576225B2 (en) | Seamless fracture in a production pipeline | |
| JP2002183761A (en) | Image generation method and apparatus | |
| US10902674B2 (en) | Creating a geometric mesh from depth data using an index indentifying unique vectors | |
| CN109102559A (en) | three-dimensional model processing method and device | |
| US11205301B2 (en) | Systems and methods for optimizing a model file | |
| KR20120104071A (en) | 3d image visual effect processing method | |
| KR102285840B1 (en) | Method for rendering image and Image outputting device thereof | |
| CN103238168A (en) | Image processing apparatus, image processing method, and image processing program | |
| JP7614801B2 (en) | Image processing device, image processing method and program | |
| US11107267B2 (en) | Image generation apparatus, image generation method, and program | |
| JP7016646B2 (en) | Image processing equipment, image processing methods and programs | |
| JP5526239B2 (en) | Method, device, and computer-readable medium for generating digital pictures | |
| US9665955B1 (en) | Pose-space shape fitting | |
| JP3629243B2 (en) | Image processing apparatus and method for rendering shading process using distance component in modeling | |
| KR102331952B1 (en) | 2D Rendering Device and Its Method according to 3D Data Viewport | |
| JP5795556B2 (en) | Shadow information deriving device, shadow information deriving method and program | |
| JP4764963B2 (en) | Image processing device | |
| US11880940B1 (en) | Systems and methods for the continuous presentation of point clouds | |
| JP2021081791A (en) | Image processing device, image processing method, and program | |
| US20240331299A1 (en) | Joint uv optimization and texture baking | |
| JP7020075B2 (en) | Image processing equipment and programs | |
| JP2016119041A (en) | Image processing system, image processor, image processing method, program and recording medium | |
| CN121392117A (en) | Three-dimensional reconstruction method and device for reflective object |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200827 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210517 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210601 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210714 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211228 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220126 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7016646 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |