Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7016646B2 - Image processing equipment, image processing methods and programs - Google Patents
[go: Go Back, main page]

JP7016646B2 - Image processing equipment, image processing methods and programs - Google Patents

Image processing equipment, image processing methods and programs Download PDF

Info

Publication number
JP7016646B2
JP7016646B2 JP2017167752A JP2017167752A JP7016646B2 JP 7016646 B2 JP7016646 B2 JP 7016646B2 JP 2017167752 A JP2017167752 A JP 2017167752A JP 2017167752 A JP2017167752 A JP 2017167752A JP 7016646 B2 JP7016646 B2 JP 7016646B2
Authority
JP
Japan
Prior art keywords
shape
image processing
light
information
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017167752A
Other languages
Japanese (ja)
Other versions
JP2018092594A (en
Inventor
千晶 金子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to US15/818,560 priority Critical patent/US10565780B2/en
Publication of JP2018092594A publication Critical patent/JP2018092594A/en
Application granted granted Critical
Publication of JP7016646B2 publication Critical patent/JP7016646B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Generation (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、画像におけるオブジェクトの光沢についての画像処理技術に関する。 The present invention relates to an image processing technique for the gloss of an object in an image.

従来、画像におけるオブジェクトに光沢を付加する技術が知られている。特許文献1は、3次元コンピュータグラフィックス(3DCG)において、鏡面反射光が視点に向かうように光源位置を設定することによって、レンダリング対象のオブジェクトにおける任意の位置にハイライトを付加する技術を開示している。この技術では、オブジェクトの任意の範囲を指定し、その範囲の反射光が一律に鏡面反射光となるように光源位置を設定することによってハイライトを付加している。 Conventionally, a technique for adding gloss to an object in an image has been known. Patent Document 1 discloses, in 3D computer graphics (3DCG), a technique for adding a highlight to an arbitrary position in an object to be rendered by setting a light source position so that specularly reflected light faces a viewpoint. ing. In this technique, highlights are added by designating an arbitrary range of an object and setting the light source position so that the reflected light in that range becomes specularly reflected light.

一方で、オブジェクト表面の微細な凹凸形状をCG等で再現する技術が普及し始めている。表面に微細な凹凸形状を有するオブジェクトは、表面が滑らかなオブジェクトに比べ、当該凹凸形状の変化に応じて反射面の法線方向が細かく変化していく。この法線方向の細かい変化は、光の鏡面反射方向、ひいては、視点位置から観察される反射光の強度に微細な変動を与える。この変動がオブジェクト固有の質感となって現れる。例えば、上述したような質感は、微小な金属フレークを含むメタリック素材や、梨地加工を施した素材等において現れることが知られている。 On the other hand, a technique for reproducing fine uneven shapes on the surface of an object by CG or the like has begun to spread. An object having a fine uneven shape on the surface has a finer change in the normal direction of the reflecting surface according to a change in the uneven shape, as compared with an object having a smooth surface. This fine change in the normal direction gives a fine change in the specular reflection direction of the light and, by extension, the intensity of the reflected light observed from the viewpoint position. This fluctuation appears as a texture peculiar to the object. For example, it is known that the above-mentioned texture appears in a metallic material containing minute metal flakes, a material subjected to satin finish, and the like.

特開平6-111028号公報Japanese Unexamined Patent Publication No. 6-111028

特許文献1が開示する技術を用いて上述したようなメタリック素材等の質感を再現しようとするオブジェクトにハイライトを付加しようとすると、上述したようにハイライト部分での反射光は一律に鏡面反射光となる。このため、ハイライト部分において上述した反射光の強度の微細な変動が生じなくなってしまう。この結果、ハイライト部分におけるオブジェクト固有の質感が損なわれてしまうという課題があった。 When an attempt is made to add a highlight to an object that attempts to reproduce the texture of a metallic material or the like as described above using the technique disclosed in Patent Document 1, the reflected light at the highlight portion is uniformly specularly reflected as described above. It becomes light. Therefore, the fine variation in the intensity of the reflected light described above does not occur in the highlight portion. As a result, there is a problem that the texture peculiar to the object in the highlight portion is impaired.

本発明は、上記課題に鑑みてなされたものであり、オブジェクト表面の形状を考慮して、当該オブジェクトの光沢を強調するための処理を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a process for enhancing the gloss of an object in consideration of the shape of the surface of the object.

上記課題を解決するために、本発明に係る画像処理装置は、オブジェクト表面の形状を表す形状情報と前記オブジェクトの反射特性を表す反射特性情報とを取得する第1取得手段と、前記オブジェクトを見る視点に関する視点情報と、前記オブジェクトに光を当てる光源に関する光源情報とを取得する第2取得手段と、前記反射特性情報と前記視点情報と前記光源情報と前記形状情報とに基づいて、前記オブジェクトを表す画像データにおいて、前記形状の平面度合いが高いほど強調度合いを上げるように、前記オブジェクトの光の反射強度を強調する強調手段と、前記強調手段によって前記光の反射強度が強調された前記オブジェクトを表す前記画像データを出力する出力手段と、を有し、前記形状の平面度合いは、前記オブジェクト表面の微細な凹凸形状とは異なる大局的な形状の平面度合いであることを特徴とする。 In order to solve the above problems, the image processing apparatus according to the present invention looks at the object and the first acquisition means for acquiring the shape information representing the shape of the object surface and the reflection characteristic information representing the reflection characteristic of the object. The object is obtained based on the second acquisition means for acquiring the viewpoint information regarding the viewpoint and the light source information regarding the light source that illuminates the object, the reflection characteristic information, the viewpoint information, the light source information, and the shape information. In the image data to be represented, the enhancing means for emphasizing the light reflection intensity of the object and the object for which the light reflection intensity is emphasized by the enhancing means are provided so that the higher the flatness of the shape is, the higher the emphasizing degree is. It has an output means for outputting the image data to be represented, and is characterized in that the degree of flatness of the shape is a degree of flatness of a global shape different from the fine uneven shape of the surface of the object .

本発明によれば、オブジェクト表面の形状を考慮して、当該オブジェクトの光沢を強調することができる。 According to the present invention, the gloss of the object can be emphasized in consideration of the shape of the surface of the object.

画像処理装置100のハードウェア構成を示す図The figure which shows the hardware composition of the image processing apparatus 100 画像処理装置100の機能構成を示すブロック図Block diagram showing the functional configuration of the image processing device 100 画像処理装置100における一連の処理の流れを示すフローチャートA flowchart showing the flow of a series of processes in the image processing device 100. 生成部204における処理の流れを示すフローチャートFlow chart showing the flow of processing in the generation unit 204 形状特徴量の一例を示す図Diagram showing an example of shape features 特徴画像の一例を示す図The figure which shows an example of a feature image ベース画像の一例を示す図Diagram showing an example of a base image 出力画像の一例を示す図A diagram showing an example of an output image 反射の一例を示す図Diagram showing an example of reflection

以下、本発明を実施するための形態について図面を用いて説明する。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings.

[実施形態1]
本実施形態では、レンダリング対象のオブジェクト表面の形状の特徴に応じて、光沢を強調する強調度合いを変える処理を行う。以下で詳しく説明する。
[Embodiment 1]
In the present embodiment, a process of changing the degree of emphasis for emphasizing gloss is performed according to the characteristics of the shape of the surface of the object to be rendered. This will be described in detail below.

<画像処理装置100のハードウェア構成>
図1は、画像処理装置100のハードウェア構成例を示す図である。画像処理装置100は、CPU101、ROM102、RAM103、ハードディスクドライブ(HDD)104、HDDインタフェース(I/F)105、入力I/F106、出力I/F107、システムバス108で構成される。CPU101は、RAM103をワークメモリとして、ROM102及びHDD104に格納されたプログラムを実行し、システムバス108を介して後述する各部を制御する。HDDI/F105は、HDD104や光ディスクドライブなどの二次記憶装置を接続する、例えばシリアルATA(SATA)等のインタフェースである。CPU101は、HDDI/F105を介した、HDD104からのデータの読み出し、およびHDD104へのデータ書き込みが可能である。さらにCPU101は、HDD104に格納されたデータをRAM103に展開し、同様に、RAM103に展開されたデータをHDD104に保存することが可能である。そしてCPU101は、RAM103に展開したデータをプログラムとみなし、実行することができる。入力I/F106は、キーボードやマウス、3Dスキャナなどの入力デバイス109を接続する、例えば、USB等のシリアルバスインタフェースである。CPU101は、入力I/F106を介して入力デバイス109から各種データを読み込むことが可能である。出力I/F107は、モニタやプリンタ等の出力デバイス110を接続する、例えばUSBやIEEE等のシリアルバスインタフェースである。CPU101は、出力I/F107を介して出力デバイス110にデータを送り、表示や記録を実行させることができる。尚、USBやIEEE等の双方向通信インタフェースを利用すれば、入力I/F106と出力I/F107を一つにまとめることができる。
<Hardware configuration of image processing device 100>
FIG. 1 is a diagram showing a hardware configuration example of the image processing device 100. The image processing device 100 includes a CPU 101, a ROM 102, a RAM 103, a hard disk drive (HDD) 104, an HDD interface (I / F) 105, an input I / F 106, an output I / F 107, and a system bus 108. The CPU 101 uses the RAM 103 as a work memory to execute programs stored in the ROM 102 and the HDD 104, and controls each part described later via the system bus 108. The HDDI / F105 is an interface such as Serial ATA (SATA) for connecting a secondary storage device such as an HDD104 or an optical disk drive. The CPU 101 can read data from the HDD 104 and write data to the HDD 104 via the HDDI / F105. Further, the CPU 101 can expand the data stored in the HDD 104 into the RAM 103, and similarly, can store the data expanded in the RAM 103 in the HDD 104. Then, the CPU 101 can regard the data expanded in the RAM 103 as a program and execute it. The input I / F 106 is a serial bus interface such as USB for connecting an input device 109 such as a keyboard, a mouse, and a 3D scanner. The CPU 101 can read various data from the input device 109 via the input I / F 106. The output I / F 107 is a serial bus interface such as USB or IEEE that connects an output device 110 such as a monitor or a printer. The CPU 101 can send data to the output device 110 via the output I / F 107 to execute display and recording. If a bidirectional communication interface such as USB or IEEE is used, the input I / F 106 and the output I / F 107 can be combined into one.

<画像処理装置100の機能構成>
図2は、画像処理装置100の機能構成を示すブロック図である。画像処理装置100は、第1取得部201、第2取得部202、算出部203、生成部204を有する。
<Functional configuration of image processing device 100>
FIG. 2 is a block diagram showing a functional configuration of the image processing apparatus 100. The image processing device 100 has a first acquisition unit 201, a second acquisition unit 202, a calculation unit 203, and a generation unit 204.

第1取得部201は、オブジェクトの形状情報と反射特性情報とから成るオブジェクトデータを、入力デバイス109や不図示のデータベースから取得する。ここで、形状情報はオブジェクト表面の形状を表すデータであり、本実施形態ではメッシュデータとする。メッシュデータは、複数の辺を有する板状の要素の集合によりオブジェクトの形状を表現するメッシュモデルの表示に必要なデータである。例えば、3次元空間内に配置された三角形の各頂点の座標データと法線ベクトルである。尚、形状情報のデータ形式は、オブジェクトの位置と形状を特定できるものであればよく、例えば、NURBS曲面などで表現されるパラメトリックモデルでもよい。また、反射特性情報は、オブジェクトの反射特性を表すデータである。本実施形態における反射特性情報は、以下の式(1)~(5)で表わされるフォンの鏡面反射モデルにおける拡散反射係数kd,環境光の反射係数ka,鏡面反射係数ks,鏡面反射指数nとする。
I=IDr+IAr+ISr・・・式(1)
Dr=IDi×k×(N・L)・・・式(2)IAr=IAi×k・・・式(3)
Sr=ISi×k×(L・R)・・・式(4)R=-E+2(N・E)N・・・式(5)
The first acquisition unit 201 acquires object data including object shape information and reflection characteristic information from an input device 109 or a database (not shown). Here, the shape information is data representing the shape of the object surface, and is used as mesh data in the present embodiment. The mesh data is data necessary for displaying a mesh model that expresses the shape of an object by a set of plate-shaped elements having a plurality of sides. For example, the coordinate data and the normal vector of each vertex of the triangle arranged in the three-dimensional space. The data format of the shape information may be any one that can specify the position and shape of the object, and may be, for example, a parametric model represented by a NURBS curved surface or the like. Further, the reflection characteristic information is data representing the reflection characteristic of the object. The reflection characteristic information in the present embodiment includes the diffuse reflectance coefficient kd, the ambient light reflection coefficient ka, the mirror surface reflection coefficient ks, and the mirror surface reflection index n in the mirror surface reflection model of the phone represented by the following equations (1) to (5). do.
I = I Dr + I Ar + I Sr ... Equation (1)
I Dr = I Di × k d × (N ・ L) ・ ・ ・ Equation (2) I Ar = I Ai × ka・ ・ ・ Equation (3)
I Sr = I Si × k s × (L ・ R) n ... equation (4) R = −E + 2 (NE) N ・ ・ ・ equation (5)

ここで、Iはオブジェクトへ入射した光源からの入射光及び環境光に対する反射光の強度、IDrはIの拡散反射成分(拡散反射光の強度)である。また、IArはIの環境光成分(オブジェクトに入射した環境光に対する反射光の強度)、ISrはIの鏡面反射成分(鏡面反射光の強度)であり、Rは反射ベクトルである。また、IDiはオブジェクトにおいて拡散反射に寄与する光源からの入射光の強度、IAiはオブジェクトに入射する環境光の強度である。また、ISiはオブジェクトにおいて鏡面反射に寄与する光源からの入射光の強度であり、N,L,Eはそれぞれ法線ベクトル、光源ベクトル、視線ベクトルである。尚、ブリン‐フォンの鏡面反射モデルなど、他の反射モデルのパラメータを反射特性情報としてもよい。取得されたオブジェクトデータは、算出部203および生成部204へ送られる。 Here, I is the intensity of the reflected light with respect to the incident light and the ambient light from the light source incident on the object, and I Dr is the diffuse reflection component (intensity of the diffuse reflected light) of I. Further, I Ar is an ambient light component of I (intensity of reflected light with respect to the ambient light incident on the object), ISr is a specular reflection component of I (intensity of specular reflected light), and R is a reflection vector. Further, IDi is the intensity of incident light from a light source that contributes to diffuse reflection in the object, and IAi is the intensity of ambient light incident on the object. Further, ISi is the intensity of incident light from a light source that contributes to specular reflection in an object, and N, L, and E are a normal vector, a light source vector, and a line-of-sight vector, respectively. The parameters of other reflection models such as the specular reflection model of Brin-Fon may be used as the reflection characteristic information. The acquired object data is sent to the calculation unit 203 and the generation unit 204.

第2取得部202は、オブジェクトのレンダリングに用いる視点情報と光源情報とからなるレンダリングパラメータを、入力I/F106を介したユーザ指示により取得する。尚、予めHDD104等の記憶装置に記憶しておいたものを取得してもよい。視点情報は、視点の位置、視点からの視線方向、視点から見る範囲(画角)である。光源情報は、光源の位置、光源から光が向かう方向(光線方向)、光源が発する光の強度である。取得されたレンダリングパラメータは、算出部203および生成部204へ送られる。 The second acquisition unit 202 acquires rendering parameters including viewpoint information and light source information used for rendering the object by a user instruction via the input I / F 106. In addition, you may acquire what was stored in the storage device such as HDD 104 in advance. The viewpoint information is the position of the viewpoint, the direction of the line of sight from the viewpoint, and the range (angle of view) seen from the viewpoint. The light source information is the position of the light source, the direction in which the light is directed from the light source (light ray direction), and the intensity of the light emitted by the light source. The acquired rendering parameters are sent to the calculation unit 203 and the generation unit 204.

算出部203は、オブジェクトデータとレンダリングパラメータとに基づいて、オブジェクト表面の形状の特徴を表す形状特徴量を算出する。詳細は後述する。算出された形状特徴量は、生成部204へ送られる。 The calculation unit 203 calculates a shape feature amount representing the shape feature of the object surface based on the object data and the rendering parameter. Details will be described later. The calculated shape feature amount is sent to the generation unit 204.

生成部204は、特徴画像生成部205、ベース画像生成部206、合成部207を有する。生成部204は、形状特徴量に応じて光沢が強調されたオブジェクトを表す出力画像を生成し出力する。オブジェクトの質感を与える要因の一つとして、反射面の法線方向の空間的な分布に基づく反射強度の変動がある。本実施形態では、広く一般に用いられている反射モデルであるフォンの鏡面反射モデルを仮定し、法線方向の変化が強度に大きく寄与する鏡面反射成分(光沢)を強調することにより、オブジェクトの質感を強調した出力画像を生成する。また、近傍メッシュ間での反射面に対する光の入射方向と視線方向とのなす角の変化が緩やかな凹凸のある曲面部よりも平坦な平面部では、反射光の強度の変動幅が小さくなり質感がわかりにくくなる。そこで本実施形態、オブジェクトの形状が平面に近いほど光沢の強調度合いを高くする。図9に反射の例を示す。図9(a)のオブジェクト901は表面に微細凹凸を持つ平板状のオブジェクトを表している。また、図9(b)のオブジェクト911は表面に微細凹凸を持つ湾曲したオブジェクトを表している。光源902からオブジェクトに対して照射すると光線903それぞれがオブジェクト901上の点で反射する。反射した光線905は、視点904に入射する。一点鎖線906は、オブジェクト901上の微細凹凸を含んだ小領域に対して、光源方向からの光線903から光が入射した際の鏡面反射を模式的に表している。通常、鏡面反射とは光の入射角と反射角が反射面に対して同一となる一方向への反射を指す。ただしオブジェクト表面の微細凹凸を含む小領域を考えると、小領域における鏡面反射は、微細凹凸の法線に応じた様々な方向へ生じて見える。すなわち、鏡面反射方向が広がりを持つように見え、この広がり方が質感となって現れる。一般的なメタリック素材では、小領域の近似平面を反射面とした際の鏡面反射方向へ向かう反射光が、最も強くなる。そのため、近似平面の鏡面反射方向と視線方向とが異なる場合、観察される鏡面反射光は相対的に弱くなる。図9(a)の曲線908は、オブジェクト901上の各点から視線方向へ向かう鏡面反射成分の強さを模式的に表している。図9(a)の例では、オブジェクト901上に近似平面の鏡面反射方向と視線方向とが一致する反射点が存在しないため、視点位置において観察される反射光の最大強度が小さくなる。これに対して、図9(b)の曲線918は、湾曲したオブジェクト911上の各点から視線方向へ向かう鏡面反射成分の強さを表している。一般に、ある面の鏡面反射光が得られる視点および光源の位置条件は、その面の法線方向に基づく狭い範囲に限定される。そのため、法線方向が様々な方向を向く湾曲したオブジェクトよりも、法線方向が一定方向を向く平面に近いオブジェクトの方が強い鏡面反射を得にくく、質感が分かりにくくなる。 The generation unit 204 includes a feature image generation unit 205, a base image generation unit 206, and a composition unit 207. The generation unit 204 generates and outputs an output image representing an object whose gloss is emphasized according to the shape feature amount. One of the factors that give the texture of an object is the fluctuation of the reflection intensity based on the spatial distribution in the normal direction of the reflection surface. In this embodiment, a specular reflection model of a phone, which is a widely used reflection model, is assumed, and the texture of the object is emphasized by emphasizing the specular reflection component (gloss) in which the change in the normal direction greatly contributes to the intensity. Generates an output image that emphasizes. In addition, in a flat surface portion where the angle between the incident direction and the line-of-sight direction of the light between the neighboring meshes is gradual and uneven, the fluctuation range of the reflected light intensity becomes smaller and the texture becomes smaller. Becomes difficult to understand. Therefore, in this embodiment, the closer the shape of the object is to a flat surface, the higher the degree of emphasis on gloss. FIG. 9 shows an example of reflection. The object 901 in FIG. 9A represents a flat plate-like object having fine irregularities on its surface. Further, the object 911 in FIG. 9B represents a curved object having fine irregularities on the surface. When the object is irradiated from the light source 902, each of the light rays 903 is reflected at a point on the object 901. The reflected light ray 905 is incident on the viewpoint 904. The alternate long and short dash line 906 schematically represents specular reflection when light is incident from the light ray 903 from the light source direction on a small region including fine irregularities on the object 901. Usually, specular reflection refers to reflection in one direction in which the incident angle and the reflection angle of light are the same with respect to the reflecting surface. However, considering a small region including fine irregularities on the surface of the object, specular reflection in the small region appears to occur in various directions according to the normal of the fine irregularities. That is, the specular reflection direction seems to have a spread, and this spread appears as a texture. In a general metallic material, the reflected light directed to the specular reflection direction is the strongest when the approximate plane of a small region is used as the reflection surface. Therefore, when the specular reflection direction and the line-of-sight direction of the approximate plane are different, the observed specular reflected light is relatively weak. The curve 908 of FIG. 9A schematically represents the intensity of the specular reflection component from each point on the object 901 toward the line of sight. In the example of FIG. 9A, since there is no reflection point on the object 901 where the specular reflection direction and the line-of-sight direction of the approximate plane coincide with each other, the maximum intensity of the reflected light observed at the viewpoint position is reduced. On the other hand, the curve 918 of FIG. 9B shows the intensity of the specular reflection component from each point on the curved object 911 toward the line of sight. In general, the position conditions of the viewpoint and the light source from which the specularly reflected light of a certain surface is obtained are limited to a narrow range based on the normal direction of the surface. Therefore, it is more difficult to obtain strong specular reflection and the texture is difficult to understand for an object close to a plane whose normal direction is oriented in a certain direction than for a curved object whose normal direction is oriented in various directions.

以下、生成部204を構成する各部について説明する。尚、各部における処理の詳細は後述する。 Hereinafter, each part constituting the generation part 204 will be described. The details of the processing in each part will be described later.

特徴画像生成部205は、光源からの入射光のオブジェクトにおける鏡面反射成分を求め、これに形状特徴量に応じた強調処理を施して特徴画像データを生成する。生成した特徴画像データは、合成部207へ送られる。 The feature image generation unit 205 obtains a specular reflection component of an object of incident light from a light source, and performs enhancement processing according to the shape feature amount to generate feature image data. The generated feature image data is sent to the synthesis unit 207.

ベース画像生成部206は、光源からの入射光のオブジェクトにおける拡散反射成分と環境光のオブジェクトにおける反射光の強度とを求めてベース画像データを生成する。生成したベース画像データは、合成部207へ送られる。 The base image generation unit 206 obtains the diffuse reflection component in the object of the incident light from the light source and the intensity of the reflected light in the object of the ambient light, and generates the base image data. The generated base image data is sent to the compositing unit 207.

合成部207は、特徴画像データとベース画像データとを合成して出力画像データを生成する。 The synthesizing unit 207 synthesizes the feature image data and the base image data to generate output image data.

<画像処理装置100が実行する処理>
図3は、画像処理装置100における一連の処理の動作手順を示すフローチャートである。この一連の処理は、以下に示す手順を記述したコンピュータ実行可能なプログラムを、ROM102あるいはHDD104からRAM103上に読み込んだ後に、CPU101によって該プログラムを実行することによって実現される。以下、各ステップ(工程)は符号の前にSをつけて表す。
<Processes executed by the image processing device 100>
FIG. 3 is a flowchart showing an operation procedure of a series of processes in the image processing apparatus 100. This series of processes is realized by reading a computer-executable program describing the procedure shown below from the ROM 102 or the HDD 104 onto the RAM 103, and then executing the program by the CPU 101. Hereinafter, each step (process) is represented by adding S in front of the reference numeral.

S301において、第1取得部201は、オブジェクトデータを取得する。第2取得部202は、レンダリングパラメータを取得する。S302において、算出部203は、S301で取得したオブジェクトデータとレンダリングパラメータに基づいて形状特徴量を算出する。本実施形態では、オブジェクト表面の法線に基づきオブジェクトの概形を構成する面を求め、その各面内における法線方向のばらつき度合い(分散)を形状特徴量として算出する。ここで、オブジェクトの概形を構成する面とは、オブジェクトを大局的に見た場合(すなわち、表面の微細凹凸を無視して見た場合)に法線ベクトルが類似しているひとつながりの隣接したメッシュの集合である。以下に、形状特徴量を算出する処理の詳細を示す。 In S301, the first acquisition unit 201 acquires object data. The second acquisition unit 202 acquires rendering parameters. In S302, the calculation unit 203 calculates the shape feature amount based on the object data acquired in S301 and the rendering parameter. In the present embodiment, the planes constituting the outline of the object are obtained based on the normals of the surface of the object, and the degree of variation (dispersion) in the normal direction in each plane is calculated as the shape feature amount. Here, the faces that make up the outline of the object are adjacent to each other whose normal vectors are similar when the object is viewed from a global perspective (that is, when the fine irregularities on the surface are ignored). It is a set of meshes. The details of the process for calculating the shape feature amount are shown below.

まず、オブジェクトデータとレンダリングパラメータとに基づき、オブジェクトを構成するメッシュのうちレンダリングの画角内に含まれるものに関して、その法線ベクトルを画素値として記録した法線画像を生成する。本実施形態では、一般的な投影変換式である式(6)を用いて3次元空間中におけるメッシュの頂点座標(x,y,z)を2次元画像上での画素位置(i,j)に変換する。この頂点に対応する法線ベクトル(nx,ny,nz)を画素(i,j)の画素値N(i,j)として記録する。 First, based on the object data and the rendering parameters, a normal image is generated in which the normal vector of the mesh constituting the object included in the angle of view of the rendering is recorded as a pixel value. In the present embodiment, the vertex coordinates (x, y, z) of the mesh in the three-dimensional space are set to the pixel positions (i, j) on the two-dimensional image by using the formula (6) which is a general projection conversion formula. Convert to. The normal vector (nx, ny, nz) corresponding to this vertex is recorded as the pixel value N (i, j) of the pixel (i, j).

Figure 0007016646000001
Figure 0007016646000001

ここで、M,M,Mはそれぞれレンダリングパラメータから定まるスクリーン変換行列、射影変換行列、ビュー変換行列である。メッシュ内部に相当する画素については、メッシュを構成する各頂点に対応する法線ベクトルから補間した値を格納する。以上で説明した法線画像(各画素に画素値N(i,j)が記録された2次元画像)の生成には、コンピュータグラフィックスにおける公知のレンダリング処理を利用可能であるため、詳細な説明を省略する。 Here, M s , M p , and M v are a screen transformation matrix, a projective transformation matrix, and a view transformation matrix determined from the rendering parameters, respectively. For the pixels corresponding to the inside of the mesh, the values interpolated from the normal vector corresponding to each vertex constituting the mesh are stored. Since a known rendering process in computer graphics can be used for generating the normal image (a two-dimensional image in which a pixel value N (i, j) is recorded in each pixel) described above, a detailed description thereof will be given. Is omitted.

次に、生成した法線画像に平滑化処理を施すことによって微細凹凸による法線の変動を除去した平滑化法線画像を生成し、この平滑化法線画像に対して領域分割を行う。平滑化には公知のガウシアンフィルタを用いる。平滑化法線画像の画素値をN’(i,j)とする。尚、平滑化には移動平均フィルタやメディアンフィルタ等を用いても良い。また、領域分割には公知の領域成長法を用いる。尚、ヒストグラムに基づく閾値処理など、他の公知の手法を用いても良い。領域分割によって得られる各領域は、その内部において法線ベクトルがおおよそ類似した方向を向く領域となるので、オブジェクトの概形を構成する面とみなすことができる。 Next, the generated normal image is subjected to a smoothing process to generate a smoothed normal image in which fluctuations in the normal due to fine irregularities are removed, and the smoothed normal image is divided into regions. A known Gaussian filter is used for smoothing. Let the pixel value of the smoothed normal image be N'(i, j). A moving average filter, a median filter, or the like may be used for smoothing. Further, a known region growth method is used for region division. In addition, other known methods such as threshold processing based on a histogram may be used. Each region obtained by the region division is a region in which the normal vector points in substantially the same direction, and thus can be regarded as a surface constituting the outline of the object.

次に、平滑化法線画像の各画素(i,j)について、式(7)及び式(8)に従い形状特徴量F(i,j)を算出する。 Next, for each pixel (i, j) of the smoothed normal image, the shape feature amount F (i, j) is calculated according to the equations (7) and (8).

Figure 0007016646000002
Figure 0007016646000002

Figure 0007016646000003
Figure 0007016646000003

ここで、Rは領域分割により得られた領域のうち画素(i,j)が含まれる領域であり、num(R)は領域R内の画素数である。また、θ(i,j)は平滑化後の法線ベクトルN’(i,j)と、予め定めた基準ベクトルN(例えば(1,0,0))とのなす角を表わす。式(7)の形状特徴量F(i,j)は、画素(i,j)が含まれる領域R内における平滑化後の法線ベクトルN’(i,j)の向きの分散に相当し、画素(i,j)が属する領域に対応するオブジェクトの表面が平面に近いほどその値がゼロに近づく。図5(a)に示すオブジェクトについて領域分割した法線画像を図5(b)に示し、形状特徴量を明度として表した図を図5(c)に示す。この図の例では、表面が平らである直方体501では形状特徴量が小さく、表面が曲面である球体502では形状特徴量が大きくなる。以上の処理により法線画像の各画素について形状特徴量F(i,j)を算出することができる。 Here, R k is a region including pixels (i, j) in the region obtained by region division, and num (R k ) is the number of pixels in the region R k . Further, θ (i, j) represents the angle formed by the smoothed normal vector N'(i, j) and the predetermined reference vector N 0 (for example, (1, 0, 0)). The shape feature amount F (i, j ) in the equation (7) corresponds to the dispersion of the direction of the smoothed normal vector N'(i, j) in the region Rk including the pixel (i, j). Then, the closer the surface of the object corresponding to the region to which the pixel (i, j) belongs to the plane, the closer the value approaches zero. The area-divided normal image of the object shown in FIG. 5 (a) is shown in FIG. 5 (b), and the figure showing the shape feature amount as the brightness is shown in FIG. 5 (c). In the example of this figure, the rectangular parallelepiped 501 having a flat surface has a small amount of shape features, and the sphere 502 having a curved surface has a large amount of shape features. By the above processing, the shape feature amount F (i, j) can be calculated for each pixel of the normal image.

S303において、生成部204は、S301で取得したオブジェクトデータ及びレンダリングパラメータと、S302で算出した形状特徴量とを用いて出力画像を生成する。本実施形態では、反射光の鏡面反射成分をオブジェクトの質感における特徴的な反射成分とみなし、オブジェクトの形状が平面に近い部分ほど鏡面反射成分を強調した出力画像を生成する。図4は出力画像を生成する処理(S303)の詳細を示すフローチャートである。 In S303, the generation unit 204 generates an output image using the object data and rendering parameters acquired in S301 and the shape feature amount calculated in S302. In the present embodiment, the specular reflection component of the reflected light is regarded as a characteristic reflection component in the texture of the object, and an output image in which the specular reflection component is emphasized as the shape of the object is closer to the plane is generated. FIG. 4 is a flowchart showing the details of the process (S303) for generating an output image.

S401において、特徴画像生成部205は、式(4)及び式(5)に平滑化前の法線ベクトルN(i,j)を与えることによって、法線画像の各画素(i,j)に対応する鏡面反射成分ISr(i,j)を算出する。さらに、S302で算出した形状特徴量F(i,j)を用いて、法線画像の各画素(i,j)に対応する鏡面反射成分を式(9)~(11)に従い強調する。
I’Sr(i,j)=ISr(i,j)×FEmphasize(i,j) ・・・式(9)
Emphasize(i,j)=α×FFlat(i,j)+1 ・・・式(10)
Flat(i,j)=1/(1+F(i,j)) ・・・式(11)
In S401, the feature image generation unit 205 gives the normal vector N (i, j) before smoothing to the equations (4) and (5) to each pixel (i, j) of the normal image. The corresponding specular reflection component ISr (i, j) is calculated. Further, using the shape feature amount F (i, j) calculated in S302, the specular reflection component corresponding to each pixel (i, j) of the normal image is emphasized according to the equations (9) to (11).
I'Sr (i, j) = I Sr ( i, j) × F Emphasize (i, j) ... Equation (9)
F Emphasize (i, j) = α × F Flat (i, j) +1 ... Equation (10)
F Flat (i, j) = 1 / (1 + F (i, j)) ... Equation (11)

ここで、式(10)のFEmphasize(i,j)は画素(i,j)に対する強調度合いでああり、式(11)のFFlat(i,j)は画素(i,j)における平面度合いである。また、α(>0)は強調度合いの高さの上限を規定するパラメータであり、入力I/F106を介したユーザ指示により取得してもよいし、予め定めた定数を用いてもよい。式(9)により得られた鏡面反射成分I’Sr(i,j)は、形状特徴量が小さい(表面形状が平面に近い)ほど元の鏡面反射成分ISr(i,j)よりも大きくなる。また、式(9)では平滑化前の法線ベクトルNを用いて算出した鏡面反射成分に強調度合いを乗算するため、法線方向の空間的な分布に基づく反射強度の変動ごと強調される。図6(a)、(b)に、それぞれ強調前の鏡面反射成分と強調後の鏡面反射成分の例を示す。直方体501の鏡面反射成分は、球体502よりもより強く強調される。得られた強調後の鏡面反射成分I’Sr(i,j)は、特徴画像の画素値として各画素に記録され、合成部207へ送られる。本実施形態では、S302において領域ごとに形状特徴量を算出することにより、少数の鋭いエッジを持ち、大部分が平面であるようなオブジェクト(例えば、階段状のオブジェクト)の平面部分について、エッジ部分の法線方向の変化に依らず、強調度合いを高めることができる。尚、S302で分割した領域間において強調度合いが急激に変化することにより不自然な画像とならないよう、近傍領域間において形状特徴量F(i,j)あるいは平面度合い又は強調度合いを平滑化してから鏡面反射成分を強調してもよい。平滑化処理については、上記と同様に、公知のフィルタ処理を用いる。 Here, the F Emphasize (i, j) in the equation (10) is the degree of emphasis on the pixel (i, j), and the F Flat (i, j) in the equation (11) is the plane in the pixel (i, j). The degree. Further, α (> 0) is a parameter that defines the upper limit of the degree of emphasis, and may be acquired by a user instruction via the input I / F 106, or a predetermined constant may be used. The specular reflection component I'Sr (i, j) obtained by the formula (9) is larger than the original specular reflection component I Sr ( i, j) as the shape feature amount is smaller (the surface shape is closer to a plane). Become. Further, in the equation (9), since the specular reflection component calculated by using the normal vector N before smoothing is multiplied by the degree of enhancement, each change in the reflection intensity based on the spatial distribution in the normal direction is emphasized. FIGS. 6A and 6B show examples of the specular reflection component before emphasis and the specular reflection component after enhancement, respectively. The specular reflection component of the rectangular parallelepiped 501 is emphasized more strongly than the sphere 502. The obtained specular reflection component I'Sr (i, j) after enhancement is recorded in each pixel as a pixel value of the feature image and sent to the synthesis unit 207. In the present embodiment, by calculating the shape feature amount for each region in S302, the edge portion of the plane portion of an object having a small number of sharp edges and most of which is a plane (for example, a stepped object). The degree of emphasis can be increased regardless of the change in the normal direction of. It should be noted that the shape feature amount F (i, j) or the flatness or the emphasis is smoothed between the neighboring regions so that the image does not become unnatural due to the sudden change in the emphasis between the regions divided by S302. The specular reflection component may be emphasized. As for the smoothing process, a known filter process is used in the same manner as described above.

S402において、ベース画像生成部206は、式(2)によってIDrを算出し、式(3)によってIArを算出する。式(2)のNには、平滑化前の法線ベクトルN(i,j)を用いる。さらに、S401で生成した特徴画像の各画素(i,j)に対応する鏡面反射成分以外の反射成分IDAr(i,j)を式(12)に従い算出する。鏡面反射成分以外の反射成分は、拡散反射成分の強度と環境光成分の強度との和である。
DAr(i,j)=IDr(i,j)+IAr(i,j)・・・式(12)
In S402, the base image generation unit 206 calculates I Dr by the equation (2) and I Ar by the equation (3). For N in equation (2), the normal vector N (i, j) before smoothing is used. Further, the reflection component I DA (i, j) other than the specular reflection component corresponding to each pixel (i, j) of the feature image generated in S401 is calculated according to the equation (12). The reflection component other than the specular reflection component is the sum of the intensity of the diffuse reflection component and the intensity of the ambient light component.
I DA (i, j) = I Dr (i, j) + I Ar (i, j) ... Equation (12)

図7に、鏡面反射成分以外の反射成分の例を示す。得られた鏡面反光成分以外の反射成分IDAr(i,j)は、ベース画像の画素値として各画素に記録され、合成部207へ送られる。 FIG. 7 shows an example of a reflection component other than the specular reflection component. The obtained reflection component I DAr (i, j) other than the mirror surface reflection component is recorded in each pixel as a pixel value of the base image and sent to the compositing unit 207.

S403において、合成部207は、S401で生成した特徴画像とS402で生成したベース画像とを式(13)に従い合成し、これを出力画像とする。
I′(i,j)=I′Sr(i,j)+IDAr(i,j)・・・式(13)
In S403, the synthesizing unit 207 synthesizes the feature image generated in S401 and the base image generated in S402 according to the equation (13), and uses this as an output image.
I'(i, j) = I'Sr (i, j) + I DAr (i, j) ... Equation (13)

図8(a)に、S401における強調処理を行わずにレンダリングした画像の例を示す。また、図8(b)に、本実施形態における出力画像の例を示す。図8(b)の出力画像では、図8(a)のレンダリング画像に比べ、平坦な面で構成される直方体501の光沢が強調されており、よりオブジェクトの質感が強調して表現された画像となる。出力画像の生成処理によって得られた出力画像を表す出力画像データは、出力I/F107を介して出力デバイス110へ出力される。あるいは、HDD104等の記憶装置に記録される。 FIG. 8A shows an example of an image rendered without the enhancement process in S401. Further, FIG. 8B shows an example of an output image in the present embodiment. In the output image of FIG. 8 (b), the gloss of the rectangular parallelepiped 501 composed of flat surfaces is emphasized as compared with the rendered image of FIG. 8 (a), and the texture of the object is emphasized and expressed. It becomes. The output image data representing the output image obtained by the output image generation process is output to the output device 110 via the output I / F 107. Alternatively, it is recorded in a storage device such as HDD 104.

以上で説明した本実施形態によれば、オブジェクト表面の形状を考慮して、当該オブジェクトの光沢を強調することができ、これによりオブジェクトの質感を知覚しやすい画像を容易に生成することが可能となる。 According to the present embodiment described above, the gloss of the object can be emphasized in consideration of the shape of the surface of the object, whereby it is possible to easily generate an image in which the texture of the object is easily perceived. Become.

<変形例>
尚、S302において、法線画像を分割した領域ごとに形状特徴量を算出したが、法線画像全体から(領域分割せずに)1つの形状特徴量を求めてもよい。また、法線画像を生成せずに、オブジェクト表面の法線ベクトルから直接そのばらつき(分散)を求めて形状特徴量としてもよい。また、法線ベクトルのばらつき以外にも、オブジェクト表面の曲率を形状特徴量としてもよい。
<Modification example>
In S302, the shape feature amount is calculated for each region where the normal image is divided, but one shape feature amount may be obtained from the entire normal image (without dividing the region). Further, the variation (variance) may be obtained directly from the normal vector on the surface of the object and used as the shape feature amount without generating the normal image. In addition to the variation of the normal vector, the curvature of the object surface may be used as the shape feature quantity.

また、S401の特徴画像の生成において、式(9)を用いて鏡面反射成分を強調する例を説明したが、形状特徴量に応じてガンマ曲線やS字曲線を設定し、これに基づくトーンカーブ補正を用いて鏡面反射成分を強調しても良い。 Further, in the generation of the feature image of S401, an example of emphasizing the specular reflection component using the equation (9) has been described. However, a gamma curve or an S-shaped curve is set according to the shape feature amount, and a tone curve based on the gamma curve or the S-shaped curve is set. The specular reflection component may be emphasized by using the correction.

[実施形態2]
オブジェクト表面の法線方向は、面の向きによって定まる。また、拡散反射光や鏡面反射光の強度は、一般に式(2)や式(4)のような法線方向の関数でモデル化される。そのため、オブジェクトの表面形状の特徴は反射光にも現れる。例えば、オブジェクトの形状が平面であった場合、その法線方向は場所に依らず一定となり、面が様々な方向を向く複雑な形状の場合と比べて反射光の強度のばらつきが小さくなる。そこで、本実施形態では反射光の強度のばらつき度合いを形状特徴量として用いる。実施形態1と本実施形態とは、先述したS302における形状特徴量の算出方法が異なる。以下、実施形態1と異なる点を中心に簡潔に説明する。
[Embodiment 2]
The normal direction of the object surface is determined by the orientation of the surface. Further, the intensity of diffusely reflected light and specularly reflected light is generally modeled by a function in the normal direction such as Eq. (2) and Eq. (4). Therefore, the characteristics of the surface shape of the object also appear in the reflected light. For example, when the shape of an object is a plane, its normal direction is constant regardless of the location, and the variation in the intensity of reflected light becomes smaller than in the case of a complicated shape in which a surface faces various directions. Therefore, in the present embodiment, the degree of variation in the intensity of the reflected light is used as the shape feature amount. The method of calculating the shape feature amount in S302 described above is different between the first embodiment and the present embodiment. Hereinafter, the points different from those of the first embodiment will be briefly described.

まず、S301において取得したオブジェクトデータとレンダリングパラメータとに基づき、通常のレンダリングを行って基準画像を生成する。すなわち、オブジェクトを構成するメッシュのうちレンダリングの画角内に含まれるものに関して、その反射光の強度Iを式(1)に従い算出し、基準画像の画素値として記録する。 First, based on the object data acquired in S301 and the rendering parameters, normal rendering is performed to generate a reference image. That is, the intensity I of the reflected light of the mesh constituting the object included in the angle of view of the rendering is calculated according to the equation (1) and recorded as the pixel value of the reference image.

次に、S302において、基準画像の画素値I(i,j)を用いて反射光の強度のばらつき度合いを算出し、これを形状特徴量とする。本実施形態では、式(14)に示すI(i,j)の標準偏差σをばらつき度合いとして用いる。 Next, in S302, the degree of variation in the intensity of the reflected light is calculated using the pixel values I (i, j) of the reference image, and this is used as the shape feature amount. In this embodiment, the standard deviation σ of I (i, j) shown in the equation (14) is used as the degree of variation.

Figure 0007016646000004
Figure 0007016646000004

ここで、Imgは基準画像全体を表しており、num(Img)は基準画像の画素数である。 Here, Img represents the entire reference image, and num (Img) is the number of pixels of the reference image.

最後にS303において、形状特徴量σに基づいて光沢の強調度合いを算出し、この度合いに従って光沢を強調した出力画像を生成する。具体的には、実施形態1における形状特徴量F(i,j)を本実施形態における形状特徴量σに置き換え、実施形態1と同様の処理を適用すればよい。このとき、式(10)により得られる強調度合いは、反射光を表す基準画像の画素値の変動が小さい場合に大きな値となる。 Finally, in S303, the degree of gloss enhancement is calculated based on the shape feature amount σ, and an output image in which the gloss is emphasized is generated according to this degree. Specifically, the shape feature amount F (i, j) in the first embodiment may be replaced with the shape feature amount σ in the present embodiment, and the same processing as in the first embodiment may be applied. At this time, the degree of enhancement obtained by the equation (10) becomes a large value when the fluctuation of the pixel value of the reference image representing the reflected light is small.

以上で説明した実施形態2によれば、オブジェクトの反射光の強度に基づいて当該オブジェクトの形状を考慮し、当該オブジェクトの光沢を強調することができる。これによりオブジェクトの質感を知覚しやすい画像を容易に生成することが可能となる。 According to the second embodiment described above, the shape of the object can be considered based on the intensity of the reflected light of the object, and the gloss of the object can be emphasized. This makes it possible to easily generate an image in which the texture of the object is easily perceived.

なお、レンダリングの画角内に複数のオブジェクトが含まれる場合には、オブジェクトごとに対応する画像領域を抽出し、領域ごとに形状特徴量を算出してもよい。その場合、オブジェクトごとに異なる度合いで光沢を強調することができる。 When a plurality of objects are included in the angle of view of rendering, the corresponding image area may be extracted for each object and the shape feature amount may be calculated for each area. In that case, the gloss can be emphasized to a different degree for each object.

[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
[Other embodiments]
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

100 画像処理装置
201 第1取得部
202 第2取得部
203 算出部
204 生成部
100 Image processing device 201 1st acquisition unit 202 2nd acquisition unit 203 Calculation unit 204 Generation unit

Claims (11)

オブジェクト表面の形状を表す形状情報と前記オブジェクトの反射特性を表す反射特性情報とを取得する第1取得手段と、
前記オブジェクトを見る視点に関する視点情報と、前記オブジェクトに光を当てる光源に関する光源情報とを取得する第2取得手段と、
前記反射特性情報と前記視点情報と前記光源情報と前記形状情報とに基づいて、前記オブジェクトを表す画像データにおいて、前記形状の平面度合いが高いほど強調度合いを上げるように、前記オブジェクトの光の反射強度を強調する強調手段と、
前記強調手段によって前記光の反射強度が強調された前記オブジェクトを表す前記画像データを出力する出力手段と、を有し、
前記形状の平面度合いは、前記オブジェクト表面の微細な凹凸形状とは異なる大局的な形状の平面度合いであることを特徴とする画像処理装置。
A first acquisition means for acquiring shape information representing the shape of an object surface and reflection characteristic information representing the reflection characteristics of the object, and
A second acquisition means for acquiring viewpoint information regarding a viewpoint for viewing the object and light source information regarding a light source that illuminates the object.
Based on the reflection characteristic information, the viewpoint information, the light source information, and the shape information, the reflection of light of the object so as to increase the degree of emphasis as the degree of flatness of the shape increases in the image data representing the object. A means of emphasizing strength and
It has an output means for outputting the image data representing the object whose reflection intensity of light is emphasized by the enhancement means.
An image processing apparatus characterized in that the degree of flatness of the shape is a degree of flatness of a global shape different from the fine uneven shape of the surface of the object .
前記形状の平面度合いが高い場合とは、前記大局的な形状における法線の分散が小さい場合であることを特徴とする請求項1に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the case where the flatness of the shape is high is the case where the dispersion of normals in the global shape is small. 前記形状の平面度合いが高い場合とは、前記反射特性情報と前記視点情報と前記光源情報と前記形状情報とに基づいて得られる、前記大局的な形状における光の反射強度の分散が小さい場合であることを特徴とする請求項1に記載の画像処理装置。 The case where the flatness of the shape is high is the case where the dispersion of the light reflection intensity in the global shape obtained based on the reflection characteristic information, the viewpoint information, the light source information, and the shape information is small. The image processing apparatus according to claim 1, wherein the image processing apparatus is provided. 前記視点情報は、前記視点の位置及び、前記視点からの視線方向及び、前記視点から見る範囲であることを特徴とする請求項1乃至請求項3のいずれか一項に記載の画像処理装置。 The image processing apparatus according to any one of claims 1 to 3, wherein the viewpoint information is a position of the viewpoint, a line-of-sight direction from the viewpoint, and a range seen from the viewpoint. 前記光源情報は、前記光源の位置及び、前記光源からの光が向かう方向及び、前記光源が発する光の強度であることを特徴とする請求項1乃至請求項4のいずれか一項に記載の画像処理装置。 The light source information according to any one of claims 1 to 4, wherein the light source information is the position of the light source, the direction in which the light from the light source is directed, and the intensity of the light emitted by the light source. Image processing device. 前記強調手段は、前記形状の平面度合いと比例の関係にある前記光の反射強度を強調するための前記強調度合いに基づいて、前記オブジェクトの光の反射強度を強調することを特徴とする請求項1乃至請求5のいずれか一項に記載の画像処理装置。 The enhancing means is characterized in that it emphasizes the light reflection intensity of the object based on the enhancement degree for enhancing the light reflection intensity which is proportional to the flatness degree of the shape. The image processing apparatus according to any one of 1 to 5. 前記強調手段は、前記オブジェクトの領域ごとに光の反射強度を強調することを特徴とする請求項1乃至請求項6のいずれか一項に記載の画像処理装置。 The image processing apparatus according to any one of claims 1 to 6, wherein the enhancing means enhances the reflection intensity of light for each region of the object. 前記オブジェクトの近傍の領域間で前記強調度合いを平滑化する平滑化手段をさらに有し、
前記強調手段は、前記平滑化手段によって平滑化された前記強調度合いに基づいて、前記オブジェクトの領域ごとに光の反射強度を強調することを特徴とする請求項7に記載の画像処理装置。
Further having a smoothing means for smoothing the degree of emphasis between regions in the vicinity of the object.
The image processing apparatus according to claim 7, wherein the enhancing means enhances the reflection intensity of light for each region of the object based on the enhancement degree smoothed by the smoothing means.
前記強調手段は、前記形状の平面度合いに応じて設定されたガンマ曲線又はS字曲線に基づいたトーンカーブ補正によって、前記オブジェクトの光の反射強度を強調することを特徴とする請求項1乃至請求項8のいずれか一項に記載の画像処理装置。 1. Item 8. The image processing apparatus according to any one of items 8. コンピュータを、請求項1乃至請求項9のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。 A program for making a computer function as each means of the image processing apparatus according to any one of claims 1 to 9. オブジェクト表面の形状を表す形状情報と前記オブジェクトの反射特性を表す反射特性情報とを取得する第1取得ステップと、
前記オブジェクトを見る視点に関する視点情報と、前記オブジェクトに光を当てる光源に関する光源情報とを取得する第2取得ステップと、
前記反射特性情報と前記視点情報と前記光源情報と前記形状情報とに基づいて、前記オブジェクトを表す画像データにおいて、前記形状の平面度合いが高いほど強調度合いを上げるように、前記オブジェクトの光の反射強度を強調する強調ステップと、
前記強調ステップによって前記光の反射強度が強調された前記オブジェクトを表す前記画像データを出力する出力ステップと、を有し、
前記形状の平面度合いは、前記オブジェクト表面の微細な凹凸形状とは異なる大局的な形状の平面度合いであることを特徴とする画像処理方法。
The first acquisition step of acquiring the shape information representing the shape of the object surface and the reflection characteristic information representing the reflection characteristic of the object, and
A second acquisition step of acquiring viewpoint information regarding a viewpoint for viewing the object and light source information regarding a light source that illuminates the object.
Based on the reflection characteristic information, the viewpoint information, the light source information, and the shape information, the reflection of light of the object so as to increase the degree of emphasis as the degree of flatness of the shape increases in the image data representing the object. An emphasis step that emphasizes strength, and
It has an output step for outputting the image data representing the object whose reflection intensity of light is enhanced by the enhancement step.
An image processing method characterized in that the flatness of the shape is a flatness of a global shape different from the fine uneven shape of the object surface .
JP2017167752A 2016-11-28 2017-08-31 Image processing equipment, image processing methods and programs Expired - Fee Related JP7016646B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/818,560 US10565780B2 (en) 2016-11-28 2017-11-20 Image processing apparatus, image processing method, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016229694 2016-11-28
JP2016229694 2016-11-28

Publications (2)

Publication Number Publication Date
JP2018092594A JP2018092594A (en) 2018-06-14
JP7016646B2 true JP7016646B2 (en) 2022-02-07

Family

ID=62565654

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017167752A Expired - Fee Related JP7016646B2 (en) 2016-11-28 2017-08-31 Image processing equipment, image processing methods and programs

Country Status (1)

Country Link
JP (1) JP7016646B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7762060B2 (en) * 2021-12-20 2025-10-29 キヤノン株式会社 Information processing device, information processing method, and program
JP2024025926A (en) * 2022-08-15 2024-02-28 富士フイルムビジネスイノベーション株式会社 Information processing equipment and programs

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000057372A (en) 1998-08-10 2000-02-25 Taito Corp Image processor, image processing method and storage medium
JP2006031595A (en) 2004-07-21 2006-02-02 Hiroshima Industrial Promotion Organization Image processing device
JP2015197744A (en) 2014-03-31 2015-11-09 キヤノン株式会社 Information processing device, measurement system, information processing method, and program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9769392B1 (en) * 2014-06-27 2017-09-19 Amazon Technologies, Inc. Imaging system for addressing specular reflection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000057372A (en) 1998-08-10 2000-02-25 Taito Corp Image processor, image processing method and storage medium
JP2006031595A (en) 2004-07-21 2006-02-02 Hiroshima Industrial Promotion Organization Image processing device
JP2015197744A (en) 2014-03-31 2015-11-09 キヤノン株式会社 Information processing device, measurement system, information processing method, and program

Also Published As

Publication number Publication date
JP2018092594A (en) 2018-06-14

Similar Documents

Publication Publication Date Title
US10565780B2 (en) Image processing apparatus, image processing method, and storage medium
US9202309B2 (en) Methods and apparatus for digital stereo drawing
US8576225B2 (en) Seamless fracture in a production pipeline
JP2002183761A (en) Image generation method and apparatus
US10902674B2 (en) Creating a geometric mesh from depth data using an index indentifying unique vectors
CN109102559A (en) three-dimensional model processing method and device
US11205301B2 (en) Systems and methods for optimizing a model file
KR20120104071A (en) 3d image visual effect processing method
KR102285840B1 (en) Method for rendering image and Image outputting device thereof
CN103238168A (en) Image processing apparatus, image processing method, and image processing program
JP7614801B2 (en) Image processing device, image processing method and program
US11107267B2 (en) Image generation apparatus, image generation method, and program
JP7016646B2 (en) Image processing equipment, image processing methods and programs
JP5526239B2 (en) Method, device, and computer-readable medium for generating digital pictures
US9665955B1 (en) Pose-space shape fitting
JP3629243B2 (en) Image processing apparatus and method for rendering shading process using distance component in modeling
KR102331952B1 (en) 2D Rendering Device and Its Method according to 3D Data Viewport
JP5795556B2 (en) Shadow information deriving device, shadow information deriving method and program
JP4764963B2 (en) Image processing device
US11880940B1 (en) Systems and methods for the continuous presentation of point clouds
JP2021081791A (en) Image processing device, image processing method, and program
US20240331299A1 (en) Joint uv optimization and texture baking
JP7020075B2 (en) Image processing equipment and programs
JP2016119041A (en) Image processing system, image processor, image processing method, program and recording medium
CN121392117A (en) Three-dimensional reconstruction method and device for reflective object

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220126

R151 Written notification of patent or utility model registration

Ref document number: 7016646

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees