JP7540981B2 - Computer generated hologram generating device, method and program - Google Patents
Computer generated hologram generating device, method and program Download PDFInfo
- Publication number
- JP7540981B2 JP7540981B2 JP2021139238A JP2021139238A JP7540981B2 JP 7540981 B2 JP7540981 B2 JP 7540981B2 JP 2021139238 A JP2021139238 A JP 2021139238A JP 2021139238 A JP2021139238 A JP 2021139238A JP 7540981 B2 JP7540981 B2 JP 7540981B2
- Authority
- JP
- Japan
- Prior art keywords
- polygon
- backface
- partial
- hologram
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Holo Graphy (AREA)
- Image Generation (AREA)
Description
本発明は、計算機合成ホログラム(Computer-Generated Hologram, CGH)の一種である「連続視差ホログラム」の生成を高速かつ高品質に行う計算機合成ホログラム生成装置、方法及びプログラムに関する。 The present invention relates to a computer-generated hologram generating device, method, and program that generates a "continuous parallax hologram," a type of computer-generated hologram (CGH), quickly and with high quality.
CGHはホログラムの計算のために必要となる光波の伝搬や干渉などの計算を計算機内部で光波シミュレーションし、干渉縞を画像に代表される電子データとして出力する技術である。 CGH is a technology that uses a computer to perform light wave simulations of the propagation and interference of light waves required to calculate holograms, and outputs interference fringes as electronic data such as an image.
3Dのコンピュータグラフィックスを入力として、そのCGHを計算する際は、再生像をさまざまな視点から見た際でも整合性が取れるように、視点位置に応じた隠面消去が成された再生像を表示可能なCGHを計算する必要がある。 When calculating a CGH from 3D computer graphics as input, it is necessary to calculate a CGH that can display a reconstructed image with hidden surfaces removed according to the viewpoint position so that the reconstructed image is consistent when viewed from various viewpoints.
視点位置に応じた隠面消去を正確に実現する計算手法として、非特許文献1には連続視差ホログラムが提案されている。図16は、非特許文献1が提案する連続視差ホログラムの計算処理フローを示した図であり、以下の手順で計算が成される。 Non-Patent Document 1 proposes continuous parallax holograms as a calculation method for accurately realizing hidden surface removal according to the viewpoint position. Figure 16 shows the calculation process flow for continuous parallax holograms proposed in Non-Patent Document 1, and the calculation is performed in the following steps.
手順(a):ポリゴンモデルで構成される3Dシーンが入力される。このモデルに対し、ホログラム面の中心から所定の角度で仮想の光線を放出するレイトレーシングを行い、光線とポリゴンモデルとの交点を計算する。次いで、従来のシェーディング技術(フォンシェーディング)に基づき当該交点の色を計算した後、当該交点位置に前記計算した色を有する点光源が存在するものとして3D点群を得る。 Step (a): A 3D scene composed of a polygon model is input. Ray tracing is performed on this model, emitting a virtual ray of light from the center of the hologram surface at a specified angle, and the intersection point between the ray and the polygon model is calculated. Next, the color of the intersection point is calculated based on a conventional shading technique (Phong shading), and a 3D point cloud is obtained by assuming that a point light source having the calculated color exists at the intersection point.
手順(b):各点光源からホログラム面上の各画素に対して再びレイトレーシングを行い、ホログラム面との間に遮蔽物が存在するか否かを判定する。 Step (b): Ray tracing is again performed from each point light source to each pixel on the hologram surface, and it is determined whether or not there is an obstruction between the light source and the hologram surface.
手順(c):点光源から見て遮蔽されていない画素にのみ、例えば非特許文献2に開示される周知の点光源法を用いた物体光波伝搬計算を行う。その後、物体光波と参照光波との干渉計算を行ってCGHを出力する。 Step (c): Object light wave propagation calculation is performed only for pixels that are not occluded from the point light source, for example, using the well-known point light source method disclosed in Non-Patent Document 2. After that, interference calculation between the object light wave and the reference light wave is performed to output the CGH.
一方、非特許文献1では前記手順(a)において、図17に示すように、光線と交差したポリゴンの表裏を判定し、裏側で交差した点光源の取得を行わないようにする処理(以下、バックフェースカリング(backface culling)と表現する)が実施されている。バックフェースカリングの目的は計算高速化であり、各視点位置から不可視となる裏側に属する点光源の取得を手順(a)の段階で避けることで、手順(b)において遮蔽判定処理を行う点光源の数を事前に削減することが可能となる。 On the other hand, in Non-Patent Document 1, in step (a) as shown in FIG. 17, a process (hereinafter referred to as backface culling) is performed to determine whether the polygon intersected with the ray is on the front or back side, and to avoid acquiring point light sources that intersected on the back side. The purpose of backface culling is to speed up calculations, and by avoiding the acquisition of point light sources that belong to the back side and are not visible from each viewpoint position in step (a), it is possible to reduce in advance the number of point light sources for which occlusion judgment processing is performed in step (b).
非特許文献1が提案するバックフェースカリングでは、本来伝搬計算を行うべき点がバックフェースカリングの処理で破棄されてしまう可能性がある。その結果、計算すべき点光源が消失し、再生像の品質劣化が発生する。 In the backface culling proposed in Non-Patent Document 1, there is a possibility that points for which propagation calculations should be performed are discarded in the backface culling process. As a result, point light sources that should be calculated disappear, causing degradation in the quality of the reconstructed image.
具体的には、図18に示すようなケースであり、ホログラム面中心からのレイトレーシングではバックフェースカリング対象となる点光源であっても、他の画素位置から見ると表側となるケースがあり、このような場合に、点光源を破棄すべきではない。 Specific examples include cases such as that shown in Figure 18, where a point light source that is subject to backface culling when ray tracing from the center of the hologram surface may be on the front side when viewed from other pixel positions. In such cases, the point light source should not be discarded.
本発明の目的は、上記の技術課題を解決し、バックフェースカリングを採用して光波伝搬計算に用いる点光源数を削減する際に、ホログラム面の画素位置によって見える面の表裏が変わるポリゴンについては点光源を取得することで、伝搬計算を実施すべき点光源がバックフェースカリングで除去されて再生像の品質を劣化させることを抑止できる計算機合成ホログラム生成装置、方法及びプログラムを提供することにある。 The object of the present invention is to provide a computer-generated hologram generating device, method, and program that solves the above technical problems and, when using backface culling to reduce the number of point light sources used in light wave propagation calculations, can obtain point light sources for polygons whose visible front and back change depending on the pixel position on the hologram surface, thereby preventing point light sources for which propagation calculations should be performed from being removed by backface culling, thereby preventing degradation of the quality of the reconstructed image.
上記の目的を達成するために、本発明は、ポリゴンモデル上の3D点群からホログラム面への光波伝搬を計算して計算機合成ホログラムを生成する装置において、以下の構成を具備した点に特徴がある。 To achieve the above object, the present invention is a device for generating a computer-generated hologram by calculating the propagation of light waves from a 3D point group on a polygon model to a hologram surface, and is characterized by having the following configuration.
(1) ポリゴンモデルの各ポリゴンが、ホログラム面に当該ポリゴンの表側が見える画素位置および裏側が見える画素位置が存在する部分バックフェースポリゴンであるか否かを判別する手段と、ホログラム面から各ポリゴンへのレンダリング処理により3D点群を取得する手段と、部分バックフェースポリゴンの裏側から取得した点光源を破棄しない選択的バックフェースカリング手段とを具備した。 (1) The system includes a means for determining whether each polygon of a polygon model is a partial backface polygon in which there are pixel positions on the hologram surface where the front side of the polygon is visible and pixel positions where the back side of the polygon is visible, a means for acquiring a 3D point cloud by rendering processing from the hologram surface to each polygon, and a selective backface culling means for not discarding point light sources acquired from the back side of the partial backface polygon.
(2) 前記部分バックフェースポリゴンであるか否かを判別する手段は、各ポリゴンを仮想的に拡張した平面がホログラム面と交差するポリゴンを部分バックフェースポリゴンと判別するようにした。 (2) The means for determining whether or not a polygon is a partial backface polygon is configured to determine that a polygon whose virtually extended plane intersects with the hologram surface is a partial backface polygon.
(3) 前記部分バックフェースポリゴンであるか否かを判別する手段は、ポリゴンごとにホログラム面上の複数の代表位置から見える面を判断し、各代表位置から見える面が表裏のいずれかで一致しないポリゴンを部分バックフェースポリゴンと判別するようにした。 (3) The means for determining whether or not a polygon is a partial backface polygon determines the surface visible from a plurality of representative positions on the hologram surface for each polygon, and determines as a partial backface polygon a polygon in which the surfaces visible from each representative position do not match on either the front or back.
(4) 前記部分バックフェースポリゴンであるか否かを判別する手段は、各ポリゴンをホログラム面との相対角度に基づいて部分バックフェースポリゴンであるか否か判別するようにした。 (4) The means for determining whether or not a polygon is a partial backface polygon is configured to determine whether or not each polygon is a partial backface polygon based on the relative angle of each polygon with the hologram surface.
(5) 前記選択的バックフェースカリング後の3D点群からホログラム面の各画素への遮蔽判定を行う手段を更に具備し、前記部分バックフェースポリゴンの裏側が見えるホログラム面の画素領域を遮蔽領域と一括判定するようにした。 (5) The system further includes a means for determining whether each pixel on the hologram surface is occluded from the 3D point cloud after the selective backface culling, and determines all pixel areas on the hologram surface in which the back side of the partial backface polygon is visible as occluded areas.
(1) ポリゴンの裏側から取得した点光源を破棄するバックフェースカリングにおいて、部分バックフェースポリゴンの裏側から取得した点光源を破棄しない選択的バックフェースカリング手段を具備するので、再生像の品質を劣化させることなく光波伝搬計算の回数を減じることができ、高速かつ高品質なCGH計算が可能になる。 (1) In backface culling, which discards point light sources obtained from the back side of a polygon, the system is equipped with a selective backface culling means that does not discard point light sources obtained from the back side of a partial backface polygon, thereby reducing the number of light wave propagation calculations without degrading the quality of the reconstructed image, enabling high-speed, high-quality CGH calculations.
(2) 各ポリゴンを仮想的に拡張した平面がホログラム面と交差するポリゴンは、ホログラム面に当該ポリゴンの表側が見える画素位置および裏側が見える画素位置が存在するので、部分バックフェースポリゴンを定量的に判別できるようになる。 (2) For polygons where a plane that is a virtual extension of each polygon intersects with the hologram surface, there are pixel positions on the hologram surface where the front side of the polygon is visible and pixel positions where the back side is visible, making it possible to quantitatively identify partial backface polygons.
(3) 各代表位置から見える面が表裏のいずれかで一致しないポリゴンは、ホログラム面に当該ポリゴンの表側が見える画素位置および裏側が見える画素位置が存在するので、部分バックフェースポリゴンを定量的に判別できるようになる。 (3) For polygons where the faces visible from each representative position do not match, either the front or back, there are pixel positions on the hologram surface where the front side of the polygon is visible and pixel positions where the back side is visible, making it possible to quantitatively identify partial backface polygons.
(4) 各ポリゴンをホログラム面との相対角度に基づいて部分バックフェースポリゴンであるか否か判別するので、大量のポリゴンを短時間で判別できるようになる。 (4) Each polygon is judged to be a partial backface polygon or not based on the relative angle with the hologram surface, so a large number of polygons can be identified in a short period of time.
(5) 部分バックフェースポリゴンの裏側が見えるホログラム面の画素領域を遮蔽領域と一括判定するので、バックフェース領域を対象とした遮蔽判定を高速に行えるようになり、再生像の品質を劣化させることなくCGH計算を高速化できるようになる。 (5) The pixel areas on the hologram surface where the back side of the partial backface polygon is visible are determined to be occluded areas at once, so that occlusion determination for the backface area can be performed quickly, and CGH calculations can be accelerated without degrading the quality of the reconstructed image.
以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は、本発明の第1実施形態に係る計算機合成ホログラム生成装置1の機能ブロック図であり、部分バックフェースポリゴン判別部10、点群取得部20、遮蔽判定部30、物体光波伝搬計算部40および干渉計算部50を主要部の構成とし、点群取得部20は選択的バックフェースカリング部201を含む。本実施形態は、部分バックフェースポリゴン判別部10が平面交差ベース判別部101を具備する。
The following describes in detail an embodiment of the present invention with reference to the drawings. FIG. 1 is a functional block diagram of a computer generated hologram generating device 1 according to a first embodiment of the present invention, with the main components being a partial
このような計算機合成ホログラム生成装置1は、CPU,ROM,RAM,バス,インタフェース等を備えた少なくとも一台の汎用のコンピュータやサーバに各機能を実現するアプリケーション(プログラム)を実装することで構成できる。あるいはアプリケーションの一部をハードウェア化またはソフトウェア化した専用機や単能機としても構成できる。 Such a computer-generated hologram generating device 1 can be configured by implementing applications (programs) that realize each function on at least one general-purpose computer or server equipped with a CPU, ROM, RAM, bus, interface, etc. Alternatively, it can be configured as a dedicated machine or a single-function machine in which part of the application is implemented as hardware or software.
計算機合成ホログラム生成装置1には、CGHを計算する3Dポリゴンモデルが入力される。本実施形態ではポリゴンモデルを構成する各ポリゴンが三角形又は四角形であり、各ポリゴンには、その表裏を判別できる情報が予め付与されている。 A 3D polygon model for calculating the CGH is input to the computer generated hologram generating device 1. In this embodiment, each polygon that makes up the polygon model is a triangle or a rectangle, and each polygon is given information in advance that allows it to distinguish between its front and back.
例えば、CGのレンダリングにおけるバックフェースカリングでは、ポリゴンを構成する複数の頂点の並びを表側から見て反時計回りの順序に揃えておくことにより、ホログラム面上の各画素位置を視点としてレンダリングした際に、当該頂点の並びが反時計周りに見えれば表側、時計周りに見えれば裏側が見えていると判断できる。本実施形態でも同様に、各ポリゴンにはその頂点を表側から見て反時計回りの順序に揃えた情報が付与されているものとする。 For example, in backface culling in CG rendering, the multiple vertices that make up a polygon are arranged in a counterclockwise order when viewed from the front side. When rendering is performed with each pixel position on the hologram surface as the viewpoint, if the vertices appear to be arranged counterclockwise, it can be determined that the front side is being seen, and if they appear to be arranged clockwise, it can be determined that the back side is being seen. Similarly, in this embodiment, each polygon is assigned information that arranges its vertices in a counterclockwise order when viewed from the front side.
部分バックフェースポリゴン判別部10は、CGHを計算する3Dポリゴンモデルが入力されると、図2に示すように、各ポリゴンがホログラム面からその画素位置に応じて表側および裏側のいずれもが見える部分バックフェースポリゴンであるか否かを判別する。部分バックフェースポリゴン以外のポリゴン、すなわちホログラム面のいずれの画素位置からも表裏の一方の面しか見えないポリゴンは非部分バックフェースポリゴンと表現する場合もある。
When a 3D polygon model for calculating a CGH is input, the partial backface
本実施形態では、部分バックフェースポリゴン判別部10が平面交差ベース判別部101を具備し、図3に模式的に示すように、各ポリゴンを仮想的に拡張した平面(拡張平面)PLを想定する。そして、拡張平面PL1のようにホログラム面と交差するポリゴンP1は部分バックフェースポリゴン、拡張平面PL2のようにホログラム面と交差しないポリゴンP2は非部分バックフェースポリゴンと判別する。
In this embodiment, the partial backface
点群取得部20は選択的バックフェースカリング部201を具備し、ホログラム面からポリゴンモデルへのレンダリング処理により3D点群を取得する。本実施形態では、ホログラム面の任意の一点(典型的には、中心点)からポリゴンモデルへのレイトレーシングにより、各光線とポリゴンモデルとの交点が取得される。
The point
選択的バックフェースカリング部201は、図4に模式的に示すように、一般的なバックフェースカリングと同様に各ポリゴンの裏側から取得した点を排除する一方、当該ポリゴンが部分バックフェースポリゴンと判別されていれば、各ポリゴンの裏側から取得した点も排除せずに保存する、選択的なバックフェースカリングを実施する。
As shown diagrammatically in FIG. 4, the selective
前記点群取得部20は、選択的バックフェースカリング処理によって排除されることなく保存された点の色を計算し、各点の位置情報および色情報を点光源として取得する。各点光源の色は、例えば非特許文献1に開示されるように、フォンシェーディングなどに基づいて計算できる。なお、図5に示すように、ホログラム面の中央からのレンダリングでは裏側が見えているが、部分バックフェースポリゴンであるため保存された点に関しては、裏側ではなく表側の色情報を計算しても良い。これは、ポリゴンの表側と裏側とで異なる材質が設定されている場合や、ポリゴンの法線ベクトルを用いて色を計算する場合等に表側と裏側とで得られる色が異なるために可視の表側の色を記録するためである。
The point
遮蔽判定部30は、前記点群取得部20が選択的バックフェースカリング処理を経て保存した点群を入力し、各点光源がホログラム面上の各画素(x, y)から可視であるか不可視であるかの遮蔽判定を行って遮蔽情報Si(x, y)を取得する。本実施形態では遮蔽情報Si(x, y)として非遮蔽の画素には「1」、遮蔽される画素には「0」が登録される。
The
物体光波伝搬計算部40は、非特許文献2が開示する点光源法に基づいて、各点光源からホログラム面までの物体光波の伝搬計算を次式(1),(2)を用いて行う。
The object light wave
ここで、ai (x, y)は各点光源iから伝搬されるホログラム面上の光波分布である。Aiは点光源iの輝度で、riは点光源iとホログラム面上の各画素(x, y)との距離を表している。kは光の波長から計算される波数を表している。 Here, ai (x, y) is the distribution of light waves on the hologram surface propagating from each point light source i. Ai is the brightness of point light source i, and ri represents the distance between point light source i and each pixel (x, y) on the hologram surface. k represents the wave number calculated from the wavelength of light.
干渉計算部50は、ホログラム面上の物体光波a(x, y)に対して参照光波R(x, y)との干渉計算を行う。本実施例では次式(3)で表される平行光を入射するものとするが、任意の参照光を用いることができる。ここで、φは参照光のホログラム面への入射角度であり、R0は参照光の強度である。本実施形態ではφ=0(ホログラム面に直交して入射する平面波)とする。
The
最後に、この参照光波と物体光波との干渉を次式(4)で計算する。 Finally, the interference between this reference light wave and the object light wave is calculated using the following equation (4).
ここで、I(x, y)はCGHの輝度分布である。本実施例では最後に、このI(x, y)を0-255のレンジに正規化し、画像として出力する。なお、この画像を空間光変調器上で再生し、そこに再生照明光を照射することで再生像の再生及び視聴を行う。 Here, I(x, y) is the luminance distribution of the CGH. In this embodiment, I(x, y) is finally normalized to the range of 0-255 and output as an image. This image is then reproduced on a spatial light modulator, and the reproduced image is reproduced and viewed by irradiating it with a reproduction illumination light.
本実施形態によれば、ポリゴンの裏側から取得した点を破棄するバックフェースカリングにおいて、部分バックフェースポリゴンの裏側から取得した点を破棄しない選択的なバックフェースカリングを実行するので、再生像の品質を劣化させることなく光波伝搬計算の回数を減じることができ、高速かつ高品質なCGH計算が可能になる。 According to this embodiment, in backface culling, which discards points obtained from the back side of a polygon, selective backface culling is performed that does not discard points obtained from the back side of a partial backface polygon, so that the number of light wave propagation calculations can be reduced without degrading the quality of the reconstructed image, enabling high-speed, high-quality CGH calculations.
また、本実施形態によれば各ポリゴンを仮想的に拡張した平面がホログラム面と交差するポリゴンを部分バックフェースポリゴンと判別するので、部分バックフェースポリゴンの定量的な判別が可能になる。 In addition, according to this embodiment, polygons whose planes, which are virtually extended from each polygon, intersect with the hologram surface are determined to be partial backface polygons, making it possible to quantitatively determine partial backface polygons.
図6は、本発明の第2実施形態に係る計算機合成ホログラム生成装置1の主要部の構成を示した機能ブロック図であり、上記と同一の符号は同一又は同等部分を表しているので、その説明は省略する。本実施形態は、部分バックフェースポリゴン判別部10が代表位置ベース判別部102を具備した点に特徴がある。
Figure 6 is a functional block diagram showing the configuration of the main parts of a computer-generated hologram generating device 1 according to a second embodiment of the present invention. The same reference numerals as those described above represent the same or equivalent parts, and therefore their explanation will be omitted. This embodiment is characterized in that the partial
図7は、代表位置ベース判別部102による部分バックフェースポリゴンの判別方法を模式的に示した図である。本実施形態では、ホログラム面の4隅に仮想的な代表位置A1~A4(A3,A4は図示省略)を設定し、代表位置ごとに各ポリゴンの見える面を判別する。その結果、4つの代表位置A1~A4から見える面が一方の面(表側及び裏側のいずれでも良い)で一致するポリゴンは非部分バックフェースポリゴンと判別し、4つの代表位置A1~A4から見える面が一致しないポリゴンは部分バックフェースポリゴンと判別する。
Figure 7 is a schematic diagram showing a method for discriminating partial backface polygons by the representative position-based
なお、本実施形態ではホログラム面の4隅に計4つの代表位置A1~A4を設定するものとして説明したが、本発明はこれのみに限定されるものでなく、ホログラム面の4隅から選択した複数(<4)の位置を代表位置としても良い。また、各代表位置はホログラム面の4隅に限らず、4辺上から選択した複数の位置に設定しても良い。すなわち、複数の代表位置はホログラム面の4隅および4辺の少なくとも一方から選択できる。この場合、各代表位置は相互に、より離れるように設定することが望ましい。 In this embodiment, a total of four representative positions A1 to A4 are set at the four corners of the hologram surface, but the present invention is not limited to this, and multiple (<4) positions selected from the four corners of the hologram surface may be set as representative positions. Furthermore, the representative positions are not limited to the four corners of the hologram surface, and multiple positions selected from the four sides may be set. In other words, the multiple representative positions can be selected from at least one of the four corners or four sides of the hologram surface. In this case, it is desirable to set the representative positions so that they are farther apart from each other.
本実施形態によれば、各代表位置から見える面が表裏のいずれかで一致しないポリゴンを部分バックフェースポリゴンと判別するので、部分バックフェースポリゴンの定量的な判別が可能になる。 According to this embodiment, polygons whose faces visible from each representative position do not match on either the front or back are determined to be partial backface polygons, making it possible to quantitatively determine partial backface polygons.
図8は、本発明の第3実施形態に係る計算機合成ホログラム生成装置1の主要部の構成を示した機能ブロック図であり、上記と同一の符号は同一又は同等部分を表しているので、その説明は省略する。 Figure 8 is a functional block diagram showing the configuration of the main parts of a computer-generated hologram generating device 1 according to a third embodiment of the present invention. The same reference numerals as those described above represent the same or equivalent parts, and therefore their explanation will be omitted.
部分バックフェースポリゴンを第1実施形態のように平面同士の交差を計算して判別、あるいは第2実施形態のように代表位置から見える面を計算して判別する方法では、ポリゴンの枚数が増えるほど計算時間が長くなる。本実施形態では部分バックフェースポリゴンの高速な判別を実現するために、部分バックフェースポリゴン判別部10が視域角ベース判別部103を具備し、再生光学系の視域角に基づいて部分バックフェースポリゴンを画一的に判別するようにした点に特徴がある。
When determining partial backface polygons by calculating the intersection of planes as in the first embodiment, or by calculating the surfaces visible from a representative position as in the second embodiment, the calculation time increases as the number of polygons increases. In this embodiment, in order to achieve high-speed determination of partial backface polygons, the partial backface
フレネルホログラムの視域角θは次式(5)で算出される。ここで、pはホログラム面の画素ピッチ、λは参照光の波長である。なお、視域角θは再生光学系に依存する固定値であるため、本実施形態では事前に計算されているものとする。 The viewing angle θ of a Fresnel hologram is calculated using the following formula (5). Here, p is the pixel pitch of the hologram surface, and λ is the wavelength of the reference light. Note that the viewing angle θ is a fixed value that depends on the reconstruction optical system, so in this embodiment it is assumed to be calculated in advance.
視域は視聴者が視点を動かせる範囲であり、その上界+θ/2および下界-θ/2はホログラム面における最大回折角度となる。したがって、図9に示すように部分バックフェースポリゴンとしての要件を充足するポリゴンとホログラム面に垂直な面Ax(Ay)との相対角度は-θ/2~θ/2の範囲に収まることがわかる。 The viewing zone is the range over which the viewer can move their viewpoint, with its upper and lower bounds of +θ/2 and -θ/2 being the maximum diffraction angles on the hologram surface. Therefore, as shown in Figure 9, the relative angle between a polygon that meets the requirements for being a partial backface polygon and the plane Ax (Ay) perpendicular to the hologram surface falls within the range of -θ/2 to θ/2.
前記視域角ベース判別部103は、図10に示すように、ホログラム面に対して垂直かつ相互に直交する仮想的な2平面(x軸に対して垂直な平面Ax[同図(a)]およびy軸に対して垂直な平面Ay[同図(b)])と各ポリゴンとの相対角度に着目し、いずれの仮想平面に対しても視域内で相対角度が-θ/2~θ/2の範囲内となるポリゴンを部分バックフェースポリゴンと判別する。
As shown in Figure 10, the viewing zone angle-based
図9の例では、ポリゴンPaの相対角度は回折角度の上界+θ/2であり、ポリゴンPbの相対角度は回折角度の下界-θ/2となっている。視域角ベース判別部103は、視域内で相対角度がθ/2から+θ/2の範囲内となるポリゴンを画一的に部分バックフェースポリゴンと判別する一方、図11に示すように、視域外に位置するポリゴンPcや視域内であっても相対角度が-θ/2から+θ/2の範囲外となるポリゴンPdは部分バックフェースポリゴン以外と判別する。
In the example of FIG. 9, the relative angle of polygon Pa is the upper bound of the diffraction angle, +θ/2, and the relative angle of polygon Pb is the lower bound of the diffraction angle, -θ/2. The viewing zone angle-based
なお、視域内に位置していてもホログラム面の上端より上側に位置するポリゴンPeやホログラム面の下端より下側に位置するポリゴンPfは、視域角ベースでの画一的な判別手法では相対角度が-θ/2から+θ/2の範囲内なので部分バックフェースポリゴンと判別される。しかしながらポリゴンPe,Pfは、その表側が見える画素位置がホログラム面に存在しないので部分バックフェースポリゴンの要件を充足していない。したがって、視域角ベースでの判別結果と部分バックフェースポリゴンの要件とに齟齬が生じている。 Note that even if they are located within the viewing zone, polygon Pe located above the top edge of the hologram surface and polygon Pf located below the bottom edge of the hologram surface are identified as partial backface polygons using a uniform discrimination method based on the viewing zone angle because their relative angles are within the range of -θ/2 to +θ/2. However, polygons Pe and Pf do not meet the requirements for a partial backface polygon because the pixel positions at which their front sides are visible do not exist on the hologram surface. Therefore, there is a discrepancy between the discrimination results based on the viewing zone angle and the requirements for a partial backface polygon.
また、ポリゴンPgは相対角度が-θ/2から+θ/2の範囲外なので部分バックフェースポリゴンと判別されないものの、見かけ上は、その表側が見える画素位置および裏側が見える画素位置のいずれもがホログラム面に存在するので部分バックフェースポリゴンの要件を充足している。したがって、視域角ベースでの判別結果と部分バックフェースポリゴンの要件とに齟齬が生じている。 In addition, although polygon Pg is not determined to be a partial backface polygon because its relative angle is outside the range of -θ/2 to +θ/2, it meets the requirements for a partial backface polygon because both the pixel positions from which its front side is visible and the pixel positions from which its back side is visible appear to be on the hologram surface. Therefore, there is a discrepancy between the results of the discrimination based on the viewing zone angle and the requirements for a partial backface polygon.
このように、視域角ベース判別部103による画一的な判別手法では所定の条件下で齟齬が生じ得る。しかしながら、以下に詳述するように視域角ベースでの判別結果と部分バックフェースポリゴンの要件との齟齬は品質劣化の原因とならないため、本実施形態でも高速で高品質なCGH計算が可能になる。
In this way, discrepancies may occur under certain conditions when using a uniform discrimination method using the viewing zone angle-based
すなわち、図11のポリゴンPe,Pfのように部分バックフェースポリゴンとしての要件を充足しないにもかかわらず視域角ベース判別部103が部分バックフェースポリゴンと判別するポリゴンについては、ホログラム面から表側が見えないにもかかわらず点光源が取得されてしまう。しかしながら、後段の遮蔽判定部30において、ホログラム面が見えない点光源は完全遮蔽と判定されて光波伝搬が計算されず、その結果、干渉縞も形成されないので品質劣化の原因とならない。
That is, for polygons such as polygons Pe and Pf in FIG. 11 that do not meet the requirements for partial backface polygons but that the viewing zone angle-based
一方、前記ポリゴンPgのように、部分バックフェースポリゴンの要件を充足するものの視域角ベース判別部103が部分バックフェースポリゴンではないと判別するポリゴンについては、バックフェースカリングにより点光源が取得されないので品質劣化が懸念される。
On the other hand, for polygons such as the polygon Pg that meet the requirements for a partial backface polygon but that the viewing zone angle-based
しかしながら、一般的にCGHの計算において点光源からホログラム面への光波伝搬を計算して干渉縞を形成する際は、図12に示すように、点光源から回折角度内で見込める画素領域のみを計算範囲とし、回折角度外の画素領域は計算範囲としない。これは回折角度外の画素領域に対して光波伝搬計算を行って干渉縞を形成しても、再生時の再生照明光が回折角度以上には曲がらないために当該画素領域からの光は点光源の位置に結像せず、却って品質を劣化させる原因となるからである。 However, in general, when calculating the light wave propagation from a point light source to the hologram surface to form interference fringes in CGH calculations, only the pixel area that can be seen within the diffraction angle from the point light source is included in the calculation range, as shown in Figure 12, and pixel areas outside the diffraction angle are not included in the calculation range. This is because even if interference fringes are formed by performing light wave propagation calculations for pixel areas outside the diffraction angle, the reconstruction illumination light during reconstruction does not bend more than the diffraction angle, so the light from that pixel area is not imaged at the position of the point light source, which would actually cause a deterioration in quality.
これを本実施形態に当てはめると、図13に示すように、ホログラム面にはポリゴンPgの表側を見える画素領域が存在するものの、当該画素領域はポリゴンPgの表側から回折角度内で見込むことはできないために前記遮蔽判定部30は完全遮蔽と判定する。すなわち、点光源が排除されていた場合と同様の取り扱いとなる。その結果、当該画素領域は物体光波伝搬計算部40において光波伝搬の計算対象外とされ、品質劣化の原因とらない。
When this is applied to the present embodiment, as shown in FIG. 13, although there is a pixel area on the hologram surface from which the front side of polygon Pg is visible, the pixel area cannot be seen from the front side of polygon Pg within the diffraction angle, so the
このように、本実施形態が採用する視域角ベースの判別手法では、判別結果と部分バックフェースポリゴンの要件とに齟齬が生じ得るが、その後のプロセスで齟齬が補償されて品質劣化の原因とならないので、品質を劣化させることなく大量のポリゴンを短時間で判別できるようになる。 Thus, in the viewing zone angle-based discrimination method adopted in this embodiment, discrepancies may occur between the discrimination results and the requirements for partial backface polygons, but the discrepancies are compensated for in the subsequent process and do not cause quality degradation, making it possible to discriminate a large number of polygons in a short period of time without degrading quality.
図14は、本発明の第4実施形態に係る計算機合成ホログラム生成装置1の主要部の構成を示した機能ブロック図であり、上記と同一の符号は同一又は同等部分を表しているので、その説明は省略する。本実施形態は、遮蔽判定部30が一括判定部301を具備した点に特徴がある。
Figure 14 is a functional block diagram showing the configuration of the main parts of a computer-generated hologram generating device 1 according to a fourth embodiment of the present invention. The same reference numerals as those described above represent the same or equivalent parts, and therefore their explanation will be omitted. This embodiment is characterized in that the
前記一括判定部301は、遮蔽判定計算を行う点光源が部分バックフェースポリゴンから取得されている場合において、図15に示すように、当該部分バックフェースポリゴンの裏側が見えるホログラム面の画素領域をバックフェース領域として特定し、当該バックフェース領域に関しては画素単位での個別判定に代えて一括して遮蔽と判定し、バックフェース領域以外では画素単位で個別判定を行う。
When the point light source for performing the occlusion determination calculation is obtained from a partial backface polygon, the
バックフェース領域は、前記図3を参照して説明したように、各ポリゴンの拡張平面を想定して当該拡張平面がホログラム面と交差する箇所を計算し、当該箇所を境に分割した領域のうち裏側が見える側として決定できる。 As explained above with reference to Figure 3, the back face area can be determined by calculating the points where an extended plane of each polygon intersects with the hologram surface and dividing the area at these points, and determining the side where the back side is visible.
なお、部分バックフェースポリゴン判別部10が前記平面交差ベース判別部101を用いて部分バックフェースポリゴンを判別していれば、部分バックフェースポリゴンについてはホログラム面と交差する領域が計算済みなので、当該計算結果を参照することでバックフェース領域を決定しても良い。
If the partial backface
本実施形態によれば、バックフェース領域を対象とした遮蔽判定を高速に行えるようになるので、再生像の品質を劣化させることなくCGH計算を高速化できるようになる。 According to this embodiment, occlusion determination for the back face region can be performed quickly, which makes it possible to speed up CGH calculations without degrading the quality of the reconstructed image.
そして、上記の各実施形態によれば高品質なCGHを短時間で生成することができ、通信インフラ経由でもリアルタイムで提供することが可能となるので、地理的あるいは経済的な格差を超えて多くの人々に多様なエンターテインメントを提供できるようになる。その結果、国連が主導する持続可能な開発目標(SDGs)の目標9「レジリエントなインフラを整備し、包括的で持続可能な産業化を推進する」や目標11「都市を包摂的、安全、レジリエントかつ持続可能にする」に貢献することが可能となる。 Furthermore, according to each of the above embodiments, high-quality CGH can be generated in a short time and can be provided in real time even via communication infrastructure, making it possible to provide a variety of entertainment to many people regardless of geographic or economic disparities. As a result, it will be possible to contribute to Goal 9 "Build resilient infrastructure and promote inclusive and sustainable industrialization" and Goal 11 "Make cities inclusive, safe, resilient and sustainable" of the Sustainable Development Goals (SDGs) led by the United Nations.
10…部分バックフェースポリゴン判別部,20…点群取得部,30…遮蔽判定部,40…物体光波伝搬計算部,50…干渉計算部,101…平面交差ベース判別部,102…代表位置ベース判別部,103…視域角ベース判別部,201…選択的バックフェースカリング部,301…一括判定部 10...Partial backface polygon discrimination unit, 20...Point cloud acquisition unit, 30...Occlusal determination unit, 40...Object light wave propagation calculation unit, 50...Interference calculation unit, 101...Plane intersection based discrimination unit, 102...Representative position based discrimination unit, 103...Viewing zone angle based discrimination unit, 201...Selective backface culling unit, 301...Bulk determination unit
Claims (18)
ポリゴンモデルの各ポリゴンが、ホログラム面に当該ポリゴンの表側が見える画素位置および裏側が見える画素位置が存在する部分バックフェースポリゴンであるか否かを判別する手段と、
ホログラム面から各ポリゴンへのレンダリング処理により3D点群を取得する手段と、
ポリゴンの裏側から取得した点光源を破棄するバックフェースカリングにおいて、部分バックフェースポリゴンの裏側から取得した点光源を破棄しない選択的バックフェースカリングを実行する手段とを具備したことを特徴とする計算機合成ホログラム生成装置。 A device for generating a computer-generated hologram by calculating the propagation of light waves from a 3D point group on a polygon model to a hologram surface,
a means for determining whether or not each polygon of the polygon model is a partial backface polygon in which there are pixel positions on the hologram surface where the front side of the polygon is visible and pixel positions where the back side of the polygon is visible;
A means for acquiring a 3D point cloud by rendering each polygon from a hologram surface;
A computer-generated hologram generating device characterized by comprising: a means for performing selective backface culling that does not discard point light sources obtained from the back side of a partial backface polygon in backface culling that discards point light sources obtained from the back side of a polygon.
前記遮蔽判定を行う手段は、前記部分バックフェースポリゴンの裏側が見えるホログラム面の画素領域を遮蔽領域と一括判定することを特徴とする請求項1ないし7のいずれかに記載の計算機合成ホログラム生成装置。 The method further includes a means for determining whether each pixel on a hologram surface is occluded from the 3D point cloud after the selective backface culling,
8. The computer-generated hologram generating device according to claim 1, wherein the means for performing the occlusion determination collectively determines pixel areas on the hologram surface through which the back side of the partial backface polygon is visible as occlusion areas.
ポリゴンモデルの各ポリゴンが、ホログラム面に当該ポリゴンの表側が見える画素位置および裏側が見える画素位置が存在する部分バックフェースポリゴンであるか否かを判別し、
ホログラム面から各ポリゴンへのレンダリング処理により3D点群を取得し、
ポリゴンの裏側から取得した点光源を破棄するバックフェースカリングにおいて、部分バックフェースポリゴンの裏側から取得した点光源を破棄しない選択的バックフェースカリングを実行することを特徴とする計算機合成ホログラム生成方法。 A method for generating a computer-generated hologram by calculating light wave propagation from a 3D point group on a polygon model to a hologram surface by a computer,
determining whether or not each polygon of the polygon model is a partial backface polygon in which there are pixel positions on the hologram surface where the front side of the polygon is visible and pixel positions where the back side of the polygon is visible;
A 3D point cloud is obtained by rendering each polygon from the hologram surface.
A computer-generated hologram generation method characterized by performing selective backface culling in which point light sources obtained from the back side of a partial backface polygon are not discarded in backface culling, which discards point light sources obtained from the back side of a polygon.
ポリゴンモデルの各ポリゴンが、ホログラム面に当該ポリゴンの表側が見える画素位置および裏側が見える画素位置が存在する部分バックフェースポリゴンであるか否かを判別する手順と、
ホログラム面から各ポリゴンへのレンダリング処理により3D点群を取得する手順と、
ポリゴンの裏側から取得した点光源を破棄するバックフェースカリングにおいて、部分バックフェースポリゴンの裏側から取得した点光源を破棄しない選択的バックフェースカリングを実行する手順と、をコンピュータに実行させることを特徴とする計算機合成ホログラム生成プログラム。 In this program, a computer calculates the propagation of light waves from a 3D point cloud on a polygon model to a hologram surface to generate a computer-generated hologram.
a step of determining whether or not each polygon of the polygon model is a partial backface polygon in which there are pixel positions on the hologram surface where the front side of the polygon is visible and pixel positions where the back side of the polygon is visible;
A procedure for obtaining a 3D point cloud by rendering each polygon from the hologram surface;
A computer-generated hologram generation program that causes a computer to execute the steps of: performing selective backface culling that does not discard point light sources obtained from the back side of a partial backface polygon in backface culling that discards point light sources obtained from the back side of a polygon; and
前記遮蔽判定を行う手順では、前記部分バックフェースポリゴンの裏側が見えるホログラム面の画素領域を遮蔽領域と一括判定することを特徴とする請求項14ないし17のいずれかに記載の計算機合成ホログラム生成プログラム。 The method further includes a step of determining whether each pixel on a hologram surface is occluded from the 3D point cloud after the selective backface culling,
18. A computer-generated hologram generation program as claimed in any one of claims 14 to 17, characterized in that in the step of making the occlusion determination, pixel areas of the hologram surface through which the back side of the partial backface polygon is visible are collectively determined to be occluded areas.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021139238A JP7540981B2 (en) | 2021-08-27 | 2021-08-27 | Computer generated hologram generating device, method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021139238A JP7540981B2 (en) | 2021-08-27 | 2021-08-27 | Computer generated hologram generating device, method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023032881A JP2023032881A (en) | 2023-03-09 |
| JP7540981B2 true JP7540981B2 (en) | 2024-08-27 |
Family
ID=85416475
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021139238A Active JP7540981B2 (en) | 2021-08-27 | 2021-08-27 | Computer generated hologram generating device, method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7540981B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008191540A (en) | 2007-02-07 | 2008-08-21 | Dainippon Printing Co Ltd | Optical element and manufacturing method thereof |
| JP2012511744A (en) | 2008-12-10 | 2012-05-24 | ホロラド,エルエルシー | System and method for color motion holography |
| JP2019526128A (en) | 2016-07-27 | 2019-09-12 | アドバンスト・マイクロ・ディバイシズ・インコーポレイテッドAdvanced Micro Devices Incorporated | Primitive culling using automatically compiled compute shaders |
| JP2019530069A (en) | 2016-08-30 | 2019-10-17 | アドバンスト・マイクロ・ディバイシズ・インコーポレイテッドAdvanced Micro Devices Incorporated | Parallel micropolygon rasterizer |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3798511B2 (en) * | 1997-06-11 | 2006-07-19 | 浜松ホトニクス株式会社 | Computer generated hologram display |
-
2021
- 2021-08-27 JP JP2021139238A patent/JP7540981B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008191540A (en) | 2007-02-07 | 2008-08-21 | Dainippon Printing Co Ltd | Optical element and manufacturing method thereof |
| JP2012511744A (en) | 2008-12-10 | 2012-05-24 | ホロラド,エルエルシー | System and method for color motion holography |
| JP2019526128A (en) | 2016-07-27 | 2019-09-12 | アドバンスト・マイクロ・ディバイシズ・インコーポレイテッドAdvanced Micro Devices Incorporated | Primitive culling using automatically compiled compute shaders |
| JP2019530069A (en) | 2016-08-30 | 2019-10-17 | アドバンスト・マイクロ・ディバイシズ・インコーポレイテッドAdvanced Micro Devices Incorporated | Parallel micropolygon rasterizer |
Non-Patent Citations (1)
| Title |
|---|
| Keita Watanabe, Yuji Sakamoto,Hidden surface removal method using object point based ray tracing in CGH,Proc. of SPIE,米国,2021年03月,Vol. 11766,https://doi.org/10.1117/12.2590812 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023032881A (en) | 2023-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6366370B1 (en) | Rendering methods for full parallax autostereoscopic displays | |
| Gilles et al. | Computer generated hologram from multiview-plus-depth data considering specular reflections | |
| KR20110116671A (en) | Mesh generating apparatus and method, and image processing apparatus and method | |
| US12236541B2 (en) | Geometry-aware augmented reality effects with real-time depth map | |
| JP2005252459A (en) | Image generation apparatus, image generation method, and image generation program | |
| JP6901885B2 (en) | Foreground extractor and program | |
| US8854392B2 (en) | Circular scratch shader | |
| EP4107601A1 (en) | Planar deviation based image reprojection | |
| WO2022063260A1 (en) | Rendering method and apparatus, and device | |
| US12347018B2 (en) | Fine grained interleaved rendering applications in path tracing | |
| JP7540981B2 (en) | Computer generated hologram generating device, method and program | |
| CN117635454A (en) | Multi-source light field fusion rendering method, device and storage medium | |
| Lee et al. | Real time 3D avatar for interactive mixed reality | |
| Northam et al. | Stereoscopic 3D image stylization | |
| JP7509510B2 (en) | Computer generated hologram generating device, method and program | |
| CN106169179A (en) | Image denoising method and image noise reduction apparatus | |
| JP7267967B2 (en) | Computer-generated hologram generation device, method and program | |
| JP2016057379A (en) | Hologram data generation apparatus, hologram data generation method, and hologram data generation program | |
| Hauswiesner et al. | Coherent image-based rendering of real-world objects | |
| JP7599400B2 (en) | Computer generated hologram generating device, method and program | |
| JP7535024B2 (en) | Computer generated hologram generating device, method and program | |
| Barsky et al. | Investigating occlusion and discretization problems in image space blurring techniques | |
| TWI920458B (en) | Method and computer system for 3d scene generation | |
| CN116824029B (en) | Method, device, electronic equipment and storage medium for generating holographic shadow | |
| JPH10288939A (en) | Method and apparatus for generating computer generated hologram using depth buffer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230807 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240620 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240626 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240702 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240814 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240815 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7540981 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |