JP7614815B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP7614815B2 JP7614815B2 JP2020204919A JP2020204919A JP7614815B2 JP 7614815 B2 JP7614815 B2 JP 7614815B2 JP 2020204919 A JP2020204919 A JP 2020204919A JP 2020204919 A JP2020204919 A JP 2020204919A JP 7614815 B2 JP7614815 B2 JP 7614815B2
- Authority
- JP
- Japan
- Prior art keywords
- compression
- information
- normal
- specular reflection
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—Three-dimensional [3D] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Image Generation (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本実施形態においては、鏡面反射情報、拡散反射情報、法線情報を含む反射特性データのデータ量削減に関する処理を行う。具体的には、鏡面反射情報に基づいて法線情報の圧縮に用いる圧縮パラメータを決定し、圧縮パラメータに基づいて法線情報を圧縮する。まず、物体の反射特性について図1を用いて説明する。図1は、光源101の方向から、法線方向103に対応する物体表面上の点102に向かって光を照射した場合の反射光の強度104を示している。物体の表面において反射した光は、拡散反射成分105と鏡面反射成分106とに分離できる。拡散反射成分105は、入射光が物体の内部で乱反射し、物体の外部に出射した光に対応する反射成分であり、あらゆる方向において略均一の強度で観測される。一方、鏡面反射成分106は、入射光が物体の表面において鏡面反射した光に対応する反射成分であり、観測者に物体の表面における光沢として視認される。鏡面反射成分106は、法線方向を基準に光源方向101と反対の方向に強度のピークを有する。以下、鏡面反射成分106の強度が最大となる方向の反射強度107を鏡面反射強度と呼ぶ。
図2は、情報処理装置1のハードウェア構成を示すブロック図である。情報処理装置1は、CPU201、ROM202、RAM203を備える。また、情報処理装置1は、VC(ビデオカード)204、汎用I/F(インターフェース)205、SATA(シリアルATA)I/F206、NIC(ネットワークインターフェースカード)207を備える。CPU201は、RAM203をワークメモリとして、ROM202、HDD(ハードディスクドライブ)213などに格納されたOS(オペレーティングシステム)や各種プログラムを実行する。また、CPU201は、システムバス208を介して各構成を制御する。尚、後述するフローチャートによる処理は、ROM202やHDD213などに格納されたプログラムコードがRAM203に展開され、CPU201によって実行される。VC204には、表示装置215が接続される。汎用I/F205には、シリアルバス209を介して、マウスやキーボードなどの入力装置210や撮像装置211が接続される。SATAI/F206には、シリアルバス212を介して、HDD213や各種記録メディアの読み書きを行う汎用ドライブ214が接続される。NIC207は、外部装置との間で情報の入力及び出力を行う。CPU201は、HDD213や汎用ドライブ214にマウントされた各種記録メディアを各種データの格納場所として使用する。CPU201は、プログラムによって提供されるUI(ユーザインターフェース)を表示装置215に表示し、入力装置210を介して受け付けるユーザ指示などの入力を受信する。尚、表示装置215は、指などの指示体によるタッチの位置を検出するタッチパネルの機能を有するタッチパネルディスプレイであっても良い。
図3は情報処理装置1の機能構成を示すブロック図である。CPU201は、RAM203をワークメモリとして、ROM202又はHDD213に格納されたプログラムを読み出して実行することによって、図3に示す機能構成として機能する。尚、以下に示す処理の全てがCPU201によって実行される必要はなく、処理の一部又は全てがCPU201以外の1つまたは複数の処理回路によって行われるように情報処理装置1が構成されていても良い。
本実施形態において情報処理装置1が実行する処理の流れを、図7のフローチャートを用いて説明する。図7のフローチャートが示す処理は、ユーザによって入力装置210を介して指示が入力され、CPU201が入力された指示を受け付けることにより開始する。以下、各ステップ(工程)は符号の前にSをつけて表す。S701において、法線取得部301は、HDD213等の記憶装置から法線情報を取得する。S702において、鏡面反射取得部302は、HDD213等の記憶装置から鏡面反射情報を取得する。S703において、圧縮パラメータ決定部303は、鏡面反射情報に基づいて、圧縮パラメータを決定する。
NX’(i,j)
=PN(i,j)*NX(i,j)+(1-PN(i,j))*NXLow(i,j)
・・・式(1)
NY’(i,j)
=PN(i,j)*NY(i,j)+(1-PN(i,j))*NYLow(i,j)
・・・式(2)
NZ’(i,j)
=PN(i,j)*NZ(i,j)+(1-PN(i,j))*NZLow(i,j)
・・・式(3)
ここで、NX’(i,j)は画素位置(i,j)におけるNX’であり、NY’(i,j)は画素位置(i,j)におけるNY’であり、NZ’(i,j)は画素位置(i,j)におけるNZ’である。PN(i、j)は画素位置(i,j)における正規化後の圧縮パラメータである。NX(i,j)は画素位置(i,j)におけるNXであり、NY(i,j)は画素位置(i,j)におけるNYであり、NZ(i,j)は画素位置(i,j)におけるNZである。NXLow(i、j)は画素位置(i,j)における低周波法線ベクトルのX成分である。NYLow(i、j)は画素位置(i,j)における低周波法線ベクトルのY成分である。NZLow(i、j)は画素位置(i,j)における低周波法線ベクトルのZ成分である。
以上説明したように、本実施形態における情報処理装置は、物体の表面における法線方向を表す法線情報と、物体における鏡面反射方向への反射に関する鏡面反射情報と、を取得し、鏡面反射情報に基づいて法線情報を圧縮する。これにより、反射特性データを用いて表現される物体の質感が劣化するのを抑制しつつ、反射特性データのデータ量を削減することができる。以下、具体的な例を用いて本実施形態の効果を説明する。図4を用いて、JPEG方式の圧縮処理のみにより圧縮された法線情報と、本実施形態の処理により圧縮された法線情報との違いについて説明する。
本実施形態においては、鏡面反射情報に基づいた法線情報の圧縮処理のみを行ったが、反射特性データを取得し、反射特性データに含まれる各情報に対する圧縮処理を併せて行っても良い。尚、反射特性データは、鏡面反射方向への反射に関する情報と物体の面の向きを特定可能な情報とを少なくとも含んでいれば良い。本実施形における鏡面反射方向への反射に関する情報は、各画素に鏡面反射強度を有する情報(スペキュラーマップ)であったが、サブスタンスマップ、グロスマップ、ラフネスマップであっても良い。また、Cook-Torranceモデル等の物理ベースモデルのパラメータを格納したデータ等であっても良い。また、本実施形態における物体の面の向きを特定可能な情報は、各画素に法線ベクトルを有する法線情報(法線マップ)であったが、高さマップ、バンプマップ、深度マップ、ディスプレイスメントマップ等であっても良い。法線マップ以外のデータを用いる場合は、法線情報への変換部を情報処理装置1の機能構成に追加することにより、上述した実施形態の処理を実現することができる。
第1実施形態においては、法線ベクトルと低周波法線ベクトルとの合成比率を圧縮パラメータとして導出した。本実施形態においてはJPEG圧縮における圧縮レベルを圧縮パラメータとして導出する。尚、本実施形態における情報処理装置のハードウェア構成は第1実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第1実施形態とで異なる部分を主に説明する。尚、第1実施形態と同一の構成については、同一の符号を付して説明する。
図10は情報処理装置1の機能構成を示すブロック図である。CPU201は、RAM203をワークメモリとして、ROM202又はHDD213に格納されたプログラムを読み出して実行することによって、図10に示す機能構成として機能する。尚、以下に示す処理の全てがCPU201によって実行される必要はなく、処理の一部又は全てがCPU201以外の1つまたは複数の処理回路によって行われるように情報処理装置1が構成されていても良い。
本実施形態において情報処理装置1が実行する処理の流れを、図12のフローチャートを用いて説明する。図12のフローチャートが示す処理は、ユーザによって入力装置210を介して指示が入力され、CPU201が入力された指示を受け付けることにより開始する。以下、各ステップ(工程)は符号の前にSをつけて表す。尚、S701、S702、S705の処理は第1実施形態と同等であるため説明を省略する。
以上説明したように、本実施形態における情報処理装置は、鏡面反射情報に基づいて法線情報を圧縮するための圧縮レベルを導出し、導出した圧縮レベルを用いて法線情報を圧縮する。これにより、反射特性データを用いて表現される物体の質感が劣化するのを抑制しつつ、反射特性データのデータ量を削減することができる。以下、具体的な例を用いて本実施形態の効果を説明する。図13は、法線情報のレンダリング結果を示す。画像1301は、鏡面反射強度が全体的に大きい場合の、圧縮されていない法線情報のレンダリング結果である。画像1302は、鏡面反射強度が全体的に小さい場合の、圧縮されていない法線情報のレンダリング結果である。画像1303は、鏡面反射強度が全体的に大きい場合の、圧縮レベル10で圧縮された法線情報のレンダリング結果である。画像1304は、鏡面反射強度が全体的に小さい場合の、圧縮レベル10で圧縮された法線情報のレンダリング結果である。画像1305は、鏡面反射強度が全体的に大きい場合の、圧縮レベル2で圧縮された法線情報のレンダリング結果である。画像1306は、鏡面反射強度が全体的に小さい場合の、圧縮レベル2で圧縮された法線情報のレンダリング結果である。また、図14は、鏡面反射強度が全体的に大きい場合と小さい場合との、各圧縮レベルにおける圧縮率を示す。
本実施形態においては、鏡面反射強度の代表値と圧縮レベルとの対応関係を保持するデータとして変換テーブルを用いたが、変換のための関数やマトリクスを表すデータであっても良い。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
301 法線取得部
302 鏡面反射取得部
304 法線圧縮部
Claims (10)
- 物体の表面における法線方向を表す法線情報と、前記物体における鏡面反射方向への反射に関する鏡面反射情報と、を取得する取得手段と、
前記鏡面反射情報に基づいて、前記法線情報を圧縮する圧縮手段と、を有し、
前記圧縮手段は、前記物体における鏡面反射強度が小さいほど、高圧縮な圧縮処理を行うことを特徴とする情報処理装置。 - 前記圧縮手段は、前記物体における反射光の鏡面反射成分の形状がシャープであるほど、低圧縮な圧縮処理を行うことを特徴とする請求項1に記載の情報処理装置。
- 前記圧縮手段は、前記法線情報に含まれる低周波成分が多いほど、高圧縮な圧縮処理を行うことを特徴とする請求項1又は請求項2に記載の情報処理装置。
- 前記圧縮手段は、前記法線情報と前記法線情報の低周波成分とを合成して圧縮用法線情報を生成し、前記圧縮用法線情報を圧縮することを特徴とする請求項1乃至請求項3のいずれか一項に記載の情報処理装置。
- 前記鏡面反射情報に基づいて、前記法線情報と前記法線情報の低周波成分との合成比率を決定する決定手段をさらに有し、
前記圧縮手段は、前記合成比率に基づいて、前記圧縮用法線情報を生成することを特徴とする請求項4に記載の情報処理装置。 - 前記鏡面反射情報に基づいて、前記法線情報を圧縮するための圧縮レベルを決定する決定手段をさらに有し、
前記圧縮手段は、前記圧縮レベルに基づいて、前記法線情報を圧縮することを特徴とする請求項1乃至請求項3のいずれか一項に記載の情報処理装置。 - 前記決定手段は、鏡面反射強度と圧縮レベルとの対応関係を保持するデータを用いて、前記法線情報を圧縮するための圧縮レベルを決定することを特徴とする請求項6に記載の情報処理装置。
- 前記鏡面反射情報は、前記物体における鏡面反射強度の2次元分布を表し、
前記法線情報は、前記物体における法線ベクトルの2次元分布を表すことを特徴とする請求項1乃至請求項7のいずれか一項に記載の情報処理装置。 - コンピュータを請求項1乃至請求項8のいずれか一項に記載の情報処理装置の各手段として機能させるためのプログラム。
- 物体の表面における法線方向を表す法線情報と、前記物体における鏡面反射方向への反射に関する鏡面反射情報と、を取得する取得ステップと、
前記鏡面反射情報に基づいて、前記法線情報を圧縮する圧縮ステップと、を有し、
前記圧縮ステップにおいて、前記物体における鏡面反射強度が小さいほど、高圧縮な圧縮処理を行うことを特徴とする情報処理方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020204919A JP7614815B2 (ja) | 2020-12-10 | 2020-12-10 | 情報処理装置、情報処理方法及びプログラム |
| EP21207204.5A EP4012665B1 (en) | 2020-12-10 | 2021-11-09 | Apparatus, method, and storage medium for compressing information |
| US17/540,112 US12165381B2 (en) | 2020-12-10 | 2021-12-01 | Apparatus, method, and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020204919A JP7614815B2 (ja) | 2020-12-10 | 2020-12-10 | 情報処理装置、情報処理方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022092235A JP2022092235A (ja) | 2022-06-22 |
| JP7614815B2 true JP7614815B2 (ja) | 2025-01-16 |
Family
ID=78592634
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020204919A Active JP7614815B2 (ja) | 2020-12-10 | 2020-12-10 | 情報処理装置、情報処理方法及びプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US12165381B2 (ja) |
| EP (1) | EP4012665B1 (ja) |
| JP (1) | JP7614815B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7730657B2 (ja) * | 2021-04-05 | 2025-08-28 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
| JP7762060B2 (ja) * | 2021-12-20 | 2025-10-29 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
| JP7797221B2 (ja) * | 2022-01-24 | 2026-01-13 | キヤノン株式会社 | 情報処理装置、情報処理システム、情報処理方法、及びプログラム |
| JP7840810B2 (ja) * | 2022-07-21 | 2026-04-06 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
| US20240257401A1 (en) * | 2023-01-30 | 2024-08-01 | Six Impossible Things Before Breakfast Limited | Systems and Methods for Improving Compression of Normal Maps |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040217956A1 (en) | 2002-02-28 | 2004-11-04 | Paul Besl | Method and system for processing, compressing, streaming, and interactive rendering of 3D color image data |
| JP2005149390A (ja) | 2003-11-19 | 2005-06-09 | Fuji Photo Film Co Ltd | 画像処理方法および装置 |
| WO2009157129A1 (ja) | 2008-06-26 | 2009-12-30 | パナソニック株式会社 | 画像処理装置、画像分割プログラムおよび画像合成方法 |
| JP2019005942A (ja) | 2017-06-21 | 2019-01-17 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| CN110033509A (zh) | 2019-03-22 | 2019-07-19 | 嘉兴超维信息技术有限公司 | 一种基于漫反射梯度偏振光构建三维人脸法线的方法 |
| WO2020181360A1 (en) | 2019-02-22 | 2020-09-17 | Avalon Holographics Inc. | Layered scene decomposition codec system and methods |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3565259A1 (en) | 2016-12-28 | 2019-11-06 | Panasonic Intellectual Property Corporation of America | Three-dimensional model distribution method, three-dimensional model receiving method, three-dimensional model distribution device, and three-dimensional model receiving device |
-
2020
- 2020-12-10 JP JP2020204919A patent/JP7614815B2/ja active Active
-
2021
- 2021-11-09 EP EP21207204.5A patent/EP4012665B1/en active Active
- 2021-12-01 US US17/540,112 patent/US12165381B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040217956A1 (en) | 2002-02-28 | 2004-11-04 | Paul Besl | Method and system for processing, compressing, streaming, and interactive rendering of 3D color image data |
| JP2005149390A (ja) | 2003-11-19 | 2005-06-09 | Fuji Photo Film Co Ltd | 画像処理方法および装置 |
| WO2009157129A1 (ja) | 2008-06-26 | 2009-12-30 | パナソニック株式会社 | 画像処理装置、画像分割プログラムおよび画像合成方法 |
| JP2019005942A (ja) | 2017-06-21 | 2019-01-17 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| WO2020181360A1 (en) | 2019-02-22 | 2020-09-17 | Avalon Holographics Inc. | Layered scene decomposition codec system and methods |
| CN110033509A (zh) | 2019-03-22 | 2019-07-19 | 嘉兴超维信息技术有限公司 | 一种基于漫反射梯度偏振光构建三维人脸法线的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP4012665A1 (en) | 2022-06-15 |
| US20220189137A1 (en) | 2022-06-16 |
| US12165381B2 (en) | 2024-12-10 |
| JP2022092235A (ja) | 2022-06-22 |
| EP4012665B1 (en) | 2024-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7614815B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| EP1323132B1 (en) | Image sharpening by variable contrast stretching | |
| US7945118B2 (en) | Image processing apparatus and control method thereof | |
| JP5573316B2 (ja) | 画像処理方法および画像処理装置 | |
| CN103931181B (zh) | 用于空间可扩展视频编码的自适应上采样 | |
| JP4398257B2 (ja) | テクスチャ・イメージが使用する空間を最適化するための方法及びプログラム | |
| KR100967701B1 (ko) | 3차원 유화 데이터의 복원 | |
| JP2010511326A (ja) | デジタル画像のダイナミックレンジを増強するための装置及び方法 | |
| JP2009199104A (ja) | 画像生成装置、画像生成方法及びコンピュータプログラム | |
| JP2020061080A (ja) | 画像処理装置、撮像装置、画像処理方法 | |
| JP2003006643A (ja) | 画像処理装置及びその方法、プログラム | |
| JP2012133796A (ja) | 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム | |
| CN107102827B (zh) | 改善图像对象的质量的方法以及执行该方法的设备 | |
| JP4790031B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| US12020371B2 (en) | Apparatus, method, and storage medium for compressing data about texture of an object | |
| JP2000115526A (ja) | 画像処理装置およびエッジ処理方法 | |
| JP7767054B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| Kugler | High-performance texture decompression hardware | |
| JP7851160B2 (ja) | 画像処理装置、制御方法及びプログラム | |
| US12450826B2 (en) | Information processing apparatus, information processing method, and storage medium | |
| JP2025148286A (ja) | 領域検出方法、コンピュータープログラム、及び、領域検出装置 | |
| Model | Scale-Space Filtering and LOD-The | |
| TW201108631A (en) | System and method for compressing documents | |
| JP2005005890A (ja) | 画像処理装置及びその方法、プリンタ、並びにコンピュータが読出し可能なプログラム | |
| JP2016046597A (ja) | 画像処理装置、および画像処理装置の制御方法、プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210108 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231127 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240730 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240912 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20241203 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241227 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7614815 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |