JP6930310B2 - Modeling control device, modeling control program - Google Patents
Modeling control device, modeling control program Download PDFInfo
- Publication number
- JP6930310B2 JP6930310B2 JP2017171804A JP2017171804A JP6930310B2 JP 6930310 B2 JP6930310 B2 JP 6930310B2 JP 2017171804 A JP2017171804 A JP 2017171804A JP 2017171804 A JP2017171804 A JP 2017171804A JP 6930310 B2 JP6930310 B2 JP 6930310B2
- Authority
- JP
- Japan
- Prior art keywords
- modeling
- information
- dimensional
- control device
- sensory information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001953 sensory effect Effects 0.000 claims description 54
- 235000019640 taste Nutrition 0.000 claims description 33
- 235000019658 bitter taste Nutrition 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 235000019583 umami taste Nutrition 0.000 claims description 16
- 235000019647 acidic taste Nutrition 0.000 claims description 10
- 239000012780 transparent material Substances 0.000 claims description 7
- 235000019600 saltiness Nutrition 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 3
- 230000015541 sensory perception of touch Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 43
- 239000000463 material Substances 0.000 description 31
- 239000000919 ceramic Substances 0.000 description 18
- 230000000007 visual effect Effects 0.000 description 13
- 235000019643 salty taste Nutrition 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 239000011230 binding agent Substances 0.000 description 6
- 235000013305 food Nutrition 0.000 description 6
- 238000002347 injection Methods 0.000 description 6
- 239000007924 injection Substances 0.000 description 6
- 239000000843 powder Substances 0.000 description 6
- 229920005989 resin Polymers 0.000 description 6
- 239000011347 resin Substances 0.000 description 6
- 239000007788 liquid Substances 0.000 description 5
- 235000019614 sour taste Nutrition 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000000151 deposition Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000001125 extrusion Methods 0.000 description 3
- 238000010030 laminating Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 229910052751 metal Inorganic materials 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 235000019615 sensations Nutrition 0.000 description 3
- 229920000491 Polyphenylsulfone Polymers 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- XECAHXYUAAWDEL-UHFFFAOYSA-N acrylonitrile butadiene styrene Chemical compound C=CC=C.C=CC#N.C=CC1=CC=CC=C1 XECAHXYUAAWDEL-UHFFFAOYSA-N 0.000 description 2
- 239000004676 acrylonitrile butadiene styrene Substances 0.000 description 2
- 229920000122 acrylonitrile butadiene styrene Polymers 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000008018 melting Effects 0.000 description 2
- 238000002844 melting Methods 0.000 description 2
- 150000002739 metals Chemical class 0.000 description 2
- 239000004033 plastic Substances 0.000 description 2
- 229920003023 plastic Polymers 0.000 description 2
- 229920000747 poly(lactic acid) Polymers 0.000 description 2
- 239000004417 polycarbonate Substances 0.000 description 2
- 239000004626 polylactic acid Substances 0.000 description 2
- 229910000679 solder Inorganic materials 0.000 description 2
- 239000002344 surface layer Substances 0.000 description 2
- 239000001993 wax Substances 0.000 description 2
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 1
- JHWNWJKBPDFINM-UHFFFAOYSA-N Laurolactam Chemical compound O=C1CCCCCCCCCCCN1 JHWNWJKBPDFINM-UHFFFAOYSA-N 0.000 description 1
- 239000004677 Nylon Substances 0.000 description 1
- 229920000299 Nylon 12 Polymers 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000011575 calcium Substances 0.000 description 1
- 229910052791 calcium Inorganic materials 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 229920006351 engineering plastic Polymers 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000003925 fat Substances 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 239000010440 gypsum Substances 0.000 description 1
- 229910052602 gypsum Inorganic materials 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000018984 mastication Effects 0.000 description 1
- 238000010077 mastication Methods 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 229920001778 nylon Polymers 0.000 description 1
- 229920000515 polycarbonate Polymers 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 235000019608 salt taste sensations Nutrition 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000008786 sensory perception of smell Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 229920003002 synthetic resin Polymers 0.000 description 1
- 239000000057 synthetic resin Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 239000003981 vehicle Substances 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Producing Shaped Articles From Materials (AREA)
Description
本発明は、造形制御装置、造形制御プログラムに関する。 The present invention relates to a modeling control device and a modeling control program.
特許文献1には、被測定物を電子化して保管することが可能であり、硬度を知りたい場合には簡単に擬似再生する電子カルテ実物擬似保管装置が記載されている。
特許文献2には、きめ細かい3D仮想物体(VO)から、きめの粗い現実の物理物体(RO)を生成することが記載されている。 Patent Document 2 describes that a coarse-grained real physical object (RO) is generated from a fine-grained 3D virtual object (VO).
特許文献3には、3Dプリンタジオメトリに含まれる仮想ゲーム環境の構成要素は、補足的ジオメトリによって、モデルの最終プリント物理形態においてモデルを支持するように計算された寸法を有する3Dプリンタジオメトリ内の構造形状を有するように修正することが記載されている。 In Patent Document 3, the components of the virtual game environment included in the 3D printer geometry are structures in the 3D printer geometry that have dimensions calculated to support the model in the final print physical form of the model by the complementary geometry. It is described that it is modified to have a shape.
特許文献4には、現実に存在する地球を中心とした宇宙空間を三次元レベルで創造したバーチャル空間世界を三次元仮想現実空間画像で表示する仮想現実空間提供手段を有することが記載されている。 Patent Document 4 describes that it has a virtual reality space providing means for displaying a virtual space world created at a three-dimensional level in a space centered on the earth that actually exists as a three-dimensional virtual reality space image. ..
視覚に基づき、リアルな色味や濃度を用いて造形物を三次元造形装置で造形することはできるが、視覚以外の五感に対応した色味又は濃度で造形することはなされていない。 Although it is possible to model a modeled object with a three-dimensional modeling device using realistic colors and densities based on vision, it is not possible to model with colors or densities corresponding to the five senses other than vision.
本発明は、視覚以外の五感を視覚情報に変換して造形することができる造形制御装置及び造形制御プログラムを得ることが目的である。 An object of the present invention is to obtain a modeling control device and a modeling control program capable of converting five senses other than vision into visual information for modeling.
請求項1に記載の発明は、対象物の三次元造形情報を取得すると共に、当該対象物の所定の断面で露出し得る各三次元位置を、味覚、聴覚、嗅覚、又は触覚を通じて表現するための感覚情報を取得する取得手段と、前記取得手段で取得した感覚情報を、視覚を通じて識別された三次元造形情報に変換する変換手段と、前記変換手段で変換した前記三次元造形情報によって、前記対象物の三次元造形物の造形を指示する指示手段と、を有し、前記所定の断面において、前記対象物の感覚情報の三次元分布を、視覚を通じて識別可能とする。
The invention according to
請求項2に記載の発明は、前記請求項1に記載の発明において、前記指示手段が、前記対象物の内部の特定の感覚情報を表現する場合に、特定の感覚情報に該当しない領域を透過性のある材質として造形を指示する。
The invention according to claim 2 is the invention according to
請求項3に記載の発明は、前記請求項1又は請求項2に記載の発明において、前記変換手段が、前記感覚情報の種類を色で識別し、前記感覚情報の強弱を濃度で識別する。
In the invention according to claim 3, in the invention according to
請求項4に記載の発明は、請求項1に記載の発明は、前記対象物を表現する五感の種類が味覚であり、前記取得手段が、当該味覚の感覚情報として、甘味、酸味、旨味、苦味、及び塩味の有無情報と、各味覚の感覚情報の強弱を示す数値情報を取得し、前記変換手段では、感覚情報毎に、視覚を通じて識別可能な複数の三次元造形情報に変換する。
The invention according to claim 4 is the invention according to
請求項5に記載の発明は、前記請求項1〜請求項4の何れか1項記載の発明において、使用者が装着可能であり、造形物の画像が、当該造形物を造形している使用者の手の画像の動きに応じて変形していく動画像を表示する表示装置を備えたヘッドセットインターフェイスと、前記表示装置に表示される動画像に伴って、使用者の手に、力覚及び触覚を提示する力触覚提示装置と、を備えた仮想造形制御装置をさらに有し、前記対象物の三次元造形情報が、前記仮想造形制御装置で造形した情報である。
The invention according to claim 5 is the invention according to any one of
請求項6に記載の発明は、コンピュータを請求項1〜請求項5の何れか1記載の造形制御装置として動作させる造形制御プログラムである。
The invention according to claim 6 is a modeling control program that operates a computer as a modeling control device according to any one of
請求項1に記載の発明によれば、視覚以外の五感を視覚情報に変換して造形することができる。
According to the invention of
請求項2に記載の発明によれば、視覚以外の五感を視覚情報に変換して造形することができる。 According to the second aspect of the present invention, the five senses other than the visual sense can be converted into visual information for modeling.
請求項3に記載の発明によれば、視覚以外の五感の感覚を、色と濃度で表現することができ、より具体的には、感覚情報の種類は色によって識別することができ、及び強弱は濃度によって識別することができる。 According to the invention of claim 3, the senses of the five senses other than vision can be expressed by color and density, and more specifically, the type of sensory information can be identified by color, and the strength and weakness. Can be identified by concentration.
請求項4に記載の発明によれば、一つの三次元造形情報から味覚の感覚情報毎の複数の造形物を造形することができる。 According to the invention of claim 4, it is possible to model a plurality of shaped objects for each sense information of taste from one three-dimensional modeling information.
請求項5に記載の発明によれば、仮想造形によって対象物の三次元造形情報を得ることができる。 According to the invention of claim 5, three-dimensional modeling information of an object can be obtained by virtual modeling.
請求項6に記載の発明によれば、視覚以外の五感を視覚情報に変換して造形することができる。 According to the invention of claim 6, the five senses other than the visual sense can be converted into visual information for modeling.
図1は、本実施の形態に係る造形制御装置10の概略図である。
FIG. 1 is a schematic view of a
造形制御装置10は、マイクロコンピュータ12を有しており、マイクロコンピュータ12は、CPU12A、RAM12B、ROM12C、入出力ポート12D(I/O12D)、及びこれらを接続するデータバスやコントロールバス等のバス12Eを備えている。
The
I/O12Dには、大規模記録媒体としてのハードディスク14が接続されると共に、UI15が接続されている。ハードディスク14は、三次元造形情報を一時的に格納する。
A
また、I/O12Dは、ネットワークI/F17を介して通信回線網19に接続され、三次元造形情報を受け取る、1系統として適用される。なお、三次元造形情報は、造形制御装置10の内部で生成してもよい。
Further, the I / O 12D is applied as one system that is connected to the
ROM12Cには、造形制御のためのプログラムが記録されており、造形制御装置10が起動すると、ROM12Cから当該プログラムが読み出され、CPU12Aによって実行される。なお、造形制御プログラムは、ROM12Cの他、ハードディスク14や他の記録媒体に記録しておいてもよい。
A program for modeling control is recorded in the
(三次元造形装置)
図1に示される如く、I/O12Dには、I/F42を介して三次元造形装置46が接続されている。三次元造形制御装置44は、三次元造形装置46を制御して、実物の三次元造形物を造形する。なお、図1では、1個(1種類)の三次元造形装置46が接続された例を示しているが、複数個(複数種類)の三次元造形装置46を一括制御するようにしてもよい。例えば、異なる造形方式で造形する複数種類の三次元造形装置46を一括管理し、用途に合った三次元造形装置46を選択して、造形を指示するようにしてもよい。
(Three-dimensional modeling device)
As shown in FIG. 1, a three-
造形方式としては、結合剤噴射方式、指向性エネルギー堆積方式、材料押出方式、材料噴射方式、粉末床溶融結合方式、シート積層方式、及び液槽光重合方式等がある。 Examples of the molding method include a binder injection method, a directed energy deposition method, a material extrusion method, a material injection method, a powder bed melt bonding method, a sheet laminating method, and a liquid tank photopolymerization method.
図3(A)〜(G)に、造形方式の種類及び機能と、それぞれの造形方式に適合する材料の関係の一例を示す。
(1)結合剤噴射方式
図3(A)に示される如く、結合剤噴射方式の三次元造形装置46Aは、液状の結合剤50を粉末床52に噴射して選択的に固化させる方式である。材料例として、石膏、セラミックス、砂、カルシウム、プラスティックが挙げられる。
(2)指向性エネルギー堆積方式
図3(B)に示される如く、指向性エネルギー堆積方式の三次元造形装置46Bは、材料54を供給しつつ、ビーム56等を集中させることによって熱の発生位置を制御し、材料54を選択的に溶融、結合させる方式である。材料例として、金属が挙げられる。
(3)材料押出方式
図3(C)に示される如く、材料押出方式の三次元造形装置46Cは、流動性のある材料58をノズル60から押し出し、堆積させると同時に固化させる方式である。材料例として、ABS(アクリニトリル・ブタジエン・スチレン樹脂)、PLA(ポリ乳酸)、ナイロン12、PC(ポリカーボネイト)、PPSF(ポリフェニルスルホン)が挙げられる。
(4)材料噴射方式
図3(D)に示される如く、材料噴射方式の三次元造形装置46Dは、材料の液滴62を噴射し、選択的に堆積し固化させる方式である。三次元造形装置46Dは、その代表的なインクジェット法による造形方式である。材料例として、UV硬化樹脂、脂、ワックス、ハンダが挙げられる。
(5)粉末床溶融結合方式
図3(E)に示される如く、粉末床溶融結合方式の三次元造形装置46Eは、粉末を敷いたある領域64をレーザ66から照射される熱エネルギーによって選択的に溶融結合させる方式である。材料例として、エンジニアリングプラスティック、ナイロン、金属が挙げられる。
(6)シート積層方式
図3(F)に示される如く、シート積層方式の三次元造形装置46Fは、シート状の材料68を接着させる方式である。材料例として、紙、樹脂シート、アルミシートワックス、ハンダが挙げられる。
(7)液槽光重合方式
図3(G)に示される如く、液槽光重合方式の三次元造形装置46Gは、タンク70に貯められる液状の光硬化性樹脂72を光重合によって選択的に硬化させる方式である。材料例として、UV硬化樹脂が挙げられる。
FIGS. 3 (A) to 3 (G) show an example of the relationship between the types and functions of the modeling methods and the materials suitable for each modeling method.
(1) Binder injection method As shown in FIG. 3A, the binder injection type three-
(2) Directed Energy Accumulation Method As shown in FIG. 3 (B), the three-
(3) Material Extrusion Method As shown in FIG. 3C, the material extrusion type three-
(4) Material Injection Method As shown in FIG. 3D, the material injection method three-
(5) Powder bed melt-bonding method As shown in FIG. 3 (E), the powder bed melt-bonding type three-
(6) Sheet Laminating Method As shown in FIG. 3 (F), the sheet laminating method three-dimensional modeling apparatus 46F is a method of adhering the sheet-shaped
(7) Liquid Tank Photopolymerization Method As shown in FIG. 3 (G), the liquid tank photopolymerization type three-
なお、上記(1)〜(7)に示した造形方式の異なる7種類の三次元造形装置46A〜Gは、選択的に、造形メーカーが所有する。また、図3では、上記(1)〜(7)に示す造形方式を示したが、この(1)〜(7)とは異なる造形方式の三次元造形装置であってもよい。
The seven types of three-
(FAVフォーマットの概略)
三次元造形物を造形するための三次元造形情報(造形フォーマットデータ)は、FAV(fabricatable voxel)フォーマットで保存されたボクセルデータが好ましい。
(Outline of FAV format)
As the three-dimensional modeling information (modeling format data) for modeling the three-dimensional modeled object, voxel data stored in the FAV (fabricatable voxel) format is preferable.
FAVフォーマットでは、三次元モデルデータの外部形状だけでなく、内部構造、使用する材料、接合強度等の様々な属性を保持する。三次元モデルデータの外観及び内側を問わず、デザイナーが思った通りに、隅々まで、徹底的に、精密かつ緻密にデザイン可能であり、それをデータとして保存し得ることを担保している。 The FAV format retains not only the external shape of the 3D model data, but also various attributes such as the internal structure, materials used, and joint strength. Regardless of the appearance and inside of the 3D model data, it is possible to design thoroughly, precisely and precisely in every corner as the designer expected, and it is guaranteed that it can be saved as data.
FAVフォーマットは、ボクセルデータをベースに構成されている。 The FAV format is constructed based on voxel data.
ボクセルとは三次元的な画素値である。二次元的な画素値であるピクセルを平面的に配置することで、画像を形成するように、三次元的な画素値であるボクセルを立体的に配置することで、物体を形成する。 A voxel is a three-dimensional pixel value. An object is formed by three-dimensionally arranging voxels, which are three-dimensional pixel values, so as to form an image by arranging pixels, which are two-dimensional pixel values, in a plane.
すなわち、FAVフォーマットは以下の条件を備えた三次元モデルデータである。 That is, the FAV format is three-dimensional model data having the following conditions.
(条件1) 三次元モデルデータの外部及び内部を問わず、形状、材料、色、接合強度等といったものづくりに必要な情報が立体的な位置ごとに明確に定義されていること。 (Condition 1) Information necessary for manufacturing such as shape, material, color, joint strength, etc. is clearly defined for each three-dimensional position regardless of the outside or inside of the three-dimensional model data.
(条件2) 三次元モデルデータのデザイン(CAD)、解析(CAE)、検査(CAT)を、データ変換することなく統一的、かつ双方向的に行うことができること。 (Condition 2) Design (CAD), analysis (CAE), and inspection (CAT) of 3D model data can be performed in a unified and bidirectional manner without data conversion.
FAVフォーマットは、材料の情報を持たせることができるため、造形方式の選定が容易となる。 Since the FAV format can have material information, it is easy to select a modeling method.
ここで、本実施の形態では、前記FAVフォーマットの特徴を十分に生かすことが可能な造形として、視覚以外の五感(味覚、聴覚、嗅覚、又は触覚の何れか)を通じて表現するための感覚情報を用いて、視覚を通じて区別可能な三次元造形を確立した。 Here, in the present embodiment, sensory information for expressing through five senses (either taste, hearing, smell, or touch) other than vision is provided as a modeling capable of fully utilizing the features of the FAV format. Using it, we established a three-dimensional model that can be distinguished visually.
本実施の形態では、視覚以外の五感の種類として味覚を例にとり、味覚を表現する感覚情報として、甘味、酸味、旨味、苦味、及び塩味の有無情報、並びに各味覚の感覚情報の強弱を示す数値情報を、視覚、すなわち、色や濃度で表現するようにした。 In the present embodiment, taste is taken as an example as a type of five senses other than vision, and as sensory information expressing taste, information on the presence or absence of sweetness, acidity, umami, bitterness, and saltiness, and the strength of sensory information of each taste are shown. Numerical information is expressed visually, that is, by color and density.
FAVデータでは、ボクセルデータが基本であり、表層面のみならず内部の状態のボクセルデータとして定義できることを利用し、当該定義の中に味覚に関する感覚情報(前述した有無情報及び数値情報)を組み込んでいる。 FAV data is basically voxel data, and by utilizing the fact that it can be defined as voxel data of not only the surface layer but also the internal state, sensory information related to taste (presence / absence information and numerical information described above) is incorporated into the definition. There is.
従って、三次元造形物を造形する場合に、造形後に目的の断面を切り取ると、色や濃度で分けられた味覚の状態が視覚を通じて認識可能となる。特定の味覚を表現する場合、特定の味覚が存在しないボクセルデータを透過性のある材質で造形することで、破断しなくても内部の味覚分布状態が把握可能となる。 Therefore, when modeling a three-dimensional modeled object, if a target cross section is cut out after modeling, the state of taste divided by color and density can be visually recognized. When expressing a specific taste, by modeling the voxel data in which the specific taste does not exist with a transparent material, the internal taste distribution state can be grasped without breaking.
(造形制御装置10における感覚情報の視覚表現変換機能)
図2は、造形制御装置10において実行される、視覚以外の五感(味覚、聴覚、嗅覚、又は触覚の何れか)を通じて表現するための感覚情報を用いて、視覚を通じて区別可能な造形制御を実行するためのブロック図が示されている。なお、図2の各ブロックは、造形制御装置10の感覚情報に基づく造形制御に特化して、機能別に分類したものであり、造形制御装置10のハード構成を限定するものではない。
(Visual expression conversion function of sensory information in the modeling control device 10)
FIG. 2 shows the visually distinguishable modeling control using the sensory information for expressing through the five senses (either taste, hearing, smell, or touch) other than the visual sense, which is executed in the
受付部74は、FAVデータに代表されるボクセルデータとして、視覚以外の五感の感覚情報が定義された三次元造形情報、及び造形条件情報を含む指示情報を受け付ける。
The
受付部74は、抽出部76に接続され、受け付けた指示情報を送出する。
The
抽出部76は、指示情報を解析して、三次元造形情報と造形条件情報とを抽出する。三次元造形情報は、通常に三次元造形するための情報であり、造形条件情報は当該通常の造形が五感(ここでは、味覚)に特化した造形であるかを示す情報である。
The
なお、「通常に三次元造形する」とは、例えば、原型である実物と相似形の造形物、或いは設計上の画像や写真等に基づき表現される立体形状の造形物を造形することを言う。また、造形した三次元造形物を複製することも含む。 In addition, "normally three-dimensional modeling" means, for example, modeling a modeled object that is similar to the original model, or a three-dimensional modeled object that is expressed based on a design image, photograph, or the like. .. It also includes duplicating the modeled three-dimensional model.
造形情報は、造形情報を一時格納部78へ送出され、一時的に格納される。
The modeling information is sent to the
造形条件は、判定部80へ送出される。判定部80では、通常の造形か、視覚以外の五感を表現する造形かの判定を実行する。
The modeling conditions are sent to the
判定部80は、造形指示部82及び感覚情報読出部84に接続されている。
The
判定部80の判定結果が通常造形であった場合、通常造形であることを造形指示部82へ通知する。
When the determination result of the
また、判定部80の判定結果が五感表現であった場合、五感表現であることを感覚情報読出部84へ通知する。
Further, when the determination result of the
感覚情報読出部84では、造形条件情報から感覚情報を読み出して、色変換部86へ送出する。
The sensory
色変換部86では、一時格納部78に格納された三次元造形情報を取り込んで、感覚情報に基づいて色変換処理を実行する。すなわち、FAVデータの場合、各ボクセルデータの色定義が味覚によって変換されることになる。
The
色変換部86は、造形指示部82に接続されている。色変換部86は、造形指示部82へ色変換された三次元造形情報を送出する。
The
造形指示部82では、通常造形の場合は一時格納部78から三次元造形情報を受け、五感表現造形の場合は色変換部86から三次元造形情報を受け取ることになる。
The
造形指示部82は、I/F42を介して三次元造形装置46に接続されており、受け取った三次元造形情報に基づいて、三次元造形装置46を制御して、三次元造形(通常又は五感表現)を指示する。
The
以下に本実施の形態の作用を図4のフローチャートに従い説明する。 The operation of this embodiment will be described below with reference to the flowchart of FIG.
ステップ100では、造形指示(指示情報)を受け付けたか否かを判断し、否定判定された場合は、このルーチンは終了する。
In
また、ステップ100で肯定判定された場合は、ステップ102へ移行して、三次元造形情報(ここでは、ボクセルデータ)、及び造形条件情報を抽出し、ステップ104へ移行する。
If an affirmative decision is made in
ステップ104では、三次元造形情報を一時格納部78(図2参照)へ一時的に格納し、ステップ106へ移行する。
In
ステップ106では、受け付けた造形指示が通常造形か否かを判断する。
In
このステップ106で肯定判定されると、ステップ108へ移行して、一時格納部78から三次元造形情報を読み出して、ステップ116へ移行する。
If an affirmative determination is made in
また、ステップ106で否定判定されると、ステップ110へ移行して、造形情報から、表現対象(視覚以外の五感)の感覚情報(色、濃度)を読み出し、次いで、ステップ112へ移行して、一時格納部78から三次元造形情報を読み出し、ステップ114へ移行する。
If a negative determination is made in
ステップ114では、三次元画像情報から色(又は濃度)情報を読み出し、感覚情報に基づき、色(又は濃度)情報に変換処理する。例えば、五感の種類が味覚である場合、味覚を表現する甘味、酸味、旨味、苦味、塩味毎の強さを色又は濃度で表現し(詳細後述、図5及び図6参照)、ステップ116へ移行する。
In
ステップ116では、三次元造形装置46(図2参照)に三次元造形を指示する。この指示は、通常の造形の場合は、ステップ108で読み出した三次元造形情報に基づいて、三次元造形を指示し、五感表現の造形の場合は、ステップ114で変換処理された三次元造形情報に基づいて、三次元造形を指示する。
In
(五感表現の造形条件)
図5(A)は、食品を例にとり、視覚以外の五感(味覚、嗅覚、触覚、聴覚)のそれぞれの感覚情報を示した一覧表である。
(Modeling conditions for expressing the five senses)
FIG. 5A is a list showing sensory information of each of the five senses (taste, smell, touch, and hearing) other than vision, taking food as an example.
味覚の感覚情報には、甘味、酸味、旨味、苦味、塩味がある。嗅覚の感覚情報には、こく、広がり、厚み、香りがある。触覚の感覚情報には、歯ごたえ、舌触り、湿度がある。聴覚の感覚情報には、そしゃく音、叩き音がある。 The sensory information of taste includes sweetness, acidity, umami, bitterness, and saltiness. The sensory information of the sense of smell includes richness, spread, thickness, and aroma. Tactile sensory information includes texture, texture, and humidity. Auditory sensory information includes mastication sounds and tapping sounds.
図5(B)は、味覚を例にとり、特定食品の三次元画像情報における最小情報単位であるボクセルデータ毎の感覚情報の占有割合を示したレーダーチャートである。 FIG. 5B is a radar chart showing the occupancy ratio of sensory information for each voxel data, which is the minimum information unit in the three-dimensional image information of a specific food, taking taste as an example.
図5(B)によれば、特定食品は、甘味、酸味が多く存在し、苦味及び塩味がこれに続き、旨味が少ない傾向であることがわかる。 According to FIG. 5B, it can be seen that the specific foods tend to have a large amount of sweetness and acidity, followed by bitterness and saltiness, and have less umami.
しかしながら、この図5(B)のレーダーチャートでは、各感覚情報が三次元造形物の何れの位置であるかまでは不明である。 However, in the radar chart of FIG. 5B, it is unclear which position of each sensory information is in the three-dimensional model.
そこで、図6に示される如く、感覚情報を指定することで、同一の三次元情報に基づく三次元造形物でありながら、当該感覚情報が強調された色又は濃度の三次元造形物の造形が可能となる。 Therefore, as shown in FIG. 6, by designating the sensory information, it is possible to create a three-dimensional model based on the same three-dimensional information, but with a color or density in which the sensory information is emphasized. It will be possible.
図6(A)は、通常の三次元造形物88Aである。この通常の三次元造形物88Aでは、表層面の状態は把握可能であるが、味覚の表現がなされていない。
FIG. 6A is a normal three-
図6(B)は、感覚情報の内、甘味を表現した場合の三次元造形物88Bである。この甘味表現の三次元造形物88Bは、第1の色で甘味部分が表現されていると共に、その他の領域(甘味が無い領域)は透明材料で造形されている。また、甘味表現の三次元造形物88Bは、甘味の強弱が第1の色の濃度で表示されている。これにより、図6(B)の甘味を表現した三次元造形物88Bは、図5(B)のレーダーチャートに比べて、甘味の位置及び甘味の強さを視覚的に認識することが可能となる。
FIG. 6B is a three-
図6(C)は、感覚情報の内、塩味を表現した場合の三次元造形物88Cである。この塩味表現の三次元造形物88Cは、第2の色で塩味部分が表現されていると共に、その他の領域(塩味が無い領域)は透明材料で造形されている。また、塩味表現の三次元造形物88Cは、塩味の強弱が第2の色の濃度で表示されている。これにより、図6(C)の塩味を表現した三次元造形物88Cは、図5(B)のレーダーチャートに比べて、塩味の位置及び塩味の強さを視覚的に認識することが可能となる。
FIG. 6C is a three-
図6(D)は、感覚情報の内、酸味を表現した場合の三次元造形物88Dである。この酸味表現の三次元造形物88Dは、第3の色で酸味部分が表現されていると共に、その他の領域(三位が無い領域)は透明材料で造形されている。また、酸味表現の三次元造形物88Dは、酸味の強弱が第3の色の濃度で表示されている。これにより、図6(D)の酸味を表現した三次元造形物88Dは、図5(B)のレーダーチャートに比べて、酸味の位置及び酸味の強さを視覚的に認識することが可能となる。
FIG. 6 (D) is a three-
図6(E)は、感覚情報の内、苦味を表現した場合の三次元造形物88Eである。この苦味表現の三次元造形物88Eは、第4の色で苦味部分が表現されていると共に、その他の領域(苦味が無い領域)は透明材料で造形されている。また、苦味表現の三次元造形物88Eは、苦味の強弱が第4の色の濃度で表示されている。これにより、図6(E)の苦味を表現した三次元造形物88Eは、図5(B)のレーダーチャートに比べて、苦味の位置及び苦味の強さを視覚的に認識することが可能となる。
FIG. 6 (E) is a three-
図6(F)は、感覚情報の内、旨味を表現した場合の三次元造形物88Fである。この旨味表現の三次元造形物88Fは、第5の色で旨味部分が表現されていると共に、その他の領域(旨味が無い領域)は透明材料で造形されている。また、旨味表現の三次元造形物88Fは、旨味の強弱が第5の色の濃度で表示されている。これにより、図6(F)の旨味を表現した三次元造形物88Fは、図5(B)のレーダーチャートに比べて、旨味の位置及び旨味の強さを視覚的に認識することが可能となる。
FIG. 6 (F) is a three-
なお、図6では、味覚を例にとり三次元造形物を造形する例を示したが、他の視覚以外の五感(嗅覚、触覚、聴覚)のそれぞれの感覚情報に基づいて造形することが可能である。また、三次元造形物は、食品に限定されるものではない。 Although FIG. 6 shows an example of modeling a three-dimensional model by taking taste as an example, it is possible to model based on the sensory information of each of the five senses (smell, touch, and hearing) other than the visual sense. be. Moreover, the three-dimensional model is not limited to food.
なお、本実施の形態では、三次元造形の指示を外部から指示情報を受け付けて、視覚以外の五感で表示した三次元造形物に変換処理するようにしたが、仮想陶芸空間を用いて、原型となる三次元造形物を設計、創作するようにしてもおよい。 In the present embodiment, the instruction of the three-dimensional modeling is received from the outside and converted into the three-dimensional modeling object displayed by the five senses other than the visual sense, but the prototype is used in the virtual ceramic art space. You may also design and create a three-dimensional modeled object.
図7は、通信回線網19に接続された仮想陶芸制御装置16が示されている。仮想陶芸制御装置16は、図1に示すネットワークI/F17を介して、造形制御装置10のI/O12Dに接続されている。仮想陶芸制御装置16は、仮想陶芸プログラムに従い仮想陶芸で設計、創作された三次元造形情報を造形制御装置10へ送出する。
FIG. 7 shows a virtual ceramic
なお、仮想陶芸空間を構築するプログラムは、本実施の形態の造形制御装置10(図1参照)に組み込んでもよい。 The program for constructing the virtual ceramic art space may be incorporated into the modeling control device 10 (see FIG. 1) of the present embodiment.
(陶芸用UI)
図7に示される如く、仮想陶芸制御装置16には、陶芸用UI18としてヘッドセット20と力触覚提示装置22とが接続されている。陶芸用UI18は、所謂仮想陶芸の実行に際し、利用者の手の動きに合わせて、力触覚を伝える機能を有している。
(UI for ceramics)
As shown in FIG. 7, the virtual ceramic
図7には、陶芸用UI18を使用者24が装着した装着例が示されている。
FIG. 7 shows an example of wearing the
ヘッドセット20は、使用者24に対して視覚を通じて情報を伝達するためのゴーグル26と、使用者24に対して聴覚を通じて情報を伝達するためのヘッドホン28と、ゴーグル26とヘッドホン28とを使用者24の頭部に装着するためのベルトユニット30と、を備える。
The
ゴーグル26は表示装置26Aを備えており、仮想陶芸制御装置16の制御により、表示装置26Aに陶芸用の仮想空間を表示する。
The
また、ヘッドホン28はスピーカ28Aを備えており、仮想陶芸制御装置16の制御により、仮想空間上での陶芸作業中の音声を出力する。
Further, the
一方、陶芸用UI18の力触覚提示装置22は、使用者の手(ここでは、両手)に装着するための支持体としてグローブ34を備えている。
On the other hand, the force-
グローブ34には、複数の触覚提示用アクチュエータ36と、複数の力覚提示用アクチュエータ38と、が取り付けられている。触覚提示用アクチュエータ36は、仮想陶芸制御装置16の制御により、仮想陶芸で陶芸作業中の資材(仮想粘土)に触れた感触を使用者24の手に伝達する。また、力覚提示用アクチュエータ38は、仮想陶芸制御装置16の制御により、仮想陶芸で陶芸作業中の資材を変形させたときの力加減を使用者24の手に伝達する。
A plurality of
また、グローブ34には、複数のモーションキャプチャ40が取り付けられており、使用者24の手の動きを検出し、当該検出信号は、仮想陶芸制御装置16へ送出されるようになっている。
Further, a plurality of motion captures 40 are attached to the
仮想陶芸制御装置16では、使用者24の手の動きと、仮想陶芸区間画像とを同期させることで、表示装置26Aに使用者24の手画像(仮想手画像)を表示させることで、使用者24は、視覚、聴覚、触覚を通じて仮想陶芸を体感することが可能となる(図8参照)。なお、本実施の形態では、視覚、聴覚、触覚を通じて仮想陶芸を体感させているが、他の五感(味覚、嗅覚)を取り入れることを否定するものではない。
In the virtual ceramic
(仮想陶芸手順)
仮想陶芸では、使用者24が、陶芸用UI18を装着する。
(Virtual ceramic art procedure)
In virtual ceramics, the
すなわち、使用者24の頭部にはヘッドセット20を装着し、使用者24の手にはグローブ34(力触覚提示装置22)を装着する。
That is, the
ヘッドセット20の表示装置26Aには、仮想陶芸制御装置16の制御により陶芸用の仮想空間を表示される。スピーカ28Aからは、仮想陶芸空間で発せられる音が出力される。
The
力触覚提示装置22の触覚提示用アクチュエータ36は、仮想陶芸で陶芸作業中の資材(仮想粘土)に触れた感触を使用者24の手に伝達する。
The
また、力触覚提示装置22の力覚提示用アクチュエータ38は、仮想陶芸で陶芸作業中の資材を変形させたときの力加減を使用者24の手に伝達する。
Further, the force
グローブ34に取り付けられたモーションキャプチャ40は、使用者24の手の動きを検出し、当該使用者24の手の動きと、仮想陶芸区間画像とを同期させて表示装置26Aに表示する。
The
表示装置26Aには、図8に示される如く、仮想造形空間と使用者24の動きに合わせた仮想手画像が表示されるため、使用者24は、臨場感を持って仮想陶芸を実行することが可能となる。
As shown in FIG. 8, the
なお、上記では、仮想の造形を仮想陶芸としたが、陶芸に限るものではない。例えば、金属や合成樹脂等の様々な資材の加工作業を仮想現実空間で実行し、当該加工途中の造形物を三次元造形するようにしてもよい。加工作業としては、家屋やビルの建築模型を製作する仮想現実空間、車両の設計段階の意匠模型を製作する仮想現実空間、プラモデルや造花等の趣味の造形物を組み立てたり、製作する仮想現実空間において、製作途中の特徴点を抽出して、造形するようにしてもよい。 In the above, the virtual modeling is defined as virtual ceramic art, but it is not limited to ceramic art. For example, the processing work of various materials such as metal and synthetic resin may be executed in the virtual reality space, and the modeled object in the process of processing may be three-dimensionally modeled. Processing work includes a virtual reality space for making architectural models of houses and buildings, a virtual reality space for making design models at the vehicle design stage, and a virtual reality space for assembling and manufacturing hobby objects such as plastic models and artificial flowers. In the above, the feature points in the process of production may be extracted and modeled.
10 造形制御装置
12 マイクロコンピュータ
12A CPU
12B RAM
12C ROM
12D 入出力ポート(I/O)
12E バス
14 ハードディスク
16 仮想陶芸制御装置
17 ネットワークI/F
18 陶芸用UI
19 通信回線網
20 ヘッドセット
22 力触覚提示装置
24 使用者
26 ゴーグル
28 ヘッドホン
30 ベルトユニット
26A 表示装置
28A スピーカ
34 グローブ
36 触覚提示用アクチュエータ
38 力覚提示用アクチュエータ
40 モーションキャプチャ
42 I/F
44 三次元造形制御装置
46 三次元造形装置
50 結合剤
52 粉末床
54 材料
56 ビーム
58 材料
60 ノズル
62 液滴
64 領域
66 レーザ
68 材料
70 タンク
72 光硬化性樹脂
74 受付部
76 抽出部
78 一時格納部
80 判定部
82 造形指示部
84 感覚情報読出部
86 色変換部
88A 三次元造形物(通常造形物)
88B 三次元造形物(甘味表現)
88C 三次元造形物(塩味表現)
88D 三次元造形物(酸味表現)
88E 三次元造形物(苦味表現)
88F 三次元造形物(旨味表現)
10
12B RAM
12C ROM
12D I / O port (I / O)
18 Ceramic UI
19
44 3D
88B three-dimensional model (sweetness expression)
88C three-dimensional model (salt taste expression)
88D three-dimensional model (sour expression)
88E 3D model (bitter taste expression)
88F 3D model (umami expression)
Claims (6)
前記取得手段で取得した感覚情報を、視覚を通じて識別された三次元造形情報に変換する変換手段と、
前記変換手段で変換した前記三次元造形情報によって、前記対象物の三次元造形物の造形を指示する指示手段と、を有し、
前記所定の断面において、前記対象物の感覚情報の三次元分布を、視覚を通じて識別可能とする、造形制御装置。 As an acquisition means for acquiring three-dimensional modeling information of an object and acquiring sensory information for expressing each three-dimensional position that can be exposed in a predetermined cross section of the object through taste, hearing, smell, or touch. ,
A conversion means for converting the sensory information acquired by the acquisition means into three-dimensional modeling information identified through vision, and
It has an instruction means for instructing the modeling of the three-dimensional modeled object of the object by the three-dimensional modeling information converted by the conversion means.
A modeling control device that makes it possible to visually identify the three-dimensional distribution of sensory information of the object in the predetermined cross section.
前記変換手段では、感覚情報毎に、視覚を通じて識別可能な複数の三次元造形情報に変換する請求項1記載の造形制御装置。 The type of the five senses expressing the object is taste, and the acquisition means indicates the presence / absence information of sweetness, acidity, umami, bitterness, and saltiness as the sensory information of the taste, and the strength of the sensory information of each taste. Get numerical information,
The modeling control device according to claim 1, wherein the conversion means converts each sensory information into a plurality of three-dimensional modeling information that can be visually identified.
前記対象物の三次元造形情報が、前記仮想造形制御装置で造形した情報である請求項1〜請求項4の何れか1項記載の造形制御装置。 A headset interface equipped with a display device that can be worn by the user and displays a moving image in which the image of the modeled object is deformed according to the movement of the image of the user's hand modeling the modeled object. Further, a virtual modeling control device including a force-tactile sense presenting device for presenting a force sense and a tactile sense in the user's hand along with a moving image displayed on the display device is provided.
The modeling control device according to any one of claims 1 to 4, wherein the three-dimensional modeling information of the object is information formed by the virtual modeling control device.
請求項1〜請求項5の何れか1記載の造形制御装置として動作させる
造形制御プログラム。 A modeling control program that operates a computer as a modeling control device according to any one of claims 1 to 5.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017171804A JP6930310B2 (en) | 2017-09-07 | 2017-09-07 | Modeling control device, modeling control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017171804A JP6930310B2 (en) | 2017-09-07 | 2017-09-07 | Modeling control device, modeling control program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019046404A JP2019046404A (en) | 2019-03-22 |
| JP6930310B2 true JP6930310B2 (en) | 2021-09-01 |
Family
ID=65814497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017171804A Active JP6930310B2 (en) | 2017-09-07 | 2017-09-07 | Modeling control device, modeling control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6930310B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7360125B2 (en) * | 2018-10-10 | 2023-10-12 | Jsr株式会社 | Information processing devices, systems, object manufacturing methods, information processing methods, and programs |
| JP7285106B2 (en) * | 2019-03-27 | 2023-06-01 | 日本たばこ産業株式会社 | Information processing device, program and information providing system |
| US20220387885A1 (en) * | 2019-11-19 | 2022-12-08 | Immersion Corporation | Dynamic modification of multiple haptic effects |
| JP7136165B2 (en) * | 2020-09-29 | 2022-09-13 | Tdk株式会社 | Food evaluation system and food evaluation program |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0734780B2 (en) * | 1986-10-06 | 1995-04-19 | 上島珈琲株式会社 | Method for selecting and displaying single seed food, and rack for supplying single seed food |
| JPH06110543A (en) * | 1992-09-30 | 1994-04-22 | Nippon Telegr & Teleph Corp <Ntt> | Direct teaching device |
| JPH08248882A (en) * | 1995-01-06 | 1996-09-27 | Kazunori Hasegawa | Easy indication method used as measure for identifying taste and display thereof |
| JP3904671B2 (en) * | 1997-05-28 | 2007-04-11 | 富士通株式会社 | Virtual clay system and simulation method thereof |
| WO2006064993A1 (en) * | 2004-11-17 | 2006-06-22 | Jeong-Do Kim | Method of representing taste/smell information or feeling of taste/smell transferred from video image, encoding method thereof, and decoding method thereof |
| WO2009035100A1 (en) * | 2007-09-14 | 2009-03-19 | National Institute Of Advanced Industrial Science And Technology | Virtual reality environment creating device, and controller device |
| JP2010210792A (en) * | 2009-03-09 | 2010-09-24 | Zensho Co Ltd | Coffee beverage and coffee bean display label |
| US8458225B2 (en) * | 2010-02-17 | 2013-06-04 | Lockheed Martin Corporation | Spatially referenced multi-sensory data digitally encoded in a voxel database |
| JP5496032B2 (en) * | 2010-09-17 | 2014-05-21 | 京セラ株式会社 | Tactile sensation presentation apparatus and control method for tactile sensation presentation apparatus |
| JP2016076118A (en) * | 2014-10-07 | 2016-05-12 | 日本電信電話株式会社 | Information conversion device, method, and program |
| JP2016132229A (en) * | 2015-01-22 | 2016-07-25 | セイコーエプソン株式会社 | Three-dimensional object modeling apparatus, three-dimensional object modeling method, and three-dimensional object modeling program |
-
2017
- 2017-09-07 JP JP2017171804A patent/JP6930310B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019046404A (en) | 2019-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6930310B2 (en) | Modeling control device, modeling control program | |
| Baudisch et al. | Personal fabrication | |
| JP5408207B2 (en) | Solid object shaping apparatus and control program | |
| Jing | A review of techniques, advances and outstanding issues in numerical modelling for rock mechanics and rock engineering | |
| EP3118670A1 (en) | One-piece eyewear | |
| US7718105B2 (en) | Fabricating multi-component skin systems for robotics and other applications | |
| US7290221B2 (en) | User interface, method and apparatus for providing three-dimensional object fabrication status | |
| US8983646B1 (en) | Interactive digital drawing and physical realization | |
| US9403099B2 (en) | Modeling skin-covered robotics devices including artistic digital iterative design processes | |
| Kvan et al. | Rapid prototyping for architectural models | |
| Bordegoni et al. | Haptic technologies for the conceptual and validation phases of product design | |
| KR101052805B1 (en) | 3D model object authoring method and system in augmented reality environment | |
| US20170286567A1 (en) | Interactive Digital Drawing and Physical Realization | |
| EP3191992A1 (en) | System and methods for three-dimensional printing | |
| CN104808817A (en) | Texture capture stylus and method | |
| KR101665039B1 (en) | Computer system and method for exporting data for 3D printer based on figure customizing function | |
| JP5870386B2 (en) | Solid model manufacturing method and CAD data processing apparatus | |
| US20140361453A1 (en) | Method and apparatus for appreciating artwork | |
| JP2018114679A5 (en) | ||
| JP5079108B2 (en) | 3D surface figure production method | |
| Chang | Exploring the evolution of additive manufacturing industry: a study of stakeholder requirements and architectural analysis of Desktop three-dimensional printing Segment | |
| Buchli | The prototype: presencing the immaterial | |
| WO2008029116A2 (en) | Method for sculpting | |
| JP2019046403A (en) | Shaping object extraction control device and shaping object extraction control program | |
| JP6954849B2 (en) | Engraving system, a server that provides data for 3D printers for engraving three-dimensional objects |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200717 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210408 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210413 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210519 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210608 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210705 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210713 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210726 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6930310 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |