JP7533933B2 - ニューラルネットワーク処理装置、ニューラルネットワーク処理方法、及びコンピュータプログラム - Google Patents
ニューラルネットワーク処理装置、ニューラルネットワーク処理方法、及びコンピュータプログラム Download PDFInfo
- Publication number
- JP7533933B2 JP7533933B2 JP2020123973A JP2020123973A JP7533933B2 JP 7533933 B2 JP7533933 B2 JP 7533933B2 JP 2020123973 A JP2020123973 A JP 2020123973A JP 2020123973 A JP2020123973 A JP 2020123973A JP 7533933 B2 JP7533933 B2 JP 7533933B2
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- layer
- identity mapping
- mapping path
- neurons
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims description 148
- 238000012545 processing Methods 0.000 title claims description 28
- 238000004590 computer program Methods 0.000 title claims description 11
- 238000003672 processing method Methods 0.000 title claims description 9
- 210000002569 neuron Anatomy 0.000 claims description 97
- 238000013507 mapping Methods 0.000 claims description 85
- 238000000034 method Methods 0.000 claims description 78
- 230000008569 process Effects 0.000 claims description 67
- 238000013138 pruning Methods 0.000 claims description 52
- 230000000295 complement effect Effects 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 19
- 230000004913 activation Effects 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 6
- 230000008878 coupling Effects 0.000 claims 2
- 238000010168 coupling process Methods 0.000 claims 2
- 238000005859 coupling reaction Methods 0.000 claims 2
- 239000011159 matrix material Substances 0.000 description 52
- 239000013598 vector Substances 0.000 description 32
- 238000007906 compression Methods 0.000 description 17
- 238000002474 experimental method Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 230000000052 comparative effect Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
本開示は、ニューラルネットワーク処理装置、ニューラルネットワーク処理方法、及びコンピュータプログラムに関する。
ニューラルネットワークには、Residual Network(ResNet)のように恒等写像パスを有するニューラルネットワークがある。ResNetは、非特許文献１に記載されている。ResNetは、多くの恒等写像パスを有する。ResNetは、恒等写像パスを有することにより、画像認識などのタスクをうまく学習させることができ、より高精度なモデルを構築できる。
He, K., Zhang, X., Ren, S., Sun, J.: Deep residual learning for image recognition. pp. 770-778 (2016)
Kamma, K., Wada, T.: Reconstruction error aware pruning for accelerating neural networks. In: Proc. International Symposium on Visual Computing (2019)
Duan, K., Bai, S., Xie, L., Qi, H., Huang, Q., Tian, Q.: Centernet: Keypoint triplets for object detection. In: The IEEE International Conference on Computer Vision (ICCV) (October 2019)
Lin, T.Y., Maire, M., Belongie, S.J., Bourdev, L.D., Girshick, R.B., Hays, J., Perona, P., Ramanan, D., Dollar, P., Zitnick, C.L.: Microsoft coco: Common objects in context. CoRR (2014)(2014)
恒等写像パスを有するニューラルネットワークアーキテクチャは、恒等写像パスによる分岐が多い構造を持つため、プルーニング(Pruning)によって学習済みニューラルネットワーク（学習済みモデル）を圧縮する場合に不利である。プルーニングは、学習済モデルから、冗長又は不要なニューロンを取り除くことである。適切なプルーニングによって、学習済モデルの性能を保ちつつ、モデルを圧縮することができる。モデルを圧縮することにより、計算機への演算負荷を小さくすることができる。
しかし、恒等写像パスを有するニューラルネットワークにおいてプルーニングをする際には、恒等写像パスが接続された層に含まれるニューロンを削減してはならないという制約が生じる。このため、恒等写像パスを有するニューラルネットワークにおいては、恒等写像パスが接続されていない層でのみニューロンをプルーニングにすることになる。このため、ResNetのように恒等写像パスを有するニューラルネットワークにおいては、プルーニングによるニューラルネットワークの圧縮効果は限定的である。
したがって、恒等写像パスを有するニューラルネットワークにおけるプルーニングの制約を低減することが望まれる。本開示において、かかる課題は、恒等写像パスによる枝分かれを解消し、ニューラルネットワークを直列化することによって解決される。直列化されたニューラルネットワークは恒等写像パスを同じ機能を内包する。更なる詳細は、後述の実施形態として説明される。
＜１．ニューラルネットワーク処理装置、ニューラルネットワーク処理方法、及びコンピュータプログラムの概要＞
（１）実施形態に係る装置は、恒等写像パスを有する第１ニューラルネットワークから、ニューロンのプルーニングが行われる第２ニューラルネットワークを生成するための生成処理を実行するよう構成されたニューラルネットワーク処理装置である。前記第１ニューラルネットワークは、それぞれがニューロンを有する複数の層と、各ニューロンに結合する重みと、を備える。前記複数の層は、前記恒等写像パスの起点となる起点層と、前記恒等写像パスの終点となる終点層と、前記起点層と前記終点層との間に存在する中間層と、を有する。
前記生成処理は、前記第２ニューラルネットワークを生成するために、補完ニューロンを前記中間層に追加するとともに、前記補完ニューロンに結合する重みを設定する第１処理と、前記恒等写像パスを削除する第２処理と、を有する。前記生成処理において、前記第２ニューラルネットワークは、前記補完ニューロンと前記補完ニューロンに結合する重みが、前記恒等写像パスの役割を担うように生成される。
第２ニューラルネットワークは、恒等写像パスを有しないため、恒等写像パスが接続された層に含まれるニューロンを削減してはならないという制約が解消されている。したがって、恒等写像パスを有するニューラルネットワークにおけるプルーニングの制約が低減される。
（２） 前記ニューロンは、活性化関数を有し、前記活性化関数はレルーであるのが好ましい。活性化関数がレルーであると、恒等写像パスを削除しても、恒等写像パスと等価な役割を担保するのが容易である。
（３）ニューラルネットワーク処理装置は、前記第２ニューラルネットワークにプルーニングをする処理と、前記生成処置とプルーニングをする前記処理との間において行われる、前記第２ニューラルネットワークの学習処理と、を更に実行するよう構成されているのが好ましい。プルーニングの前に学習処理を実行することで、プルーニングを実行しても、モデルの精度を高く保つことができる。
（４）前記学習処理は、正則化を用いて第２ニューラルネットワークにおける重みを最適化することを含み、前記正則化は、前記重みと、前記学習処理開始時における前記重みの初期値と、の差を用いて行われるのが好ましい。この場合、重みが最適解から離れることを抑制できる。
（５）実施形態に係る方法は、恒等写像パスを有する第１ニューラルネットワークから、ニューロンのプルーニングが行われる第２ニューラルネットワークを生成することを有するニューラルネットワーク処理方法である。前記第１ニューラルネットワークは、それぞれがニューロンを有する複数の層と、各ニューロンに結合する重みと、を備え、前記複数の層は、前記恒等写像パスの起点となる起点層と、前記恒等写像パスの終点となる終点層と、前記起点層と前記終点層との間に存在する中間層と、を有し、前記ニューラルネットワーク処理方法は、前記第２ニューラルネットワークを生成するために、補完ニューロンを前記中間層に追加するとともに、前記補完ニューロンに結合する重みを設定すること、及び前記恒等写像パスを削除すること、を有し、前記第２ニューラルネットワークは、前記補完ニューロンと前記補完ニューロンに結合する重みが、前記恒等写像パスの役割を担うように生成される。
（６）前記ニューロンは、活性化関数を有し、前記活性化関数はレルーであるのが好ましい。
（７） 前記第２ニューラルネットワークにプルーニングをすることと、前記第２ニューラルネットワークを生成することと前記第２ニューラルネットワークにプルーニングをすることとの間において行われる、前記第２ニューラルネットワークの学習と、を更に有するのが好ましい。
（８）前記学習は、正則化を用いて第２ニューラルネットワークにおける重みを最適化することを含み、前記正則化は、前記重みと、前記学習の開始時における前記重みの初期値と、の差を用いて行われるのが好ましい。
（９）実施形態に係るコンピュータプログラムは、恒等写像パスを有する第１ニューラルネットワークから、ニューロンのプルーニングが行われる第２ニューラルネットワークを生成するための生成処理を有する処理をコンピュータと機能させるためのコンピュータプログラムである。前記第１ニューラルネットワークは、それぞれがニューロンを有する複数の層と、各ニューロンに結合する重みと、を備え、前記複数の層は、前記恒等写像パスの起点となる起点層と、前記恒等写像パスの終点となる終点層と、前記起点層と前記終点層との間に存在する中間層と、を有し、前記生成処理は、前記第２ニューラルネットワークを生成するために、補完ニューロンを前記中間層に追加するとともに、前記補完ニューロンに結合する重みを設定する第１処理と、前記恒等写像パスを削除する第２処理と、を有し、前記生成処理において、前記第２ニューラルネットワークは、前記補完ニューロンと前記補完ニューロンに結合する重みが、前記恒等写像パスの役割を担うように生成される。
＜２．ニューラルネットワーク処理装置、ニューラルネットワーク処理方法、及びコンピュータプログラムの例＞
図１は、実施形態に係るニューラルネットワーク処理装置１０（以下、「処理装置１０」という）とニューラルネットワーク利用装置１００（以下、「利用装置１００」という）とを示している。実施形態に係る処理装置１０は、ニューラルネットワークＮ１を圧縮して小規模化するための圧縮処理２１を実行する。すなわち、処理装置１０は、ニューラルネットワークの圧縮装置でもある。
ニューラルネットワークは、複数の人工ニューロン（「ノード」ともいう）が結合した人工的な計算機構である。以下では、人工ニューロンを単に、ニューロンともいう。ニューラルネットワークは、例えば、ディープニューラルネットワーク（ＤＮＮ）である。ＤＮＮは、例えば、全結合型ニューラルネットワーク（ＦＣＮ）であってもよいし、畳み込み型ニューラルネットワーク（ＣＮＮ）であってもよい。以下では、圧縮処理２１の対象となるニューラルネットワークＮ１を、「第１ニューラルネットワーク」又は「原ニューラルネットワーク」といい、圧縮されたニューラルネットワークＮ２を「圧縮ニューラルネットワーク」という。なお、実施形態に係る処理装置１０は、原ニューラルネットワークＮ１の機械学習（深層学習）のための処理も実行可能である。処理装置１０は、学習済の原ニューラルネットワークＮ１を圧縮する。
処理装置１０は、１又は複数のプロセッサ２０及び記憶装置３０を有するコンピュータによって構成されている。１又は複数のプロセッサ２０は、例えば、グラフィックプロセッシングユニット（ＧＰＵ）を含む。１又は複数のプロセッサ２０は、さらにＣＰＵを含んでもよい。ＧＰＵのような大規模並列計算機構は、大規模なニューラルネットワークに関する処理を実行するための大量の計算に適している。
記憶装置３０は、プロセッサ２０によって実行されるコンピュータプログラム３１を記憶している。プロセッサ２０は、コンピュータプログラム３１を実行することで、圧縮処理２１を行う。圧縮処理２１は、プルーニングの前処理としての第２ニューラルネットワークの生成処理２２と、プルーニング２４（Pruning；枝刈り）と、学習処理２３，２５と、を有する。
記憶装置３０は、圧縮処理２１によって製造された圧縮ニューラルネットワークＮ２を表すデータ（圧縮ニューラルネットワークデータ）Ｎ２０を記憶することができる。圧縮ニューラルネットワークデータＮ２０は、圧縮ニューラルネットワークＮ２を表現する各種のパラメータ（重み、結合関係など）からなるデータである。処理装置１０は、圧縮ニューラルネットワークデータＮ２０を、ニューラルネットワークエンジン等へ、出力することができる。圧縮ニューラルネットワークデータＮ２０は、ニューラルネットワークエンジンに読み込まれることで、そのニューラルネットワークエンジンを圧縮ニューラルネットワークＮ２として機能させる。
利用装置１００は、圧縮ニューラルネットワークデータＮ２０を読み込んで、圧縮ニューラルネットワークＮ２として機能するニューラルネットワークエンジンを有する。ニューラルネットワークエンジンは、例えば、プロセッサ２００と記憶装置３００とを備える。プロセッサ２００は、例えば、組み込み系システムにおける低消費電力のＣＰＵでよい。圧縮ニューラルネットワークデータＮ２０は、原ニューラルネットワークＮ１のデータに比べて、サイズが小さいため、低消費電力のＣＰＵによる処理が可能である。
組み込み系システムは、汎用的なコンピュータシステムではなく、特定の用途に向けられたコンピュータシステムであり、例えば、スマートフォン・家電などの家庭用機器、産業用ロボットなどの産業用機器、各種の医療用機器、自動車・ドローンなどのビークル、及びその他の機器におけるコンピュータシステムである。組み込み系システムでは、プロセッサとして、低消費電力のＣＰＵが使われることが多いが、圧縮ニューラルネットワークデータＮ２０は、データサイズが小さいため、実行が容易である。
圧縮ニューラルネットワークＮ２は、例えば、画像・音声の変換、セグメンテーション、識別などの用途に用いられる。より具体的には、例えば、店舗等の客数計測、男女・年齢層分析、車両計数、車種分析など、対象物の画像から必要な情報を抽出するために用いることができる。原ニューラルネットワークＮ１は大規模であり、計算コストが大きいため、組み込み系システムでの実行が困難であるが、圧縮ニューラルネットワークＮ２は、小規模化されているため、組み込み系システムでの実行が容易である。
以下、圧縮処理２１について説明する。以下では、理解の容易のため、全結合型ニューラルネットワーク（ＦＣＮ）を前提に、実施形態に係る圧縮処理２１を説明するが、実施形態に係る同様の圧縮処理２１は、畳み込み型ニューラルネットワーク（ＣＮＮ）にも適用できる。
図２に示すように、圧縮処理２１では、まず、プルーニング２４の第１前処理として、第１ニューラルネットから第２ニューラルネットワークの生成処理２２が行われる。第１ニューラルネットワークは、一例として、恒等写像パスを有する学習済ResNetであるものとする。生成処理２２は、学習済みResNetを直列化する。ここでは、直列化されたResNetを、Serialized Residual Network(ＳＲＮ)という。つまり、実施形態に係る生成処理２２は、第２ニューラルネットワークとしてのＳＲＮモデルの生成処理である。
ここでは、まず、ResNetのアーキテクチャとその問題点について説明する。図３は、恒等写像パスを有しない一般的なディープニューラルネットワーク（ＤＮＮ）を示している。図３のＤＮＮは、ＦＣＮである。図３に示すＤＮＮは、複数の層Ｌ１，Ｌ２，Ｌ３を備え、各層は複数のニューロンを有する。図３において、ニューロンは丸印で示されている。ニューロンを示す丸印間を接続する直線は、ニューロン間の結合を示し、ニューロン間の結合は、重みを有する。図３に示すＤＮＮは、恒等写像パスによる分岐を有さず直列なアーキテクチャを有する。
図３に示すニューラルネットワークに入力データを与えると、各ニューロンはスカラー値と出力する。したがって、各層に含まれる全てのニューロンの出力は、各層のニューロン数と同じ次元を持つベクトルとして表現できる。例えば、図３の層Ｌ１の出力ベクトルはｘ１で表され、ｘ１の次元数は、層Ｌ１に含まれるニューロンの数Ｄ１に等しい。同様に、層Ｌ２の出力ベクトルはｘ２で表され、ｘ２の次元数は、層Ｌ２に含まれるニューロンの数Ｄ２に等しい。また、層Ｌ３の出力ベクトルはｘ３で表され、ｘ３の次元数は、層Ｌ３に含まれるニューロンの数Ｄ３に等しい。各出力ベクトルｘ１，ｘ２，ｘ３は、次の層に入力される入力ベクトルになる。
各層においては、入力されるベクトルｘ１，ｘ２，ｘ３に対して、重みを用いた線形写像及び活性化関数を用いた非線形写像が適用され、出力ベクトルが得られる。例えば、ニューロン数がＤ１である層Ｌ１に含まれる複数のニューロン全ての出力が出力ベクトルｘ１で表される場合、ニューロン数がＤ２である次層Ｌ２にはｘ１が入力ベクトルとして入力される。このとき、ｘ１に適用される線形写像のための重み行列をＷ１とし、各ニューロンの活性化関数をｆとすると、層Ｌ２における出力ベクトルｘ２を求めるため、図３の式（１）の計算が行われる。なお、重み行列Ｗ１の行列サイズは、Ｄ２×Ｄ１である。
また、出力ベクトルｘ２が、ニューロン数がＤ３である次層Ｌ３に、入力ベクトルとして入力される。このとき、ｘ２に適用される線形写像のための重み行列をＷ２とし、各ニューロンの活性化関数をｆとすると、層Ｌ３における出力ベクトルｘ３を求めるため、図３の式（２）の計算が行われる。なお、重み行列Ｗ２の行列サイズは、Ｄ３×Ｄ２である。
図４は、ResNetを示している。図４に示すResNetは、図３に示すニューラルネットワークに、層Ｌ１と層Ｌ３とを接続する恒等写像パスを追加したものである。ResNetにおいて、各ニューロンは活性化関数ｆを有し、活性化関数ｆはレルー（ＲｅＬＵ）である。以下では、恒等写像パスの起点となる層Ｌ１を起点層Ｌ１といい、恒等写像パスの終点となる層Ｌ３を終点層Ｌ３という。起点層Ｌ１と終点層Ｌ３との間にある層Ｌ２を、中間層Ｌ２という。起点層Ｌ１と終点層Ｌ３との間には、１又は複数の中間層Ｌ２が存在する。なお、実際のResNetは、図４に示すアーキテクチャが直列に多数積み重なって形成される。すなわち、ResNetは、複数の恒等写像パスを有する。図４に示すアーキテクチャが直列に多数積み重なって形成される場合、ある恒等写像パスに接続された終点層は、別の恒等写像パスの起点層になることができる。
ResNetでは、出力ベクトルｘ２及びｘ３を求めるため、図４に示す式（３）及び式（４）の計算が行われる。ここで、式（１）と式（３）は同じである。一方、式（２）と式（４）とは異なる。式（２）と式（４）との違いは、ResNetの恒等写像パスにより生じたものである。ResNetにおける式（４）では、２度目の活性化関数ｆによる非線形写像の直前に、Ｗ２ｘ２＋ｘ１の計算が行われている。式（４）における“＋ｘ１”が恒等写像パスに相当する計算である。
式（４）において、“Ｗ２ｘ２”と“ｘ１”との和を計算する際、“Ｗ２ｘ２”の次元と“ｘ１”の次元とは一致している必要がある。しかし、図５のように、恒等写像パスに接続された起点層Ｌ１に含まれるニューロンをプルーニングにより削減すると、ｘ１の次元数が減少し、“Ｗ２ｘ２”の次元数と一致しなくなる。この結果、式（４）における“Ｗ２ｘ２＋ｘ１”の計算が行えなくなる。同様に、終点層Ｌ３に含まれるニューロンをプルーニングにより削減すると、やはり、“Ｗ２ｘ２”の次元と“ｘ１”の次元とは一致しなくなる。
以上の理由から、ResNetでは、恒等写像パスに接続された層Ｌ１，Ｌ３においては、プルーニングを行うことができない。プルーニングによってResNetを圧縮する場合には、恒等写像パスに接続されていない中間層Ｌ２のみを対象にせざるを得ない。このため、ResNetモデルをそのままプルーニングをすると、ニューロンの削減数を多くした場合、学習済みモデルの性能が劣化しやすい。
プルーニングが可能である層が限られているという制約を解消するため、図２に示す生成処理２２では、第１ニューラルネットワークである学習済みResNetを直列化して、学習済みResNetと等価なＳＲＮモデル（第２ニューラルネットワーク）を生成する。ＳＲＮモデルは、一般的なＤＮＮと同様に直列なアーキテクチャを持つが、ResNetの恒等写像パスを再現することができる。
図６は、図４に示すResNetを直列化したＳＲＮモデルを示す。図６に示すＳＲＮモデルは、恒等写像パスによる分岐を有しておらず、直列なアーキテクチャである。図６に示すＳＲＮモデルにおいて、恒等写像パスに接続された起点層Ｌ１が有するニューロンの数（出力ベクトルｘ１の次元数）は、図４に示すResNetと同様である。したがって、起点層Ｌ１の出力ベクトルｘ１は、図４に示すResNetと同様である。図６のＳＲＮモデルにおいては、出力ベクトルｘ１に適用される重み行列をＷ’１と表す。重み行列をＷ’１については後述する。
ＳＲＮモデルの中間層Ｌ２には、前段である起点層Ｌ１のニューロンの数に応じた数Ｄ１の補完ニューロンが追加されている。例えば、図４の起点層Ｌ１及び中間層Ｌ２のニューロンの数がそれぞれ４である場合、図６に示すＳＲＮモデルの中間層Ｌ２は、元々の４個のニューロンと、４個の補完ニューロンの計８個のニューロンを有する。これら４個の補完ニューロンと補間ニューロンに結合する重みとが、恒等写像パスの機能を代替する。なお、補完ニューロンの活性化関数もレルー（ＲｅＬＵ）である。
図６のＳＲＮモデルにおいては、中間層Ｌ２の出力ベクトルをｘ２’と表し、出力ベクトルｘ２’に適用される重み行列をＷ’２と表す。重み行列をＷ’２については後述する。
図６に示すＳＲＮモデルにおいて、恒等写像パスに接続された終点層Ｌ３が有するニューロンの数（出力ベクトルｘ３の次元数）は、図４に示すResNetと同様である。図６のＳＲＮモデルにおいては、終点層Ｌ３の出力ベクトルをｘ３’と表す。
重み行列をＷ’１は、図６の式（５Ａ）に示すように、ResNetの重み行列Ｗ１と単位行列Ｉとの連結で表される。単位行列のサイズは、Ｄ１×Ｄ１である。重み行列をＷ’２は、図６の式（６）に示すように、ResNetの重み行列Ｗ２と単位行列Ｉとの連結で表される。単位行列のサイズは、Ｄ１×Ｄ１である。
図６に示すＳＲＮモデルにおいては、出力ベクトルｘ２’を求めるため、図６に示す式（７）の計算が行われる。また、出力ベクトルｘ３’を求めるため、図６に示す式（８）の計算が行われる。図６に示すように、出力ベクトルｘ２’は、出力ベクトルｘ２と出力ベクトルｘ１の連結である。また、図６に示すように、出力ベクトルｘ３’は、出力ベクトルｘ３と等しい。よって、図６に示すＳＲＮモデルは、図４に示すResNetと等価である。このように、恒等写像パスを有するResNetは、等価なＳＲＮに置き換えることが可能である。
図７は、恒等写像パスを有する第１ニューラルネットワークから、ＳＲＮのように直列化された第２ニューラルネットワークを得るための生成処理２２の詳細を示している。まず、ニューラルネットワーク処理装置１０のプロセッサ２０は、第１ニューラルネットワークの恒等写像パスに接続されている一対の層（起点層Ｌ１及び終点層Ｌ３）を識別する（ステップＳ１０１）。また、プロセッサ２０は、起点層Ｌ１と終点層Ｌ３との間にある１又は複数の中間層Ｌ２を識別する。
続いて、プロセッサ２０は、起点層Ｌ１の次元数Ｄ１に応じた数（Ｄ１個）の補完ニューロンを、中間層Ｌ２に追加する（ステップＳ１０２）。なお、起点層Ｌ１と終点層Ｌ３との間に中間層Ｌ２が複数ある場合には、複数の中間層Ｌ２それぞれに、Ｄ１個の補完ニューロンが追加される。
プロセッサ２０は、補完ニューロンが追加された中間層Ｌ２に結合する重み行列Ｗ１，Ｗ２を更新してＷ１’，Ｗ２’を得る（ステップＳ１０３）。中間層Ｌ２に結合する重み行列が、起点層Ｌ１から中間層Ｌ２への重み行列Ｗ１である場合、すなわち、起点層Ｌ１からの出力ベクトルｘ１に適用される重み行列Ｗ１である場合、式（５Ａ）に従って、重み行列Ｗ１が、重み行列Ｗ１’に更新される（ステップＳ１０４）。
中間層Ｌ２に結合する重み行列が、中間層Ｌ２から終点層Ｌ３への重み行列Ｗ２である場合、すなわち、終点層Ｌ３へ入力される出力ベクトルｘ２に適用される重み行列Ｗ２である場合、式（６）に従って、重み行列Ｗ２が、重み行列Ｗ２’に更新される（ステップＳ１０６）。
起点層Ｌ１と終点層Ｌ３との間に中間層Ｌ２が複数ある場合、中間層Ｌ２に結合する重み行列としては第１中間層から第２中間層への重み行列Ｗ３も存在する。重み行列Ｗ３は、第１中間層からの出力ベクトルに適用される。重み行列Ｗ３は、図７に示す式（５Ｂ）に従って、重み行列Ｗ３’に更新される（ステップＳ１０５）。なお、式（５Ｂ）において、Ｉは、Ｄ１×Ｄ１のサイズの単位行列であり、０はゼロ行列である。
最後に、プロセッサ２０は、恒等写像パスを削除する（ステップＳ１０７）。なお、恒等写像パスの削除は、生成処理２２の最後に行われる必要はなく、生成処理２２中の任意のタイミングで行われてもよい。以上により、恒等写像パスを有する第１ニューラルネットワークから、ＳＲＮのように直列化された第２ニューラルネットワークが得られる。
なお、実施形態において、ステップＳ１０３，Ｓ１０４，Ｓ１０５を第１処理と呼び、ステップＳ１０７を第２処理という。
図８は、生成処理２２によって図９に示すResNetから生成されるＳＲＮとその重み行列Ｗ１’，Ｗ２’の具体例を示している。図８では、簡単化のため、各層Ｌ１，Ｌ２，Ｌ３に含まれるニューロンの数を３個としている。この場合、ResNetにおける重み行列Ｗ１，Ｗ２は、それぞれ、図９中に示すように表される。図９に示すＳＲＮでは、中間層Ｌ２に３個の補完ニューロンが追加されている。重み行列Ｗ１’は、重み行列Ｗ１と単位行列Ｉとの連結によって表される。また、重み行列Ｗ２’は、重み行列Ｗ２と単位行列Ｉとの連結によって表される。
図２に戻り、圧縮処理２１では、プルーニングの第１前処理である生成処理２２の後、プルーニング２４の第２前処理として、第２ニューラルネットワークであるＳＲＮの学習処理２３が行われる。前述のように、直列化された直後のＳＲＮモデルにおける重み行列Ｗ１’，Ｗ２’は、元のResNetから受け継いだ重み行列Ｗ１，Ｗ２と単位行列を連結したものである。元のResNetから受け継いだ重み行列Ｗ１，Ｗ２は、ResNetモデルを学習した際に十分に最適化されたものである一方、単位行列は最適化されていない。しかし、学習処理２３を行うことで、単位行列（又はゼロ行列）によって表されていた部分の重みを最適化して、モデル精度をさらに向上させることができる。プルーニング前にモデル精度を向上させておくことで、プルーニングによるモデル精度の低下を相殺して、モデル精度を高く保ちつつ圧縮をすることが可能になる。
学習処理２３の後、ＳＲＮモデルに対してプルーニング処理２４が行われる。プルーニング処理によって、ＳＲＮモデルに含まれるニューロンが削減される。プルーニングは、例えば、非特許文献２に記載されているＲＥＡＰと呼ばれる手法によって行うことができる。ＲＥＡＰは、プルーニングを行うだけでなく、プルーニングによる誤差を最小限にするために、残されたニューロンの重みを、最小二乗法を用いて更新することで、モデルの精度を保つことができる。
最後に、圧縮処理２１では、第２ニューラルネットワークであるＳＲＮモデルの再学習処理２５が行われる。再学習処理２５によってプルーニング後のＳＲＮモデルの精度を向上させることができる。
ここで、前述のプルーニング処理２４の前に行われる学習処理２３では、正則化を用いて第２ニューラルネットワークであるＳＲＮモデルにおける重みが最適化される。一般に重みの最適化のための正則化としてはＬ２正則化が用いられるが、本実施形態に係る正則化は、重みと重み初期値との差が用いられ、より具体的には、重みと重み初期値との差の二乗が用いられる。実施形態に係る正則化を、Elastic Weight Regularization（ＥＷＲ）と呼ぶ。
Ｌ２正則化に代えて、ＥＷＲを用いた方がよい理由は次のとおりである。
直列化後のＳＲＮモデルは、重み行列の一部が単位行列で構成されている。単位行列の要素は０及び１である。ここで、経験的にResNetモデルの重みは、高々１０－１程度であることが多く、単位行列に含まれる１という数値は非常に大きいと言える。ここで問題になるのが、Ｌ２正則化の“副作用”である。
ニューラルネットワークモデルの学習は、逆誤差伝搬法を用いて各重みを逐次的に最適化することにより行われる。逆誤差伝搬法を用いて各重みｗを逐次的に最適化するための基本的な式は、図１０中の式（１３）によって表される。
しかし、式（１３）によって学習を行うと、重みｗが極端に大きな値、あるいは、小さな値（大きな負の値）をとるなどし、モデルの汎化性が失われることがある。そこで、図１０中の式（１４）で示されるＬ２正則化が用いられる。式（１４）は、式（１３）にＬ２正則化項を追加したものである。Ｌ２正則化項によって、ｗの値が正負のいずれの方向にも大きくなりすぎることを防止できる。
ただし、重み行列が単位行列を含んでいるＳＲＮモデルに対して学習処理をする場合には、Ｌ２正則化は、副作用を生じさせる。式（１４）から分かるように、重みｗの二乗の値が大きいほど、その重みｗを更新する際にかかるＬ２正則化の効果は大きくなる。単位行列の要素は０と１からなるが、経験的にResNet モデルの重みは大きくても１０－１程度のオーダーであることが多く、それに比べて単位行列に含まれる１という数値は非常に大きい。このため、学習を行う際、初期値が１である重みｗが、ResNetモデルから引き継いだ重みや初期値が０である重みと比較して、かなり大きく更新されてしまう。当然、ＳＲＮを含むニューラルネットワークの学習において、重みは互いに独立ではない。よって、初期値が１である重みが大きく更新されると，元のResNetモデルを学習させる段階で既に最適化された重みも再び大きく更新されることになり、結果的に最適解から離れた準最適解に収束すると考えられる。
そこで、ＥＷＲでは、図１０の式（１５）に従って、重みｗが最適化される。式（１５）において、ｗ＊は、学習処理２３開始時における重みｗの初期値である。Ｌ２正則化は、重みｗが０から離れすぎないようなペナルティを与えるのに対し、ＥＷＲは、重みｗが学習を始めた時の初期値ｗ＊から離れすぎないようなペナルティを与える。これにより、初期値が１である重みｗが正則化項の影響を受けすぎる問題を回避できる。
＜３．実験＞
実施形態に係る圧縮処理２１の有効性を検証するため、物体検出モデルを用いた実験を行った。実験で用いた物体検出モデルは、CenterNet（非特許文献３参照）である。CenterNetは、入力画像中の物体を検知する。CenterNetでは、Backboneと呼ばれる部分にResNet-18が用いられている。ResNet-18は、１８個の層を有し、入力層と最終出力層とを除くと１６個の層を有する。ResNet-18は、８個の恒等写像パスを有し、ある恒等写像パスの終点層が次の恒等写像パスの起点層になるように、図４に示すアーキテクチャが直列に多段構成されている。ResNet-18において、起点層と終点層との間にある中間層の数は１個である。
実験においては、ResNet-18を用いたBackboneを、直列化及びプルーニングの対象とした。CenterNetの入力画像の画素数は５１２×５１２である。
実験には、MS-COCO（非特許文献４参照）と呼ばれるデータセットを用いた。MS-COCOは、物体検出タスク用のデータセットであり，約８万枚の学習用データと４万枚のテスト用データで構成されており、８０種類の物体が対象である。前処理として、それぞれ画素数が５１２×５１２となるように、リサイズおよびクロップを行った。
実験手順は、以下のとおりである。CenterNetのBackboneであるResNet について、分岐構造の直列化およびプルーニングを実行した。入力層から近い順に、分岐構造の直列化を行い、一カ所直列化する度に以下を行った。
手順１．学習（５エポック，学習率１．２５×１０－４）
手順２．プルーニングを実行
手順３．学習（５エポック，学習率１．２５×１０－４）
手順１．学習（５エポック，学習率１．２５×１０－４）
手順２．プルーニングを実行
手順３．学習（５エポック，学習率１．２５×１０－４）
最後に、６０エポックの再学習を行った。その際、初期の学習率を１．２５×１０－４とし，２０エポックごとに学習率を１／１０倍した。
手順２）において、backbone 全体のFLOPs（画像一枚を処理するために必要な演算回数）の削減率がResNet-18 のＡ）１／４倍、Ｂ）１／２倍、Ｃ）３／４倍となるようにした。Ａ）１／４倍の場合を実施例Ａといい、Ｂ）１／２倍の場合を実施例Ｂといい、Ｃ）３／４倍の場合を実施例Ｃという。図６から分かるように、直列化された直後のＳＲＮモデルでは，元は恒等写像パスにつながっていた層Ｌ１，Ｌ３のニューロン数には変化はないが、それ以外の層Ｌ２ではニューロン数は増加する。ここでは、便宜上、前者を「層１」、後者を「層２」と呼ぶことにする．層１は、起点層Ｌ１及び終点層Ｌ３に相当し、層２は、中間層Ｌ２に相当する。実施例Ａ，Ｂ，Ｃについて、層１及び層２における具体的なニューロン削減率は、図１１のとおりである。なお、図１１において、実施例Ａ，Ｂ，Ｃは、パターンＡ），Ｂ），Ｃ）として示されている。
比較例として、ResNet を直列化せずにそのままプルーニングした場合についても検討した。ResNetにおいては、恒等写像パスにつながる層はプルーニングできないため、それ以外の層においてニューロンを一定の割合で削除した。プルーニング手法としては、非特許文献２記載のＲＥＡＰを用いた。
実験では、予測精度と推論速度を評価した。予測精度は、テスト用データにおけるmean Average Precision(ｍＡＰ)で評価した。推論速度は、ニューラルネットワークを用いた推論に特化したデバイスであるJetsonNanoを用いて、画像一枚あたりの処理時間として計測した。
図１２は、評価結果を示す。図１２において、ResNet-18(オリジナル)は、直列化及びプルーニングをしていない元々のモデルを示す。ResNet-18-prunedは、比較例を示す。図１２において、SRN-18-pruned(A)は実施例Ａを示し、SRN-18-pruned(B)は実施例Ｂを示し、SRN-18-pruned(C)は実施例Ｃを示す。
図１２に示すように、SRN-18-pruned（実施例）のほうが、ResNet-18-pruned（比較例）よりも優れていることがわかる。比較例では、ＦＬＯＰＳ削減率にかかわらず、プルーニングによって予測精度が常に劣化していることがわかる。一方、ResNetをＳＲＮに変換してからプルーニングした実施例では、元のモデルの精度をほぼ保っている。しかも、実施例Ａのように、１．４３倍の高速化を実現しているケースもみられる。実施例Ｂ，Ｃにおいても、ｍＡＰの値が高くなっていることが確認できる。
ＳＲＮは、ResNetに比べニューロン数が増加しており、計算負荷が高くなっている。しかし、ＳＲＮは恒等写像パスによる分岐を持たない直列構造を持つため、どの層においてもプルーニングが行えるというメリットがある。そのため、ResNetをＳＲＮに変換してからプルーニングを行う方が、ResNetを直接プルーニングするよりも、精度を高く保ちつつ、モデルを小さくできる、もしくは高速化できる。以上のことは、物体検出モデルを用いた上記の実験においても実証された。
＜４．付記＞
本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。
１０ ：ニューラルネットワーク処理装置
２０ ：プロセッサ
２１ ：圧縮処理
２２ ：生成処理
２３ ：学習処理
２４ ：プルーニング処理
２５ ：再学習処理
３０ ：記憶装置
３１ ：コンピュータプログラム
１００ ：ニューラルネットワーク利用装置
２００ ：プロセッサ
３００ ：記憶装置
Ｌ１ ：起点層
Ｌ２ ：中間層
Ｌ３ ：終点層
Ｎ１ ：原ニューラルネットワーク
Ｎ２ ：圧縮ニューラルネットワーク
Ｎ２０ ：圧縮ニューラルネットワークデータ
２０ ：プロセッサ
２１ ：圧縮処理
２２ ：生成処理
２３ ：学習処理
２４ ：プルーニング処理
２５ ：再学習処理
３０ ：記憶装置
３１ ：コンピュータプログラム
１００ ：ニューラルネットワーク利用装置
２００ ：プロセッサ
３００ ：記憶装置
Ｌ１ ：起点層
Ｌ２ ：中間層
Ｌ３ ：終点層
Ｎ１ ：原ニューラルネットワーク
Ｎ２ ：圧縮ニューラルネットワーク
Ｎ２０ ：圧縮ニューラルネットワークデータ
Claims (9)
- 恒等写像パスを有する第１ニューラルネットワークから、ニューロンのプルーニングが行われる第２ニューラルネットワークを生成するための生成処理を実行するよう構成されたニューラルネットワーク処理装置であって、
前記第１ニューラルネットワークは、
それぞれがニューロンを有する複数の層と、
各ニューロンに結合する重みと、
を備え、
前記複数の層は、
前記恒等写像パスの起点となる起点層と、
前記恒等写像パスの終点となる終点層と、
前記起点層と前記終点層との間に存在する中間層と、
を有し、
前記生成処理は、前記第２ニューラルネットワークを生成するために、
補完ニューロンを前記中間層に追加するとともに、前記補完ニューロンに結合する重みを設定する第１処理と、
前記恒等写像パスを削除する第２処理と、
を有し、
前記生成処理において、前記第２ニューラルネットワークは、前記補完ニューロンと前記補完ニューロンに結合する重みが、前記恒等写像パスの役割を担うように生成される
ニューラルネットワーク処理装置。 - 前記ニューロンは、活性化関数を有し、前記活性化関数はレルーである
請求項１に記載のニューラルネットワーク処理装置。 - 前記第２ニューラルネットワークにプルーニングをする処理と、
前記生成処理とプルーニングをする前記処理との間において行われる、前記第２ニューラルネットワークの学習処理と、
を更に実行するよう構成されている
請求項１又は請求項２に記載のニューラルネットワーク処理装置。 - 前記学習処理は、正則化を用いて第２ニューラルネットワークにおける重みを最適化することを含み、
前記正則化は、前記重みと、前記学習処理開始時における前記重みの初期値と、の差を用いて行われる
請求項３に記載のニューラルネットワーク処理装置。 - 恒等写像パスを有する第１ニューラルネットワークから、ニューロンのプルーニングが行われる第２ニューラルネットワークを生成することを有するニューラルネットワーク処理をコンピュータが実行するニューラルネットワーク処理方法であって、
前記第１ニューラルネットワークは、
それぞれがニューロンを有する複数の層と、
各ニューロンに結合する重みと、
を備え、
前記複数の層は、
前記恒等写像パスの起点となる起点層と、
前記恒等写像パスの終点となる終点層と、
前記起点層と前記終点層との間に存在する中間層と、
を有し、
前記ニューラルネットワーク処理は、前記第２ニューラルネットワークを生成するために、
補完ニューロンを前記中間層に追加するとともに、前記補完ニューロンに結合する重みを設定すること、及び
前記恒等写像パスを削除すること、を有し、
前記第２ニューラルネットワークは、前記補完ニューロンと前記補完ニューロンに結合する重みが、前記恒等写像パスの役割を担うように生成される
ニューラルネットワーク処理方法。 - 前記ニューロンは、活性化関数を有し、前記活性化関数はレルーである
請求項５に記載のニューラルネットワーク処理方法。 - 前記ニューラルネットワーク処理は、
前記第２ニューラルネットワークにプルーニングをすることと、
前記第２ニューラルネットワークを生成することと前記第２ニューラルネットワークにプルーニングをすることとの間において行われる、前記第２ニューラルネットワークの学習と、
を更に有する
請求項５又は請求項６に記載のニューラルネットワーク処理方法。 - 前記学習は、正則化を用いて第２ニューラルネットワークにおける重みを最適化することを含み、
前記正則化は、前記重みと、前記学習の開始時における前記重みの初期値と、の差を用いて行われる
請求項７に記載のニューラルネットワーク処理方法。 - 恒等写像パスを有する第１ニューラルネットワークから、ニューロンのプルーニングが行われる第２ニューラルネットワークを生成するための生成処理を有する処理をコンピュータに実行させるためのコンピュータプログラムであって、
前記第１ニューラルネットワークは、
それぞれがニューロンを有する複数の層と、
各ニューロンに結合する重みと、
を備え、
前記複数の層は、
前記恒等写像パスの起点となる起点層と、
前記恒等写像パスの終点となる終点層と、
前記起点層と前記終点層との間に存在する中間層と、
を有し、
前記生成処理は、前記第２ニューラルネットワークを生成するために、
補完ニューロンを前記中間層に追加するとともに、前記補完ニューロンに結合する重みを設定する第１処理と、
前記恒等写像パスを削除する第２処理と、
を有し、
前記生成処理において、前記第２ニューラルネットワークは、前記補完ニューロンと前記補完ニューロンに結合する重みが、前記恒等写像パスの役割を担うように生成される
コンピュータプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020123973A JP7533933B2 (ja) | 2020-07-20 | 2020-07-20 | ニューラルネットワーク処理装置、ニューラルネットワーク処理方法、及びコンピュータプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020123973A JP7533933B2 (ja) | 2020-07-20 | 2020-07-20 | ニューラルネットワーク処理装置、ニューラルネットワーク処理方法、及びコンピュータプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022020464A JP2022020464A (ja) | 2022-02-01 |
| JP7533933B2 true JP7533933B2 (ja) | 2024-08-14 |
Family
ID=80216289
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020123973A Active JP7533933B2 (ja) | 2020-07-20 | 2020-07-20 | ニューラルネットワーク処理装置、ニューラルネットワーク処理方法、及びコンピュータプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7533933B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102917544B1 (ko) * | 2022-08-24 | 2026-01-26 | 동국대학교 산학협력단 | 사이버 공격에 강인한 인공 신경망 구조 재구성 장치 및 방법 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019105899A (ja) | 2017-12-11 | 2019-06-27 | 国立研究開発法人情報通信研究機構 | 学習方法 |
| US20190347536A1 (en) | 2017-10-06 | 2019-11-14 | DeepCube LTD. | System and method for compact and efficient sparse neural networks |
| US20190378017A1 (en) | 2018-06-12 | 2019-12-12 | Sun-Yuan Kung | System and method for implementing a neural network |
| JP2020109647A (ja) | 2018-12-29 | 2020-07-16 | キヤノン株式会社 | 多層ニューラルネットワークモデルの学習及び適用方法、装置、並びに記憶媒体 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3329806B2 (ja) * | 1990-11-09 | 2002-09-30 | 株式会社日立製作所 | ニューラルネット構築装置 |
-
2020
- 2020-07-20 JP JP2020123973A patent/JP7533933B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190347536A1 (en) | 2017-10-06 | 2019-11-14 | DeepCube LTD. | System and method for compact and efficient sparse neural networks |
| JP2019105899A (ja) | 2017-12-11 | 2019-06-27 | 国立研究開発法人情報通信研究機構 | 学習方法 |
| US20190378017A1 (en) | 2018-06-12 | 2019-12-12 | Sun-Yuan Kung | System and method for implementing a neural network |
| JP2020109647A (ja) | 2018-12-29 | 2020-07-16 | キヤノン株式会社 | 多層ニューラルネットワークモデルの学習及び適用方法、装置、並びに記憶媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022020464A (ja) | 2022-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Quantum recurrent neural networks for sequential learning | |
| US20180260709A1 (en) | Calculating device and method for a sparsely connected artificial neural network | |
| CN117725966B (zh) | 草图序列重建模型的训练方法、几何模型重建方法及设备 | |
| JP2019200553A (ja) | ニューラルネットワーク回路装置、ニューラルネットワーク、ニューラルネットワーク処理方法およびニューラルネットワークの実行プログラム | |
| CN112597610A (zh) | 机械臂结构轻量化设计的优化方法、装置及设备 | |
| CN118608792B (zh) | 一种基于Mamba的超轻量图像分割方法及计算机装置 | |
| CN111582105A (zh) | 基于局部全局双向推理的无监督点云特征学习方法及装置 | |
| CN116958688A (zh) | 一种基于YOLOv8网络的目标检测方法及系统 | |
| CN111860790A (zh) | 一种提高深度残差脉冲神经网络精度以优化图像分类的方法及其系统 | |
| KR102263598B1 (ko) | 파이프라인 구조를 가지는 인공신경망용 연산 가속 장치 | |
| CN120543373B (zh) | 基于递归双流Mamba的海温补全方法及系统 | |
| CN118898558A (zh) | 基于一致性模型先验的图像处理方法、系统、介质及终端 | |
| CN119131507A (zh) | 一种面向胚胎发育多阶段分类的深度学习方法及系统 | |
| JP7533933B2 (ja) | ニューラルネットワーク処理装置、ニューラルネットワーク処理方法、及びコンピュータプログラム | |
| CN111831354A (zh) | 数据精度配置方法、装置、芯片、芯片阵列、设备及介质 | |
| CN114118343B (zh) | 应用于Transformer神经网络的层归一化处理硬件加速器及方法 | |
| CN110503152B (zh) | 用于目标检测的双路神经网络训练方法及图像处理方法 | |
| CN111368969A (zh) | 基于残差神经网络的特征图处理方法、设备及存储介质 | |
| CN110889316A (zh) | 一种目标对象识别方法、装置及存储介质 | |
| CN120633731A (zh) | 一种多gpu平台上的利用矩阵稀疏性加速卷积神经网络方法 | |
| CN112348118A (zh) | 基于梯度维持的图像分类方法、存储介质及电子设备 | |
| CN119476418A (zh) | 大语言模型合并方法、装置、电子设备及存储介质 | |
| KR102105951B1 (ko) | 추론을 위한 제한된 볼츠만 머신 구축 방법 및 추론을 위한 제한된 볼츠만 머신을 탑재한 컴퓨터 장치 | |
| WO2025001443A1 (zh) | 一种神经网络模型的生成方法及装置 | |
| CN114065913B (zh) | 模型量化方法、装置及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230407 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240308 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240625 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240725 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7533933 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |