JP6838549B2 - 診断支援装置並びに画像処理方法及びそのプログラム - Google Patents
診断支援装置並びに画像処理方法及びそのプログラム Download PDFInfo
- Publication number
- JP6838549B2 JP6838549B2 JP2017235850A JP2017235850A JP6838549B2 JP 6838549 B2 JP6838549 B2 JP 6838549B2 JP 2017235850 A JP2017235850 A JP 2017235850A JP 2017235850 A JP2017235850 A JP 2017235850A JP 6838549 B2 JP6838549 B2 JP 6838549B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- component
- classified
- conversion process
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Description
皮膚患部のダーモスコープ画像である撮影画像を用いて病変の診断を支援する診断支援装置の画像処理方法であって、
前記撮影画像を、前記撮影画像に写っている母斑(色素斑)の状態に基づいて、メラノーマが疑われる皮膚患部の病変のパターンとして分類する分類工程と、
前記撮影画像に、前記分類工程により分類された前記パターンに対応する画像変換処理を実行して変換画像を生成する生成工程と、を含む画像処理方法を提供するものである。
本発明の他の特徴は、本明細書及び添付図面の記載により明らかにする。
図1は、本実施形態に係る診断装置100の構成を示すブロック図である。図1に示すように、本実施形態に係る診断装置100には、ダーモスコープ付き撮影装置110が接続されている。ダーモスコープ付き撮影装置110は、診断装置100(処理部101)からの指示により撮影を行ない、撮影画像(ダーモスコピー画像)を画像記憶部102に格納するとともに表示装置120上に表示する。また、撮影画像は、処理部101により強調処理が施されて画像記憶部102に保存されると共に表示装置120上に表示される。入力装置130は、ダーモスコープ画像の撮影開始指示、後述するダーモスコピー画像中の部位選択操作等を行う。
処理部101が構造明瞭変換処理を実行する場合、第1の分離手段101bは、撮影画像を輝度成分と色情報成分とに分離する手段として機能し、第2の分離手段101cは、輝度成分を骨格成分と詳細成分とに分離する手段として機能する。
処理部101が部位強調変換処理を実行する場合、第1の分離手段101bは、撮影画像を輝度成分と色情報成分に分離する手段として機能し、抽出手段101fは、診断の対象の部位を抽出する手段として機能する。
処理部101が、部位蛍光色変換処理を実行する場合、第1の分離手段101bは、撮影画像を輝度成分と色情報成分に分離する手段として機能し、抽出手段101fは、診断の対象の部位を抽出する手段として機能する。
以下、図1に示す本実施形態に係る診断装置100の動作について、図2以降を参照しながら詳細に説明する。
次に、I型に分類された場合に実行される構造明瞭変換処理について、図4のフローチャート用いて詳述する。図4において、処理部101は、第1の分離手段101bが、ダーモスコープ付き撮影装置110から取得されるRGB色空間の撮影画像を、Lab色空間画像に変換する(ステップS161)。次に、処理部101は、第2の分離手段101cが、撮影画像を骨格成分と詳細成分とに分離するために、L画像にエッジ保存型フィルタ処理を施す(ステップS162)。ここで、エッジ保存型フィルタとして、例えば、バイラテラルフィルタを用いる。バイラテラルフィルタは、例えば、インターネットURL(http://en.wikipedia.org/wiki/Bilateral filter)<平成26年9月1日閲覧>にその詳細が記載されている。
M=|−0.6667 4.3333 −0.6667|
|−0.1667 −0.6667 −0.1667|
次に、図6を参照して部位強調変換および部位蛍光色変換処理について説明する。図6によれば、処理部101は、まず、第1の分離手段101bが、RGB色空間の撮影画像を、Lab色空間に変換する(ステップS171)。次に、処理部101は、抽出手段101fが、診断の対象として選択された部位を抽出する。
bd=−(a−ca)*sin(r)+b*cos(r)
LH1=exp(−((ad*ad)/sa/sa+(bd*bd)
/sb/sb))
以上説明のように、本実施形態に係る診断装置100によれば、処理部101は、分類手段101aが、診断の対象となる患部の撮影画像を病変の進行度又はパターンにより分類することで、分類された分類に対応する画像変換処理を実行する。例えば、進行度が低位の分類に分類された場合、構造明瞭変換処理を実行し、進行度が中位の分類に分類された場合、部位強調変換処理を実行し、進行度が高位の分類に分類された場合、部位蛍光色変換処理を実行することで、病変の種類あるいは進行の度合いによりそれに適した処理画像を得ることができ、したがって、医師の診断を容易にするとともに診断精度の向上がはかれる。なお、ネットワークを利用したシステム構成をとることで、利用者サイドは、少ない資源で診断サービスを享受することができる。
[請求項1]
患部の撮影画像を用いて病変を診断するための診断装置であって、
前記撮影画像を記憶する画像記憶部と、
前記画像記憶部に記憶された前記撮影画像を処理する処理部と、を備え、
前記処理部が、
診断の対象となる前記患部の撮影画像を病変の進行度により分類する分類手段を含み、前記分類手段により分類された分類に対応する画像変換処理を実行して変換画像を生成することを特徴とする診断装置。
[請求項2]
前記画像記憶部は、前記撮影画像を前記分類ごとに記憶しており、
前記分類手段は、前記画像記憶部に記憶された前記撮影画像を参照して、診断の対象となる前記患部の撮影画像を病変の進行度により分類することを特徴とする請求項1に記載の診断装置。
[請求項3]
前記処理部の前記画像変換処理が、前記進行度が低位の分類に対応する画像変換処理である構造明瞭変換処理を含むことを特徴とする請求項1又は2に記載の診断装置。
[請求項4]
前記分類手段は、前記患部がホクロ状であって、実質的に黒色又は茶色で構成されている画像を前記進行度が低位の分類として分類することを特徴とする請求項3に記載の診断装置。
[請求項5]
前記処理部が、
前記構造明瞭変換処理を実行するように、
前記撮影画像を輝度成分と色情報成分とに分離する第1の分離手段と、
前記輝度成分を骨格成分と詳細成分とに分離する第2の分離手段と、
前記骨格成分に対して強調処理を施す強調手段と、
前記強調された骨格成分と前記詳細成分とから輝度を復元し、前記色情報成分を用いて強調画像を生成する生成手段と、を備え、
前記強調手段が、
前記骨格成分を中心値よりも明るく圧縮する第1の強調手段、及び前記骨格成分にシャープネスフィルタ処理を施す第2の強調手段の少なくとも1つを含むことを特徴とする請求項3又は4に記載の診断装置。
[請求項6]
前記構造明瞭変換処理において、前記生成手段が、前記強調された骨格成分と前記詳細成分とを加算して前記輝度を復元し、前記復元された輝度と、第1の色空間の赤系の色相方向と青色の色相方向に応じた前記色情報成分とから第2の色空間に変換して前記強調画像を生成することを特徴とする請求項5に記載の診断装置。
[請求項7]
前記処理部の前記画像変換処理が、前記進行度が中位の分類に対応する画像変換処理である部位強調変換処理を含むことを特徴とする請求項1又は2に記載の診断装置。
[請求項8]
前記分類手段は、前記患部がホクロ状であって、部分的に血管で構成されている画像を前記進行度が中位の分類として分類することを特徴とする請求項7に記載の診断装置。
[請求項9]
前記処理部が、
前記部位強調変換処理を実行するように、
前記撮影画像を輝度成分と色情報成分に分離する第1の分離手段と、
診断の対象の部位を抽出する抽出手段と、を備え、
前記抽出手段が、
前記部位の候補を前記輝度成分により抽出する第1の抽出手段、及び前記部位のそれらしさを前記輝度成分と前記色情報成分とから構成される色空間により抽出される第2の抽出手段の少なくとも1つを含むことを特徴とする請求項7又は8に記載の診断装置。
[請求項10]
前記部位強調変換処理において、前記第2の抽出手段が色空間の赤系の色相方向に応じた色情報成分を用いて抽出することを特徴とする請求項9に記載の診断装置。
[請求項11]
前記処理部の前記画像変換処理が、前記進行度が高位の分類に対応する画像変換処理である部位蛍光色変換処理を含むことを特徴とする請求項1又は2に記載の診断装置。
[請求項12]
前記分類手段は、前記患部がホクロ状であって、全体的に赤みを帯びた血管で構成されている画像を前記進行度が高位の分類として分類することを特徴とする請求項11に記載の診断装置。
[請求項13]
前記処理部が、
前記部位蛍光色変換処理を実行するように、
前記撮影画像を輝度成分と色情報成分に分離する第1の分離手段と、
診断の対象の部位を抽出する抽出手段と、を備え、
前記抽出手段が、
前記部位の候補を前記輝度成分により抽出してボトムハット処理を施す第1の抽出手段、及び前記部位のそれらしさを前記輝度成分と前記色情報成分とから構成される色空間により抽出される第2の抽出手段の少なくとも1つを含むことを特徴とする請求項11又は12に記載の診断装置。
[請求項14]
前記部位蛍光色変換処理において、前記第2の抽出手段が色空間の緑系の色相方向に応じた色情報成分を用いて抽出することを特徴とする請求項13に記載の診断装置。
[請求項15]
患部の撮影画像を用いて病変を診断する診断装置における画像処理方法であって、
前記撮影画像を記憶するステップと、
記憶された前記撮影画像を処理するステップと、を備え、
前記処理ステップにおいて、
診断の対象となる前記患部の撮影画像を病変の進行度により分類し、分類された分類に対応する画像変換処理を実行して変換画像を生成することを特徴とする画像処理方法。
[請求項16]
患部の撮影画像を用いて病変を診断する診断装置における画像処理のプログラムであって、
コンピュータに、
前記撮影画像を記憶する記憶機能と、
記憶された前記撮影画像を処理する処理機能と、を実行させ、
前記処理機能において、
診断の対象となる前記患部の撮影画像を病変の進行度により分類し、分類された分類に対応する画像変換処理を実行して変換画像を生成することを特徴とするプログラム。
Claims (12)
- 皮膚患部のダーモスコープ画像である撮影画像を用いて病変の診断を支援する診断支援装置の画像処理方法であって、
前記撮影画像を、前記撮影画像に写っている母斑(色素斑)の状態に基づいて、メラノーマが疑われる皮膚患部の病変のパターンとして分類する分類工程と、
前記撮影画像に、前記分類工程により分類された前記パターンに対応する画像変換処理を実行して変換画像を生成する生成工程と、
を含む画像処理方法。 - 前記分類工程では、前記色素斑全体が網目で構成された皮膚患部が写っている前記撮影画像を網目状パターンとして分類し、
前記生成工程では、前記網目状パターンに分類された前記撮影画像に、前記網目状パターンに対応する前記画像変換処理として、網目の態様や間隔を明確にする変換処理を実行する、請求項1に記載の画像処理方法。 - 前記分類工程では、掌蹠の前記色素斑において皮溝皮丘に沿って平行に配列する線状の分布がみられる皮膚患部が写っている前記撮影画像を平行パターンとして分類し、
前記生成工程では、前記平行パターンに分類された前記撮影画像に、前記平行パターンに対応する前記画像変換処理として、病変内部の平行に走る線形を強調する変換処理を実行する、請求項1に記載の画像処理方法。 - 前記分類工程では、前記色素斑が全周性に線条で囲まれる皮膚患部が写っている前記撮影画像をスターバーストパターンとして分類し、
前記生成工程では、前記スターバーストパターンに分類された前記撮影画像に、前記スターバーストパターンに対応する前記画像変換処理として、エッジ強調と輪郭強調を用いて、病変の輪郭を強調するとともに、繊毛状の形状を明確に変換するような変換処理を実行する、請求項1に記載の画像処理方法。 - 皮膚患部のダーモスコープ画像である撮影画像を用いて病変の診断を支援する診断支援装置の画像処理方法であって、
診断の対象となる前記撮影画像を病変の進行度により分類し、前記皮膚患部がホクロ状であって、実質的に黒色又は茶色で構成されている画像を進行度が低位の分類として分類する分類工程と、
前記撮影画像に、前記分類工程により分類された分類に対応する画像変換処理を実行して変換画像を生成する生成工程と、
前記画像変換処理が、前記進行度が低位の分類に対応する画像変換処理である構造明瞭変換処理を含む画像処理方法。 - 前記構造明瞭変換処理が、
前記撮影画像を輝度成分と色情報成分とに分離する第1の分離工程と、
前記輝度成分を骨格成分と詳細成分とに分離する第2の分離工程と、
前記骨格成分に対して強調処理を施す強調工程と、を含み、
前記生成工程では、前記強調された骨格成分と前記詳細成分とから輝度を復元し、前記色情報成分を用いて強調画像を生成し、
前記強調工程が、前記骨格成分を中心値よりも明るく圧縮する第1の強調工程、及び前記骨格成分にシャープネスフィルタ処理を施す第2の強調工程の少なくとも1つを含み、
前記生成工程では、前記強調された骨格成分と前記詳細成分とを加算して前記輝度を復元し、前記復元された輝度と、第1の色空間の赤系の色相方向と青色の色相方向に応じた前記色情報成分とから第2の色空間に変換して前記強調画像を生成することを特徴とする請求項5に記載の画像処理方法。 - 皮膚患部のダーモスコープ画像である撮影画像を用いて病変の診断を支援する診断支援装置の画像処理方法であって、
診断の対象となる前記撮影画像を病変の進行度により分類し、前記皮膚患部がホクロ状であって、部分的に血管で構成されている画像を進行度が中位の分類として分類する分類工程と、
前記撮影画像に、前記分類工程で分類された分類に対応する画像変換処理を実行して変換画像を生成する生成工程と、
前記画像変換処理が、前記進行度が中位の分類に対応する画像変換処理である部位強調変換処理を含むことを特徴とする画像処理方法。 - 前記部位強調変換処理が、
前記撮影画像を輝度成分と色情報成分に分離する第1の分離工程と、
診断の対象の部位を抽出する抽出工程と、を含み、
前記抽出工程が、前記部位の候補を前記輝度成分により抽出する第1の抽出工程、及び前記部位の前記部位らしさを前記輝度成分と前記色情報成分とから構成される色空間により抽出する第2の抽出工程の少なくとも1つを含むことを特徴とする請求項7に記載の画像処理方法。 - 皮膚患部のダーモスコープ画像である撮影画像を用いて病変の診断を支援する診断支援装置の画像処理方法であって、
診断の対象となる前記撮影画像を病変の進行度により分類し、前記皮膚患部がホクロ状であって、全体的に赤みを帯びた血管で構成されている画像を前記進行度が高位の分類として分類する分類工程と、
前記撮影画像に、前記分類工程により分類された分類に対応する画像変換処理を実行して変換画像を生成する生成工程と、
前記画像変換処理が、前記進行度が高位の分類に対応する画像変換処理である部位蛍光色変換処理を含むことを特徴とする画像処理方法。 - 前記部位蛍光色変換処理が、
前記撮影画像を輝度成分と色情報成分に分離する第1の分離工程と、
診断の対象の部位を抽出する抽出工程と、を含み、
前記抽出工程では、
前記部位の候補を前記輝度成分により抽出してボトムハット処理を施す第1の抽出工程、及び前記部位の前記部位らしさを前記輝度成分と前記色情報成分とから構成される色空間により抽出する第2の抽出工程の少なくとも1つを含むことを特徴とする請求項9に記載の画像処理方法。 - 皮膚患部のダーモスコープ画像である撮影画像を用いて病変の診断を支援する診断支援装置のコンピュータに、
前記撮影画像を、前記撮影画像に写っている母斑(色素斑)の状態に基づいて、メラノーマが疑われる皮膚患部の病変のパターンとして分類する分類手段、
前記撮影画像に、前記分類手段により分類された前記パターンに対応する画像変換処理を実行して変換画像を生成する生成手段、
として機能させるプログラム。 - 皮膚患部のダーモスコープ画像である撮影画像を用いて病変の診断を支援する診断支援装置であって、
前記撮影画像を、前記撮影画像に写っている母斑(色素斑)の状態に基づいて、メラノーマが疑われる皮膚患部の病変のパターンとして分類する分類手段と、
前記撮影画像に、前記分類手段により分類された前記パターンに対応する画像変換処理を実行して変換画像を生成する生成手段と、
を備えることを特徴とする診断支援装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017235850A JP6838549B2 (ja) | 2017-12-08 | 2017-12-08 | 診断支援装置並びに画像処理方法及びそのプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017235850A JP6838549B2 (ja) | 2017-12-08 | 2017-12-08 | 診断支援装置並びに画像処理方法及びそのプログラム |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014263717A Division JP6361501B2 (ja) | 2014-12-26 | 2014-12-26 | 診断装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018043041A JP2018043041A (ja) | 2018-03-22 |
| JP6838549B2 true JP6838549B2 (ja) | 2021-03-03 |
Family
ID=61692684
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017235850A Active JP6838549B2 (ja) | 2017-12-08 | 2017-12-08 | 診断支援装置並びに画像処理方法及びそのプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6838549B2 (ja) |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0512437A (ja) * | 1991-07-03 | 1993-01-22 | Hitachi Medical Corp | 画像フイルタ方法 |
| JPH08190634A (ja) * | 1995-01-06 | 1996-07-23 | Olympus Optical Co Ltd | 画像処理装置 |
| JPH09237337A (ja) * | 1996-03-01 | 1997-09-09 | Ricoh Co Ltd | 画像表示装置 |
| US6081612A (en) * | 1997-02-28 | 2000-06-27 | Electro Optical Sciences Inc. | Systems and methods for the multispectral imaging and characterization of skin tissue |
| JP3886757B2 (ja) * | 2001-09-27 | 2007-02-28 | フジノン株式会社 | 電子内視鏡装置 |
| JP2005182498A (ja) * | 2003-12-19 | 2005-07-07 | Nooza:Kk | 口腔画像拡大表示システム、口腔画像拡大表示方法、および口腔画像拡大表示プログラム |
| US7689016B2 (en) * | 2005-05-27 | 2010-03-30 | Stoecker & Associates, A Subsidiary Of The Dermatology Center, Llc | Automatic detection of critical dermoscopy features for malignant melanoma diagnosis |
| EP2243077A4 (en) * | 2008-01-07 | 2012-09-26 | Myskin Inc | SYSTEM AND METHOD FOR ANALYZING LIGHT-MATERIAL INTERACTION BASED ON SPECTRAL FOLDING |
| EP2344982A4 (en) * | 2008-10-10 | 2012-09-19 | Sti Medical Systems Llc | METHOD FOR TISSUE CLASSIFICATION IN CERVICAL IMAGING |
| JP2010115243A (ja) * | 2008-11-11 | 2010-05-27 | Hoya Corp | 電子内視鏡用画像信号処理装置 |
| US8923954B2 (en) * | 2010-07-12 | 2014-12-30 | The Johns Hopkins University | Three-dimensional thermal imaging for the detection of skin lesions and other natural and abnormal conditions |
| JP5165732B2 (ja) * | 2010-07-16 | 2013-03-21 | オリンパス株式会社 | マルチスペクトル画像処理方法、画像処理装置、及び画像処理システム |
| JP2013090751A (ja) * | 2011-10-25 | 2013-05-16 | Fujifilm Corp | シミ検出方法、シミ検出装置およびシミ検出プログラム、並びに、シミ分類方法、シミ分類装置およびシミ分類プログラム |
| US8891841B2 (en) * | 2012-06-04 | 2014-11-18 | Verizon Patent And Licensing Inc. | Mobile dermatology collection and analysis system |
| JP5567168B2 (ja) * | 2013-03-06 | 2014-08-06 | 富士フイルム株式会社 | 画像処理装置および内視鏡システム |
| JP6188379B2 (ja) * | 2013-03-29 | 2017-08-30 | 東芝メディカルシステムズ株式会社 | 医用画像処理装置、医用画像処理システム、医用画像診断装置 |
-
2017
- 2017-12-08 JP JP2017235850A patent/JP6838549B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018043041A (ja) | 2018-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6528608B2 (ja) | 診断装置、及び診断装置における学習処理方法、並びにプログラム | |
| JP6361501B2 (ja) | 診断装置 | |
| JP6164238B2 (ja) | 診断装置並びに当該診断装置における画像処理方法及びそのプログラム | |
| AU2015230737B2 (en) | Diagnostic apparatus and image processing method in the same apparatus | |
| Osman et al. | The effect of filtering algorithms for breast ultrasound lesions segmentation | |
| Patel et al. | Mammogram of breast cancer detection based using image enhancement algorithm | |
| Lee et al. | 3D skin surface reconstruction from a single image by merging global curvature and local texture using the guided filtering for 3D haptic palpation | |
| US20180262735A1 (en) | Diagnosis support apparatus for lesion, image processing method in the same apparatus, and medium storing program associated with the same method | |
| Rosado et al. | From dermoscopy to mobile teledermatology | |
| JP6519703B2 (ja) | 画像処理方法、診断装置、並びにプログラム | |
| JP6187535B2 (ja) | 診断支援装置並びに当該診断支援装置における画像処理方法及びそのプログラム | |
| JP6838549B2 (ja) | 診断支援装置並びに画像処理方法及びそのプログラム | |
| JP6003964B2 (ja) | 診断装置並びに当該診断装置における画像処理方法及びそのプログラム | |
| JP6036790B2 (ja) | 診断装置並びに当該診断装置における画像処理方法及びそのプログラム | |
| JP6319370B2 (ja) | 診断装置並びに当該診断装置における画像処理方法及びそのプログラム | |
| JP6503733B2 (ja) | 診断支援装置並びに当該診断支援装置における画像処理方法及びそのプログラム | |
| JP2018043042A (ja) | 診断支援装置並びに画像処理方法及びそのプログラム | |
| Pan et al. | NBIGAN: Automatic nasopharyngeal white light and narrow band imaging transformation based on feature aggregation and perceptual generative adversarial networks | |
| JP6459410B2 (ja) | 診断装置並びに当該診断装置における画像処理方法及びそのプログラム | |
| CN112184576B (zh) | 一种光谱域光学相干层析成像中的高反射亮斑增强方法 | |
| JP6003965B2 (ja) | 診断装置並びに当該診断装置における画像処理方法及びそのプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180105 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180105 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180926 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181023 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20181217 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181217 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190528 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190726 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200107 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200707 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200820 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210112 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210125 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6838549 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |