Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6667572B2 - クラウド型医療画像分析のためのシステムおよび方法 - Google Patents
[go: Go Back, main page]

JP6667572B2 - クラウド型医療画像分析のためのシステムおよび方法 - Google Patents

クラウド型医療画像分析のためのシステムおよび方法 Download PDF

Info

Publication number
JP6667572B2
JP6667572B2 JP2018081767A JP2018081767A JP6667572B2 JP 6667572 B2 JP6667572 B2 JP 6667572B2 JP 2018081767 A JP2018081767 A JP 2018081767A JP 2018081767 A JP2018081767 A JP 2018081767A JP 6667572 B2 JP6667572 B2 JP 6667572B2
Authority
JP
Japan
Prior art keywords
analysis
cloud
module
medical image
feature value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018081767A
Other languages
English (en)
Other versions
JP2018183583A (ja
Inventor
榮泰 陳
榮泰 陳
鴻豪 陳
鴻豪 陳
振峰 徐
振峰 徐
瑞峰 張
瑞峰 張
信宏 ▲頼▼
信宏 ▲頼▼
元嚴 張
元嚴 張
Original Assignee
太豪生醫股▲ふん▼有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 太豪生醫股▲ふん▼有限公司 filed Critical 太豪生醫股▲ふん▼有限公司
Publication of JP2018183583A publication Critical patent/JP2018183583A/ja
Application granted granted Critical
Publication of JP6667572B2 publication Critical patent/JP6667572B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/0895Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/09Supervised learning
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

本発明は、クラウド型医療画像分析のためのシステムおよび方法に関する。
一般的に、医療分野では、通常、コンピュータ支援検出(computer-aided detection, CADe)モジュールを使用して疑わしい病変を検出し、コンピュータ支援診断(computer-aided diagnosis, CADx)モジュールを使用して病変の特性を判断する。しかしながら、CADeモジュールおよびCADxモジュールを実行するには、通常、非常に大きな計算負荷を必要とするため、CADeモジュールおよびCADxモジュールを使用して診断結果を取得したい場合、通常、多くの計算資源と時間が必要になる。実行環境に関しては、異なるCADeまたはCADx技術には異なるソフトウェアおよびハードウェア要求が必要になるため、CADeモジュールおよびCADxモジュールの実行は、特定のソフトウェアおよびハードウェア要求を満たしていなければならない。
本発明は、医療画像の特徴値をクラウド型医療分析プラットフォームに送信して、クラウドコンピューティング方法で計算を行い、データの送信量およびCADeモジュールおよびCADxモジュールの計算時間を減らすことのできるクラウド型医療画像分析のためのシステムおよび方法を提供する。ユーザーの実行環境は、CADeおよびCADxモジュールのソフトウェアおよびハードウェア要求に制限されない。
本発明は、クラウド型医療画像分析のためのシステムを提供する。クラウド型医療画像分析のためのシステムは、クラウド型医療分析プラットフォームおよび電子デバイスを有する。電子デバイスは、医療画像を取得し、医療画像を定量化して第1の特徴値を取得し、第1の特徴値をクラウド型医療分析プラットフォームに送信し、クラウド型医療分析プラットフォームは、第1の特徴値を分析モジュールに入力して分析結果を取得し、分析結果を電子デバイスに送信する。分析モジュールは、自己学習モデルを採用し、このモデルは、ディープニューラルネットワーク、畳み込みニューラルネットワーク)、ディープコンフィデンスネットワーク、および再帰型ニューラルネットワーク等のディープラーニングモデルであってもよく、分析モジュールは、複数のトレーニング画像を介してトレーニングされる。ディープラーニングモデルは、複数の処理層における線形または非線形変換を介して、データ特性を表示するのに十分なデータから特徴を自動的に抽出し、各連続した処理層の入力は、1つまたは複数の前処理層の出力を採用する。自己学習は誤差補正法であり、自己学習は教師あり学習、教師なし学習、または半教師あり学習を採用することができる。
本発明は、クラウド型医療画像分析のための方法を提供する。この方法は、クラウド型医療分析プラットフォームおよび電子デバイスを有するクラウド型医療画像分析のためのシステムに使用される。この方法は、電子デバイスを介して医療画像を取得することと;電子デバイスを介して医療画像を定量化し、第1の特徴値を取得することと;電子デバイスを介して第1の特徴値をクラウド型医療分析プラットフォームに送信することと;クラウド型医療分析プラットフォームを介して第1の特徴値を分析モジュールに入力し、分析結果を取得することと;クラウド型医療分析プラットフォームを介して分析結果を電子デバイスに送信することとを含み、分析モジュールは、自己学習モデル(例えば、ディープラーニングモデル)を採用し、分析モジュールは、複数のトレーニング画像を介してトレーニングされる。
以上のように、本発明のクラウド型医療画像分析のためのシステムおよび方法は、電子デバイスを介して、医療画像に基づいて特徴値を生成することができる。クラウド型医療分析プラットフォームは、特徴値に基づいてCADeモジュールおよび/またはCADxモジュールの機能を実行し、腫瘍の位置および/または腫瘍の診断結果を電子デバイスに返送する。クラウド型医療分析プラットフォームは、電子デバイスからのフィードバックに基づく自己学習メカニズムを有して、クラウド型医療分析プラットフォームを最適化することもできる。この方法により、電子デバイスは、CADeモジュールおよび/またはCADxモジュールのステップの全てを実際に実行する必要がないため、電子デバイスの計算負荷を有効に減らすことができる。また、電子デバイスは、分析のためにクラウド型医療分析プラットフォームに特徴値を送信するだけであるため、クラウド型医療分析プラットフォームに完全な医療画像を送信する必要がない。その結果、データの送信量を有効に減らすことができ、システムの応答時間を減らすことができる。実行環境に関しては、電子デバイスをCADeモジュールおよび/またはCADxモジュールのソフトウェアおよびハードウェア要求に制限する必要がない。
本発明の上記および他の目的、特徴、および利点をより分かり易くするため、図面と併せた幾つかの実施形態を以下に説明する。
添付図面は、本発明の原理がさらに理解されるために含まれており、本明細書に組み込まれ、且つその一部を構成するものである。図面は、本発明の実施形態を例示しており、説明とともに、本発明の原理を説明する役割を果たしている。
本発明の1つの実施形態に係るクラウド型医療画像分析のためのシステムの概略図である。 本発明の1つの実施形態に係る電子デバイスのブロック図である。 本発明の1つの実施形態に係るクラウド型医療分析プラットフォームのブロック図である。 本発明の1つの実施形態に係るクラウド型医療画像分析のための方法のフローチャートである。
図1は、本発明の1つの実施形態に係るクラウド型医療画像分析のためのシステムの概略図である。図1を参照すると、クラウド型医療画像分析のためのシステム1000は、電子デバイス100と、クラウド型医療分析プラットフォーム120とを含むことができる。電子デバイス100およびクラウド型医療分析プラットフォーム120は、有線または無線ネットワークを介して通信することができる。言及すべきこととして、本発明では、電子デバイス100およびクラウド型医療分析プラットフォーム120の地理的位置は限定されない。つまり、電子デバイス100およびクラウド型医療分析プラットフォーム120を同じ地域(領域)に配置されて動作してよい。あるいは、電子デバイス100およびクラウド型医療分析プラットフォーム120を異なる地域(領域)にされて動作してもよい。例えば、電子デバイス100を第1国家(例えば、台湾)で動作し、クラウド型医療分析プラットフォーム120を第2国家(例えば、アメリカ)で動作してもよい。
図2は、本発明の1つの実施形態に係る電子デバイスのブロック図である。図2を参照すると、電子デバイス100は、処理ユニット20と、通信ユニット22と、保存ユニット24とを含む。詳しく説明すると、通信ユニット22および保存ユニット24は、処理ユニット20に結合される。電子デバイス100は、例えば、携帯電話、タブレットPC、ノート型パソコン、またはロボット等の電子デバイスであるが、本発明はこれに限定されない。
処理ユニット20は、中央処理装置(central processing unit, CPU)、プログラマブルマイクロプロセッサ、デジタル信号プロセッサ(digital signal processor, DSP)、プログラマブルコントローラ、特定用途向け集積回路(application-specific integrated circuit, ASIC)、あるいは一般用途または特殊用途の他の類似するデバイスまたはその組み合わせであってもよい。
通信ユニット22は、GSM(登録商標)(global system for mobile communication)、PHS(登録商標)(personal handy-phone system)、符号分割多元接続(code division multiple access, CDMA)システム、W−CDMA(登録商標)(wideband code division multiple access)システム、LTE(登録商標)(long term evolution)システム、WiMAX(登録商標)(worldwide interoperability for microwave access)システム、Wi−Fi(登録商標)(wireless fidelity)システム、またはブルートゥース信号送信デバイス(ブルートゥースは登録商標)であってもよい。
保存ユニット24は、任意の種類の固定されたまたは移動可能なランダムアクセスメモリ(random access memory RAM)、読み取り専用メモリ(read-only memory ROM)、フラッシュメモリ、類似するデバイス、またはその組み合わせであってもよい。
本実施形態において、電子デバイス100の保存ユニット24に複数のコードスニペットが保存される。コードスニペットは、インストールされた後、処理ユニット20により実行される。例えば、保存ユニット24は、画像入力モジュール24aと特徴値取得モジュール24bとを含み、これらのモジュールを介してクラウド型医療画像分析のためのシステム1000に適用される電子デバイス100の様々な動作が実行される。各モジュールは、1つまたは複数のコードスニペットによって形成される。しかしながら、本発明はこれに限定されず、電子デバイス100の様々な動作を他のハードウェア形式で実施してもよい。
言及すべきこととして、電子デバイス100は、画像取得(取込)装置200に接続されてよく、画像取得装置200は、例えば、患者を走査して医療画像を取得するための超音波走査装置、磁気共鳴画像(magnetic resonance imaging MRI)装置、デジタル乳房トモシンセシス(digital breast tomosynthesis DBT)装置、携帯型超音波スキャナ、または自動乳房超音波検査システム(automated breast ultrasound system ABUS)である。しかしながら、別の実施形態において、画像取得装置200は、電子デバイス100に直接統合されてもよく、電子デバイス100は、例えば、超音波走査装置、MRI装置、DBT装置、携帯型超音波スキャナ、またはABUSの形態で直接実装されてよく、電子デバイス100は、患者を直接走査して医療画像を取得することができる。別の実施形態において、電子デバイス100は、別の方法で医療画像を取得してもよく、本発明は、電子デバイス100を用いて医療画像を取得する方法を限定しない。
保存ユニット24の画像入力モジュール24aを使用して、少なくとも1セグメントの医療画像を取得する。本実施形態において、医療画像は、乳房画像であり、乳房画像は、特に画像取得装置200で取得した自動乳房超音波(ABUS)、デジタル乳房トモシンセシス(DBT)、または磁気共鳴画像(MRI)等の乳房領域の二次元または三次元の医療画像であってもよい。スクリーニングの間、三次元画像技術は、より信頼できる発癌リスクの乳房密度評価を提供することができるが、本発明の実施形態は、三次元画像のみに限定されない。別の実施形態において、画像入力モジュール24aは、保存ユニット24あるいは通信ユニット22(Wi−Fiまたはイーサネット(登録商標)等)、医療画像スキャナ(ABUSスキャナまたはMRIスキャナ等)、または保存デバイス(DVD、フラッシュドライブ、またはハードディスク等)を介して医療画像を取得することもできる。
図3は、本発明の1つの実施形態に係るクラウド型医療分析プラットフォームのブロック図である。図3を参照すると、本実施形態のクラウド型医療分析プラットフォーム120は、処理ユニット30と、通信ユニット32と、保存ユニット34とを含む。詳しく説明すると、通信ユニット32および保存ユニット34は、処理ユニット30に結合される。処理ユニット30、通信ユニット32、および保存ユニット34は、それぞれ処理ユニット20、通信ユニット22、および保存ユニット24と類似するデバイスであるため、ここでは繰り返し説明しない。また、クラウド型医療分析プラットフォーム120は、例えば、携帯電話、タブレットPC、ノート型パソコン、ロボット、またはサーバー等であるが、本発明はこれに限定されない。本実施形態において、クラウド型医療分析プラットフォーム120は、電子デバイス100より優れた計算能力を有するサーバーであってもよい。
本実施形態において、クラウド型医療分析プラットフォーム120の保存ユニット34には複数のコードスニペットが保存され、コードスニペットは、インストールされた後、処理ユニット30により実行される。例えば、保存ユニット34は、CADeモジュール36aおよびCADxモジュール36bを有する分析モジュール36を含み、処理ユニット30は、分析モジュール36のCADeモジュール36aおよびCADxモジュール36bを操作し、クラウド型医療画像分析のためのシステム1000に適用されるクラウド型医療分析プラットフォーム120の様々な動作をそれぞれ実行する。各モジュールは、1つまたは複数のコードスニペットによって形成される。しかしながら、本発明はこれに限定されず、他のハードウェア形式でクラウド型医療分析プラットフォーム120の様々な動作を実施してもよい。
図4は、本発明の1つの実施形態に係るクラウド型医療画像分析のための方法のフローチャートである。
図1〜図4の全てを参照すると、図4のクラウド型医療画像分析のための方法は、図1のクラウド型医療画像分析のためのシステム100に適用することができる。ステップS401において、電子デバイス100の画像入力モジュール24aは、医療画像を取得することができる。本実施形態において、医療画像は、超音波画像である。しかしながら、別の実施形態において、医療画像は、実際の応用要求に基づく別の種類の画像であってもよい。
次に、ステップS403において、電子デバイス100は、特徴値取得モジュール24bを介して医療画像を定量化し、特徴値(第1の特徴値とも称す)を取得することができる。
例えば電子デバイス100が医療画像を取得した後、特徴値取得モジュール24bは、例えば医療画像に対して前処理(例えば、組織クラスタリングまたは画素クラスタリング)を行い、前処理の後に医療画像の特徴を定量化してよい。詳しく説明すると、医療画像の特徴は、例えば、テクスチャー、明度、または形状である。しかしながら、本発明には、前処理の形態および医療画像の特徴を限定する意図はない。別の実施形態において、CADeモジュール36aおよびCADxモジュール36bが領域別アルゴリズムを使用して操作された場合、特徴値取得モジュール24bは、対応してウォーターシェッドアルゴリズムを使用して医療画像を切断し、複数の領域を有する医療画像を生成することができ、そして特徴値取得モジュール24bは、それらの領域の医療画像を定量化して、対応する特徴値を生成することができる。別の実施形態において、CADeモジュール36aおよびCADxモジュール36bが画素別アルゴリズムを使用して操作された場合、特徴値取得モジュール24bは、対応して医療画像の各画素を定量化し、対応する特徴値を生成することができる。
次に、ステップS405において、電子デバイス100は、第1の特徴値をクラウド型医療分析プラットフォーム120に送信する。ステップS407において、クラウド型医療分析プラットフォーム120は、第1の特徴値を分析モジュール36のCADeモジュール36aおよびCADxモジュール36bのうちの1つに入力して、分析結果を取得する。最後に、ステップS409において、クラウド型医療分析プラットフォーム120は、分析結果を電子デバイス100に送信する。
言及すべきこととして、本発明の1つの実施形態において、分析モジュール36のCADeモジュール36aおよびCADxモジュール36bは、それぞれ自己学習モデル(例えば、ディープラーニングモデルであるが、これに限定されない)を使用して実装することができ、ディープラーニングモデルは、複数のトレーニング画像を介してトレーニングすることができる。1つの実施形態において、ディープラーニングモデルは、多重解像度畳み込みニューラルネットワークを採用する。一般的に、ディープラーニングモデルは、複数の畳み込み層、複数のプーリング層、および複数の全結合層等の複数の層を含む。複数の層の操作の間、処理時間を有効に減らすためには、多くの場合、より優れた計算能力を有するデバイスによる実行が必要である。そのため、クラウド型医療分析プラットフォーム120の計算能力が電子デバイス100の計算能力よりも優れている時は、ディープラーニングモデルを使用するクラウド型医療分析プラットフォーム120により、CADeモジュール36aまたはCADxモジュール36bの機能を実行することができる。さらに、電子デバイス100は、分析のために特徴値のみをクラウド型医療分析プラットフォーム120に送信するため、クラウド型医療分析プラットフォーム120に完全な医療画像を送信する必要がない。その結果、データの送信量を有効に減らすことができ、システムのパフォーマンスを上げることができる。
詳しく説明すると、1つの実施形態において、まず、分析モジュール36のディープラーニングモデル中の層の一部分を電子デバイス100で実行してもよい。例えば、ステップS403において、電子デバイス100の特徴値取得モジュール24bは、医療画像をディープラーニングモデル中の層の一部分に入力して、第1の特徴値を取得することができる。クラウド型医療分析プラットフォーム120が第1の特徴値を取得した後、ステップS407において、第1の特徴値をディープラーニングモデル中の層の別の部分に入力して、分析結果を取得することができる。この方法により、ディープラーニングモデルの動作効率を上げることができ、クラウド型医療画像分析のためのシステム1000をより柔軟にすることができる。
言及すべきこととして、本発明では、分析モジュール36のCADeモジュール36aおよびCADxモジュール36bの実装方法を限定しないため、別の実施形態において、CADeモジュール36aおよびCADxモジュール36bは、実際の応用要求に応じて、それぞれ機械学習アルゴリズム(例えば、論理回帰またはサポートベクターマシンを使用して実装し、複数のトレーニング画像でトレーニングしてもよい。
以下、クラウド型医療画像分析のためのシステム1000の操作方法をより明確に説明するため、複数の実施形態を提供する。
[第1の実施形態]
図1〜図3の全てを参照すると、本発明の第1の実施形態において、電子デバイス100は、画像入力モジュール24aを介して医療画像を取得することができる。次に、電子デバイス100は、第1の特徴値の生成方法により、医療画像に基づいて特徴値を取得することができる。特徴値を取得した後、電子デバイス100は、有線または無線の方法を介して、特徴値をクラウド型医療分析プラットフォーム120に送信することができる。クラウド型医療分析プラットフォーム120は、受信した特徴値を分析モジュール36のCADeモジュール36aに入力して、分析結果を生成する。詳しく説明すると、CADeモジュール36aは、特徴値に基づいて医療画像中の腫瘍の位置を決定し、対応する分析結果を生成するために使用される。つまり、CADeモジュール36aによって生成された分析結果は、医療画像中の腫瘍の位置を表示するために使用される。
次に、クラウド型医療分析プラットフォーム120は、分析結果を電子デバイス100に送信することができる。電子デバイス100は、そのヒューマンマシンディスプレイインタフェース(例えば、タッチ表示画面(図示せず))を介して表示してよく、ユーザー(例えば、医者)は、医療画像中の腫瘍の位置を知ることができる。
しかしながら、言及すべきこととして、電子デバイス100は、分析結果に基づいて、クラウド型医療分析プラットフォーム120にフィードバックメッセージを送信してもよい。クラウド型医療分析プラットフォーム120は、フィードバックメッセージおよび医療画像の第1の特徴値を使用して、CADeモジュール36aを自己学習させる。例えば、分析結果において、腫瘍位置を誤判断する、あるいは腫瘍位置を見逃す可能性があり、電子デバイス100のユーザー(例えば、医者)は、フィードバックメッセージに誤判断した腫瘍位置を追加して、見逃した腫瘍位置を丸で囲むことができ、クラウド型医学分析プラットフォーム120は、フィードバックメッセージに基づいて、CADeモジュール36aを自己学習させることができる。
つまり、第1の実施形態において、電子デバイス100は、特徴値を取得することができる。クラウド型医療分析プラットフォーム120は、電子デバイス100によって送信された特徴値に基づいて、CADeモジュール36aを操作し、分析結果を生成する。電子デバイス100のユーザーは、分析結果に基づいて、医療画像中の腫瘍の位置を知ることができ、クラウド型医療分析プラットフォーム120にフィードバックメッセージを提供して、CADeモジュール36aを自己学習させることができる。
[第2実施形態]
図1〜図3の全てを参照すると、本発明の第2の実施形態において、電子デバイス100は、画像入力モジュール24aを介して医療画像を取得することができる。詳しく説明すると、第2の実施形態の医療画像は、腫瘍領域の医療画像である。例えば、電子デバイス100は、第1の実施形態で返送された分析結果により腫瘍の位置を学習することができ、腫瘍の位置に基づいて第1実施形態の医療画像を切断し、腫瘍領域の医療画像を第2の実施形態の医療用画像として取り込むことができる。
第2の実施形態の医療画像を取得した後、電子デバイス100は、第1の特徴値の生成方法により、医療画像に基づいて特徴値を取得し、特徴値をクラウド型医療分析プラットフォーム120に送信することができる。クラウド型医療分析プラットフォーム120は、受信した特徴値を分析モジュール36のCADxモジュール36bに入力して、分析結果を生成する。詳しく説明すると、CADxモジュール36bは、特徴値に基づいて、医療画像中の腫瘍が良性であるか悪性であるかを判断し、対応する分析結果を生成するために使用される。つまり、CADxモジュール36bによって生成された分析結果は、第2の実施形態の医療画像中の腫瘍が良性であるか悪性であるかを表示するために使用される。
次に、クラウド型医療分析プラットフォーム120は、分析結果を電子デバイス100に送信することができる。電子デバイス100は、そのヒューマンマシンディスプレイインタフェース(例えば、タッチ表示画面(図示せず))を介して分析結果を表示してよく、ユーザー(例えば、医者)は、医療画像中の腫瘍が良性であるか悪性であるかを知ることができる。
しかしながら、言及すべきこととして、電子デバイス100は、分析結果に基づいて、クラウド型医療分析プラットフォーム120にフィードバックメッセージを送信してもよい。クラウド型医療分析プラットフォーム120は、フィードバックメッセージおよび医療画像の第1の特徴値を使用して、CADxモジュール36bを自己学習させる。例えば、分析結果において、悪性の腫瘍を良性として誤判断する、あるいは良性の腫瘍を悪性として誤判断する可能性がある。電子デバイス100のユーザー(例えば、医者)は、フィードバックメッセージに正しい判断結果を追加することができ、クラウド型医療分析プラットフォーム120は、フィードバックメッセージに基づいて、CADxモジュール36bを自己学習させることができる。
つまり、第2の実施形態において、電子デバイス100は、特徴値を取得することができる。クラウド型医療分析プラットフォーム120は、電子デバイス100によって送信された特徴値に基づいて、CADxモジュール36bを操作し、分析結果を生成する。電子デバイス100のユーザー(例えば、医者)は、分析結果に基づいて、医療画像中の腫瘍が良性であるか、悪性であるかを知ることができ、クラウド型医療分析プラットフォーム120にフィードバックメッセージを提供して、CADxモジュール36bを自己学習させることができる。
[第3実施形態]
図1〜図3の全てを参照すると、本発明の第3実施形態において、電子デバイス100は、画像入力モジュール24aを介して医療画像を取得することができ、医療画像は、例えば、第1の実施形態の医療画像である。医療画像を取得した後、電子デバイス100は、第1の特徴値の生成方法により、医療画像に基づいて特徴値を取得することができる。特徴値を取得した後、電子デバイス100は、特徴値をクラウド型医療分析プラットフォーム120に送信することができる。クラウド型医療分析プラットフォーム120は、受信した特徴値を分析モジュール36のCADeモジュール36aに入力して、医療画像中の腫瘍の位置を決定する。
例えば、CADeモジュール36aが領域別アルゴリズムを使用して操作を行う場合、CADeモジュール36aは、電子デバイス100から取得した特徴値を使用して、特徴値に対応する医療画像中の腫瘍の位置を決定することができる。CADeモジュール36aが画素別アルゴリズムを使用して演算を行う場合、CADeモジュール36aは、電子デバイス100から取得した特徴値を使用して、特徴値に対応する医療画像中の各画素が腫瘍であるかを決定し、腫瘍と思われる画素によって形成された領域の位置を腫瘍の位置として判断する。
医療画像中の腫瘍の位置が決定された場合、医療画像において腫瘍が存在する。この時、CADeモジュール36aは、受信した特徴値に基づいて、第2の特徴値を生成する。詳しく説明すると、第2の特徴値は、例えば、電子デバイス100からCADeモジュール36aが受信した特徴値、または別のプロセスから生成された特徴値と同じであるが、本発明はこれに限定されない。
次に、CADeモジュール36aは、第2の特徴値をCADxモジュール36bに送信する。CADxモジュール36bは、第2の特徴値に基づいて分析結果を生成する。詳しく説明すると、CADxモジュール36bは、第2特徴値に基づいて医療画像中の腫瘍が良性であるか、悪性であるかを決定し、対応する分析結果を生成するために使用される。つまり、CADxモジュール36bによって生成された分析結果は、医療画像中の腫瘍が良性であるか、悪性であるかを表示するために使用される。
次に、クラウド型医療分析プラットフォーム120は、電子デバイス100に分析結果を送信することができる。電子デバイス100は、そのヒューマンマシンディスプレイインタフェース(例えば、タッチ表示画面(図示せず))を介して分析結果を表示してもよく、ユーザー(例えば、医者)は、医療画像中の腫瘍が良性であるか、悪性であるかを知ることができる。
同様に、電子デバイス100は、分析結果に基づいて、クラウド型医療分析プラットフォーム120にフィードバックメッセージを送信してもよく、クラウド型医療分析プラットフォーム120は、フィードバックメッセージおよび医療画像の第2の特徴値に基づいて、CADxモジュール36bを自己学習させる。
つまり、第3の実施形態において、電子デバイス100は、特徴値を取得することができる。クラウド型医療分析プラットフォーム120は、電子デバイス100によって送信された特徴値に基づいて、CADeモジュール36aおよびCADxモジュール36bをそれぞれ操作し、分析結果を生成する。電子デバイス100のユーザー(例えば、医者)は、分析結果に基づいて、医療画像中の腫瘍が良性であるか、悪性であるかを知ることができ、クラウド型医療分析プラットフォーム120にフィードバックメッセージを提供して、CADxモジュール36bを自己学習させることができる。
以上のように、本発明のクラウド型医療画像分析のためのシステムおよび方法は、電子デバイスを介して、医療画像に基づいて特徴値を生成することができる。クラウド型医療分析プラットフォームは、特徴値に基づいてCADeモジュールおよび/またはCADxモジュールの機能を実行し、腫瘍の位置および/または腫瘍の診断結果を電子デバイスに返送する。クラウド型医療分析プラットフォームは、電子デバイスからのフィードバックに基づく自己学習メカニズムをも有し、クラウド型医療分析プラットフォームを最適化することもできる。この方法により、電子デバイスは、CADeモジュールおよび/またはCADxモジュールを実際に操作する必要がないため、電子デバイスの計算負荷を有効に減らすことができる。また、電子デバイスは、クラウド型医療分析プラットフォームに特徴値のみを送信して分析することができるため、電子デバイスは、クラウド型医療分析プラットフォームに完全な医療画像を送信する必要がない。その結果、データの送信量を有効に減らすことができ、システムの応答時間を減らすことができる。
以上のごとく、本発明を実施形態により開示したが、本発明を限定するためのものではなく、当業者であれば容易に理解できるように、本発明の技術思想の範囲内において、適当な変更ならびに修正が当然なされうるものであるから、その特許権保護の範囲は、特許請求の範囲および、それと均等な領域を基準として定めなければならない。
本発明のクラウド型医療画像分析のためのシステムおよび方法は、医療分野に応用することができる。
1000 クラウド型医療画像分析のためのシステム
100 電子デバイス
120 クラウド型医療分析プラットフォーム
200 画像取得装置
20、30 処理ユニット
22、32 通信ユニット
24、34 保存ユニット
24a 画像入力モジュール
24b 特徴値取得モジュール
36 分析モジュール
36a CADeモジュール
36b CADxモジュール
S401〜409 ステップ

Claims (14)

  1. 分析モジュールを有するクラウド型医療分析プラットフォームと、
    電子デバイスと、
    を含み、
    前記電子デバイスが、医療画像を取得し、前記医療画像を定量化して第1の特徴値を取得し、前記第1の特徴値を前記クラウド型医療分析プラットフォームに送信し、
    前記クラウド型医療分析プラットフォームが、前記第1の特徴値を前記分析モジュールに入力して分析結果を取得し、前記分析結果を前記電子デバイスに送信し、
    前記分析モジュールが、自己学習モデルを使用し、且つ複数のトレーニング画像を介してトレーニングされ、
    前記分析モジュールが、コンピュータ支援検出モジュールおよびコンピュータ支援診断モジュールを含み、
    前記コンピュータ支援検出モジュールが、前記第1の特徴値に基づいて第2の特徴値を取得し、
    前記コンピュータ支援診断モジュールが、前記第2の特徴値に基づいて前記分析結果を生成し、
    前記分析結果が、前記医療画像中の診断の提案を示すために使用されるクラウド型医療用画像分析のためのシステム。
  2. 前記分析モジュールは、ディープラーニングモデルを含み、
    前記電子デバイスにより前記医療画像を定量化して前記第1の特徴値を取得する操作において、前記電子デバイスは、前記医療画像を前記ディープラーニングモデル中の層の一部分に入力して、前記第1の特徴値を取得し、
    前記クラウド型医分析プラットフォームにより前記第1の特徴値を前記分析モジュールに入力して前記分析結果を取得する操作において、前記クラウド型医療分析プラットフォームは、前記第1の特徴値を前記ディープラーニングモデル中の前記層の別の部分に入力して、前記分析結果を取得する、請求項1に記載のシステム。
  3. 前記分析モジュールが、ディープラーニングモデルを含み、前記ディープラーニングモデルが、多重解像度畳み込みニューラルネットワークを採用する、請求項1に記載のシステム。
  4. 前記分析モジュールが、コンピュータ支援検出モジュールを含み、
    前記分析結果が、前記医療画像中の腫瘍の位置を示すために使用され、前記腫瘍の前記位置が、前記コンピュータ援助検出モジュールによって決定される、請求項1に記載のシステム。
  5. 前記分析モジュールが、コンピュータ支援診断モジュールを含み、
    前記分析結果が、前記医療画像中の腫瘍が良性であるか、悪性であるかを示すために使用され、前記腫瘍が良性であるか、悪性であるかが前記コンピュータ支援診断モジュールによって決定される、請求項1に記載のシステム。
  6. 記分析結果が、前記医療画像中の腫瘍が良性であるか、悪性であるかを示すために使用される、請求項1に記載のシステム。
  7. 前記電子デバイスが、前記分析結果に基づいて、前記クラウド型医療分析プラットフォームにフィードバックメッセージを送信し、
    前記クラウド型医療分析プラットフォームが、前記フィードバックメッセージおよび前記医療画像の前記第1の特徴値を使用して、前記分析モジュールを自己学習させる、請求項1に記載のシステム。
  8. クラウド型医療分析プラットフォームおよび電子デバイスを有するクラウド型医療画像分析のためのシステムに使用され、前記クラウド型医療分析プラットフォームは、分析モジュールを有し、
    前記電子デバイスを介して医療画像を取得することと、
    前記電子デバイスを介して前記医療画像を定量化し、第1の特徴値を取得することと、
    前記電子デバイスを介して前記第1の特徴値を前記クラウド型医療分析プラットフォームに送信することと、
    前記クラウド型医療分析プラットフォームを介して前記第1の特徴値を前記分析モジュールに入力し、分析結果を取得することと、
    前記クラウド型医療分析プラットフォームを介して前記分析結果を前記電子デバイスに送信することと、
    を含み、
    前記分析モジュールが、自己学習モデルを使用し、且つ複数のトレーニング画像を介してトレーニングされ、
    前記分析モジュールが、コンピュータ支援検出モジュールおよびコンピュータ支援診断モジュールを含み、
    前記コンピュータ支援検出モジュールが、前記第1の特徴値に基づいて第2の特徴値を取得し、
    前記コンピュータ支援診断モジュールが、前記第2の特徴値に基づいて前記分析結果を生成し、
    前記分析結果が、前記医療画像中の診断の提案を示すために使用されるクラウド型医療画像分析のための方法。
  9. 前記分析モジュールが、ディープラーニングモデルを含み、
    前記医療画像を定量化して前記第1の特徴値を取得することが、前記電子デバイスを介して前記医療画像を前記ディープラーニングモデル中の層の一部分に入力し、前記第1の特徴値を取得することを含み、
    前記第1の特徴値を前記分析モジュールに入力して前記分析結果を取得することが、前記クラウド型医療分析プラットフォームを介して前記第1の特徴値を前記ディープラーニングモデル中の前記層の別の部分に入力し、前記分析結果を取得することを含む、請求項に記載の方法。
  10. 前記分析モジュールが、ディープラーニングモデルを含み、前記ディープラーニングモデルが、多重解像度畳み込みニューラルネットワークを採用する、請求項に記載の方法。
  11. 前記分析モジュールが、コンピュータ支援検出モジュールを含み、
    前記分析結果が、前記医療画像中の腫瘍の位置を示すために使用され、前記腫瘍の前記位置が、前記コンピュータ支援検出モジュールによって決定される、請求項に記載の方法。
  12. 前記分析モジュールが、コンピュータ支援診断モジュールを含み、
    前記分析結果が、前記医療画像中の腫瘍が良性であるか、悪性であるかを示すために使用され、前記腫瘍が良性であるか、悪性であるかが、前記コンピュータ支援診断モジュールによって決定される、請求項に記載の方法。
  13. 記分析結果が、前記医療画像中の腫瘍が良性であるか、悪性であるかを示すために使用される、請求項に記載の方法。
  14. 前記分析結果に基づいて、前記電子デバイスを介して前記クラウド型医療分析プラットフォームにフィードバックメッセージを送信することと、
    前記クラウド型医療分析プラットフォームを介して、前記フィードバックメッセージおよび前記医療画像の前記第1の特徴値を使用して、前記分析モジュールを自己学習させることと、
    をさらに含む、請求項に記載の方法。
JP2018081767A 2017-04-24 2018-04-20 クラウド型医療画像分析のためのシステムおよび方法 Active JP6667572B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW106113572 2017-04-24
TW106113572A TWI614624B (zh) 2017-04-24 2017-04-24 雲端醫療影像分析系統與方法

Publications (2)

Publication Number Publication Date
JP2018183583A JP2018183583A (ja) 2018-11-22
JP6667572B2 true JP6667572B2 (ja) 2020-03-18

Family

ID=62014573

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018081767A Active JP6667572B2 (ja) 2017-04-24 2018-04-20 クラウド型医療画像分析のためのシステムおよび方法

Country Status (4)

Country Link
US (1) US10769781B2 (ja)
EP (1) EP3396675A1 (ja)
JP (1) JP6667572B2 (ja)
TW (1) TWI614624B (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI614624B (zh) * 2017-04-24 2018-02-11 太豪生醫股份有限公司 雲端醫療影像分析系統與方法
TWI681343B (zh) * 2018-12-14 2020-01-01 瑞昱半導體股份有限公司 物件追蹤系統、物件追蹤方法與非暫態電腦可讀取媒體
TWI694414B (zh) * 2018-12-18 2020-05-21 國立成功大學 卷積神經網路分析方法、電腦程式產品與電子裝置
CN111401111A (zh) * 2019-01-03 2020-07-10 瑞昱半导体股份有限公司 物件追踪系统、物件追踪方法与非暂态计算机可读介质
CN109994187B (zh) * 2019-02-14 2024-07-02 平安科技(深圳)有限公司 一种基于患者用户身份的医疗影像信息云存储系统
US11037968B2 (en) 2019-04-05 2021-06-15 Waymo Llc Image sensor architecture
JP7323694B2 (ja) * 2019-08-29 2023-08-08 株式会社奥村組 構造物の劣化状態診断方法
JP7219192B2 (ja) * 2019-08-29 2023-02-07 株式会社奥村組 構造物の劣化状態診断方法
TWI705458B (zh) * 2019-09-19 2020-09-21 沐恩生醫光電股份有限公司 一種醫療影像辨識的方法與系統
CN110809037B (zh) * 2019-10-29 2020-09-22 华南理工大学 一种基于深度多元特征的物联网皮肤镜系统
CN113095342B (zh) * 2019-12-23 2024-07-05 北京金山云网络技术有限公司 基于误判样本图片的审核模型优化方法、装置及服务器
US11684333B2 (en) 2020-01-03 2023-06-27 National Taiwan University Medical image analyzing system and method thereof
TWI767439B (zh) * 2020-01-03 2022-06-11 國立臺灣大學 醫療影像分析系統及其方法
KR102320431B1 (ko) * 2021-04-16 2021-11-08 주식회사 휴런 의료 영상 기반 종양 검출 및 진단 장치
CN114582494B (zh) * 2022-03-03 2022-11-15 数坤(北京)网络科技股份有限公司 诊断结果分析方法、装置、存储介质及电子设备
US12236499B2 (en) 2022-04-12 2025-02-25 Utech Products, Inc. Multithreading video processing with cloud services to detect and analyze objects
US12608803B2 (en) 2022-04-12 2026-04-21 Utech Products, Inc. Multithreading video processing with cloud services to detect and analyze landmarks and objects during a clinical procedure
CN118213092B (zh) * 2024-03-18 2024-09-27 暨南大学附属第一医院(广州华侨医院) 一种用于慢性创面疾病的远程医疗监管系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6125194A (en) * 1996-02-06 2000-09-26 Caelum Research Corporation Method and system for re-screening nodules in radiological images using multi-resolution processing, neural network, and image processing
US5799100A (en) * 1996-06-03 1998-08-25 University Of South Florida Computer-assisted method and apparatus for analysis of x-ray images using wavelet transforms
JP2003150714A (ja) 2001-11-14 2003-05-23 Hitachi Medical Corp 画像診断支援システム
US7244230B2 (en) * 2002-11-08 2007-07-17 Siemens Medical Solutions Usa, Inc. Computer aided diagnostic assistance for medical imaging
EP1636731A2 (en) 2003-06-25 2006-03-22 Siemens Medical Solutions USA, Inc. Systems and methods for automated diagnosis and decision support for breast imaging
EP1780651A1 (en) 2005-10-25 2007-05-02 Bracco Imaging, S.P.A. Method and system for automatic processing and evaluation of images, particularly diagnostic images
WO2007054841A1 (en) 2005-11-08 2007-05-18 Koninklijke Philips Electronics, N.V. Method for detecting critical trends in multi-parameter patient monitoring and clinical data using clustering
EP2791838B1 (en) 2011-12-15 2019-10-16 Koninklijke Philips N.V. Medical imaging reconstruction optimized for recipient
US9165187B2 (en) * 2012-01-12 2015-10-20 Kofax, Inc. Systems and methods for mobile image capture and processing
JP6112291B2 (ja) 2012-12-11 2017-04-12 パナソニックIpマネジメント株式会社 診断支援装置および診断支援方法
WO2015134665A1 (en) 2014-03-04 2015-09-11 SignalSense, Inc. Classifying data with deep learning neural records incrementally refined through expert input
JP5800119B1 (ja) 2014-04-30 2015-10-28 コニカミノルタ株式会社 健康度判定装置および健康度判定システム
TWI554758B (zh) * 2015-02-09 2016-10-21 南臺科技大學 快篩檢測系統
CN107851194A (zh) 2015-08-04 2018-03-27 西门子公司 用于脑肿瘤分类的视觉表示学习
JP6646395B2 (ja) 2015-09-28 2020-02-14 キヤノン株式会社 情報処理装置及びその方法、情報処理システム、コンピュータプログラム
TWM535807U (zh) 2016-07-29 2017-01-21 國立成功大學 檢測裝置
US9589374B1 (en) 2016-08-01 2017-03-07 12 Sigma Technologies Computer-aided diagnosis system for medical images using deep convolutional neural networks
CN106355023A (zh) 2016-08-31 2017-01-25 北京数字精准医疗科技有限公司 基于医学影像的开放式定量分析方法与系统
TWI614624B (zh) * 2017-04-24 2018-02-11 太豪生醫股份有限公司 雲端醫療影像分析系統與方法

Also Published As

Publication number Publication date
TWI614624B (zh) 2018-02-11
EP3396675A1 (en) 2018-10-31
TW201839634A (zh) 2018-11-01
US20180308234A1 (en) 2018-10-25
US10769781B2 (en) 2020-09-08
JP2018183583A (ja) 2018-11-22

Similar Documents

Publication Publication Date Title
JP6667572B2 (ja) クラウド型医療画像分析のためのシステムおよび方法
US10810735B2 (en) Method and apparatus for analyzing medical image
US10140710B2 (en) Automatic key frame detection
US11488302B2 (en) Object recognition method and device, and storage medium
CN107480677B (zh) 一种识别三维ct图像中感兴趣区域的方法及装置
KR102391934B1 (ko) 인공지능 기반 갑상선 결절의 암 위험도 진단 시스템 및 방법
US11900594B2 (en) Methods and systems for displaying a region of interest of a medical image
US20220130525A1 (en) Artificial intelligence orchestration engine for medical studies
US20190000425A1 (en) Devices, systems, and methods for diagnosis of pulmonary conditions through detection of b-lines in lung sonography
WO2016057960A1 (en) Apparatus, system and method for cloud based diagnostics and image archiving and retrieval
WO2018057984A1 (en) Mapping of breast arterial calcifications
CN110223289A (zh) 一种图像处理方法和系统
US11010893B2 (en) Image identifying method and image identifying device
US10762629B1 (en) Segmenting medical images
US12243232B1 (en) Racially unbiased deep learning-based mammogram analyzer
WO2019087791A1 (ja) 診断支援装置、内視鏡装置、管理装置、診断支援方法、管理方法、診断支援プログラム、及び管理プログラム
US9454814B2 (en) PACS viewer and a method for identifying patient orientation
US20220284588A1 (en) Multi-phase object contour refinement
WO2021101833A1 (en) Methods and systems for remote analysis of medical image records
CN116869555A (zh) 扫描协议调节方法、装置以及存储介质
CN108742678A (zh) 图像配准方法、装置及计算机可读存储介质
Punitha et al. A novel e-healthcare diagnosing system for COVID-19 via whale optimization algorithm
CN113724160A (zh) 一种脑影像处理方法、装置、设备及存储介质
US20240145068A1 (en) Medical image analysis platform and associated methods
CN117475344A (zh) 超声影像截取方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180717

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180717

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200225

R150 Certificate of patent or registration of utility model

Ref document number: 6667572

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250