Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6768620B2 - 学習支援装置、学習支援装置の作動方法、学習支援プログラム、学習支援システム、端末装置及びプログラム - Google Patents
[go: Go Back, main page]

JP6768620B2 - 学習支援装置、学習支援装置の作動方法、学習支援プログラム、学習支援システム、端末装置及びプログラム - Google Patents

学習支援装置、学習支援装置の作動方法、学習支援プログラム、学習支援システム、端末装置及びプログラム Download PDF

Info

Publication number
JP6768620B2
JP6768620B2 JP2017187096A JP2017187096A JP6768620B2 JP 6768620 B2 JP6768620 B2 JP 6768620B2 JP 2017187096 A JP2017187096 A JP 2017187096A JP 2017187096 A JP2017187096 A JP 2017187096A JP 6768620 B2 JP6768620 B2 JP 6768620B2
Authority
JP
Japan
Prior art keywords
discriminator
learning
trained
image
correct answer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017187096A
Other languages
English (en)
Other versions
JP2019061579A (ja
Inventor
昭治 金田
昭治 金田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2017187096A priority Critical patent/JP6768620B2/ja
Priority to US16/123,456 priority patent/US10902286B2/en
Publication of JP2019061579A publication Critical patent/JP2019061579A/ja
Application granted granted Critical
Publication of JP6768620B2 publication Critical patent/JP6768620B2/ja
Priority to US17/130,468 priority patent/US11797846B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Description

本発明は、機械学習による判別器の生成を支援する学習支援装置、学習支援装置の作動方法、学習支援プログラム、学習支援システム、および端末装置に関する。
データの特徴を学習して画像などの認識や分類を行うために機械学習が従来から利用されてきた。近年、様々な学習手法が開発され、かつ、コンピュータの処理能力が向上したことにより処理時間が短縮され、システムが画像データなどの特徴をより深いレベルで学習するディープラーニング（深層学習）を行うことが可能になってきた。ディープラーニングを行うことにより、非常に高い精度で画像などの特徴を認識できるようになり判別性能の向上が期待されている。
医療分野においても、ディープラーニングを利用して学習することで高い精度で画像の特徴を認識する人工知能（ＡＩ）が望まれている。ディープラーニングには、目的に沿った大量かつ良質のデータによる学習が不可欠である。そのためには、効率的に学習データを用意することが重要である。各医療機関には、ＰＡＣＳ（Picture Archiving and Communication System）の普及に伴い多くの症例の画像データが蓄積されている。そこで、各医療機関に蓄積された様々な症例の画像データを利用して学習させることが検討されている。
また、近年、様々な分野で人工知能は技術水準が向上しつつあるのみならず、様々なサービスに組み込まれて利用および活用がはじまっている。特に、ネットワークを介して様々なエッジ端末に提供されるサービスが増えつつある。例えば、特許文献１では、動画像を話題の切り替わり点で自動的に分割する動画像話題分割装置に学習モデルを取り入れた装置が開示されている。この文献では、学習モデルはクライアント端末に配信済みであり、各クライアント端末では配信された学習モデルを用いて自動的に話題分割が実行され、自動的に話題分割された結果に対してユーザが訂正した内容をフィードバックして学習モデルを更新することが開示されている。ユーザが訂正したフィードバックはネットワークを介して、統合モジュールに蓄積された後に、蓄積されたフィードバックを用いて再構築された学習モデルがネットワーク経由で各クライアント端末へ再度配信される。
特開２００８−０４６７２９号公報
しかしながら、医療分野において、学習させるデータは患者の医療データとなるため、秘匿性が非常に高く、学習データとして利用するためにはデータの取扱に注意を要する。また、画像データには正解データはつけられていない。あるいは、正解データがあったとしても元の画像データと関連付けされず管理されていることが多い。そのため、効率的に正解データが付加された学習データを集めることは難しくコストがかかる。
そこで、本発明では、上述のような問題を解決するために、医療分野においてディープラーニングに必要な大量かつ多様な学習データの学習を可能にする学習支援装置、学習支援装置の作動方法、学習支援プログラム、学習支援システム、および端末装置を提供することを目的とする。
本発明の学習支援装置は、複数の端末装置のそれぞれに設けられた学習用判別器に画像と画像の正解データを用いて学習させた複数の学習済判別器を取得する学習済判別器取得部と、複数の学習済判別器に対して同一の入力画像を判別させた複数の判別結果を取得し、複数の判別結果に基づいて入力画像の正解データを決定し、入力画像と決定した正解データを用いて学習用判別器を再度学習させた新たな学習用判別器を出力する判別器出力部を備え、学習済判別器取得部によって、複数の端末装置のそれぞれに設けられた判別器出力部から出力された学習用判別器に画像と画像の正解データを用いて学習させた学習済判別器を取得し、判別器出力部によって、学習済判別器取得部で取得した複数の学習済判別器に対して入力画像と異なる新たな同一の入力画像を判別させた判別結果に基づいて新たな入力画像の正解データを決定して、新たな入力画像と決定した正解データを用いて判別器出力部で出力した学習用判別器を再度学習させた新たな学習用判別器を出力する処理を繰り返す。
本発明の学習支援装置の作動方法は、学習済判別器取得部と判別器出力部を備えた学習支援装置の作動方法であって、学習済判別器取得部が、複数の端末装置のそれぞれに設けられた学習用判別器に画像と画像の正解データを用いて学習させた複数の学習済判別器を取得し、判別器出力部が、複数の学習済判別器に対して同一の入力画像を判別させた複数の判別結果を取得し、複数の判別結果に基づいて入力画像の正解データを決定し、入力画像と決定した正解データを用いて学習用判別器を再度学習させた新たな学習用判別器を出力し、学習済判別器取得部によって、複数の端末装置のそれぞれに設けられた判別器出力部から出力された学習用判別器に画像と画像の正解データを用いて学習させた学習済判別器を取得し、判別器出力部によって、学習済判別器取得部で取得した複数の学習済判別器に対して入力画像と異なる新たな同一の入力画像を判別させた判別結果に基づいて新たな入力画像の正解データを決定して、新たな入力画像と決定した正解データを用いて判別器出力部で出力した学習用判別器を再度学習させた新たな学習用判別器を出力する処理を繰り返す。
本発明の学習支援プログラムは、コンピュータを、複数の端末装置のそれぞれに設けられた学習用判別器に画像と画像の正解データを用いて学習させた複数の学習済判別器を取得する学習済判別器取得部と、複数の学習済判別器に対して同一の入力画像を判別させた複数の判別結果を取得し、複数の判別結果に基づいて入力画像の正解データを決定し、入力画像と決定した正解データを用いて学習用判別器を再度学習させた新たな学習用判別器を出力する判別器出力部として機能させる学習支援プログラムであって、学習済判別器取得部によって、複数の端末装置のそれぞれに設けられた判別器出力部から出力された学習用判別器に画像と画像の正解データを用いて学習させた学習済判別器を取得し、判別器出力部によって、学習済判別器取得部で取得した複数の学習済判別器に対して入力画像と異なる新たな同一の入力画像を判別させた判別結果に基づいて新たな入力画像の正解データを決定して、新たな入力画像と決定した正解データを用いて判別器出力部で出力した学習用判別器を再度学習させた新たな学習用判別器を出力する処理を繰り返させる。
「学習済判別器を取得する」とは、学習済判別器を取得してもよいし、判別器のパラメーターを受取って、予め用意した判別器にパラメーターを設定することで学習済判別器を取得するものであってもよい。例えば、判別器が多層ニューラルネットワークである場合には、学習済みの多層ニューラルネットワークが組み込まれたプログラムを取得してもよいし、多層ニューラルネットワークのユニットの階層間における結合の重みをパラメーターとして取得して、予め用意された多層ニューラルネットワークにパラメーターを設定することで、学習済みの多層ニューラルネットワークを取得するようにしてもよい。
また、判別器出力部が、さらに、新たな学習用判別器が学習に用いた画像とこの画像の正解データを学習した実運用判別器を出力する。
「実運用判別器」は、入力された画像データの判別結果が取得可能な判別器であって、追加学習を行うことができない判別器であり、「学習用判別器」は、画像とその画像の正解データを用いて追加学習が可能な判別器である。また、出力される実運用判別器は、出力される学習用判別器が学習した画像とその画像の正解データと全て同じ画像とその画像の正解データを用いて学習が行われた判別器である。
また、学習済判別器取得部が、複数の端末装置からネットワークを介して学習済判別器を取得し、判別器出力部が、新たな学習用判別器をネットワークを介して複数の端末装置に出力するようにしてもよい。
また、判別器出力部は、複数の判別結果のうち同じ結果となった数が最も多い判別結果を入力画像の正解データとして決定してもよい。
また、判別器出力部は、学習済判別器に学習させた端末装置に応じて複数の学習済判別器のそれぞれの重みを決定し、判別結果のうち同じ結果となった学習済判別器の重みを加算し、加算した重みが最も大きい判別結果を入力画像の正解データとしてもよい。
また、判別器出力部は、各端末装置で学習済判別器に学習させた正解データの数に応じて各端末装置で学習させた学習済判別器のそれぞれの重みを決定して、判別結果が同じ結果となった学習済判別器の重みを加算し、加算した重みが最も大きい判別結果を入力画像の正解データとしてもよい。
また、判別器出力部は、学習済判別器のそれぞれに対して各学習済判別器に学習させた画像の症例種別ごとに重みを決定し、判別結果が同じ結果となった学習済判別器における入力画像の症例種別に対応する重みを加算し、加算した重みが最も大きい判別結果を入力画像の正解データとしてもよい。
また、複数の学習済判別器に対して基準となる複数の画像からなる画像セットを用いて正解率を評価する評価部を有し、判別器出力部は、評価部によって得られた正解率に応じて複数の学習済判別器のそれぞれの重みを決定し、学習済判別器の判別結果が同じ結果となった学習済判別器のそれぞれの重みを加算し、加算した重みが最も大きい判別結果を入力画像の正解データとしてもよい。
本発明の学習支援システムは、学習支援装置と複数の端末装置とをネットワークを介して接続した学習支援システムであって、端末装置が、学習用判別器に画像と画像の正解データを用いて学習させた学習済判別器をネットワークを介して出力する学習済判別器出力部を備え、学習支援装置が、複数の端末装置から複数の学習済判別器をネットワークを介して取得する学習済判別器取得部と、複数の学習済判別器に対して同一の入力画像を判別させた複数の判別結果を取得し、複数の判別結果に基づいて入力画像の正解データを決定し、入力画像と決定した正解データを用いて学習用判別器を再度学習させた新たな学習用判別器をネットワークを介して複数の端末装置を出力する判別器出力部を備え、端末装置が、学習支援装置から出力された学習用判別器をネットワークを介して受信する判別器取得部を備える。
また、学習支援システムにおいて、判別器取得部が、学習支援装置から出力された学習用判別器と同じ画像と画像の正解データを学習済みの実運用判別器をさらにネットワークを介して取得し、端末装置が、実運用判別器を用いて判別対象の画像を判別した判別結果を取得する判別結果取得部をさらに備えてもよい。
本発明の端末装置は、学習用判別器と、学習用判別器と同じ画像と画像の正解データを用いて学習させた学習済みの実運用判別器とを取得する判別器取得部と、実運用判別器を用いて判別対象の画像を判別した判別結果を取得する判別結果取得部と、 学習用判別器に画像と画像の正解データを用いて学習させた学習済判別器を出力する学習済判別器出力部を備える。
また、端末装置において、判別器取得部が、学習支援装置からネットワークを介して学習用判別器と実運用判別器とを取得し、学習済判別器出力部が、ネットワークを介して学習済み判別器を送出力するようにしてもよい。
本発明の他の学習支援装置は、コンピュータに実行させるための命令を記憶するメモリと、記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、複数の端末装置のそれぞれに設けられた学習用判別器に画像と画像の正解データを用いて学習させた複数の学習済判別器を取得する取得処理と、複数の学習済判別器に対して同一の入力画像を判別させた複数の判別結果を取得し、複数の判別結果に基づいて入力画像の正解データを決定し、入力画像と決定した正解データを用いて学習用判別器を再度学習させた新たな学習用判別器を出力する出力処理を実行し、複数の端末装置のそれぞれに設けられた判別器出力部から出力された学習用判別器に画像と画像の正解データを用いて学習させた学習済判別器を取得し、学習済判別器取得部で取得した複数の学習済判別器に対して入力画像と異なる新たな同一の入力画像を判別させた判別結果に基づいて新たな入力画像の正解データを決定して、新たな入力画像と決定した正解データを用いて判別器出力部で出力した学習用判別器を再度学習させた新たな学習用判別器を出力する処理を繰り返す。
本発明によれば、複数の端末装置のそれぞれに設けられた学習用判別器に画像正解データを用いて学習させた複数の学習済判別器を学習支援装置で取得して、同一の入力画像を判別させた複数の判別結果を取得し、複数の判別結果に基づいて入力画像の正解データを決定し、入力画像と決定した正解データを用いて判別器を学習させるようにしたので、正解データがつけられていない画像から学習用のデータを自動的に生成して、大量の画像を用いてディープラーニングを行うことが可能になり、判別性能を向上させることが可能になる。
本発明の学習支援システムの概略構成を表す図 医療情報システムの概略構成を表す図 多層ニューラルネットワークの一例 第１の実施の形態の端末装置と学習支援装置の概略構成を示すブロック図 判別器の学習を説明するための図 判別器に学習させる処理の流れを表すフローチャート 第２の実施の形態の端末装置と学習支援装置の概略構成を示すブロック図 第３の実施の形態の端末装置と学習支援装置の概略構成を示すブロック図 第４の実施の形態の端末装置と学習支援装置の概略構成を示すブロック図
図１に、本発明の第１の実施の形態における学習支援システム１の概略構成を示す。学習支援システム１は、複数の医療機関Ａ，Ｂ・・・Ｘに設置される複数の端末装置１０とクラウド側に置かれる学習支援装置２０がネットワーク３０で接続されて構成される。
学習支援装置２０は、ＣＰＵ（Central Processing Unit）、メモリ、ストレージ、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされ、さらに、サーバの機能を有した高性能なコンピュータである。また、必要に応じてＧＵＰ（Graphics Processing Unit）を設けるようにしてもよい。あるいは、１つまたは複数のコンピュータを用いて提供される仮想化された仮想サーバであってもよい。本発明の学習支援プログラムがサーバにインストールされ、コンピュータのＣＰＵによってプログラムの命令が実行されることにより学習支援装置として機能する。
端末装置１０は、各医療機関Ａ，Ｂ・・・Ｘに設けられた画像処理用のコンピュータであり、ＣＰＵ、メモリ、ストレージ、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされ、表示装置としてディスプレイを有している。また、必要に応じてＧＵＰを設けるようにしてもよい。
ネットワーク３０は、公衆回線網または専用回線網を介して複数の医療機関Ａ，Ｂ・・・Ｘに置かれた端末装置１０と学習支援装置２０を広域的に結ぶワイドエリアネットワーク (広域通信網 ＷＡＮ：Wide Area Network) である。
また、端末装置１０は、図２に示すように、ローカルエリアネットワーク（ＬＡＮ：Local Area Network）５１を介して、各医療機関Ａ，Ｂ・・・Ｘのそれぞれの医療情報システム５０に接続されている。医療情報システム５０は、モダリティ（撮影装置）５２、画像データベース５３、読影医用ワークステーション５４を備え、ネットワーク５１を介して互いに画像データの送受信が行われるように構成される。なお、ネットワーク５１は、画像データを高速転送が可能なように光ファイバーなどの通信ケーブルを用いるのが望ましい。
モダリティ５２には、被写体の検査対象部位を撮影することにより、その部位を表す検査画像を生成し、その画像にＤＩＣＯＭ規格で規定された付帯情報を付加して出力する装置が含まれる。具体例としては、ＣＴ装置（Computed Tomography：コンピュータ断層撮影装置）、ＭＲＩ装置（magnetic resonance imaging：磁気共鳴画像撮影装置）、ＰＥＴ装置（Positron Emission Tomography：陽電子放射断層撮影装置）、超音波装置、または、平面Ｘ線検出器（ＦＰＤ：flat panel detector）を用いたＣＲ装置（Computed Radiography：コンピュータＸ線撮影装置）などが挙げられる。
画像データベース５３は、汎用のコンピュータにデータベース管理システム（Data Base Management System：DBMS）の機能を提供するソフトウェアプログラムが組み込まれ、大容量ストレージを備えている。このストレージは、大容量のハードディスク装置であってもよいし、ネットワーク５１に接続されているＮＡＳ（Network Attached Storage）やＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。また、モダリティ５２で撮影された画像データは、ＤＩＣＯＭ規格に準拠した格納フォーマットおよび通信規格に従って、ネットワーク５１を介して画像データベース５３に送信されて格納される。
読影医用ワークステーション５４は、放射線科の読影医が画像の読影や読影レポートの作成に利用するコンピュータである。この読影医用ワークステーション５４では、画像データベース５３から受信した画像データの表示を行い、画像中の病変らしき部分の自動検出等をおこなう。
本実施の形態では、学習支援装置２０から、各端末装置１０に実運用判別器として機能する判別器が組み込まれた画像処理プログラムが提供され、画像処理プログラムとは別に学習用として機能する判別器が組み込まれた学習用プログラムが提供される場合について説明する。各端末装置１０に配信された画像処理プログラムおよび学習用プログラムは、端末装置１０にインストールされることにより、実運用判別器が組み込まれた画像処理装置および学習用判別器として機能する。
また、実運用判別器および学習用判別器は、複数種類の臓器領域および／または病変領域のいずれであるかを判別できるようにディープラーニングがなされた多層ニューラルネットワークである場合について説明する。多層ニューラルネットワークでは、入力されるデータに対する前段の階層により得られる異なる複数の演算結果データ、すなわち特徴量の抽出結果データに対して、各層において各種カーネルを用いて演算処理を行い、これにより得られる特徴量のデータを取得し、特徴量のデータに対して次段以降の処理層においてさらなる演算処理を行うことにより、特徴量の認識率を向上させて、入力された画像データを複数の種類の領域のいずれであるかを判別することができる。
図３は多層ニューラルネットワークの一例を示す図である。図３に示すように多層ニューラルネットワーク４０は、入力層４１および出力層４２を含む複数の階層からなる。図３では、出力層４２の手前の階層には参照番号４３を付与している。
多層ニューラルネットワーク４０は、入力層４１に画像データを入力して、領域の判別結果を出力させる。学習を行う際には、出力された判別結果を正解データと比較し、正解か不正解かに応じて、出力側（出力層４２）から入力側（入力層４１）に向かって、多層ニューラルネットワーク４０の各層に含まれるユニット（図３に丸印で示す）の各階層間における結合の重みを修正する。そして、結合の重みの修正を、多数の正解データ付の画像データを用いて、予め定められた回数、または出力される判別結果の正解率が１００％、または予め定められたしきい値以上になるまで繰り返し行い、学習を終了する。
図４は、端末装置１０と学習支援装置２０の概略構成を示すブロック図である。図４を用いて、端末装置１０と学習支援装置２０の機能について詳細に説明する。まず、端末装置１０について説明する。
端末装置１０は、判別器取得部１２と、判別結果取得部１３と、学習部１４と、学習済判別器出力部１５と備える。
判別器取得部１２は、学習用判別器と実運用判別器とを取得する。例えば、画像処理プログラムと学習用プログラムとをネットワーク３０を介して学習支援装置２０から受信して、受信した画像処理プログラムがインストールされることによって、端末装置１０で、実運用判別器が組み込まれた画像処理が実行可能な状態になり、判別結果取得部１３として機能する。同様に、学習用プログラムがインストールされることによって、学習用判別器が実行可能な状態となり、学習部１４として機能する。なお、学習用判別器は、学習支援装置２０から受信した実運用判別器と同じ画像正解データを学習済みの判別器である。実運用判別器が組み込まれた画像処理を単に実運用判別器として以下説明する。なお、画像正解データは、画像データとその正解データの組み合わせをいう。画像正解データの詳細は後述する。
判別結果取得部１３は、実運用判別器に判別対象の画像データを入力して、判別結果を取得する。実運用判別器は、学習支援装置２０において判別性能が保障された判別器であり、各医療機関Ａ，Ｂ・・・Ｘでは、診断対象の画像データに対しては、実運用判別器を用いて判別が行われる。また、判別結果取得部１３は、読影医用ワークステーション５４からネットワーク５１を介して端末装置１０に送られてきた診断対象の画像データの判別を行ない、判別結果を端末装置１０から読影医用ワークステーション５４に送信するようにしてもよい。
学習部１４は、画像データとその正解データを用いて学習用判別器に学習させる。正解データは、画像データの臓器または異常陰影など領域を示すマスク画像と、そのマスク画像の領域が何であるか（例えば、肝臓、腎臓または肺野などの臓器の領域であるか、あるいは、肝臓がん、腎臓がんまたは肺結節などの異常陰影の領域であるかなど）を表す情報を合わせて有している。
正解データは、各医療機関Ａ，Ｂ・・・Ｘの読影医などが画像データを観察して作成してもよい。例えば、画像データベース５３から画像データを取り出して、判別結果取得部１３で画像データを実運用判別器に入力して判別結果を取得し、判別結果に対して読影医などユーザが正解もしくは不正解であるという判定を行ない、正解の場合は、判別結果を正解データとして、入力した画像データと正解データを一緒に画像正解データとして画像データベース５３に記憶する。不正解の場合は、ユーザが正解データのマスク画像を生成し、その正解データを画像データに付与して画像正解データとして画像データベース５３に格納する。
そこで、学習部１４は、画像データベース５３に記憶されている多数の画像正解データを用いて、学習用判別器の多層ニューラルネットワーク４０に学習させる。まず、多層ニューラルネットワーク４０に画像正解データの画像データを入力して、判別結果を出力させる。次に、出力された判別結果を正解データと比較し、正解か不正解かに応じて、出力側から入力側に向かって、多層ニューラルネットワーク４０の各層に含まれるユニットの各階層間における結合の重みを修正する。結合の重みの修正を、多数の正解データを用いて、予め定められた回数、または出力される判別結果の正解率が１００％になるまで繰り返し行い、学習を終了する。
学習済判別器出力部１５は、学習部１４で学習が終了した学習用判別器を学習済判別器として出力する。具体的には、学習済判別器を構成するニューラルネットワークを構成するユニットの階層間における結合の重み（以下、パラメーターという）をネットワーク３０を介して定期的に学習支援装置２０に送信する。
次に、学習支援装置２０について説明する。図４に示すように、学習支援装置２０は、学習済判別器取得部２２、判別器記憶部２３、正解データ取得部２４、正解データ記憶部２５、学習部２６、および判別器出力部２７を備える。
学習済判別器取得部２２は、ネットワーク３０を介して複数の端末装置１０から送信された学習済判別器を構成する多層ニューラルネットワーク４０のパラメーターを受信する。受信したパラメーターは判別器記憶部２３に一旦記憶する。学習支援装置２０には多層ニューラルネットワーク４０が予め設けられており、各端末装置１０から受信したパラメーターを、学習支援装置２０に設けられている多層ニューラルネットワーク４０のユニットの各階層間の結合の重みとして設定する。この重みに各端末装置から受取ったパラメーターを設定しなおすことにより、各端末装置１０と同じ学習済判別器を取得することができる。
正解データ取得部２４は、各端末装置１０から集められた学習済判別器のそれぞれに対して同一の入力画像データを判別させて複数の判別結果を取得し、複数の判別結果の中から入力画像データの正解データを決定する。
多くの画像データは正解データがつけられていないでデータベースに保管されていることが多い。これらの画像データに対して正解データを付けるために、例えば、画像データを判別器に入力して判別結果を取得し、判別結果に対して読影医などユーザが正解もしくは不正解であるという判定を行なって、正解である場合には判別結果を正解データと入力画像データと対応付けて画像正解データとして登録する。不正解の場合には、ユーザが正解データのマスク画像を生成して入力画像データと対応付けて画像正解データとして登録する。このように正解データを作成する作業は労力を要し、手動で正解データを多数生成するのは難しい。
そこで、正解データ取得部２４は、各端末装置１０から集められた学習済判別器に対して同じ入力画像データを入力して得られた判別結果から、同じ結果となった数が最も多い判別結果を入力画像データの正解データとして決定する。このように、各端末装置１０から集められた学習済判別器を用いて得られた複数の判別結果の中から正解データを決定するようにすれば、正確な正解データを自動で生成することができるので、多数の正解データを容易に得ることが可能になる。得られた正解データは、入力画像データと対応づけて画像正解データとしてストレージ（正解データ記憶部２５）に蓄積していく。
学習部２６には、多層ニューラルネットワーク４０で構成されたディープラーニング用判別器が設けられ、このディープラーニング用判別器に正解データ記憶部２５に蓄積されている画像正解データを順次入力して学習させる。
判別器出力部２７は、ある程度学習が進みディープラーニング用判別器の判別精度が向上した段階で、学習部２６で学習させたディープラーニング用判別器を組み込んだ画像処理プログラム（実運用判別器）と学習用プログラム（学習用判別器）を生成して、ネットワーク３０を介して各端末装置１０に配信する。医療用目的のソフトウェアに対しては、医薬品医療機器等法（改正薬事法）の対象となるため、医薬品医療機器等法で定められる基準をクリアしていることが求められる。そこで、医薬品医療機器等法で定められる基準が評価できる複数の画像の組み合わせで構成された評価用の画像セットを用いて、配信する前にディープラーニング用判別器が評価基準を超えていることを確認した上で、配信するのが好ましい。
学習部２６は、判別器出力部２７で画像処理プログラムと学習用プログラムを各端末装置１０に配信した後も、そのまま引き続き正解データ記憶部２５に蓄積されている画像正解データをディープラーニング用判別器に順次入力して学習させていく。つまり、判別器出力部２７で出力した学習用判別器に追加学習させ、追加学習された学習用判別器を新たな学習用判別器として判別器出力部２７で出力することになる。
次に、本実施の形態のディープラーニングの処理の流れについて、図５の遷移図と図６のフローチャートを用いて説明する。
最初に、学習支援装置２０は、判別器出力部２７で実運用判別器ＮＮｏと学習用判別器ＮＮｔを複数の端末装置１０にネットワーク３０を介して医療機関Ａ・・・、医療機関Ｘに配信する（S1）。
端末装置１０は、判別器取得部１２で、実運用判別器ＮＮｏと学習用判別器ＮＮｔを取得する（S2）。実運用判別器ＮＮｏは読影医の診断に用いられ、判別結果取得部１３によって診断対象の画像データ（Input）を判別して判別結果（output）を得る（図５参照）。さらに、医療機関Ａでは、端末装置１０の学習部１４で画像データベース５３に記憶されている画像正解データＴを用いて、学習用判別器ＮＮｔに学習させて（S3）、学習済判別器ＮＮｔ-Ａを生成する（S4）。同様に、医療機関Ｘでは、端末装置１０の学習部１４で、画像正解データＴを用いて学習用判別器ＮＮｔに学習させて、学習済判別器ＮＮｔ-Ｘを生成する（S4）。
定期的に、各端末装置１０から、学習済判別器出力部１５で学習済判別器を学習支援装置２０に送信する（S5）。医療機関Ａの端末装置１０からは学習済判別器ＮＮｔ-Ａのパラメーターを学習支援装置２０に送信し、医療機関Ｘの端末装置１０からは学習済判別器ＮＮｔ-Ｘのパラメーターを学習支援装置２０に送信する（図５の実践の矢印（１）を参照）。
学習支援装置２０は、学習済判別器取得部２２は複数の端末装置１０から受け取った学習済判別器のパラメーターを一旦判別器記憶部２３に記憶する。このパラメーターを学習支援装置２０に設けられた多層ニューラルネットワーク４０に設定することで、各端末装置１０で学習させた学習済判別器を取得する（S6）。
正解データ取得部２４で、入力画像データＰを各端末装置１０の学習済判別器に入力して判別結果を得る。図５の例では、結果ａ、結果ｂ、結果ｃ・・結果ｇが得られ、最も多数となった結果ｂを入力画像データＰの正解データに決定する（S7）。入力画像データＰと正解データを対応付けてストレージ２５に蓄積していく。
学習部２６は、入力画像データＰと結果ｂ（正解データ）を用いて、ディープラーニング用判別器ＮＮｌに学習させる（S8）。定期的に、ディープラーニング用判別器ＮＮｌを元にして新しいバージョンの実運用判別器ＮＮｏと学習用判別器ＮＮｔを生成する（S9）。判別器出力部２７は、新たなバージョンの実運用判別器ＮＮｏと学習用判別器ＮＮｔを各端末装置１０に配信する（S10、図５の破線の矢印（２）を参照）。
医療機関Ａの端末装置１０は、判別器取得部１２で新しいバージョンの実運用判別器ＮＮｏと学習用判別器ＮＮｔを再度取得する（S2）。端末装置１０の学習部１４で画像データベース５３に記憶されている画像正解データＴを用いて、新しいバージョンの学習用判別器ＮＮｔに学習させて（S3）、再度、学習済判別器ＮＮｔ-Ａを生成する（S4）。
医療機関Ｘの端末装置１０においても、判別器取得部１２で新しいバージョンの実運用判別器ＮＮｏと学習用判別器ＮＮｔを再度取得する（S2）。端末装置１０の学習部１４で画像データベース５３に記憶されている画像正解データＴを用いて、新しいバージョンの学習用判別器ＮＮｔに学習させて（S3）、学習済判別器ＮＮｔ-Ｘを生成する（S4）。続いて、S5〜S10の処理を上述と同様に行う。
以上のS2〜S10の処理を繰り返し、学習支援装置２０で正解データを生成しながら判別器の性能を向上させた実運用判別器と学習用判別器を生成して、端末装置１０に配信する。
上述のように、各医療機関に置かれている端末装置１０でその医療機関に保管されている画像データを用いて学習を行うことにより、各医療機関で判別性能を向上させた判別器を生成することが可能になる。この各医療機関で性能を高めた判別器を用いて、学習支援装置２０で正解データを生成することで、正確な正解データを大量に生成することが可能になり、この正解データを用いてディープラーニングを行うことが可能になる。
上述では、画像データに対する正解データのマスク画像は、画像上の領域が何であるかを表す情報を合わせて有している場合について説明したが、判別器が、（１）画像データの各画素位置がどの臓器か判定することで臓器領域とその臓器名を判定する、（２）画像データの画素単位に各画素の病変の種別を判定することで病変領域およびその病変種別を判定するように構成してもよい。あるいは、１つの画像に対する正解データを病名または画像診断名として、（３）画像データから病名が特定できるものであってもよい。
次に、第２の実施の形態について説明する。本実施の形態は、正解データの決定方法が第１の実施の形態と異なる。学習支援システム１の概略構成は第１の実施の形態と同じであるので詳細な説明は省略する。図７は、本実施の形態の端末装置１０と学習支援装置２０の概略構成を示すブロック図である。第１の実施の形態と同じ構成については、第１の実施の形態と同一符号を付して詳細な説明は省略し、相違する構成についてのみ説明する。
図７に示すように、端末装置１０は、判別器取得部１２と、判別結果取得部１３と、学習部１４と、学習済判別器出力部１５と備え、学習支援装置２０は、学習済判別器取得部２２、判別器記憶部２３、正解データ取得部２４ａ、正解データ記憶部２５、学習部２６、および判別器出力部２７を備える。端末装置１０の構成は第１の実施の形態と同じであるが、学習支援装置２０の正解データ取得部２４ａが評価部２８と評価画像記憶部２９を備える点で異なる。
第１の実施の形態のように、多数決で正解データを決定する場合、それぞれの端末装置１０で十分学習がなされていればよいが、例えば、端末装置１０で追加の学習がされていない判別器を学習済判別器として受け取った場合、または、追加学習の数が少ない学習済判別器を用いた場合には、同じ入力画像データＰに対して判定結果は同一になる可能性が高く、このような学習が十分に行われていない判別器の判定結果が正解データとなる可能性が高い。
そこで、学習支援装置２０は、各端末装置１０から集められた学習済判別器を予め評価する。学習支援装置２０は、代表的な症例パターンを網羅し画像データに対して正解データもある複数の症例を評価用の画像セットＳＥＴとし、評価部２８は画像セットＳＥＴを用いて、各端末装置１０から送られてきた学習済判別器を評価し、その正解率の高さに応じて判別器の重みを決定する。また、医療用目的のソフトウェアに対しては、医薬品医療機器等法（改正薬事法）の対象となるため、医薬品医療機器等法で定められる基準をクリアしていることが求められる。そこで、医薬品医療機器等法で定められる基準が評価できる複数の画像の組み合わせで構成された評価用の画像セットＳＥＴを予めストレージ（評価画像記憶部２９）に記憶しておくのが好ましい。ただし、この評価用の画像セットＳＥＴは、ディープラーニングに用いるためには十分な数ではない。
この評価用の画像セットの正解率に応じて、端末装置１０から集められた学習済判別器のそれぞれに対して重みを決定し、判別結果のうち同じ結果となった学習済判別器の重みを加算し、加算した重みが最も大きい判別結果を入力画像の正解データとする。
ディープラーニングの処理の流れは第１の実施の形態と同じであるので省略する。
次に、第３の実施の形態について説明する。本実施の形態は、正解データの決定方法が第１および第２の実施の形態と異なる。学習支援システム１の概略構成は第１の実施の形態と同じであるので詳細な説明は省略する。図８は、本実施の形態の端末装置１０と学習支援装置２０の概略構成を示すブロック図である。第１の実施の形態と同じ構成については、第１の実施の形態と同一符号を付して詳細な説明は省略し、相違する構成についてのみ説明する。
図８に示すように、端末装置１０は、判別器取得部１２、判別結果取得部１３、学習部１４、および学習済判別器出力部１５ａと備え、学習支援装置２０は、学習済判別器取得部２２ａ、判別器記憶部２３、正解データ取得部２４ｂ、正解データ記憶部２５、学習部２６、および判別器出力部２７を備える。端末装置１０の学習済判別器出力部１５ａと学習支援装置２０の学習済判別器取得部２２ａと正解データ取得部２４ｂが第１の実施の形態と異なる。
第２の実施の形態のように、学習済判別器の性能を評価しても、学習支援装置２０の評価用症例数や症例の網羅性に問題がある場合には、評価用の画像セットを用いた評価結果が不十分な場合もある。しかし、学習済判別がある程度の数の画像正解データを学習している場合には、それなりに性能は向上していると推定できる。
そこで、端末装置１０の学習済判別器出力部１５ａは学習済判別器のパラメーターを送信する際に、学習済判別器に学習させた画像正解データの数を学習支援装置２０に送信する。
学習支援装置２０の学習済判別器取得部２２ａは、パラメーターを受信する際に、一緒に各端末装置１０で学習済判別器に学習させた画像正解データの数を受信する。正解データ取得部２４ｂ、各端末装置１０の学習済判別器で学習させた画像正解データの数が多くなるほど、重みが大きくなるように重みを決定する。判別結果が同じ結果となった学習済判別器の重みを加算し、加算した重みが最も大きい判別結果を入力画像の正解データとする。
ディープラーニングの処理の流れは第１の実施の形態と同じであるので省略する。
次に、第４の実施の形態について説明する。本実施の形態は、正解データの決定方法が第１、第２および第３の実施の形態と異なる。学習支援システム１の概略構成は第１の実施の形態と同じであるので詳細な説明は省略する。図９は、本実施の形態の端末装置１０と学習支援装置２０の概略構成を示すブロック図である。第１の実施の形態と同じ構成については、第１の実施の形態と同一符号を付して詳細な説明は省略し、相違する構成についてのみ説明する。
図９に示すように、端末装置１０は、判別器取得部１２と、判別結果取得部１３と、学習部１４と、学習済判別器出力部１５ｂと備え、学習支援装置２０は、学習済判別器取得部２２ｂ、判別器記憶部２３、正解データ取得部２４ｃ、正解データ記憶部２５、学習部２６、および判別器出力部２７を備える。端末装置１０の学習済判別器出力部１５ｂと学習支援装置２０の学習済判別器取得部２２ｂと正解データ取得部２４ｃが第１の実施の形態と異なる。
医療施設の特性、または地域性などにより、症例種別ごとの画像正解データの数に偏りがあり、学習させた全ての数は多くても、ある種の疾患では画像正解データの数が少なく、その疾患では性能が向上していない可能性がある。そこで、各医療施設の学習済判別器に学習させた画像正解データの数を症例種別ごとに、各端末装置１０から受信する。
そこで、端末装置１０の学習済判別器出力部１５ｂは学習済判別器のパラメーターを送信する際に、学習済判別器に学習させた症例種別ごとの画像正解データの数を学習支援装置２０に送信する。具体的には、端末装置１０の学習部１４で学習させた画像正解データがどの症例に関するかを、例えば、画像正解データの画像に付されているＤＩＣＯＭタグに基づいて判定し、症例種別ごとに学習した画像正解データの数を数えておく。症例種別は、病名（画像検査の場合は画像診断名でもよい）、または、病名種別で分類する。また、複数の臓器をまとめて一つの判別器で処理する場合は臓器名を用いてもよい。
学習支援装置２０の学習済判別器取得部２２ｂは、パラメーターを受信する際に、一緒に各端末装置１０で学習済判別器に学習させた症例種別ごとの画像正解データの数を受信する。
正解データ取得部２４ｃでは、学習済みの画像正解データの数が多いほど学習済判別器の性能が高いと推定される。これを反映するように、各端末装置１０の学習済判別器に対して症例種別ごとに各施設に学習させた画像正解データの数を数えて、その数が多くなるほど重みが大きくなるように症例種別ごとの重みを各学習済判別器に対して決定する。さらに、入力画像の症例種別に対応して、判別結果が同じ結果となった学習済判別器の重みを加算し、加算した重みが最も大きい判別結果を入力画像の正解データとする。
ディープラーニングの処理の流れは第１の実施の形態と同じであるので省略する。
本実施の形態の方式であれば、各医療施設の画像正解データの数や得意な症例種別などを考慮して学習済判別器を評価することが可能になる。
また、第２の実施の形態の評価用の画像セットを、疾患種別ごとに判別器を評価することが可能な評価用の画像セットにして、疾患種別ごとの正解率に応じて各端末装置の学習済判別器の重みを決定するようにしてもよい。入力画像の症例種別に応じて、判別結果が同じ結果となった学習済判別器の重みを加算し、加算した重みが最も大きい判別結果を入力画像の正解データとするようにしてもよい。
また、第４の実施の形態では、重みを自動決定する場合について説明したが、施設の重要性や、施設ごとの得意疾患などを考慮して、手作業で重みを決定して、予め学習支援装置２０内に記憶しておくようにしてもよい。
上述では、学習支援装置２０と端末装置１０がネットワークで接続されている形態について説明したが、ネットワークを介すことなく実運用判別器として機能する判別器が組み込まれた画像処理プログラムと、学習用判別器として機能する判別器が組み込まれた学習用プログラムをＤＶＤ−ＲＯＭなどの記録媒体に記憶して、各医療機関に渡すようにしてもよい。
この形態では、端末装置１０の判別器取得部１２は、ＤＶＤ−ＲＯＭから画像処理プログラムと学習用プログラムを端末装置１０に読み込んでインストールし、学習用判別器の学習に用いられた画像正解データの識別情報ＩＤも記録媒体から読み込む。また、端末装置１０の学習済判別器出力部１５は、ＤＶＤ−ＲＯＭに学習済判別器のパラメーターを記録して、郵送等によって学習支援装置２０のオペレータに渡される。
また、学習支援装置２０の学習済判別器取得部２２は、ＤＶＤ−ＲＯＭに記録された学習済判別器のパラメーターを読み込む。さらに、学習支援装置２０の判別器出力部２７は、画像処理プログラムおよび学習用プログラムをＤＶＤ−ＲＯＭに記録して、郵送等によって端末装置１０のオペレータに渡される。
以上、詳細に説明したように、本願発明では、各医療機関に保管されている医用画像を用いて性能を向上させた判別器を用いて、自動的に画像の正確な正解データを生成することで、大量の医用画像をディープラーニングに用いることが可能になる。
上述では、学習支援装置および端末装置が汎用コンピュータ上で機能する場合について説明したが、一部の機能を実行するためのプログラムを永久的に記憶するＡＳＩＣ（Application Specific Integrated Circuit ：特定用途向け集積回路）やＦＰＧＡ（field programmable gate arrays）などの専用回路を設けるようにしてもよい。あるいは、専用回路に記憶されたプログラム命令と、専用回路のプログラムを利用するようにプログラムされた汎用のＣＰＵによって実行されるプログラム命令と組み合わせるようにしてもよい。以上のように、コンピュータのハードウェア構成をどのように組み合わせてプログラム命令を実行してもよい。
１ 学習支援システム
１０ 端末装置
１２ 判別器取得部
１３ 判別結果取得部
１４ 学習部
１５、１５ａ、１５ｂ学習済判別器出力部
１６ 正解画像記憶部
２０ 学習支援装置
２２、２２ａ、２２ｂ 学習済判別器取得部
２３ 判別器記憶部２４ｃ
２４、２４ａ、２４ｂ、 正解データ取得部
２５ 正解データ記憶部
２６ 学習部
２７ 判別器出力部
２８ 評価部
２９ 評価画像記憶部
３０ ネットワーク
４０ 多層ニューラルネットワーク
４１ 入力層
４２ 出力層
４３ 階層
５０ 医療情報システム
５１ ネットワーク
５２ モダリティ
５３ 画像データベース
５４ 読影医用ワークステーション

Claims (14)

  1. 複数の端末装置のそれぞれに設けられた学習用判別器に画像と該画像の正解データを用いて学習させた複数の学習済判別器を取得する学習済判別器取得部と、
    前記複数の学習済判別器に対して同一の入力画像を判別させた複数の判別結果を取得し、該複数の判別結果に基づいて前記入力画像の正解データを決定し、前記入力画像と決定した正解データを用いて前記学習用判別器を再度学習させた新たな学習用判別器を出力する判別器出力部を備え、
    前記学習済判別器取得部によって、前記複数の端末装置のそれぞれに設けられた前記判別器出力部から出力された学習用判別器に画像と該画像の正解データを用いて学習させた学習済判別器を取得し、前記判別器出力部によって、前記学習済判別器取得部で取得した複数の前記学習済判別器に対して前記入力画像と異なる新たな同一の入力画像を判別させた判別結果に基づいて該新たな入力画像の正解データを決定して、該新たな入力画像と決定した正解データを用いて該判別器出力部で出力した学習用判別器を再度学習させた新たな学習用判別器を出力する処理を繰り返す学習支援装置。
  2. 前記判別器出力部が、前記新たな学習用判別器が学習に用いた画像と該画像の正解データを学習した実運用判別器を出力する請求項１記載の学習支援装置。
  3. 前記学習済判別器取得部が、前記複数の端末装置からネットワークを介して前記学習済判別器を取得し、
    前記判別器出力部が、前記新たな学習用判別器を前記ネットワークを介して前記複数の端末装置に出力する請求項１または２記載の学習支援装置。
  4. 前記判別器出力部は、前記複数の判別結果のうち同じ結果となった数が最も多い判別結果を前記入力画像の正解データとして決定する請求項１から３のいずれか１項記載の学習支援装置。
  5. 前記判別器出力部は、前記学習済判別器に学習させた前記端末装置に応じて前記複数の学習済判別器のそれぞれの重みを決定し、前記判別結果のうち同じ結果となった前記学習済判別器の前記重みを加算し、前記加算した重みが最も大きい判別結果を前記入力画像の正解データとする請求項１〜４のいずれか１項記載の学習支援装置。
  6. 前記判別器出力部は、前記各端末装置で前記学習済判別器に学習させた正解データの数に応じて前記各端末装置で学習させた前記学習済判別器のそれぞれの重みを決定して、前記判別結果が同じ結果となった前記学習済判別器の前記重みを加算し、前記加算した重みが最も大きい判別結果を前記入力画像の正解データとする請求項５記載の学習支援装置。
  7. 前記判別器出力部は、前記学習済判別器のそれぞれに対して前記各学習済判別器に学習させた画像の症例種別ごとに重みを決定し、前記判別結果が同じ結果となった前記学習済判別器における前記入力画像の前記症例種別に対応する前記重みを加算し、前記加算した重みが最も大きい判別結果を前記入力画像の正解データとする請求項５記載の学習支援装置。
  8. 前記複数の前記学習済判別器に対して基準となる複数の画像からなる画像セットを用いて正解率を評価する評価部を有し、
    前記判別器出力部は、前記評価部によって得られた正解率に応じて前記複数の学習済判別器のそれぞれの重みを決定し、前記学習済判別器の判別結果が同じ結果となった前記学習済判別器のそれぞれの前記重みを加算し、前記加算した重みが最も大きい判別結果を前記入力画像の正解データとする請求項５記載の学習支援装置。
  9. 学習済判別器取得部と判別器出力部を備えた学習支援装置の作動方法であって、
    前記学習済判別器取得部が、複数の端末装置のそれぞれに設けられた学習用判別器に画像と該画像の正解データを用いて学習させた複数の学習済判別器を取得し、
    前記判別器出力部が、前記複数の学習済判別器に対して同一の入力画像を判別させた複数の判別結果を取得し、該複数の判別結果に基づいて前記入力画像の正解データを決定し、前記入力画像と決定した正解データを用いて前記学習用判別器を再度学習させた新たな学習用判別器を出力し、
    前記学習済判別器取得部によって、前記複数の端末装置のそれぞれに設けられた前記判別器出力部から出力された学習用判別器に画像と該画像の正解データを用いて学習させた学習済判別器を取得し、前記判別器出力部によって、前記学習済判別器取得部で取得した複数の前記学習済判別器に対して前記入力画像と異なる新たな同一の入力画像を判別させた判別結果に基づいて該新たな入力画像の正解データを決定して、該新たな入力画像と決定した正解データを用いて該判別器出力部で出力した学習用判別器を再度学習させた新たな学習用判別器を出力する処理を繰り返す学習支援装置の作動方法。
  10. コンピュータを、
    複数の端末装置のそれぞれに設けられた学習用判別器に画像と該画像の正解データを用いて学習させた複数の学習済判別器を取得する学習済判別器取得部と、
    前記複数の学習済判別器に対して同一の入力画像を判別させた複数の判別結果を取得し、該複数の判別結果に基づいて前記入力画像の正解データを決定し、前記入力画像と決定した正解データを用いて前記学習用判別器を再度学習させた新たな学習用判別器を出力する判別器出力部として機能させる学習支援プログラムであって、
    前記学習済判別器取得部によって、前記複数の端末装置のそれぞれに設けられた前記判別器出力部から出力された学習用判別器に画像と該画像の正解データを用いて学習させた学習済判別器を取得し、前記判別器出力部によって、前記学習済判別器取得部で取得した複数の前記学習済判別器に対して前記入力画像と異なる新たな同一の入力画像を判別させた判別結果に基づいて該新たな入力画像の正解データを決定して、該新たな入力画像と決定した正解データを用いて該判別器出力部で出力した学習用判別器を再度学習させた新たな学習用判別器を出力する処理を繰り返させる学習支援プログラム。
  11. 学習支援装置と複数の端末装置とをネットワークを介して接続した学習支援システムであって、
    前記端末装置が、
    学習用判別器に画像と該画像の正解データを用いて学習させた学習済判別器を前記ネットワークを介して出力する学習済判別器出力部を備え、
    前記学習支援装置が、
    前記複数の端末装置から複数の学習済判別器を前記ネットワークを介して取得する学習済判別器取得部と、
    前記複数の前記学習済判別器に対して同一の入力画像を判別させた複数の判別結果を取得し、該複数の判別結果に基づいて前記入力画像の正解データを決定し、前記入力画像と決定した正解データを用いて前記学習用判別器を再度学習させた新たな学習用判別器を前記ネットワークを介して前記複数の端末装置に出力する判別器出力部を備え、
    前記端末装置が、
    前記学習支援装置から出力された学習用判別器を前記ネットワークを介して受信する判別器取得部を備えた学習支援システム。
  12. 前記判別器取得部が、前記学習支援装置から出力された学習用判別器と同じ画像と該画像の正解データを学習済みの実運用判別器をさらにネットワークを介して取得し、
    前記端末装置が、
    前記実運用判別器を用いて判別対象の画像を判別した判別結果を取得する判別結果取得部をさらに備える請求項１１記載の学習支援システム。
  13. 請求項１１または１２に記載の学習支援システムにおける端末装置であって、
    前記学習支援装置から出力された前記学習用判別器と、該学習用判別器と同じ画像と該画像の正解データを用いて学習させた学習済みの実運用判別器とを前記ネットワークを介して取得する判別器取得部と、
    前記実運用判別器を用いて判別対象の画像を判別した判別結果を取得する判別結果取得部と、
    前記学習用判別器に画像と該画像の正解データを用いて学習させた学習済判別器を前記ネットワークを介して前記学習支援装置に出力する学習済判別器出力部を備えた端末装置。
  14. 請求項１１または１２に記載の学習支援システムにおける端末装置のコンピュータを、
    前記学習支援装置から出力された前記学習用判別器と、該学習用判別器と同じ画像と該画像の正解データを用いて学習させた学習済みの実運用判別器とを前記ネットワークを介して取得する判別器取得部と、
    前記実運用判別器を用いて判別対象の画像を判別した判別結果を取得する判別結果取得部と、
    前記学習用判別器に画像と該画像の正解データを用いて学習させた学習済判別器を前記ネットワークを介して前記学習支援装置に出力する学習済判別器出力部として機能させるためのプログラム。
JP2017187096A 2017-09-27 2017-09-27 学習支援装置、学習支援装置の作動方法、学習支援プログラム、学習支援システム、端末装置及びプログラム Active JP6768620B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017187096A JP6768620B2 (ja) 2017-09-27 2017-09-27 学習支援装置、学習支援装置の作動方法、学習支援プログラム、学習支援システム、端末装置及びプログラム
US16/123,456 US10902286B2 (en) 2017-09-27 2018-09-06 Learning assistance device, method of operating learning assistance device, learning assistance program, learning assistance system, and terminal device
US17/130,468 US11797846B2 (en) 2017-09-27 2020-12-22 Learning assistance device, method of operating learning assistance device, learning assistance program, learning assistance system, and terminal device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017187096A JP6768620B2 (ja) 2017-09-27 2017-09-27 学習支援装置、学習支援装置の作動方法、学習支援プログラム、学習支援システム、端末装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2019061579A JP2019061579A (ja) 2019-04-18
JP6768620B2 true JP6768620B2 (ja) 2020-10-14

Family

ID=65807696

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017187096A Active JP6768620B2 (ja) 2017-09-27 2017-09-27 学習支援装置、学習支援装置の作動方法、学習支援プログラム、学習支援システム、端末装置及びプログラム

Country Status (2)

Country Link
US (2) US10902286B2 (ja)
JP (1) JP6768620B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11954901B2 (en) 2019-04-25 2024-04-09 Nec Corporation Training data generation apparatus
WO2020217426A1 (ja) 2019-04-25 2020-10-29 日本電気株式会社 教師データ生成装置
US20220277552A1 (en) * 2019-07-11 2022-09-01 Nec Corporation Object sensing device, learning method, and recording medium
JP7164049B2 (ja) * 2019-07-11 2022-11-01 日本電気株式会社 物体検知装置、学習方法、及び、プログラム
US11918374B2 (en) * 2020-05-08 2024-03-05 Wisconsin Alumni Research Foundation Apparatus for monitoring treatment side effects
WO2022064610A1 (ja) * 2020-09-24 2022-03-31 日本電気株式会社 物体検知装置、学習済みモデル生成方法、および、記録媒体
JP7784239B2 (ja) * 2021-04-23 2025-12-11 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7788822B2 (ja) * 2021-09-13 2025-12-19 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
JPWO2024176573A1 (ja) * 2023-02-21 2024-08-29
JP7328466B1 (ja) 2023-03-15 2023-08-16 株式会社 日立産業制御ソリューションズ 診断システム並びに方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001319226A (ja) * 2000-05-09 2001-11-16 Toshiba Corp 道路監視装置
JP4556891B2 (ja) * 2006-03-17 2010-10-06 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
JP4766560B2 (ja) * 2006-08-11 2011-09-07 Ｋｄｄｉ株式会社 動画像話題分割装置
US8428310B2 (en) * 2008-02-28 2013-04-23 Adt Services Gmbh Pattern classification system and method for collective learning
JP5235691B2 (ja) * 2009-01-13 2013-07-10 キヤノン株式会社 情報処理装置及び情報処理方法
US20150242760A1 (en) * 2014-02-21 2015-08-27 Microsoft Corporation Personalized Machine Learning System
JP6584250B2 (ja) * 2015-09-10 2019-10-02 株式会社Ｓｃｒｅｅｎホールディングス 画像分類方法、分類器の構成方法および画像分類装置
US10806334B2 (en) * 2017-02-28 2020-10-20 Verily Life Sciences Llc System and method for multiclass classification of images using a programmable light source
JP6727176B2 (ja) 2017-09-27 2020-07-22 富士フイルム株式会社 学習支援装置、学習支援装置の作動方法、学習支援プログラム、学習支援システム、および端末装置
JP6782675B2 (ja) 2017-09-29 2020-11-11 富士フイルム株式会社 判別結果提供装置、判別結果提供装置の作動方法、判別結果提供プログラム、および判別結果提供システム

Also Published As

Publication number Publication date
JP2019061579A (ja) 2019-04-18
US11797846B2 (en) 2023-10-24
US10902286B2 (en) 2021-01-26
US20210110206A1 (en) 2021-04-15
US20190095759A1 (en) 2019-03-28

Similar Documents

Publication Publication Date Title
JP6768620B2 (ja) 学習支援装置、学習支援装置の作動方法、学習支援プログラム、学習支援システム、端末装置及びプログラム
JP6727176B2 (ja) 学習支援装置、学習支援装置の作動方法、学習支援プログラム、学習支援システム、および端末装置
Banar et al. Towards fully automated third molar development staging in panoramic radiographs
US10489907B2 (en) Artifact identification and/or correction for medical imaging
KR101898575B1 (ko) 진행성 병변에 대한 미래 상태를 예측하는 방법 및 이를 이용한 장치
CN111696083B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN106339571B (zh) 用于分类医学图像数据组的人工神经网络
US8165368B2 (en) Systems and methods for machine learning based hanging protocols
JP7021215B2 (ja) Ｃａｄシステム推薦に関する確信レベル指標を提供するためのｃａｄシステムパーソナライゼーションの方法及び手段
US20190088359A1 (en) System and Method for Automated Analysis in Medical Imaging Applications
KR20220038017A (ko) 임상 워크플로 결정을 자동화하고 우선 순위 판독 표시자를 생성하기 위한 시스템 및 방법
US11449210B2 (en) Method for providing an image base on a reconstructed image group and an apparatus using the same
US20190392577A1 (en) Confidence determination in a medical imaging video clip measurement based upon video clip image quality
US20200111570A1 (en) Systems and methods for verifying medical diagnoses
CN113673710A (zh) 用于训练评估算法的计算机实现的方法和系统
WO2021038088A1 (en) Methods for analyzing and reducing inter/intra site variability using reduced reference images and improving radiologist diagnostic accuracy and consistency
US10176569B2 (en) Multiple algorithm lesion segmentation
JP2026020375A (ja) 医用画像診断システム、医用画像診断システムの作動方法及びプログラム
US11075004B2 (en) Discrimination result providing apparatus, operating method of discrimination result providing apparatus, discrimination result providing program, and discrimination result providing system
Guo et al. Advanced Technologies in Healthcare
KR102868340B1 (ko) 치과 방사선 영상으로부터 치아 발육단계를 검출하는 방법 및 이를 이용한 장치
US20080120140A1 (en) Managing medical imaging data
US12597518B2 (en) Incorporating clinical and economic objectives for medical AI deployment in clinical decision making
US10839299B2 (en) Non-leading computer aided detection of features of interest in imagery
Ahmed et al. Deep learning techniques on 3D‐MRI lung images for detection and segmentation of COVID‐19 virus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190716

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200814

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200923

R150 Certificate of patent or registration of utility model

Ref document number: 6768620

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250