Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7745265B2 - 予測モデルを組み合わせた画像の効率的な人工知能分析 - Google Patents
[go: Go Back, main page]

JP7745265B2 - 予測モデルを組み合わせた画像の効率的な人工知能分析 - Google Patents

予測モデルを組み合わせた画像の効率的な人工知能分析

Info

Publication number
JP7745265B2
JP7745265B2 JP2022533392A JP2022533392A JP7745265B2 JP 7745265 B2 JP7745265 B2 JP 7745265B2 JP 2022533392 A JP2022533392 A JP 2022533392A JP 2022533392 A JP2022533392 A JP 2022533392A JP 7745265 B2 JP7745265 B2 JP 7745265B2
Authority
JP
Japan
Prior art keywords
image
images
sub
processor
results
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022533392A
Other languages
English (en)
Other versions
JP2023509300A (ja
Inventor
ウォーラック,セス
ベネガス,ルーベン
アヤビリ オモンテ,アリエル
サバラトナム スリーザラン,プラシーブ
スペンサー テン,ユァン-チン
Original Assignee
ベトロジー イノベーションズ,エルエルシー.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベトロジー イノベーションズ,エルエルシー. filed Critical ベトロジー イノベーションズ,エルエルシー.
Priority claimed from PCT/US2020/066580 external-priority patent/WO2021133786A1/en
Publication of JP2023509300A publication Critical patent/JP2023509300A/ja
Application granted granted Critical
Publication of JP7745265B2 publication Critical patent/JP7745265B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Engineering & Computer Science (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Fuzzy Systems (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)

Description

関連出願
本出願は、発明者であるSeth Wallack、Ariel Ayaviri Omonte、および Ruben Venegasによる「Efficient Artificial Intelligence Analysis of Radiographic Images」と題された、2019年12月27日出願の米国仮特許出願第62/954,046、2020年2月24日出願の米国仮特許出願第62/980,66、ならびに発明者Seth Wallack、Ariel Ayaviri Omonte、Ruben Venegas、Yuan-Ching Spencer Teng およびParatheev Sabarantnam Streetharanによる、「Efficient Artificial Intelligence Analysis of Radiographic Images with combined predictive modeling」と題された、2020年9月25日出願された、米国仮特許出願番号63/083,422に基づく利益と優先権を主張するものであり、これらの米国仮出願はその全体を参照することで、本明細書に引用される。
人工知能(AI)プロセッサ、例えば訓練済みニューラルネットワークは、撮像された動物が特定の疾病にある可能性を判定するために、動物の放射線画像を処理するのに有用である。典型的には、様々なAIプロセッサがそれぞれの身体領域(例えば胸部、腹部、肩部、前肢、後肢など)および/あるいは個々のかかる身体領域の特定の配向(例えば背腹(VD)図、側面図など)を評価するために用いられる。特定のAIプロセッサはそれぞれの身体領域および/あるいは各身体領域の配向において、対象となる特定の身体領域に関して特定の疾病が存在する可能性を判定する。そのようなAIプロセッサのそれぞれは、撮像された領域内の疾病あるいは器官をそれぞれ評価するための多数の訓練済みモデルを含む。例えば、動物の胸部の側面図に関して、AIプロセッサは、動物に肺門周辺浸潤、肺炎、気管支炎、肺結節などの肺に関連する特定の疾病が存在する可能性を判定するために、様々なモデルを用いる。
個々の上記AIプロセッサそれぞれによって行われる処理の量、および当該処理を完了するのに必要な時間の量は、膨大である。上記タスクは、(1)特定のAIプロセッサにより、画像が評価される前に、特定の身体領域および配向を定義する各画像に対する、手動による識別、およびクロッピング、あるいは(2)評価のためAIプロセッサへの画像の提供を必要とする。放射線学的検査が特定のエリアに制限されたヒトの放射線医学と異なり、獣医放射線医学は慣例的に1回の検査において、未知の配向の複数の身体領域を備えた、複数の未標識画像を対象としている。
動物の放射線画像を処理する従来のワークフローでは、システムは、ユーザにより識別された身体領域が画像内に含まれていると仮定する。次にユーザにより識別された画像は、例えば、特定の身体領域にとって病状が存在する可能性を評価するために機械学習モデルを用いる特定のAIプロセッサへと送られる。しかし、身体領域の識別をユーザに要求することで、従来のワークフローに煩わしさが生じ、識別された身体領域が正しくない場合に、または複数の領域が画像に含まれている場合、誤差が生じてしまう。さらに、身体領域のユーザ認識のない画像がシステムに送られる場合、従来のワークフローは非効率的に(または故障する)なる。このような事態が生じると、識別されていない画像は、撮像された身体領域に特化していない多数のAIプロセッサへと送られるため、従来のワークフローは非効率的である。さらに、不正確な領域識別が、ことなる体領域を評価するAIプロセッサへと送られてしまうため、従来のワークフローは異なる結果を生じさせる。
AIを用いて放射線画像の診断特性を分析し、AIモデル診断に基づいたレポ-トを用意するための従来のワークフローは、指数的な数の、おこりうる出力レポ-トをもたらす。AIモデル診断結果は、特定の疾病に対する、正常または異常という判定のいずれかを提供する。いくつかのAIモデルでは、特定の疾病の重症度、例えば、正常、最小、軽度、中程度、重度、の判定も提供される。AIモデル診断結果の収集により、あらかじめ作られたレポートのテンプレートから選択されるべきレポートを決定する。AIモデル診断結果の収集から1つのレポートのテンプレートを作成して、選択するプロセスは、AIモデルの数により指数的に規模が大きくなる。6つの異なるAIモデルの正常/異常という診断結果には、64個の異なるレポートのテンプレート(2の6乗)が必要となる。10個のモデルには1,024のテンプレート、16個のモデルが65,536のテンプレートが必要となる。さらにわるい重症度スケールを検出するAIモデル、例えば、それぞれ5つ起こり得る重症度を備えている、16個の重症度のAIモデルには、1500億個を超えるテンプレートが必要となるだろう。したがって、AIモデル診断結果の組み合わせそれぞれに対し、手動で作成されたレポートは、まとめて解釈されている多数のAIモデルに対して十分に調整されない。
したがって、画像処理と画像分析のさまざまな完全に自動化された段階を備えた、新規のシステムであって、この段階は受信画像が特定の配向(側面図など)にある、特定の身体領域を含むかどうかを判定すること、画像を適切にクロッピングすること、1つ以上の身体領域または対象領域を伴う元の画像から、1つ以上のサブ画像を作成すること、元の画像と任意の作成されたサブ画像に標識すること、および目標としたAIモデルに対して、クロッピングされた画像およびサブ画像を評価すること、さらに、AIモデル結果を含むが、これらに限定されない、多数の検査結果に基づく画像診断放射線医レポートを分析して提供する、新規のシステムが必要とされる。
本明細書に記載される発明の一態様は、診断放射線画像または対象の画像を分析する方法であって、画像を1つ以上の身体領域へ分類して、または、分類された画像を配向し、クロッピングするためのプロセッサを用いて対象の放射線画像を自動的に処理することで、自動的に分類される各身体領域のために、少なくとも1つの、配向され、クロッピングされ、および標識されたサブ画像を取得する工程、サブ画像を少なくとも1つの人工知能プロセッサに向ける工程、ならびに、人工知能プロセッサにより、サブ画像を評価して、対象の放射線画像を分析する工程、を含む方法を提供する。
上記方法の一実施形態は、身体領域、および病状の存在に関するサブ画像の査定する人工知能プロセッサを用いる工程をさらに含む。身体領域は例えば胸部、腹部、前肢、後肢などである。上記方法の一実施形態は、サブ画像から病状を診断するために人工知能プロセッサを用いる工程をさらに含む。上記方法の一実施形態は、対象の位置のサブ画像を査定するために人工知能プロセッサを用いる工程をさらに含む。上記方法の一実施形態は、対象のポジショニングを適切なポジショニングに修正する工程をさらに含む。
上記方法の一実施形態では、プロセッサはサブ画像を取得するために自動で放射線画像をすみやかに処理する。上記方法の一実施形態では、プロセッサはサブ画像を取得するため、放射線画像を約1分未満、約30秒未満、約20秒未満、約15秒未満、約10秒未満あるいは約5秒未満で処理する。上記方法の一実施形態では、評価する工程は、サブ画像を、多数のライブラリのうち、少なくとも1つにおける、多数の参照放射線画像と比較することを、さらに含む。上記方法の一実施形態では、多数のライブラリはそれぞれ、参照放射線画像のそれぞれを含む。
上記方法の一実施形態では、多数のライブラリはそれぞれ、動物種に特異的かまたは非特異的である多数の参照放射線画像を含む。上記方法の一実施形態はサブ画像を参照放射線画像と一致させ、配向および少なくとも1つの身体領域を査定する工程をさらに含む。上記方法の一実施形態では、医療におけるデジタル画像化と通信(Digital Imaging and Communication in Medicine)(DICOM)標準ハンギングプロトコル内で、参照放射線画像は配向される。
上記方法の一実施形態では、クロッピングすることは、サブ画像中の特定の身体領域を分離することを含む。上記方法の一実施形態は、獣医放射線画像標準身体領域標識によって、参照放射線画像を分類する工程をさらに含む。上記方法の一実施形態では、配向することは、放射線画像を獣医放射線画像の標準ハンギングプロトコルに適合させることをさらに含む。上記方法の一実施形態では、クロッピングすることは、放射線画像のサブ画像を標準アスペクト比にトリミングすることをさらに含む。上記方法の代替的実施形態では、クロッピングすることは、放射線画像のサブ画像を標準アスペクト比にトリミングすることをさらに含まない。上記方法の一実施形態では、分類することはさらに、獣医学標準身体領域標識によって身体領域を識別して、および標識することを含む。上記方法の一実施形態では、分類することはさらに、放射線画像をサンプルの標準放射線画像のライブラリと比較することをさらに含む。
上記方法の一実施形態は、放射線画像をライブラリ内のサンプル画像に合わせて、放射線画像を1つ以上の身体領域へ分類する工程をさらに含む。上記方法の一実施形態では、クロッピングすることはさらに、分類された身体領域をそれぞれ描写する放射線画像の境界を識別することをさらに含む。上記方法の一実施形態は、分類することに先立って、放射線画像のシグネチャを抽出する工程を含む。上記方法の一実施形態では、放射線画像は放射線画像、すなわち、X線、核磁気共鳴画像法(MRI)、磁気共鳴血管画像法(MRA)、コンピュータ断層撮影(CT)、蛍光透視法、マンモグラフィ、核医学、陽電子放出断層撮影(PET)、および超音波から選択される、放射線検査から得られる。上記方法の一実施形態では、放射線画像は写真である。
上記方法の一実施形態では、対象は哺乳動物、爬虫類、魚類、類、両生、脊索動物、および鳥類から選択される。上記方法の一実施形態では、哺乳動物はイヌ、ネコ、げっ歯類、ウマ、ヒツジ、ウシ、ヤギ、ラクダ、アルパカ、水牛、ゾウおよびヒトから選択される。上記方法の一実施形態では、対象はペット、家畜、貴重な動物園動物、野生動物、および研究動物から選択される。上記方法の一実施形態は、人工知能プロセッサによるサブ画像の評価を伴う少なくとも1つのレポートを自動的に生成する工程をさらに含む。
本明細書に記載される発明の一態様は、対象の放射線画像を分析するためのシステムであって、対象の放射線画像を受け取る受信機、自動的に画像認識を実行し、少なくとも1つのプロセッサ、およびサブ画像を取得するために、画像内の少なくとも1つの身体領域を識別し、クロッピングし、配向し、かつ標識するためのアルゴリズムを処理、サブ画像を評価するための少なくとも1つの人工知能プロセッサ、ならびにサブ画像を表示し、かつ評価された人工知能結果を表示するためのデバイス、を含む、システムを提供する。
上記システムの一実施形態では、プロセッサは、サブ画像を取得するために放射線画像をすみやかに自動処理する。上記システムの一実施形態では、プロセッサは、標識された画像を取得するために、放射線画像を1分未満、30秒未満、20秒未満、15秒未満、10秒未満、あるいは5秒未満で処理する。上記システムの一実施形態は、標準放射線画像のライブラリをさらに含む。上記システムの実施形態では、標準放射線画像は、ハンギングプロトコルと身体領域標識に関する、獣医学規準に準拠する。
本明細書に記載される発明の一態様は、表示のために対象の放射線画像をすみやかかつ自動的に準備する方法であって、シグネチャを自動的にクロッピングし、抽出し、およびクロッピングされ、配向された画像シグネチャを、既知の配向および身体領域の画像のシグネチャのデータベースと比較して、一致度が最良の配向、および身体領域標識を取得することにより、画像を1つ以上の別個の身体領域のカテゴリへとアルゴリズムにより分類するためのプロセッサを使用して対象の処理されていない放射線画像を処理する工程、ならびに表示デバイス上で、分析のために、それぞれ用意された身体領域の標識された画像を表わす工程を含む、方法を提供する。
本明細書に記載される発明の一態様は、獣医学用の放射線診断画像分析器における改善であって、自動的に画像中の1つ以上の身体領域を自動的に識別するために、対象の放射線画像を事前に処理するプロセッサにより、高速アルゴリズムを実行することを含み、プロセッサは識別された身体領域それぞれ別個のサブ画像を自動的に作成すること、作成された各サブ画像のアスペクト比をクロッピングし、任意選択で正常化すること、自動的に各サブ画像に身体領域として標識すること、サブ画像中の身体領域を自動的に配向すること、のうち少なくとも1つを行うためにさらに機能する。プロセッサはさらに、クロッピングされ、配向され、かつ標識されたサブ画像を評価することの特異的な少なくとも1つの、人工知能プロセッサに診断サブ画像を自動的に向ける、少なくとも1つを行なうために機能すること、を含む改善を提供する。
本明細書に記載される発明の一態様は、対象の少なくとも1つの画像中の疾患あるいは疾病の存在を識別、および診断する方法であって、この改善は分類され、標識され、かつ配向されたサブ画像を取得するために画像を1つ以上の身体領域へ分類し、標識し、配向する工程、サブ画像を少なくとも1つの、人工知能(AI)プロセッサに向けて、評価結果を取得し、評価結果および一致した手書きによるテンプレートを備えたデータベースと比較する方法、あるいは少なくとも1つのクラスタ診断を取得する工程、少なくとも1つのデータクラスタと比較し、少なくとも1つのクラスタ診断を取得するためにクラスタ結果と評価結果の間の距離を測定する工程、クラスタ診断をアセンブルし、レポートを取得することにより、対象における疾患あるいは疾病の存在を識別および診断する工程、含む方法を提供する。評価結果はAIの結果と同義であり、AIプロセッサの結果と分類結果と交換可能に使用される。
上記方法の一実施形態は、分類に先立って、少なくとも1つの放射線画像あるいは1つの対象データポイントを取得する工程を、さらに含む。上記方法の一実施形態は、比較に先立って、K平均クラスタリング、平均シフトクラスタリング、密度ベース空間クラスタリング、期待値最大化(EM)クラスタリング、および凝集的階層クラスタリングから選択されるクラスタツールを用いてデータセットクラスタをコンパイルする工程、をさらに含む。上記方法の一実施形態では、コンパイルする工程は、多数の識別され診断されたデータセットと、放射線医学レポート、実験レポート、組織学レポート、健康診断レポートならびに微生物学レポートから選択される対応する医療レポートの、多数の既知の疾患あるいは疾病を伴うライブラリを取得し、処理し、評価し、および構築することをさらに含む。
上記方法の一実施形態では、処理することは、多数の分類された診断されたデータセット画像を取得するために、識別され診断された多数のデータセット画像を身体領域へ分類すること、ならびに、配向、クロッピング、および標識された多数のデータセット画像を取得するために、分類された多数のデータセット画像を配向して、クロッピングすること、をさらに含む。上記方法の一実施形態では、評価することは、少なくとも1つの診断されたAIプロセッサ結果を取得するために、多数の、配向され、クロッピングされ、標識されたデータセットサブ画像および対応する医療レポートを、少なくとも1つのAIプロセッサに向けること、をさらに含む。上記方法の一実施形態では、向けることは、多数の、配向され、クロッピングされ、標識されたデータセットサブ画像および、対応する種、品種、重量、性別および位置の少なくとも1つの変数を備えた、医療レポートを分類すること、をさらに含む。
上記方法の一実施形態では、多数の、識別され診断されたデータセット画像のライブラリを構築することは、少なくとも1つの模範的結果をAIプロセッサに取得させることにより、診断AIプロセッサ結果の少なくとも1つのクラスタを作成し、データセットクラスタをコンパイルすること、をさらに含む。いくつかの実施形態では、模範的なAIプロセッサの結果は、模範的症例、模範的結果、模範点、あるいは模範である。これらの用語は同意語で、交換可能に使用される。上記方法の一実施形態は、少なくとも1つのクラスタ診断を、診断されたAIプロセッサ結果のクラスタに割り当てることを、さらに含む。上記方法の一実施形態では、クラスタ診断を割り当てることはクラスタ内のレポート、ならびに/もしくは評価者によって書かれた追加情報を加えることを、さらに含む。上記方法の一実施形態では、測定することは、クラスタ結果と評価結果、データセットクラスタおよびクラスタ結果の中心から選択される少なくとも1つとの間の距離を判定することを、さらに含む。
上記方法の一実施形態は、最近傍の一致を有するクラスタ内部での症例の結果、クラスタ中の別の症例からの結果、および中心の症例からの結果から選択することを、さらに含む。上記方法の一実施形態のでは、選択することは、評価者によってクラスタ結果の結果情報をクラスタから生成されたレポートに追加すること、をさらに含む。上記方法の一実施形態は、クラスタ内の多数のレポートにおいて、出現度の閾値未満であるクラスタ診断のレポートの一部を取り除くことにより、レポートを編集する工程、をさらに含む。上記方法の一実施形態では、レポートは、レポート生成の使用に許容可能とみなされるワードから生成される。レポートでのワードは、最も近く一致する一致する模範的結果、あるいは中心の症例から取得される。ワードが対象名、日付、先行検査への言及、または模範的結果に最も一致する、すべての新たな症例に普遍的に使用可能でないレポートを生成することのできる、他のいかなるワードから選択される少なくとも1つの識別子を含む場合、レポート生成に許容可能なワードは除外される。この選別プロセスは自然言語処理(NLP)によって行なわれる。
上記方法の一実施形態において、評価者によって指定される出現度の閾値は、約80%未満となるように選択される。上記方法の一実施形態において、診断AIプロセッサによって評価結果をすみやかに処理することで、レポートが取得される。上記方法の一実施形態において、診断AIプロセッサは、レポートを取得するために、画像を約10分未満、約9分未満、約8分未満、約7分未満、約6分未満、約5分未満、約4分未満、約3分未満、約2分未満あるいは約1分未満で処理する。上記方法の一実施形態では、既知の疾患と疾病を伴う識別され、診断され、データセット画像のライブラリは、多数の動物種の少なくとも1つに分類される。
上記方法の一実施形態は、分析されたAIプロセッサ結果を識別タグで識別する工程を、さらに含む。上記方法の一実施形態は、画像および/あるいは対象の画像を選択し、医療レポートをデータセットクラスタに追加する工程をさらに含む。
本明細書に記載される発明の一態様は、対象の画像、および/あるいは医療結果における疾患または疾病の存在を診断するシステムであって、対象の画像の医療結果を受け取る受信機と、あるいはクロッピングし、配向し、かつ標識することで、自動的に画像識別と処理アルゴリズムを実行して、画像中の少なくとも1つの身体領域を識別し、サブ画像を取得する、少なくとも1つのプロセッサと、少なくとも1つのプロセッササブ画像かつ/あるいは医療レポートを評価し、および評価結果を取得するための少なくても1つ人工知能プロセッサと、クラスタ結果を取得するためのクラスタルゴリズムを自動的に実行し、評価結果を比較して、クラスタ結果と、1つ以上の変数から定義された特定のデータセット、クラスタ診断を取得するための評価結果から、事前に作成されたクラスタ結果との間の測定距離を測定し、さらに結果を取得し、レポートをアセンブルする、少なくとも1つの診断の人工知能プロセッサ、含むシステムを提供する。
上記方法の一実施形態では、診断AIプロセッサは、自動的に画像および/あるいはレポートを生成する医療結果を、すみやかに処理する。上記方法の一実施形態では、診断AIプロセッサは、レポートを取得するために、画像および/あるいは医療結果を約10分未満、約9分未満、約8分未満、約7分未満、約6分未満、約5分未満、約4分未満、約3分未満、約2分未満、または約1分未満で処理する。上記方法の一実施形態は、生成されたレポートを表示するためのデバイスをさらに含む。
本明細書に記載される発明の一態様は、対象の少なくとも1つの画像中の疾患または疾病の存在を診断する方法であって、少なくとも1つの身体領域に1つの画像を分類し、分類され、標識され、クロッピングされ、配向された、画像を標識し、クロッピングし、および配向することで、少なくとも1つのサブ画像を取得する工程、サブ画像を配向、少なくとも1つの人工知能(AI)プロセッサに向けることで、評価結果を処理し取得する、ならびに少なくとも1つのデータセットクラスタを持つデータベースライブラリと比較することで、評価結果を取得し、多数の評価結果、および多数の一致した手書きのテンプレートを持つか、または少なくとも1つのクラスタ結果を取得する工程、クラスタ結果と評価結果の間の距離を測定し、少なくとも1つのクラスタ診断を取得する工程、ならびにレポートを取得し、クラスタ診断および一致した手書きのテンプレートをアセンブルし、レポートを放射線医師に表示することにより、対象における疾患または疾病の存在を識別して診断する工程、を含む方法を提供する。
上記方法の一実施形態は、表示後に、レポートの分析をして、疾患や疾病の存在を確認する工程、をさらに含む。上記方法の代替的実施形態は、前述手書きのテンプレートを編集すること、をさらに含む。上記方法の一実施形態では、レポートを処理することにおける処理時間は約5分未満、約2分未満、あるいは1分未満である。上記方法の一実施形態では、レポートを取得することにおける処理時間は約10分未満、約7分未満、あるいは約6分未満である。
上記方法の一実施形態では、サブ画像を処理することは、対象の画像中の疾患あるいは疾病の存在を分析するためのAIプロセッサを訓練すること、をさらに含む。上記方法の一実施形態では、AIプロセッサを訓練することは、訓練する画像のライブラリをAIプロセッサへ通信すること、訓練する画像のライブラリから疾患あるいは疾病が存在する訓練画像を選択すること、および、訓練画像を、訓練画像のライブラリと比較し、それによりAIプロセッサを訓練することを含む。
上記方法の一実施形態では、訓練画像のライブラリは、陽性対照訓練画像および陰性対照訓練画像を含む。上記方法の一実施形態では、陽性訓練画像は訓練画像における疾患や疾病を伴う。上記方法の一実施形態では、陰性訓練画像は訓練画像の疾患あるいは疾病の疾病を伴わない。上記方法の様々な実施形態では、陰性訓練画像は、訓練画像の疾患あるいは疾病以外の疾患あるいは疾病を伴う場合がある。上記方法の一実施形態では、訓練画像のライブラリは、医療データ、メタデータおよび補助データのうち少なくとも1つをさらに含む。
動物の放射線画像(102)を処理するための従来のワークフローの概略図である。獣医学の分野で一般に表わされるように、画像(102)は動物の部分を示していない。画像(102)は、身体領域が画像上に現れているかと、および画像(102)に表わされた動物が特定疾病を持つ可能性を判定するための、多数のAIプロセッサ(104a~104l)のそれぞれによって処理される。AIプロセッサ(104a~104l)のそれぞれが、画像を動物が特定の疾病にある可能性を判定するために訓練された、1つ以上の機械学習モデルと比較することによって、画像(102)を評価する。 本明細書に記載されるシステムまたは方法の一実施形態の概略図である。放射線画像プリプロセッサ(106)は、それぞれが特定の身体領域の特定の視点に対応する1つ以上の画像(108)を生み出すために、画像(102)に対し前処理を行う配置がされている。3つのサブ画像(108a~c)は作成され、ここで1つのサブ画像(108a)は動物の胸部の側面像として識別され、クロッピングされており、第2のサブ画像(108b)は、動物の腹部の側面像として識別され、クロッピングされており、また、第3のサブ画像(108c)は、動物の骨盤の側面像として識別され、クロッピングされている。図に示されるように、サブ画像(108a)は側面胸部AIプロセッサ(104a)によってのみ処理され、サブ画像(108b)は側面腹部AIプロセッサによってのみ処理され、および、サブ画像(108c)は側面骨盤AIプロセッサ(104k)によってのみ処理される。いくつかの実施形態では、サブ画像(108)は、当該サブ画像(108)表わす身体領域および/あるいは視点を識別するためにタグ付けされる。 本明細書に記載される新規のワークフローのために、本発明のシステムや上記方法の一実施形態によって行なわれる、1組のコンピュータ演算の説明である。画像(302)は、放射線画像プリプロセッサ(106)を用いて処理されており、次に識別された身体領域/視点に対応するAIプロセッサ(104)の部分集合により、処理される。システムによって、識別されるそれぞれの身体領域/視点のクロッピングされた、画像(304a)、(304b)が、示される。画像(302)が「側面胸部」画像および「側面腹部」画像の両方を表わしたと判定するための放射線画像プリプロセッサが要する総時間は、ブラケット(306)に対応するログエントリのためのタイムスタンプによって反映されるように、24秒だった。 所見のセットであり、所見(401~407)は、放射線画像中における肺についての、1組の従来の単一疾病ベース臓器であり、それより下は、少なくとも2つの単一疾病ベース臓器所見の組み合わせである。7つの単一疾病ベース臓器所見の順列および組み合わせは、指数的な量のレポートのテンプレートをもたらす。 図5A~図5Fは、正常、最小、軽度、中程度、および重度として重症度に基づいて分類され、さらに別個のAIモデル結果テンプレートとして表示された、肺についての1組のベース臓器所見である。ボックス(501~557)は、特定のAIレポートのテンプレートにおける1つのラインアイテム(lineitem)を表わす。1つのラインアイテムは、「コード」の項目にリスト化されている所見と一致する、各AIモデル結果テンプレートに基づいて選択される。 図5A~図5Fは、正常、最小、軽度、中程度、および重度として重症度に基づいて分類され、さらに別個のAIモデル結果テンプレートとして表示された、肺についての1組のベース臓器所見である。ボックス(501~557)は、特定のAIレポートのテンプレートにおける1つのラインアイテム(lineitem)を表わす。1つのラインアイテムは、「コード」の項目にリスト化されている所見と一致する、各AIモデル結果テンプレートに基づいて選択される。 図5A~図5Fは、正常、最小、軽度、中程度、および重度として重症度に基づいて分類され、さらに別個のAIモデル結果テンプレートとして表示された、肺についての1組のベース臓器所見である。ボックス(501~557)は、特定のAIレポートのテンプレートにおける1つのラインアイテム(lineitem)を表わす。1つのラインアイテムは、「コード」の項目にリスト化されている所見と一致する、各AIモデル結果テンプレートに基づいて選択される。 図5A~図5Fは、正常、最小、軽度、中程度、および重度として重症度に基づいて分類され、さらに別個のAIモデル結果テンプレートとして表示された、肺についての1組のベース臓器所見である。ボックス(501~557)は、特定のAIレポートのテンプレートにおける1つのラインアイテム(lineitem)を表わす。1つのラインアイテムは、「コード」の項目にリスト化されている所見と一致する、各AIモデル結果テンプレートに基づいて選択される。 図5A~図5Fは、正常、最小、軽度、中程度、および重度として重症度に基づいて分類され、さらに別個のAIモデル結果テンプレートとして表示された、肺についての1組のベース臓器所見である。ボックス(501~557)は、特定のAIレポートのテンプレートにおける1つのラインアイテム(lineitem)を表わす。1つのラインアイテムは、「コード」の項目にリスト化されている所見と一致する、各AIモデル結果テンプレートに基づいて選択される。 図5A~図5Fは、正常、最小、軽度、中程度、および重度として重症度に基づいて分類され、さらに別個のAIモデル結果テンプレートとして表示された、肺についての1組のベース臓器所見である。ボックス(501~557)は、特定のAIレポートのテンプレートにおける1つのラインアイテム(lineitem)を表わす。1つのラインアイテムは、「コード」の項目にリスト化されている所見と一致する、各AIモデル結果テンプレートに基づいて選択される。 疾病または分類にとって陰性であるか陽性である放射線画像の可能性の結果を取得するために、放射線画像を分析のために配置される、個々の二値の収集(またはAIモデルのライブラリ)である。 イヌの側面胸部の放射線画像であり、前処理、クロッピング、標識、識別されている画像である。放射線画像は、図6に表示された二値AIモデルのライブラリによって分析される。 例えば気管支炎AIモデルなど、特定の二値AIモデルを通して、画像7と似通っている一連の側面の放射線画像の分析により得られた、1つの二値AIモデルの結果のスクリーンショットである。 放射線画像のそれぞれのAIモデル結果を示す、1組のスクリーンショットである。画像1つあたりの個々のAIモデル結果の視覚的な収集、および全画像のAIモデル結果平均は、前述特定の症例について評価された。それぞれのモデルの平均評価結果は、個々の画像評価結果を集めることにより作成され、図9Aのスクリーンの一番上に表示される。各個々の画像およびその画像のためのAIモデル結果はそれぞれ、図9Bー図9Eに表示される。図9Aにおける、タイムスタンプ(901)は、AI分析が3分未満で終わったことを示す。 肺門周囲浸潤、肺炎、気管支炎、間質、病気にかかった肺、再生不良性気管、心臓肥大、肺結節および胸水などの個々のAIモデル結果を示す。それぞれのAIモデルについては、標識は画像を、「正常」(902)、あるいは「異常」(903)として、識別する。さらに、AIモデル1つの疾病について画像が、「正常」、または「異常」である可能性(904)が提供される。 1つの放射線画像の分類および収穫により取得される4つの画像を示す。タイムスタンプ(905~908)は、AI分析が2分未満で終わったことを示す。 図9Dおよび図9Eは、放射線画像のための各AIモデルの結果を示し、放射線画像の標識、可能性および面図(909)(例えば、側面、背側、前後、後前、腹背、背腹など)を含む。 図9Dおよび図9Eは、放射線画像のための各AIモデルの結果を示し、放射線画像の標識、可能性および面図(909)(例えば、側面、背側、前後、後前、腹背、背腹など)を含む。 JavaScriptオブジェクト記法(JSON)フォーマットで表示された、AI症例結果のスクリーンショットである。JSONフォーマットはクラスタ結果と匹敵することにより平均評価結果を評価するためにテストするための、AI評価検査テスタに転送され得る、ある症例での、すべてのモデルのための平均評価結果をコピーすることを促進する。 ユーザがK平均クラスタを作成することを許可する、グラフィカルユーザインターフェースのスクリーンショットである。ユーザは、「コード」の下の新規のクラスタに、名前(1101)を割り当てる。ユーザは、クラスタを作成するために、様々なパラメータを選択する。ユーザは、その症例を選択するために、スタート症例の日付(1102)およびエンド症例の日付(1103)を選択する。ユーザは、その症例を選択するために、スタート症例ID(1104)およびエンド症例ID(1105)を選択する。ユーザは、クラスタに含まれることになっている症例(1106)の最大数を選択する。ユーザは、クラスタに含められることになっている症例について、イヌ、ネコ、イヌあるいはネコ、ヒトなどの種(1107)を選択する。ユーザは、クラスタを作成する際に含まれることになっているX線、CT、MRI、血液分析、尿検査などのような特定の診断方法(1108)を選ぶ。ユーザは、評価結果を特定の数のクラスタに分けることを指定する。クラスタの数は、最小1つのクラスタから、クラスタ内に入れられる症例の総数によってのみ制限される、最大クラスタ数に及ぶ。 数値表としてリスト化されたAIクラスタ結果のスクリーンショットである。左端の列(1201)は症例IDであり、次の9列は、特定の症例IDに関するそれぞれの二値の平均評価結果(1202)であり、次の列は、評価結果の収集に基づいた特定の症例を含む、クラスタ標識またはクラスタ位置(1203)であり、次の4列はクラスタ座標、および、重心座標であり、最後の数は、その特定のクラスタの重心または中心の症例ID(1204)である。最も一致した症例IDに関するする放射線医師のレポートが取得される。その後、この放射線医師のレポートは新規のAI症例のためのレポートを生成するために用いられる。このプロセスは、従来の半手動のレポート作成のプロセスと比較して、組込まれた、AIモデルの数の観点から、無限のスケーラビリティを可能にする。 クラスタリンググラフの例である。クラスタリンググラフは、平均評価結果を、ユーザ定義のパラメータ(1102~1108)に依存して、多数の異なるクラスタに分割することにより作成される。この例のクラスタリンググラフは、グラフ上にプロットされた1つ色の小さい点の付近の収集によって、それぞれ表わされる、180個の異なるクラスタに分割される。 ユーザ定義のパラメータ(1102~1108)に基づいて作成された、AIクラスタモデルを示すユーザインタフェースのスクリーンショットである。左から一番目の列は、クラスタID(1401)を示し、第2の列は、クラスタモデル(1402)に割り当てられた名前を示し、第3の列は、AIデータが分割された、異なるクラスタ(1403)の数を示し、第4列はクラスタデータ結果に基づいて評価された身体領域(1404)を示す。 スクリーニング評価設定を示すユーザインタフェースのスクリーンショットである。ユーザインタフェースは、特定の「クラスタモデル」(1502)を特定の「スクリーニング評価設定」名(1501)に、割り当てることを可能にする。スクリーニング評価設定のステータス(1503)は、設定がライブモードか、テストモードか、あるいはドラフトモードであるかどうかなどの、設定に関する追加データを提供する。ライブモードは生産向けであり、テストモードは開発向けである。 図16A~図16Cは、特定のクラスタモデルのための詳細を示す、ユーザインタフェースの1組のスクリーンショットである。図16Aは、クラスタモデル(1601)胸部(97)のためのデータを表示するユーザインタフェースを示す。クラスタに含まれた、AI評価分類子タイプ(1602)がリスト化される。クラスタモデルにとって特定の種、あるいは種(1603)の収集が表示される。クラスタを作成するために用いられる評価結果を備えた症例(1604)の最大数が表示される。ユーザインタフェースは、クラスタを作成するために用いられる症例のための開始日と終了日(1605)を示す。数値表フォーマットでクラスタを示している、図12のコンマ区切り形式(CSV)ファイルへのリンク(1606)が表示される。パラメータ(1602~605)から作成された、サブクラスタ(1608)の一部は、リスト化される。当該クラスタグループのために作成された、サブクラスタ(1609)の総数が表示される。各サブクラスタについては、重心症例ID(1610)が表示される。クラスタを構築するための、ログ(1607)へのリンクが表示される。 図16A~図16Cは、特定のクラスタモデルのための詳細を示す、ユーザインタフェースの1組のスクリーンショットである。図16Bは、クラスタモデル(1601)胸部(97)のために作成されたログのスクリーンショットである。 図16A~図16Cは、特定のクラスタモデルのための詳細を示す、ユーザインタフェースの1組のスクリーンショットである。図16Cは、椎骨の心臓スコア、肺門周辺浸潤、肺炎、気管支炎、間質および病気の肺を含む、AI評価モデルの一部のスクリーンショットである。 図17A~図17Dは、AI評価テスタ用のユーザインタフェースの1組のスクリーンショットである。図17Aは、クラスタで最も近く一致した症例/模範的結果一致を分析するために、AIデータセットからできた症例クラスタからのK平均法を使用して、図10のJSONフォーマットにおける、すべてのモデルに対する平均評価結果の値が、インポートされている(1701)、ユーザインタフェース(AI評価テスタ)を示す。 図17A~図17Dは、AI評価テスタ用のユーザインタフェースの1組のスクリーンショットである。図17Bは、AI評価テスタへインポートされた、図10のJSONフォーマットにおける全モデルの平均評価結果の値を示す。 図17A~図17Dは、AI評価テスタ用のユーザインタフェースの1組のスクリーンショットである。図17Cおよび図17Dは、特定の症例のためにインポートされた評価結果を示す。 図17A~図17Dは、AI評価テスタ用のユーザインタフェースの1組のスクリーンショットである。図17Cおよび図17Dは、特定の症例のためにインポートされた評価結果を示す。図17Dは検査評価タイプ(1702)、およびユーザによって選択される検査評価タイプに関連したクラスタモデル(1703)を示す。テスト(1704)をクリックすることにより、図10に表示された評価結果は分析され、さらにクラスタで最も近く一致した症例/模範者な結果一致に割り当てられる。模範的なリザルト一致クラスタのための、最も近く一致する放射線医師のレポート、トップランキングの放射線医師の文、および重心放射線医師のレポートが集められ、表示される 図18A~図18Dは、ユーザインタフェースの1組のスクリーンショットである。図18Aおよび図18Bは、AI評価テスタ上のテスト(1704)をクリックした後に表示された結果を示すユーザインタフェースの1組のスクリーンショットである。前もって作成されたクラスタ結果に基づき、評価結果に最も近く一致する、放射線医師のレポートからの診断および結論的な所見(1801)が表示される。評価所見(1802)は、評価結果のクラスタにおける、放射線医師のレポートから選ばれ、特定のクラスタの所見セクションにおける、特定の文の普及度に基づいて、フィルター処理される。クラスタにおける、放射線医師のレポートからの推奨(1803)は、このクラスタの推奨セクション中の各文、あるいは同様の文の普及度に基づいて選択されている。インターフェース(1804)は、クラスタの放射線医師のレポートを示し、また、インターフェース(1805)は、クラスタの重心の放射線医師のレポートを示す。 図18A~図18Dは、ユーザインタフェースの1組のスクリーンショットである。図18Aおよび図18Bは、AI評価テスタ上のテスト(1704)をクリックした後に表示された結果を示すユーザインタフェースの1組のスクリーンショットである。前もって作成されたクラスタ結果に基づき、評価結果に最も近く一致する、放射線医師のレポートからの診断および結論的な所見(1801)が表示される。評価所見(1802)は、評価結果のクラスタにおける、放射線医師のレポートから選ばれ、特定のクラスタの所見セクションにおける、特定の文の普及度に基づいて、フィルター処理される。クラスタにおける、放射線医師のレポートからの推奨(1803)は、このクラスタの推奨セクション中の各文、あるいは同様の文の普及度に基づいて選択されている。インターフェース(1804)は、クラスタの放射線医師のレポートを示し、また、インターフェース(1805)は、クラスタの重心の放射線医師のレポートを示す。 図18A~図18Dは、ユーザインタフェースの1組のスクリーンショットである。図18Cは、特定のクラスタ結果に基づいた放射線医学レポートにおける、文のランキングをリスト化するユーザインタフェースのスクリーンショットである。文は結論文(1806)、所見文(1807)および推奨文(1808)を含む。 図18A~図18Dは、ユーザインタフェースの1組のスクリーンショットである。図18Dは、特定の文を加えるか取り除くことで、所見セクション(1809)、結論セクション(1810)あるいは推奨セクション(1811)を編集することにより、ユーザが放射線医学レポートを編集することを可能にするユーザインタフェースのスクリーンショットである。 図18A~図18Dは、ユーザインタフェースの1組のスクリーンショットである。図18Dは、特定の文を加えるか取り除くことで、所見セクション(1809)、結論セクション(1810)あるいは推奨セクション(1811)を編集することにより、ユーザが放射線医学レポートを編集することを可能にするユーザインタフェースのスクリーンショットである。 新規の症例の放射線医学レポートを生成するために用いられる、最も近く一致するデータセット症例のための放射線医師のレポートである。AI評価テスタは、新規の画像AI評価結果とクラスタ内部におけるAI評価結果間で、評価結果の類似点に基づいた現在のAI評価結果に最も近く一致する放射線医師のレポート、および、選択されるクラスタの重心からの放射線医師のレポートを表示する。 図20Aと図20Bは、1組の放射線画像である。図20Aは新たに受け取られた、分析中の放射線画像である。 図20Aと図20Bは、1組の放射線画像である。図20Bは、クラスタモデルに基づいて、最も近く一致する一致として、AI評価の結果によって選択される、放射線画像である。クラスタ一致は画像一致結果よりもむしろAI評価結果に基づいている。 図21Aと図21Bは、AI放射線画像処理デバイス中の構成成分の1組の概略図である。図21Aは、放射線画像器械(2101)が放射線画像を、デスクトップアプリケーション(2102)に送信し、(デスクトップアプリケーション(2102)が画像をウェブアプリケーション(2103))に送ることを示す概略図である。コンピュータビジョンアプリケーション(2104)およびウェブアプリケーションは、画像を画像ウェブアプリケーションに向け、画像ウェブアプリケーションは、画像を画像AI評価(2105)に向ける。 図21Aと図21Bは、AI放射線画像処理デバイス中の構成成分の1組の概略図である。図21Bは、画像一致AI処理の構成要素の概略図である。獣医学クリニックにおいてローカルインターフェースからオンラインネットワークへ(LION)(2106)アップロードされた画像は、Vetconsole(2107)に向けられ、ここで画像は自動回転され、自動クロッピングされ、サブ画像が取得される。サブ画像は3つの位置に向けられる。第1のロケーションは、画像を分類するためにVetAIconsole(2108)に向けられる。第2のロケーションは、レポートと共にサブ画像を画像一致データベースに加えるために、画像一致コンソール(2109)に向けられる。第3のロケーションは、新たな画像および対応する症例ID番号を格納するための画像データベース(2110)に向けられる。画像一致コンソール(2109)は、さらなる処理のために、精巧な画像一致コンソール(2111)、またはVetimageエディターコンソール(2112)に向ける。 図22Aと図22Bは、画像一致用のサーバーアーキテクチュアの1組の概略図である。図22Aは、AI放射線画像分析において現在使用されているサーバーアーキテクチュアの概略図である。 図22Aと図22Bは、画像一致用のサーバーアーキテクチュアの1組の概略図である。図22Bは、放射線画像を事前に処理すること、AI診断プロセッサを使用し画像を分析することと、クラスタリング結果に基づいてレポートを用意こととを含む、AI放射線画像分析用のサーバーアーキテクチュアの計画図である。PC(2201)からの画像は、NGINX負荷分散サーバに向けられ、ここで画像はV2クラウンドプラットフォーム(2203)に向けられる。画像はその後、画像一致サーバ(2204)、Vetimageサーバ(2205)およびデータベースMicrosoft SQLサーバ(2207)に向けられる。Vetimageサーバは、画像をVetAIサーバ(2206)、データベースMicrosoft SQLサーバ(2207)およびデータストアサーバ(2208)へ向ける。 図23A~図23Fは、対象のために取得された画像に対する人工知能自動クロッピングおよび評価のワークフローの一連の概略図である。ワークフローは、タスクを遂行するために使用されるプラットフォームに基づいて、6列に分類され、タスクには、クリニック、V2エンドユーザアプリケーション、Vetlmagesアプリケーション、VetConsolePythonスクリプティングアプリケーション、VetAI機械学習アプリケーション、ImageMatch指向Pythonアプリケーション、およびImageMatch検証Pythonアプリケーションなどが挙げられる。さらに、タスクは、サブ画像プロセッサ、評価プロセッサ、および合成プロセッサなどの、タスクを遂行するプロセッサに基づいて、異なる濃淡レベルで網掛けされる。V2アプリケーションは、ユーザがアプリケーションと対話し、さらに分析される画像をアップロードする、エンドユーザアプリケーションである。Vetlmagesアプリケーションは、画像を処理して、AI結果もしくはAIレポート、または評価結果を作成する。VetConsoleは、画像を改善し、一括で画像を処理するPythonスクリプトアプリである。VetAIは、AIモデルを作成し、さらにシステムに入れられた画像を評価する、機械学習アプリケーションである。ImageMatch配向は、入力された画像に類似する正確に配向された画像をデータベース内で検索するPythonアプリである。ImageMatch検証は、入力された画像に類似する正確に分類された画像を、データベース内で捜索するPythonアプリである。サブ画像処理プロセッサは、図23A~図23Cにリスト化されたタスク(2301~2332)を遂行する。評価プロセッサは、図23Dおよび図23Eおよび図23Fの一部にリスト化されたタスク(2333~2346、2356、2357)を行う。合成プロセッサは、図23Fおよび図23Bの一部にリスト化されたタスク(2347~2355および2358~2363)を行う。 図23A~図23Fは、対象のために取得された画像に対する人工知能自動クロッピングおよび評価のワークフローの一連の概略図である。ワークフローは、タスクを遂行するために使用されるプラットフォームに基づいて、6列に分類され、タスクには、クリニック、V2エンドユーザアプリケーション、Vetlmagesアプリケーション、VetConsolePythonスクリプティングアプリケーション、VetAI機械学習アプリケーション、ImageMatch指向Pythonアプリケーション、およびImageMatch検証Pythonアプリケーションなどが挙げられる。さらに、タスクは、サブ画像プロセッサ、評価プロセッサ、および合成プロセッサなどの、タスクを遂行するプロセッサに基づいて、異なる濃淡レベルで網掛けされる。V2アプリケーションは、ユーザがアプリケーションと対話し、さらに分析される画像をアップロードする、エンドユーザアプリケーションである。Vetlmagesアプリケーションは、画像を処理して、AI結果もしくはAIレポート、または評価結果を作成する。VetConsoleは、画像を改善し、一括で画像を処理するPythonスクリプトアプリである。VetAIは、AIモデルを作成し、さらにシステムに入れられた画像を評価する、機械学習アプリケーションである。ImageMatch配向は、入力された画像に類似する正確に配向された画像をデータベース内で検索するPythonアプリである。ImageMatch検証は、入力された画像に類似する正確に分類された画像を、データベース内で捜索するPythonアプリである。サブ画像処理プロセッサは、図23A~図23Cにリスト化されたタスク(2301~2332)を遂行する。評価プロセッサは、図23Dおよび図23Eおよび図23Fの一部にリスト化されたタスク(2333~2346、2356、2357)を行う。合成プロセッサは、図23Fおよび図23Bの一部にリスト化されたタスク(2347~2355および2358~2363)を行う。 図23A~図23Fは、対象のために取得された画像に対する人工知能自動クロッピングおよび評価のワークフローの一連の概略図である。ワークフローは、タスクを遂行するために使用されるプラットフォームに基づいて、6列に分類され、タスクには、クリニック、V2エンドユーザアプリケーション、Vetlmagesアプリケーション、VetConsolePythonスクリプティングアプリケーション、VetAI機械学習アプリケーション、ImageMatch指向Pythonアプリケーション、およびImageMatch検証Pythonアプリケーションなどが挙げられる。さらに、タスクは、サブ画像プロセッサ、評価プロセッサ、および合成プロセッサなどの、タスクを遂行するプロセッサに基づいて、異なる濃淡レベルで網掛けされる。V2アプリケーションは、ユーザがアプリケーションと対話し、さらに分析される画像をアップロードする、エンドユーザアプリケーションである。Vetlmagesアプリケーションは、画像を処理して、AI結果もしくはAIレポート、または評価結果を作成する。VetConsoleは、画像を改善し、一括で画像を処理するPythonスクリプトアプリである。VetAIは、AIモデルを作成し、さらにシステムに入れられた画像を評価する、機械学習アプリケーションである。ImageMatch配向は、入力された画像に類似する正確に配向された画像をデータベース内で検索するPythonアプリである。ImageMatch検証は、入力された画像に類似する正確に分類された画像を、データベース内で捜索するPythonアプリである。サブ画像処理プロセッサは、図23A~図23Cにリスト化されたタスク(2301~2332)を遂行する。評価プロセッサは、図23Dおよび図23Eおよび図23Fの一部にリスト化されたタスク(2333~2346、2356、2357)を行う。合成プロセッサは、図23Fおよび図23Bの一部にリスト化されたタスク(2347~2355および2358~2363)を行う。 図23A~図23Fは、対象のために取得された画像に対する人工知能自動クロッピングおよび評価のワークフローの一連の概略図である。ワークフローは、タスクを遂行するために使用されるプラットフォームに基づいて、6列に分類され、タスクには、クリニック、V2エンドユーザアプリケーション、Vetlmagesアプリケーション、VetConsolePythonスクリプティングアプリケーション、VetAI機械学習アプリケーション、ImageMatch指向Pythonアプリケーション、およびImageMatch検証Pythonアプリケーションなどが挙げられる。さらに、タスクは、サブ画像プロセッサ、評価プロセッサ、および合成プロセッサなどの、タスクを遂行するプロセッサに基づいて、異なる濃淡レベルで網掛けされる。V2アプリケーションは、ユーザがアプリケーションと対話し、さらに分析される画像をアップロードする、エンドユーザアプリケーションである。Vetlmagesアプリケーションは、画像を処理して、AI結果もしくはAIレポート、または評価結果を作成する。VetConsoleは、画像を改善し、一括で画像を処理するPythonスクリプトアプリである。VetAIは、AIモデルを作成し、さらにシステムに入れられた画像を評価する、機械学習アプリケーションである。ImageMatch配向は、入力された画像に類似する正確に配向された画像をデータベース内で検索するPythonアプリである。ImageMatch検証は、入力された画像に類似する正確に分類された画像を、データベース内で捜索するPythonアプリである。サブ画像処理プロセッサは、図23A~図23Cにリスト化されたタスク(2301~2332)を遂行する。評価プロセッサは、図23Dおよび図23Eおよび図23Fの一部にリスト化されたタスク(2333~2346、2356、2357)を行う。合成プロセッサは、図23Fおよび図23Bの一部にリスト化されたタスク(2347~2355および2358~2363)を行う。 図23A~図23Fは、対象のために取得された画像に対する人工知能自動クロッピングおよび評価のワークフローの一連の概略図である。ワークフローは、タスクを遂行するために使用されるプラットフォームに基づいて、6列に分類され、タスクには、クリニック、V2エンドユーザアプリケーション、Vetlmagesアプリケーション、VetConsolePythonスクリプティングアプリケーション、VetAI機械学習アプリケーション、ImageMatch指向Pythonアプリケーション、およびImageMatch検証Pythonアプリケーションなどが挙げられる。さらに、タスクは、サブ画像プロセッサ、評価プロセッサ、および合成プロセッサなどの、タスクを遂行するプロセッサに基づいて、異なる濃淡レベルで網掛けされる。V2アプリケーションは、ユーザがアプリケーションと対話し、さらに分析される画像をアップロードする、エンドユーザアプリケーションである。Vetlmagesアプリケーションは、画像を処理して、AI結果もしくはAIレポート、または評価結果を作成する。VetConsoleは、画像を改善し、一括で画像を処理するPythonスクリプトアプリである。VetAIは、AIモデルを作成し、さらにシステムに入れられた画像を評価する、機械学習アプリケーションである。ImageMatch配向は、入力された画像に類似する正確に配向された画像をデータベース内で検索するPythonアプリである。ImageMatch検証は、入力された画像に類似する正確に分類された画像を、データベース内で捜索するPythonアプリである。サブ画像処理プロセッサは、図23A~図23Cにリスト化されたタスク(2301~2332)を遂行する。評価プロセッサは、図23Dおよび図23Eおよび図23Fの一部にリスト化されたタスク(2333~2346、2356、2357)を行う。合成プロセッサは、図23Fおよび図23Bの一部にリスト化されたタスク(2347~2355および2358~2363)を行う。 図23A~図23Fは、対象のために取得された画像に対する人工知能自動クロッピングおよび評価のワークフローの一連の概略図である。ワークフローは、タスクを遂行するために使用されるプラットフォームに基づいて、6列に分類され、タスクには、クリニック、V2エンドユーザアプリケーション、Vetlmagesアプリケーション、VetConsolePythonスクリプティングアプリケーション、VetAI機械学習アプリケーション、ImageMatch指向Pythonアプリケーション、およびImageMatch検証Pythonアプリケーションなどが挙げられる。さらに、タスクは、サブ画像プロセッサ、評価プロセッサ、および合成プロセッサなどの、タスクを遂行するプロセッサに基づいて、異なる濃淡レベルで網掛けされる。V2アプリケーションは、ユーザがアプリケーションと対話し、さらに分析される画像をアップロードする、エンドユーザアプリケーションである。Vetlmagesアプリケーションは、画像を処理して、AI結果もしくはAIレポート、または評価結果を作成する。VetConsoleは、画像を改善し、一括で画像を処理するPythonスクリプトアプリである。VetAIは、AIモデルを作成し、さらにシステムに入れられた画像を評価する、機械学習アプリケーションである。ImageMatch配向は、入力された画像に類似する正確に配向された画像をデータベース内で検索するPythonアプリである。ImageMatch検証は、入力された画像に類似する正確に分類された画像を、データベース内で捜索するPythonアプリである。サブ画像処理プロセッサは、図23A~図23Cにリスト化されたタスク(2301~2332)を遂行する。評価プロセッサは、図23Dおよび図23Eおよび図23Fの一部にリスト化されたタスク(2333~2346、2356、2357)を行う。合成プロセッサは、図23Fおよび図23Bの一部にリスト化されたタスク(2347~2355および2358~2363)を行う。
本明細書における発明の態様は、分析の様々な段階を伴う新規のシステムであって、受信画像が、特定の配向(側面図など)にある特定の身体領域を含むかどうかを判定し、画像を適切にクロッピングすること、および画像を、目標となるAIモデルと比較することによって、クロッピングされた画像を評価することを含む、システムを記載する。様々な実施形態では、ユーザによる入力あるいは介在なしで、画像中に表された1つ以上の身体領域および/または視野を自動的に識別し標識するために、新たな受信画像は事前に処理される。いくつかの実施形態では、画像が、自動的にクロッピングされることで、識別されたそれぞれの身体領域/視野に対応する1つ以上のサブ画像を作成するために、画像は自動的にクロッピングされる。いくつかの実施形態では、画像および/あるいはサブ画像は、システム内のAIプロセッサの残りを除いて、識別された身体領域/視野を評価するように構成された目標とされるAIプロセッサに、選択的に処理される。
いくつかの実施形態では、放射線画像プリプロセッサ(106)は、追加的にあるいは代替的に画像(102)全体にタグ付けし、画像(102)内で識別された身体領域および/または視野を識別し、その後、与えられたタグに対応するAIプロセッサ(104)のみに渡す。よって、このような実施形態では、AIプロセッサ(104)は、関連のある領域に焦点を当て、1つ以上の訓練された機械学習モデルを使用して、あるいは別の方法でさらに分析するために、画像(102)をクロッピングすることを相当する。いくつかの実施形態では、特定の身体領域/視野に対応するように画像(102)にタグ付症例ることに加え、放射線画像プリプロセッサ(106)は、動物の一部を実際に表わす画像の領域に主に焦点を当てるために、そしてそれらの領域のまわりの黒緑をできる限り取り除くために、追加的に画像(102)をクロッピングする。いくつかの実施形態では、クロッピングする工程を実行することが、さらなるクロッピング、および/または、与えられたタグに対応する特定の身体領域/視野を評価するために後に展開されるAIプロセッサ(104)による他の処理を促進する。
放射線画像プリプロセッサ(106)は、複数の方法のうちのいずれかで実施される。いくつかの実施形態では、例えば、放射線画像プリプロセッサ(106)は、特定の身体領域を示す1つ以上の特徴を識別し、そのような特徴を含む領域および/または動物を実際に表わす領域に終点を当てるために、画像(102)を自動的にクロッピングための1つ以上のアルゴリズムを用いる。いくつかの実施では、このようなアルゴリズムは、例えば、OpenCVーPythonライブラリの要素を使用して実施される。ドキュメンテーションおよびチュートリアルと同様に、オープンソースコンピュータビジョン(「OpenCV」)ライブラリの記述ならびにそれに関するドキュメンテーションおよびチュートリアルは、OpenCV用のユニフォームリソースロケータ(URL)を使用して見つけられる。URL経由でアクセス可能なマテリアルのコンテンツ全体は、参照によって本明細書に組込まれている。いくつかの実施形態では、放射線画像プリプロセッサ(106)は、追加的にあるいは代替的に画像一致法を用いて、画像(102)および/または1つ以上のクロッピングされたサブ画像(108)と、特定の身体領域の特定の視野を表わすとして知られている保存画像のリポジトリを比較し、1つ以上の保存画像と相関性が最も強いとみなされる身体領域/視野を表わす画像(102)および/またはサブ画像(108)が決定される。いくつかの実施形態では、追加的あるいは代替的に身体領域/視野の識別を行なうように訓練されたAIプロセッサが、放射線画像プリプロセッサ(106)内で用いられる。
いくつかの実施形態で、本明細書に記載される1つ以上のAIプロセッサは、TensorFlowプラットフォームを使用して実施される。TensorFlowプラットフォームの記述、ドキュメンテーションおよびチュートリアルは、TensorFlowウェブサイトを使用して見つけられる。ウェブサイト経由でアクセス可能なマテリアルのコンテンツ全体は、参照によって本明細書に組込まれる。AIプロセッサを構築するためのTensorFlowプラットフォームおよび方法は、Hope, Tom, et al. 25 Learning TensorFlow: A Guide to Building Deep Learning Systens.O’Reilly., 2017 に十分に説明されており、該文献は、参照によってその全体が本明細書に引用されている。
図3に示される例において、放射線画像プリプロセッサ(106)によって行なわれた事前処理は、(l)任意選択の「一般」自動クロッピング工程(ブラケット(306)によって描写された最初の5つのログエントリに反映される)であって、それに従って、動物の一部を表わす画像の領域に主に終点を当てるために、そしてそれらの領域のまわりの黒緑をできる限り取り除くために、画像(302)が最初にクロッピングされた、「一般」自動クロッピング工程と、(2)「分類された」自動クロッピング工程(ブラケット(306)内のログエントリ6~9に反映される)であって、それに従って、特定の身体領域/視野を識別して、それに焦点を当てるために画像(302)をクロッピングするために、例えば、OpenCVPythonライブラリの要素を使用して最初の試みがなされた、「分類された」自動クロッピング工程と(3)「画像一致」工程(ブラケット(306)によって描写された最後の3つのログエントリに反映される)であって、それに従って、画像(302)および/またはその1つ以上のクロッピングされたサブ画像(304a~b)が、特定の身体領域の特定の視野を表わすとして知られている保存画像のレポジトリと比較された、「画像一致」工程と、を含んでいた。対応するタイムスタンプによって示されるように、一般自動クロッピング工程は2秒で完了することが観察され、分類された自動クロッピングすることは3秒で完了することが観察され、画像一致工程は19秒で完了することが観察された。
図3のブラケット(308a)により描写されたログエントリによって示されるように、画像(302)が動物の胸部の側面図を含むかどうかを判定するために、側面胸部AIプロセッサ(104a)によってかかった時間は、4秒だった。同様に、ブラケット(308b)によって描写されたログエントリによって示されるように、側面腹部AIプロセッサ(104c)は、画像(302)が動物の腹部の側面図を含むかどうかを4秒で判定した。
代わりに、もしシステムが、放射線画像プリプロセッサ(106)によって識別された身体領域/視野に対応する2個のみのAIプロセッサではなく、可能な限りのAIプロセッサ(104a~l)のすべてを用いて、新たに受信した画像(302)を処理することを必要としたならば、AIプロセッサによる時間は著しくより長くなっていただろうし、かつ/または分析を完了させるために著しくより多くの処理資源を消費していただろう。例えば、30個の異なるAIプロセッサ(104)を含むシステムでは、撮像された動物の疾病を判定するための適切なAIモデルを単に識別するための処理は、AIプロセッサ(104)によって少なくとも処理時間120秒となっていただろう(つまり、プロセッサ1つあたり4秒で、30個のAIプロセッサ)し、そして、画像の複数の可能な限りの配向がAIプロセッサ(104)のそれぞれによって考慮される場合ははるかに長くなっていたかもしれない。放射線画像プリプロセッサ(106)の使用によって、一方では、適切なAIモデルの識別は、放射線画像プリプロセッサ(106)による前処理時間のAIプロセッサ(104)の処理時間のわずか8秒、および放射線画像プリプロセッサ(106)の処理時間の24秒間であることが、観測された。
撮像された動物が特定の医学的状態を有する可能性を判定するために、人工知能(AI)プロセッサ(例えば訓練されたニューラルネットワーク)を使用して、動物の放射線画像を処理することは有用である。典型的には、別個のAIプロセッサは、各身体領域(例えば、胸部、腹部、肩部、前肢、後肢など)および/あるいはそのような各身体領域の特定の配向(例えば、腹背(VD)面図、側面図など)を評価するために使われ、そのような各AIプロセッサがそれぞれの身体領域および/あるいは配向について、問題の身体領域に関して、特定の疾病が存在する可能性を判定する。そのような各AIプロセッサ、撮像された領域内のそれぞれの疾病あるいは器官を評価するために、多数の訓練されたモデルを含み得る。例えば、動物の胸部の側面図に関して、AIプロセッサは、肺門周辺の浸潤、肺炎、気管支炎、肺結節などのような、肺と関係した、特定の疾病が動物に存在する可能性を判定するために、異なるモデルを使用し得る。
肺炎または気胸の有無などの単一の病状の検出は、放射線医学AIにおいて、現在行われている。現在の放射線医学AIによる単一の疾患検出とは対照的に、ヒトの放射線医師は、多数の疾病の有無を同時に評価することによって、全体論的なアプローチで放射線画像を分析する。現在のAI処理の制限は、それぞれの特定の疾病のための、別個のAI検出器を用いる必要性である。しかしながら、疾病の組み合わせは幅広い疾患の診断を生じる。例えば、ある症例には、放射線画像から取得される1つ以上の診断結果が、いくつかの幅広い疾患によって引き起こされる。対象の放射線画像に存在する、幅広い疾患を判定するには、示唆的な診断として知られるプロセスにおける補足の診断結果の使用を要求する。これらの補足の診断結果は、放射線画像に加えて、血液検査、患者歴、生検あるいは他の検査および処理から抽出される。現在のAI処理は単一の診断結果に注目して、示唆的な診断を必要とする幅広い疾患を識別することができない。幅広い疾患を診断するために複数の診断結果を組み合わせることができる新規のAIプロセスは、本明細書に記載される。
AI処理は、現在、ヒトの対象の放射線画像において典型的なように、特定のエリアに向けられる制限された放射線画像を用いる。対照的に、獣医放射線学は、通常、単一の放射線画像内に複数の身体領域を含む。研究に含まれる、すべての身体領域を評価するための、獣医学の放射線医学において期待される幅広い評価を提供する新規のAI評価処理は、本明細書に記載されている。
単一の疾患処理のAIレポートのための現在の従来のワークフローは、図4の中で例証される。図4に示されるレポートする従来の単一の疾病レポートは、放射線画像の示唆的な診断のためには不十分である。さらに、評価結果の各組み合わせの個別化した規則は、レポートを作成するために非効率的であり、獣医放射線医師に期待されるレポート基準を満たすことができない。単一の疾患プロセスであっても、特定の疾病の重症度の判定(例えば、AIの指数的な数の中の正常、最小、軽度、中程度、重度)は、指数関数的な数のAIモデル結果のテンプレートを生じる。AIモデル診断結果の収集から単一のレポートのテンプレートを作成し選ぶプロセスは、AIモデルの数とともに指数的に規模が大きくなる。単一の疾患プロセスのためのAIモデルの数は、図5A~図5Fの中で例証されるように5つの重症度のための、57の異なるテンプレートを生じる。したがって、AIモデル診断結果の各組み合わせのための、手動で作成されたレポートは、まとめて解釈される、多数のAIモデルには上手くスケールアップできない。
AI分析のための自動化システム
本明細書では、対象動物の画像を分析する新規のシステムが記載され、該システムは、対象の画像を受け取る受信機と、サブ画像を取得するために、前記画像内の少なくとも1つの身体領域を識別し、クロッピングし、配向し、かつ標識するための少なくとも1つのサブ画像処理プロセッサと、少なくとも1つの疾病の存在についてサブ画像を評価する、少なくとも1つの人工知能評価プロセッサと、少なくとも1つのサブ画像評価、および任意選択で非画像データから、総合的な結果レポートを生成するための、少なくとも1つの合成プロセッサと、サブ画像および総合的な合成診断結果レポートを表示するためのデバイス、を含む。
システムは、(1)典型的には手動で、あるいはユーザの助けで行なわれるタスクであるサブ画像の抽出を、サブ画像プロセッサにより自動化すること、および(2)評価結果および他の非画像データポイントの大きな収集を、合成プロセッサを用いて、簡潔で凝集性のある全体的なレポートに合成することにより、獣医学診断の画像分析におけるかなりの進歩をもたらす。
症例は、対象動物の1つ以上の画像の収集を含み、さらに、限定されないが、世代、性別、位置、病歴、および他の医学検査結果などの)、非画像データを含場合がある。前記システムの一実施形態では、各画像は、多数の身体領域についての様々な視界の複数のサブ画像をつくり出す多数のサブ画像プロセッサに送られる。それぞれのサブ画像は、様々な疾病、所見、あるいは複数の身体領域に及ぶ他の特徴についての複数の評価結果を生成する多数の評価プロセッサによって処理される。合成プロセッサは、評価結果および非画像データポイントの全てまたは部分集合を処理して総合的な合成診断結果レポートを生成する。前記システムの一実施形態では、多数の合成プロセッサは、評価結果の異なる部分集合および非画像データポイントから、多数の合成診断結果レポートを生成する。これらの診断レポートが、補助データと一緒にまとめられて最終となる総合的な合成診断の結果レポートが作成される。
システムの一実施形態では、それぞれの合成プロセッサは、例えば、胸部または腹部などの、身体領域に対応するサブ画像および非画像データポイントの部分集合に対して処理を行う。獣医放射線医学では典型的な方法であるが、各合成診断レポートは身体領域を含む。総合的な合成診断結果レポートは、例えば、名前、世代、住所、品種などの対象の記述的データと、例えば、胸部の診断結果セクションおよび腹部の診断結果セクションなどの、各合成プロセッサの出力に対応する多数のセクションを含む。
システムの一実施形態では、対象は、哺乳動物、爬虫類、魚類、類、両生類、脊索動物、および鳥類から選択される。前記哺乳動物は、イヌ、ネコ、げっ歯類、ウマ、ヒツジ、ウシ、ヤギ、ラクダ、アルパカ、水牛、ゾウ、およびヒトである。前記対象は、ペット、家畜、動物園の貴重な動物、野生動物、および研究動物である。
システムによって受け取られた画像は、X線(放射線画像)、核磁気共鳴画像法(MRI)、磁気共鳴血管画像法(MRA)、コンピュータ断層撮影(CT)、蛍光透視検査、マンモグラフィ、核医学、陽電子放出断層撮影(PET)、および超音波などから選択される放射線検査からの画像である。いくつかの実施形態では、画像は写真である。
システムのいくつかの実施形態では、対象の画像の分析は、約20分未満、約10分未満、約5分未満、約1分未満、約30秒未満、約20秒未満、約15秒未満、約10秒未満、あるいは約5秒未満で、総合的な合成結果レポートを生成し、表示する。
サブ画像プロセッサ
サブ画像プロセッサは、画像における少なくとも1つの身体領域を配向し、クロッピングし、および標識することで、すみやかにサブ画像を自動取得する。サブ画像処理プロセッサは、画像を特異的な視界に依存する標準配向へ回転させることにより、画像を配向させる。配向は、獣医学用の放射線標準ハンギングプロトコルによって決定される。サブ画像処理プロセッサは、1つ以上の身体領域を描写する画像における境界を識別すること、および、識別された境界内の画像を包含する画像データを作成することにより、画像をクロッピングする。
いくつかの実施形態では、境界は一定のアスペクト比である。代替的な実施形態では、境界は一定のアスペクト比ではない。サブ画像処理プロセッサは、サブ画像内に包含される各身体領域の境界および/または位置をレポートすることにより、サブ画像を標識する。身体領域は、例えば、胸部、腹部、脊髄、前肢、頭部、頚部などである。いくつかの実施形態では、サブ画像処理プロセッサは、獣医学用の放射線標準身体領域標識によって、サブ画像を標識する。
サブ画像処理プロセッサは、画像を、複数のライブラリのうち少なくとも1つにおける複数の参照画像に一致させることにより、1つ以上のサブ画像を配向し、クロッピングし、標識する。複数のライブラリのそれぞれは、動物種に特異的あるいは非特異的である複数の参照画像それぞれを含んでいる。
サブ画像処理プロセッサは、画像を配向し、クロッピングし、かつ/または標識することに先立って、画像のシグネチャを抽出し、それにより、画像またはサブ画像を類似する参照画像とすみやかな一致させることを可能にする。サブ画像処理プロセッサは、約20分未満、約10分未満、約5分未満、約1分未満、約30秒未満、約20秒未満、約15秒未満、約10秒未満、あるいは約5秒未満で、画像を処理してサブ画像を取得する。
評価プロセッサ
人工知能評価プロセッサは、疾病、所見、または他の特徴の存在または不在について、サブ画像を評価する。評価プロセッサは、疾病、所見、または特徴の存在の可能性をレポートする。
評価プロセッサは、サブ画像から疾病を診断する。評価プロセッサは、非医学的な特徴、例えば対象の適切なポジショニングについて、サブ画像を評価する。評価プロセッサは、対象のポジショニングを修正するための指示を生成する。
典型的には、評価プロセッサ訓練は、疾病、所見、または他の特徴に関して、陰性対象/正常および陽性対照/異常の訓練セットを含む。陽性対照/異常の訓練セットは、典型的には疾病、所見、または他の特徴が存在すると評価された症例を含む。陰性対照/正常の訓練セットは、疾病、所見または他の特徴が不在であると評価された症例、および/または、完全に正常であると見なされた症例を含む。いくつかの実施形態では、陰性対照/正常の訓練セットは、関心のものとは異なる他の疾病、所見、または特徴が存在すると評価された症例を含む。従って、評価プロセッサはロバストである。
評価プロセッサは、疾病の存在をレポートするために、約20分未満、約10分未満、約5分未満、約1分未満、約30秒未満、約20秒未満、約15秒未満、約10秒未満、または約5秒未満で、サブ画像を処理する。
合成プロセッサ
合成プロセッサは、評価プロセッサから少なくとも1つの評価を受け取り、包括的な結果レポートを生成する。合成プロセッサは、非画像データポイントを含む場合があり、例えば、種、品種、世代、体重、ロケーション、性別、血液、尿、および排泄物の検査を含む医療の検査歴、放射線学レポート、ラボのレポート、組織学レポート、健康診断レポート、微生物学レポート、または他の医学的および非医学的検査または結果が挙げられる。対象の症例模範結果は、少なくとも1つの画像、関連する評価プロセッサの結果、および最近の非イメージデータ・ポイントの0以上の収集を含んでいる。
方法の一実施形態では、合成プロセッサは、前記症例模範結果を使用して、全体の結果レポートとして出力するために予め書かれたテンプレートを選択する。テンプレートは、カスタマイズされた総合的な結果レポートを提供するために、症例模範結果の要素に基づいて、自動的にカスタマイズされる。
合成プロセッサは、クラスタグループに対象の症例模範結果を割り当てる。クラスタグループは、他の対象に由来する症例模範結果の参照ライブラリからの、他の同様の症例模範結果を包含する。場合によっては、クラスタグループは部分的な症例模範結果、例えば結果レポートを包含している。参照ライブラリは、多くの動物種の少なくとも1つからの既知の疾患および疾病を有する症例模範結果を含む。合成プロセッサの性能を時間にわたって改良するために、新しい症例模範結果は参照ライブラリに加えられる。合成プロセッサは、クラスタグループの中の各々の症例模範結果のロケーションを表現する座標を決める。
単一の総合的な結果レポートは全クラスタグループ割り当てられ、および、前記総合的な結果レポートは、合成プロセッサによって対象に割り当てられる。いくつかの実施形態では、いくつかの総合的な結果レポートは、関連する症例模範結果なしで、クラスタの中の様々な症例模範結果、および/またはクラスタ重心などのクラスタ内の様々なカスタム座標に割り当てられる。対象の症例模範結果の座標は、最も近い又は最も近いのではない症例模範結果との、あるいは関連する総合的な結果レポートがあるカスタム座標との距離を計算するために使用され、その後、対象に割り当てられる。
前記総合的な結果レポート(複数可)は、専門家の人間の評価者によって書かれる。代替的な実施形態では、前記総合的な結果レポートは、既存の放射線学レポートから生成される。既存の放射線学レポートは、名前、日付、従来の研究への参照などの普遍的に適用可能でない内容を取り除いて適切な総合的な結果レポートを作成するために自然言語処理(NLP)によって修正される。総合的な結果レポート内に包含されるステートメントは、クラスタの中の出現度の閾値を満たさない場合、取り除かれるか編集される。
合成プロセッサは、対象について割り当てられた総合的な結果レポートを出力し、それにより対象における1つ以上の所見、疾病および/または疾病の存在を特定および診断する。クラスタグループは、K平均クラスタリング、平均シフトクラスタリング、密度ベース空間クラスタリング、期待値最大化(EM)クラスタリング、および凝集型階層クラスタリングから選択されたクラスタリングツールを使用して、症例模範結果の参照ライブラリから確立される。
合成プロセッサは、総合的な結果レポートを生成するために、約20分未満、約10分未満、約9分未満、約8分未満、約7分未満、約6分未満、約5分未満、約4分未満、約3分未満、約2分未満、約1分未満、約30秒未満、約20秒未満、約15秒未満、約10秒未満、あるいは約5秒未満で、症例模範結果を処理する。
クラスタリングは、各例の特徴中の類似性によって標識無しの例をグループ化するためのAI技術である。非放射線画像および/または非AI診断結果に加えて、AIプロセッサ診断結果に基づいた患者研究をクラスタリングするためのプロセスが本明細書に記述される。クラスタリングプロセスは、同様の診断または出力レポートを共有するレポートをグループ化し、それによって拡張可能な方法で、全体論的な(wholeーistic)疾病またはより幅の広い疾患の検知することを促進する。
放射線写真画像についてのAIの予測的な画像解析の複数の方法とレポートライブラリデータベースと新しく受取られた画質評価とを組み合わせる、分析の複数多段を有する新規なシステム、および方法が、本明細書に記載される。様々な実施形態において、本明細書に記載される新規なシステムは、各X線写真画像によって対象とされた視野、領域、または領域を自動的に検知する。
いくつかの実施形態では、システムは、AI評価に先立ち、X線写真画像プリプロセッサ(106)を使用して、新しく受取られたX線写真画像(102)を、クロッピングし、回転し、反転し、サブ画像を作成し、および/または画像露光を標準化するために、前処理する。1つ以上の身体領域または視野が特定される場合、システムは、1つ以上のサブ画像(108a、108bおよび108c)を生成するために、特定されたそれぞれの領域および視野に対応する画像(102)をさらにクロッピングする。いくつかの実施形態では、システムは、識別された領域/視野を評価するように構成された目的のAIプロセッサに、画像および/またはサブ画像を選択的に処理して送る。画像(108a)は、側面胸部AIプロセッサであるAIプロセッサ(104a)にのみに送られる。側面腹部AIプロセッサである画像(108b)は、AIプロセッサ(104c)のみに送られる。画像(108c)は、側面骨盤AIプロセッサであるAIプロセッサー(104k)にのみに送られる。画像は、目的とされないAIプロセッサにも、システム内の残りのAIプロセッサにも送られない。例えば、胸の画像図7は、心不全、肺炎、気管支炎、間質性疾患、病気の肺、発育不全の気管、心臓肥大症、肺結節、胸水、胃炎、食道炎、気管支拡張症、肺の過膨張、肺血管拡張、胸部リンパ節腫脹などの、図6にリストされた疾患のための1つ以上のAIプロセッサに送られる。
いくつかの実施形態では、AIモデルプロセッサは、正常または異常という二値の結果を提供する二値プロセッサである。様々な実施形態において、AIモデルプロセッサは、例えば、正常、最小、軽度、中程度、重症などの、特定の疾病の重症度の判定を伴う正常か異常かの診断を提供する。
いくつかの実施形態では、新しく受取られるAIモデルプロセッサ結果は、ユーザインタフェースに表示される。図9A~図9Eを参照されたい。各モデルについての平均AIモデルプロセッサ結果は、個々の画像またはサブ画像の評価結果から収集され、および表示される。図9Aを参照されたい。ユーザインタフェースは、個々の画像またはサブ画像、およびその画像についてのAIモデルプロセッサ結果を表示する。図9B~図9Eを参照されたい。AI分析は、1分、2分、または3分未満で完了する。
いくつかの実施形態では、1つ以上のAIプロセッサ結果について最も近い一致症例またはAIプロセッサ「模範結果」を発展させるために、1つ以上のクラスタが、既知のX線写真画像のライブラリおよび対応する放射線学レポートデータベースから、AIプロセッサ診断結果を使用して、システムによって構築される。模範結果は、少なくとも1つの画像、関連する評価プロセッサ結果の収集、および世代、性別、ロケーション、品種、医療検査結果などの、非画像データポイントの0以上の収集を含む。合成プロセッサは、クラスタグループの中の各々の症例模範結果のロケーションを表現する座標を決める。従って、2つの症例が同様の模範結果を有している場合、診断は類似しているか、また大部分は同一であり、および、単一の全体的結果レポートは、2つの症例に当てはまる。いくつかの実施形態では、単一の模範結果は全クラスタに割り当てられ、および、クラスタに位置決めされた対象症例は、模範結果を割り当てられる。いくつかの実施形態では、複数の模範結果は、クラスタにおける特定の座標(例えば、重心)または特定のデータセット症例のどちらかに結び付けられたクラスタに割り当てられる。いくつかの実施形態では、模範結果は、人間によって書かれるか、または症例に結び付けられた既存の放射線学レポートから自動生成される。
いくつかの実施形態では、ユーザは、図11のユーザインタフェースを用いて、既知のX線写真画像のライブラリおよび対応する放射線学レポートからクラスタを作成するために、各種パラメータを規定する。ユーザは、「コード」下で、新しいクラスタに対して名前を割り当てる(1101)。ユーザは、クラスタを作成するために各種パラメータを選択する。ユーザは、症例を選択するために、症例開始日付(1102)と症例終了日付(1103)を選択する。ユーザは、症例を選択するために、開始症例ID(1104)および終了症例ID(1105)を選択する。ユーザは、クラスタに含まれる症例(1106)の最大値を選択する。ユーザは、症例がクラスタに含まれるように、イヌ、ネコ、イヌまたはネコ、ヒト、鳥類のペット、家畜などの種を選択する(1107)。ユーザは、X線、CT、MRI、血液分析、尿検査などの、クラスタの作成に含まれるべき特定の診断モダリティを選択する(1108)。
様々な実施形態において、ユーザは、特定の数のクラスタへと評価結果を分けて、指定する。クラスタの数は、最小の1クラスタからクラスタの中へ入られた症例の数の合計によってのみ制限される最大数のクラスタに及ぶ。システムは、AIプロセッサ診断結果に加えて、血液検査、患者の病歴、または他の検査あるいはプロセスなどの、非X線写真および/または非AI診断結果を使用して、1つ以上のクラスタを構築する。クラスタは、図12に示されるような、カンマセパレイテッドバリュー(CSV)ファイル形式の数的な形式でリストされる。CSVファイルは、クラスタの症例中の症例ID (1201)をリストする。特定の症例IDについての各二値モデルに対する平均評価結果(1202)は、CSVファイルでリストされる。特定の症例を含むクラスタ標識またはクラスタロケーション(1203)は、評価結果の収集に基づいてCSVファイル中にリストされる。CSVファイルはクラスタ座標をリストする。特定のクラスタの重心または中心の症例ID(1204)は、CSVファイル中にリストされる。
様々な実施形態では、クラスタはクラスタリンググラフによって表現される。図13を参照されたい。クラスタリンググラフは、平均評価結果をユーザによって定義されたパラメータ(1102~1108)に依存する複数の異なるクラスタへと分割することにより作成される。様々な異なるクラスタが、グラフ上でプロットされたドットの集りによって表現される。図13のクラスタリンググラフは、様々なサイズの180のクラスタを示す。
いくつかの実施形態では、ユーザインタフェースは、ユーザに定義されたパラメータ(1102~1108)に基づいて生成されたAIクラスタモデルを示す。図14を参照されたい。ユーザインタフェースは、スクリーニング評価構成を示し、ここでユーザは、特定の「スクリーニング評価構成」名(1501)に特定の「クラスタモデル」(1502)を割り当てている。スクリーニング評価構成のステータス(1503)は、当該構成がライブ、テスト、またはドラフトモードにあるかどうかなどの、構成に関する追加情報を提供する。ライブモードはプロダクション向けであり、および、テストモードまたはドラフトモードは開発向けである。
いくつかの実施形態では、ユーザインタフェースは、特定のクラスタモデル、胸部97(1601)について詳細を記載する。図16Aを参照されたい。いくつかの実施形態では、ユーザインタフェースは、クラスタに含まれるAI評価分類子タイプをリストする(1602)。ユーザインタフェースは、当該クラスタモデルに特異的な種(1603)、評価結果を有する症例の最大値(1604)、または、クラスタを作成するために使用された症例の開始および終了の日付(1605)などの、クラスタの構築のために使用される付加的なパラメータを表示している。前記ユーザインタフェースは、数値表フォーマットでクラスタを示すカンマセパレイテッドバリュー(CSV)ファイルにリンク(1606)を提供する。ユーザインタフェースは、パラメータ(1602~1605)から作成されサブクラスタ(1608)をリストする。ユーザインタフェースは、クラスタグループのために作成されたサブクラスタの総数(1609)を表示する。ユーザインタフェースは、各サブクラスタについての重心症例ID(1610)を提供する。クラスタ構築についてログは、ユーザインタフェースにおいて提供される。図16Bを参照されたい。
様々な実施形態では、システムは、新しく受け取られた診断未確定の画像を評価し、および新しく受け取られた評価結果を取得するために、1つ以上のAIプロセッサを利用する。システムは、新しく受け取られた評価結果を既知のX線写真画像のライブラリおよび対応する放射線学データベースレポートから得られた1つ以上のクラスタと比較する。
ユーザは、AI Evalテスタに新しく受け取られたAIプロセッサ結果をインポートする。図17Aを参照されたい。ユーザは、スクリーニング評価タイプ(1702)および対応するクラスターモデル(1703)を規定する。
システムは、新しく受け取られた評価結果に加えて非X線写真および/または非AI診断結果を、利用可能な他のものに加えて既知のX線写真画像および対応する放射線学レポートデータベースのライブラリから得られた1つ以上のクラスタと比較する。システムは、放射線科医レポートを作成するために、新しく受け取られたAIプロセッサ結果のロケーションとクラスタ結果との間の距離を評価し、および1つ以上のクラスタ結果を利用する。いくつかの実施形態では、システムは、既知のクラスタ結果に対する新しく受け取られたAIプロセッサ結果のロケーションに依存して、既知のクラスタ結果からの放射線科医レポート全体、または放射線科医レポートの一部を利用することを選択する。様々な実施形態において、システムは、同じクラスタ内の他の結果からの放射線科医レポート全体、または放射線科医レポートの一部を利用することを選択する。いくつかの実施形態では、システムは、クラスタ結果の重心からの放射線科医レポート全体、または放射線科医レポートの一部を利用することを選択する。
ユーザインタフェースは、AI Evalテスタの結果を表示する。図18Aを参照されたい。様々な実施形態において、予め作成されたクラスタ結果に基づく評価結果に最も近い放射線科医レポートからの診断および最終所見(1801)が表示される。いくつかの実施形態では、評価所見(1802)は評価結果のクラスタにおける放射線科医レポートから選択され、および、特定のクラスタの所見セクションにおける特定の文の出現度に基づいてフィルタされる。いくつかの実施形態では、クラスタにおける放射線科医レポートからの提言(1803)は、このクラスタの提言セクションにおける各々の文または類似する文の出現度に基づいて選択される。ユーザインタフェースは、クラスタ(1804)の放射線科医レポートおよびクラスタの重心(1805)の放射線科医レポートを表示する。ユーザインタフェースは、ユーザが特定の文を加えるかまたは取り除くことで所見セクション(1809)、結論セクション(1810)、または提言セクション(1811)を編集することによってレポートを編集することを、可能にする。図18Dを参照されたい。最も近い一致のデータベース症例についての放射線科医レポートは、新しく受け取られたX線写真画像についての放射線学レポートを生成するために使用される。特定のクラスタ結果に基づく放射線学レポートにおける文は、ランク付けされ、およびそのランクと出現度によってリストされる。図18Aおよび図18Bを参照されたい。
様々な実施形態では、システムは、新しく受け取られた診断未確定の画像を評価し、および新しく受け取られた評価結果を取得するために、1つ以上のAIプロセッサを利用する。システムは、新しく受け取られた評価結果を既知のX線写真画像のライブラリおよび対応する放射線学データベースレポートから得られた1つ以上のクラスタと比較する。
システムは、新しく受け取られた評価結果に加えて非X線写真術のおよび/または非AI診断結果を、利用可能な他のものに加えて既知のX線写真画像および対応する放射線学レポートデータベースのライブラリから得られた1つ以上のクラスタと比較する。システムは、放射線科医レポートを作成するために、新しく受け取られたAIプロセッサ結果のロケーションとクラスタ結果との間の距離を評価し、および1つ以上のクラスタ結果を利用する。いくつかの実施形態では、システムは、既知のクラスタ結果に対する新しく受け取られたAIプロセッサ結果のロケーションに依存して、既知のクラスタ結果からの放射線科医レポート全体、または放射線科医レポートの一部を利用することを選択する。様々な実施形態において、システムは、同じクラスタ内の他の結果からの放射線科医レポート全体、または放射線科医レポートの一部を利用することを選択する。いくつかの実施形態では、システムは、クラスタ結果の重心からの放射線科医レポート全体、または放射線科医レポートの一部を利用することを選択する。
いくつかの実施形態では、本明細書に記載されたAIプロセッサの1つ以上はTensorFlowプラットフォームを使用して実行される。TensorFlowプラットフォームの解説、ならびに資料および指導書は、TensorFlowウェブサイトで見ることができる。TensorFlowウェブサイトにおいて利用可能な資源の全内容は、参照によってその全体が本明細書に組み込まれる。
いくつかの実施形態では、本明細書に記載されたクラスタリングモデルの1つ以上は、Plotlyプラットフォームを使用して実行される。Plotlyプラットフォームの解説、ならびに資料および指導書は、scikitウェブサイトで見ることができる。scikitウェブサイトにおいて利用可能な資源の全内容は、参照によってその全体が本明細書に組み込まれる。TensorFlowプラットフォームおよびScikit learnを使用するAIプロセッサおよびクラスタリングモデルの開発は、以下の参照文献に完全に記載される:Geron Aurelien. Hands-on Machine Learning with Scikit-Learn and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems. O’Reilly, 2019; Hope, Tom, et al. Learning TensorFlow: A Guide to Building Deep Learning Systems. O’Reilly., 2017; and Sievert, Carson. Interactive Web-Based Data Visualization with R, Plotly, and Shiny. CRC Press, 2020。これらの参照文献は、参照によりその全体が本明細書に組み込まれる。
もし放射線科医が各々のモデルを評価し、一緒に見出された別個のAIプロセッサ結果に基づいてルールを作成することを試みていたならば、ルールおよびレポートの作成は、時間的に不可能であっただろう。付加的に、既に組み込まれるAIプロセッサモデルの数が増加するにつれ、このシナリオの中への単一の追加的AIプロセッサモデルの追加は、指数関数的により困難になる。放射線科医レポートを作成するために、AIプロセッサ結果クラスタリングの新規なワークフロー、または新しい画像と既知のデータセットとの間の「模範結果」比較を採用することによって、複数のAIプロセッサ結果が見出される場合の手作業のレポート構築の問題は、解決される。従来数か月かかっていた個別のAIプロセッサ結果を介する手動でのレポート構築およびルール作成は、新規なワークフローにより最小限の時間しかかからなくなる。
システムのいくつかの実施形態では、AI評価のために使用される構成要素は、図21Aに記載されるとおりである。システムの様々な実施形態において、画像マッチAI処理のために使用される構成要素は、図21Bに記載されるとおりである。
システムの様々な実施形態において、AI放射線写真分析のためのサーバーアーキテクチャは、X線写真画像を前処理すること、AI診断プロセッサを使用して画像を分析すること、およびクラスタリング結果に基づくレポートを作成することを含む。図22Bを参照されたい。いくつかの実施形態では、NGINXロードバランシングサーバ(2202)、V2クラウドプラットフォーム(2203)、データベース、マイクロソフトSQLサーバ(2207)、およびデータストアサーバ(2208)を含む様々なサーバが使用される。
システムの様々な実施形態では、ユーザは、AIシステムを訓練するために、症例にフラグを立てる。システムのいくつかの実施形態では、放射線学レポートが不正確であることを理由に放射線学レポートが編集を必要とする場合、または、レポートが不適当な場合、または症例が新規な診断を有し、従って、放射線学レポートが、診断のために新しい言葉を必要とする場合、ユーザは症例にフラグを立てる。
AI自動クロッピングおよび評価のワークフローの一連の概略図は、図23A~図23Fに例示される。ユーザは、システムによって分析される画像(DICOM、JPEG、JPG、PNGなどの形式)をアップロードするために、V2エンドユーザアプリケーション(2301)にアクセスする。いくつかの実施形態では、画像はVetImagesアプリケーションに直接アップロードされる(2305)。V2は画像を処理し(2302)、画像はデータストアに保存し、さらに画像を処理することをVetImagesに要求する(2303)。VetImagesは、V2からリクエストを受取り、非同期の処理を始める(2304)。VetImagesはデータストアからの画像にアクセスし(2307)、および画像を前処理することをVetConsoleに要求する(2308)。VetConsoleは、画像の質を改善し、および画像を自動クロッピングするために(2310)、OpenCV(2309)を使用する。データストアからの画像にアクセスした後のタスクは、サブ画像プロセッサによって実行される。
VetConsoleは、画質が改善された自動クロッピングされた画像をVetImagesに送り、VetImagesは、画像を分析し、および、画像における胸部、腹部、および骨盤を分類すること(2311)をVetConsoleに要求する。VetConsoleは、画像における、胸部、腹部、および骨盤を分類し(2312)、およびVetImagesに座標を送る。VetImagesは、ImageMatchの検証(2313)に画像および座標を送る。ImageMatch検証は、前記画像および座標を、それ自体のデータベースにおける正確に分類された画像と一致させ、および、一致した画像の距離とパスをVetImagesに送る(2314)。VetImagesアプリケーションは一致した画像についてのデータを受け取り、および身体領域を確証するためにデータベース情報を使用する(2315)。次のタスクは画像配向を判定することである。画像は回転され、および反転される(2317)。各々の回転および反転の後、一致された画像と比較するため、および、一致された画像と新しく受け取られたた画像との間の距離および画像パスを計測するために、画像はImageMatch配向アプリケーションに送られる(2318)。ImageMatch配向アプリケーションは、新しく受け取られた画像と一致された画像との間の距離および画像パスを有する結果を送る(2319)。一致された画像からの最小の距離を有している新しく受け取られた画像の配向は、VetImagesアプリケーションによって選択される(2320)。各々の配向および各々の反転をチェックするプロセスは、画像が360度回転されるまで、および適切な角度で反転されるまで、繰り返される。いくつかの実施形態では、配向が選択された画像は、胸部(2321)と腹部(2323)を検知するため、および、胸部(2322)と腹部(2324)を有するサブ画像をクロッピングするための座標を取得するために、VetAIに送られる。座標を取得するプロセスは、TensorFlowで座標付けされる。
VetImagesアプリケーションは、ImageMatchの検証から座標を取得し、および、サブ画像を取得するための座標に従って画像をクロッピングする(2325)。サブ画像は一致させるためにImageMatch検証アプリケーションに送られる(2326)。データベース画像はサブ画像に一致され(2327)、および、一致されたデータベース画像とサブ画像との間の距離および画像パスは、VetImagesアプリケーションに送られる。VetImagesアプリケーションは距離と画像パスのデータを受け取り(2328)、および、一致された画像から受け取られたデータを使用して、身体領域を確証する。VetImagesアプリケーションは、各サブ画像が有効かどうかをチェックするために、各々のサブ画像を分析する。サブ画像が有効でない場合(2331)、VetConsoleアプリケーションから一般クロッピングされた画像は、データベースまたはデータストアに保存される(2332)。サブ画像が有効である場合(2330)、サブ画像はデータベースまたはデータストアに保存される(2332)。データベースまたはデータストアに保存された画像は、さらなる処理または分析のために使用される、クロッピングされた画像である。VetImagesアプリケーションは、サブ画像または一般クロッピングされた画像についてVetConsoleから得られたデータを、データベースに保存する(2332)。
以下のタスクが評価プロセッサによって実行される。VetImagesアプリケーションは、VetAIアプリケーションにポジショニング評価(2333)のためにクロッピングされた画像を送る。VetImagesアプリケーションによってVetAIアプリケーションから受け取られた(2334)データは、データベースに保存され(2335)、および、クリニックに電子メール(2336)を送信するように、V2アプリケーションに信号が送られる。VetImagesアプリケーションは、データベースからのライブのAIモデルにアクセスする(2337)。クロッピングされた画像は、クロッピングされた画像の身体領域に基づいてVetAIアプリケーションにおける適切なAIモデルに送られる(2339)。適切なAIモデルは各々の身体領域のために所定である。VetAIアプリケーションは、AI評価標識および機械学習(ML)AI評価結果をVetImagesアプリケーションに送り(2340)、VetImagesアプリケーションは、これらのデータをクロッピングされた画像のためのデータベースに保存する(2341)。VetImagesアプリケーションは、クロッピングされた画像についてのAI評価結果に基づいて画像の標識と可能性を計算する(2342)。AI評価結果を取得するためにクロッピングされた画像を送る(2339)プロセスは、所定のAIモデルが処理される(2338)まで、反復される(2342)。
VetImagesアプリケーションは、症例からの各画像が処理されてAI評価結果を取得するかどうかを分析する(2344)。症例からのすべての画像が処理されない場合、VetImagesは、症例における次の画像をプロセスに返す。症例からの画像がすべて処理されている場合、VetImagesは、各々のクロッピングされた画像の標識と可能性に基づいて、全体として、症例の標識と可能性を計算する(2345)。その後、VetImagesアプリケーションは、ステータスをデータベースからライブおよびスクリーニング評価タイプに変更する(2346)。VetImagesアプリケーションのステータスをライブに変更する際、タスクは合成プロセッサによって実行される。VetImagesアプリケーションは、スクリーニング評価がすべて完了したかどうか、査定する(2347)。すべてのスクリーニング評価が完了していない場合、VetImagesアプリケーションは、スクリーニング評価がクラスタリングによって完了されなければならないかどうか、査定する(2348)。スクリーニング評価がクラスタリングによって完了されなければならない場合、処理された画像についてのAI評価結果がVetAIアプリケーションに送られ(2349)、および、ベストマッチクラスタの結果がVetImagesアプリケーションに送られ(2350)、ここでVetImagesアプリケーションは、最良一致のクラスタリング結果に基づくスクリーニング結果を生成し、およびデータベースに保存する(2351)。VetImages アプリケーションがクラスタリングによるスクリーニング評価を行わないと判断した場合、探索ルールがアクセスされ、および探索ルールに基づいてAI評価結果を処理し、スクリーニング結果を取得し、およびデータベースに保存する(2353)。スクリーニング結果の取得とデータベースへの保存のプロセスは、症例の全画像のスクリーニング評価が終了し、かつ完全な結果レポートが取得されるまで繰り返される(2354)。
VetImagesアプリケーションは、対象の種が識別されており、かつデータベースに保存されているかどうか、査定する(2355)。種が識別されていない場合、VetAIアプリケーションは、対象の種を評価(2357)し、種の評価結果をVetImagesアプリケーションに送る。種を評価するためのタスク(2356~2357)は、評価プロセッサにより実行される。いくつかの実施形態では、VetImagesアプリケーションは、種がイヌかどうか査定する(2358)。種がイヌとして肯定的に識別される場合、症例はフラグを立てられ(2359)、および、評価が結果レポートに添付される。VetImagesアプリケーションは、症例の評価が完了したことをV2に通知する(2360)。V2アプリケーションは、症例にフラグが立っているかどうかを査定する(2361)。レポートにフラグが立っている場合、結果レポートは症例ドキュメントに保存され(2362)、および、結果レポートがクライアントに電子メールされる(2363)。報告にフラグが立っていない場合、結果報告は症例ドキュメントに保存されずに、クライアントに電子メールされる(2363)。
クラスタリング
クラスタリングは一種の教師なし学習法である。教師なし学習法は、標識が付けられた応答を伴わない入力データから成るデータセットから参照が引き出される方法である。概して、クラスタリングは、一組の具体例の中で本来的な、意味のある構造、説明的な根底にあるプロセス、生成的な特徴、およびグループ分けを見つけるためのプロセスとして使用される。
クラスタリングは、同じグループにおけるデータポイントが同じグループにおける他のデータポイントに類似し且つ他のグループにおけるデータポイントに非類似であるように、集団またはデータポイントを数あるグループへと分割するタスクである。従って、クラスタリングは、それらの間における類似性および非類似性に基づいてオブジェクトをグループへとまとめる方法である。
クラスタリングは、標識が付いていないデータ間の内因性のグループ化を確定するために、重要なプロセスである。クラスタリングは、ユーザの目的を満たすのに有用な基準を選択するユーザに依存するため、良いクラスタリングための基準は存在しない。例えば、クラスタは、均質なグループの代表を見つけること(データ集約)、「自然なクラスタ」を見つけ、およびそれらの未知の特性を記載すること(「自然な」データタイプ)、有用かつ適切なグループ分けを見つけること(「有用な」データクラス)、または、異常なデータオブジェクトを見つけること(孤立値検知)、に基づく。このアルゴリズムは、ポイントの類似性を構成する仮説を作り、および、各仮説は異なり且つ同等に有効なクラスタを作る。
クラスタリング方法:
以下のとおり、クラスタリングのための様々な方法がある。
密度ベースの方法:これらの方法は、クラスタを、ある程度の類似性を有する密領域と見なし、および空間の低い密領域とは異なるものとする。これらの方法は、優れた精度、および2つのクラスタを統合する能力を有する。密度ベースの方法の例は、ノイズを伴うアプリケーションの密度ベース空間クラスタリング(DBSCAN)、クラスタ構造を特定するためのポイント順序付け(OPTICS)などである。
階層ベースの方法:この方法によって形成されたクラスタは、階層をベースとするツリータイプ構造を形成する。新しいクラスタは、予め形成されたクラスタを使用して形成される。階層ベースの方法は、凝集的(ボトムアップアプローチ)と、分割的(トップダウンアプローチ)の、2つのカテゴリへと分類される。階層ベースの方法の例として:代表を使用するクラスタリング(CURE)、バランス化反復削減クラスタリング階層(Balanced Iterative Reducing Clustering, Hierarchies )(BIRCH)などである。
パーテーション化による方法:パーテーション化による方法は、オブジェクトをkクラスタへと分割し、および各パーテーションが1つのクラスタを形成する。この方法は、客観的基準類似性関数を最適化するために使用される。パーテーション化による方法の例は、K平均法、無作為化された探索ベースの大規模アプリケーションのクラスタリング(Clustering Large Applications based upon Randomized Search)(CLARANS)などである。
グリッドベースの方法:グリッドベースの方法では、データ空間は、グリッド状の構造を形成する有限個のセルに定式化される。これらのグリッド上で行なわれるすべてのクラスタリングオペレーションは、高速であり、およびデータオブジェクトの数に非依存である。グリッドベースの方法の例は、統計情報グリッド(Statistical Information Grid)(STING)、ウエーブクラスタ(wave cluster)、Questでのクラスタリング(CLustering In Quest)(CLIQUE)などである。
K平均法クラスタリング
K平均法クラスタリングは、教師なし機械学習アルゴリズムの1つである。典型的には、教師なしアルゴリズムは、既知の結果または標識が付けられた結果を参照せずに、入力ベクトルだけを使用して、データセットから推論を行なう。K平均法の目的は、単純に類似データポイントをまとめてグループ化し、根底にあるパターンを発見することである。この目的を達成するために、K平均法はデータセットにおけるクラスタの定数(k)を捜す。
クラスタは、特定の類似性についてまとめて凝集されたデータポイントの集合を指す。目標数kは、ユーザがデータセットにおいて必要とする重心の数を指す。重心は、クラスタの中心を表現する虚数または実数の位置である。すべてのデータポイントはクラスタ内の二乗和を低減させることによってクラスタの各々に割り当てられる。K平均法アルゴリズムは、重心のk数を特定し、次に、重心をできるだけ小さく維持しながら、最も近いクラスタにすべてのデータポイントを割り当てる。
K平均法で「平均」は、重心を見つけ出すデータの平均値算出を指す。学習データを処理するために、データマイニングにおけるK平均法アルゴリズムは、すべてのクラスタのための開始ポイントとして使用される無作為に選択された重心の最初のグループから開始し、そして次に、重心の位置を最適化するために繰返(反復)計算を行なう。重心が安定し、およびクラスタリングが成功したことでそれらの値に変更がなくなる時、または、定義された数の反復が達成された時、アルゴリズムはクラスタを作り最適化することを停止する。
K平均法クラスタリングための方法は、先験的に定められたある数のクラスタ(kクラスタを仮定する)によって所与のデータセットを分類する単純な方法に従う。各クラスタに1つ、k個の中心または重心が定義される。次の工程は、所与のデータセットに属する各ポイントをとり、それを最も近い中心に関連づけることである。未決のポイントがなくなった時、第1の工程は完了し、および、初期のグループ世代が実行される。次の工程は、前の工程から結果として生じるクラスタの重心としてk個の新しい重心を再計算することである。k個の新しい重心を計算すると、同じデータセットポイントと最も近い新しい中心との間で新しいバインディングが実行され、それによってループを生成する。このループの結果、k個の中心がロケーションを変えなくなるまで、k個の中心は段階的にロケーションを変える。K平均法クラスタアルゴリズムは、2乗誤差関数として知られる目的関数の最小化を狙いとし、以下の式で計算される:
式中、「||x-v||」は、xとvとの間のユークリッド距離であり、「c」は、i番目のクラスタにおけるデータポイントの数であり、「c」はクラスタ中心の数である。
K平均法クラスタリングのためのアルゴリズムのステップ
K平均法クラスタリングのためのアルゴリズムは以下のとおりである:
K平均法クラスタリングでは、c個のクラスタ中心が無作為に選択され、各データポイントとクラスタの中心との間の距離が計算され、データポイントは最も近いクラスタ中心に割り当てられ、新しいクラスタ中心が以下の式を使用して再計算され、
式中、「c」はi番目のクラスタにおけるデータポイントの数であり、Xは、データポイント集合x、x、x、・・・、x}であり、および、Vは、中心の集合{v,v,・・・、v}である。
各データポイントと新たに得られたクラスタの中心との間の距離が測定され、および、データポイントが再割り当てされる場合、データポイントが再割り当てされないようになるまで、プロセスは継続する。
AIアプリケーションのプロセスフロー
いくつかの実施形態では、医療におけるデジタル画像化と通信(Digital Imaging and Communications in Medicine)(DICOM)の画像がLIONを介して提出され、DICOM ToolKitライブラリ(Offis.de DCMTKライブラリ)によりHypertext Transfer Protocol Secure (HTTPS)上でV2プラットフォームに送られる。DICOM画像は、V2プラットフォームに一時的に格納される。いくつかの実施形態では、DICOMレコードは限られた情報で作成され、および、ステータスは0にセットされる。様々な実施形態において、一旦、DICOM画像が一時記憶領域において利用可能になると、V2 PHP/Laravelアプリケーションは、Cronジョブ(Cron job)を通じてDICOM画像を処理し始める。
いくつかの実施形態では、Cronジョブ(1)は、新しいDICOM画像についてV2をモニタし、一時記憶領域からDICOM画像を取得し、タグを抽出し、フレーム(単一サブイメージまたは複数サブイメージ)を抽出し、データストアの中に画像とタグを保存し、データベースの中の処理ステータスをセットする。いくつかの実施形態では、Cronジョブ(1)は、Offis.deライブラリDCMTKを使用して、DICOM画像をロスレスJPGフォーマットへと変換および圧縮し、処理ステータスを1にセットする。いくつかの実施形態では、Cronジョブ(1)は、5分ごと、4分ごと、3分ごと、2分ごと、または毎分など、自動的に実行される。いくつかの実施形態では、Cronジョブ(1)は、マイクロソフトSQLサーバ中のDICOMと呼ばれるテーブルにDICOM画像メタデータを保存し、そして画像/フレームを抽出し、そして、画像マネージャーのためのディレクトリに画像/フレームを記憶する。様々な実施形態において、画像についての付加的な情報および画像に関連づけられる症例IDを格納するレコードが処理中に作成される。レコードは、対象についての理学的検査所見、対象についての複数回の滞在の研究、各検査中に得られた一連の画像、および、症例に含まれる画像の階層などの、付加的なデータを格納する。
様々な実施形態において、DICOM画像とメタデータは、PHP Laravelフレームワークで書かれたVet Imagesアプリケーションによって処理される。V2は、各画像を非同期に処理するために、VetImagesへのRESTサービスリクエストを発生させる。いくつかの実施形態では、VetImagesは、リクエストが受け入れられたこと、および画像のクロッピングと評価のプロセスがバックグラウンドで継続することを確証するために、V2に対して直ちに応答する。なぜなら、画像は平行に処理され、プロセス全体は高速に実行されるからである。
様々な実施形態において、VetImages は、Pythonで書かれ、およびコンピュ-タビジョン(Computer Vision )技術 のOpenCV を使用して画像の前処理を行う VetConsole というモジュールに画像を渡す、もしくは転送する。VetConsoleは、AI Croppingサーバが画像中の身体領域を分類できない場合の予備として、胸部、腹部、骨盤などの身体領域を特定する。正確な配向が取得されるまで、VetImagesは画像を回転および反転する。いくつかの実施形態では、VetImagesは、画像の様々な角度と射影を確認するために、画像一致サーバを使用する。様々な実施形態において、画像マッチを特定するために、 画像一致サーバがPythonと Elastic Searchで書かれる。いくつかの実施形態では、画像一致サーバのための画像データベースは、画像が正確な配向と射影にあると認められる場合のみ結果を返信するように、注意深く選択される。
様々な実施形態において、画像の配向を求めると、VetImagesは、REST APIリクエストを分類するためにKeras/TensorFlowサーバに送信し、そして画像における身体領域の対象領域を判定する。VetImages REST APIリクエストは、返された画像の領域が、胸部、腹部、骨盤、後膝関節などの、身体領域に分類されたと確認するための、画像一致サーバを使用して有効にされる。いくつかの実施形態では、クロッピングについての評価結果が無効の場合、VetConsoleのクロッピング結果が有効になり、利用される。
様々な実施形態において、画像が、分類されかつ有効になった身体領域を格納するとVetImagesが判定する場合、AIレポートを生成するためのAI評価(AI Evaluation)プロセスが開始される。代替的な実施形態では、画像が分類されかつ有効になった身体領域を含んでいないとVetImagesが判定する場合、クロッピング画像プロセスは結果なしで、およびレポート生成なしで終了する。
様々な実施形態において、VetImagesは、Python/Djangoで書かれたTensorFlowアプリケーションサーバ上でホストされる疾病についてのAI評価モデルに分類されたクロッピングされた画像と共に、RESTサービスコールをKeras/TensorFlowに対して送る。VetImagesは、最終評価とレポート生成のために、AI評価モデルの結果を保存する。
VetImagesは、また、ユーザによってセットされたパラメータに対して画像が適切にポジショニングされたかどうかを判定するために、胸部がクロッピングされた画像をTensorFlowサーバに送る。画像ごとのポジショニング評価の結果をクリニックに通知するために、VetImagesは、V2プラットフォームにAI評価モデルの結果を送る。
いくつかの実施形態では、VetImagesは、画像が平行で処理されている間、症例の画像がすべてクロッピングされ、TensorFlowサーバによって評価されるまで待機する。いくつかの実施形態では、症例のすべての画像の評価を終えると、VetImagesは、人間にとってより判読可能な手段のレポートの内容を決定するために、専門家によって定義された規則を使用して、症例のすべての結果を処理する。代替的な実施形態では、VetImagesは、AIレポートの内容を決定するために、ユーザによって作成されたクラスタリングモデルを使用する。いくつかの実施形態では、AIレポートは、VetImages中のクラスタモデルを構築するために使用される既往の放射線科医レポートを使用して組み立てられる。いくつかの実施形態では、クラスタリングは、サイキット・ラーン(scikit-learn)を使用する他の診断モデルからの予測結果を使用する症例/画像を分類するために使用される。
いくつかの実施形態では、専門家の規則またはクラスタモデルを使用して、AIレポートの内容を決定すると、VetImagesは、症例の種をチェックする。いくつかの実施形態では、症例の種がVetImagesによってイヌであると判定される場合にのみ、レポートは生成され、V2クリニックに送られる。
いくつかの実施形態では、VetImagesは、新しいAIレポートがクリニックに送られたことをクリニックに通知するために、V2プラットフォームに対してリクエストを送る。いくつかの実施形態では、V2プラットフォームは、clinic管理者ユーザのライセンス、またはユーザのライセンスを有効にする。様々な実施形態において、クリニックが有効なライセンスを有する場合、レポートがV1プラットフォームから利用可能なように、V2は、Case Document(複数可)に、またはその中にレポートのコピーを添付する。いくつかの実施形態では、V2は、電子メール受信器が生成されたレポートを便利かつ直ちに開くことができるように、リンク(複数可)を格納しているクリニック電子メールに、電子メール通知を送る。
機械学習、クラスタリングおよびプログラミングのための方法は、以下の参照文献において完全に記載されている:Shaw, Zed. Learn Python the Hard Way: A Very Simple Introduction to the Terrifyingly Beautiful World of Computers and Code. Addison-Wesley, 2017; Ramalho, Luciano. Fluent Python. O’Reilly, 2016; Atienza, Rowel. Advanced Deep Learning with TensorFlow 2 and Keras: Apply DL, GANs, VAEs, Deep RL, Unsupervised Learning, Object Detection and Segmentation, and More. Packt, 2020; Vincent, William S. Django for Professionals: Production Websites with Python & Django. Still River Press, 2020; Bradski, Gary R., and Adrian Kaehler. Learning OpenCV: O’Reilly, 2011;Battiti, Roberto, and Mauro Brunato. The LION Way: Machine Learning plus Intelligent Optimization, Version 2.0, (April 2015). LIONlab Trento University, 2015; Pianykh, Oleg S. Digital Imaging and Communications in Medicine (DICOM) a Practical Introduction and Survival Guide. Springer Berlin Heidelberg, 2012; Busuioc, Alexandru. The PHP Workshop: a New, Interactive Approach to Learning PHP. Packt Publishing, Limited, 2019; Stauffer, Matt. Laravel - Up and Running: a Framework for Building Modern PHP Apps. O’Reilly Media, Incorporated, 2019; Kassambara, Alboukadel. Practical Guide to Cluster Analysis in R: Unsupervised Machine Learning. STHDA, 2017; and Wu, Junjie. Advances in K-Means Clustering: A Data Mining Thinking. Springer, 2012。これらの参照文献は、参照によりその全体が本明細書に組み込まれる。
実施形態のいずれか1つに関して記載されたいずれの特徴も、単独で使用されても、記載された他の特徴と組み合わせて使用されてもよく、およびまた、いずれの他の実施形態の1つ以上の特徴、またはいずれの他の実施形態の任意の組み合わせの1つ以上の特徴と、組み合わせて使用されてもよいことは、理解されよう。さらに、上に記載されない同等物および改変もまた、請求項で定義される本発明の範囲から外れずに、採用され得る。
ここに本発明は完全に記載され、それは、以下の請求項によってさらに例証される。当業者は、せいぜい型通りの実験作業を使用して、本明細書に記載された特定の方法に対して多数の同等物を認識するか、または確認することができるだろう。そのような同等物は、本発明および請求項の範囲内にある。本出願において引用された、非特許文献、交付済み特許、及び公表された特許出願を含む全ての参照文献の内容は、参照によりその全体が本明細書に組み込まれる。

Claims (34)

  1. 対象の診断画像を分析する方法であって、前記方法は、
    前記対象の画像を、サブ画像処理プロセッサを使用して、自動的に処理して、画像を1つ以上の身体領域に分類し、当該分類された画像を配向およびクロッピングさせて、少なくとも1つの分類された画像を取得する工程と、
    前記分類された画像を医療におけるデジタル画像化と通信(Digital Imaging and Communication in Medicine :DICOM)標準ハンギングプロトコルに従って配向およびクロッピングさせて、自動的に分類された各身体領域について、配向され、クロッピングされ、および標識された少なくとも1つのサブ画像を取得する工程と、
    前記身体領域に基づいて、前記サブ画像を少なくとも1つの人工知能プロセッサに送信する工程と、
    前記人工知能プロセッサにより前記サブ画像を評価し、評価結果を得る工程と、
    前記評価結果を、以前の評価結果および前記分類された画像に対応する一致した書面テンプレートに基づいて計算された複数のデータセットクラスタを有するデータベースと比較して、対象の疾患または疾病の存在を示す少なくとも1つのクラスタ結果を取得する工程と、を含む、方法。
  2. 身体領域および病状の存在に関して、前記サブ画像を査定するために前記人工知能プロセッサを用いる工程をさらに含む、請求項1に記載の方法。
  3. 前記サブ画像から病状を診断するために、前記人工知能プロセッサを用いる工程をさらに含む、請求項2に記載の方法。
  4. 前記対象の前記身体領域の位置に関して、前記サブ画像を査定するために、前記人工知能プロセッサを用いる工程をさらに含む、請求項1に記載の方法。
  5. 前記対象の前記身体領域の位置を適切な位置へ修正する工程をさらに含む、請求項4に記載の方法。
  6. 前記サブ画像処理プロセッサが、前記サブ画像を取得するために、前記画像を自動処理する、請求項1に記載の方法。
  7. 前記サブ画像処理プロセッサが、前記サブ画像を取得するために前記画像を約1分未満、約30秒未満、約20秒未満、約15秒未満、約10秒未満、または約5秒未満で処理する、前記サブ画像を取得する、請求項6に記載の方法。
  8. 評価する工程は、前記サブ画像を、複数のライブラリの少なくとも1つにおける複数の参照画像と比較することをさらに含む、請求項1に記載の方法。
  9. 前記複数のライブラリが、それぞれ複数の参照画像を含む、請求項8に記載の方法。
  10. 前記複数のライブラリが、それぞれ動物種に特異的または非特異的であるそれぞれの複数の参照画像を含む、請求項9に記載の方法。
  11. 前記サブ画像を参照画像と一致させることで、配向と少なくとも1つの身体領域を査定する工程をさらに含む、請求項1に記載の方法。
  12. 前記参照画像が、前記医療におけるデジタル画像化と通信(Digital Imaging and Communication in Medicine :DICOM)標準ハンギングプロトコル内で配向される、請求項8に記載の方法。
  13. クロッピングすることが、前記サブ画像において、特定の身体領域を分離することさらに含む、請求項1に記載の方法。
  14. 獣医学標準の身体領域標識により前記参照画像を分類することをさらに含む、請求項9に記載の方法。
  15. 配向することが、前記画像を獣医学標準ハンギングプロトコルに適応させることをさらに含む、請求項1に記載の方法。
  16. クロッピングすることは、前記サブ画像を標準アスペクト比にトリミングすることをさらに含む、請求項1に記載の方法。
  17. 分類することは、獣医学標準の身体領域標識により身体領域を識別して標識することをさらに含む、請求項1に記載の方法。
  18. 分類することが、前記画像をサンプル標準画像のライブラリと比較することをさらに含む、請求項1に記載の方法。
  19. 前記画像を前記ライブラリにおけるサンプル標準画像と一致させることで、前記画像を1つ以上の身体領域に分類する工程をさらに含む、請求項18に記載の方法。
  20. クロッピングすることは、分類された各身体領域を描写する前記画像における境界を識別することをさらに含む、請求項1に記載の方法。
  21. 分類することに先立って、画像のシグネチャを抽出する工程をさらに含む、請求項1に記載の方法。
  22. 前記画像は、放射線、磁気共鳴画像法(MRI)、磁気共鳴血管画像法(MRA)、コンピュ-タ断層撮影法(CT)、蛍光透視法、マンモグラフィ、核医学、陽電子射出断層撮影法(PET)、および超音波から選択される放射線医学検査から得たものである、請求項1に記載の方法。
  23. 前記画像は写真である、請求項1に記載の方法。
  24. 前記対象が、哺乳動物、爬虫類、魚類、両生類、脊索動物、および鳥類、から選ばれる、請求項1に記載の方法。
  25. 前記哺乳動物は、イヌ、ネコ、げっ歯類、ウマ、ヒツジ、ウシ、ヤギ、ラクダ、アルパカ、水牛、ゾウおよびヒトから選択される、請求項24に記載の方法。
  26. 前記対象が、ペット、家畜、貴重な動物園動物、野生動物、および研究動物から選択される、請求項1に記載の方法。
  27. 前記人工知能プロセッサによって、前記サブ画像の評価を包含する少なくとも1つのレポ-トを自動的に作成すること、をさらに含む、請求項1に記載の方法。
  28. 対象の画像を分析するためのシステムであって、前記システムは、
    前記対象の画像を受け取る受信機と、
    前記画像中の少なくとも1つの身体領域を識別し、クロッピングし、配向し、かつ標識して、サブ画像を取得するための画像識別および処理アルゴリズムを自動的に実行して、サブ画像を取得する少なくとも1つのプロセッサと、
    前記身体領域に基づいて前記サブ画像を評価し、その評価結果を、以前の評価結果と、画像の分類に対応する一致した書面テンプレートに基づいて計算された複数のデータセットクラスタを有するデータベースと比較して、前記対象の疾患または疾病の存在を示す少なくとも1つのクラスタ結果を取得する少なくとも1つの人工知能プロセッサと、
    前記サブ画像および前記クラスタ結果に基づいて評価された人工知能プロセッサの結果を表示するデバイスと、を備える、システム。
  29. 前記プロセッサが、前記サブ画像を取得するために前記画像を自動処理する、請求項28に記載のシステム。
  30. 前記プロセッサが、標識された画像を取得するために前記画像を1分未満、30秒未満、20秒未満、15秒未満、10秒未満、または5秒未満で処理する、請求項29に記載のシステム。
  31. 標準画像のライブラリをさらに含む、請求項28に記載のシステム。
  32. 前記標準画像が、ハンギングプロトコルと身体領域標識に関する獣医学規範に準拠する、請求項31に記載のシステム。
  33. 表示のために対象の画像を自動的に準備する方法であって、前記方法は、
    プロセッサを使用して前記対象の処理されていない画像を処理し、シグネチャを自動的にクロッピングかつ抽出して、クロッピングされ配向された画像シグネチャを既知の配向および身体領域の画像シグネチャのデ-タベ-スと比較することにより、画像を1つ以上の別個の身体領域カテゴリへアルゴリズムにより分類することで、一致度が最良の配向および身体領域標識を取得する工程と、
    前記身体領域標識および配向に基づいて、少なくとも1つの人工知能(AI)評価プロセッサに前記画像を送り、評価結果を取得し、当該評価結果を、以前の評価結果と、標識された画像に対応する一致した書面テンプレートに基づいて計算された複数のデータセットクラスタを有するデータベースと比較して、少なくとも1つのクラスタ結果を取得する工程と、
    前記クラスタ結果に基づいて、表示デバイス上で、分析のために用意された身体領域の標識された画像それぞれを掲示する工程とを含む方法。
  34. 獣医学放射線診断画像解析器における改善であって、当該改善は、対象の放射線画像を事前に処理するプロセッサを用いて高速アルゴリズムを実行して、画像中の1つ以上の身体領域を自動的に識別する工程と、前記プロセッサはさらに、識別された身体領域それぞれの別個のサブ画像を自動的に作成すること、作成されたサブ画像のアスペクト比をクロッピングし、任意選択で標準化すること、各サブ画像に身体領域として自動的に標識すること、前記サブ画像中の前記身体領域を自動的に配向することのうち、少なくとも1つを行うように機能し、前記プロセッサはさらに、クロッピングされ、配向され、標識されたサブ画像を評価することに特異的な少なくとも1つの人工知能プロセッサに、診断サブ画像を自動的に送信し、評価結果を生成し、当該評価結果を、以前の評価結果と、標識された診断サブ画像に対応する一致した書面テンプレートに基づいて計算された複数のデータセットクラスタを有するデータベースと比較して、前記対象の疾患または疾病の存在を示す少なくとも1つのクラスタ結果を取得する工程とを含む。
JP2022533392A 2019-12-27 2020-12-22 予測モデルを組み合わせた画像の効率的な人工知能分析 Active JP7745265B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962954046P 2019-12-27 2019-12-27
US62/954,046 2019-12-27
US202062980669P 2020-02-24 2020-02-24
US62/980,669 2020-02-24
US202063083422P 2020-09-25 2020-09-25
US63/083,422 2020-09-25
PCT/US2020/066580 WO2021133786A1 (en) 2019-12-27 2020-12-22 Efficient artificial intelligence analysis of images with combined predictive modeling

Publications (2)

Publication Number Publication Date
JP2023509300A JP2023509300A (ja) 2023-03-08
JP7745265B2 true JP7745265B2 (ja) 2025-09-29

Family

ID=76546612

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022533392A Active JP7745265B2 (ja) 2019-12-27 2020-12-22 予測モデルを組み合わせた画像の効率的な人工知能分析

Country Status (9)

Country Link
US (1) US12178560B2 (ja)
EP (1) EP4081940A4 (ja)
JP (1) JP7745265B2 (ja)
KR (1) KR20220123235A (ja)
CN (1) CN115135234A (ja)
AU (1) AU2020415384A1 (ja)
BR (1) BR112022011386A2 (ja)
CA (1) CA3163989A1 (ja)
IL (1) IL294083A (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230004812A1 (en) * 2021-06-25 2023-01-05 Qualcomm Incorporated Hierarchical supervised training for neural networks
KR102453695B1 (ko) * 2021-06-28 2022-10-12 주식회사 펫나우 반려 동물의 식별을 위한 객체를 촬영하기 위한 방법 및 장치
CN115910288A (zh) * 2021-08-25 2023-04-04 西安大医集团股份有限公司 医学图像处理方法、装置及系统
US12567490B2 (en) 2021-10-05 2026-03-03 Yoy Ishta Nem, Inc. Deep-learning-based medical image interpretation system for animals
CN114359197B (zh) * 2021-12-27 2025-05-30 上海联影智能医疗科技有限公司 颈椎图像的质量评价方法、电子设备及存储介质
CN119278485A (zh) * 2022-06-01 2025-01-07 皇家飞利浦有限公司 用于分析肺超声的方法和系统
EP4552128A1 (en) * 2022-07-07 2025-05-14 Mars Incorporated Systems and methods for detecting abnormalities in pet radiology images
US20240090822A1 (en) * 2022-09-14 2024-03-21 Penny MacDonald Diagnosis,staging and prognosis of neurodegenerative disorders using mri
US20240112329A1 (en) * 2022-10-04 2024-04-04 HeHealth PTE Ltd. Distinguishing a Disease State from a Non-Disease State in an Image
CN115628776B (zh) * 2022-10-25 2025-07-15 杭州电子科技大学 一种供水管网异常数据检测方法
EP4465301A1 (en) * 2023-05-17 2024-11-20 Koninklijke Philips N.V. Interactive and explainable co-decision-making reporting system
WO2024235686A1 (en) * 2023-05-17 2024-11-21 Koninklijke Philips N.V. Interactive and explainable co-decision-making reporting system
US20250168132A1 (en) * 2023-11-21 2025-05-22 Wei-Cheng Kuo Collaborative interaction system and method for delegating and monitoring tasks of a chatbot
CN121148661A (zh) * 2024-06-14 2025-12-16 广达电脑股份有限公司 健康状态评估方法以及应用此方法的扫描装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080267471A1 (en) 2007-04-25 2008-10-30 Siemens Corporate Research, Inc Automatic partitioning and recognition of human body regions from an arbitrary scan coverage image
JP2019533870A (ja) 2016-08-29 2019-11-21 テラリコン インコーポレイテッド 医用画像インフォマティクス査読システムのためのシステム及び方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1830380A (zh) * 2006-04-20 2006-09-13 上海交通大学 中医舌像分析与诊断系统
JP2009070201A (ja) 2007-09-14 2009-04-02 Fujifilm Corp 読影レポート作成システム及び読影レポート作成装置並びに読影レポート作成方法
US9480439B2 (en) * 2012-11-01 2016-11-01 Virginia Commonwealth University Segmentation and fracture detection in CT images
US9721340B2 (en) 2013-08-13 2017-08-01 H. Lee Moffitt Cancer Center And Research Institute, Inc. Systems, methods and devices for analyzing quantitative information obtained from radiological images
JP6991134B2 (ja) * 2015-10-09 2022-01-12 ガーダント ヘルス, インコーポレイテッド 無細胞dnaを使用する集団ベースの処置レコメンダ
US11842810B1 (en) * 2017-01-26 2023-12-12 Agathos, Inc. Real-time feedback systems for tracking behavior change
US20190021677A1 (en) * 2017-07-18 2019-01-24 Siemens Healthcare Gmbh Methods and systems for classification and assessment using machine learning
CN107871143B (zh) * 2017-11-15 2019-06-28 深圳云天励飞技术有限公司 图像识别方法及装置、计算机装置和计算机可读存储介质
CN108805858A (zh) * 2018-04-10 2018-11-13 燕山大学 基于数据挖掘的肝病ct图像计算机辅助诊断系统及方法
US11508168B2 (en) * 2018-10-15 2022-11-22 Upmc Systems and methods for specimen interpretation
US20200133308A1 (en) * 2018-10-18 2020-04-30 Cartica Ai Ltd Vehicle to vehicle (v2v) communication less truck platooning
US11494669B2 (en) * 2018-10-30 2022-11-08 Diveplane Corporation Clustering, explainability, and automated decisions in computer-based reasoning systems
US12373715B2 (en) * 2018-11-06 2025-07-29 DeepSig Inc. Radio frequency band segmentation, signal detection and labelling using machine learning

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080267471A1 (en) 2007-04-25 2008-10-30 Siemens Corporate Research, Inc Automatic partitioning and recognition of human body regions from an arbitrary scan coverage image
JP2019533870A (ja) 2016-08-29 2019-11-21 テラリコン インコーポレイテッド 医用画像インフォマティクス査読システムのためのシステム及び方法

Also Published As

Publication number Publication date
CA3163989A1 (en) 2021-07-01
EP4081940A1 (en) 2022-11-02
US20210202092A1 (en) 2021-07-01
JP2023509300A (ja) 2023-03-08
KR20220123235A (ko) 2022-09-06
IL294083A (en) 2022-08-01
AU2020415384A1 (en) 2022-06-09
CN115135234A (zh) 2022-09-30
US12178560B2 (en) 2024-12-31
EP4081940A4 (en) 2024-01-24
BR112022011386A2 (pt) 2022-08-30

Similar Documents

Publication Publication Date Title
JP7745265B2 (ja) 予測モデルを組み合わせた画像の効率的な人工知能分析
JP7503213B2 (ja) ペットの放射線医学画像を評価するためのシステム及び方法
WO2021133786A1 (en) Efficient artificial intelligence analysis of images with combined predictive modeling
US20230359649A1 (en) Methods and Systems with Additive AI Models
US12186120B2 (en) Methods and systems for x-ray imaging and labeling
US20170018075A1 (en) Method and apparatus for adaptive Computer-Aided Diagnosis
Yang et al. Detecting helicobacter pylori in whole slide images via weakly supervised multi-task learning
Tahghighi et al. Classification of the quality of canine and feline ventrodorsal and dorsoventral thoracic radiographs through machine learning
US20230325714A1 (en) Machine learning for artificial intelligence processors with transformed digital data
US20230316143A1 (en) Methods and systems for creating training libraries and training AI processors
KR20250096686A (ko) 가법 ai 모델을 사용하는 방법 및 시스템
Mekonnen et al. Deep learning framework for vertebral heart size and cardiothoracic ratio estimation in dogs and cats using thoracic radiographs
CN116801795A (zh) 用于评估宠物放射学图像的系统和方法
Nguemo et al. Automated Vertebral Heart Size Estimation from Thoracic Radiographs in Dogs with AI-assisted Clinical Decision Support
Blagojević et al. Transfer Learning with Limited Data for Mice Lung Segmentation in Synchrotron X-Ray Tomography
Yao et al. Evaluating Canine Hip Analysis: NANet Model for Norberg Angle Prediction
CN118116603A (zh) 用于对医学图像数据集进行分类的方法和系统
Adhi Automated Vertebral Heart Size Prediction Using Deep Learning-Based Point Detection Models
Adhi Detecting Canine Heart Conditions Using a Custom Neural Network Architecture

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220630

RD12 Notification of acceptance of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7432

Effective date: 20221109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20221109

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20241220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250114

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20250414

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250812

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250908

R150 Certificate of patent or registration of utility model

Ref document number: 7745265

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150