Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7203206B2 - 標本分類のための仮説および検証ネットワークおよび方法 - Google Patents
[go: Go Back, main page]

JP7203206B2 - 標本分類のための仮説および検証ネットワークおよび方法 - Google Patents

標本分類のための仮説および検証ネットワークおよび方法 Download PDF

Info

Publication number
JP7203206B2
JP7203206B2 JP2021515513A JP2021515513A JP7203206B2 JP 7203206 B2 JP7203206 B2 JP 7203206B2 JP 2021515513 A JP2021515513 A JP 2021515513A JP 2021515513 A JP2021515513 A JP 2021515513A JP 7203206 B2 JP7203206 B2 JP 7203206B2
Authority
JP
Japan
Prior art keywords
classification
specimen
network
predicted
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021515513A
Other languages
English (en)
Other versions
JP2022501595A (ja
Inventor
ヴェンカテッシュ・ナラシムハムルシー
ヴィヴィック・シンフ
イャオ-ジェン・チャン
ベンジャミン・エス・ポラック
アンカー・カプール
Original Assignee
シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド filed Critical シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド
Publication of JP2022501595A publication Critical patent/JP2022501595A/ja
Application granted granted Critical
Publication of JP7203206B2 publication Critical patent/JP7203206B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • G01N35/00732Identification of carriers, materials or components in automatic analysers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/02Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations
    • G01N35/026Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations having blocks or racks of reaction cells or cuvettes
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N2021/8411Application to online plant, process monitoring
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • G01N35/00732Identification of carriers, materials or components in automatic analysers
    • G01N2035/00742Type of codes
    • G01N2035/00752Type of codes bar codes
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)

Description

関連出願
本出願は、2018年9月20日出願の「HYPOTHESIZE AND HIERARCHICAL VERIFICATION NETWORK FOR CLASSIFICATION/REGRESSION TASK」という名称の米国特許仮出願第62/734,007号の優先権を主張するものであり、その全体をあらゆる目的で参照によって本明細書に組み入れる。
本開示の実施形態は、自動診断分析システムにおいて標本を特性評価するための方法および装置に関する。
自動診断分析システムは、1つまたはそれ以上の試薬を使用してアッセイまたは臨床分析を行い、血液標本中の血清または血漿部分中の分析物または他の成分を同定することができる。自動試験技術の改良は、分析前の標本の調製および取扱いの相応の進歩によって達成されている。そのような調整および取扱いは、例えば、実験室自動システム(LAS)と呼ばれる自動標本調製システムによる、選別、バッチ調製、標本成分を分離するための標本容器の遠心分離、流体アクセスを容易にするためのキャップの取外し、HILN(溶血、黄疸、および/もしくは脂肪血症、または正常)に関する事前スクリーニングなどである。LASはまた、標本容器内の標本をいくつかの標本処理ステーションに自動的に輸送することができ、そこで様々な操作(例えば分析前または分析試験)が行われる。
標本が全血である場合、ゲルセパレータが標本容器に加えられて、血清または血漿部分からの沈降血液部分の分離を助ける。前処理後、標本容器は適切な分析器に輸送され、分析器は、生体液の一部(例えば血清または血漿部分)を標本容器から抽出し、反応容器(例えばキュベット)内でその流体を1つまたはそれ以上の試薬および場合によっては他の物質と混ぜ合わせることができる。次いで、問合せ放射線ビームなどを使用することによって、測光または蛍光吸収の読取りにより分析測定が行われる。測定は、エンドポイントレートまたは他の値の決定を可能にし、そこから、生体液中の分析物または他の成分の量が決定される。
しかし、患者状態または試料処理に起因することがある標本中の任意の干渉物(溶血、黄疸、および/または脂肪血症など)の存在が、1つまたはそれ以上の分析器から得られる分析物または成分測定の試験結果に悪影響を及ぼすことがある。例えば、患者の病状とは無関係であり得る標本中の溶血(H)の存在は、患者の病状の異なる解釈を引き起こすことがある。さらに、標本中の黄疸(I)および/または脂肪血症(L)の存在も、患者の病状の異なる解釈を引き起こすことがある。
いくつかのシステムでは、熟練した検査技師が、標本の血清または血漿部分の完全性を、正常(N)として、または(例えば指数を割り当てることによって)ある度合いのH、I、および/もしくはLを有するものとして目視検査して評価することができる。このプロセスは、既知の基準に対する血清または血漿部分の色の検討を含むことがある。しかし、そのような手動の目視検査は非常に主観的で、労働集約的であり、人為的ミスが起こるおそれがある。
手動検査は問題を生じることがあるので、検査技師による目視検査を用いずに、代わりに自動マシンビジョン検査装置を使用して標本の完全性を評価する努力がなされており、そのような評価は分析前試験中に行われる(以下「事前スクリーニング」)。事前スクリーニングは、分画によって(例えば遠心分離によって)全血から得られた血清または血漿部分中のH、I、および/またはLなどの干渉物を自動で検出することを含む。
場合によっては、1つまたはそれ以上のラベルが標本容器に直接貼付されることがある。そのようなラベルは、標本の特定の横方向の視点を部分的に遮って妨害することがあり、したがって、血清または血漿部分を視覚的に明確に観察することができないいくつかの向きがあり得る。したがって、そのような事前スクリーニングの自動化は、例えば、H、I、および/もしくはL、またはNに関する自動事前スクリーニングを可能にするように標本を回転可能に向きを定めることを含んでいた(例えば、特許文献1を参照)。他のシステムでは、標本容器および標本は複数の視点から撮像され、モデルベースのシステムで処理され、したがって標本容器の回転は必要とされない(例えば、特許文献2を参照)。
場合によっては、血清または血漿部分のごく一部しか見えないことがあり、血清または血漿部分に対して行われるH、I、および/もしくはL、またはNの読取りが高レベルの信頼性を伴わないことがある。さらに、そのようなシステムは複雑になることがあり、画像データの処理は計算上の負担が大きくなり得る。
米国特許第9,322,761号 国際公開第2016/133,900号
したがって、溶血(H)、黄疸(I)、および/もしくは脂肪血症(L)の存在および度合い、または標本の血清もしくは血漿部分が正常(N)かどうかを判断するために、標本の血漿または血清部分を特性評価するためのロバストであり効率的な方法および装置の必要性はまだ満たされていない。より特定的には、標本がH、I、および/もしくはLを含むかどうかおよびその度合い、または正常(N)であるかを決定するための改善された方法および装置の必要性はまだ満たされていない。
第1の態様によれば、標本を特性評価する方法が提供される。この方法は、1つまたはそれ以上の画像取込みデバイスによって標本の1つまたはそれ以上の画像を取り込む工程であって、1つまたはそれ以上の画像は、標本の血清または血漿部分を含み、画素データが生成される、工程と;血清または血漿部分の分類を予測するために、コンピュータで実行される第1のネットワークを使用して、標本の1つまたはそれ以上の画像の画素データを処理する工程であって、分類は、溶血、黄疸、および脂肪血症を含む、工程と;コンピュータで実行される1つまたはそれ以上の検証ネットワークを使用して、予測された分類を検証する工程と、を含む。
別の態様によれば、品質チェックモジュールが提供される。この品質チェックモジュールは、標本の血清または血漿部分を含む標本容器の1つまたはそれ以上の視点から、1つまたはそれ以上の画像を取り込むように動作可能な複数の画像取込みデバイスと;複数の画像取込みデバイスに連結されたコンピュータとを含み、コンピュータは、標本の1つまたはそれ以上の画像を取り込む工程であって、1つまたはそれ以上の画像は、標本の血清または血漿部分を含み、画素データが生成される、工程と;血清または血漿部分の分類を予測するために、コンピュータで実行される第1のネットワークを使用して、標本の1つまたはそれ以上の画像の画素データを処理する工程であって、分類は、溶血、黄疸、および脂肪血症を含む、工程と;コンピュータで実行される1つまたはそれ以上の検証ネットワークを使用して、予測された分類を検証する工程とを行うように構成され動作可能である。
別の態様では、標本試験装置が提供される。この標本試験装置は、トラックと;トラック上で可動であり、標本の血清または血漿部分を含む標本容器を含むように構成されたキャリアと;トラックの周囲に配置されて、1つまたはそれ以上の視点から標本容器および標本の血清または血漿部分の1つまたはそれ以上の画像を取り込むように動作可能である複数の画像取込みデバイスと;複数の画像取込みデバイスに連結されたコンピュータとを含み、コンピュータは:標本の1つまたはそれ以上の画像を取り込む工程であって、1つまたはそれ以上の画像は、標本の血清または血漿部分を含み、画素データが生成される、工程と;血清または血漿部分の分類を予測するために、コンピュータで実行される第1のネットワークを使用して、標本の1つまたはそれ以上の画像の画素データを処理する工程であって、分類は、溶血、黄疸、および脂肪血症を含む、工程と;コンピュータで実行される1つまたはそれ以上の検証ネットワークを使用して、予測された分類を検証する工程とを行うように構成され動作可能である。
本開示のさらに他の態様、特徴、および利点は、企図される最良の形態を含む、いくつかの例示的な実施形態および実装形態によって示される以下の詳細な説明から容易に明らかになり得る。本開示は、他の異なる実施形態も可能であり得て、本開示のいくつかの詳細は、様々な点で修正されることがある。したがって、図面および説明は、本質的に例示とみなされるべきであり、限定とみなされるべきではない。図面は、必ずしも一定の縮尺で描かれているわけではない。本開示は、添付の特許請求の範囲の範囲内にある全ての修正形態、等価形態、および代替形態を網羅する。
以下に述べる図面は、例示目的であり、必ずしも一定の縮尺で描かれているわけではない。したがって、図面および説明は、本質的に例示とみなされるべきであり、限定とみなされるべきではない。図面は、本発明の範囲を限定することをなんら意図されていない。
1つまたはそれ以上の実施形態による、干渉物の存在および度合いの決定を可能にするために、標本容器の複数の視点を含み、標本容器の複数のバックライト照明された画像を取り込み分析するように構成された品質チェックモジュール(上部が取り外されている)の概略上面図である。 1つまたはそれ以上の実施形態による、図1Aの断面線1B-1Bに沿って取られた、図1Aの品質チェックモジュール(エンクロージャ前壁が取り外された状態)の概略側面図である。 1つまたはそれ以上の実施形態によるHILN決定方法を実施するように構成された1つまたはそれ以上の品質チェックモジュールを含む標本試験装置の上面概略図である。 1つまたはそれ以上の実施形態による、血清または血漿部分と沈降血液部分とを含む分離された標本を含む標本容器の側面図であって、標本容器がラベルを含む図である。 1つまたはそれ以上の実施形態による、標本容器内の標本の血清または血漿部分の干渉物分類および分類の確実性の度合いを出力するように動作可能な仮説ネットワークおよび検証ネットワークを含む品質チェックモジュールの機能的構成要素のブロック図である。 1つまたはそれ以上の実施形態による、標本容器内の標本の血清または血漿部分の干渉物分類指数および分類指数の確実性の度合いを出力するように動作可能な仮説ネットワークおよび指数検証ネットワークを含む品質チェックモジュールの機能的構成要素のブロック図である。 1つまたはそれ以上の実施形態による、標本容器内の標本の血清または血漿部分の干渉物分類指数を出力するように動作可能なセグメント化畳み込みニューラルネットワーク(SCNN)を含む品質チェックモジュールの機能的構成要素のブロック図である。 1つまたはそれ以上の実施形態による、図4のSCNNのディープセマンティックセグメント化ネットワーク(DSSN)のアーキテクチャのブロック図である。 1つまたはそれ以上の実施形態による、標本容器内の標本を特性評価および検証する方法の流れ図である。
上述したように、患者状態または試料処理に起因することがある標本中の任意の干渉物(溶血、黄疸、および/または脂肪血症など)の存在が、1つまたはそれ以上の分析器から得られる分析物または成分測定の試験結果に悪影響を及ぼすことがある。例えば、患者の病状とは無関係であり得る標本中の溶血(H)の存在は、患者の病状の異なる解釈を引き起こすことがある。さらに、標本中の黄疸(I)および/または脂肪血症(L)の存在も、患者の病状の異なる解釈を引き起こすことがある。
本明細書で使用するとき、H、I、および/もしくはLなどの干渉物、または正常(N)の決定(以下「HILN」)は、標本の血清または血漿部分中の溶血(H)、黄疸(I)、または脂肪血症(L)の少なくとも1つの存在を表す。「N」は「正常」を表し、許容できる程度に少量のH、I、およびLを含む血清または血漿部分と定義される。溶血は、処理中に赤血球が破壊され、赤血球から血清または血漿部分へのヘモグロビンの解放をもたらし、それにより血清または血漿部分が赤みがかった色合いを呈した状態として定義される。溶血の度合いは、溶血指数を割り当てることによって定量化される。黄疸は、胆汁色素(ビリルビン)の蓄積によって引き起こされる、血清または血漿部分が暗黄色に変色される血液の状態として定義される。黄疸の度合いは、黄疸指数を割り当てることによって定量化される。脂肪血症は、血清または血漿部分が白っぽいまたは乳白色の外観を有するような、異常に高濃度の乳化脂肪が血中に存在することとして定義される。脂肪血症の度合いは、脂肪血症指数を割り当てることによって定量化される。
本明細書に開示するネットワーク、システム、および方法は、HIL予測を検証するネットワーク(例えばニューラルネットワーク)を含む。例えば、第1のネットワーク(例えば仮説ネットワーク)が、標本のHILN分類を仮説または予測し、後段のネットワーク(例えば検証ネットワーク)が、予測を検証する。標本を表す画像データまたは画素データが第1のネットワークに入力され、HILN分類の仮説または予測が行われる。HILN分類の仮説に基づいて、画素データは、1つまたはそれ以上の特殊な検証ネットワークによってさらに分析される。いくつかの実施形態では、第1のネットワークによって生成された最後の層または最後の層に近い層が、1つまたはそれ以上の特殊なネットワークによってさらに分析される。いくつかの実施形態では、HILまたはHILN分類のそれぞれに関する特殊な検証ネットワークがあり得る。例えば、第1のネットワークが標本において溶血分類を仮説する場合、画素データは、溶血を検証および/または検出するように訓練された検証ネットワークによってさらに分析される。他の検証ネットワークは、黄疸および/または脂肪血症の仮説を検証することがある。いくつかの実施形態では、システムは、正常分類を検証するために同様の検証ネットワークを含むことがある。いくつかの実施形態では、第1のネットワークは、遠心分離されていない標本の血清または血漿部分に関する未遠心分離(U)クラスを予測または仮説することがある。
前述したことに加えて、本明細書に開示する実施形態による方法、システム、および装置は、溶血の分類指数(例えば、いくつかの実施形態ではH0~H6、他の実施形態ではより多いまたはより少ない)、黄疸の分類指数(例えば、いくつかの実施形態ではI0~I6、他の実施形態ではより多いまたはより少ない)、および/または脂肪血症の分類指数(例えば、いくつかの実施形態ではL0~L4、他の実施形態ではより多いまたはより少ない)を予測または仮説する第1のネットワークを含むことがある。いくつかの実施形態では、分類は、HIL濃度を出力するために回帰によって行われる。分類指数は、特定のHIL分類の度合いまたはサブクラスと呼ばれることがある。第1のネットワークの結果は、第1のネットワークによって予測された干渉物の分類指数に特有の1つまたはそれ以上の指数検証ネットワークに入力される。いくつかの実施形態では、検証ネットワークは、第1のネットワークの予測が正しいかどうかを識別する加重応答(例えば、パーセンテージ)を提供することがある。他の実施形態では、検証ネットワークは、第1のネットワークの予測が正しいかまたは誤っているかを識別するバイナリ出力を提供することがある。
いくつかの実施形態では、第1のネットワークは、血清または血漿部分、沈降血液部分、ゲルセパレータ(使用される場合)、空気、ラベル、標本容器のタイプ(例えば、高さおよび幅/直径を示す)、ならびに/または標本容器キャップのタイプおよび/もしくは色など、標本容器および標本の様々な領域を分類(または「セグメント化」)することができる。標本容器ホルダおよび/または背景も分類されることがある。
上述した課題に鑑みて、第1の広範な態様において、本開示の実施形態は、HILNの存在および/または度合いを決定するように構成された方法および装置を提供する。第1のネットワーク(例えば仮説ネットワーク)は、予測された標本の分類および/または分類指数を出力するディープセマンティックセグメント化ネットワーク(DSSN)を含むセグメント化畳み込みニューラルネットワーク(SCNN)を使用することがある。いくつかの実施形態では、DSSNは、血清または血漿部分の画素データによって表される色に少なくとも一部基づいて、標本容器内で識別される標本の血清または血漿部分の分類指数を予測することがある。DSSNは、いくつかの実施形態では、以下でさらに述べる100個を超える演算層を含むことがある。SCNNは、容器タイプおよび容器境界を決定するためのフロントエンド容器セグメント化ネットワーク(CSN)も含むことがある。次いで、この決定された容器情報は、以下でさらに述べるように、追加の入力チャネルを介してDSSNに入力される。分類予測に基づいて、特殊な検証ネットワークによって、予測を検証するためにさらに分析が行われる。いくつかの実施形態では、装置および方法は、各HIL分類指数について少なくとも1つの指数検証ネットワークを含むことがある。
いくつかの実施形態では、SCNNへの入力は、多重スペクトル、多重露光画素データまたは画像データでよく、これらは、統合および正規化されることがあり、1つまたはそれ以上の画像取込みデバイスから取得される。画像取込みデバイスは、デジタルカメラ、CCD(電荷結合素子)、1つまたはそれ以上のCMOS(相補型金属酸化物半導体)センサ、センサのアレイなど、分析のための画素化画像(例えばデジタル画像)を取り込むことが可能な任意のデバイスでよい。複数の視点(例えば3つの視点;他の数の視点も可能である)から画像を取り込むように2つ以上の画像取込みデバイスが配置および構成される。いくつかの実施形態では、本明細書で述べる方法、装置、およびシステムは、SCNNへの入力として、標本容器および血清または血漿部分の高ダイナミックレンジ(HDR)画像処理を使用することがある。HDR撮像は、複数のスペクトル照明を使用しながら、複数の露光を取り込むことを含むことがある。いくつかの実施形態では、SCNNは、標本容器の1つまたはそれ以上のラベルによって遮られた領域を認識するように訓練され、それにより、SCNNは、H、I、L、またはNを特性評価する際に、任意の視点から標本容器の裏側にあるラベルの存在をより良く考慮に入れることができる。
いくつかの態様によれば、特性評価方法は、品質チェックモジュールによって、およびSCNNをそれぞれ含む標本試験システムで実施されることがある。SCNNは、例えば、BatchNorm、ReLU活性化、畳み込み(例えば2D)、ドロップアウト、およびデコンボリューション(例えば2D)層を含む演算層を含むことがあり、血清または血漿部分およびラベルを含む領域の単純なエッジ、テクスチャ、および一部分などの特徴を抽出する。部分間の相関を提供するために、完全畳み込み層などの最上層が使用される。層の出力はSoftMax層に供給され、SoftMax層は、各画素またはパッチがH、I、L、またはNを含むかどうかに関して、画素ごと(またはn×n画素を含むパッチごと)に出力を生成する。いくつかの実施形態では、H、I、L、またはNの出力のみがSCNNから提供される。他の実施形態では、SCNNの出力は、存在する干渉物ごとに干渉物のレベル(指数)の推定値も得られるように、H、I、LまたはNの20個を超える血清クラスまたは指数を有する細粒度のH、I、L、またはNでよい。
標本がH、I、およびLのうちの1つまたはそれ以上を含むことが判明した場合、操作者に適切な通知が提供され、および/または標本容器がオフラインにされて、(1)H、I、およびLのうちの1つまたはそれ以上を修正するために改善手段を行う、(2)標本を再採取する、または(3)他の処理を行う。したがって、遠心分離後、かつ1つまたはそれ以上の分析器による分析前の最初に可能な時点などにH、I、L、またはNを事前スクリーニングする機能は、有利には(a)分析に適切な質でない標本を分析するのに費やされる時間を最小限に抑えることができ、(b)誤った試験結果を回避するまたは最小限に抑えることができ、(c)患者の試験結果の遅延を最小限に抑えることができ、かつ/または(d)患者標本の浪費を回避することができる。
特性評価および検証方法、特性評価および検証方法を実施するように構成された装置、システム、および品質チェックモジュール、ならびに1つまたはそれ以上の品質チェックモジュールを含む標本試験装置のさらなる詳細を、図1A~6を参照して本明細書でさらに述べる。
ここで図1Aおよび1Bを参照する。図1Aおよび1Bは、本明細書に図示して述べる特性評価および検証方法を実施するように構成された品質チェックモジュール100の実施形態を示す。品質チェックモジュール100は、品質チェックモジュールに連結された1つまたはそれ以上の分析器による分析(図1C)の前に、標本容器106内の標本104中の干渉物(例えば、H、I、および/またはL)の存在および度合い(例えば指数)について事前スクリーニングするように構成される。このような事前スクリーニングは、貴重な分析器リソースを浪費することなく、または場合によっては干渉物の存在が試験結果の信頼性に影響を及ぼすことなく、標本104の追加の処理、追加の定量化もしくは特性評価、ならびに/または廃棄および/もしくは再採取を可能にする。品質チェックモジュール100は、標本104が正常であるかどうかを判断することもある。
本明細書で述べる干渉物検出法に加えて、品質チェックモジュール100で標本容器106に含まれる標本104に対して他の検出法を行うこともできる。例えば、容器セグメント化ネットワーク(CSN 462。図4)からの出力としてセグメント化を提供するために品質チェックモジュール100で方法が実施される。セグメント化データは、標本104を定量化する、すなわち、標本104の特定の物理的寸法特性を決定するための後処理工程で使用される。
さらに図2を参照する。図2は、1つまたはそれ以上の実施形態による、標本104を含む標本容器106の側面図を示す。標本104は、ゲルセパレータ207を含むことがあり、ゲルセパレータ207は、標本104の血清または血漿部分204SPを標本104の沈降血液部分204SBから分離する。血清および血漿部分204SPの上方に空気208が入り、それらの間の境界線は、液体-空気界面(LA)と定義される。キャップ209が、標本容器106を封止することができる。セグメント化によって少なくとも部分的に決定される物理的特性は、標本容器106の上部(TC)の位置、標本容器106の高さ(HT)、標本容器106の幅(W)、標本容器106の内幅(Wi)、および標本容器106の壁の厚さ(Tw)を含むことがある。さらに、セグメント化データは、液体-空気界面(LA)の位置と、標本104の全高(HTOT)と、ゲルセパレータ207の上側位置(GU)および下側位置(GL)とを提供することがある。上側位置(GU)と下側位置(GL)との差は、ゲルセパレータ207の高さである。特徴は、血清または血漿部分204SPの高さHSPおよび沈降血液部分204SBの高さHSBをさらに含むことがある。また、定量化は、血清または血漿部分の体積および/または沈降血液部分の体積を推定することを含むこともある。キャップ209のサイズおよび色など、他の定量化可能な幾何学的特徴も決定されることがある。
標本容器106にはラベル210が付され、ラベル210は、バーコード、アルファベット、数字、またはこれらの組合せなど、識別情報210i(すなわちインデックス)を含むことがある。識別情報210iは、品質チェックモジュール100を含む様々な位置で機械可読であり得る。機械可読情報は、容易に撮像することができるように、ラベル材料(例えば白紙)よりも濃い色(例えば黒)でよい。識別情報210iは、患者の識別、および標本104に対して実施予定の試験を示すことがあり、あるいはラボラトリ情報管理システム(LIS)を介してそれらに相関されることがある。識別情報210iは、他のまたは追加の情報を示すこともある。上述した識別情報210iはラベル210に提供され、ラベル210は、標本容器106の外面に接着される、または別の方法で提供される。図2に示されるように、ラベル210は、標本容器106の全周にわたって、または標本容器106の全長に沿って延びることはなく、したがって図示される特定の正面の視点から血清または血漿部分204SPの大部分が見え(破線で示した部分)、ラベル210によって妨げられない。
いくつかの実施形態では、(例えば標本容器106を取り扱っている複数の設備から)複数のラベルが提供されることがあり、複数のラベルは、ある程度互いに重なっていることがある。例えば、2つのラベル(例えば、製造業者のラベルおよびバーコードラベル)が付与されることがあり、重なっていてもよく、1つまたはそれ以上の視点のいくつかまたは全てを遮って(妨害して)いてもよい。したがって、いくつかの実施形態では、ラベル210が標本104の一部を遮っていることがある(遮られた部分)が、標本104および血清または血漿部分204SPの一部が少なくとも1つの視点から依然として見える(遮られていない部分)と理解すべきである。したがって、本開示の別の態様によれば、特性評価方法を実施するように構成されたSCNNの実施形態は、改善されたHILN検出を提供することができるように、遮られた部分と遮られていない部分とを認識するように訓練することができる。
再び図1Aおよび1Bを参照すると、品質チェックモジュール100は、それぞれ視点1、2、および3を通して標本容器106を撮像する1つまたはそれ以上の画像取込みデバイス110A、110B、110Cを含むことがある。図1Aには3つの画像取込みデバイス110A~110Cが図示されているが、場合により2つまたは4つ以上を使用することもできる。画像取込みデバイス110A~110Cは、画素化画像を取り込むことが可能な従来のデジタルカメラ、電荷結合素子(CCD)、光検出器のアレイ、1つまたはそれ以上のCMOSセンサなど、よく定義されたデジタル画像を取り込むための任意の適切なデバイスでよい。図1Aに示される3つの画像取込みデバイス110A~110Cは、3つの異なる横方向の視点(1、2、および3として表される視点)から画像を取り込むように構成される。いくつかの実施形態では、取り込まれる画像のサイズは、例えば約2560×694画素でよい。他の実施形態では、画像取込みデバイス110A~110Cは、例えば約1280×387画素の画像サイズを取り込むことがある。他の画像サイズおよび画素密度を使用することもできる。
画像取込みデバイス110A~110Cはそれぞれ、標本容器106の少なくとも一部分および標本104の少なくとも一部分の横方向画像を取り込むように構成され動作可能でよい。例えば、画像取込みデバイス110A~110Cは、ラベル210の一部および血清または血漿部分204SPの一部または全てを取り込むことができる(図2)。場合によっては、視点1~3の一部は、ラベル210によって部分的に遮られる。いくつかの実施形態では、視点1~3のうちの1つまたはそれ以上は完全に遮られ、すなわち、血清または血漿部分204SPがはっきりと見えない可能性があり得る。しかし、視点1~3の片面(表側または裏側)が1つまたはそれ以上のラベル210によって完全に遮られている場合でさえ、特性評価方法はそれでも、1つまたはそれ以上のラベル210を通して血清または血漿部分204SPの境界を区別することができることがある。
図示される実施形態では、複数の画像取込みデバイス110A~110Cは、撮像位置116で、複数の視点1~3から標本容器106および標本104の横方向画像を取り込むように構成される。視点1~3は、図示されるように、互いに約120度など、互いにほぼ等間隔にされるように配置される。図示されるように、画像取込みデバイス110A~110Cは、標本容器106が輸送されるトラック108の周りに配置される。複数の画像取込みデバイス110A~110Cの他の配置を使用してもよい。このようにして、標本容器106がキャリア120内で撮像位置116に位置している状態で、標本容器106内の標本104の画像が撮影される。画像取込みデバイス110A~110Cによって得られる複数の画像の視界は、周縁領域でわずかに重なり合っていてもよい。
1つまたはそれ以上の実施形態では、キャリア120は、品質チェックモジュール100での所定の位置、例えば撮像位置116で停止される。この位置で、画像取込みデバイス110A~110Cのそれぞれからの法線ベクトルが互いに交差する。撮像位置116でキャリア120を停止させるためにキャリア120のゲートまたはリニアモータ(図示せず)が提供され、その撮像位置116で複数の品質画像が取り込まれる。品質チェックモジュール110にゲートがある実施形態では、1つまたはそれ以上のセンサ(図示せず)が、品質チェックモジュール110でのキャリア120の存在を決定するために使用される。
いくつかの実施形態では、品質チェックモジュール100は、外部照明の影響を最小限にするために、トラック118を少なくとも部分的に取り囲むまたは覆うことができるハウジング128を含むことがある。標本容器106は、画像取込みシーケンス中、ハウジング128内に位置する。ハウジング128は、キャリア120がハウジング128に入るかつ/またはハウジング128から出ることを可能にするために、1つまたはそれ以上の開口部(および/またはドア)128Dを含むことがある。いくつかの実施形態では、天井部は開口部128Oを含むことがあり、標本容器106が、可動ロボットフィンガを含むロボット(図示せず)によって上方からキャリア120に装填されることを可能にする。
画像取込みデバイス110A~110Cは、画像ウィンドウに近接して設けられ、撮像位置116で画像ウィンドウを取り込むために訓練される、または焦点を合わせられる。ここで、画像ウィンドウは、標本容器106の予想位置を含むエリアである。したがって、標本容器106は、いくつかの実施形態では、画像ウィンドウのほぼ中央に位置するように停止される。
品質チェックモジュール100の動作時、各画像は、コンピュータ124によって送信される、通信線122A、122B、122Cで提供されるトリガ信号に応答してトリガされて取り込まれる。取り込まれた画像はそれぞれ、本明細書で述べる1つまたはそれ以上の実施形態に従ってコンピュータ124によって処理される。いくつかの方法では、取り込まれた画像から画像データを取り込み処理するために高ダイナミックレンジ(HDR)処理が使用される。より詳細には、品質チェックモジュール100で、標本104の複数の画像が、複数の異なる露光で(例えば異なる露光時間で)、1つまたはそれ以上の異なるスペクトルで順次に照明されながら取り込まれる。例えば、各画像取込みデバイス110A~110Cは、複数のスペクトルそれぞれで、異なる露光時間で、血清または血漿部分204SP(図2)を含む標本容器106の画像を4~8つ取り込むことがある。例えば、4~8つの画像は、標本104が赤色スペクトルを有する光源126Aでバックライト照明された状態で、視点1で画像取込みデバイス110Aによって取り込まれる。追加の同様の画像が、視点2および3で順次に取り込まれる。他の数の画像を取り込んでもよい。
いくつかの実施形態では、多重スペクトル画像の取込みは、異なるスペクトル照明を放出する異なる光源126A、126B、および126Cを使用して達成される。光源126A~126Cは、(図示されるように)標本容器106をバックライト照明することができる。いくつかの実施形態では、光源126A~126Cと共に光拡散器が使用される。複数の異なるスペクトル光源126A~126Cは、赤、緑、青(RGB)光源、例えば、634nm±35nm(赤)、537nm±35nm(緑)、および455nm±35nm(青)の公称波長を放出する発光ダイオード(LED)でよい。他の実施形態では、光源126A~126Cは白色光源でよい。ラベル210が複数の視点を妨げる場合には、赤外線(IR)バックライト照明または近赤外線(NIR)バックライト照明が使用される。さらに、ラベルによる遮蔽が存在するときでさえ、場合によってはRGB光源が使用される。他の実施形態では、光源126A~126Cは、約700nm~約1200nmの公称波長を有する1つまたはそれ以上のスペクトルを放出することがある。他の光源および/または波長を使用することができる。
非限定的な例として、第1の波長で画像を取り込むために、3つの赤色光源126A~126C(約634nm±35nmの波長)が、3つの横方向位置から標本104を順次に照明するために使用される。異なる露光時間での複数の画像(例えば4~8つ以上の画像)が各視点1~3から各画像取込みデバイス110A~110Cによって取り込まれるとき、光源126A~126Cによる赤色照明が行われることがある。いくつかの実施形態では、露光時間は約0.1ms~256msでよい。他の露光時間を使用してもよい。いくつかの実施形態では、各画像取込みデバイス110A~110Cに関する対応する各画像は、例えば順次に撮影されることもある。したがって、各視点1~3について、赤色スペクトルのバックライト照明を有し、多重(例えば、4~8回の露光、異なる露光時間など)である1群の画像が順次に得られる。画像は、例えば、視点1からの全ての画像が取り込まれ、続いて視点2および3によって順次に取り込まれる、ラウンドロビン方式で撮影される。
図1A~1Bの実施形態で赤色照明された画像が取り込まれると、別の光スペクトル、例えば緑色スペクトルの光源126A~126Cがオンにされ(約±35nmの帯域幅を有する約537nmの公称波長)、異なる露光時間での複数の画像(例えば4~8つ以上の画像)が、各画像取込みデバイス110A~110Cによって順次に取り込まれる。これは、各画像取込みデバイス110A~110Cに関して、青色スペクトル光源126A~126C(約±35nmの帯域幅を有する約455nmの公称波長)を用いて繰り返される。異なる公称波長スペクトル光源126A~126Cは、例えば、選択的にオンオフすることができる異なる所望のスペクトル光源(例えば、R、G、B、W、IR、および/またはNIR)のバンクを含むライトパネルによって達成される。バックライト照明のための他の手段を使用することもできる。
いくつかの実施形態では、各対応する波長スペクトルに関して複数の露光(例えば露光時間)で撮影される複数の画像が次々と得られ、したがって、複数の視点1~3からの標本容器106および標本104に関するバックライト照明画像の集合全体が、例えば数秒未満で得られる。いくつかの実施形態では、画像取込みデバイス110A~110Cと、RGB光源126A~126Cを用いたバックライト照明とを使用した3つの視点1~3での各波長に関する4つの異なる露光の画像は、4つの画像×3つのスペクトル×3つの画像取込みデバイス=36個の画像となる。別の実施形態では、画像取込みデバイス110A~110Cと、R、G、B、W、IR、およびNIR光源126A~126Cを用いたバックライト照明とを使用した3つの視点1~3での各波長に関する4つの異なる露光の画像は、4つの画像×6つのスペクトル×3つのカメラ=72個の画像となる。他の数の画像を使用することもできる。
本明細書で提供される特性評価および検証方法の実施形態によれば、画像データまたは画素データの処理は、例えば、異なる露光時間で、各波長スペクトルで、各画像取込みデバイス110A~110Cに関する複数の取り込まれた画像からの最適に露光された画素を選択することを含む前処理工程を含むことがあり、各スペクトルに関しておよび各視点1~3に関して最適に露光された画素データを生成する。
各画像取込みデバイス110A~110Cによって取り込まれた画像から、対応する画素(またはパッチ)ごとに、各視点1~3に関する異なる露光画像それぞれから、最適な画像強度を示す画素(またはパッチ)が選択される。いくつかの実施形態では、最適な画像強度は、例えば0~255のスケールで180~254など、所定の強度範囲内に含まれる画素(またはパッチ)であり得る。別の実施形態では、最適な画像強度は、例えば0~255のスケールで16~254であり得る。2つの露光画像の対応する画素(またはパッチ)位置での複数の画素(またはパッチ)が最適に露光されていると判断される場合、例えば、2つのうちの高いほうが選択される。
最適な画像強度を示す選択された画素(またはパッチ)は、それらのそれぞれの露光時間によって正規化される。その結果、照明スペクトル(例えば、使用される組合せに応じて、R、G、B、白色光、IR、および/またはNIR)に関して、および各画像取込みデバイス110A~110Cに関して、複数の正規化されて統合されたスペクトル画像データセットが得られ、ここで、全ての画素(またはパッチ)が最適に露光され(例えばスペクトルごとに1つの画像データセット)、正規化される。言い換えると、各視点1~3に関して、コンピュータ124によって行われるデータ前処理は、採用された照明スペクトルごとに1つずつ、複数の最適に露光されて正規化された画像データセットをもたらすことがある。
図1Cは、標本104を含む複数の標本容器106を自動的に処理することが可能な標本試験装置150を示す。標本容器106は、装填エリア154で1つまたはそれ以上のラック152に提供された後、標本試験装置150の周りに配置された1つまたはそれ以上の分析器(例えば、第1の分析器156、第2の分析器158、および/または第3の分析器160)に輸送され、分析器によって分析される。より多数またはより少数の分析器を使用してもよい。分析器は、臨床化学分析器および/またはアッセイ機器などの任意の組合せでよい。標本容器106は、標本104を含むことができ、含まれる標本104の撮像を可能にすることができる、採血管、試験管、試料カップ、キュベット、または他の透明もしくは不透明のガラスもしくはプラスチック容器など任意の適切な透明または半透明の容器でよい。標本容器106は、様々なサイズでよい。
より詳細には、標本試験装置150は、トラック118が取り付けられる基部162(例えば、フレーム、フロア、または他の構造)を含むことがある。トラック118は、レール式トラック(例えばモノレールまたはマルチレール)、コンベアベルトの集合、コンベアチェーン、可動プラットホーム、または任意の他の適切なタイプの搬送機構でよい。トラック118は、円形または任意の他の適切な形状でよく、いくつかの実施形態では、閉じたトラック(例えばエンドレストラック)でよい。トラック118は、動作時、個々の標本容器106を、キャリア120のトラック118の周りで離間された様々な位置に輸送することができる。
キャリア120は、トラック118上で単一の標本容器106を搬送するように構成されたモータのない受動パックでよく、または場合により、トラック118の周りを動き、事前プログラムされた位置で停止するようにプログラムされたリニアモータなどの搭載型ドライブモータを含む自動キャリアでよい。キャリア120の他の構成を使用することもできる。いくつかの実施形態では、キャリア120は、1つまたはそれ以上のラック152から装填解除された後、装填エリア154から出ることがある。装填エリア154は、事前スクリーニングおよび/または分析が完了した後、標本容器106をキャリア120から装填エリア154へ再装填することも可能にする二重の機能を果たすことができる。
ロボット166が装填エリア154に提供され、1つまたはそれ以上のラック152から標本容器106を把持して、キャリア120、例えばトラック118の投入レーンに標本容器106を装填するように構成される。また、ロボット166は、標本容器106をキャリア120から1つまたはそれ以上のラック152へ再装填するように構成される。ロボット166は、X(横方向)およびZ(垂直方向-図示されるように紙面外へ)、YおよびZ、X、Y、およびZ、またはr(径方向)およびθ(回転方向)の運動が可能な1つまたはそれ以上(例えば少なくとも2つ)のロボットアームまたは構成要素を含むことがある。ロボット166は、ガントリロボット、関節式ロボット、R-θ型ロボット、または他の適切なロボットでよく、ロボット166は、標本容器106を持ち上げて配置するように向けられ、サイズ設定され、構成されたロボットグリッパフィンガを含むこともある。
トラック118に装填されると、キャリア120によって搬送される標本容器106は、第1の前処理ステーション168に進むことができる。例えば、第1の前処理ステーション168は、標本104の分画を実施するように構成された自動遠心分離器でよい。標本容器106を搬送するキャリア120は、流入レーンまたは他の適切なロボットによって第1の前処理ステーション168へ偏向される。遠心分離された後、標本容器106は、流出レーンに出るか、または別の方法でロボットによって取り出され、トラック118に沿って進み続けることができる。図示される実施形態では、次に、キャリア120にある標本容器106は、本明細書でさらに述べる事前スクリーニングを実施するために品質チェックモジュール100へ輸送される。
追加のステーションが、トラック118上のまたはトラック118に沿った1つまたはそれ以上の位置に設けられる。追加のステーションは、キャップ取外しステーション、アリコートステーション、1つまたはそれ以上の追加の品質チェックモジュール100などを含むことがある。
標本試験装置150は、トラック118の周囲の1つまたはそれ以上の位置にいくつかのセンサ170を含むことがある。センサ170は、識別情報210iまたは各キャリア120に提供される類似の情報(図示せず)を読み取ることによってトラック118上での標本容器106の位置を検出するために使用される。近接センサなど、位置を追跡するための任意の適切な手段を使用することができる。各標本容器106の位置が常に分かっているように、全てのセンサ170が、コンピュータ172とインターフェースすることができる。
前処理ステーションおよび分析器156、158、および160は、トラック118からキャリア120を取り出すように構成されたロボット機構および/または流入レーンと、トラック118にキャリア120を再び入れるように構成されたロボット機構および/または流出レーンとを含むことができる。
標本試験装置150は、コンピュータ172によって制御され、コンピュータ172は、適切なメモリと、様々なシステム構成要素を操作するための適切な調整電子回路およびドライバとを有する、マイクロプロセッサベースの中央演算処理装置(CPU)でよい。コンピュータ172は、標本試験装置150の基部162の一部として、またはそれとは別に収容される。コンピュータ172は、キャリア120が装填エリア154に出入りする動き、トラック118の周りでの運動、第1の前処理ステーション168に出入りする運動、および第1の前処理ステーション168(例えば遠心分離器)の動作、品質チェックモジュール100に出入りする運動、および品質チェックモジュール100の動作、ならびに各分析器156、158、160に出入りする運動、および様々なタイプの試験(例えばアッセイまたは臨床化学)を実施するための各分析器156、158、160の動作を制御するように動作することができる。図1Aおよび1Bのコンピュータ124は、図1Cのコンピュータ172の一部でも、またはそれとは別でもよい。
さらに図3Aを参照する。図3Aは、本明細書で述べるHILまたはHILN特性評価および検証方法を実施するように構成された機能的構成要素を含む装置330Aを示す。装置330Aは、コンピュータ124および/または172によって制御される品質チェックモジュール100(図1A~1C)内で具現化される。例えば、各機能的構成要素は、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアとの組合せとして実装される。上で論じたように、標本容器106は、品質チェックモジュール100の撮像位置116(図1A)に提供される。標本容器106の多重ビュー画像は、画像収集サブシステム332で、複数の画像取込みデバイス110A~110Cのうちの1つまたはそれ以上によって取り込まれる。多重ビュー、多重スペクトル、多重露光画像それぞれに関する画像データは、複数の最適に露光されて正規化された画素データセット(以下「画像データセット」)を提供するために、上述したように前処理サブシステム334で前処理される。標本容器の画像の1つまたはそれ以上の画像データセットは、標本分類を予測するために仮説ネットワーク338によって使用される。いくつかの実施形態では、仮説ネットワーク338は、セグメント化ネットワークおよび/または分類ネットワークでよい。
1つまたはそれ以上の画像データセットが与えられると、仮説ネットワーク338は、画像の各画素に、その画素データ値によって示されるその局所的な外観に基づいてHILN分類を割り当てるように動作可能である。いくつかの実施形態では、仮説ネットワーク338は、血清または血漿部分の画素データによって表される色に基づいて、または少なくとも一部基づいて、標本の血清または血漿部分の分類を予測することがある。いくつかの実施形態では、分類は、未遠心分離クラスを含むことがある。分類は、より少ないまたはより多くのクラスおよびサブクラスを含むこともある。いくつかの実施形態では、仮説ネットワークは、サンプルが遠心分離されているかどうかを決定することがある。サンプルが遠心分離されていない場合、HIL分類を実施することができないことを実験技術者に知らせるための通知が生成される。さらに、装置330Aは、遠心分離されていないサンプルのHIL分類をスキップすることがある。
装置330Aは、検証サブシステム340において標本の予測された分類を検証する。検証サブシステム340は、1つまたはそれ以上の検証ネットワーク342を含む、またはそれらに連結される。図3Aに示される実施形態は、4つの検証ネットワーク342を含む。溶血検証ネットワーク342A(「第1の検証ネットワーク」と呼ぶこともある)は、溶血予測を検証するために溶血分類について訓練される。黄疸検証ネットワーク342B(「第2の検証ネットワーク」と呼ぶこともある)は、黄疸予測を検証するために黄疸分類について訓練される。脂肪血症検証ネットワーク342C(「第3の検証ネットワーク」と呼ぶこともある)は、脂肪血症予測を検証するために脂肪血症分類について訓練される。第4の検証ネットワーク342Dは、正常の予測を検証するように訓練される。いくつかの実施形態は、第4の検証ネットワーク342Dを含まず、正常分類を検証しない。他の数およびタイプの検証ネットワーク342を使用することもできる。
装置330Aの動作中、仮説ネットワーク338は、例えば標本の溶血分類を予測することがある。次いで、検証サブシステム340は、1つまたはそれ以上の画像データセットを溶血検証ネットワーク342Aに伝送することができ、溶血検証ネットワーク342Aは、溶血を検証するためだけに訓練される。溶血検証ネットワーク342Aは、正しいまたは誤った溶血予測を示す信号を生成することがある。
装置330Aは、(出力サブシステム344を使用して)検証された分類を出力することができ、この分類は、検証ネットワーク342の出力に基づいて生成される。出力サブシステム344の検証された出力は、検証ネットワーク342によって生成された肯定的な結果に基づくことがある。例えば、検証ネットワーク342は、仮説ネットワーク338によって生成されたHIL分類の予測を検証または拒絶することがある。検証ネットワーク342が仮説ネットワーク338を検証した場合、出力サブシステム344は、所定の確実性レベルよりも高い確実性で仮説ネットワーク338のHIL決定を出力することができる。例えば、検証された出力、したがって装置330Aの出力は、98%の確実性で、HIL分類が正しいと決定することがある。他の確実性レベルが使用されることもある。いくつかの実施形態では、検証された出力は、装置330Aが所定の確実性レベル内でHIL分類の決定を行うことができなかったことを示す信号であり得る。いくつかの状況では、検証された出力は、標本が手動で分析されるべきであることを示すことがある。
さらに図3Bを参照する。図3Bは、分類指数を予測し、標本の予測された分類指数を検証する装置330Bの実施形態を示す。例えば、装置330Bは、HILクラス内の分類指数を予測および検証する。装置330Bは、図3Aの装置330Aと同様であるが、図3Aの仮説ネットワーク338の代わりに用いられ、標本の分類指数を予測する仮説ネットワーク348を含む。いくつかの実施形態では、分類指数は、未遠心分離クラス、正常クラス、および19個のHILクラス/サブクラスを含む21個の血清クラスを含むことがある。分類指数は、より少ないもしくはより多い、または異なるクラスおよびサブクラスを含むことがある。
装置330Bは、図3Aの検証サブシステム340の代わりに用いられ、例えば指数検証ネットワーク352を使用することによって、予測された分類指数を検証する検証サブシステム350を含む。指数検証ネットワーク352は、特定のHIL分類指数を検証するように訓練される。例えば、指数検証ネットワーク352のうちの1つまたはそれ以上は、仮説ネットワーク339または仮説ネットワーク348によって生成された仮説が正しいかまたは否かを判断する二項分類器でよい。
溶血指数検証ネットワーク352A(「第1の指数検証ネットワーク」と呼ぶこともある)は、個々の溶血分類指数を検証するために訓練される。黄疸指数検証ネットワーク352B(「第2の指数検証ネットワーク」と呼ぶこともある)は、個々の黄疸分類指数を検証するために訓練される。脂肪血症指数検証ネットワーク352C(「第3の指数検証ネットワーク」と呼ぶこともある)は、個々の脂肪血症分類指数を検証するために訓練される。指数検証ネットワーク352は、第4の検証ネットワーク340Dを含むことがあり、第4の検証ネットワーク340Dは、上述したように正常分類を検証するために訓練される。いくつかの実施形態は、第4の検証ネットワーク342Dを含まず、正常分類を検証しない。他の数およびタイプの指数検証ネットワークを使用することもできる。
溶血指数検証ネットワーク352Aは、複数の個別の予測された溶血分類指数を検証することがある。いくつかの実施形態では、溶血指数検証ネットワーク352Aは、予測された各溶血分類指数を検証するために、CNNなどの個々のニューラルネットワークを含むことがある。黄疸指数検証ネットワーク352Bは、複数の個別の予測された黄疸分類指数を検証することがある。いくつかの実施形態では、黄疸指数検証ネットワーク352Bは、予測された各黄疸分類指数を検証するために、CNNなどの個々のニューラルネットワークを含むことがある。同様に、脂肪血症指数検証ネットワーク352Cは、複数の予測された脂肪血症分類指数を検証することがある。いくつかの実施形態では、脂肪血症指数検証ネットワークは、各脂肪血症分類指数を検証するために、CNNなどの個々のニューラルネットワークを含むことがある。
装置330Bの動作の一例として、仮説ネットワーク348は、例えば標本に関する溶血分類指数H3を予測することがある。次いで、検証サブシステム350は、1つまたはそれ以上の画像データセットを溶血指数検証ネットワーク352Aに伝送することができ、溶血指数検証ネットワーク352Aは、溶血分類指数H3を検証するためだけに訓練される。溶血指数検証ネットワーク352Aは、正しいまたは誤った予測を示す信号を生成することがある。いくつかの実施形態では、指数検証ネットワーク352は、予測の確実性に関連するパーセンテージなどの加重応答を生成することがある。例えば、加重応答は、予測が所定の信頼水準を超えているかどうかを決定することがある。
装置330Bは、出力サブシステム354を使用して、検証された分類指数を出力することができ、この分類指数は、指数検証ネットワーク352の出力に基づいて生成される。出力サブシステム354の検証された出力は、指数検証ネットワーク342によって生成された肯定的な結果に基づくことがある。例えば、指数検証ネットワーク352は、仮説ネットワーク348によって予測されたHIL分類の予測を検証または拒絶することがある。指数検証ネットワーク352が仮説ネットワーク348を検証する場合、出力サブシステム354は、所定の確実性レベルで、仮説ネットワーク348によって予測されたHIL分類指数を出力することができる。例えば、検証された出力、したがって装置330Bの出力は、予測されたHIL分類指数が正しいという98%の確実性を有することがある。他の確実性レベルが使用されることもある。いくつかの実施形態では、検証された出力は、装置330Bが所定の確実性レベル内でHIL分類指数の決定を行うことができなかったことを示す信号であり得る。いくつかの状況では、検証された出力は、標本が手動で分析されるべきであることを示すことがある。
いくつかの状況では、第1の分類指数が第2の分類指数に近いことがある。第1の分類指数が第2の分類指数として識別される、またはその逆など、第1と第2の分類指数の間で混乱が生じることがある。これらの問題を克服するために、指数検証ネットワーク352は、分類指数を区別する検証ネットワークを含むことがある。例えば、指数検証ネットワークは、上述した第1の分類指数を第2の分類指数から区別するように訓練されたエキスパートネットワークなどのネットワークを含むことがある。したがって、類似した分類指数間の混乱が緩和される。
図4は、本明細書で述べるHIL(N)仮説方法を実施するように構成された機能的構成要素を含む仮説ネットワーク458の実施形態を示す。図4に示される仮説ネットワーク458は、複数の指数検証ネットワーク352(例えば、352A~C)に連結される。仮説ネットワーク458は、コンピュータ124および/または172によって制御される品質チェックモジュール100(図1A~1C)内で(例えば、コンピュータ124および/または172と通信する、またはコンピュータ124および/または172内にあるメモリで)具現化される。仮説ネットワーク458は、例えば、畳み込みニューラルネットワークなどのニューラルネットワークでよい。上で論じたように、標本容器106は、品質チェックモジュール100の撮像位置116(図1A)に提供される。多重ビュー画像は、1つまたはそれ以上の画像取込みデバイス110A~110C(図1A)によって取り込まれる。多重ビュー、多重スペクトル、多重露光画像それぞれに関する画像データまたは画素データは、複数の最適に露光されたおよび/または正規化された画素データセットを提供するために、上述したように前処理される。コンピュータ124および/または172は、画素データを前処理して、画像データセットを生成することができる。画像データセットは、仮説ネットワーク458への入力として提供され、仮説ネットワーク458は、セグメント化畳み込みニューラルネットワーク(SCNN)460でよく、またはそれを含むことがある。仮説ネットワーク458および/またはSCNN 460は、コンピュータ124および/または172で実行されるプログラムでよい。
仮説ネットワーク458によって実施されるタスクは、標本容器106などの標本容器内の標本(例えば標本104、図1A~1B)の特性評価である。このタスクは、背景からの標本容器の分離、および標本容器に貼付された任意のラベルのセグメント化、それに続く血清または血漿部分204SP(図2)の分類を含むことがある。これらのタスクは全て、画素レベルの分類を行うSCNN 460によって完了される。画素データを含む入力画像データセットが与えられると、SCNN 460は、画像の画素データ値によって示されるその局所的な外観に基づいて、画像の各画素に分類指数を割り当てるように動作可能である。抽出された画素指数情報は、最終的なHILN分類および/または最終的なHILN分類指数を決定するためにSCNN 460によってさらに処理することができる。いくつかの実施形態では、分類指数は、以下により詳細に述べるように、未遠心分離クラス、正常クラス、および19個のHILクラス/サブクラス(指数)を含む21個の血清クラスを含むことがある。分類および/または分類指数は、異なる、より少ないまたはより多いクラスおよびサブクラスを含むことがある。
上述したように、HIL分類または分類指数を決定する際の課題は、H、I、およびLクラスの各サブクラス内の小さな外観の相違に起因することがある。さらなる課題は、上述したように、異なる標本容器のサイズおよび形状、ならびに生じる可能性のある様々な標本容器ラベルによる遮蔽に起因する。例えば、標本容器のラベルは、標本容器内の標本のビューを遮ることがあり、または標本容器の裏側に影となる領域を生成することがあり、標本の外観を暗くすることがある。
これらの課題を克服するために、SCNN 460は、いくつかの実施形態では100個を超える演算層を含む(ベリー)ディープセマンティックセグメント化ネットワーク(DSSN)462を含むことがある。そのようなディープネットワークを有する利点は、ネットワーク受信フィールドを増大することができることであり、ネットワーク受信フィールドは、小さなローカル領域ではなく、より多くのコンテキスト情報を利用する。さらに、密に接続されたネットワークは、低レベルから高レベルの層まで、および符号化領域から復号領域までの機能を連結する。そうすることによって、DSSN 462をより簡単に訓練して、同じタスクのために構成された他の畳み込みニューラルネットワークよりも詳細な特徴を画像から認識することができる。SCNN 460は、他のニューラルネットワークを含むこともある。
標本容器タイプ(例えばサイズおよび/または形状)のばらつきによって引き起こされることがある外観の相違を克服するために、SCNN 460は、DSSN 462のフロントエンドに小さい容器セグメント化ネットワーク(SCN)464を含むことがある。SCN 464は、容器タイプおよび容器境界情報466を決定するように構成され動作可能でよい。容器タイプおよび容器境界情報466は、追加の入力チャネルを介してDSSN 462に入力され、いくつかの実施形態では、SCNN 460は、決定された容器タイプおよび境界468を出力として提供することがある。いくつかの実施形態では、SCN 464は、DSSN 462と同様のネットワーク構造を有することができるが、より浅い(すなわち、層がはるかに少ない)。
標本容器のラベルによって引き起こされる外観の相違を克服するために、マルチラベル損失をサポートするようにネットワーク損失関数が構成される。すなわち、いくつかの既知のネットワークでは、画像画素ごとに1つの値しか出力されない。SCNN 460では、画像画素ごとに2つの値が出力される。一方は血清クラスに関し、他方は標本容器ラベルクラスに関する。標本容器ラベルクラスに関する値は、0(標本容器ラベルがないことを意味する)から3(画素が3層のラベルで覆われていることを意味する)の範囲にある。2つの値を組み合わせることによって、SCNN 460は、1つまたはそれ以上の標本容器ラベルの後方に隠されている標本流体領域の血清または血漿部分クラスをより良く決定することができる。
図4に示されているように、SCNN 460の出力は、予測された分類(または分類指数)470でよく、予測された分類470は、いくつかの実施形態では、未遠心分離クラス470U、正常クラス470N、溶血クラス470H、黄疸クラス470I、および脂肪血症クラス470L(または対応するクラス指数)を含むことがある。いくつかの実施形態では、溶血クラス470Hは、サブクラスまたは指数H0、H1、H2、H3、H4、およびH5を含むことがある。黄疸クラス470Iは、サブクラスまたは指数I0、I1、I2、I3、I4、およびI5を含むことがある。脂肪血症クラス470Lは、サブクラスL0、L1、L2、およびL3を含むことがある。溶血クラス470H、黄疸クラス470I、および/または脂肪血症クラス470Lはそれぞれ、他の実施形態では、他の数のサブクラスまたは指数を有することがある。
予測された分類(または分類指数)470の結果は、検証サブシステム340(図3A)を参照して述べたように検証ネットワーク342(図3A)へ転送されるか、または検証サブシステム350(図3B)を参照して述べたように指数検証ネットワーク352へ転送される。SCNN 460は、予測された分類または分類指数470を生成するためのコンピュータ124および/または172で実行する畳み込みニューラルネットワークなどのニューラルネットワークを採用することがある。
図4に示される指数検証ネットワーク352は、未遠心分離検証ネットワーク472を含むことがあり、未遠心分離検証ネットワーク472は、標本104が血清または血漿部分204SPと沈降血液部分204SBとに分離されていないという仮説ネットワーク458による予測を検証する。指数検証ネットワーク352は、複数の個々の検証ネットワークを含むことがあり、各個々の検証ネットワークは、個々の分類指数を検証するように訓練される。例えば、第1の個々の検証ネットワークは、H2を検証するためだけに訓練され、第2の個々の検証ネットワークは、H3を検証するためだけに訓練される。いくつかの実施形態では、個々の検証ネットワークはそれぞれ、畳み込みニューラルネットワークなどのニューラルネットワークでよい。いくつかの実施形態では、個々の検証ネットワークは、DenseNetおよび/またはResNetネットワークでよい。
図4に示される実施形態では、仮説ネットワーク458によって生成される各分類指数は、対応する検証ネットワークを有することがある。例えば、仮説ネットワーク458が標本104に関してH4分類指数を予測した場合、画素データおよび/または画像データセットは、特にH4に対して訓練された溶血指数検証ネットワーク352A内のネットワークによって処理される。次いで、指数検証ネットワーク352は、画素データおよび/または画像データセットを分析して、予測H4分類指数を検証する、または取り消すことがある。
図5は、DSSN 462のアーキテクチャ500および実施形態を示す。DSSN 462は、例えばBerkley Vision and Learning Center(BVLC)から入手可能なCaffe、Montreal Institute of Learning Algorithmsによって開発されたTheano Pythonライブラリ、TensorFlow、Torchなど、任意の適切な科学計算フレームワーク、プログラム、またはツールボックスを使用して符号化される。アーキテクチャ500は、例えば、図5に示されるように配置された以下の演算層を含むことがある:2つの畳み込み(CONV)層501および547;11個の高密度ブロック層DB4 503、DB5 507、DB7 511、DB10 515、DB12 519、DB15 523、DB12 527、DB10 531、DB4 535、DB5 539、およびDB4 543;5つの遷移ダウン層TD 505、TD 509、TD 513、TD 517、およびTD 521;5つの遷移アップ層TU 525、TU 529、TU 533、TU 537、およびTU 541;および完全接続層545。ここで、分類指数470が出力される。他の数、タイプ、および/または配置の層を使用することもできる。
いくつかの実施形態では、各高密度ブロック層DB4 503、535、および543は、4つの高密度層を含むことがある。各高密度ブロック層DB5 507および539は、5つの高密度層を含むことがある。高密度ブロック層DB7 511は、7つの高密度層を含むことがある。各高密度ブロック層DB10 515および531は、10個の高密度層を含むことがある。各高密度ブロック層DB12 519および527は、12個の高密度層を含むことがあり、高密度ブロック層DB15 523は、15個の高密度層を含むことがある。いくつかの実施形態では、各高密度層は、バッチ正規化演算、ReLU層、およびドロップアウトp=0.2を有する3×3畳み込み層が含まれることがあり、ここで、第1の高密度層は入力を受け取り、入力に連結された複数の画素ラベルマップを出力する。次いで、第2の高密度層は、連結された出力をその入力として受け取り、いくつかの画素ラベルマップを出力し、これらのマップは、前の画素ラベルマップに再び連結される。これは、高密度ブロック層内の各高密度層に関して繰り返すことができる。他の数および/またはタイプの高密度層を使用することもできる。
いくつかの実施形態では、各遷移ダウン層TD 505、TD 509、TD 513、TD 517、およびTD 521は、バッチ正規化演算、次いでReLu層、次いでドロップアウトp=0.2を有する3×3畳み込み層、次いで2×2マックスプーリング層を含むことがある。ドロップアウト確率は、最良の結果をもたらす実験的な試験の実行に応じて、0~1の範囲内であり得ることに留意されたい。いくつかの実施形態では、層TD 505の出力での画素ラベルマップの数は112でよく、TD 509の出力では192でよく、TD 513の出力では304でよく、TD 517の出力では464でよく、TD 521の出力では656でよい。他の実施形態では、他のタイプの遷移ダウン層が使用される、および/または他の数の画素ラベルマップが出力される。いくつかの実施形態では、各遷移アップ層TU 525、TU 529、TU 533、TU 537、およびTU541は、ストライド2を有する3×3転置畳み込み層を含むことがある。他の遷移アップ層パラメータを使用することもできる。
いくつかの実施形態では、DB15 523の出力での画素ラベルマップの数は896でよく、DB12 527の出力では1088でよく、DB10 531の出力では816でよく、DB4 535の出力では578でよく、DB5 539の出力では384でよく、DB4 543の出力では256でよい。他の実施形態では、他の数の画素ラベルマップが出力される。
ここで図6を参照する。図6は、標本(例えば標本104)を特性評価する方法600を述べる流れ図を示す。方法600は、工程602で、標本の1つまたはそれ以上の画像を取り込むことを含み、1つまたはそれ以上の画像は、標本の血清または血漿部分(例えば血清または血漿部分204SP)を含み、取込みにより画素データが生成される。方法600は、工程604で、コンピュータ(例えばコンピュータ124および/または172)で実行される第1のネットワーク(例えばSCNN 460)を使用して、標本の1つまたはそれ以上の画像の画素データを処理して、血清または血漿部分の分類を予測することを含み、分類は、溶血、黄疸、および脂肪血症を含む。方法は、工程606で、1つまたはそれ以上の検証ネットワーク(例えば検証ネットワーク342)を使用して、予測された分類を検証することを含む。予測された分類指数を検証するために同様の方法が実施されることもある。
本明細書で使用するとき、畳み込み層とは、入力画像データ(例えば画素強度値)にフィルタ(カーネルとも呼ばれる)を適用して、入力画像データでのある空間位置におけるある特定のタイプの色または特徴(例えば、第1の畳み込み層の適用後の単純な曲線から、いくつかの畳み込み層の適用後のいくぶん複雑な特徴まで)の検出を示すことがある活性化マップを出力する処理工程である。
マックスプーリング層は、フィルタを適用して、畳み込み層から受け取られた1つまたはそれ以上の活性化マップに現れる最大画素値を有する出力活性化マップを生成することができる処理工程である。
ReLU(正規化線形ユニット)層は、受け取られた活性化マップの全ての値に非線形関数を適用することができ、例えば全ての負の活性化値に値0が割り当てられる処理工程である。
完全接続層は、前の活性化マップ(それぞれがより低レベルの機能の検出を示すことがある)を集約して高レベルの機能の検出を示す処理工程である。
ソフトマックス層は通常、画像特徴のクラスから1つまたはそれ以上の画像の最もあり得る特徴を強調表示または識別する確率分布を出力する最終処理工程である。HIL分類指数を決定するための別の課題は、SCNN 460に均質な構造を出力させることである。すなわち、この課題は、血清または血漿部分が異なるHILクラスの組合せとして分類されることを避けることである。これは、セマンティックセグメント化ネットワークでの損失関数が各画素を個別に評価することがあるために生じることがある。DSSN 462は、大きな受信フィールドに応答してコンテキスト情報を使用するが、通常であれば、標本容器の同じ画像の各画素に関する均質なクラスを出力する制約がないことがある。
特定の実施形態を参照して本開示を本明細書で述べるが、本開示は、記載される詳細に限定されることを意図されてはいない。むしろ、本開示から逸脱することなく、本開示の等価形態の範囲内で、細部に様々な修正を施すことができる。

Claims (21)

  1. 標本を特性評価する方法であって:
    標本の1つまたはそれ以上の画像を取り込む工程であって、1つまたはそれ以上の画像は、標本の血清または血漿部分を含み、画素データが生成される、工程と;
    血清または血漿部分の分類を予測するために、コンピュータで実行される仮説ネットワークを使用して、標本の1つまたはそれ以上の画像の画素データを処理する工程であって、分類は、溶血、黄疸、および脂肪血症を含む、工程と;
    予測された分類を検証または拒絶する、予測された分類について訓練された検証ネットワークを使用して、画素データを分析することにより、予測された分類を検証する工程とを含む前記方法。
  2. 仮説ネットワークが標本に関して溶血分類を予測したのに応答して、溶血について訓練された検証ネットワークによって、予測された分類を検証する工程と;
    仮説ネットワークが標本に関して黄疸分類を予測したのに応答して、黄疸について訓練された検証ネットワークによって、予測された分類を検証する工程と;
    仮説ネットワークが標本に関して脂肪血症分類を予測したのに応答して、脂肪血症について訓練された検証ネットワークによって、予測された分類を検証する工程と
    をさらに含む請求項1に記載の方法。
  3. 画素データを処理する工程は、溶血、黄疸、および脂肪血症の少なくとも1つに関する分類指数を予測することを含み;
    予測された分類を検証する工程は、予測された分類指数について訓練された検証ネットワークを使用して、画素データを分析することを含む請求項1に記載の方法。
  4. 画素データを処理する工程は、溶血分類指数を予測することを含み;
    予測された分類を検証する工程は、予測された溶血分類指数について訓練された指数検証ネットワークを使用して、予測された溶血分類指数を検証することを含む
    請求項1に記載の方法。
  5. 画素データを処理する工程は、黄疸分類指数を予測することを含み;
    予測された分類を検証する工程は、予測された黄疸分類指数について訓練された指数検証ネットワークを使用して、予測された黄疸分類指数を検証することを含む
    請求項1に記載の方法。
  6. 画素データを処理する工程は、脂肪血症分類指数を予測することを含み;
    予測された分類を検証する工程は、予測された脂肪血症分類指数について訓練された指数検証ネットワークを使用して、予測された脂肪血症分類指数を検証することを含む
    請求項1に記載の方法。
  7. 分類を予測することは、正常分類を予測することをさらに含む、請求項1に記載の方法。
  8. 正常分類について訓練された検証ネットワークを使用して正常分類を検証する工程をさらに含む、請求項7に記載の方法。
  9. 仮説ネットワークを使用して、標本の1つまたはそれ以上の画像の画素データを処理する工程は、セグメント化ネットワークを使用して、標本の1つまたはそれ以上の画像の画素データを処理することを含む、請求項1に記載の方法。
  10. 仮説ネットワークを使用して、標本の1つまたはそれ以上の画像の画素データを処理する工程は、分類ネットワークを使用して、標本の1つまたはそれ以上の画像の画素データを処理することを含む、請求項1に記載の方法。
  11. 画素データを処理する工程は:
    ディープセマンティックセグメント化ネットワークを使用して、標本中の血清または血漿部分を識別すること;および
    血清または血漿部分の画素データによって表される色に少なくとも一部基づいて、ディープセマンティックセグメント化ネットワークを使用して、標本の血清または血漿部分の分類指数を予測すること
    を含む請求項1に記載の方法。
  12. 仮説ネットワークは、少なくとも11個の高密度ブロック層を含むアーキテクチャを含む、請求項1に記載の方法。
  13. 証ネットワークを使用した予測された分類の検証に応答して信頼水準を生成する工程をさらに含む、請求項1に記載の方法。
  14. 証ネットワークを使用した予測された分類の検証に応答して信頼水準を生成し、信頼水準が所定のレベル未満であることに応答して信号を生成する工程をさらに含む、請求項1に記載の方法。
  15. 証ネットワークは、1つまたはそれ以上の畳み込みニューラルネットワークを含む、請求項1に記載の方法。
  16. 品質チェックモジュールであって:
    標本の血清または血漿部分を含む標本容器の1つまたはそれ以上の視点から、1つまたはそれ以上の画像を取り込むように動作可能な複数の画像取込みデバイスと;
    複数の画像取込みデバイスに連結されたコンピュータとを含み、該コンピュータは:
    標本の1つまたはそれ以上の画像を取り込む工程であって、1つまたはそれ以上の画
    像は、標本の血清または血漿部分を含み、画素データが生成される、工程と;
    血清または血漿部分の分類を予測するために、コンピュータで実行される仮説ネットワークを使用して、標本の1つまたはそれ以上の画像の画素データを処理する工程であって、分類は、溶血、黄疸、および脂肪血症を含む、工程と;
    予測された分類を検証または拒絶する、予測された分類について訓練された、コンピュータで実行される検証ネットワークを使用して、予測された分類を検証する工程と
    を行うように構成され動作可能である、前記品質チェックモジュール。
  17. コンピュータは、血清または血漿部分の正常な分類を予測するために画素データを処理する工程を行うようにさらに構成され動作可能である、請求項16に記載の品質チェックモジュール。
  18. コンピュータは:
    分類指数を予測するために画素データを処理する工程と;
    予測された分類指数について訓練された検証ネットワークを使用して、予測された分類指数を検証する工程と
    を行うようにさらに構成され動作可能である、請求項16に記載の品質チェックモジュール。
  19. コンピュータは:
    仮説ネットワークが標本に関して溶血分類を予測したのに応答して、溶血について訓
    練された検証ネットワークによって、予測された分類を検証する工程と;
    仮説ネットワークが標本に関して黄疸分類を予測したのに応答して、黄疸について訓練された検証ネットワークによって、予測された分類を検証する工程と;
    仮説ネットワークが標本に関して脂肪血症分類を予測したのに応答して、脂肪血症について訓練された検証ネットワークによって、予測された分類を検証する工程と
    を行うようにさらに構成され動作可能である、請求項16に記載の品質チェックモジュール。
  20. 証ネットワークは、1つまたはそれ以上の畳み込みニューラルネットワークを含む、請求項16に記載の品質チェックモジュール。
  21. 標本試験装置であって:
    トラックと;
    トラック上で可動であり、標本の血清または血漿部分を含む標本容器を含むように構成されたキャリアと;
    トラックの周囲に配置されて、1つまたはそれ以上の視点から標本容器および標本の血清または血漿部分の1つまたはそれ以上の画像を取り込むように動作可能である複数の画像取込みデバイスと;
    複数の画像取込みデバイスに連結されたコンピュータとを含み、該コンピュータは:
    標本の1つまたはそれ以上の画像を取り込む工程であって、1つまたはそれ以上の画像は、標本の血清または血漿部分を含み、画素データが生成される、工程と;
    血清または血漿部分の分類を予測するために、コンピュータで実行される仮説ネットワークを使用して、標本の1つまたはそれ以上の画像の画素データを処理する工程であって、分類は、溶血、黄疸、および脂肪血症を含む、工程と;
    予測された分類を検証または拒絶する、コンピュータで実行される1つまたはそれ以上の検証ネットワークを使用して、予測された分類を検証する工程と
    を行うように構成され動作可能である、前記標本試験装置。
JP2021515513A 2018-09-20 2019-09-19 標本分類のための仮説および検証ネットワークおよび方法 Active JP7203206B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862734007P 2018-09-20 2018-09-20
US62/734,007 2018-09-20
PCT/US2019/052014 WO2020061370A1 (en) 2018-09-20 2019-09-19 Hypothesizing and verification networks and methods for specimen classification

Publications (2)

Publication Number Publication Date
JP2022501595A JP2022501595A (ja) 2022-01-06
JP7203206B2 true JP7203206B2 (ja) 2023-01-12

Family

ID=69887852

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021515513A Active JP7203206B2 (ja) 2018-09-20 2019-09-19 標本分類のための仮説および検証ネットワークおよび方法

Country Status (5)

Country Link
US (1) US12504435B2 (ja)
EP (1) EP3853616B1 (ja)
JP (1) JP7203206B2 (ja)
CN (2) CN112689763B (ja)
WO (1) WO2020061370A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11940451B2 (en) * 2021-12-20 2024-03-26 Instrumentation Laboratory Co. Microfluidic image analysis system
CN115436319B (zh) * 2022-10-13 2024-08-20 昆明理工大学 一种基于近红外光谱的真假牛干巴快速检测方法及其应用
CN116704248B (zh) * 2023-06-07 2024-10-25 南京大学 一种基于多语义不平衡学习的血清样本图像分类方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2885823B2 (ja) 1989-04-11 1999-04-26 株式会社豊田中央研究所 視覚認識装置
JP3445799B2 (ja) 1996-12-25 2003-09-08 株式会社日立製作所 パターン認識装置及びパターン認識方法
JP2008268265A (ja) 2007-04-16 2008-11-06 Fujitsu Microelectronics Ltd 検証方法及び検証装置
JP5597248B2 (ja) 2009-04-03 2014-10-01 バッテル メモリアル インスティチュート 生物学的及び化学的収集及び検出
JP2016514869A (ja) 2013-03-19 2016-05-23 シレカ セラノスティクス エルエルシー スペクトル画像による生物試料の分析方法およびシステム
JP2017510927A (ja) 2014-04-11 2017-04-13 ペキン センスタイム テクノロジー ディベロップメント カンパニー リミテッド 基準画像に基づく顔画像検証方法、及び顔画像検証システム
WO2018022280A1 (en) 2016-07-25 2018-02-01 Siemens Healthcare Diagnostics Inc. Systems, methods and apparatus for identifying a specimen container cap
WO2018089938A1 (en) 2016-11-14 2018-05-17 Siemens Healthcare Diagnostics Inc. Methods, apparatus, and quality check modules for detecting hemolysis, icterus, lipemia, or normality of a specimen
WO2018225448A1 (ja) 2017-06-09 2018-12-13 智裕 多田 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
JP2019515898A (ja) 2016-04-22 2019-06-13 インノスペック リミテッドInnospec Limited 方法、組成物、及びそれらに関する使用
JP2019518224A (ja) 2016-04-11 2019-06-27 エージェンシー フォー サイエンス, テクノロジー アンド リサーチ 化合物誘発性肝臓傷害を正確に予測するためのハイスループット方法

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5597248A (en) 1979-01-19 1980-07-24 Toshiba Electric Equip Corp Cooler for ultraviolet-ray lamp
JPH08315144A (ja) 1995-05-16 1996-11-29 Hitachi Ltd パターン分類装置及びそのパターン分類方法
JPH09120455A (ja) 1995-10-26 1997-05-06 Meidensha Corp ニューラルネットワークによる特徴識別方法
JPH09133687A (ja) 1995-11-13 1997-05-20 Meiji Denki Kogyo Kk 採血試験管における血清量測定装置
JPH10302067A (ja) 1997-04-23 1998-11-13 Hitachi Ltd パターン認識装置
US8565507B2 (en) * 2008-05-23 2013-10-22 University Of Rochester Automated placental measurement
EP3974838B1 (en) 2009-08-13 2026-04-22 Siemens Healthcare Diagnostics Inc. Methods for ascertaining physical dimensions in liquid samples and containers to be analyzed by a clinical analyzer
JP6143584B2 (ja) 2013-07-04 2017-06-07 株式会社日立ハイテクノロジーズ 検出装置および生体試料分析装置
EP3256256B1 (en) 2015-02-13 2022-12-21 Siemens Healthcare Diagnostics Inc. Pipette cleaning methods and apparatus, neutralizing liquid vessels, and methods of reducing carryover
US11009467B2 (en) 2015-02-17 2021-05-18 Siemens Healthcare Diagnostics Inc. Model-based methods and apparatus for classifying an interferent in specimens
WO2016145547A1 (en) 2015-03-13 2016-09-22 Xiaoou Tang Apparatus and system for vehicle classification and verification
CN105354611B (zh) 2015-10-08 2018-01-09 程涛 一种基于人工神经网络的最佳质量图像扫描方法及系统
EP3368156B1 (en) 2015-12-10 2020-02-12 St. Jude Medical, Cardiology Division, Inc. Blood vessel isolation ablation device
EP3391116A1 (en) 2015-12-16 2018-10-24 Ventana Medical Systems, Inc. Auto-focus methods and systems for digital imaging using mutli-spectral trajectories
WO2017106645A1 (en) 2015-12-18 2017-06-22 The Regents Of The University Of California Interpretation and quantification of emergency features on head computed tomography
JP6976257B2 (ja) 2016-01-28 2021-12-08 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. マルチビューの特徴付けのための方法及び装置
US10746665B2 (en) 2016-01-28 2020-08-18 Siemens Healthcare Diagnostics Inc. Methods and apparatus for classifying an artifact in a specimen
EP3408648B1 (en) 2016-01-28 2025-12-03 Siemens Healthcare Diagnostics Inc. Methods and apparatus for imaging a specimen container and/or specimen using multiple exposures
JP7030056B2 (ja) 2016-01-28 2022-03-04 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッド 試料容器と試料の特徴付けのための方法及び装置
JP6919139B2 (ja) 2016-01-28 2021-08-18 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. 複数の側面図から試料容器を識別するように構成された方法および装置
US11650197B2 (en) 2016-01-28 2023-05-16 Siemens Healthcare Diagnostics Inc. Methods and apparatus adapted to quantify a specimen from multiple lateral views
WO2017132169A1 (en) 2016-01-28 2017-08-03 Siemens Healthcare Diagnostics Inc. Methods and apparatus for detecting an interferent in a specimen
US9739783B1 (en) 2016-03-15 2017-08-22 Anixa Diagnostics Corporation Convolutional neural networks for cancer diagnosis
CN105825509A (zh) 2016-03-17 2016-08-03 电子科技大学 基于3d卷积神经网络的脑血管分割方法
US10255522B2 (en) 2016-06-17 2019-04-09 Facebook, Inc. Generating object proposals using deep-learning models
US10387765B2 (en) 2016-06-23 2019-08-20 Siemens Healthcare Gmbh Image correction using a deep generative machine-learning model
EP3482346A1 (en) 2016-07-08 2019-05-15 Avent, Inc. System and method for automatic detection, localization, and semantic segmentation of anatomical objects
CN106250866A (zh) * 2016-08-12 2016-12-21 广州视源电子科技股份有限公司 基于神经网络的图像特征提取建模、图像识别方法及装置
CN106372390B (zh) 2016-08-25 2019-04-02 汤一平 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统
US9965863B2 (en) 2016-08-26 2018-05-08 Elekta, Inc. System and methods for image segmentation using convolutional neural network
CN106408562B (zh) 2016-09-22 2019-04-09 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
JP6800223B2 (ja) 2016-10-28 2020-12-16 ベックマン コールター, インコーポレイテッド 物質調製評価システム
US11073472B2 (en) 2016-11-14 2021-07-27 Siemens Healthcare Diagnostics Inc. Methods and apparatus for characterizing a specimen using pattern illumination
JP6751773B2 (ja) 2016-12-07 2020-09-09 オリンパス株式会社 画像処理装置及び画像処理装置の作動方法
JP7055818B2 (ja) 2017-04-13 2022-04-18 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッド 畳み込みニューラルネットワークを用いたhiln評価方法及び装置
CN110520737B (zh) 2017-04-13 2023-09-05 美国西门子医学诊断股份有限公司 用于在试样表征期间进行标签补偿的方法和装置
CN110573883B (zh) 2017-04-13 2023-05-30 美国西门子医学诊断股份有限公司 用于在样本表征期间确定标签计数的方法和装置
EP3596697B1 (en) 2017-06-28 2021-03-17 Deepmind Technologies Limited Generalizable medical image analysis using segmentation and classification neural networks
CN110869740A (zh) 2017-07-19 2020-03-06 美国西门子医学诊断股份有限公司 使用高光谱成像的样本表征的方法和设备
CN107424159B (zh) * 2017-07-28 2020-02-07 西安电子科技大学 基于超像素边缘和全卷积网络的图像语义分割方法
WO2019023376A1 (en) 2017-07-28 2019-01-31 Siemens Healthcare Diagnostics Inc. METHODS AND APPARATUS FOR QUANTIFYING DEEP LEARNING VOLUME
CN107909566A (zh) 2017-10-28 2018-04-13 杭州电子科技大学 一种基于深度学习的皮肤癌黑色素瘤的图像识别方法
EP3737930B1 (en) 2018-01-10 2025-11-05 Siemens Healthcare Diagnostics, Inc. Methods and apparatus for bio-fluid specimen characterization using neural network having reduced training
CN108364006B (zh) 2018-01-17 2022-03-08 超凡影像科技股份有限公司 基于多模式深度学习的医学图像分类装置及其构建方法
CN108596166B (zh) 2018-04-13 2021-10-26 华南师范大学 一种基于卷积神经网络分类的集装箱箱号识别方法
US11927736B2 (en) 2018-06-15 2024-03-12 Siemens Healthcare Diagnostics Inc. Methods and apparatus for fine-grained HIL index determination with advanced semantic segmentation and adversarial training
CN112639482B (zh) 2018-06-15 2024-08-13 美国西门子医学诊断股份有限公司 以端到端训练方式使用单深度神经网络的样本容器表征
US11852642B2 (en) * 2018-09-20 2023-12-26 Siemens Healthcare Diagnostics Inc. Methods and apparatus for HILN determination with a deep adaptation network for both serum and plasma samples

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2885823B2 (ja) 1989-04-11 1999-04-26 株式会社豊田中央研究所 視覚認識装置
JP3445799B2 (ja) 1996-12-25 2003-09-08 株式会社日立製作所 パターン認識装置及びパターン認識方法
JP2008268265A (ja) 2007-04-16 2008-11-06 Fujitsu Microelectronics Ltd 検証方法及び検証装置
JP5597248B2 (ja) 2009-04-03 2014-10-01 バッテル メモリアル インスティチュート 生物学的及び化学的収集及び検出
JP2016514869A (ja) 2013-03-19 2016-05-23 シレカ セラノスティクス エルエルシー スペクトル画像による生物試料の分析方法およびシステム
JP2017510927A (ja) 2014-04-11 2017-04-13 ペキン センスタイム テクノロジー ディベロップメント カンパニー リミテッド 基準画像に基づく顔画像検証方法、及び顔画像検証システム
JP2019518224A (ja) 2016-04-11 2019-06-27 エージェンシー フォー サイエンス, テクノロジー アンド リサーチ 化合物誘発性肝臓傷害を正確に予測するためのハイスループット方法
JP2019515898A (ja) 2016-04-22 2019-06-13 インノスペック リミテッドInnospec Limited 方法、組成物、及びそれらに関する使用
WO2018022280A1 (en) 2016-07-25 2018-02-01 Siemens Healthcare Diagnostics Inc. Systems, methods and apparatus for identifying a specimen container cap
WO2018089938A1 (en) 2016-11-14 2018-05-17 Siemens Healthcare Diagnostics Inc. Methods, apparatus, and quality check modules for detecting hemolysis, icterus, lipemia, or normality of a specimen
WO2018225448A1 (ja) 2017-06-09 2018-12-13 智裕 多田 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Deep learningで画像認識7~Kerasで畳み込みニューラルネットワーク vol.3~,2017年04月07日,https://lp-tech.net/articles/Y56uo
Gao Huang,Densely Connected Convolutional Networks,2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR),2017年07月21日,Page.2261-2269,http://dx.doi.org/10.1109/CVPR.2017.243

Also Published As

Publication number Publication date
US20210333298A1 (en) 2021-10-28
EP3853616A4 (en) 2021-11-17
US12504435B2 (en) 2025-12-23
CN119104549A (zh) 2024-12-10
CN112689763B (zh) 2024-09-20
CN112689763A (zh) 2021-04-20
WO2020061370A1 (en) 2020-03-26
JP2022501595A (ja) 2022-01-06
EP3853616B1 (en) 2025-07-23
EP3853616A1 (en) 2021-07-28

Similar Documents

Publication Publication Date Title
EP3610269B1 (en) Methods and apparatus for determining label count during specimen characterization
CN112639482B (zh) 以端到端训练方式使用单深度神经网络的样本容器表征
JP7324757B2 (ja) 訓練が低減されたニューラルネットワークを使用したバイオ流体検体の特徴付けのための方法および装置
CN110573859B (zh) 用于使用卷积神经网络的hiln表征的方法和装置
CN112424334B (zh) 利用高级语义分割和对抗训练进行细粒度hil指数确定的方法和设备
JP7386236B2 (ja) 血清および血漿試料の両方に関してディープアダプテーションネットワークを用いてhilnを決定するための方法および装置
JP2019537011A (ja) 試料の溶血、黄疸、脂肪血症、又は正常性を検出する方法、装置及び品質チェックモジュール
JP7203206B2 (ja) 標本分類のための仮説および検証ネットワークおよび方法
JP7177917B2 (ja) 視覚化分析装置および視覚的学習方法
HK40045684A (en) Hypothesizing and verification networks and methods for specimen classification
HK40042175A (en) Methods and apparatus for fine-grained hil index determination with advanced semantic segmentation and adversarial training
HK40041703A (en) Specimen container characterization using a single deep neural network in an end-to-end training fashion
HK40045654A (en) Methods and apparatus for hiln determination with a deep adaptation network for both serum and plasma samples
HK40013553B (en) Methods and apparatus for hiln characterization using convolutional neural network
HK40013553A (en) Methods and apparatus for hiln characterization using convolutional neural network

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220517

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221226

R150 Certificate of patent or registration of utility model

Ref document number: 7203206

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250