Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7054787B2 - 制御方法、情報端末、及びプログラム - Google Patents
[go: Go Back, main page]

JP7054787B2 - 制御方法、情報端末、及びプログラム - Google Patents

制御方法、情報端末、及びプログラム Download PDF

Info

Publication number
JP7054787B2
JP7054787B2 JP2017236876A JP2017236876A JP7054787B2 JP 7054787 B2 JP7054787 B2 JP 7054787B2 JP 2017236876 A JP2017236876 A JP 2017236876A JP 2017236876 A JP2017236876 A JP 2017236876A JP 7054787 B2 JP7054787 B2 JP 7054787B2
Authority
JP
Japan
Prior art keywords
area
lesion
pixel
pixels
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017236876A
Other languages
English (en)
Other versions
JP2018102916A (ja
Inventor
健介 若杉
堅司 近藤
和豊 高田
浩彦 木村
豊彦 坂井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JP2018102916A publication Critical patent/JP2018102916A/ja
Application granted granted Critical
Publication of JP7054787B2 publication Critical patent/JP7054787B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00Two-dimensional [2D] image generation
    • G06T11/60Creating or editing images; Combining images with text
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本開示は、医用画像、例えばMRI画像やCT画像の病変領域を指定する制御方法等に関するものである。
近年、医用画像から病変領域を自動検出する研究が行われている。例えば、特許文献1は、医用画像のそれぞれの画素に対し、各画素と各画素の周辺画素とを用いて病変領域の内外を識別し、識別結果を病変領域の候補領域として提示する手法を開示する。
また、非特許文献1は、画像認識分野で近年著しい成果を挙げているDeep Learning技術を、びまん性肺疾患における病変識別に適用し、正常領域と複数種類の病変領域とを識別する技術を開示する。
非特許文献2は、12種類の病変について、類似画像を検索するシステムを提案する。
特許第3046326号公報
鈴木、庄野、木戸 "びまん性肺疾患識別における Deep Convolutional Neural Network 特徴の解析" 研究報告数理モデル化と問題解決 (MPS), 2015, 2015.29: 1-6 小塚和紀、et al. "多様な肺疾患の診断・教育を支える類似症例検索技術の開発(特別講演1,計算解剖モデルに基づく診断・治療支援、医用画像処理一般)"電子情報通信学会技術研究報告.MI,医用画像, 2014, 113.410: 139-142.
しかし、特許文献1及び非特許文献1,2のいずれの文献にも、病変領域として提示された候補領域が実際の病変領域とずれている場合、そのずれを簡便な操作で修正させる構成は開示されていない。
そのため、特許文献1及び非特許文献1,2は、病変領域を効率良く決定できないという問題がある。
本開示は、病変領域を効率良く決定できる技術を提供することを目的とする。
本開示の一態様に係る制御方法は、医用画像データベースを参照して医用画像を検索する症例検索システムに接続されており、ディスプレイを有する情報端末の制御方法であって、
(a)複数の画素を有する第1医用画像を受信させ、
(b)前記第1医用画像に含まれる病変がテクスチャ型の病変である場合、前記第1医用画像の前記複数の画素のそれぞれについて、前記複数の画素の画素値と、前記複数の画素のそれぞれの周囲の画素の画素値とを予め定められた前記テクスチャ型の病変を示す病変領域を識別するための識別器に入力することで、前記病変領域に含まれる確率値を算出させ、
前記テクスチャ型の病変は、複数の特定陰影のパターンを含む病変であり、
(c)前記ディスプレイに、前記第1医用画像に候補領域と前記候補領域の修正領域とが重畳されている第2医用画像を表示させ、
前記候補領域は、前記複数の画素のうち、第1閾値以上の確率値が算出された画素に基づいて決定されており、
前記修正領域は、前記複数の画素のうち、確率範囲に含まれる確率値が算出された画素に基づいて決定されており、
前記確率範囲は、前記第1閾値を含んでおり、
(d)前記ディスプレイに表示されている前記第2医用画像に対するユーザの入力を検知させ、
(e)前記第1医用画像に病変領域が重畳されている第3医用画像を表示させ、
前記病変領域は、前記ユーザの入力と前記修正領域とに基づいて、前記候補領域を修正して決定されている。
なお、この包括的または具体的な態様は、装置、システム、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラムおよびコンピュータ読み取り可能な記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばCD-ROM(Compact Disc-Read Only Memory)などの不揮発性の記録媒体を含む。
本開示によれば、病変領域を効率良く決定できる。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び/又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その1以上を得るために全てが必要ではない。
本開示の実施の形態1に係る情報端末の特徴的な機能構成を示すブロック図である。 本開示の実施の形態1に係る情報端末が実行する処理の全体的な流れを示すフローチャートである。 肺CT画像の一例と、肺CT画像に対応する確率画像の一例とを示す図である。 図2のステップS101の処理の詳細を示すフローチャートである。 指定対象画像と指定対象画像から生成された確率画像との一例を示す図である。 指定対象画像に候補領域と修正領域とが重畳表示された医用画像の一例を示す図である。 図2のステップS102の処理の詳細を示すフローチャートである。 確率画像と、確率画像から算出された候補領域、第1修正領域、及び第2修正領域との一例を示す図である。 図7のステップS309の処理の詳細を示すフローチャートである。 図9のステップS402の処理の詳細を示すフローチャートである。 小領域を分割する処理の一例を示す図である。 図2のステップS104の処理の詳細を示すフローチャートである。 ユーザが小領域を選択する操作を入力する様子を示す図である。 本開示の実施の形態2において、図2のステップS102の処理の詳細を示すフローチャートである。 本開示の実施の形態2において、図2のステップS104の処理の詳細を示すフローチャートである。 確率画像において、ドラッグ操作の開始地点の画素の確率値と、周辺の画素の確率値とを表す模式図である。 第1閾値の変化量の算出方法の説明図である。 本開示の実施の形態2において、候補領域が修正される様子を示す図である。 蜂巣肺を持つ肺CT画像と、浸潤影を持つ肺CT画像との一例を示す図である。
(本開示に至る経緯)
近年、医用画像のデジタル化によって、大量の医用画像が容易に蓄積できるようになり、これらのデータを用いたコンピュータ支援診断もまた盛んに研究開発されている。コンピュータ支援診断の1つとして病変領域の自動検出がある。例えば、類似症例検索を利用する場合には検索対象となる病変領域を正確に指定することが必要となるが、複雑な形状の病変を正確にすばやく囲むことは難しい。そこで、病変領域を自動検出することで、病変領域の指定を簡便かつ正確に行なうことができる。
このような簡便で正確な病変領域指定方法を提供するための、従来技術として特許文献1がある。特許文献1では医用画像のそれぞれの画素に対し、それぞれの画素とその周辺画素を用いて病変領域の内外を識別し、識別した結果を病変領域の候補領域として提示する手法が提案されている。なお、ひとつの画素とその周辺画素とは局所領域画像と称され、ひとつの画素は局所領域画像の中心にある。
また、画像認識技術の向上により、非特許文献1のように、局所領域画像に含まれる病変の種類の識別も可能となってきている。非特許文献1では、画像認識分野で近年著しい成果を挙げているDeep Learning技術をびまん性肺疾患における病変識別に適用し、正常領域及び複数種類の病変の識別を行っている。
Deep Learning技術では一般に大規模な学習データを必要とするが、非特許文献2では一枚の画像から局所領域画像を多数切り出すことで、大量の学習データを用意した上で、Deep Learning技術が適用されている。この技術を局所領域画像の中心画素が正常領域と病変領域とのどちらの領域に含まれるかを識別する識別器として用いることで、病変領域の自動検出が実現される。すなわち、自動検出した病変領域を、医師による病変領域指定の候補領域として提示することで、簡易な操作で正確な病変領域を医用画像に設定することが可能になると考えられる。
しかし、非特許文献1のように医用画像から切り出した局所領域画像に含まれる病変を識別し、その結果を用いて病変領域の自動検出を行った場合、病変の種類によって適切な候補領域が検出される場合とそうでない場合とがある。適切な候補領域が検出された場合には、病変領域指定の作業効率化を図れるが、適切な候補領域が検出されない場合には、かえって作業効率を低下させてしまう。この場合、候補領域と実際の病変領域とのずれを修正させる必要があるが、非特許文献1では、この修正を簡便な操作で行わせることは何ら開示されていない。
非特許文献2は、医用画像が12種類の病変領域を含むか否かを判定する技術であり、医用画像から病変領域の候補領域を抽出し、抽出した候補領域と実際の病変領域とのずれを簡便な操作で修正させる技術ではない。
ところで、医用画像に含まれる病変は多種多様であり、病気の種類及び/または病気の経過及び/または個人差によってその形状及び/または大きさも様々である。びまん性肺疾患における肺CT画像では、蜂巣肺、スリガラス陰影、粒状影、空洞性結節、浸潤影といったいくつかの特徴的なパターン・形状が現れる。非特許文献1では、あらかじめ設定された大きさの局所領域画像を用いて病変の識別を行っており、病変の識別に有用なパターンや形状が局所領域画像に含まれていれば識別が可能である。
図19は、蜂巣肺を持つ肺CT画像800と、浸潤影を持つ肺CT画像803との一例を示す図である。肺CT画像800において、局所領域画像801は、蜂巣肺領域と正常領域との境界付近から切り出された局所領域画像である。肺CT画像800において、局所領域画像802は、蜂巣肺領域に完全に含まれる領域から切り出された局所領域画像である。
肺CT画像803において、局所領域画像804は、浸潤影領域と正常領域との境界付近から切り出される局所領域画像である。局所領域画像805は、浸潤影領域に完全に含まれる領域から切り出された局所領域画像である。
蜂巣肺、スリガラス陰影、及び粒状影といったテクスチャ型の病変はテクスチャに特徴を持つため、病変領域に含まれるいずれの画素を中心に局所領域画像を切り出しても、局所領域画像には特徴的なテクスチャが含まれる。よって、局所領域画像を用いた病変領域の自動検出が可能である。
一方、嚢胞、空洞性結節、及び浸潤影といった形状型の病変は、病変領域から局所領域画像を切り出した場合に、必ずしも特徴的な形状が局所領域画像に含まれるとは限らない。例として、局所領域画像よりも広い領域に浸潤影が広がっている場合を考える。浸潤影領域と正常領域との境界付近の画素を中心に切り出された局所領域画像804は、浸潤影に特徴的な形状が含まれる。
しかしながら、浸潤影領域と正常領域との境界から離れた浸潤影領域の中央付近の画素を中心に切り出された局所領域画像805は、浸潤影に特徴的な形状が含まれない。そのため、浸潤影領域の中央付近は浸潤影領域として自動検出できない。なお、形状型の病変では、病変領域と正常領域との境界付近から局所領域画像が切り出されたとしても、その局所領域画像は必ずしも特徴的な形状を持つとは限らない。例えば、病変が胸壁付近に生じた場合は、病変領域と正常領域との境界が胸壁に沿ったものとなるため、この境界付近から切り出された局所領域画像には、特徴的な形状が表れず、自動検出は困難である。
したがって、病変領域の自動検出においては、テクスチャ型の病変領域を適用してもよい。
本開示は、これらの課題を鑑みてなされたものであり、医用画像から抽出された病変領域を効率良く決定する技術を提供することである。
本開示の一態様に係る制御方法は、医用画像データベースを参照して医用画像を検索する症例検索システムに接続されており、ディスプレイを有する情報端末の制御方法であって、
(a)複数の画素を有する第1医用画像を受信させ、
(b)前記第1医用画像に含まれる病変がテクスチャ型の病変である場合、前記第1医用画像の前記複数の画素のそれぞれについて、前記複数の画素の画素値と、前記複数の画素のそれぞれの周囲の画素の画素値とを予め定められた前記テクスチャ型の病変を示す病変領域を識別するための識別器に入力することで、前記病変領域に含まれる確率値を算出させ、
前記テクスチャ型の病変は、複数の特定陰影のパターンを含む病変であり、
(c)前記ディスプレイに、前記第1医用画像に候補領域と前記候補領域の修正領域とが重畳されている第2医用画像を表示させ、
前記候補領域は、前記複数の画素のうち、第1閾値以上の確率値が算出された画素に基づいて決定されており、
前記修正領域は、前記複数の画素のうち、確率範囲に含まれる確率値が算出された画素に基づいて決定されており、
前記確率範囲は、前記第1閾値を含んでおり、
(d)前記ディスプレイに表示されている前記第2医用画像に対するユーザの入力を検知させ、
(e)前記第1医用画像に病変領域が重畳されている第3医用画像を表示させ、
前記病変領域は、前記ユーザの入力と前記修正領域とに基づいて、前記候補領域を修正して決定されている。
医用画像から病変領域の候補領域を画像処理により抽出し、提示した際、更なる修正が必要な場合がある。特に病変領域の辺縁は形状が複雑であり、識別器での抽出が困難であるので、辺縁付近は手動により修正してもよい。手動による修正を加える場合は、操作が煩雑となる。
本態様は、テクスチャ型の病変領域に含まれる確率値が第1閾値以上の画素からなる候補領域に加えて、第1閾値を含む確率範囲の確率値を持つ画素からなる修正範囲も第1医用画像に対して重畳されている。これにより、修正すべき領域が明確になり、修正操作を効率化できる。また、修正領域は、画像上の距離ではなく、確率値を基準に決定されている。画像上の距離を用いて修正領域を決定した場合、修正の必要のない境界線と修正が必要な境界線との区別が困難であるため、ユーザが修正の必要のある境界線を判断し、細かに修正を加える必要が生じる。本態様は、確率値を基準に修正領域が決定されているので、修正が必要な境界線を明確に示すことが可能になる。
また、本態様では、複数の特定陰影のパターンを含むテクスチャ型の病変を示す病変領域が抽出対象とされているので、形状型の病変を示す病変領域を抽出対象とする場合に比べて、識別器を用いた病変領域の抽出を正確に行うことができる。したがって、本態様は、修正領域が実際の病変領域の境界付近を示す確率を高くすることができ、ユーザは簡便な操作で病変領域を決定できる。したがって、ユーザは病変領域を効率良く決定できる。
上記態様は、前記(c)において、前記第2医用画像に重畳される前記修正領域は、複数の領域に分割されており、
前記分割された複数の領域は、それぞれ、前記領域から選択される2つの画素を結ぶ直線のうち、最大の長さを有する直線が、第2閾値以下の長さを有していてもよい。
本態様によれば、修正領域は、2つの画素を結ぶ直線のうち最大の長さを有する直線が第2閾値以下となる複数の領域に分割されているので、ユーザは例えば、分割された領域単位で候補領域と実際の病変領域とのずれを修正する操作を入力できる。そのため、ユーザは、簡便な操作で、候補領域と実際の病変領域とのずれを修正できる。
上記態様は、前記(d)において、前記分割された複数の領域に対して、前記候補領域に追加するか前記候補領域から除外するかのユーザの入力を検知し、
前記(e)において、前記ユーザの入力により決定された候補領域を前記病変領域として表示してもよい。
本態様によれば、ユーザは分割された複数の領域に対して、候補領域に追加するか候補領域から除外するかというような簡便な操作(例えば、クリック操作)を行うことで、病変領域を決定できる。
上記態様は、前記(c)において、前記修正領域は、前記候補領域を囲むように、表示されており、
前記(d)において、前記修正領域に含まれる画素に対するユーザの入力を検知させ、
前記(e)において、前記病変領域は、前記ユーザの入力に応じて、前記候補領域を、前記修正領域の一部まで拡大又は縮小された領域であってもよい。
境界線の全域を修正する場合は、複数回の操作を必要とする。例えば、境界線が複数の点が円環状に連なった多角形で構成されている場合、境界線を構成する画素を一つ一つ操作して、境界線を修正しなければならない。
本態様では、修正領域の境界線は確率画像の等値線を基準に算出されているので、ユーザは修正領域の任意の点を指定すると、その点を通る等値線を自動的に引くことができる。そのため、本態様は、候補領域の境界線をユーザがクリック操作を入力した地点を通る等値線に置き換えることで、クリック操作一回で候補領域を修正することが可能となる。
上記態様は、前記(e)において、第1画素に対して前記ユーザの入力を検知したとき、第2画素に対して前記ユーザの入力を検知したときに比べて、前記候補領域を拡大又は縮小する量を小さくし、
前記第1画素は、前記第2画素に比べて、周辺の画素の確率値の傾きが大きい画素であってもよい。
所望の境界へ直接境界線を移動させる操作を入力して、候補領域を拡大又は縮小させる場合、精密なマウス操作を必要とする。また、確率値の傾きは医用画像上目視できないため、変動量の予測が難しく、修正操作が困難になる。本態様では、ドラッグ量に比例させた量に応じて候補領域を拡大又は縮小させる場合は、確率値の傾きが大きい領域は変動量が小さく、確率値の傾きが小さい領域は変動量が大きくされる。そのため、ユーザは、微細なドラッグ操作が要求される傾きが大きい領域では、候補領域をきめ細かく変化させることができ、候補領域の修正を正確且つ簡便に行うことができる。一方、ユーザは、微細なドラッグ操作が要求されない傾きが小さい領域では、候補領域を大きく変化させることができ、候補領域を速やかに位置決めできる。
上記態様は、前記(d)において、前記ユーザのドラッグ操作を前記入力として検知し、
前記(e)において、前記第1画素及び前記第2画素は、それぞれ、前記ドラッグ操作の開始地点の画素であり、前記候補領域を拡大又は縮小する量は、前記ドラッグ操作の移動量に比例し、前記傾きに反比例してもよい。
本態様によれば、ドラッグ操作の開始地点の画素の周辺画素の傾きが大きいほど、候補領域の拡大又は縮小する量が小さく算出されるので、微細な操作が要求される領域において修正領域をきめ細かく修正できる。また、候補領域の拡大又は縮小する量は、ドラッグ操作の移動量に比例しているので、ユーザの直感を考慮に入れて、候補領域の拡大又は縮小する量を決定できる。
上記の制御方法の作用効果は情報端末及びプログラムにおいても同様に実現される。
(実施の形態)
まず、本実施の形態で用いる用語を説明する。
「確率画像」とは、対応する画像のそれぞれの画素が病変領域に含まれる確率値を画素値として有する画像を示す。
「テクスチャ型の病変」とは、特定陰影のパターンが繰り返し現れる病変を表す。
「非テクスチャ型の病変」とは、テクスチャ型病変に含まれない病変を表す。
「病変領域」とは、医用画像において、医師が病変領域であると診断した領域を示す。
「候補領域」とは、本開示の実施の形態に係る制御方法が算出した病変領域の候補となる領域を示す。すなわち、候補領域は後述する算出された確率値が確率範囲の上限値以上の領域をいう。
「修正領域」とは、候補領域から削除可能な領域または候補領域に追加可能な領域である。
「指定対象画像」とは、ユーザ、例えば、医師が病変領域を設定しようとしている画像を示す。
「局所領域画像」とは、医用画像から特定の大きさで切り出した領域を示す。
「小領域」とは、修正領域を特定の基準で細分化した領域を示す。
「最大画素間距離と両端の2画素」とは、小領域の辺縁のすべての2画素の組み合わせの内、画素間距離が最大となる場合の画素間距離とその両端の2画素を示す。
(実施の形態1)
(構成の説明)
以下、本開示の実施の形態1に係る情報端末について、図面を用いて詳細に説明する。
なお、以下では撮像対象の一例として肺を用いて説明する。また、以下では医用画像の一例としてCT画像を用いて説明する。
図1は、本開示の実施の形態1に係る情報端末100の特徴的な機能構成を示すブロック図である。
以下、図1に示す症例検索システム101及び情報端末100の各構成要素の詳細について述べる。
症例検索システム101は、病変領域が指定されていない医用画像を情報端末100に送信する。また、症例検索システム101は、情報端末100から医用画像を受信する。症例検索システム101は、診断が確定した医用画像を含む1以上の症例を事前に記録するデータベースを備える。症例検索システム101は、受信した医用画像とデータベースに含まれる医用画像との画像特徴量を計算する。そして、症例検索システム101は、受信した医用画像と所定の類似度を持つ医用画像をデータベースから検索することで、受信した医用画像に対応する症例を検索し、検索した症例を示す症例データを情報端末100に送信する。症例データには、例えば、検索された医用画像や診断病名等が含まれる。
症例検索システム101のデータベースには、病変領域が指定された医用画像と病変領域が指定されていない医用画像とが記録されている。また、症例検索システム101のデータベースには、テクスチャ型の病変を示す病変領域を含む医用画像と非テクスチャ型の病変を示す病変領域を含む医用画像とが記録されている。
症例検索システム101は、CPU等のプロセッサとROMとRAMと不揮発性の記憶装置と情報端末100と通信するための通信装置とを含むコンピュータで構成される。
情報端末100は、確率画像算出部102、出力部103、入力部104、及び病変領域指定部105を備える。情報端末100は外部の症例検索システム101に接続される。ここで、情報端末100は、例えば、インターネット等の公衆通信ネットワークを介して症例検索システム101と接続されてもよいし、ローカルエリアネットワークを介して症例検索システム101と接続されてもよい。情報端末100は、CPU等のプロセッサと、ROMと、RAMと、不揮発性の記憶装置と、症例検索システム101と通信するための通信装置とを含むコンピュータで構成される。また、情報端末100には、ディスプレイ(図略)と操作装置(図略)とが接続されている。ディスプレイ(図略)は、例えば、液晶ディスプレイまたは有機ELディスプレイで構成される。操作装置(図略)は、例えば、キーボード、マウス、タッチパネル等の装置で構成される。
確率画像算出部102は、症例検索システム101から、病変領域の指定対象となる医用画像である指定対象画像(第1医用画像の一例)を取得する。病変領域とは、指定対象画像内の、ユーザが病変領域であると診断した領域を示す。指定対象画像はCT画像であってもよい。
確率画像算出部102は、指定対象画像に含まれる病変がテクスチャ型の病変である場合、指定対象画像のそれぞれの画素が病変領域に含まれる確率値を算出する。算出した確率値を画素値に持つ画像は確率画像と称される。ここで、確率画像算出部102は、予め定められた病変領域を識別するための識別器を備えている。そして、確率画像算出部102は、指定対象画像のそれぞれを中心画素として順次設定し、設定した中心画素と中心画素の周囲の一定範囲に含まれる周辺画素とからなる領域を局所領域画像として設定する。そして、確率画像算出部102は、局所領域画像の各画素の画素値を識別器に入力することで、中心画素に対する確率値を算出する。確率画像算出部102は、上記の処理を指定対象画像の全画素に対して行うことで確率画像を生成する。
確率画像算出部102は、確率画像と指定対象画像とを出力部103に出力し、確率画像を病変領域指定部105に出力する。指定対象画像に含まれる病変がテクスチャ型の病変であるか否かを判定する具体的な方法は後述する。
出力部103は、確率画像算出部102から取得した確率画像において、第1閾値以上の確率値を持つ画素からなる領域を候補領域として算出する。また、出力部103は、第1閾値を含む所定の確率範囲の確率値を持つ画素からなる領域を修正領域として算出する。出力部103は、候補領域と修正領域とを病変領域指定部105に出力する。また、出力部103は、確率画像算出部102から取得した指定対象画像に、候補領域と修正領域とを重畳した医用画像(第2医用画像の一例)をディスプレイ(図略)に表示させる。具体的な修正領域の算出方法については後述する。指定対象画像に候補領域と修正領域とを重畳させる態様としては、例えば、候補領域の輪郭線と修正領域の輪郭線とを指定対象画像に重畳させる態様が採用できる。
入力部104は、操作装置(図略)を操作することで、出力部103がディスプレイ(図略)に表示した修正領域の画素に対するユーザの入力を検知し、検知した入力が示すユーザの操作情報を病変領域指定部105に出力する。
病変領域指定部105は、確率画像算出部102から取得した確率画像と、出力部103から取得した候補領域及び修正領域と、入力部104から取得したユーザの操作情報と、に基づき病変領域を決定(指定)する。具体的な病変領域の決定方法については後述する。
次に、以上のように構成された情報端末100の動作について説明する。
(動作の説明)
図2は、本開示の実施の形態1に係る情報端末100が実行する処理の全体的な流れを示すフローチャートである。まず、確率画像算出部102は、指定対象画像を症例検索システム101から取得し、取得した指定対象画像の各画素について、病変領域に含まれる確率を示す確率値を算出することで、確率画像を算出する(ステップS101)。
図3は、肺CT画像900の一例と、肺CT画像900に対応する確率画像901の一例とを示す図である。肺CT画像900は、蜂巣肺の病変を示す病変領域911含んでいる。確率画像901は、肺CT画像900に対して蜂巣肺の病変領域を識別する識別器を適用することで算出される。この識別器は、例えば機械学習によって得られたものである。確率画像901において、白色の領域921は病変領域と推定された領域を示し、黒色の領域は病変領域でないと推定された領域を示す。
確率画像901において、領域921は病変領域911に対応する位置に表示されており、肺CT画像900から病変領域911が正確に抽出されていることが分かる。
図4は、図2のステップS101の処理の詳細を示すフローチャートである。以下、図4を用いて確率画像の算出方法について説明する。
まず、確率画像算出部102は、症例検索システム101から取得した指定対象画像に含まれる病変がテクスチャ型の病変であるか否かを判定する(ステップS201)。ここで、確率画像算出部102は、例えば、非特許文献2に記載された手法を用いて、指定対象画像に含まれる病変がテクスチャ型の病変であるか否かを判定すればよい。
非特許文献2では、12種類の病変について、類似する医用画像を検索するシステムが提案されている。検索された医用画像には12種類の病変のうち、いずれか1の病変を示すラベルが付与される。非特許文献2では、任意の医用画像に類似する医用画像を検索したとき、最も類似する医用画像に付与されたラベルの示す病変が、任意の医用画像に含まれる病変とみなされる。これにより、任意の医用画像について12種類の病変のいずれかであるかが識別できる。
非特許文献2で用いられている12種類の病変において、スリガラス×結節、スリガラス×均等、スリガラス×多発中陰影、多発粒状影、蜂巣肺をテクスチャ型の病変とし、これら以外の病変をテクスチャ型の病変でないとする。この場合、確率画像算出部102は、指定対象画像に最も類似する医用画像に付与されたラベルが上述したテクスチャ型の病変を示せば、指定対象画像はテクスチャ型の病変を含むと判定できる。
ここで、確率画像算出部102は、指定対象画像がテクスチャ型の病変であるか否かを症例検索システム101に判定させてもよい。この場合、症例検索システム101のデータベースには、上述したラベルが付与された医用画像が記録されている。確率画像算出部102は、指定対象画像を症例検索システム101に送信し、指定対象画像に対して最も類似する類似画像を症例検索システム101から受信し、受信した類似画像に付与されたラベルが上述のテクスチャ型の病変を示せば、指定対象画像はテクスチャ型の病変であると判定すればよい。
症例検索システム101は、例えば、指定対象画像から抽出される画像特徴量をベクトル表現した画像特徴量ベクトルと、データベースに記録する各医用画像の画像特徴量ベクトルとのコサイン距離をそれぞれ算出し、算出したコサイン距離が最小となる医用画像を指定対象画像に最も類似する医用画像として判定すればよい。
ここで、画像特徴量としては、Scale Invariant Feature Transform(SIFT)を用いてもよい。SIFTは複数の尺度で平滑化した画像の差分画像から、複数の特徴量の算出点を決定し、算出点における輝度の勾配方向を基準に周囲の画素の輝度変化に基づき128次元ベクトルの特徴量を算出する。SIFTは回転や拡大縮小に対し不変となる特徴量である。あるいは、Superpixelを用いても良い。superpixelは画像を色あるいは輝度が類似した複数の領域に分割する。分割した各領域の平均となる色あるいは輝度を特徴量として用いる。
算出される特徴量の数が画像毎に異なる場合には、Bag of Keypoints(BoK)を用いて、固定長の特徴量に変換すればよい。BoKでは、複数の特徴量を一定数のクラスタにクラスタリングし、クラスタに属する特徴量の数をヒストグラムとして扱い、固定長の特徴量に変換する。
これは一例であり、他の画像特徴量が採用されても良い。
なお、情報端末100が12種類の病変のラベルが付与された医用画像を記録するデータベースを備えているのであれば、確率画像算出部102は、このデータベースから指定対象画像に最も類似する医用画像を探索し、探索した医用画像に付与されたラベルが示す病変から指定対象画像がテクスチャ型の病変を含むか否かを判定してもよい。
また、ここでは、ラベルは12種類の病変を示すとしたが、13種類以上の病変を示すものであってもよい。また、ラベルが示すテクスチャ型の病変として、スリガラス×結節、スリガラス×均等、スリガラス×多発中陰影、多発粒状影、蜂巣肺をテクスチャ型の病変が採用されたが、これは一例であり、他のテクスチャ型の病変が採用されてもよい。
次に、確率画像算出部102は、症例検索システム101から取得した指定対象画像の中から、1つの画素を中心画素として選択する(ステップS202)。ここで、確率画像算出部102は、例えば、ステップS202→ステップS203→ステップS204→ステップS205→ステップS202のループを実行する場合であって、ステップS202を実行する度に、指定対象画像の左上の頂点の画素から右下の頂点の画素までをラスタ走査するようにして、中心画素を順次選択していけばよい。
次に、確率画像算出部102は、選択した画素の周辺画素を取得する(ステップS203)。ここで、周辺画素としては、例えば、選択した画素を中心とする、一辺が31pixelの正方形の領域内の画素が採用できる。正方形の領域が指定対象画像からはみ出る場合、確率画像算出部102は、はみ出た領域の画素値として、画素値が取り得る範囲の中間値を設定すればよい。例えば、指定対象画像が8ビット階調の画像であれば、中間値は、255/2=127.5となる。
図5は、指定対象画像1000と指定対象画像1000から生成された確率画像1003との一例を示す図である。指定対象画像1000は、蜂巣肺の病変領域1011を含んでいる。図5の例では、病変領域1011内のある画素が中心画素1002として選択されている。
次に、確率画像算出部102は、ステップS202で選択した中心画素と周辺画素とを合わせた領域からなる局所領域画像を構成する各画素の画素値を識別器に入力し、中心画素が病変領域に含まれる確率を示す確率値を算出する(ステップS204)。ここで、確率画像算出部102は、例えば、非特許文献1に記載の病変識別方法を用いて確率値を算出すればよい。
非特許文献1では、識別対象の画像を、正常領域を含む1種類の画像と、病変領域を含む6種類の画像との計7種類のいずれの画像に該当するかを識別する識別器の構成方法が開示されている。詳細には、非特許文献1では、識別対象の画像の各画素が7種類の画像のそれぞれに該当する確率値を算出する手法が開示されている。そこで、確率画像算出部102は、局所領域画像の各画素の画素値を非特許文献1に記載された識別器に入力し、中心画素が病変領域を含む6種類の画像に含まれる確率値をそれぞれ算出し、算出した6つの確率値の合計値を中心画素の確率値として算出すればよい。或いは、確率画像算出部102は、中心画素が正常領域を含む1種類の画像に含まれる確率値を算出し、その確率値を1から差し引いた値を中心画素の確率値として算出してもよい。これにより、確率画像のそれぞれの画素は0以上1以下の確率値を持つことになる。識別器は機械学習によって作成されればよく、機械学習に用いられる学習データとしては、例えば、症例検索システム101に記録された病変領域が指定された医用画像が採用されればよい。
図5の例では、中心画素1002を中心とする一定範囲の領域が局所領域画像1001として設定されている。そして、局所領域画像1001が識別器に入力されることで、中心画素1002の確率値が算出される。
次に、確率画像算出部102は、ステップS201において指定対象画像のすべての画素を中心画素として選択したか否かを判定し、すべての画素を中心画素として選択した場合(ステップS205でYES)、処理をステップS206に進め、すべての画素を中心画素として選択していない場合(ステップS205でNO)、処理をステップS202に戻す。以上により、指定対象画像を構成する各画素が順次、中心画素として選択され、中心画素の確率値が算出される。
次に、確率画像算出部102は、指定対象画像のそれぞれの画素に対して算出された確率値をそれぞれの画素の位置の画素値として持つ確率画像を生成する(ステップS206)。これにより、図5に示すような、確率値に応じた濃淡を持つ確率画像1003が生成される。
以上、ステップS201からステップS206の処理を行うことにより、指定対象画像のそれぞれの画素が病変領域に含まれる確率を示す確率値を画素値として持つ確率画像が算出される。ステップS206が終了すると、処理は図2のステップS102に進む。
図2に示すステップS102において、出力部103は、確率画像算出部102から取得した確率画像において、第1閾値以上の確率値を持つ画素からなる領域を候補領域として算出し、第1閾値を含む確率範囲の確率値を持つ画素からなる領域を修正領域として算出し、候補領域と修正領域とを病変領域指定部105に通知し、確率画像算出部102から取得した指定対象画像に、候補領域と修正領域とを重畳した医用画像をディスプレイに表示する。
図6は、指定対象画像に候補領域と修正領域とが重畳表示された医用画像1400の一例を示す図である。図6に示す医用画像1400(第2医用画像の一例)には、医用画像1400に対して、修正領域1401と候補領域1402とが重畳表示されていることが分かる。候補領域1402は実線で囲まれた領域である。修正領域1401は、点線1403と点線1404で囲まれた領域である。すなわち、修正領域1401は、その内周が候補領域1402の内側に存在して、外周が候補領域1402の外側に存在する。
図7は、図2のステップS102の処理の詳細を示すフローチャートである。以下、図7を用いて、候補領域と修正領域との算出方法について説明する。
まず、出力部103は、確率画像算出部102から取得した確率画像において、1つの画素を選択する(ステップS301)。ここで、出力部103は、例えば、確率画像に対し、左上の頂点の画素から右下の頂点の画素までラスタ走査するように順次画素を選択すればよい。
次に、出力部103は、ステップS301で選択した画素の確率値が確率範囲の下限値より大きいか否かを判定する。選択した画素の確率値が確率範囲の下限値より大きければ(ステップS302でYES)、処理はステップS303に進む。一方、選択した画素の確率値が確率範囲の下限値よりも大きくなければ(S302でNO)、処理はステップS308に進む。確率範囲の下限値としては、例えば、これ以上値が小さくなると病変領域に含まれることはないとみなせる値であって、経験的に得られた値が採用でき、例えば、0.3が採用される。但し、これは一例であり、第1閾値より小さい値であれば他の値(例えば、0.1,0.2,0.4等)が採用されてもよい。
次に、出力部103は、ステップS301で選択した画素の確率値が確率範囲の上限値よりも小さいか否かを判定する(ステップS303)。選択した画素の確率値が確率範囲の上限値より小さい場合(ステップS303でYES)、処理はステップS305に進む。一方、選択した画素の確率値が確率範囲の上限値より小さくない場合(ステップS303でNO)、出力部103は、ステップS301で選択した画素を候補領域に含まれる画素として設定し(ステップS304)、処理をステップS308に進める。
つまり、確率値が確率範囲の上限値より大きい範囲に属する画素は候補領域に属する画素と判定される。
確率範囲の上限値としては、これ以上確率値が大きくなると候補領域であると断定できる値であって、経験的に得られた値が採用でき、例えば、0.9が採用できる。但し、これは一例であり、第1閾値より大きい値であれば、他の値(例えば、0.6,0.7,0.8等)が採用されてもよい。
次に、出力部103は、ステップS301で選択した画素の確率値が第1閾値よりも小さいか否かを判定する(ステップS305)。選択した画素の確率値が第1閾値よりも小さい場合(ステップS305でYES)、出力部103は、選択した画素を第2修正領域に含まれる画素として設定する(ステップS306)。
つまり、確率値が確率範囲の下限値から第1閾値までの範囲に属する画素は第2修正領域に属する画素と判定される。
選択した画素の確率値が第1閾値よりも小さくない場合(ステップS305でNO)、出力部103は、選択した画素を候補領域及び第1修正領域に含まれる画素として設定する(ステップS307)。
つまり、確率値が第1閾値から確率範囲の上限値までの範囲に属する画素は候補領域及び第1修正領域に属すると判定される。以下、第1修正領域と第2修正領域とは特に区別されない場合、修正領域と称される。
第1閾値としては、これ以上値が大きくなると病変領域である可能性が高く候補領域とみなすのが妥当と判断できる値であって経験的に得られた値が採用でき、例えば、0.6が採用できる。
次に、出力部103は、ステップS301において確率画像算出部102から取得した確率画像のすべての画素を選択したか否かを判定する(ステップS308)。すべての画素が選択された場合(ステップS308でYES)、処理はステップS309に進む。すべての画素が選択されていない場合(ステップS308でNO)、処理はステップS301に戻り、確率画像において次の画素が選択される。
図8は、確率画像1100と、確率画像1100から算出された候補領域、第1修正領域、及び第2修正領域との一例を示す図である。確率画像1100は、確率画像1003(図5参照)において、確率値の高い領域を拡大して示している。なお、確率画像1100において、周辺から中心に向かうにつれて確率値が上昇している。
画像1101は、確率画像1100において設定される修正領域と候補領域との輪郭を示している。
図8において、一番外側の閉曲線は確率範囲の下限値の等値線であり、一番内側の閉曲線は確率範囲の上限値の等値線であり、中間の閉曲線は第1閾値の等値線である。
領域1102は、確率値が確率範囲の下限値の等値線と第1閾値の等値線とで挟まれた領域であるため、第2修正領域を示す。領域1103は、第1閾値の等値線と確率範囲の上限値の等値線とで挟まれた領域であるため、候補領域に属する領域かつ第1修正領域である。領域1104は、確率範囲の上限値の等値線で囲まれた領域であるため、候補領域に属する。候補領域は、領域1103と領域1104とを合わせた領域で構成される。
このように、テクスチャ型の病変領域においては、中心に向かうにつれて確率値が高くなるので、画像1101においては、外側から順に、領域1102(第2修正領域)、領域1103(候補領域に属する領域かつ第1修正領域)、領域1104(候補領域に属する領域かつ第1修正領域に属さない領域かつ第2修正領域に属さない領域)が算出される。
図7に参照を戻す。ステップS309において、出力部103はステップS306,S307で設定された第1,第2修正領域を小領域に分割する。
小領域とは、第1,第2修正領域を分割することで得られた領域である。
図9は、図7のステップS309の処理の詳細を示すフローチャートである。以下、図9を用いて小領域の算出方法について説明する。
まず、出力部103は、修正領域の中から1つの小領域を選択する(ステップS401)。ステップS401が初めて実行される場合は、第1修正領域と第2修正領域とのそれぞれが小領域とされる。ここで、出力部103は、例えば、画像上、各小領域において、輪郭の最左端が左側に位置する小領域から順番に小領域を選択すればよい。但し、これは一例であり、出力部103は、他の順序、例えば、各小領域において、輪郭の最上端が上側に位置する小領域から順番に小領域を選択してもよい。
次に、出力部103は、ステップS401で選択した小領域の最大画素間距離と、最大画素間距離の両端の2画素とを算出する(ステップS402)。
図10は、図9のステップS402の処理の詳細を示すフローチャートである。以下、図10を用いて最大画素間距離と両端の2画素との算出方法について説明する。
まず、出力部103は、ステップS401で選択した小領域の辺縁の2つの画素を選択する(ステップS501)。ここで、出力部103は、例えば、2つの画素のうち一方を固定し、他方を辺縁上で移動させていくことで、2つの画素を選択すればよい。
次に、出力部103は、ステップS501で選択した2つの画素の画素間距離を計算する(ステップS502)。画素間距離とは、2つの画素の画像上の距離である。
次に、出力部103は、ステップS501においてすべての画素を選択したか否かを判定する(ステップS503)。すべての画素を選択した場合(ステップS503でYES)、処理はステップS504に進む。すべての画素を選択していない場合(ステップS503でNO)、処理はステップS501に戻る。
次に、出力部103は、ステップS503で算出した画素間距離の最大値を最大画素間距離として決定し、決定した最大画素間距離の両端の2画素を決定し、決定した最大画素間距離と2画素とを出力する(ステップS504)。ステップS504が終了すると、処理は、図9のステップS403に進む。
図11は、小領域1201を分割する処理の一例を示す図である。図11において左側の画像は分割前の小領域1201を示し、右側の画像は分割後の小領域1204,1205を示す。小領域1201は、ステップS401で選択された小領域である。線分1200は、最大画素間距離を示す線分である。点1202と点1023とは線分1200の両端の2画素である。
以上、ステップS501からステップS504の処理を行うことにより、図11に示すように、ステップS401で選択された小領域1201の最大画素間距離(線分1200)と、最大画素間距離の両端の2画素(点1202,1203)とが算出される。
図9に参照を戻す。ステップS403において、出力部103は、ステップS402で算出した最大画素間距離が第2閾値よりも小さいか否かを判定する(ステップS403)。最大画素間距離が第2閾値よりも小さい場合(ステップS403でYES)、処理はステップS405に進む。最大画素間距離が第2閾値よりも小さくない場合(ステップS403でNO)、処理はステップS404に進む。
次に、出力部103は、ステップS402で算出した最大画素間距離の両端の2画素を基点とする線分に対する垂直二等分線を設定し、設定した垂直二等分線によりステップS401で選択した小領域を分割し(ステップS404)、処理をステップS401に戻す。ステップS404で分割された2つの領域は新たな小領域として設定され、ステップS401において選択の対象となる。
図11を参照する。線分1200に対して垂直二等分線L12が設定され、垂直二等分線L12によって、小領域1201が2つの小領域1204,1205に分割されている。
図9に参照を戻す。ステップS405において、出力部103は、ステップS401においてすべての小領域を選択したか否かを判定する。すべての小領域が選択された場合(ステップS405でYES)、図7のS309の処理が終了し、処理は図2のS103に進む。すべての小領域が選択されていない場合(ステップS405でNO)、処理はステップS401に戻る。
以上、ステップS401からステップS405の処理を行うことにより、ステップS307,S306において設定された第1,第2修正領域は、最大画素間距離が第2閾値より小さい複数の小領域に分割される。
図2に参照を戻す。ステップS103において、入力部104は、指定対象画像に候補領域と修正領域とが重畳表示された医用画像において、操作装置(図略)を用いた修正領域の画素に対するユーザの入力を検知し、検知した入力が示すユーザの操作情報を病変領域指定部105に通知する。操作情報には、例えば、ユーザによるクリック操作が行われた地点の画素の座標が含まれる。
次に、病変領域指定部105は、確率画像算出部102から取得した確率画像と、出力部103から取得した候補領域と、入力部104から取得したユーザの操作情報とに基づき病変領域を決定する(ステップS104)。
図12は、図2のステップS104の処理の詳細を示すフローチャートである。以下、図12を用いて病変領域の決定方法について説明する。
まず、病変領域指定部105は、ステップS103で取得したユーザの操作情報に基づき小領域を選択する(ステップS601)。なお、ステップS103において、複数の小領域が指定された場合は、ステップS601において複数の小領域が選択され、各小領域について、S602以降の処理が実行される。
図13は、ユーザが小領域を選択する操作を入力する様子を示す図である。図13において、左図は小領域が選択される前の状態を示し、右図は小領域が選択された後の状態を示す。図13において、境界線1300は第1閾値の等値線である。したがって、境界線1300の内側の領域は候補領域である。点線1303は第1候補領域の外周であり、点線1304は第2候補領域の内周である。したがって、点線1303と境界線1300とで挟まれる領域1305は第2修正領域であり、境界線1300と点線1304とで挟まれる領域1306は第1修正領域である。領域1306は候補領域でもある。
第2修正領域である領域1305、第1修正領域である領域1306はそれぞれ、複数の小領域1307に分割されている。
図13の左図では、ユーザがマウスを操作することでマウスポインタを小領域1302内に位置決めし、クリックする操作が入力されている。これにより、複数の小領域1307の中から1つの小領域1302が選択される。
図12に示すステップS602において、病変領域指定部105は、ステップS601で選択された小領域がステップS102で算出された候補領域の内側にあるか否かを判定する。図13の例では、小領域1302は境界線1300の外側にあるため候補領域の外側にあると判定される。
次に、病変領域指定部105は、ステップS601で選択された小領域が候補領域の内側にあると判定された場合(ステップS602でYES)、小領域に含まれている画素を候補領域から除外し(ステップS603)、候補領域を修正する。一方、病変領域指定部105は、ステップS601で選択された小領域が候補領域の内側にないと判定された場合(ステップS602でNO)、小領域に含まれている画素を候補領域に加え(ステップS604)、候補領域を修正する。以下、修正された候補領域は、修正候補領域と称される。
図13の右図に示すように、左図で選択された小領域1302の画素が候補領域に加えられ、小領域1302を含むように候補領域の境界線1301が更新されている。境界線1301内の領域は修正候補領域である。なお、小領域1302が候補領域の内側にあれば、小領域1302が除外されるように候補領域の境界線1301は更新される。
次に、病変領域指定部105は、ステップS603,S604で算出された修正候補領域を、病変領域として決定する(ステップS605)。ステップS605が終了すると、図2のステップS104の処理も終了するので、図2のフローチャートは終了する。以上、ステップS601からステップS605の処理を行うことにより、小領域を選択するユーザの操作にしたがって候補領域が修正され、最終的に病変領域が決定される。
なお、候補領域を修正する必要がない場合、ステップS601からステップS605の処理は実行されず、処理が終了される。また、候補領域を修正する必要がない場合、ユーザに、その旨を示す操作を入力させることで、ステップS601からステップS605の処理は省かれてもよい。また、候補領域の修正を終了する旨のユーザからの指示が入力されるまで、ステップS601~ステップS605の処理を繰り返し、ユーザに複数の小領域を選択させもよい。
次に、テクスチャ型の病変が含まれる指定対象画像を処理対象とする理由について説明する。
上述したとおり、指定対象画像の各画素が病変領域に含まれる確率を示す確率値は、各画素を中心画素とする一定範囲の領域を局所領域画像として設定し、設定した局所領域画像を識別器に入力することで算出される。指定対象画像がテクスチャ型の病変領域を含む場合、病変領域内のいずれの画素を中心画素として局所領域画像を設定したとしても、設定した局所領域画像にはテクスチャ型の病変を表す特徴的なパターンが現れる。一方、指定対象画像が非テクスチャ型の病変領域を含む場合、病変領域の辺縁に特徴的なパターンが現れることが多い。そのため、非テクスチャ型の病変に対して、局所領域画像を設定して病変の識別を行った場合、局所領域画像が病変領域の辺縁に設定されていれば、適切に病変を識別できる。しかし、特徴的なパターンが現れていない辺縁以外の病変領域に局所領域が設定されていれば、適切に病変を識別できない可能性がある。したがって、非テクスチャ型の病変領域を含む指定対象画像に対して、局所領域画像を設定して病変の識別を行った場合、第1閾値以上の確率値を持つ画素からなる候補領域が実際の病変領域から大きく乖離する可能性がある。そのため、非テクスチャ型の病変領域を含む指定対象画像においては、確率画像を用いて算出した候補領域に基づいて、病変領域を決定することは適切ではなく、病変領域の決定が非効率的となる。
そこで、本実施の形態では、テクスチャ型の病変領域を含む指定対象画像を処理対象とする。そのため、実際の病変領域から大きく乖離した候補領域が算出されることを防止することができ、作業効率を高めることができる。
以上のように、本実施の形態に係る情報端末100は、テクスチャ型の病変領域を含む指定対象画像を処理対象とし、その指定対象画像から候補領域及び修正領域を算出し、ユーザに提示する。そのため、実際の病変領域に概ね一致する候補領域及び修正領域をユーザに提示できる。また、情報端末100は、修正領域を複数の小領域に分けてユーザに提示している。したがって、ユーザは、候補領域に加える又は候補領域から除外する小領域をクリック操作で選択することで、最終的な病変領域を決定できる。そのため、病変領域の決定を簡便な操作で効率良く行うことができる。
(実施の形態2)
次に、本開示の実施の形態2について説明する。実施の形態2は、第1閾値の等値線をユーザにドラッグさせることで候補領域を修正するものである。なお、実施の形態2において、実施の形態1と同一の構成要素には同一の符号を付し、説明を省く。また、実施の形態2の情報端末100の構成は図2と同じである。
(動作の説明)
実施の形態2の情報端末100の動作を図2を用いて説明する。ステップS101における確率画像を算出する処理は実施の形態1と同じであるので、説明を省く。
ステップS102において、出力部103は、確率画像算出部102から取得した確率画像において、第1閾値以上の確率値を持つ画素からなる領域を候補領域として算出し、第1閾値を含む確率範囲の確率値を持つ画素からなる領域を修正領域として算出し、候補領域と修正領域とを病変領域指定部105に通知し、確率画像算出部102から取得した指定対象画像に、候補領域と修正領域とを重畳した医用画像をディスプレイに表示する。
図14は、本開示の実施の形態2において、図2のステップS102の処理の詳細を示すフローチャートである。以下、図14を用いて候補領域と修正領域との算出方法について説明する。
まず、出力部103は、確率画像算出部102から取得した確率画像の1つの画素を選択する(ステップS701)。この処理の詳細は、図7のステップS301と同じである。
次に、出力部103は、ステップS701で選択した画素の確率値が確率範囲の上限値より小さいか否かを判定する(ステップS702)。選択した画素の確率値が確率範囲の上限値より小さい場合(ステップS702でYES)、処理はステップS704に進む。選択した画素の確率値が確率範囲の上限値より小さくない場合(ステップS702でNO)、出力部103は、選択した画素を候補領域に含まれる画素として設定し(ステップS703)、処理をステップS708に進める。つまり、確率値が確率範囲の上限値より大きい範囲に属する画素は候補領域に属する画素と判定される。確率範囲の上限値としては、実施の形態1と同様、例えば、0.9が採用できる。
次に、出力部103は、ステップS701で選択した画素が第1閾値より小さいか否かを判定する(ステップS704)。選択した画素が第1閾値より小さい場合(ステップS704でYES)、処理はステップS706に進む。選択した画素が第1閾値より小さくない場合(ステップS704でNO)、出力部103は、選択した画素を候補領域と第1修正領域とに含まれる画素として設定し(ステップS705)、処理をステップS708に進める。つまり、確率値が第1閾値から確率範囲の上限値までの範囲に属する画素は候補領域及び第1修正領域に属すると判定される。第1閾値としては、実施の形態1と同様、例えば、0.6が採用できる。
次に、出力部103はステップS701で選択した画素が確率範囲の下限値より小さいか否かを判定する(ステップS706)。選択した画素が確率範囲の下限値より小さい場合(ステップS706でYES)、処理はステップS708に進む。一方、選択した画素が確率範囲の下限値より小さくない場合(ステップS706でNO)、出力部103は、選択した画素を第2修正領域に含まれる画素として設定する(ステップS707)。つまり、確率値が確率範囲の下限値から第1閾値までの範囲に属する画素は第2修正領域に属する画素と判定される。確率範囲の下限値としては、実施の形態1と同様、例えば、0.3が採用できる。
次に、出力部103は、ステップS701において確率画像算出部102から取得した確率画像のすべての画素を選択したか否かを判定する(ステップS708)。すべての画素が選択された場合は、処理は終了する。一方、すべての画素が選択されていない場合(ステップS708でNO)、処理はステップS701に戻り、確率画像において次の画素が選択される。
以上、ステップS701からステップS708の処理を行うことにより、ステップS102において、候補領域と第1,第2修正領域とを算出することができる。
図2に参照を戻す。ステップS103において、入力部104は、指定対象画像に候補領域と修正領域とが重畳表示された医用画像において、操作装置(図略)を用いた修正領域の画素に対するユーザの入力を検知し、検知した入力が示すユーザの操作情報を病変領域指定部105に通知する。操作情報には、例えば、ユーザによるドラッグ操作が開始された地点の画素の座標と、ドラッグ操作による移動量とが用いられればよい。ドラッグ操作による移動量としては、例えば、ドラッグ操作が開始された地点を通る等値線の法線方向の移動量が採用できる。例えば、入力部104は、ドラッグ操作が開始された地点とドラッグ操作が終了された地点とを結ぶ線分を、前記法線方向に射影することで前記移動量を算出すればよい。ここで、候補領域を拡大する方向のドラッグ操作が入力された場合、例えば、移動量は負の値が採用され、候補領域を縮小する方向のドラッグ操作が入力された場合、例えば、移動量は正の値が採用される。
次に、病変領域指定部105は、確率画像算出部102から取得した確率画像と、出力部103から取得した候補領域と修正領域と、入力部104から取得したユーザの操作情報と、に基づき病変領域を決定する(ステップS104)。
図15は、本開示の実施の形態2において、図2のステップS104の処理の詳細を示すフローチャートである。以下、図15を用いて病変領域指定方法について説明する。
まず、病変領域指定部105は、ステップS103で取得したユーザの操作情報に基づき、ドラッグ操作の開始地点の確率画像の傾きを計算する(ステップS801)。
図16は、確率画像1700において、ドラッグ操作の開始地点の画素の確率値pと、確率値pの周辺の画素の確率値とを表す模式図である。確率画像1700の例では、ドラッグ操作の開始地点の画素を中心とする周辺25個の画素からなる領域が示されている。以下、図16を用いて確率画像の傾き計算方法について説明する。
傾きの計算にはドラッグ操作の開始地点の画素の上方向に隣接した画素の確率値a、右方向に隣接した画素の確率値b、下方向に隣接した画素の確率値c、左方向に隣接した画素の確率値dが用いられる。これらの確率値a,b,c,dを用いて、ドラッグ操作の開始地点の画素の傾きは以下の式(1)で計算される。
{({b-d}/2)^2+({c-a}/2)^2}^0.5 (1)
なお、ここでは、ドラッグ操作の開始地点の画素の上下左右の確率値を用いて傾きが計算されたが、計算方法はこれに限定されない。例えば、ドラッグ操作の開始地点の画素に対し、上方向に隣接する画素と、右方向に隣接する画素との2画素のそれぞれの確率値を用いて傾きが計算されてもよい。
この場合の計算式は、例えば、下記の式(2)で表される。
{({b-a}/2)^2}^0.5 (2)
但し、これは一例であり、ドラッグ操作の開始地点の画素に対し、右方向に隣接する画素と下方向に隣接する画素との2画素の確率値、下方向に隣接する画素と左方向に隣接する画素との2画素の確率値、或いは左方向に隣接する画素と上方向に隣接する画素との2画素の確率値を用いて傾きが算出されてもよい。
或いは、ドラッグ操作の開始地点の画素に対し、2画素以上は離れた画素の確率値を用いて傾きが算出されてもよい。或いは、ドラッグ操作の開始地点の画素に対し、斜め方向に隣接する画素を用いて傾きが計算されてもよい。
図15に参照を戻す。ステップS802において、病変領域指定部105は、第1閾値をドラッグ操作の開始地点の画素の確率値pに変更する。
次に、病変領域指定部105は、ドラッグ操作の移動量とドラッグ操作の開始地点の確率画像の傾きとに基づいて、第1閾値の変化量を算出する(ステップS803)。図17は、第1閾値の変化量の算出方法の説明図である。画像1900は、ユーザに提示される医用画像の一例である。画像1901は画像1900に対応する確率画像である。グラフ1903は画像1901中の線分1902における確率値がプロットされた曲線1906を示すグラフである。グラフ1903において、縦軸は確率値を示し、横軸は線分1902上の位置を示している。
図17において、地点E100は線分1902と候補領域1907の境界線とが交差する位置を示す。地点E110は線分1902と修正領域1908の内側の境界線とが交差する位置を示し、地点E120は線分1902と修正領域1908の外側の境界線とが交差する位置を示す。
図17の例では、地点E100がドラッグ操作の開始地点1904として入力され、線分1902に沿って右方向に移動量1905分のドラッグ操作が行われている。ここでは、移動量1905は、開始地点1904における等値線の法線方向を向いているものとする。
病変領域指定部105は、入力部104からドラッグ操作の操作情報が通知されると、予め設定された係数と、開始地点1904における確率画像の傾きの逆数と、ドラッグ操作の移動量1905との積を第1閾値の変化量として算出すればよい。
詳細には、病変領域指定部105は、下記の式(3)に示すように、ドラッグ操作の移動量1905に比例し、且つ、開始地点1904における確率画像の傾きに反比例するように、第1閾値の変化量1910を算出すればよい。
第1閾値の変化量
=係数×(ドラッグ操作の移動量/ドラッグ操作の開始地点の傾き) (3)
係数としては、例えば1が採用できる。
なお、変化量1910の算出方法は上述の方法に限定されない。例えば、変化量に上限値と下限値とが設けられてもよい。ここで、上限値はドラッグ操作が候補領域1907を拡大する方向に入力された場合の変化量1910の最大値を示し、下限値はドラッグ操作が候補領域1907を縮小する方向に入力された場合の変化量の最小値を示す。
開始地点1904の傾きに上限値と下限値とが設けられてもよい。この場合、開始地点1904の傾きが上限値より大きければ、傾きが上限値に設定されて、変化量1910が算出されればよい。また、開始地点1904の傾きが下限値より小さければ、傾きが下限値に設定されて変化量1910が算出されればよい。
図15に参照を戻す。ステップS804において、病変領域指定部105は、ステップS803で算出した第1閾値の変化量を用いて第1閾値を更新して候補領域を修正し、病変領域を決定する(ステップS804)。
ここで、病変領域指定部105は、図17に示すように、開始地点1904の確率値V1から変化量1910を減じることで確率値V1’を算出し、確率値V1’に対応する曲線1906上の地点E100’を通る確率値V1’の等値線を新たな境界線として設定すればよい。これにより、候補領域1907は、境界線が地点E100から地点E100’の範囲まで拡大される。
ここでは、ドラッグ操作が開始地点1904に対して右側、つまり、候補領域1907を拡大する方向に入力されていたので、開始地点1904の確率値V1から変化量1910が減じられている。ドラッグ操作が開始地点1904に対して左側、つまり、候補領域1907を縮小する方向に入力されたのであれば、開始地点1904の確率値V1に変化量1910が加えられた値が確率値V1’として算出され、新たな境界線が設定される。
なお、病変領域指定部105は、ドラッグ操作が終了された時点で修正後の候補領域1907を算出して出力部103を介してディスプレイに表示してもよいし、ドラッグ操作に連動して修正後の候補領域1907を算出して出力部103を介してディスプレイに表示してもよい。また、ドラッグ操作の開始地点は、候補領域1907の境界線上に限られない。候補領域1907内の任意の点であってもよいし、候補領域1907の境界線を含む一定範囲内の任意の点であってもよい。
以上、ステップS801からステップS804の処理を行うことにより、ステップS104において、病変領域が決定される。
なお、候補領域を修正する必要がない場合、ステップS801からステップS804の処理は実行されず、処理は終了される。また、候補領域を修正する必要が無い場合、ユーザに、その旨を示す操作を入力させることで、ステップS801からステップS804の処理を省けばよい。また、候補領域を修正する処理が複数回入力された場合、ステップS801からステップS804の処理は複数回実行されればよい。
図18は、本開示の実施の形態2において、候補領域が修正される様子を示す図である。画像1800は、修正前の候補領域と修正領域とを示し、画像1800’は、修正後の候補領域と修正領域とを示している。
図18において、境界線1801は候補領域D181の境界線であり、境界線1802は修正領域D182の内側の境界線であり、境界線1803は修正領域D182の外側の境界線である。
画像1800において、境界線1801を外側に向けて移動させ、候補領域D181を拡大させるドラッグ操作が入力されている。これにより、病変領域指定部105は、式(3)を用いて、ドラッグ操作の移動量とドラッグ操作の開始地点の傾きとに応じた第1閾値の変化量を算出する。この場合、候補領域D181を拡大させるドラッグ操作が入力されているので、画像1800’に示すように、境界線1801’は境界線1801よりも第1閾値の変化量に応じた値だけ外側に設定されている。つまり、病変領域指定部105は、現在の第1閾値から第1閾値の変化量を減じた値を新たな第1閾値として設定し、第1閾値の等値線を修正後の候補領域D181の境界線1801’として設定する。
なお、境界線1801が内側に向けて移動され、候補領域D181を縮小させるドラッグ操作が入力されたのであれば、病変領域指定部105は、現在の第1閾値に第1閾値の変化量を加えた値を新たな第1閾値として設定し、第1閾値の等値線を修正後の候補領域D181の境界線1801’として設定すればよい。
なお、ステップS804において、病変領域を確定する操作が入力されなければ、処理を図2のステップS102に戻し、ステップS102~S104の処理を繰り返し実行してもよい。
実施の形態2においても、テクスチャ型の病変が含まれる指定対象画像を処理対象としており、この理由は実施の形態1で説明したものと同じである。
以上のように、本実施の形態に係る情報端末100は、ユーザにより入力されたドラッグ操作に応じて候補領域の境界線を修正する。このとき、ドラッグ操作の開始地点の確率値の傾きが大きいほど、第1閾値の変化量、すなわち、境界線の変化量が小さくなるように候補領域が修正される。確率値の傾きが大きい領域においては、僅かなドラッグ操作であっても候補領域の境界線が実際の病変領域の境界線からはみ出たり、病変領域の内部に位置決めされたりする可能性があるので、微細なドラッグ操作が要求される。一方、確率値の傾きが小さい領域においては、傾きが大きい領域ほど微細なドラッグ操作は要求されない。そこで、本実施の形態では、ドラッグ操作の移動量に比例し、且つ、開始地点1904における確率画像の傾きに反比例するように、第1閾値の変化量を算出する。そのため、ユーザは、微細なドラッグ操作が要求される傾きが大きい領域では、候補領域の境界線をきめ細かく変化させることができ、候補領域の境界線の修正を正確且つ簡便に行うことができる。一方、ユーザは、微細なドラッグ操作が要求されない傾きが小さな領域では、候補領域を大きく変化させることができ、候補領域を速やかに位置決めすることができる。
以上、本開示に係る情報端末100について、実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本開示の形態に施したもの、異なる実施の形態における構成要素を組み合わせて構築される形態なども、本開示の範囲内に含まれる。
上記の情報端末100は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されてもよい。RAMまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、情報端末100は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
さらに、上記の制御方法を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されても良い。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
さらにまた、上記の制御方法を構成する構成要素の一部または全部は、制御方法に脱着可能なICカードまたは単体のモジュールから構成されていてもよい。ICカードまたはモジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。ICカードまたはモジュールは、上記の超多機能LSIを含んでもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ICカードまたはモジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有しても良い。
また、本開示に係る情報端末100は、上記の実施の形態で示した制御方法を実現されても良い。また、この制御方法は、コンピュータにより実現されるコンピュータプログラムで構成されてもよいし、前記コンピュータプログラムからなるデジタル信号で構成されてもよい。
さらに、上記コンピュータプログラムまたは上記デジタル信号は、コンピュータ読み取り可能な非一時的な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray Disc(登録商標))、半導体メモリなどに記録されていてもよい。また、本開示はこれらの非一時的な記録媒体に記録されている上記デジタル信号で構成されてもよい。
また、本開示は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線若しくは有線通信回線、インターネットを代表とするネットワーク、又はデータ放送等を経由して伝送されてもよい。
また、本開示は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作してもよい。
また、上記プログラムまたは上記デジタル信号は上記非一時的な記録媒体に記録して移送されることにより、または上記プログラムまたは上記デジタル信号は、上記ネットワーク等を経由して移送されることにより、独立した他のコンピュータシステムにより実施されてもよい。
本開示は、病変領域を効率良く決定できるので、医用画像の画像診断を行う上で有用である。
100 情報端末
101 症例検索システム
102 確率画像算出部
103 出力部
104 入力部
105 病変領域指定部

Claims (9)

  1. 医用画像データベースを参照して医用画像を検索する症例検索システムに接続されており、ディスプレイを有する情報端末の制御方法であって、
    (a)複数の画素を有する第1医用画像を受信させ、
    (b)前記第1医用画像に含まれる病変がテクスチャ型の病変である場合、前記第1医用画像の前記複数の画素のそれぞれについて、前記複数の画素の画素値と、前記複数の画素のそれぞれの周囲の画素の画素値とを予め定められた前記テクスチャ型の病変を示す病変領域を識別するための識別器に入力することで、前記病変領域に含まれる確率値を算出させ、
    前記テクスチャ型の病変は、複数の特定陰影のパターンを含む病変であり、
    (c)前記ディスプレイに、前記第1医用画像に候補領域と前記候補領域の修正領域とが重畳されている第2医用画像を表示させ、
    前記候補領域は、前記複数の画素のうち、第1閾値以上の確率値が算出された画素に基づいて決定されており、
    前記修正領域は、前記複数の画素のうち、確率範囲に含まれる確率値が算出された画素に基づいて決定されており、
    前記確率範囲は、前記第1閾値を含んでおり、
    (d)前記ディスプレイに表示されている前記第2医用画像に対するユーザの入力を検知させ、
    (e)前記第1医用画像に病変領域が重畳されている第3医用画像を表示させ、
    前記病変領域は、前記ユーザの入力と前記修正領域とに基づいて、前記候補領域を修正して決定されており、
    前記(c)において、前記修正領域は、前記候補領域を囲むように、表示されており、
    前記(d)において、前記修正領域に含まれる画素に対するユーザの入力を検知させ、
    前記(e)において、前記病変領域は、前記ユーザの入力に応じて、前記候補領域を、前記修正領域の一部まで拡大又は縮小された領域であり、
    前記(e)において、第1画素に対して前記ユーザの入力を検知したとき、第2画素に対して前記ユーザの入力を検知したときに比べて、前記候補領域を拡大又は縮小する量を小さくし、
    前記第1画素は、前記第2画素に比べて、周辺の画素の確率値の傾きが大きい画素である、
    制御方法。
  2. 前記(c)において、前記第2医用画像に重畳される前記修正領域は、複数の領域に分割されており、
    前記分割された複数の領域は、それぞれ、前記領域から選択される2つの画素を結ぶ直線のうち、最大の長さを有する直線が、第2閾値以下の長さを有する、
    請求項1に記載の制御方法。
  3. 前記(d)において、前記分割された複数の領域に対して、前記候補領域に追加するか前記候補領域から除外するかのユーザの入力を検知し、
    前記(e)において、前記ユーザの入力により決定された候補領域を前記病変領域として表示する、
    請求項2に記載の制御方法。
  4. 前記(d)において、前記ユーザのドラッグ操作を前記入力として検知し、
    前記(e)において、前記第1画素及び前記第2画素は、それぞれ、前記ドラッグ操作の開始地点の画素であり、前記候補領域を拡大又は縮小する量は、前記ドラッグ操作の移動量に比例し、前記傾きに反比例する、
    請求項に記載の制御方法。
  5. 医用画像データベースを参照して医用画像を検索する症例検索システムに接続されており、ディスプレイを有する情報端末であって、
    複数の画素を有する第1医用画像を受信し、前記第1医用画像に含まれる病変が複数の特定陰影のパターンを含むテクスチャ型の病変である場合、前記第1医用画像の前記複数の画素のそれぞれについて、前記複数の画素の画素値と、前記複数の画素のそれぞれの周囲の画素の画素値とを予め定められた病変領域を識別するための識別器に入力することで、前記病変領域に含まれる確率値を算出する確率画像算出部と、
    前記第1医用画像に、前記複数の画素のうち第1閾値以上の確率値が算出された画素に基づいて候補領域を決定し、前記複数の画素のうち前記第1閾値を含む確率範囲に含まれる確率値が算出された画素に基づいて前記候補領域の修正領域を決定し、前記決定した候補領域と前記修正領域とを前記第1医用画像に重畳して第2医用画像を前記ディスプレイに表示させる出力部と、
    前記ディスプレイに表示されている前記第2医用画像に対するユーザの入力を検知する入力部と、
    前記入力部により検知された前記ユーザの入力と前記修正領域とに基づいて、前記候補領域を修正して病変領域を指定する病変領域指定部とを含み、
    前記出力部は、前記病変領域が重畳されている第3医用画像を前記ディスプレイに表示させ、
    前記出力部は、前記候補領域を囲むように前記修正領域を表示し、
    前記入力部は、前記修正領域に含まれる画素に対するユーザの入力を検知し、
    前記病変領域指定部は、前記ユーザの入力に応じて、前記候補領域を前記修正領域の一部まで拡大又は縮小させることで前記病変領域を決定し、
    前記病変領域指定部は、第1画素に対して前記ユーザの入力を検知したとき、第2画素に対して前記ユーザの入力を検知したときに比べて、前記候補領域を拡大又は縮小する量を小さくし、
    前記第1画素は、前記第2画素に比べて、周辺の画素の確率値の傾きが大きい画素である、
    情報端末。
  6. 前記確率画像算出部は、前記第2医用画像に重畳される前記修正領域を、複数の領域に分割し、
    前記分割された複数の領域は、それぞれ、前記領域から選択される2つの画素を結ぶ直線のうち最大の長さを有する直線が、第2閾値以下の長さを有する、
    請求項に記載の情報端末。
  7. 前記入力部は、前記分割された複数の領域に対して、前記候補領域に追加するか前記候補領域から除外するかのユーザの入力を検知し、
    前記病変領域指定部は、前記ユーザの入力により決定された候補領域を前記病変領域として表示する、
    請求項に記載の情報端末。
  8. 前記入力部は、前記ユーザのドラッグ操作を前記入力として検知し、
    前記第1画素及び前記第2画素は、それぞれ、前記ドラッグ操作の開始地点の画素であり、前記候補領域を拡大又は縮小する量は、前記ドラッグ操作の移動量に比例し、前記傾きに反比例する、
    請求項に記載の情報端末。
  9. 医用画像データベースを参照して医用画像を検索する症例検索システムに接続されており、ディスプレイを有する情報端末としてコンピュータを機能させるプログラムであって、
    複数の画素を有する第1医用画像を受信し、前記第1医用画像に含まれる病変が複数の特定陰影のパターンを含むテクスチャ型の病変である場合、前記第1医用画像の前記複数の画素のそれぞれについて、前記複数の画素の画素値と、前記複数の画素のそれぞれの周囲の画素の画素値とを予め定められた病変領域を識別するための識別器に入力することで、前記病変領域に含まれる確率値を算出する確率画像算出部と、
    前記第1医用画像に、前記複数の画素のうち第1閾値以上の確率値が算出された画素に基づいて候補領域を決定し、前記複数の画素のうち前記第1閾値を含む確率範囲に含まれる確率値が算出された画素に基づいて前記候補領域の修正領域を決定し、前記決定した候補領域と前記修正領域とを前記第1医用画像に重畳して第2医用画像を前記ディスプレイに表示させる出力部と、
    前記ディスプレイに表示されている前記第2医用画像に対するユーザの入力を検知する入力部と、
    前記入力部により検知された前記ユーザの入力と前記修正領域とに基づいて、前記候補領域を修正して病変領域を指定する病変領域指定部としてコンピュータを機能させ、
    前記出力部は、前記病変領域が重畳されている第3医用画像を前記ディスプレイに表示させ、
    前記出力部は、前記候補領域を囲むように前記修正領域を表示し、
    前記入力部は、前記修正領域に含まれる画素に対するユーザの入力を検知し、
    前記病変領域指定部は、前記ユーザの入力に応じて、前記候補領域を前記修正領域の一部まで拡大又は縮小させることで前記病変領域を決定し、
    前記病変領域指定部は、第1画素に対して前記ユーザの入力を検知したとき、第2画素に対して前記ユーザの入力を検知したときに比べて、前記候補領域を拡大又は縮小する量を小さくし、
    前記第1画素は、前記第2画素に比べて、周辺の画素の確率値の傾きが大きい画素である、
    プログラム。
JP2017236876A 2016-12-22 2017-12-11 制御方法、情報端末、及びプログラム Active JP7054787B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016248992 2016-12-22
JP2016248992 2016-12-22

Publications (2)

Publication Number Publication Date
JP2018102916A JP2018102916A (ja) 2018-07-05
JP7054787B2 true JP7054787B2 (ja) 2022-04-15

Family

ID=62625614

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017236876A Active JP7054787B2 (ja) 2016-12-22 2017-12-11 制御方法、情報端末、及びプログラム

Country Status (2)

Country Link
US (2) US10366785B2 (ja)
JP (1) JP7054787B2 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019008941A1 (ja) * 2017-07-03 2019-01-10 富士フイルム株式会社 医療画像処理装置、内視鏡装置、診断支援装置、医療業務支援装置、及び、レポート作成支援装置
JP6753622B2 (ja) * 2018-06-27 2020-09-09 株式会社Cybo 表示制御装置、表示制御方法及び表示制御プログラム
CN112513926A (zh) * 2018-07-31 2021-03-16 奥林巴斯株式会社 图像解析装置及图像解析方法
WO2020110774A1 (ja) 2018-11-30 2020-06-04 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
CN109754389B (zh) * 2018-12-07 2021-08-24 北京市商汤科技开发有限公司 一种图像处理方法、装置及设备
US10937156B2 (en) * 2019-01-31 2021-03-02 Bay Labs, Inc. Saliency mapping of imagery during artificially intelligent image classification
JP7151869B2 (ja) * 2019-03-19 2022-10-12 日本電気株式会社 画像処理方法、画像処理装置、プログラム
JP7346051B2 (ja) * 2019-03-27 2023-09-19 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
EP3719746A1 (en) * 2019-04-04 2020-10-07 Koninklijke Philips N.V. Identifying boundaries of lesions within image data
KR102889317B1 (ko) * 2019-05-14 2025-11-24 주식회사 뷰노 의료 영상에서 병변의 시각화를 보조하는 방법 및 이를 이용한 장치
KR102102255B1 (ko) * 2019-05-14 2020-04-20 주식회사 뷰노 의료 영상에서 병변의 시각화를 보조하는 방법 및 이를 이용한 장치
CN110490202B (zh) * 2019-06-18 2021-05-25 腾讯科技(深圳)有限公司 检测模型训练方法、装置、计算机设备和存储介质
US11157811B2 (en) * 2019-10-28 2021-10-26 International Business Machines Corporation Stub image generation for neural network training
JP7514669B2 (ja) * 2020-06-30 2024-07-11 ジオテクノロジーズ株式会社 推論装置、推論方法、推論プログラム、およびコンピュータにより読み取り可能な記憶媒体
JP7729717B2 (ja) * 2020-10-22 2025-08-26 キヤノンメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理方法
JP7584992B2 (ja) * 2020-10-27 2024-11-18 キヤノン株式会社 情報処理システム、情報処理装置、情報処理方法及びプログラム
CN112734697B (zh) * 2020-12-24 2024-05-28 沈阳东软智能医疗科技研究院有限公司 图像处理方法、装置、存储介质和电子设备
JP7823027B2 (ja) 2021-04-02 2026-03-03 富士フイルム株式会社 医用画像処理装置、医用画像処理装置の作動方法、医用画像処理装置の作動プログラム
CN115171855A (zh) * 2021-06-28 2022-10-11 杭州太美星程医药科技有限公司 一种医学影像阅片系统及其交互运行方法
CN115731402B (zh) * 2021-08-25 2026-04-10 北京小米移动软件有限公司 位置点确定方法、装置、电子设备及存储介质
JP7642585B2 (ja) 2022-03-24 2025-03-10 株式会社日立製作所 画像処理装置及び画像処理方法
US20230401702A1 (en) * 2022-06-09 2023-12-14 Duke University Object detection in paired imaging
JP2025050473A (ja) * 2023-09-22 2025-04-04 株式会社日立製作所 画像処理装置及び画像処理方法
WO2025150130A1 (ja) * 2024-01-11 2025-07-17 富士通株式会社 病変識別方法および病変識別プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005028051A (ja) 2003-07-11 2005-02-03 Matsushita Electric Ind Co Ltd 画像表示装置および画像表示方法
JP2006334404A (ja) 2005-05-31 2006-12-14 Siemens Ag 画像処理用の対話式ユーザアシスタントのためのデータ処理システムおよび方法ならびにコンピュータ読取可能な媒体
JP2012090669A (ja) 2010-10-25 2012-05-17 Fujifilm Corp 医用画像診断支援装置および方法、並びにプログラム
JP2016193295A (ja) 2016-08-22 2016-11-17 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3046326B2 (ja) 1990-06-15 2000-05-29 株式会社東芝 画像処理装置及び画像処理方法
JP2003210441A (ja) 2002-01-18 2003-07-29 Canon Inc 画像解析装置、画像解析システム、解析用データ作成装置、解析用データ作成システム、画像解析方法、解析用データ作成方法、コンピュータ可読記憶媒体及びプログラム
JP2004041694A (ja) 2002-05-13 2004-02-12 Fuji Photo Film Co Ltd 画像生成装置およびプログラム、画像選択装置、画像出力装置、画像提供サービスシステム
US7474775B2 (en) * 2005-03-31 2009-01-06 University Of Iowa Research Foundation Automatic detection of red lesions in digital color fundus photographs
US8517945B2 (en) * 2005-04-28 2013-08-27 Carestream Health, Inc. Segmentation of lesions in ultrasound images
US7689016B2 (en) * 2005-05-27 2010-03-30 Stoecker & Associates, A Subsidiary Of The Dermatology Center, Llc Automatic detection of critical dermoscopy features for malignant melanoma diagnosis
US8214177B2 (en) * 2005-10-20 2012-07-03 Syracuse University Optimized stochastic resonance signal detection method
US9026404B2 (en) * 2005-10-20 2015-05-05 Syracuse University Methods of improving detectors and classifiers using optimized stochastic resonance noise
US20070135999A1 (en) * 2005-12-13 2007-06-14 Applied Spectral Imaging Ltd. Method, apparatus and system for characterizing pathological specimen
US7840046B2 (en) * 2006-06-27 2010-11-23 Siemens Medical Solutions Usa, Inc. System and method for detection of breast masses and calcifications using the tomosynthesis projection and reconstructed images
JP5121204B2 (ja) * 2006-10-11 2013-01-16 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US7876943B2 (en) * 2007-10-03 2011-01-25 Siemens Medical Solutions Usa, Inc. System and method for lesion detection using locally adjustable priors
US8355553B2 (en) * 2008-11-22 2013-01-15 General Electric Company Systems, apparatus and processes for automated medical image segmentation using a statistical model
US20100158332A1 (en) * 2008-12-22 2010-06-24 Dan Rico Method and system of automated detection of lesions in medical images
GB2478329B (en) * 2010-03-03 2015-03-04 Samsung Electronics Co Ltd Medical image processing
US9218661B2 (en) * 2011-04-08 2015-12-22 Algotec Systems Ltd. Image analysis for specific objects
US9275453B2 (en) 2011-10-03 2016-03-01 Hitachi, Ltd. Image processing device and image processing method
US9607392B2 (en) * 2011-12-05 2017-03-28 The Johns Hopkins University System and method of automatically detecting tissue abnormalities
US9058647B2 (en) * 2012-01-16 2015-06-16 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
US8923582B2 (en) * 2012-05-31 2014-12-30 General Electric Company Systems and methods for computer aided detection using pixel intensity values
JP5993653B2 (ja) 2012-08-03 2016-09-14 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US9378551B2 (en) * 2013-01-03 2016-06-28 Siemens Aktiengesellschaft Method and system for lesion candidate detection
EP2772882A1 (en) * 2013-03-01 2014-09-03 Universite D'angers Automatic measurement of lesions on medical images
US10238368B2 (en) * 2013-09-21 2019-03-26 General Electric Company Method and system for lesion detection in ultrasound images
EP4057215A1 (en) * 2013-10-22 2022-09-14 Eyenuk, Inc. Systems and methods for automated analysis of retinal images
KR20160012758A (ko) * 2014-07-25 2016-02-03 삼성전자주식회사 영상 진단 보조 장치 및 방법
KR20160049897A (ko) * 2014-10-28 2016-05-10 삼성전자주식회사 연속적인 의료 영상을 이용한 컴퓨터 보조 진단 장치 및 방법
US10068318B2 (en) * 2015-01-06 2018-09-04 Mayo Foundation For Medical Education And Research Enhancing the detectability of objects in medical images
WO2016179310A1 (en) * 2015-05-04 2016-11-10 Smith Andrew Dennis Computer-assisted tumor response assessment and evaluation of the vascular tumor burden
US11087459B2 (en) * 2015-08-14 2021-08-10 Elucid Bioimaging Inc. Quantitative imaging for fractional flow reserve (FFR)
WO2017092615A1 (zh) * 2015-11-30 2017-06-08 上海联影医疗科技有限公司 一种计算机辅助诊断系统及方法
US10049451B2 (en) * 2015-12-02 2018-08-14 The Cleveland Clinic Foundation Automated lesion segmentation from MRI images
US10282843B2 (en) * 2016-10-27 2019-05-07 International Business Machines Corporation System and method for lesion analysis and recommendation of screening checkpoints for reduced risk of skin cancer
EP3629898A4 (en) * 2017-05-30 2021-01-20 Arterys Inc. AUTOMATED LESION DETECTION, SEGMENTATION AND LENGTH IDENTIFICATION
US10115197B1 (en) * 2017-06-06 2018-10-30 Imam Abdulrahman Bin Faisal University Apparatus and method for lesions segmentation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005028051A (ja) 2003-07-11 2005-02-03 Matsushita Electric Ind Co Ltd 画像表示装置および画像表示方法
JP2006334404A (ja) 2005-05-31 2006-12-14 Siemens Ag 画像処理用の対話式ユーザアシスタントのためのデータ処理システムおよび方法ならびにコンピュータ読取可能な媒体
JP2012090669A (ja) 2010-10-25 2012-05-17 Fujifilm Corp 医用画像診断支援装置および方法、並びにプログラム
JP2016193295A (ja) 2016-08-22 2016-11-17 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
鈴木 聡志 他2名,"びまん性肺疾患識別におけるDeep Convolutional Neural Network特徴の解析",情報処理学会研究報告(IPSJ SIG Technical Report),2015年06月24日,Vol.2015-MPS-103, No.29,pp.1-6

Also Published As

Publication number Publication date
US20190295711A1 (en) 2019-09-26
US10366785B2 (en) 2019-07-30
JP2018102916A (ja) 2018-07-05
US10984907B2 (en) 2021-04-20
US20180182481A1 (en) 2018-06-28

Similar Documents

Publication Publication Date Title
JP7054787B2 (ja) 制御方法、情報端末、及びプログラム
CN109409398B (zh) 图像处理装置、图像处理方法以及存储介质
JP5618787B2 (ja) レポート作成支援装置及びその作成支援方法、並びにプログラム
CN101061509B (zh) 用于医疗成像数据内的肿瘤边界的自动检测和分割的系统和方法
CN111445440B (zh) 一种医学图像分析方法、设备和存储介质
JP6878034B2 (ja) 情報処理装置、制御方法、およびプログラム
JP5878924B2 (ja) 画像処理装置、撮像装置および画像処理方法
JP7410619B2 (ja) 画像処理装置、画像処理方法およびプログラム
JPWO2014196069A1 (ja) 画像処理装置および画像処理方法
US20160379088A1 (en) Apparatus and method for creating an image recognizing program having high positional recognition accuracy
EP3373194B1 (en) Image retrieval apparatus and image retrieval method
EP4327333A1 (en) Methods and systems for automated follow-up reading of medical image data
KR102431173B1 (ko) 진단 영상에서 심층신경망을 이용한 국소종양진행을 진단하기 위한 장치 및 국소종양진행 진단에 필요한 정보를 제공하는 방법
JP7500945B2 (ja) コンピュータプログラム、細胞計数方法及び細胞計数装置
JP3978962B2 (ja) 情報検索方法および情報検索装置
US20160140723A1 (en) Partitioning an image
JP6546385B2 (ja) 画像処理装置及びその制御方法、プログラム
JP7362568B2 (ja) 画像検索装置、画像検索方法、およびプログラム
JPWO2007013300A1 (ja) 異常陰影候補検出方法及び異常陰影候補検出装置
JP2008259710A (ja) 画像処理方法および装置ならびにプログラム
CN114445338A (zh) 图像处理方法、装置、存储介质及电子设备
JP7480997B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2005196702A (ja) 画像を分割可能なプログラム及び画像分割方法
JP6098286B2 (ja) 対応点決定装置、対応点決定方法、及びプログラム
US20240062883A1 (en) Document creation support apparatus, document creation support method, and document creation support program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200702

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220304

R151 Written notification of patent or utility model registration

Ref document number: 7054787

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151