Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5222082B2 - 情報処理装置およびその制御方法、データ処理システム - Google Patents
[go: Go Back, main page]

JP5222082B2 - 情報処理装置およびその制御方法、データ処理システム - Google Patents

情報処理装置およびその制御方法、データ処理システム Download PDF

Info

Publication number
JP5222082B2
JP5222082B2 JP2008246596A JP2008246596A JP5222082B2 JP 5222082 B2 JP5222082 B2 JP 5222082B2 JP 2008246596 A JP2008246596 A JP 2008246596A JP 2008246596 A JP2008246596 A JP 2008246596A JP 5222082 B2 JP5222082 B2 JP 5222082B2
Authority
JP
Japan
Prior art keywords
schema
time
information
series
diseased part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008246596A
Other languages
English (en)
Other versions
JP2010075403A5 (ja
JP2010075403A (ja
Inventor
和大 宮狭
裕之 今村
昌明 今泉
幸雄 坂川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008246596A priority Critical patent/JP5222082B2/ja
Priority to US12/562,204 priority patent/US7933437B2/en
Publication of JP2010075403A publication Critical patent/JP2010075403A/ja
Priority to US13/070,143 priority patent/US8331640B2/en
Publication of JP2010075403A5 publication Critical patent/JP2010075403A5/ja
Priority to US13/673,770 priority patent/US8908946B2/en
Application granted granted Critical
Publication of JP5222082B2 publication Critical patent/JP5222082B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00ICT specially adapted for the handling or processing of medical references
    • G16H70/60ICT specially adapted for the handling or processing of medical references relating to pathologies
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Description

本発明は、カルテ(診療録)や画像診断レポートなどの作成を支援するための情報処理装置に関するものである。特に、医師が医用文書に描画するシェーマの表示技術に関するものである。
医療の分野において、患者の体内を検査するための医用画像を生成する装置としては、CR(Computed Radiography)装置、CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、超音波装置(US:Ultrasound System)等が挙げられる。医師は、これらの撮像装置によって撮影された患者の医用画像を、モニタに表示し、表示された医用画像から、疾患部の状態や経時変化を観察し、画像診断を行った結果を所見情報として画像診断レポートに記入する。そして、疾患に対して確定診断を行う医師は、患者の症状や病名をカルテに記入する。このとき、画像診断レポートやカルテなどの医用文書には、医師が疾患部に対して下した判断が視覚的に容易に分かるように、疾患部に対する判断の特徴を描画したシェーマを作成し添付することができる。
従来、シェーマは紙で出来た医用文書の上に手書きで記入されるものであった。しかし、近年、病院情報システム(HIS)や画像保管通信システム(PACS)等の医用情報システムが普及するに連れて、電子カルテを始め、医用文書の電子化が進められており、その一部としてシェーマの電子化も徐々に進展している。シェーマを電子データとして作成する際、マウスやタブレットなどの入力デバイスを用いることで、任意形状の図形を線画情報としてコンピュータに入力することができる。しかし、シェーマにおける身体構造を表すイラスト(基本シェーマと呼ぶ)の作成に当たっては、複雑な形状の人体構造を描画する必要があり、マウスやタブレットを用いて描画することは容易ではない。
そこで、特許文献1では、あらかじめ装置内に基本シェーマのテンプレートを多数記憶しておき、医師に所望の基本シェーマを選択させる技術を開示している。この方式では、医師が基本シェーマを選択した後、基本シェーマ上に疾患部の状態を簡単な図形と説明文章で示したもの(疾患部シェーマと呼ぶ)を描画することで、容易にシェーマを作成できる。さらに、特許文献2では、基本シェーマだけではなく、疾患部シェーマを構成する疾患部の図形と説明文章、それらを繋ぐ矢印を全て分離した電子データとして保存する装置を提案している。これにより、作成済みのシェーマに対して、その中に含まれる文字や図形の変更・移動・削除などの操作を伴う編集を容易に行うことができる。
また、非特許文献1及び非特許文献2では、それぞれSHIFT特徴量及びPCA−SHIFT特徴量が提案されている。例えば、基本シェーマにおいて、これらの特徴量を計算することで、その結果を基本シェーマに描かれた身体部位の構造情報の一つとして利用することができる。さらに、非特許文献3では、可変形状モデルによる領域分割手法が提案されている。例えば、画像やシェーマにおいて可変形状モデルを適用することで、エッジで囲まれた疾患部の領域を抽出することができる。
ところで、臨床現場では、画像診断の目的の一つである、腫瘍等の疾患部の病状進行状態や治癒状態の経過観察を目的とした診断が行われている。経過観察においては、同一患者の過去に撮影した画像だけでなく、過去に作成されたシェーマを確認することで、過去の医師による疾患部への判断の情報を、医師の心象図と文章が結びついた情報として参照し、診断の参考にすることができる。
従来、特許文献3や特許文献4等に示されているように、医師は、同一被検体(検査対象患者と呼ぶことにする)に関する撮影時点の相異なる複数の画像をCRT表示装置等の画像表示手段に表示することで、疾患部の経時変化を判断していた。この場合、画像表示手段には、撮影時点の相異する複数の画像が同時表示あるいは切り換え表示され、医師等の観察者はそれら複数の表示画像を比較観察して、疾患部の経時変化を判断するようにしていた。
特開2006−181146号公報 特開2000−222503号公報 特開平1−107739号公報 特開平8−263625号公報 D. G. Lowe, "Object recognition from local scale-invariant features", Proc. of IEEE International Conference on Computer Vision(ICCV), pp.1150-1157, 1999 Y. Ke, R. Sukthankar, "PCA-SHIFT: A more distinctive representation for local image descriptors", Proc. of IEEE Conference on Computer Vision and Pattern Recognition(CVPR), pp.511-517, 2004 Kass M, Witkin A, Terzopoulos D: Snakes:active contour models. International Journal of Computer Vision 1 (4):321-331, 1988
しかしながら、上述の手法では、撮影した疾患部の画像から疾患部の状態の経時変化は把握できるものの、各撮影の時点で医師が疾患部をどのように特徴付けて判断したかを表す診断情報(シェーマ)を把握することはできない。そのため、医師は、撮影した画像に対応する各種情報を別途に確認する必要が生じていた。
本発明は上述の上記を鑑みてなされたものであり、撮影した疾患部の画像と当該画像に対する診断支援情報とを効率的に把握可能とする技術を提供することを目的とする。
上述の問題点を解決するため、本発明の情報処理装置は以下の構成を備える。すなわち、所定の被検体に関するシェーマと該シェーマに関連する医用画像データとを検査記録データベースから取得し表示部に表示する情報処理装置であって、前記シェーマには少なくとも時刻情報および疾患部情報が記録されており、該情報処理装置は、被検体を特定するための被検体特定情報を入力する入力手段と、前記入力手段により入力された前記被検体特定情報に基づいて、前記検査記録データベースから前記被検体に関する1以上のシェーマと該シェーマに関連する医用画像データとを取得する取得手段と、前記1以上のシェーマの各々に記録された疾患部情報に基づいて、前記1以上のシェーマの各々に関連する医用画像データにおける疾患部領域を特定する特定手段と、前記1以上のシェーマの各々の時刻情報と前記1以上のシェーマの各々の疾患部情報とに基づいて、疾患部時系列シェーマを生成する時系列シェーマ生成手段と、前記1以上のシェーマの各々の時刻情報と前記1以上のシェーマの各々に関連する医用画像データの疾患部領域の画像とに基づいて、疾患部時系列画像データを生成する時系列画像データ生成手段と、前記疾患部時系列シェーマと前記疾患部時系列画像データとを同期させて前記表示部に表示出力する表示出力手段と、を含む。
上述の問題点を解決するため、本発明の情報処理装置は以下の構成を備える。すなわち、所定の被検体に関するシェーマと該シェーマに関連する医用画像データとを検査記録データベースから取得し表示部に表示する情報処理装置であって、前記シェーマには少なくとも時刻情報および疾患部情報が記録されており、該情報処理装置は、被検体を特定するための被検体特定情報を入力する入力手段と、前記入力手段により入力された前記被検体特定情報に基づいて、前記検査記録データベースから前記被検体に関する1以上のシェーマと該シェーマに関連する医用画像データとを取得する取得手段と、前記1以上のシェーマの各々に記録された疾患部情報に基づいて、前記1以上のシェーマの各々に関連する医用画像データにおける疾患部領域を特定する特定手段と、前記1以上のシェーマの各々に関連する医用画像データの各々について、前記特定された疾患部領域の画像特徴量を導出する導出手段と、前記1以上のシェーマの各々の時刻情報と前記1以上のシェーマの各々の疾患部情報とに基づいて、疾患部時系列シェーマを生成する時系列シェーマ生成手段と、前記1以上のシェーマの各々の時刻情報と前記1以上のシェーマの各々に関連する医用画像データの疾患部領域の画像特徴量とに基づいて、疾患部時系列画像特徴量を生成する時系列画像特徴量生成手段と、前記疾患部時系列シェーマと前記疾患部時系列画像特徴量とを同期させて前記表示部に表示出力する表示出力手段と、を含む。
上述の問題点を解決するため、本発明の情報処理装置の制御方法は以下の構成を備える。すなわち、所定の被検体に関するシェーマと該シェーマに関連する医用画像データとを検査記録データベースから取得し表示部に表示する情報処理装置の制御方法であって、前記シェーマには少なくとも時刻情報および疾患部情報が記録されており、該制御方法は、入力手段が、被検体を特定するための被検体特定情報を入力する入力工程と、取得手段が、前記入力工程により入力された前記被検体特定情報に基づいて、前記検査記録データベースから前記被検体に関する1以上のシェーマと該シェーマに関連する医用画像データとを取得する取得工程と、特定手段が、前記1以上のシェーマの各々に記録された疾患部情報に基づいて、前記1以上のシェーマの各々に関連する医用画像データにおける疾患部領域を特定する特定工程と、時系列シェーマ生成手段が、前記1以上のシェーマの各々の時刻情報と前記1以上のシェーマの各々の疾患部情報とに基づいて、疾患部時系列シェーマを生成する時系列シェーマ生成工程と、時系列画像データ生成手段が、前記1以上のシェーマの各々の時刻情報と前記1以上のシェーマの各々に関連する医用画像データの疾患部領域の画像とに基づいて、疾患部時系列画像データを生成する時系列画像データ生成工程と、表示出力手段が、前記疾患部時系列シェーマと前記疾患部時系列画像データとを同期させて前記表示部に表示出力する表示出力工程と、を含む。
上述の問題点を解決するため、本発明のデータ処理システムは以下の構成を備える。すなわち、被検体に関するシェーマと該シェーマに関連する医用画像データとを記憶する検査記録データベースと、該検査記録データベースにアクセスして所定の被検体に関するシェーマと該シェーマに関連する医用画像データとを取得し表示部に表示する情報処理装置と、を含むデータ処理システムであって、前記情報処理装置は、被検体を特定するための被検体特定情報を入力する入力手段と、前記入力手段により入力された前記被検体特定情報に基づいて、前記検査記録データベースから前記被検体に関する1以上のシェーマと該シェーマに関連する医用画像データとを取得する取得手段と、前記1以上のシェーマの各々に記録された疾患部情報に基づいて、前記1以上のシェーマの各々に関連する医用画像データにおける疾患部領域を特定する特定手段と、前記1以上のシェーマの各々の時刻情報と前記1以上のシェーマの各々の疾患部情報とに基づいて、疾患部時系列シェーマを生成する時系列シェーマ生成手段と、前記1以上のシェーマの各々の時刻情報と前記1以上のシェーマの各々に関連する医用画像データの疾患部領域の画像とに基づいて、疾患部時系列画像データを生成する時系列画像データ生成手段と、前記疾患部時系列シェーマと前記疾患部時系列画像データとを同期させて前記表示部に表示出力する表示出力手段と、を含む。
本発明によれば、撮影した疾患部の画像と当該画像に対する診断支援情報とを効率的に把握可能とする技術を提供することができる。
以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。
(第1実施形態)
本発明に係る情報処理装置の第1実施形態として、データ処理システムにおける診療支援装置を例に挙げて以下に説明する。
<装置構成>
図1は、第1実施形態に係る診療支援装置の機器構成を示す図である。
診療支援装置1は、制御部10、モニタ(表示部)104、マウス105、キーボード106を有する。制御部10は、中央処理装置(CPU)100、主メモリ101、磁気ディスク102、表示メモリ103を有する。そして、CPU100が主メモリ101に格納されたプログラムを実行することにより、医用文書データベース2や医用画像データベース3との通信、診療支援装置1の全体の制御、等の各種制御が実行される。
また、診療支援装置1は、被検体の画像を撮影可能な医用画像データベース3と接続されている。医用画像データベース3には、例えばX線CT装置、MRI装置、US装置、X線装置、核医学装置などの医用画像撮影装置で撮影された画像データが格納されている。医用文書データベース2(検査記録データベース)には、電子カルテ、画像診断レポート、作成済みのシェーマなどの文書データが格納されている。
CPU100は、主として診療支援装置1の各構成要素の動作を制御する。主メモリ101は、CPU100が実行する制御プログラムを格納したり、CPU100によるプログラム実行時の作業領域を提供したりする。磁気ディスク102は、オペレーティングシステム(OS)、周辺機器のデバイスドライブ、後述する診断支援処理等を行うためのプログラムを含む各種アプリケーションソフト等を格納する。表示メモリ103は、モニタ104のための表示用データを一時記憶する。モニタ104は、例えばCRTモニタや液晶モニタ等であり、表示メモリ103からのデータに基づいて画像を表示する。マウス105及びキーボード106はユーザによるポインティング入力及び文字等の入力をそれぞれ行う。上記各構成要素は共通バス107により互いに通信可能に接続されている。
第1実施形態において、診療支援装置1は、LAN4を介して医用文書データベース2及び医用画像データベース3にアクセスし、電子カルテ等の医用文書データ及び医用画像データを読み出すことができる。なお、診療支援装置1に記憶装置、例えばFDD、CD−RWドライブ、MOドライブ、ZIPドライブ等を接続し、それらのドライブから医用画像等を読み込むようにしても良い。また、LAN4を経由して医用画像撮影装置から直接に医用画像等を取得してもよい。
<装置の動作>
図2は、第1実施形態に係る診療支援装置1の動作フローチャートである。なお、図2によって示される処理は、CPU100が主メモリ101に格納されているプログラムを実行することにより実現される。
ステップS201では、CPU100はマウス105やキーボード106の入力に応じて、画像診断の対象となる医用検査データ(医用画像及び電子カルテ)を診療支援装置1に入力する処理を行う。この医用検査データの入力処理は、例えば、上述したように、CPU100が、医用文書データベース2及び医用画像データベース3からLAN4を介して医用画像や電子カルテを受信する処理である。また、上述したように、CPU100が、診療支援装置1に接続された記憶装置、例えばFDD、CD−RWドライブ、MOドライブ、ZIPドライブ等の各種記憶媒体から同様のデータを読み取るよう構成してもよい。
ステップS202では、CPU100は、ステップ201で読み込まれた医用検査データから検査対象の患者情報を認識する処理を行う。患者情報の認識処理は、例えば、医用画像のヘッダ情報(DICOM画像であれば、DICOMヘッダ)や電子カルテから、患者IDなどの患者を特定するための情報(被検体特定情報)を抽出する処理を行う。
ステップS203では、CPU100は、ステップS202の患者情報認識処理で認識した患者情報を検索条件として、医用文書データベース2及び医用画像データベース3を検索する。そして、検査対象患者の過去の1以上のシェーマ及び医用画像のデータを抽出する処理を行う。これを過去検査記録抽出処理と呼ぶことにする。そして、磁気ディスク102に抽出したデータを格納する。このとき、複数の検査日時のデータが抽出された場合、検査日時順にシェーマ及び医用画像のデータに対して新しく検査データ番号iを振り直す。
なお、医用文書データベース2及び医用画像データベース3に格納されているシェーマ及び医用画像に関しては、基本的には、医師がある撮影日時の画像の診断を行う度に、疾患部を描いたシェーマを作成しているものとする。つまり、診断済みのデータに関しては、基本的には、全てのシェーマと医用画像が1対1に対応して各々のデータベースに格納されているものとする。また、シェーマには、対応する医用画像の情報が付随して記録されるものとする。付随情報としては、例えば、医用画像のIDや撮影日時(時刻情報)が記録される。従って、本処理では、それぞれのデータベースから該当する患者のシェーマ及び医用画像を抽出した後、各々のシェーマに記録された情報をキーにして、i番目のシェーマとi番目の医用画像を対応付けて磁気ディスク102に保存する。
ただし、シェーマと画像のどちらか一方の情報が欠損している場合も考えられる。この場合には、例えば、対応する相手が存在しないデータも含めて検査データ番号を与え、欠損しているデータ側にもブランクデータとして検査データ番号を与えるとよい。あるいは、相手が存在しないデータはスキップして検査データ番号をカウントするとよい。
また、医用文書データベース2に記録されたシェーマは、身体部位を描画する手間を省くために、あらかじめ装置内に多数記憶された基本シェーマのテンプレートを医師が選択し、その上に疾患部シェーマを描画したものであるとする。従って、各シェーマは、”基本シェーマ”と”疾患部シェーマ”とに分離されて医用文書データベース2に記憶されているものとする。
ステップS204では、CPU100は、処理対象となる検査データ番号iに値1を格納し、また、定数nに、検査対象患者に関して抽出された過去の検査記録の総数を格納する。
ステップS205では、CPU100は、検査対象患者に関するi番目の検査データ、つまりi番目のシェーマとi番目の医用画像を磁気ディスク102から主メモリ101に読み出す。
ステップS206では、CPU100は、ステップS205で主メモリ101に読み出したi番目のシェーマに関して、シェーマに描かれた身体部位の構造情報及び疾患部の存在位置・範囲情報を抽出する処理を行う。上述したように、各シェーマは基本シェーマと疾患部シェーマに分離して記憶されている。
図3は基本シェーマに描かれた身体部位の構造情報として、身体部位の輪郭線上の特徴的な点(形状特徴)(図中、○で示した位置)の座標を抽出した例を示す図である。輪郭線の分岐点や曲率が極大となる点などを特徴点として抽出している。
なお、基本シェーマに描かれた身体部位の構造情報の抽出方法として、いくつか異なる手段がある。その一つとして、例えば、予め基本シェーマの作成時に身体部位の構造情報を基本シェーマの属性情報として入力しておく方法がある。また、例えば、基本シェーマの階層リストにおいて基本シェーマが属するグループ名や、基本シェーマに付けられた識別名から、身体部位の位置または臓器名、及び身体部位の向き(正面、左側面、右側面など)を識別可能である。さらに、身体部位の構造情報を自動的に抽出する方法として、前述のように、非特許文献1で提案されたSHIFT特徴量あるいは非特許文献2で提案されたPCA−SHIFT特徴量をCPU100が計算する方法がある。但し、SHIFTはScale-Invariant Feature Transform、PCAはPrincipal Component Analysisの略である。
また、疾患部シェーマに描かれた疾患部の存在位置・範囲情報(疾患部情報)の抽出方法としては、以下の手法が考えられる。
図4は、疾患部の存在する身体部位を表す基本シェーマ401の上に描かれた疾患部シェーマを表している。疾患部シェーマは、一般的に、次の3種類の情報(パーツ)から成る。
・疾患部の状態を医師の心象図として絵で表現した図形402(疾患部描画図形と呼ぶ)
・疾患部描画図形を説明するための文章403(疾患部説明文と呼ぶ)
・疾患部説明文と疾患部描画図形とを繋ぎ、疾患部説明文から疾患部描画図形の方向を向いた矢印404(連結矢印と呼ぶ)
つまり、疾患部の存在位置・範囲情報は、疾患部描画図形402を抽出すればよいことになる。このとき、図4が示すように、一般的に、疾患部説明文403及び連結矢印404は線成分から成るが、疾患部描画図形402は、医師がその存在位置及び範囲を明確に示すために、閉じた境界線で囲まれた図形で表すことが多い。従って、例えば、疾患部シェーマの画像に対して、前述の非特許文献3で提案されている可変形状モデルを適用することで、エッジで囲まれた領域を抽出することができるため、疾患部描画図形を取り出すことが可能となる。次に、疾患部描画図形の中心部分の座標を計算することで、基本シェーマ上における疾患部のおおよその存在位置(肺野であれば、上葉・中葉・下葉など)を求めることができる。
なお、特許文献2に記述されているように、疾患部シェーマの3つの構成要素が予め分離した電子データとして記憶されている場合には、直接、疾患部描画図形の存在位置・範囲を読み込めばよい。
ステップS207では、CPU100は、ステップS205で主メモリ101に読み出したi番目の医用画像に関して、画像に写った身体部位の構造情報及び疾患部の存在位置・範囲の候補情報を抽出する処理を行う。医用画像に写った身体部位の構造情報を抽出する際、身体部位の構造情報は、基本シェーマに描かれた身体部位の構造情報と比較可能な情報でなければならない。
基本シェーマに描かれた身体部位の構造情報の抽出方法と同様に、医用画像に写った身体部位の構造情報の抽出には、いくつか異なる手法がある。例えば、医用画像をモニタ104に表示し、医師に医用画像に写った身体部位の輪郭線上の特徴点の位置を指定してもらう方法がある。この際、医師に指定してもらう特徴点は、図3に例示した基本シェーマの輪郭線上の特徴点と対応する位置に指定してもらう。あるいは、CPU100が医用画像に対して前述のSHIFT特徴量またはPCA−SHIFT特徴量を自動的に計算する方法がある。
そして、医用画像に写った疾患部に関する存在位置・範囲の候補情報の抽出方法としては、コンピュータ支援診断(Computer Aided Diagnosis:CAD)の技術を用いて抽出する方法がある。例えば、発生頻度が比較的高く、かつ死亡リスクが高い疾患の一つに肺がんが挙げられるため、これを例にとることにする。原発性の肺がんは、球の形状に近い結節影で画像上に現れる。そこで、球状の陰影を強調するフィルタを適用し、強調された画像に対して閾値処理を施すことにより、肺がんの候補陰影の領域、つまり疾患部の候補陰影の領域を自動抽出することができる。
ステップS208では、CPU100は、ステップS206で抽出したi番目のシェーマに描かれた身体部位及び疾患部の構造情報と、ステップS207で抽出したi番目の医用画像に写った身体部位及び疾患部の構造情報を比較する。そして、幾何学的な対応関係を算出することで、身体部位対応付けを行なう(構造情報対応付け処理と呼ぶ)。このとき、医用画像が3次元画像或いは複数枚の2次元画像から成る場合は、画像データ内から、シェーマと同じ向きの断面画像を特定し、シェーマと、検出した断面画像を対応付ける。
構造情報の例として上述した特徴点の座標、SHIFT特徴量またはPCA−SHIFT特徴量はいずれも、複数成分からなるベクトル情報と言うことができる。従って、ステップS206の具体的な処理は、基本シェーマと医用画像間で対となるベクトル情報を探すことである。この処理は、基本シェーマの1つのベクトル情報と医用画像の1つのベクトル情報との間のベクトル間距離を計算し、すべてのベクトルの組合せ中で距離が最小となるベクトルの組合せを求めればよい。ただし、ベクトル間距離が予め決めた閾値より大きい場合は、対となるベクトルがないものと判断する。またさらに、対応するベクトルの探索ミスを減らす工夫として、1つのベクトルではなく、互いに近傍にある数個のベクトルをまとめて、より高次元のベクトルとして扱うことができる。この時、基本シェーマの高次元ベクトルと医用画像の高次元ベクトルとの間のベクトル間距離を計算する。
ここで、基本シェーマに描かれた身体部位の向きは、ステップS206において身体部位の構造情報の一部として抽出されている。医用画像が3次元画像である場合、身体部位の向きが決められると、アキシャル断面、コロナル断面、サジタル断面などの画像断面の方向が決まる。しかし、3次元画像では、画像断面の方向が決まっても、なおかつ複数枚の断面画像が存在する。そこで、これらの断面画像の中で、疾患部が最もよく映っている断面画像を選択する。そのためには、3次元画像から実際の疾患部を特定する必要がある。このとき、ステップS207において既に疾患部の候補陰影の領域を抽出しているため、候補陰影の中から実際の疾患部を特定する。
疾患部の特定方法としては、疾患部に関して事前に得られている情報を利用する方法がある。経過観察においては、処理対象であるi番目の医用画像よりも以前に撮影した画像が存在すれば、以前の画像から、疾患部の形状、サイズ、存在位置及び輝度分布がある程度予測できる。i番目より以前の検査時に、検査記録としてこれらの情報を記録しておけば、その情報に基づいて、候補陰影の中から実際の疾患部を絞り込むことができる。また、各断面画像はシェーマと同じ向きであり、ステップS206において、シェーマにおける疾患部の存在位置及び範囲がある程度分かっている。そこで、断面画像ごとに、画像内の候補陰影の存在位置及び範囲を、シェーマにおける疾患部のおおよその存在位置及び範囲と比較し、合致する候補陰影を検出することで、疾患部を特定できる。これにより、シェーマと画像間で疾患部を対応付けることが可能となる。次に、疾患部が最もよく映っている断面画像の選択方法としては、特定した疾患部領域の面積が最も大きくなる断面画像を選択する方法がある。
ステップS209では、CPU100は、検査データ番号iをインクリメントする(1増やす)。
ステップS210では、CPU100は、検査データ番号iの値が、過去の検査記録の総数n以下であれば、ステップS205に移り、そうでなければ次のステップS211及びステップS212に移る。
ステップS211では、CPU100は、1からn番目までのシェーマにおける疾患部シェーマのデータを用いて、これらの疾患部シェーマの経時的な移り変わりが把握可能なシェーマ(疾患部時系列シェーマと呼ぶ)を生成する処理を行う。さらに、この処理を疾患部時系列シェーマ生成処理と呼ぶことにする。
ここでは、疾患部シェーマの集合を関連付け、疾患部シェーマを構成する前記の3つのパーツが分離されており、その座標が分かっている場合には、表示に適した形に補正することで時系列シェーマを生成する。
疾患部シェーマ内の疾患部描画図形に関しては、経過観察を目的とした検査であれば、疾患部の存在位置は基本的には変わらないため、作成日時の異なるシェーマ間で、基本シェーマ上のほぼ同じ位置に描かれるはずである。従って、疾患部描画図形を配置する座標は、変更せずそのまま用いる。しかし、疾患部説明文と連結図形に関しては、医師が自由な位置に配置することができるため、疾患部シェーマ間で統一されているとは限らない。そのため、疾患部時系列シェーマとして、例えば疾患部シェーマを同じ位置で切り替えて表示することを考えた場合、疾患部説明文の位置がばらばらで表示されるため、非常に見づらくなる。そこで、1からn番目までの疾患部シェーマにおける疾患部説明文の座標の平均値を算出し、各疾患部シェーマにおける疾患部説明文の座標を平均値に変更する。そして、各疾患部シェーマにおける連結矢印を、疾患部描画図形と座標変更後の疾患部説明文を繋ぐように引き直すよう構成するとよい。
ステップS212では、CPU100は、1からn番目までの医用画像に関して、ステップS208においてシェーマと対応付けられた断面画像から疾患部の画像情報として、疾患部を囲むROI(注目領域)画像を抽出する。そして、これらの疾患部ROI画像の経時的な移り変わりが把握可能な画像(疾患部時系列画像データと呼ぶ)を生成する処理を行う。さらに、この処理を疾患部時系列画像データ生成処理と呼ぶことにする。
ROI画像の抽出範囲の決定方法としては、例えば次の方法がある。ステップS208において、医用画像内の疾患部の領域は既に抽出されているため、1からn番目までの医用画像の中で、最も疾患部のサイズが大きいものを求めることができる。最大サイズの疾患部を対象として、一定幅のマージン付きの疾患部を囲む最小の矩形領域または円形領域を計算することで、1からn番目までの医用画像に関して、共通のROI画像の抽出範囲を決定することができる。
ステップS213では、CPU100は、ステップS211で生成した疾患部時系列シェーマ、ステップS212で生成した疾患部時系列画像データの2つの時系列データを連動させてモニタ104に表示出力する処理を行う。この処理を、疾患部時系列データ連動提示処理と呼ぶことにする。
図5は、疾患部時系列シェーマと疾患部時系列画像データとのペアを連動させて表示する一例を表している。図5の501は、疾患部の属する身体部位を描いた基本シェーマを表し、基本シェーマ上に疾患部の存在位置も表示される。502は、疾患部時系列シェーマを表し、503は、それに対応する疾患部時系列画像データ内の画像を表す。
疾患部時系列シェーマ502は、検査データ番号i(1≦i≦n)の値が小さい方から順に、つまり時系列順に並んだ状態で同時に表示される。同様に、疾患部時系列画像データ503も、検査データ番号iが小さい方から順に表示される。これらにより、診療支援装置1の操作者は、疾患部シェーマ及び疾患部画像の双方に関しての疾患部の経時的な変化を観察することが出来る。
また、i番目の疾患部シェーマ及びi番目の疾患部画像は関連付けられている。これを利用して、関連付けられた2種類の表示情報のうち、1種類におけるi番目のデータを指定すると、他方の表示情報に関して該当するデータを強調表示することができる。例えば、疾患部時系列シェーマのi番目の点を指定すると、関連付けられたi番目の疾患部画像が強調表示される。また、その逆の指定及び表示も可能である。強調表示の方法としては、i番目の疾患部シェーマ及び画像の表示枠を色付けして表示する、或いは他の疾患部シェーマ及び画像を半透明で表示するなどの方法がある。これらにより、診療支援装置1の操作者は、同じ検査データ番号の疾患部時系列シェーマと疾患部時系列画像データとを同時に把握可能となる。
さらに、2種類(疾患部時系列シェーマと疾患部時系列画像データ)の表示情報のうち、1種類におけるデータの複数個抽出(選択)することで、他方の表示情報に関しても該当する複数個のデータを強調表示することができる。これにより、検査データ番号の異なる複数のデータの間で、2種類の表示情報を、同時に比較することができる。例えば、疾患部時系列シェーマで検査データ番号の異なる2点を指定すると、該当する疾患部画像が強調表示され、それぞれを容易に比較することができる。
以上説明したように、第1実施形態に係る診療支援装置1によれば、診療支援装置1の操作者は、疾患部シェーマ及び疾患部画像の双方に関しての疾患部の経時的な変化を観察することが出来る。疾患部画像と共に疾患部時系列シェーマを参照することで、医師が疾患部をどう特徴付けて判断したかの移り変わりを容易に把握することができる。加えて、疾患部時系列シェーマと疾患部時系列画像データを連動させて参照できることで、医師による判断の情報と、疾患部の原画像を同時に把握しながら、それらの経時的な変化を観察することができる。それにより、過去の主観的な評価と生の情報との両方を参考にできるため、経過観察における診断に役立つ情報を提供することが可能となる。
(変形例1)
ステップS213における、疾患部時系列シェーマと疾患部時系列画像データとのペアの連動表示は、次の形態をとってもよい。
図6は、連動表示において、疾患部時系列シェーマを基本シェーマに重畳して表示する例を表している。601は、疾患部の属する身体部位を描いた基本シェーマを表し、基本シェーマ上に疾患部時系列シェーマ602も表示される。603は、疾患部時系列シェーマに対応する疾患部時系列画像データ内の画像を表している。疾患部時系列シェーマ602は、特定の表示領域上(基本シェーマ上)に、指定された検査データ番号iの疾患部シェーマが表示され、iの値が変更される度に対応する疾患部シェーマが表示領域上に表示される。同様に、疾患部時系列画像データ603も、特定の表示領域上に、指定された検査データ番号iの疾患部画像が表示され、iの値が変更される度に対応する疾患部画像が表示領域上に表示される。
図5と同様、2つの表示情報は検査データ番号iに関して関連付けられており、検査データ番号iを指定すると、2つの表示情報が連動して順次にi番目のデータを表示する。検査データ番号iのデータの指定方法としては、プログラム上で、自動的にiの値を連続的に加算する、或いはマウスのクリックやドラッグなどに連動してiの値を変更するなどの方法がある。これにより、疾患部時系列シェーマ及び疾患部時系列画像データ内の画像を、表示領域上に動画表示(アニメーション表示)することが出来る。
このように構成することにより、連続的な変化をより直感的に把握することができる。また、疾患部時系列シェーマを基本シェーマ上で切り替えて表示することで、身体部位と疾患部の情報をシームレスに把握可能となる。
(第2実施形態)
第2実施形態では、シェーマと当該シェーマに対応する疾患部画像の特徴量とを連動表示させる形態について説明する。なお、第2実施形態に係る診療支援装置の構成は、第1実施形態と同様であるため説明を省略する。ただし、以下に説明するように、CPU100が実行する制御プログラムが第1実施形態と異なる。すなわち、磁気ディスク102に格納されているプログラムが異なる。
図7は、第2実施形態に係る診療支援装置1の動作フローチャートである。なお、第1実施形態の図2のフローチャートと同様の処理を行っているステップについては詳細な説明は省略する。
ステップS701からステップS711までの処理は、それぞれ第1実施形態のステップS201からステップS211までの処理と同様である。
ステップS712では、CPU100は、1からn番目までの医用画像に関して、シェーマにおける疾患部と対応付けられた画像内の疾患部領域の定量データを算出する。そして、定量データを用いて、これらの疾患部領域の定量的な移り変わりが把握可能なデータ(疾患部時系列画像特徴量(定量データ)と呼ぶ)を生成する処理を行う。この処理を、疾患部時系列画像特徴量生成手段と呼ぶことにする。
ここでは、ステップS707で抽出した疾患部領域データから、診断のために有用となる定量的な情報を抽出する。例えば、胸部CT画像において肺がんの疑いのある結節影が所見として発見された場合、診断のために有効な情報の一つとして、そのサイズが挙げられる。従って、この場合、ステップS708で領域分割された疾患部領域の有効半径Rを算出する。有効半径Rは例えば下記の式(1)または式(1’)で与えられる。
R=(画像に基づいて導出される疾患部面積と同面積の円の半径) ・・・ (1)
または
R=(画像に基づいて導出される疾患部体積と同体積の球の半径) ・・・ (1’)
式(1)に基づいて撮影日時の異なる医用画像ごとに有効半径Rを求めることで、疾患部時系列定量データを生成できる。疾患部時系列定量データとして、例えば、図8に示すような結節の大きさの定量的な移り変わりを表すグラフ(疾患部経時変化グラフと呼ぶ)を作成することができる。図8は、横軸を医用画像ごとの撮影日時、縦軸を有効半径Rの値とし、点をプロットしたグラフを表している。
ステップS713では、CPU100は、ステップS711で生成した疾患部時系列シェーマおよびステップS712で生成した疾患部時系列定量データを連動させて表示する処理を行う。この処理を、第1実施形態に係るステップS213と同様、疾患部時系列データ連動提示処理と呼ぶことにする。
図9は、疾患部時系列シェーマ及び疾患部時系列定量データの具体例として生成した疾患部経時変化グラフを連動させて表示する一例を示す図である。
901は、疾患部の属する身体部位を描いた基本シェーマを表し、基本シェーマ上に疾患部の存在位置も表示される。902は、疾患部時系列シェーマを表し、903は、それに対応する疾患部時系列グラフを表す。図9では、疾患部の定量値として、結節影のサイズを適用している。図9における連動提示と同様、疾患部時系列シェーマ902と疾患部時系列グラフ903を連動提示可能である。例えば、疾患部経時変化グラフ903上のi番目の点を指定すると、それに関連付けられたi番目の疾患部シェーマを強調表示することができる。例えば、強調表示の方法として、i番目の疾患部シェーマの表示枠を色付けして表示する、或いはそれ以外の疾患部シェーマを半透明で表示するなどの方法がある。
さらに、例えば疾患部経時変化グラフ903上で時系列に沿って指定する点を推移させることで、上記2つの情報の移り変わりを同期させて強調表示可能である。グラフ上の指定点を推移させる方法としては、例えば、グラフ上の点をマウスで順にクリックしたり、ある点から別の点までドラッグしたりする方法がある。或いはグラフの横軸に対応するコントロールバーを用意し、コントロールバーを動かすことで指定点を変更したりする方法もある。なお、グラフ上で検査データ番号の異なる2点を指定した際に、対応する2つの疾患部シェーマが強調表示するように構成してもよい。
以上説明したように、第2実施形態に係る診療支援装置1によれば、診療支援装置1の操作者は、疾患部シェーマ及び対応する疾患部画像から導出される定量データの双方に関しての疾患部の経時的な変化を観察することが出来る。
(変形例1)
ステップS712における疾患部時系列定量データの生成及びステップS713における時系列データの連動提示は、次の形態を取ってもよい。
図10は、疾患部の定量データを表としてまとめた疾患部経時変化テーブルを示す図である。ステップS712における疾患部経時変化グラフと同様に、疾患部の定量データとして結節影の有効半径を示している。
そして、ステップS713では、疾患部時系列シェーマと疾患部経時変化表を連動させて表示する処理を行う。例えば、疾患部経時変化表内の特定の検査データ番号を指定した場合に、対応する疾患部時系列シェーマ内のデータを強調表示するように構成するとよい。
(変形例2)
ステップS712における疾患部時系列定量データの生成は、次の形態を取ってもよい。
疾患部の定量データとして、ステップS712では画像データから抽出される結節影の有効半径を適用したが、適用できる疾患部の定量データはこれに限られない。例えば、リンパ節の内部領域に腫瘍などの軟部組織を含む場合と、それが壊死した液体の組織を含む場合では、その領域の濃度値の平均や分散が異なる。一般的には軟部組織の方が液体よりも濃度値がやや高い傾向にあり、また、液体の方が、濃度値が均一であるため、軟部組織よりも分散が小さくなる傾向にある。そこで、疾患部の状態を特徴付ける定量データとして、画像データにおける疾患部領域内部の画像濃度値の平均や分散の値を適用して、疾患部時系列定量データを生成することも好適である。
(第3実施形態)
第3実施形態では、シェーマと連動表示させる他の情報(データ)を2つ以上をした例について説明する。つまり、第1及び第2の実施形態では、疾患部時系列シェーマと連動表示する情報として、それぞれ、疾患部時系列画像及び疾患部時系列定量データを用いた。しかし、疾患部時系列シェーマと連動表示する情報は1つに限定されない。
例えば、疾患部時系列シェーマ、疾患部時系列画像、及び疾患部時系列定量データの3つの情報を連動させて提示することもできる。そして、疾患部時系列定量データとして、疾患部経時変化グラフを用いた場合には、次のような連動表示手法がある。すなわち、グラフ上の点をマウスなどにより順に指定することで、それに対応する疾患部時系列シェーマと疾患部時系列画像を動画表示(アニメーション表示)するよう構成しても良い。
以上説明したように、第3実施形態に係る診療支援装置1によれば、診療支援装置1の操作者は、各シェーマに対応する時点での他の複数のデータをシェーマに連動させて確認することが可能となる。
(第4実施形態)
第4実施形態では、シェーマと連動表示させる情報(データ)として類似症例データを用いる例について説明する。つまり、上述の実施形態においては、疾患部時系列シェーマと同時に提示する情報として、検査対象患者本人の過去の検査画像のみから得られる情報を適用した。しかし、疾患部時系列シェーマと同時に提示する情報は、検査対象患者本人に関する検査データに限定されない。
例えば、検査対象患者の症例と類似する他の患者の過去の検査画像(類似画像と呼ぶ)も同時に提示する方法がある。類似画像の取得方法としては、例えば検査対象患者のカルテに記載された確定診断の情報をキーワードとして、一致する診断情報が記載された患者のカルテをデータベースから検索し、その患者の検査画像を取得する手法がある。或いは、検査対象患者の疾患部の画像から画像特徴量を抽出し、過去の様々な検査画像が大量に格納されたデータベースから、最も画像特徴量の類似する画像を類似画像として取得する手法がある。
そして、類似画像を取得した後、当該画像に関連する患者に関して、他にも検査画像が存在する場合、時系列の類似画像(類似症例時系列画像データと呼ぶ)を生成することができる。これまでの処理を、類似症例時系列画像データ生成処理と呼ぶ事にする。その際、時系列類似画像の提示方法の一つとして、疾患の進行状況(程度)を基準にして、検査対象患者の疾患部時系列画像と連動して提示するよう構成してもよい。疾患の進行状況に基づく対応付け手法としては、例えば、所見として肺がんの疑いのある結節影が確認されている場合、結節影の有効半径が同程度のものを対応付ける方法がある。
以上説明したように、第4実施形態に係る診療支援装置1によれば、診療支援装置1の操作者は、疾患部シェーマまたは対応する疾患部画像と類似症例の疾患部画像とを比較しながら観察することが出来る。
(他の実施形態)
以上、本発明の実施形態について詳述したが、本発明は、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
なお、本発明は、前述した実施形態の機能を実現するプログラムを、システム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置が、供給されたプログラムコードを読み出して実行することによっても達成される。従って、本発明の機能処理をコンピュータで実現するために、コンピュータにインストールされるプログラムコード自体も本発明の技術的範囲に含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。
プログラムを供給するための記録媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク(CD、DVD)、光磁気ディスク、磁気テープ、不揮発性のメモリカード、ROMなどがある。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
第1実施形態に係る診療支援装置1の機器構成を示す図である。 第1実施形態に係る診療支援装置1の処理フローチャートである。 基本シェーマ上の特徴点を表す図である。 第1実施形態に係る疾患部シェーマを表す図である。 疾患部時系列シェーマと疾患部時系列画像との連動表示を示す図である。 疾患部時系列シェーマと疾患部時系列画像との連動表示の他の例を示す図である。 第2実施形態に係る診療支援装置1の処理フローチャートである。 第2実施形態に係る疾患部経時変化グラフを表す図である。 疾患部時系列シェーマと疾患部経時変化グラフとの連動表示を示す図である。 疾患部経時変化テーブルを示す図である。
符号の説明
1 診療支援装置
2 医用文書データベース
3 医用画像データベース
4 LAN
10 制御部
100 CPU
101 主メモリ
102 磁気ディスク
103 表示メモリ
104 モニタ
105 マウス
106 キーボード
107 共通バス

Claims (12)

  1. 被検体に関するシェーマと該シェーマに関連する医用画像データとを検査記録データベースから取得し表示部に表示する情報処理装置であって、前記シェーマには少なくとも時刻情報および疾患部情報が記録されており、該情報処理装置は、
    被検体を特定するための被検体特定情報を入力する入力手段と、
    前記入力手段により入力された前記被検体特定情報に基づいて、前記検査記録データベースから前記被検体に関する1以上のシェーマと該シェーマに関連する医用画像データとを取得する取得手段と、
    前記1以上のシェーマの各々に記録された疾患部情報に基づいて、前記1以上のシェーマの各々に関連する医用画像データにおける疾患部領域を特定する特定手段と、
    前記1以上のシェーマの各々の時刻情報と前記1以上のシェーマの各々の疾患部情報とに基づいて、疾患部時系列シェーマを生成する時系列シェーマ生成手段と、
    前記1以上のシェーマの各々の時刻情報と前記1以上のシェーマの各々に関連する医用画像データの疾患部領域の画像とに基づいて、疾患部時系列画像データを生成する時系列画像データ生成手段と、
    前記疾患部時系列シェーマと前記疾患部時系列画像データとを同期させて前記表示部に表示出力する表示出力手段と、
    を含むことを特徴とする情報処理装置。
  2. さらに、シェーマに描かれた身体部位の形状特徴と、該シェーマに関連する医用画像データにおける身体部位の形状特徴と、を幾何学的に対応付ける身体部位対応付け手段を含み、
    前記特定手段は、身体部位の前記幾何学的な対応付けとシェーマに描かれた疾患部情報とに基づいて、該シェーマに関連する医用画像データにおける疾患部領域を特定することを特徴とする請求項1に記載の情報処理装置。
  3. 前記表示出力手段は、前記疾患部時系列シェーマと前記疾患部時系列画像データとから、疾患部情報と疾患部領域の画像とのペアを複数個抽出し、前記表示部に複数個のペアを時系列順に並べて表示するよう表示出力することを特徴とする請求項1または2に記載の情報処理装置。
  4. 前記表示出力手段は、前記疾患部時系列シェーマと前記疾患部時系列画像データとから、疾患部情報と疾患部領域の画像とのペアを時系列順に順次に前記表示部に表示出力することを特徴とする請求項1または2に記載の情報処理装置。
  5. さらに、
    前記1以上のシェーマの各々に関連する医用画像データの各々について、前記特定された疾患部領域の画像特徴量を導出する導出手段と、
    前記1以上のシェーマの各々の時刻情報と前記1以上のシェーマの各々に関連する医用画像データの疾患部領域の画像特徴量とに基づいて、疾患部時系列画像特徴量を生成する時系列画像特徴量生成手段と、
    を含み、
    前記表示出力手段は、前記疾患部時系列シェーマと前記疾患部時系列画像データと前記疾患部時系列画像特徴量とを同期させて前記表示部に表示出力することを特徴とする請求項1乃至4の何れか一項に記載の情報処理装置。
  6. 前記画像特徴量は、疾患部領域の大きさであることを特徴とする請求項5に記載の情報処理装置。
  7. 前記画像特徴量は、疾患部領域の濃度値であることを特徴とする請求項5に記載の情報処理装置。
  8. さらに、前記時系列画像データ生成手段により生成された疾患部時系列画像データと類似する医用画像データを前記検査記録データベースから取得し、類似症例時系列画像データを生成する類似症例時系列画像データ生成手段を含み、
    前記表示出力手段は、前記疾患部時系列シェーマと前記疾患部時系列画像データと前記類似症例時系列画像データとを同期させて前記表示部に表示出力することを特徴とする請求項1乃至4の何れか一項に記載の情報処理装置。
  9. 被検体に関するシェーマと該シェーマに関連する医用画像データとを検査記録データベースから取得し表示部に表示する情報処理装置であって、前記シェーマには少なくとも時刻情報および疾患部情報が記録されており、該情報処理装置は、
    被検体を特定するための被検体特定情報を入力する入力手段と、
    前記入力手段により入力された前記被検体特定情報に基づいて、前記検査記録データベースから前記被検体に関する1以上のシェーマと該シェーマに関連する医用画像データとを取得する取得手段と、
    前記1以上のシェーマの各々に記録された疾患部情報に基づいて、前記1以上のシェーマの各々に関連する医用画像データにおける疾患部領域を特定する特定手段と、
    前記1以上のシェーマの各々に関連する医用画像データの各々について、前記特定された疾患部領域の画像特徴量を導出する導出手段と、
    前記1以上のシェーマの各々の時刻情報と前記1以上のシェーマの各々の疾患部情報とに基づいて、疾患部時系列シェーマを生成する時系列シェーマ生成手段と、
    前記1以上のシェーマの各々の時刻情報と前記1以上のシェーマの各々に関連する医用画像データの疾患部領域の画像特徴量とに基づいて、疾患部時系列画像特徴量を生成する時系列画像特徴量生成手段と、
    前記疾患部時系列シェーマと前記疾患部時系列画像特徴量とを同期させて前記表示部に表示出力する表示出力手段と、
    を含むことを特徴とする情報処理装置。
  10. 被検体に関するシェーマと該シェーマに関連する医用画像データとを検査記録データベースから取得し表示部に表示する情報処理装置の制御方法であって、前記シェーマには少なくとも時刻情報および疾患部情報が記録されており、該制御方法は、
    入力手段が、被検体を特定するための被検体特定情報を入力する入力工程と、
    取得手段が、前記入力工程により入力された前記被検体特定情報に基づいて、前記検査記録データベースから前記被検体に関する1以上のシェーマと該シェーマに関連する医用画像データとを取得する取得工程と、
    特定手段が、前記1以上のシェーマの各々に記録された疾患部情報に基づいて、前記1以上のシェーマの各々に関連する医用画像データにおける疾患部領域を特定する特定工程と、
    時系列シェーマ生成手段が、前記1以上のシェーマの各々の時刻情報と前記1以上のシェーマの各々の疾患部情報とに基づいて、疾患部時系列シェーマを生成する時系列シェーマ生成工程と、
    時系列画像データ生成手段が、前記1以上のシェーマの各々の時刻情報と前記1以上のシェーマの各々に関連する医用画像データの疾患部領域の画像とに基づいて、疾患部時系列画像データを生成する時系列画像データ生成工程と、
    表示出力手段が、前記疾患部時系列シェーマと前記疾患部時系列画像データとを同期させて前記表示部に表示出力する表示出力工程と、
    を含むことを特徴とする情報処理装置の制御方法。
  11. 被検体に関するシェーマと該シェーマに関連する医用画像データとを記憶する検査記録データベースと、該検査記録データベースにアクセスして被検体に関するシェーマと該シェーマに関連する医用画像データとを取得し表示部に表示する情報処理装置と、を含むデータ処理システムであって、
    前記情報処理装置は、
    被検体を特定するための被検体特定情報を入力する入力手段と、
    前記入力手段により入力された前記被検体特定情報に基づいて、前記検査記録データベースから前記被検体に関する1以上のシェーマと該シェーマに関連する医用画像データとを取得する取得手段と、
    前記1以上のシェーマの各々に記録された疾患部情報に基づいて、前記1以上のシェーマの各々に関連する医用画像データにおける疾患部領域を特定する特定手段と、
    前記1以上のシェーマの各々の時刻情報と前記1以上のシェーマの各々の疾患部情報とに基づいて、疾患部時系列シェーマを生成する時系列シェーマ生成手段と、
    前記1以上のシェーマの各々の時刻情報と前記1以上のシェーマの各々に関連する医用画像データの疾患部領域の画像とに基づいて、疾患部時系列画像データを生成する時系列画像データ生成手段と、
    前記疾患部時系列シェーマと前記疾患部時系列画像データとを同期させて前記表示部に表示出力する表示出力手段と、
    を含むことを特徴とするデータ処理システム。
  12. コンピュータを請求項1乃至9の何れか一項に記載の情報処理装置の各手段として機能させるためのプログラム。
JP2008246596A 2008-09-25 2008-09-25 情報処理装置およびその制御方法、データ処理システム Expired - Fee Related JP5222082B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008246596A JP5222082B2 (ja) 2008-09-25 2008-09-25 情報処理装置およびその制御方法、データ処理システム
US12/562,204 US7933437B2 (en) 2008-09-25 2009-09-18 Information processing apparatus and its control method and data processing system
US13/070,143 US8331640B2 (en) 2008-09-25 2011-03-23 Information processing apparatus and its control method and data processing system
US13/673,770 US8908946B2 (en) 2008-09-25 2012-11-09 Information processing apparatus and its control method and data processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008246596A JP5222082B2 (ja) 2008-09-25 2008-09-25 情報処理装置およびその制御方法、データ処理システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012241068A Division JP5539478B2 (ja) 2012-10-31 2012-10-31 情報処理装置および情報処理方法

Publications (3)

Publication Number Publication Date
JP2010075403A JP2010075403A (ja) 2010-04-08
JP2010075403A5 JP2010075403A5 (ja) 2011-11-10
JP5222082B2 true JP5222082B2 (ja) 2013-06-26

Family

ID=42058674

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008246596A Expired - Fee Related JP5222082B2 (ja) 2008-09-25 2008-09-25 情報処理装置およびその制御方法、データ処理システム

Country Status (2)

Country Link
US (3) US7933437B2 (ja)
JP (1) JP5222082B2 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5517524B2 (ja) * 2009-08-10 2014-06-11 キヤノン株式会社 医療診断支援装置、医療診断支援装置の制御方法およびプログラム
JP5012867B2 (ja) * 2009-09-15 2012-08-29 コニカミノルタビジネステクノロジーズ株式会社 画像データ出力方法、画像処理装置、およびコンピュータプログラム
JP4826666B2 (ja) * 2009-09-24 2011-11-30 コニカミノルタビジネステクノロジーズ株式会社 画像データ取扱システム、画像処理システム、画像処理装置、画像データ提供方法、およびコンピュータプログラム
JP5367833B2 (ja) * 2009-09-29 2013-12-11 株式会社東芝 関心領域抽出装置及びプログラム
JP2011145386A (ja) * 2010-01-13 2011-07-28 Fuji Xerox Co Ltd 表示制御装置、表示装置及びプログラム
US8928671B2 (en) * 2010-11-24 2015-01-06 Fujitsu Limited Recording and analyzing data on a 3D avatar
KR101805619B1 (ko) * 2011-01-25 2017-12-07 삼성전자주식회사 3차원 의료 영상으로부터 최적의 2차원 의료 영상을 자동으로 생성하는 방법 및 장치
JP2012203891A (ja) * 2011-03-28 2012-10-22 Fujitsu Ltd 情報提供プログラム、情報提供装置および情報提供方法
CN102194059A (zh) * 2011-05-24 2011-09-21 中国科学院上海技术物理研究所 一种用于医学信息系统的可视化索引系统
CN103365952B (zh) * 2012-04-06 2017-04-12 东芝医疗系统株式会社 医疗信息检索装置
JP6208474B2 (ja) * 2013-06-17 2017-10-04 国立研究開発法人国立循環器病研究センター 診断支援装置、診断支援方法、および診断支援プログラム
US9442638B2 (en) * 2013-08-22 2016-09-13 Sap Se Display of data on a device
JP6482803B2 (ja) * 2014-09-19 2019-03-13 キヤノンメディカルシステムズ株式会社 シェーマ表示装置
US20180140282A1 (en) * 2015-06-03 2018-05-24 Hitachi, Ltd. Ultrasonic diagnostic apparatus and image processing method
JP6734111B2 (ja) * 2016-05-09 2020-08-05 キヤノンメディカルシステムズ株式会社 所見情報作成装置及びシステム
JP6985003B2 (ja) * 2016-09-09 2021-12-22 キヤノンメディカルシステムズ株式会社 病院情報システム及びデータ表示プログラム
US10468128B2 (en) * 2017-04-11 2019-11-05 Canon Medical Systems Corporation Apparatus and method for presentation of medical data
JP6656207B2 (ja) * 2017-05-31 2020-03-04 キヤノン株式会社 情報処理装置、その制御方法、及びプログラム
EP3537447A1 (en) * 2018-03-07 2019-09-11 Koninklijke Philips N.V. Display of medical image data
CN110134814B (zh) * 2019-05-27 2020-12-01 重庆文理学院 一种基于图像识别的仔姜种植信息系统
JP7392120B2 (ja) * 2019-09-06 2023-12-05 エフ. ホフマン-ラ ロシュ アーゲー 自然言語処理を使用する病理報告内の自動化された情報の抽出及び改良
CN111027469B (zh) * 2019-12-09 2024-03-01 上海联影智能医疗科技有限公司 人体部位识别方法、计算机设备和可读存储介质
CN113728398B (zh) * 2020-01-21 2025-01-28 京东方科技集团股份有限公司 疾病位置获取方法、装置、设备以及计算机可读存储介质
CN111708302A (zh) * 2020-06-23 2020-09-25 吴松林 一种鼠标同步采集生物力学数据系统
CN112907551B (zh) * 2021-03-05 2023-03-28 广东开放大学(广东理工职业学院) 一种基于超声检测图像的疾病演化方法及装置
JP2024110637A (ja) * 2023-02-03 2024-08-16 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01107739A (ja) 1987-10-20 1989-04-25 Fuji Photo Film Co Ltd 放射線画像診断装置
US5086392A (en) * 1987-10-20 1992-02-04 Fuji Photo Film Co., Ltd. Radiation image diagnostic apparatus
JPH0737056A (ja) * 1993-07-19 1995-02-07 Toshiba Corp 医用診断支援装置
JPH08263625A (ja) 1995-03-20 1996-10-11 Fuji Photo Film Co Ltd 画像表示方法および装置
US6108635A (en) * 1996-05-22 2000-08-22 Interleukin Genetics, Inc. Integrated disease information system
JP2000222503A (ja) 1999-01-29 2000-08-11 Fujitsu Ltd 診療録電子記録装置
JP4341210B2 (ja) * 2002-07-04 2009-10-07 コニカミノルタホールディングス株式会社 医用画像処理装置、医用画像処理方法、プログラム及び記録媒体
JP4359749B2 (ja) * 2003-04-17 2009-11-04 株式会社日立メディコ 生体組織の運動表示方法及び画像診断装置
JP2006181146A (ja) * 2004-12-28 2006-07-13 Fuji Photo Film Co Ltd 診断支援装置、診断支援方法およびそのプログラム
JP4932204B2 (ja) * 2005-09-27 2012-05-16 株式会社トプコン 診療支援システム、診療支援装置及び診療支援プログラム
JP2007233841A (ja) * 2006-03-02 2007-09-13 Konica Minolta Medical & Graphic Inc 診断システム
JP5368668B2 (ja) * 2006-06-01 2013-12-18 富士フイルム株式会社 医用画像表示装置、医用画像表示システム及び医用画像表示システムの作動方法
JP4960024B2 (ja) 2006-06-07 2012-06-27 オリンパスメディカルシステムズ株式会社 医療画像管理方法ならびにそれを利用した医療画像管理装置
JP2008006187A (ja) * 2006-06-30 2008-01-17 Fujifilm Corp 医用画像表示処理装置、及び、医用画像表示処理プログラム
JP4818846B2 (ja) 2006-08-16 2011-11-16 富士フイルム株式会社 医用画像処理装置及び医用画像処理プログラム
JP2008188329A (ja) * 2007-02-07 2008-08-21 Konica Minolta Medical & Graphic Inc 診断支援システム
JP5274180B2 (ja) 2008-09-25 2013-08-28 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体

Also Published As

Publication number Publication date
US20130070987A1 (en) 2013-03-21
US20110170753A1 (en) 2011-07-14
US7933437B2 (en) 2011-04-26
US20100082699A1 (en) 2010-04-01
JP2010075403A (ja) 2010-04-08
US8331640B2 (en) 2012-12-11
US8908946B2 (en) 2014-12-09

Similar Documents

Publication Publication Date Title
JP5222082B2 (ja) 情報処理装置およびその制御方法、データ処理システム
US8625867B2 (en) Medical image display apparatus, method, and program
US8423571B2 (en) Medical image information display apparatus, medical image information display method, and recording medium on which medical image information display program is recorded
US8380013B2 (en) Case image search apparatus, method and computer-readable recording medium
US9144407B2 (en) Image processing device and method, and program
CN105163684B (zh) 手术数据的联运同步
JP5128154B2 (ja) レポート作成支援装置、レポート作成支援方法およびそのプログラム
US8903147B2 (en) Medical report generation apparatus, method and program
US20120176408A1 (en) Image interpretation report generation apparatus, method and program
JP5539478B2 (ja) 情報処理装置および情報処理方法
JP5661890B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6719421B2 (ja) 学習データ生成支援装置および学習データ生成支援方法並びに学習データ生成支援プログラム
US20170262584A1 (en) Method for automatically generating representations of imaging data and interactive visual imaging reports (ivir)
JP2010165127A (ja) 情報処理装置および情報処理方法
JP2011092286A (ja) 情報処理装置、情報処理方法及びプログラム
CN112863625B (zh) 患者后续分析
KR102146672B1 (ko) 수술결과에 대한 피드백 제공방법 및 프로그램
JP2017051591A (ja) 情報処理装置及びその方法、情報処理システム、コンピュータプログラム
WO2020027228A1 (ja) 診断支援システム及び診断支援方法
KR102803773B1 (ko) 화면을 통해 수술 관련 정보를 제공하는 방법 및 장치
JP6258084B2 (ja) 医用画像表示装置、医用画像表示システムおよび医用画像表示プログラム
JP2024009342A (ja) 文書作成支援装置、方法およびプログラム
JP2007307205A (ja) 医用画像部位認識装置、及び、医用画像部位認識プログラム
JP2013149265A (ja) 診断支援装置及び制御方法
CN117711576A (zh) 用于提供医学报告的模板数据结构的方法和系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110922

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130308

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160315

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5222082

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160315

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees